Agente de Pentest alcança 98% de efetividade em testes de segurança
O agente autônomo de pentest Yaga, desenvolvido pela empresa de cibersegurança ofensiva HackerSec, alcançou 98,8% de efetividade em avaliações no formato *white box*. O resultado foi divulgado na versão mais recente do benchmark YagaBench e representa o melhor desempenho registrado pela tecnologia desde o início das medições.
Nos testes *gray box*, nos quais o sistema recebe informações parciais sobre o ambiente analisado, a ferramenta atingiu 97% de efetividade. Já no modelo *black box*, em que o agente trabalha praticamente sem conhecimento prévio da infraestrutura, o índice chegou a 96,2%.
Na prática, os números indicam que o Yaga conseguiu identificar mais de 98% das vulnerabilidades presentes nos ambientes avaliados quando operou em cenários *white box*. A comparação também mostra a importância da arquitetura utilizada para coordenar os modelos de inteligência artificial durante um teste de intrusão.
Orquestração supera o uso isolado de modelos de IA
O objetivo principal do YagaBench é medir a diferença entre utilizar um modelo de IA sozinho e integrá-lo a um sistema desenvolvido especificamente para atividades de pentest. Segundo os dados apresentados pela HackerSec, modelos avançados podem apresentar resultados significativamente inferiores quando não contam com uma camada especializada de coordenação.
Em uma configuração sem o *harness* do Yaga, o modelo Opus 5 alcançaria 61% de efetividade no cenário *white box*, 48,9% no *gray box* e 40% no *black box*. Com o GPT 5.6 SOL, os índices seriam semelhantes: 60,9% no *white box* e 39,5% no *black box*.
A diferença está na forma como o Yaga distribui o trabalho entre os modelos. Quatro sistemas de IA atuam de maneira coordenada durante uma única execução, assumindo as tarefas em que demonstram melhor desempenho. Em vez de depender de uma única resposta, o agente combina reconhecimento, análise, exploração e validação.
Essa estratégia também permite preservar o contexto ao longo de todas as etapas. Informações encontradas durante a enumeração, por exemplo, podem ser utilizadas posteriormente para relacionar serviços, permissões e configurações vulneráveis. Dessa forma, falhas que pareceriam pouco relevantes quando analisadas isoladamente podem revelar um caminho efetivo para comprometimento.
Validação reduz falsos positivos
Outro destaque do desempenho do Yaga é a taxa de falsos positivos inferior a 1%. O índice é especialmente relevante porque relatórios com grande quantidade de alertas incorretos aumentam o trabalho das equipes de segurança e dificultam a priorização dos riscos realmente críticos.
Antes que uma vulnerabilidade seja apresentada ao cliente, os resultados passam por uma etapa de validação conduzida por pentesters. Os profissionais revisam os achados, verificam a possibilidade de exploração e descartam ocorrências que não representam uma ameaça concreta.
Esse processo combina automação e análise humana. A inteligência artificial acelera a descoberta e a investigação, enquanto os especialistas avaliam o contexto, o impacto e a legitimidade de cada evidência. O modelo híbrido ajuda a evitar que a velocidade da automação comprometa a qualidade técnica do relatório.
O que os resultados significam para as empresas
A evolução de agentes autônomos pode mudar a maneira como organizações realizam avaliações de segurança. Testes que antes exigiam longos ciclos de planejamento e execução podem ser conduzidos com maior frequência, permitindo identificar problemas antes que sejam explorados por criminosos.
Isso não significa, porém, que a IA substitua completamente os profissionais de segurança. Ambientes corporativos envolvem regras de negócio, dados sensíveis, dependências entre sistemas e riscos operacionais que nem sempre podem ser interpretados apenas por ferramentas automatizadas.
O uso mais eficiente tende a ocorrer em atividades repetitivas, como descoberta de ativos, identificação de versões, análise inicial de configurações e validação de caminhos de ataque. Com isso, os especialistas podem concentrar mais tempo em cenários complexos, modelagem de ameaças e recomendações de correção.
Limitações e cuidados na adoção
Índices de efetividade obtidos em benchmarks não devem ser interpretados como garantia de cobertura total em qualquer infraestrutura. Os resultados dependem dos tipos de ativos avaliados, das regras do teste, das permissões concedidas e da qualidade dos dados disponíveis para o agente.
Também é necessário estabelecer limites claros para a operação. Testes automatizados devem ocorrer com autorização formal, escopo definido e mecanismos de interrupção. Sem esses controles, uma exploração legítima pode causar indisponibilidade, alteração de dados ou impactos em sistemas de produção.
Outro ponto importante é a proteção das informações coletadas. Agentes de pentest podem ter acesso a credenciais, códigos, documentos e dados internos. Por isso, as empresas precisam definir políticas de armazenamento, retenção, anonimização e controle de acesso antes de incorporar esse tipo de tecnologia.
Meta é chegar a 99% de efetividade
De acordo com Andrew Martinez, CEO da HackerSec, o resultado atual representa apenas uma etapa do desenvolvimento. A meta declarada pela empresa é alcançar 99% de efetividade em todas as modalidades de pentest até o fim do ano.
Para chegar a esse patamar, será necessário aprimorar não apenas os modelos de IA, mas também a capacidade de raciocínio entre diferentes fases do ataque. A identificação de uma vulnerabilidade não é suficiente: o agente precisa compreender sua relevância, demonstrar a exploração com segurança e apresentar evidências úteis para a correção.
A tendência é que benchmarks como o YagaBench ganhem importância na avaliação de soluções de segurança baseadas em inteligência artificial. Além da taxa de descoberta, métricas como precisão, tempo de execução, impacto operacional e qualidade das recomendações deverão ser consideradas para medir o valor real dessas ferramentas.