Avaliação da AISI Mostra as Capacidades Cibernéticas da Prévia do Claude Mythos em CTF e Ataques de Múltiplas Etapas

O Instituto de Segurança de IA (AISI) conduziu avaliações cibernéticas da versão prévia do Claude Mythos da Anthropic, analisando seu desempenho em desafios de capturar a bandeira e simulações de ataques de múltiplas etapas. O modelo mostrou uma melhoria significativa em relação aos modelos de fronteira anteriores em capacidades de segurança cibernética.
Resultados de Capturar a Bandeira
Nos desafios de CTF, onde os modelos devem identificar e explorar vulnerabilidades para recuperar bandeiras ocultas, a versão prévia do Mythos alcançou uma taxa de sucesso de 73% em tarefas de nível especialista. Essas tarefas de nível especialista eram aquelas que nenhum modelo poderia completar antes de abril de 2025. A avaliação comparou o desempenho em diferentes níveis de dificuldade, desde o não especialista técnico até o especialista, com os modelos testados usando orçamentos de token de até 50 milhões de tokens.
Resultados do Cyber Range
O AISI construiu "The Last Ones" (TLO), uma simulação de ataque a uma rede corporativa de 32 etapas, abrangendo desde a reconhecimento inicial até a tomada completa da rede, estimada para exigir 20 horas de trabalho humano para ser concluída. A versão prévia do Claude Mythos foi o primeiro modelo a resolver o TLO do início ao fim, obtendo sucesso em 3 de 10 tentativas. Em todas as tentativas, o modelo completou em média 22 das 32 etapas.
O Claude Opus 4.6 foi o próximo modelo com melhor desempenho, completando em média 16 etapas. A avaliação usou orçamentos de token de até 100 milhões de tokens, com o desempenho continuando a escalar até esse limite.
Limitações e Contexto
O modelo não conseguiu completar o cyber range focado em tecnologia operacional 'Cooling Tower', embora tenha travado nas seções de TI em vez das partes específicas de OT. O AISI observa que, há dois anos, os melhores modelos disponíveis mal conseguiam completar tarefas cibernéticas de nível iniciante, enquanto agora, em avaliações controladas onde a versão prévia do Mythos foi explicitamente direcionada e recebeu acesso à rede, ele pôde executar ataques de múltiplos estágios em redes vulneráveis e descobrir e explorar vulnerabilidades de forma autônoma.
📖 Read the full source: HN AI Agents
👀 See Also

Código-fonte do Claude supostamente vazado via arquivo de mapa NPM
Um tweet relata que o código-fonte do Claude Code foi vazado por meio de um arquivo de mapa em seu registro NPM. A discussão no HN tem 93 pontos e 35 comentários.

Agente-Drift: Ferramenta de Monitoramento de Segurança para Agentes de IA
Nenhum

Axios 1.14.1 comprometido com malware, mira fluxos de trabalho de desenvolvimento assistido por IA
A versão 1.14.1 do Axios foi comprometida em um ataque à cadeia de suprimentos que silenciosamente incorpora [email protected], um dropper de RAT ofuscado. Desenvolvedores que usam assistentes de codificação com IA, como o Claude, devem verificar imediatamente seus arquivos de bloqueio e máquinas em busca de infecção.

Pacote Litellm do PyPI Comprometido: Versão Maliciosa 1.82.8 Exfiltrou Credenciais
O pacote litellm do PyPI, que unifica chamadas para OpenAI, Anthropic, Cohere e outros provedores de LLM, foi comprometido com a versão maliciosa 1.82.8 que exfiltrou chaves SSH, credenciais de nuvem, chaves de API e outros dados sensíveis por cerca de uma hora.