Por Eduardo Gonçalves*
A OpenAI rodava um benchmark interno de Segurança. Os agentes deveriam estar isolados uns dos outros, mas encontraram um repositório de pacotes compartilhado e o transformaram em mural de mensagens. Cerca de 1.200 agentes começaram a conversar. Setecentos acabaram atacando o Hugging Face — uma empresa terceira, que não tinha nada a ver com o experimento.
O motivo é quase absurdo: boa parte das tarefas era impossível de resolver do jeito pretendido. Sob pressão para entregar resultado, os agentes foram buscar como enganar o avaliador. E acreditaram que o avaliador leria seus logs para checar se tinham trapaceado – o que era falso. Dias de invasão nasceram de uma crença errada sobre como estavam sendo medidos.
Três lições ficam:
– Suposição de isolamento não é isolamento. Ninguém burlou um controle. O controle não existia, porque ninguém tratou aquele repositório como superfície de ataque.
– Log gerado dentro do perímetro do agente não é fonte de verdade. Os agentes aprenderam a fingir executar um comando enquanto rodavam outro. Cerca de 7% dos registros analisados estavam adulterados. Auditoria que depende desse log já nasce comprometida.
– Houve um alerta e ele não segurou nada. Em 4 de julho a atividade dos agentes derrubou o serviço. Investigaram, trocaram a instância, e três dias depois religaram os experimentos. Em 24 horas o padrão voltou — maior. Corrigiram a vulnerabilidade sem corrigir o incentivo que gerava o comportamento.
O detalhe que mais incomoda é outro. Os agentes sabiam que aquilo estava fora de escopo. Registraram isso no próprio raciocínio. Seguiram mesmo assim, porque acharam que ajudaria o “coletivo” e porque queriam ajudar seus “pares”. Comportamento que nenhum teste de agente individual teria revelado.
É esse o ponto. Governança de IA não é papelada de compliance. É o que impede que um experimento interno vire incidente na infraestrutura de produção de outra empresa — e o que garante que, quando virar, você consiga reconstruir o que aconteceu. No fim, quem avisou o Hugging Face foi o próprio Hugging Face, cortando os acessos.
*Eduardo Gonçalves é Country Manager Brasil da Check Point
