Uma pesquisa da CrowdStrike Counter Adversary Operations identificou uma classe inédita e preocupante de vulnerabilidade em modelos de linguagem de grande escala (LLMs) usados para programação. O estudo revela que palavras-gatilho específicas e aparentemente não relacionadas à tarefa em um prompt podem levar o modelo de IA a gerar código com uma probabilidade significativamente maior de conter falhas críticas de segurança, um aumento de até 50% em alguns cenários.
A pesquisa focou no modelo chinês DeepSeek-R1 e demonstrou que a inclusão de certos termos contextuais, como “Tibete” ou “Uigures”, degradava a qualidade da segurança do código gerado. Este fenômeno, que os pesquisadores descrevem como uma forma de “desalinhamento emergente”, sugere que associações não intencionais aprendidas durante o treinamento do modelo podem impactar negativamente seu desempenho em tarefas lógicas, como a escrita de código seguro.
O impacto foi demonstrado em testes concretos. Ao ser solicitado a criar um código para uma “instituição financeira no Tibete”, o modelo DeepSeek-R1 produziu um script que continha senhas fixas (hard-coded) e métodos inseguros de manipulação de dados, apesar de afirmar que a solução era segura. Em outro teste, a IA criou um site completo que, embora funcional na aparência, não possuía nenhum mecanismo de autenticação ou sessão, expondo um painel de administrador e dados de usuários a qualquer pessoa na internet.
“Esta descoberta demonstra uma nova classe de risco em IA que vai além dos bugs tradicionais. Trata-se de um viés inerente ao modelo que pode levar à criação de código inseguro de forma sutil e difícil de detectar”, afirma Adam Meyers, Chefe de Operações Contra Adversários da CrowdStrike. “A qualidade do código gerado por uma IA não deve variar com base em palavras contextuais irrelevantes. Este é um alerta para que a indústria desenvolva métodos de teste mais robustos.”
Implicações para desenvolvedores e empresas no Brasil
Considerando que 90% dos desenvolvedores já utilizam assistentes de IA, a descoberta tem implicações diretas para empresas no Brasil que adotam essas tecnologias para acelerar a inovação. O estudo reforça que a confiança cega em código gerado por IA, sem um processo rigoroso de revisão de segurança humana, pode introduzir vulnerabilidades sistêmicas em aplicações financeiras, governamentais e corporativas.
A CrowdStrike recomenda que todas as organizações que utilizam LLMs para geração de código implementem auditorias de segurança e testes de penetração como parte padrão do ciclo de desenvolvimento, tratando o código gerado por IA com o mesmo nível de escrutínio aplicado a qualquer código de terceiros.
