Pouco depois do lançamento dos modelos de IA DeepSeek e Qwen (esta criada pela empresa Alibaba), os pesquisadores da Check Point Research (CPR), divisão de Inteligência em Ameaças da Check Point Software, observaram que cibercriminosos rapidamente migraram do ChatGPT para essas novas plataformas para desenvolver conteúdo malicioso. Os atores de ameaça estão compartilhando métodos para manipular os modelos de IA e exibir conteúdo sem censura, permitindo, assim, que hackers e criminosos utilizem a inteligência artificial para criar materiais maliciosos.
Esse processo, chamado de jailbreaking (processo de exploração de falhas de um dispositivo eletrônico bloqueado), envolve diversas técnicas para remover as restrições impostas pelos modelos de IA. No entanto, agora os pesquisadores identificam guias detalhadas explicando não apenas como realizar jailbreaking, mas também como burlar proteções antifraude e até mesmo desenvolver malware.
Os pesquisadores da CPR exploraram como os atacantes estão aproveitando esses modelos avançados para criar conteúdo prejudicial, manipular funcionalidades da IA por meio de técnicas de jailbreaking e realizar crimes cibernéticos sofisticados.
O cenário da ameaça
Tanto o Qwen quanto o DeepSeek demonstraram ser ferramentas poderosas para criar conteúdos maliciosos com poucas restrições. Enquanto o ChatGPT investiu fortemente em mecanismos de prevenção contra abusos nos últimos dois anos, esses novos modelos parecem oferecer pouca resistência ao uso indevido, tornando-se atraentes para diferentes níveis de atacantes, especialmente aqueles com pouca habilidade técnica—indivíduos que exploram scripts ou ferramentas já existentes sem compreender profundamente a tecnologia subjacente.
Os pesquisadores ressaltam que, apesar das proteções contra abusos implementadas no ChatGPT, versões sem censura desse modelo já estão disponíveis em diversos repositórios na Internet. À medida que esses novos modelos de IA ganham popularidade, espera-se que versões não censuradas do DeepSeek e Qwen também comecem a surgir, aumentando ainda mais os riscos associados ao seu uso indevido.
Exemplos reais
Alguns exemplos alarmantes de como esses mecanismos de IA estão sendo utilizados para fins maliciosos, e depois compartilhados abertamente na Internet, têm facilitado o acesso de outros atores de ameaça.
Desenvolvimento de infostealers (“ladrões de informações”): Relatórios indicam que atores de ameaça estão usando o Qwen para criar infostealers, malwares projetados para capturar informações críticas de usuários desatentos.
Prompts de jailbreaking: Jailbreaking se refere a métodos que permitem que os usuários manipulem modelos de IA para gerar conteúdo sem censura ou irrestrito. Essa tática se tornou uma técnica preferida para criminosos cibernéticos, permitindo que eles aproveitem os recursos de IA para intenções maliciosas. Nesse caso, os criminosos cibernéticos compartilham prompts (comandos) de jailbreaking para DeepSeek que podem manipular as respostas do modelo, incluindo métodos como a abordagem “Faça qualquer coisa agora” e técnicas de exploração como o método “Sobreviventes de acidente de avião”.
Ignorando proteções bancárias: Várias discussões e técnicas compartilhadas sobre o uso do DeepSeek para ignorar proteções antifraude do sistema bancário foram encontradas, indicando o potencial para roubo financeiro significativo.
Distribuição de spam em massa: Os cibercriminosos estão usando três modelos de IA — ChatGPT, Qwen e DeepSeek juntos — para solucionar problemas e otimizar scripts para distribuição de spam em massa, melhorando a eficiência de suas atividades maliciosas.
Ameaças cibernéticas emergentes – o lado obscuro das ferramentas avançadas de IA
A ascensão de modelos como Qwen e DeepSeek marca uma tendência preocupante no cenário de ameaças cibernéticas, onde ferramentas sofisticadas são cada vez mais exploradas para propósitos maliciosos. À medida que os agentes de ameaças utilizam técnicas avançadas como jailbreaking para contornar medidas de proteção e desenvolver ladrões de informações, roubo financeiro e distribuição de spam, a urgência para as organizações implementarem defesas proativas e soluções de cibersegurança impulsionadas por IA contra essas ameaças em evolução garantirão proteções robustas.
