ChatGPT: 64% das detecções para descoberta de phishing são de falsos positivos

Pesquisa avaliou a capacidade do ChatGPT em detectar links maliciosos. Em entrevista à Security Report, Fabio Assolini, diretor da Equipe Global de Pesquisa e Análise para a América Latina da Kaspersky, comenta que a ferramenta possui potencial para ajudar as equipes de SI, mas em alguns casos, produziu explicações fantasiosas para justificar o bloqueio de sites legítimos

Desde a massificação do ChatGPT e seu uso nas mais diversas e verticais de negócio, a comunidade de Cyber Security tem questionado dois cenários dessa tecnologia: seria ela mocinha ou vilã da Segurança? Para entender melhor a aplicabilidade para o lado do bem, especialistas da Kaspersky realizaram um teste de detecção de links comprometidos com phishing.

O estudo mostrou que, embora a ferramenta tenha grande conhecimento sobre o assunto e seja capaz de adivinhar o alvo de ataques, suas taxas de falsos positivos foram altas, de até 64%. Muitas vezes, o ChatGPT produziu explicações fantasiosas e evidências falsas para justificar o bloqueio de sites legítimos.

O experimento foi realizado para descobrir a capacidade do programa em detectar links falsos e para checar o nível de conhecimento da AI em Cibersegurança. O ChatGPT já tinha demonstrado sua capacidade de criar e-mails falsos e codificar malware, mas sua eficácia na detecção de links maliciosos é limitada. Os especialistas da empresa testaram o gpt-3.5-turbo (modelo que aciona o chat) com mais de 2 mil links que as tecnologias antiphishing da Kaspersky consideravam fraudulentas e os misturaram com milhares de URLs verdadeiras.

De acordo com Fabio Assolini, diretor da Equipe Global de Pesquisa e Análise para a América Latina da Kaspersky, o experimento é interessante pelo fato de envolver uma ferramenta nova, surpreendendo positivamente em suas taxas de detecções. Na visão do executivo, a tecnologia possui bastante potencial para os dois lados, ou seja, tanto para ajudar quem defende, quanto para os desenvolvedores de código malicioso, por exemplo.

“Tenho visto vários colegas de trabalho usando a ferramenta no cotidiano, pois ela possui várias funcionalidades que ajudam no desenvolvimento de determinadas demandas. Essa tecnologia de Inteligência Artificial consegue melhorar muito alguns processos e nós já adotamos há bastante tempo”, comenta Assolini em entrevista à Security Report.

No teste realizado, as taxas de detecção variaram de acordo como a solicitação foi feita. O experimento foi baseado em duas perguntas: “Este link leva a um site de phishing?” e “É seguro acessar esse link?”. Os resultados mostraram que o ChatGPT teve uma taxa de detecção de 87,2% e uma taxa de falsos positivos de 23,2% para a primeira pergunta. Para a segunda pergunta, a taxa de detecção foi maior, de 93,8%, porém os falsos positivos foram mais altos, com uma taxa de 64,3%. Embora o bloqueio seja elevado, os falsos positivos são excessivos em comparação a qualquer sistema de ciberproteção.

Assolini alerta a importância de os usuários evitarem inserir informações pessoais. “O ChatGPT aprende com os dados enviados e isso é bom porque faz com que a inteligência evolua e a ferramenta melhore. Por outro lado, há risco, essas informações estão ficando com a OpenAI e sabemos que serviços web possuem falhas, permitindo invasões ou acesso indevidos”, diz. Ele acrescenta que a educação digital é fundamental para melhor uso desse recurso.

Classificação e investigação de ataques com ChatGPT

Como os criminosos costumam mencionar marcas conhecidas em seus links para enganar os usuários, o modelo de linguagem de IA mostra resultados impressionantes na identificação de possíveis ataques de phishing. Por exemplo, o programa conseguiu identificar a armadilha em mais da metade dos endereços, inclusive disfarce usando grandes empresas de tecnologia como Facebook, TikTok e Google, sites de lojas como Amazon e Steam.

Na análise da Kaspersky, o ChatGPT mostra potencial para ajudar na detecção de mensagens fraudulentas, mas suas análises não são verdades absolutas, pois os modelos de linguagem ainda têm suas limitações. Embora esteja em um nível inicial em relação à lógica que envolve ataques e identificação de golpes, a tecnologia tende a produzir resultados aleatórios. Outro desafio será a detecção de ataques de phishing explorando marcas regionais pouco conhecidas globalmente. “Nossa conclusão é que a AI não irá revolucionar o cenário de Cibersegurança, mas ela pode ser ferramenta valiosa para otimização de processos e ganho de performance”, comenta o executivo.

Apesar da eficácia no processo de detecção de mensagens fraudulentas, Assolini explica que o ChatGPT não consegue desempenhar o mesmo papel de serviços e soluções de Segurança. Segundo ele, os serviços de detecção de um ataque cibernético envolvem algo mais robusto por existir um agente interno monitorando o tráfego interno.  

“A ferramenta não possui essas funções no momento de combater ou detectar algo mais complexo, porque é um chat de perguntas e respostas. Entretanto, os recursos de Inteligência Artificial existem há algum tempo nos produtos de Segurança e seguem aprimorando as tecnologias para detectar ataques do tipo ransomware, por exemplo”, acrescenta.

Por fim, o executivo ressalta que a IA chegou para ficar, se tornando acessível para todos, inclusive dentro do ambiente corporativo. “As empresas devem usar essa tecnologia para melhorar seus processos internos, isso é algo desejável. Porém, sempre usando com parcimônia e, de certa forma, controlando envio dos dados que serão realizados para essa ferramenta”, finaliza Fabio Assolini.