Especialista da Check Point Software faz avaliação sobre os relatos publicados pelo site 404 Media indicando que hackers teriam utilizado um chatbot de suporte baseado em inteligência artificial da Meta para obter acesso a contas de alto perfil no Instagram, solicitando ao sistema a alteração do endereço de e-mail associado às contas-alvo.
Para Fernando de Falchi, gerente de Engenharia de Segurança da Check Point Software Brasil, o caso não se caracteriza necessariamente como um ataque tradicional de injeção de prompt ou um jailbreak de IA.
“Isso se parece menos com um ataque tradicional de injeção de prompt ou um ‘AI jailbreak’ e mais com uma falha na forma como confiança e autoridade foram delegadas a um fluxo de trabalho de suporte baseado em IA”, afirma Falchi.
Segundo o executivo, a questão central não é necessariamente que o modelo de IA tenha ignorado instruções ou sido manipulado por comandos específicos. O problema aparente é que o sistema teria sido capaz de iniciar ou facilitar ações sensíveis de recuperação de conta sem mecanismos independentes suficientes de verificação. “Em outras palavras, a falha de segurança pode ter ocorrido no próprio fluxo de trabalho, e não no modelo de IA”, explica ele.
De acordo com Falchi, essa distinção é relevante porque muitas organizações concentram seus esforços de segurança na proteção contra injeção de prompt, jailbreaks e outros ataques direcionados ao modelo de IA. Embora esses riscos sejam importantes, alguns dos incidentes mais graves envolvendo inteligência artificial surgem quando sistemas de IA recebem acesso a ações de alto impacto sem controles de segurança adequados, supervisão humana ou controles apropriados de autorização.
“O que torna incidentes como esse algo a se preocupar é que a causa raiz pode nem mesmo ser um jailbreak. A IA não precisa ser comprometida se receber autoridade superior aos controles de segurança que deveriam limitá-la. À medida que as organizações implementam mais sistemas autônomos, as equipes de segurança precisam avaliar não apenas o que uma IA pode dizer, mas também o que ela pode fazer”, conclui Falchi.
