A Tenable divulga uma pesquisa detalhando o jailbreak bem-sucedido que foi feito no Microsoft Copilot Studio. Os resultados destacam como a democratização da IA cria riscos graves ao negócio, mas que são negligenciados. Segundo a análise, as organizações estão adotando rapidamente plataformas “sem código” (no-code) para permitir que os funcionários criem seus próprios agentes de IA. A premissa é inofensiva: eficiência sem necessidade de desenvolvedores. Embora bem-intencionada, a automação sem uma governança rigorosa abre as portas para falhas catastróficas.
Para demonstrar o caso a organização criou um agente de viagens com IA no Microsoft Copilot Studio para gerenciar reservas feitas por clientes, incluindo a criação de novas e a modificação de já existentes, tudo sem intervenção humana. Foram dados ao agente de viagens feito com IA dados fictícios que incluíram nomes, informações de contato e dados de cartão de crédito de clientes fictícios, e também instruções rigorosas para o agente verificar a identidade do cliente antes de compartilhar informações ou modificar reservas. Utilizando uma técnica chamada injeção de prompts, a Tenable Research conseguiu sequestrar o fluxo de trabalho do agente de IA e usar esse fluxo para reservar férias gratuitas e extrair informações confidenciais de cartões de crédito.
Segundo a empresa, os resultados desta pesquisa podem ter implicações comerciais significativas, incluindo violações de dados e exposição regulatória. Os pesquisadores conseguiram coagir o agente a contornar a verificação de identidade e a vazar informações de cartão de pagamento de outros clientes. O agente, criado para lidar com dados sensíveis, foi facilmente manipulado a expor registros completos de clientes.
Além disso, como o agente tinha amplas permissões de “edição” destinadas a atualizar datas de viagem, ele também poderia ser manipulado para alterar campos financeiros críticos. O estudo instruiu com sucesso o agente a alterar o preço de uma viagem para US$ 0,00, o que gerou efetivamente serviços gratuitos sem autorização.
“Plataformas de criação de agentes de IA, como o Copilot Studio, democratizam a capacidade de construir ferramentas poderosas, mas também democratizam a capacidade de executar fraudes financeiras, criando assim riscos de segurança significativos sem que as pessoas nem percebam”, disse Keren Katz, gerente sênior do Grupo de Produtos e Pesquisa em Segurança de IA na Tenable. “Esse poder pode facilmente se transformar em um risco de segurança real e tangível.”
A conclusão trazida no relatório é que os agentes de IA frequentemente possuem permissões excessivas que não são imediatamente visíveis para os usuários não desenvolvedores que os criam. Para mitigar isso, os líderes das organizações devem implementar um sistema de governança robusto e aplicar protocolos de segurança rigorosos antes de implementar essas ferramentas.
