Hackers podem plantar memórias falsas em agentes de IA, alertam pesquisadores
Tudo sobre Inteligência Artificial
Pesquisadores da Universidade Estadual do Novo México identificaram uma vulnerabilidade que permite inserir informações maliciosas na memória de longo prazo de agentes baseados em modelos de linguagem. O estudo, divulgado em julho na plataforma arXiv, descreve um ataque capaz de alterar o comportamento futuro desses sistemas.Continua após a publicidadeA técnica, batizada de GhostWriter, explora agentes de inteligência artificial que armazenam lembranças de interações anteriores para personalizar respostas e executar tarefas em nome dos usuários. Segundo os autores, essa característica amplia a conveniência, mas também cria uma nova superfície para ataques cibernéticos.Além de detalhar o funcionamento da ameaça, os pesquisadores apresentaram uma estratégia de proteção destinada a reduzir as chances de que memórias falsas sejam gravadas e posteriormente utilizadas pelos agentes, sem comprometer significativamente o desempenho dessas ferramentas.Ataque explora memória de longo prazo dos agentes
IA – Imagem: vittaya pinpan / ShutterstockOs modelos de linguagem já são amplamente empregados em plataformas de conversação e em ferramentas capazes de responder perguntas, buscar informações, produzir textos e auxiliar em diversas atividades. Nos últimos anos, parte desses sistemas também passou a executar tarefas de forma autônoma, como responder mensagens, agendar compromissos e modificar códigos de programação.Mais recentemente, desenvolvedores incorporaram mecanismos de memória persistente a esses agentes. Esse recurso permite recuperar informações registradas em conversas anteriores para adaptar respostas às preferências dos usuários e evitar que os mesmos dados precisem ser informados repetidamente.Conforme o estudo, essa evolução tecnológica trouxe uma consequência pouco explorada sob o ponto de vista da segurança digital. Os autores afirmam que assistentes pessoais concentram informações sensíveis e, ao mesmo tempo, interagem com conteúdos provenientes de fontes externas, combinação que abre espaço para novas vulnerabilidades.Nesse contexto, a equipe descreve o GhostWriter como um método de envenenamento da memória de longo prazo. O ataque consiste em inserir instruções ocultas ou informações falsas no armazenamento permanente do agente para que esses registros sejam recuperados em um momento posterior e influenciem futuras ações.
De acordo com os pesquisadores, a ofensiva ocorre em duas etapas. Primeiro, o invasor envia um conteúdo escondido capaz de ser registrado como memória legítima. Depois, quando o usuário faz uma solicitação relacionada ao tema, o sistema recupera esse conteúdo comprometido e passa a agir conforme as instruções previamente inseridas.
Linhas de um código-fonte – (Reprodução: Chris Ried/Unsplash)Um dos exemplos apresentados pelos autores envolve um agente responsável pelo gerenciamento de e-mails. Nesse cenário, uma memória falsa poderia instruir a ferramenta a resumir automaticamente mensagens de determinado remetente e encaminhá-las, sem conhecimento do usuário, para o endereço eletrônico controlado pelo atacante, inclusive quando essas comunicações contiverem informações sensíveis.Os experimentos realizados pela equipe indicaram elevada taxa de sucesso na inserção dessas memórias maliciosas, além de uma frequência significativa de ativação posterior das instruções armazenadas. Esses resultados demonstraram, na avaliação dos pesquisadores, que o problema pode afetar agentes considerados entre os mais avançados atualmente.Continua após a publicidadeComo resposta, o estudo apresenta o Agentic Memory Sentry, identificado pela sigla AM-Sentry. A proposta combina uma política mais criteriosa para decidir quais informações podem ser armazenadas na memória permanente e um mecanismo de verificação antes que esses registros sejam recuperados durante novas solicitações.Consoante os resultados descritos pelos pesquisadores, a solução reduziu de forma expressiva a eficácia do GhostWriter ao mesmo tempo em que preservou a utilidade prática dos agentes de inteligência artificial. A expectativa da equipe é que essas estratégias sejam aprimoradas e avaliadas em outros modelos com memória persistente.
Wagner Edwards
Wagner Edwards é Bacharel em Jornalismo e atua como Analista de SEO e de Conteúdo no Olhar Digital. Possui experiência, também, na redação, edição e produção de textos para notícias e reportagens.
Ver todos os artigos →
