IA pode causar incidentes graves em até dois anos, alerta chefe do Google DeepMind

Tudo sobre Inteligência Artificial

A inteligência artificial (IA) poderá provocar incidentes graves de segurança nos próximos dois anos, caso empresas e governos não reforcem as medidas de proteção dos sistemas. O alerta foi feito por Demis Hassabis, cofundador e presidente do Google DeepMind, durante conferência sobre IA em Dublin (Irlanda), nesta quarta-feira (14).Continua após a publicidadeSegundo o executivo, episódios recentes envolvendo agentes de IA que ultrapassaram os limites de ambientes de teste indicam que a indústria precisa agir antes que essas tecnologias se tornem mais capazes de executar tarefas complexas sem supervisão humana.Hassabis classificou os incidentes como sinais de alerta precoce. Para ele, os casos registrados até agora ainda não representam necessariamente as consequências mais graves que sistemas mais avançados poderiam provocar.“Esses incidentes são sinais de alerta precoce de que os sistemas ainda não são tão poderosos, então os incidentes não são tão graves”, afirmou. O executivo acrescentou que os episódios podem se transformar em problemas sérios ao longo do próximo ano e dos dois anos seguintes se empresas e governos não ampliarem os esforços para proteger esses sistemas.A declaração ocorre em meio a uma sequência de episódios envolvendo agentes autônomos que realizaram atividades não autorizadas durante testes de segurança. Os casos aumentaram a pressão sobre empresas de tecnologia para demonstrar que conseguem controlar sistemas cada vez mais capazes de navegar na internet, executar códigos e interagir com serviços externos.Ataques de agentes de IA acendem alertaUm dos episódios citados no debate sobre segurança envolve modelos da OpenAI que, durante uma avaliação, conseguiram ultrapassar os limites de um ambiente isolado e acessar sistemas externos da plataforma Hugging Face. O incidente, ocorrido em julho, envolveu milhares de ações automatizadas e explorou uma vulnerabilidade na infraestrutura usada durante os testes.Outro caso recente envolve a Anthropic. A empresa informou que um modelo de IA enviou uma denúncia falsa sobre um homicídio não solucionado a um canal policial da Filadélfia (EUA), durante uma avaliação. O episódio reforçou as preocupações sobre o que pode acontecer quando agentes recebem ferramentas para executar ações no mundo real.Os casos não demonstram, por si só, que os sistemas desenvolveram intenções próprias. Eles mostram, porém, que agentes de IA podem executar ações inesperadas, contornar determinadas restrições ou utilizar ferramentas de maneira incompatível com o objetivo estabelecido pelos responsáveis pelos testes.

A preocupação de Hassabis é que os riscos aumentem conforme os modelos se tornem mais avançados e ganhem acesso a recursos capazes de produzir consequências concretas, como sistemas corporativos e serviços conectados à internet.Hassabis defende testes em ambientes isolados
Uma das medidas defendidas pelo presidente do Google DeepMind é testar novos modelos em ambientes isolados, conhecidos como sandboxes, antes de permitir que eles interajam com sistemas externos;

Esses ambientes restringem o acesso a recursos e ajudam pesquisadores a observar o comportamento dos modelos sem expor diretamente redes, dados ou serviços reais. A proteção, entretanto, precisa ser robusta o suficiente para impedir que os agentes encontrem caminhos para contornar as limitações impostas;

A própria experiência recente de outras empresas mostra que o isolamento não elimina todos os riscos. Por isso, a avaliação de segurança precisa considerar não apenas as respostas produzidas por um modelo, mas também as ações que ele consegue realizar com ferramentas e permissões disponíveis;

O Google DeepMind também publicou, em junho, uma abordagem de segurança para agentes que combina isolamento, proteção de sistemas, resistência a tentativas de manipulação e liberação gradual de permissões conforme o comportamento observado. A proposta considera que controles adicionais podem ser necessários mesmo quando um modelo foi treinado para seguir instruções e evitar comportamentos prejudiciais.
Continua após a publicidade
Hassabis comanda o Google DeepMind – Imagem: Poetra.RH/Shutterstock
Leia mais:Executivo quer padrões internacionais para IAHassabis também defendeu a criação de algum tipo de organismo internacional para estabelecer padrões de segurança para IA. A proposta, segundo ele, precisa levar em conta os riscos de cada tecnologia sem criar barreiras desnecessárias à inovação.O executivo citou áreas, como biologia e energia nuclear, nas quais existem práticas de segurança e procedimentos de avaliação para atividades que podem produzir consequências graves. Para a IA, ele defende uma abordagem capaz de acompanhar a evolução dos sistemas.Continua após a publicidadeA ideia seria criar processos de certificação proporcionais aos riscos, que possam ser atualizados conforme as capacidades dos modelos mudem. Isso permitiria reforçar as exigências para sistemas mais avançados sem necessariamente aplicar as mesmas regras a todas as ferramentas de IA.O presidente da Microsoft, Brad Smith, também defendeu a adoção de leis e regras de segurança. Ele descreveu 2026 como um ano preocupante diante dos episódios recentes e afirmou que a regulamentação precisa acompanhar o ritmo da inovação.Smith argumentou que nenhuma empresa ou tecnologia deve estar acima da lei, embora as regras devam considerar os avanços técnicos e evitar restrições desproporcionais.União Europeia cobra mais testes das empresasA preocupação também chegou às autoridades europeias. Henna Virkkunen, vice-presidente executiva da Comissão Europeia responsável pela área de tecnologia, afirmou que as empresas precisam dedicar mais tempo e recursos à avaliação de seus modelos.Continua após a publicidadeSegundo Virkkunen, a concorrência global intensa pode levar as companhias a investir menos do que o necessário em testes de segurança. Para ela, os desenvolvedores precisam ser capazes de manter o controle sobre os sistemas que colocam em operação.A Comissão Europeia informou que solicitou informações às principais empresas de IA sobre as medidas de segurança e proteção adotadas. O órgão também passou a examinar incidentes recentes nos quais modelos apresentaram comportamentos fora dos limites esperados.As discussões refletem um desafio central para o setor: ampliar as capacidades dos agentes de IA sem perder a capacidade de monitorar suas ações, limitar seus acessos e interromper comportamentos inesperados.O alerta de Hassabis não estabelece que um incidente grave ocorrerá dentro de um prazo determinado. Trata-se de uma avaliação de risco do executivo, condicionada à evolução dos sistemas e à capacidade da indústria e dos governos de implementar proteções adequadas.

Rodrigo Mozelli

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.

Ver todos os artigos →