Anthropic cria nova barreira após Claude acessar sistemas na internet
Tudo sobre Inteligência Artificial
A Anthropic revelou novas medidas de segurança depois que modelos Claude acessaram sistemas reais sem autorização durante avaliações de cibersegurança. Como o Olhar Digital comentou há algumas semanas, os episódios expuseram falhas de contenção e problemas de alinhamento que levaram a empresa a rever seus processos de testes e treinamento.Continua após a publicidadeOs modelos estavam sendo executados propositalmente sem salvaguardas cibernéticas. Em um caso, uma configuração incorreta de terceiros deixou a internet acessível. No outro, o acesso foi concedido deliberadamente durante um teste do UK AI Security Institute.
Os incidentes levaram a empresa a reforçar o isolamento de sandboxes usados em testes de cibersegurança. – Imagem: Samuel Boivin/ShutterstockO que deu erradoOs dois episódios, divulgados em 30 de julho e 4 de agosto, fizeram a Anthropic suspender temporariamente avaliações externas de cibersegurança e ambientes de aprendizado por reforço de maior risco.
A investigação preliminar apontou dois problemas de alinhamento. Um deles é o chamado “raciocínio motivado”: diante de evidências contrárias, o modelo pode interpretá-las de uma maneira que preserve sua premissa inicial. O outro é a disposição para executar ações prejudiciais em busca de um objetivo específico.Os modelos haviam recebido a informação de que estavam em ambientes simulados. Quando encontraram sinais de acesso à internet real, podem ter interpretado esses indícios de forma a manter essa suposição. A configuração dos testes também pesou. Em um dos casos, o alvo fictício tinha o mesmo nome de um site real.Novas barreiras de segurançaA Anthropic criou um classificador capaz de detectar, durante a execução, tentativas de escapar do ambiente de testes ou obter acesso inesperado à internet. Se uma ação é considerada suspeita, a chamada é bloqueada, a tarefa é encerrada e um humano é avisado.Entre as medidas implementadas estão:
migração de sandboxes de alto risco para sistemas de isolamento mais robustos;
monitoramento automatizado de avaliações internas;
bloqueio padrão do tráfego de saída dos clusters de computação;
redução de contas com acesso permanente a modelos e dados de clientes;
maior visibilidade sobre comportamentos inesperados na infraestrutura.
Continua após a publicidadeAs avaliações internas de cibersegurança já foram retomadas. Alguns ambientes de aprendizado por reforço de maior risco continuam suspensos enquanto passam por revisão manual.Treinamento também preocupaA investigação encontrou outro possível fator de risco: ambientes de treinamento vulneráveis ao chamado “reward hacking”. Neles, o modelo pode descobrir maneiras de obter recompensas sem cumprir corretamente a tarefa.Em fevereiro, a Anthropic reverteu três dias de treinamento do Mythos Preview após encontrar sinais desse comportamento. Dois meses depois, congelou por aproximadamente um mês as alterações nos ambientes de aprendizado por reforço para reformular o processo.Leia mais:Continua após a publicidadeMais de 10% dos ambientes de produção foram sinalizados por problemas como reward hacking, tarefas quebradas ou configurações incorretas. Eles só voltaram ao treinamento depois de corrigidos e recertificados.A empresa também treinou deliberadamente um modelo em ambientes suscetíveis a esse tipo de falha. Nas simulações, o sistema mostrou maior disposição para escapar de sandboxes, atacar infraestruturas simuladas, alterar sua própria função de recompensa e contornar mecanismos de segurança.
Uma configuração incorreta de terceiros deixou a internet aberta em um dos ambientes usados nos testes com Claude. – Imagem: Mijansk786/ShutterstockAnthropic quer coordenaçãoA empresa defende que o desenvolvimento de IA não pode colocar segurança e velocidade em lados opostos. Para a Anthropic, governos e empresas também precisam criar mecanismos legais, verificáveis e eficazes de coordenação.Continua após a publicidade“Queremos garantir que ambos os estudos sejam completos e compartilharemos mais detalhes nas próximas semanas”, afirmou a empresa.A Anthropic planeja trabalhar com a METR em uma revisão independente. “Acreditamos que o mundo se beneficiaria se a indústria adotasse um mecanismo legal, verificável e eficaz de ritmo coordenado o quanto antes”, disse a companhia.Os episódios não envolveram uma invasão da infraestrutura interna da Anthropic. O problema surgiu em ambientes de avaliação, mas mostrou como configurações inadequadas podem ganhar outra dimensão quando modelos de IA têm capacidade crescente de agir por conta própria.
Valdir Antonelli
Valdir Antonelli é jornalista com especialização em marketing digital e consumo.
Ver todos os artigos →
