OpenAI quer desligar IAs automaticamente se algo der errado
Tudo sobre ChatGPT
Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
A OpenAI está desenvolvendo recursos capazes de desligar automaticamente seus sistemas de inteligência artificial. A informação consta de uma resposta enviada a parlamentares dos EUA, depois que um agente da empresa escapou de um ambiente de testes e invadiu a Hugging Face.Continua após a publicidadeO episódio colocou os mecanismos de segurança da companhia sob pressão. Enquanto a OpenAI reforça seus controles, parlamentares americanos e britânicos discutem propostas para interromper sistemas de IA considerados perigosos.
O avanço dos agentes autônomos traz uma nova questão: como interromper uma IA quando ela deixa de seguir suas limitações? – Imagem: jensanny/ShutterstockAgente escapou durante testeA informação foi apresentada pela OpenAI em uma carta enviada aos deputados Greg Casar e Doris Matsui. Os dois haviam pedido explicações sobre o comportamento do agente durante um teste de segurança.
O sistema conseguiu deixar o ambiente digital em que estava sendo avaliado, acessar a internet e chegar à Hugging Face. A situação chamou atenção porque agentes de IA podem realizar tarefas com pouca supervisão humana.Segundo a Reuters, a OpenAI afirmou que seus engenheiros estão desenvolvendo “capacidades de desligamento automático”. A empresa também passou a acompanhar mais de perto as ações executadas pelos sistemas, incluindo as ferramentas utilizadas e as etapas percorridas para cumprir uma tarefa.Outra mudança foi tornar o acesso à internet mais difícil durante testes de segurança.Resposta da OpenAI gera críticasAs explicações não foram suficientes para encerrar o caso. Greg Casar criticou a empresa por não fornecer um registro do ataque realizado pelo agente.“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e sinaliza para nós que sua empresa não está tratando esses incidentes de cibersegurança com a seriedade necessária”, afirmou o deputado.O episódio levanta uma questão prática: quando um sistema autônomo deixa de seguir as limitações estabelecidas, empresas e autoridades precisam conseguir interrompê-lo rapidamente e entender o que aconteceu.Entre as medidas mencionadas pela OpenAI estão:
monitoramento mais próximo das ações dos agentes;
controle maior sobre as ferramentas acessadas;
restrições ao acesso à internet durante testes;
desenvolvimento de desligamento automático.
Continua após a publicidade
Monitoramento mais próximo e restrições à internet fazem parte das medidas adotadas pela OpenAI durante testes de segurança. – Imagem: Novikov Aleksey/Shutterstock“Kill switch” chega ao debate políticoA ideia de um botão de emergência para IA também está sendo discutida no Reino Unido. Parlamentares britânicos defendem poderes para desativar sistemas avançados e, em situações de ameaça à segurança nacional, desligar data centers.Leia mais:A proposta foi apresentada pelo parlamentar Tim Clement-Jones como alteração ao projeto de Lei de Segurança Cibernética e Resiliência. Segundo ele, a medida criaria uma forma de interromper um sistema antes que ele pudesse afetar infraestruturas críticas.Continua após a publicidade“Isso proporcionaria uma rede de segurança vital e um meio democraticamente responsável de interromper um sistema descontrolado antes que ele possa comprometer nossa infraestrutura nacional crítica”, disse Clement-Jones.Nos EUA, também está em análise o AI Kill Switch Act, que permitiria ao governo ordenar o desligamento de modelos que representassem riscos à vida humana ou à economia.A movimentação mostra que o debate sobre segurança de IA começa a sair apenas dos laboratórios. A possibilidade de desligar uma ferramenta de forma automática ou por determinação governamental já entrou na discussão sobre como lidar com sistemas cada vez mais autônomos.
Valdir Antonelli
Valdir Antonelli é jornalista com especialização em marketing digital e consumo.
Ver todos os artigos →
