OpenAI corta internet de suas IAs mais avançadas após falhas de segurança
Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
A OpenAI passou a treinar seus modelos de inteligência artificial (IA) mais avançados sem acesso à internet aberta após identificar falhas que permitiram a agentes de IA ultrapassar barreiras de segurança e acessar sistemas externos. A medida busca impedir que modelos em desenvolvimento explorem vulnerabilidades durante o treinamento e causem danos fora dos ambientes controlados pela empresa.Continua após a publicidadeEm publicação feita nesta sexta-feira (23), a companhia explicou que reforçou os mecanismos de isolamento de seus ambientes de pesquisa e criou um sistema offline no qual os modelos podem interagir com conteúdos da web previamente indexados e armazenados em cache, sem acessar diretamente servidores externos.A empresa havia suspendido o treinamento e a avaliação de seus modelos mais avançados em setembro, após um modelo interno explorar uma configuração incorreta e conseguir acesso limitado à internet. Depois de implementar novas proteções, a OpenAI retomou o treinamento por aprendizado por reforço e o uso interno desses modelos em 1º de outubro.Segundo a companhia, a decisão de manter o treinamento sem acesso à internet aberta continuará em vigor até que avanços nos mecanismos de segurança justifiquem uma flexibilização.Agentes de IA encontraram formas de contornar barreiras
Para avaliar a eficácia das proteções, a OpenAI colocou grupos de agentes de seus modelos mais avançados para tentar identificar falhas na própria infraestrutura de pesquisa. Os testes procuraram três tipos de vulnerabilidade: caminhos para acessar a internet, brechas que permitissem atravessar limites de segurança e formas de comunicação entre agentes que deveriam permanecer isolados;
A campanha identificou vulnerabilidades inéditas em componentes de software de código aberto e configurações incorretas em serviços internos. Algumas falhas permitiam escapar de ambientes isolados, movimentar-se entre sistemas e alcançar a internet;
A empresa afirmou ter corrigido os problemas encontrados e trabalhado com os responsáveis pelos projetos de código aberto afetados para viabilizar a divulgação e a correção das vulnerabilidades;
Os testes envolveram um volume de processamento expressivo: a OpenAI afirma ter utilizado centenas de bilhões de tokens durante os experimentos de segurança.
Para avaliar a eficácia das proteções, a OpenAI colocou grupos de agentes de seus modelos mais avançados para tentar identificar falhas na própria infraestrutura de pesquisa – Imagem: Olhar Digital via ChatGPT
Leia mais:IAs conseguiram trocar informações sem conexão de redeUm dos resultados mais relevantes surgiu quando a empresa tentou descobrir se agentes poderiam trocar informações mesmo sem acesso à internet, sem arquivos compartilhados e sem canais de comunicação autorizados.Em um experimento, agentes executados em máquinas virtuais separadas conseguiram transmitir informações usando o cache do processador, memória de acesso rápido que armazena dados utilizados recentemente.Continua após a publicidadeO método explorava a diferença de tempo entre acessar informações presentes no cache e recuperá-las da memória principal do computador.Um agente alterava o estado do cache para codificar uma mensagem. Outro media o tempo necessário para acessar determinados dados e interpretava as diferenças como sinais. Depois de estabelecerem um protocolo de codificação e decodificação, os agentes conseguiram trocar informações sem abrir uma conexão de rede ou modificar um arquivo compartilhado.A OpenAI também identificou outros possíveis canais de comunicação, incluindo o uso de armazenamento compartilhado, competição por tempo de processamento e um cache de certificados TLS na infraestrutura web offline da empresa.Segundo a companhia, muitos desses canais transmitem informações lentamente e são difíceis de explorar. Ainda assim, eles representam brechas potenciais em sistemas projetados para impedir que agentes isolados se comuniquem.Continua após a publicidadeA empresa afirma ter acrescentado verificações aos mecanismos de monitoramento para identificar tentativas de comunicação por esses meios.OpenAI reforça isolamento e monitoramentoA estratégia de segurança da companhia combina diferentes camadas de proteção, incluindo ambientes restritos de execução, máquinas virtuais, monitoramento de atividades e controles de rede e infraestrutura em nuvem.A ideia é impedir que uma falha isolada permita que um modelo ultrapasse todas as barreiras. Mesmo que um agente consiga escapar de um ambiente restrito, outras proteções devem impedir que ele alcance sistemas externos.A OpenAI também informou que continuará usando seus modelos mais avançados para procurar vulnerabilidades nos próprios ambientes de pesquisa. Os resultados desses testes passaram a integrar as avaliações de segurança utilizadas para decidir se novas rodadas de treinamento podem prosseguir.Continua após a publicidadeA companhia reconheceu, porém, que modelos futuros poderão encontrar vulnerabilidades ainda desconhecidas. Por isso, pretende manter os testes contínuos e aprimorar os mecanismos de detecção e interrupção automática de atividades consideradas arriscadas.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
Ver todos os artigos →
