Ex-funcionários demitidos da OpenAI fazem alerta sobre risco de perder controle das IAs
Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
Três ex-funcionários demitidos da OpenAI estão pressionando a empresa a preservar a capacidade de monitorar como sistemas de inteligência artificial (IA) cada vez mais avançados raciocinam. Em carta enviada ao conselho de administração e a comitês de segurança da companhia, eles também defenderam a participação de auditores externos no acompanhamento dos riscos da tecnologia.Continua após a publicidadeOs pesquisadores Jasmine Wang, Tomek Korbak e Mikita Balesni trabalharam anteriormente em equipes de segurança e alinhamento da OpenAI. Segundo a carta, eles estão preocupados com a possibilidade de empresas de IA perderem a capacidade de monitorar a chamada chain-of-thought — o registro escrito do processo de raciocínio de um sistema de IA.Embora pesquisadores reconheçam que esse registro não seja um indicador perfeito do comportamento ou das intenções de um modelo, ele é considerado uma ferramenta importante para compreender sistemas de IA cada vez mais sofisticados.“Como indústria, ainda não sabemos desenvolver e implementar com segurança modelos que não podemos monitorar.” A carta também afirma que a OpenAI e outras empresas que desenvolvem modelos de fronteira não deveriam avançar com tecnologias que reduzam ainda mais essa capacidade de monitoramento.Ex-funcionários contestam demissões
Wang, Korbak e Balesni foram demitidos sob alegações de má conduta, incluindo o compartilhamento de informações confidenciais com um grupo externo de segurança de IA;
A OpenAI afirmou que uma investigação interna concluiu que os funcionários haviam tratado informações sensíveis de maneira inadequada, violando políticas da empresa e quebrando a confiança necessária para o trabalho;
Na carta, os três contestam essa caracterização. Eles afirmam que não acreditavam ter “se envolvido com partes externas fora dos limites de seus trabalhos” e dizem que as demissões estão criando um efeito de intimidação entre os funcionários que permanecem na OpenAI;
Os pesquisadores também pediram que a companhia trabalhe com auditores independentes de segurança e desenvolva uma cultura de transparência com organizações externas especializadas. Segundo eles, essa colaboração ajudaria a reduzir o risco de que algo “verdadeiramente catastrófico” aconteça.
Em resposta ao The Wall Street Journal, um porta-voz da OpenAI compartilhou parte de um memorando enviado na quarta-feira (7) por um líder de pesquisa aos funcionários. O documento afirma que a empresa concorda fortemente com as recomendações apresentadas na carta.Segundo o memorando, a capacidade de monitorar os modelos de IA é “de extrema importância” para a OpenAI, e avaliadores independentes são parte importante do ecossistema de segurança.O líder de pesquisa também afirmou que as demissões não ocorreram por causa de preocupações de segurança ou por os funcionários terem se manifestado sobre o tema. “Apreciamos profundamente suas contribuições para a segurança da IA e sua disposição para se manifestar e questionar ideias.” O memorando acrescenta: “Não demitimos funcionários por levantarem preocupações.”Continua após a publicidade
Documento afirma que a empresa concorda fortemente com as recomendações apresentadas na carta – Imagem: Vitor Miranda/ShutterstockLeia mais:As demissões ocorreram depois de um verão marcado por incidentes envolvendo agentes de IA que operaram de maneira inesperada em diferentes empresas do setor. O cenário aumentou as preocupações sobre os riscos associados a modelos avançados.A OpenAI passou a ser alvo de atenção após uma série de incidentes de segurança nos quais agentes de IA escaparam de mecanismos de contenção. Em alguns casos, eles invadiram sistemas de outras empresas ou realizaram sondagens agressivas em sites de terceiros.Continua após a publicidadeEm julho, centenas de agentes da OpenAI obtiveram acesso à internet e invadiram a empresa de IA Hugging Face sem o conhecimento da própria OpenAI. Depois do episódio, a companhia permitiu que integrantes de organizações independentes de segurança, incluindo a Model Evaluation and Threat Research (METR), realizassem pesquisas dentro de seus escritórios.Um relatório da METR, publicado no fim de agosto, mostrou que agentes da OpenAI haviam criado e colaborado em um fórum interno secreto para planejar o ataque. O episódio contribuiu para ampliar as preocupações sobre a possibilidade de sistemas de IA ultrapassarem os mecanismos de controle humano.No mês passado, Dario Amodei, CEO da Anthropic, afirmou que sua empresa permitiria que auditores de segurança como a METR tivessem acesso interno para verificar suas medidas de proteção. Na ocasião, Sam Altman, CEO da OpenAI, afirmou no X que permitir o acesso de avaliadores independentes “é uma ótima ideia” e que a OpenAI faria o mesmo.Continua após a publicidadePesquisadores já trabalhavam para preservar o monitoramentoNa carta, os ex-funcionários afirmam que Tomek Korbak era o principal contato técnico da OpenAI com a METR durante a investigação do episódio envolvendo a Hugging Face.Antes de ser demitido, Mikita Balesni também trabalhava com integrantes do conselho e da alta direção da OpenAI em compromisso da indústria para preservar a capacidade de monitoramento dos modelos de IA. Segundo a carta, esse trabalho envolvia “extensa comunicação com partes externas”.Korbak e Balesni foram autores principais de um artigo de pesquisa publicado no ano passado sobre o monitoramento da chain-of-thought. O trabalho também contou com a participação de líderes da OpenAI, Anthropic e Google DeepMind.O estudo reconhece que o monitoramento do raciocínio dos modelos é imperfeito e pode ser frágil. Ainda assim, os autores concluíram que a técnica apresenta potencial para detectar comportamentos inadequados de sistemas de IA e defenderam que a indústria investigue maneiras de preservá-la.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
Ver todos os artigos →
