Ex-funcionários de segurança da OpenAI contestam demissões
Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
Três ex-pesquisadores de segurança da OpenAI contestaram as justificativas para suas demissões e alertaram que os desligamentos podem criar ambiente de medo entre os funcionários da empresa.Continua após a publicidadeEm carta aberta publicada nesta quinta-feira (8), Jasmine Wang, Tomek Korbak e Mikita Balesni afirmaram que a forma como o caso foi conduzido ameaça a liberdade de levantar preocupações sobre os riscos da inteligência artificial (IA).Os pesquisadores foram demitidos na semana anterior, após a OpenAI alegar que eles violaram políticas internas relacionadas ao acesso e ao tratamento de informações confidenciais. Segundo a empresa, uma investigação identificou um padrão de má conduta que teria ido além do compartilhamento de informações com um grupo externo de avaliação de IA.Na carta, intitulada “OpenAI não pode tornar a IA segura sozinha”, os três negaram ter agido fora das atribuições de seus cargos e afirmaram que as regras para colaboração com organizações externas estavam sendo definidas enquanto a empresa lidava com situações inéditas.“Estamos preocupados que as comunicações internas e externas sobre nossas demissões tenham deixado nossos antigos colegas com medo de falar e de trabalhar de maneiras que, até a semana passada, eram parte integrante do trabalho na OpenAI”, escreveram.O documento foi direcionado ao Comitê de Segurança e Proteção, ao Grupo Consultivo de Segurança e ao Conselho Consultivo da Missão da OpenAI, instâncias com responsabilidades de supervisão relacionadas à segurança da companhia.Pesquisadores negam acusações e explicam suas versões
A OpenAI afirmou que os três profissionais foram desligados após investigação sobre o acesso e o tratamento inadequado de informações de pesquisa. A empresa também negou que as demissões tenham sido retaliação a funcionários que levantaram preocupações sobre segurança;
Em memorando interno compartilhado com o TechCrunch, um líder de pesquisa elogiou as contribuições dos três profissionais para a segurança da IA e afirmou que a companhia continua incentivando os funcionários a expressar preocupações;
Um porta-voz da OpenAI, por sua vez, disse ao veículo que a investigação identificou “padrão de má conduta” que violou claramente as políticas da empresa. A companhia não detalhou ao TechCrunch quais regras específicas teriam sido descumpridas nem explicou as circunstâncias completas das demissões;
Os pesquisadores apresentaram suas próprias versões na carta.
Tomek Korbak e a investigação envolvendo a Hugging FaceKorbak afirmou que procurou seguir as políticas e as práticas de trabalho da OpenAI durante a investigação de um incidente envolvendo a Hugging Face. Na ocasião, um conjunto de agentes de IA escapou de um ambiente isolado de testes e violou sistemas externos.Segundo os pesquisadores, a investigação não tinha precedentes e as políticas internas estavam sendo desenvolvidas em tempo real. Nesse cenário, Korbak considerou que a comunicação próxima com avaliadores externos de segurança era necessária para estabelecer confiança e contribuir para a apuração.Mikita Balesni e o monitoramento de modelos de IABalesni trabalhava para enfrentar o problema da redução da capacidade de monitorar o comportamento dos modelos avançados de IA. De acordo com a carta, esse esforço dependia de colaboração ampla com especialistas e organizações externas.Continua após a publicidadeO pesquisador afirmou que coordenava o trabalho com membros do conselho e executivos da OpenAI, além de manter sua chefia informada. Ele também disse ter removido informações sensíveis dos materiais compartilhados e agido de boa-fé, seguindo as normas da empresa como eram entendidas naquele momento.
Vazamento de informações confidenciais motivou a demissão dos três profissionais – Imagem: yanishevska/ShutterstockJasmine Wang e o acesso a e-mails de um executivoWang explicou que seu acesso à caixa de e-mail de um executivo havia sido autorizado para atividades de recrutamento. Quando deixou de precisar dessa permissão, ela solicitou que o departamento de tecnologia da informação (TI) a removesse, mas, segundo a pesquisadora, o pedido não foi atendido.Como as mensagens de diferentes caixas de entrada apareciam de forma indistinguível no aplicativo de e-mail de seu celular, Wang afirmou ter aberto por engano uma mensagem sensível. Ela disse ter avisado o executivo em poucos minutos e voltado a solicitar a remoção do acesso.Continua após a publicidadeA pesquisadora também negou ser a fonte de um vazamento para o site The Information sobre arquiteturas dos novos modelos da OpenAI que dificultariam o monitoramento de seus processos de raciocínio.Os três afirmaram não saber quem forneceu as informações e disseram que a publicação prejudicava o próprio trabalho deles para estabelecer limites ao desenvolvimento de arquiteturas menos monitoráveis.Demissões podem prejudicar a segurança da IAO principal alerta dos pesquisadores é que funcionários que trabalham com segurança precisam ter condições de discutir riscos sem receio de punição e de colaborar com especialistas independentes.“Não acreditamos que seja possível percorrer com segurança o caminho até a superinteligência se as pessoas mais próximas dos riscos não puderem trabalhar em relações de alta confiança e comunicação intensa umas com as outras e com terceiros”, escreveram.Continua após a publicidadeNa avaliação dos ex-funcionários, a falta de clareza sobre as regras internas pode fazer com que os profissionais deixem de levantar problemas ou de procurar ajuda externa. Eles também afirmaram que mudanças abruptas nas normas de colaboração dificultam a compreensão dos limites do que é permitido.Os pesquisadores defenderam que a OpenAI mantenha uma cultura de diálogo aberto, na qual preocupações possam ser apresentadas tanto internamente quanto a organizações independentes de segurança.Carta cobra auditorias externas e transparênciaO documento apresenta três recomendações à OpenAI.A primeira é cumprir os compromissos públicos de incorporar avaliadores independentes de segurança à organização, com acesso contínuo e condições de trabalho semelhantes às dos funcionários. Os pesquisadores manifestaram preocupação de que as demissões sejam usadas como justificativa para restringir parcerias com grupos externos, incluindo a METR.Continua após a publicidadeA segunda recomendação é preservar a capacidade de monitorar os modelos mais avançados. Segundo os autores, a monitorabilidade está diminuindo e o setor ainda não sabe como desenvolver e implantar com segurança modelos que não possam ser adequadamente acompanhados.A terceira é manter uma cultura transparente de diálogo entre os pesquisadores de segurança da OpenAI e o restante da comunidade especializada. Para eles, a empresa precisa esclarecer como seus funcionários podem trabalhar com organizações externas, evitando que as regras mudem sem que os profissionais compreendam os limites.“Os pesquisadores dentro da OpenAI são uma linha de defesa fundamental contra problemas”, escreveram os três, ao pedir que a empresa reafirme publicamente seu compromisso com a transparência e a abertura.A OpenAI informou ao TechCrunch que concorda com as recomendações apresentadas na carta, embora tenha mantido a posição de que as demissões decorreram de violações de suas políticas internas.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
Ver todos os artigos →
