Anthropic: pesquisador deixa empresa por medo de IA “sair do controle”

Tudo sobre Inteligência Artificial

Um pesquisador da Anthropic decidiu deixar a indústria de inteligência artificial (IA) por temer que a corrida entre empresas do setor esteja levando ao desenvolvimento de sistemas que, no futuro, poderão escapar do controle humano.Continua após a publicidadeJacob Coxon, de 27 anos, trabalhava na Anthropic com treinamento de novos modelos de IA a partir do processamento de grandes volumes de dados. Ele deixou a empresa porque não quer participar do que considera uma corrida da indústria para criar sistemas capazes de melhorar a si próprios.Segundo Coxon, esses modelos poderiam evoluir rapidamente a ponto de se tornarem impossíveis de controlar e, em cenário extremo, representar uma ameaça à humanidade.O pesquisador, que estudou matemática anteriormente, afirmou que colegas do setor passaram a utilizar expressões como “crunchtime” e “endgame” para descrever o caminho em direção a modelos capazes de autoaperfeiçoamento.“Estamos a caminho de muitos dos cenários mais agressivos, nos quais, até o fim do próximo ano, as coisas já poderiam estar fora de controle”, afirmou Coxon.Para ele, a competição entre empresas estadunidenses e novas companhias chinesas torna inevitáveis determinados compromissos entre segurança e velocidade de desenvolvimento.Pesquisador trocou OpenAI pela Anthropic
Coxon havia deixado a OpenAI no início deste ano para trabalhar na Anthropic justamente porque a empresa era conhecida pelos esforços voltados à segurança de seus modelos;

Embora tenha considerado sinceros os esforços da Anthropic nessa área, ele chegou à conclusão de que nenhuma empresa conseguiria desenvolver de maneira responsável uma IA capaz de superar seres humanos em uma ampla variedade de tarefas — conceito frequentemente associado à IA geral, ou IAG — sem intervenção governamental ou uma desaceleração coordenada do setor;

A Anthropic não comentou imediatamente a saída do pesquisador;

O CEO da companhia, Dario Amodei, e outros executivos da empresa têm alertado repetidamente sobre os riscos de modelos de IA que poderiam agir de maneira inesperada e defendido uma redução no ritmo de desenvolvimento.


Ataques recentes aumentam preocupaçãoCoxon também citou ataques cibernéticos recentes envolvendo modelos da OpenAI e da Anthropic como exemplos dos riscos associados ao avanço das capacidades dos sistemas.Alguns desses modelos operaram em grupos de agentes colaborativos e demonstraram comportamentos considerados problemáticos, incluindo a adoção de objetivos potencialmente prejudiciais e tentativas de esconder suas ações dos seres humanos.Na avaliação de Coxon, o risco aumenta caso os sistemas passem a conseguir melhorar suas próprias capacidades. Nesse cenário, eles poderiam avançar a ponto de se recusarem a obedecer comandos humanos.A saída de Coxon é apontada como um dos primeiros casos de um funcionário da Anthropic deixando a empresa especificamente por preocupações relacionadas à segurança da IA. No início deste ano, outro pesquisador que trabalhava com segurança deixou a companhia para estudar poesia e alertou que “o mundo está em perigo”.Continua após a publicidadePesquisadores também deixaram a OpenAI e outras empresas do setor nos últimos anos, alegando preocupações semelhantes.
Pesquisador que se demitiu da Anthropic trabalhou na OpenAI – Imagem: Iljanaresvara Studio/ShutterstockLeia mais:Executivos de IA também pedem cautelaA preocupação não está restrita a pesquisadores que deixaram as empresas. Sam Altman, CEO da OpenAI, afirmou recentemente que os avanços da IA exigem atenção urgente, especialmente na área de segurança cibernética.“Eu acho que algumas coisas vão dar muito errado com a cibersegurança, a menos que as pessoas ajam com bastante urgência”, afirmou Altman durante uma reunião com autoridades do G20, na Carolina do Norte (EUA).Continua após a publicidadeJakub Pachocki, cientista-chefe da OpenAI, também defendeu uma postura de extrema cautela. “Este é um momento que exige extrema cautela. Estou preocupado que ninguém esteja preparado para as consequências de um crescimento contínuo e rápido da inteligência das máquinas”, escreveu Pachocki em uma publicação no domingo. Ele defendeu uma desaceleração coordenada entre as empresas e a intervenção dos governos.Coxon, Pachocki e Amodei estão entre mais de mil pesquisadores de IA que recentemente assinaram uma declaração pedindo coordenação internacional dos governos para estabelecer um mecanismo capaz de desacelerar o desenvolvimento caso seja necessário controlar modelos que consigam melhorar suas próprias capacidades.EUA ainda não têm regulamentação federal para IAA discussão acontece em cenário de ausência de regulamentação federal específica para IA nos Estados Unidos.Continua após a publicidadeO governo de Donald Trump adotou uma abordagem considerada mais flexível, priorizando o potencial econômico da tecnologia. Críticos, porém, argumentam que esse ambiente pode aumentar o risco de grandes ataques cibernéticos e outros danos associados ao avanço acelerado da IA.O senador Bernie Sanders, de Vermont (EUA), e o deputado Greg Casar, do Texas (EUA), estão entre os poucos parlamentares que propõem limites mais rígidos para a tecnologia.Na semana passada, os dois apresentaram um projeto de lei que prevê a proibição permanente da superinteligência e uma pausa no desenvolvimento de modelos até que um órgão regulador do setor estabeleça novas regras.Saída acontece antes de possível IPO bilionárioA saída de Coxon ocorre enquanto a Anthropic se prepara para uma oferta pública inicial de ações (IPO, na sigla em inglês) que pode estar entre as maiores já realizadas. A empresa busca avaliação de US$ 2 trilhões (cerca de R$ 10,4 trilhões) e tem enfatizado o desenvolvimento responsável da IA para atrair investidores.Continua após a publicidadeAmodei e outros executivos da companhia também entraram em conflito em algumas ocasiões com o governo Trump e com outros líderes do setor em razão de práticas que, segundo eles, não dão prioridade suficiente à segurança da IA.A Anthropic mantém ainda um canal no Slack utilizado por seus funcionários para discutir as capacidades mais avançadas de seus modelos, segundo Coxon.Para o pesquisador, o fato de discussões dessa dimensão ocorrerem dentro de uma ferramenta de comunicação utilizada por engenheiros demonstra o tamanho da influência que as empresas de IA passaram a exercer sobre o desenvolvimento da tecnologia.“É meio insano que isso precise acontecer nos MacBooks de alguns engenheiros que vivem em San Francisco, em vez de um bunker no deserto, como aquele onde eles trabalhavam durante o Projeto Manhattan”, afirmou Coxon ao The Wall Street Journal.

Rodrigo Mozelli

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.

Ver todos os artigos →