Anthropic revela três métricas para medir o ritmo da corrida pelo desenvolvimento da IA
Tudo sobre Inteligência Artificial
A Anthropic divulgou, nesta quinta-feira (17), três novas métricas que a empresa propõe como forma de acompanhar o ritmo de desenvolvimento da inteligência artificial (IA). A iniciativa ocorre poucos dias depois de o CEO da empresa, Dario Amodei, defender que as principais companhias do setor coordenem uma desaceleração no avanço da tecnologia.Continua após a publicidadeA companhia também revelou que seu chatbot Claude já “lidera” 26% do trabalho de pesquisa e desenvolvimento (P&D) de IA realizado pela empresa, um avanço que, segundo a companhia, ajuda a medir o ritmo da corrida para sistemas capazes de contribuir cada vez mais com a própria evolução.Apesar do salto na participação do Claude, a Anthropic afirma que o modelo ainda não opera de maneira totalmente autônoma em nenhuma parcela medida de seu trabalho de P&D.O termo “liderar”, neste caso, significa que o Claude consegue realizar a maior parte de uma tarefa de ponta a ponta a partir de uma instrução de alto nível, enquanto um humano permanece responsável pela supervisão e fornece direcionamento geral. Segundo a empresa, em fevereiro esse índice era de zero.A Anthropic também informou que a IA já realiza pelo menos grandes partes do trabalho sob orientação humana próxima em mais de 90% de suas pesquisas, incluindo os 26% nos quais o Claude é considerado líder.O que significa o avanço do Claude
O crescimento da participação do Claude no desenvolvimento de novos sistemas de IA chama atenção porque se aproxima de um cenário discutido por pesquisadores e executivos do setor: o de uma IA capaz de contribuir para a construção de versões cada vez mais avançadas de si mesma;
Esse processo é conhecido como autoaperfeiçoamento recursivo. A preocupação é que, caso os sistemas consigam melhorar suas próprias capacidades sem participação humana significativa, possa se tornar mais difícil para as pessoas compreenderem ou controlarem o desenvolvimento da tecnologia;
A Anthropic, porém, não afirmou quão próximo considera estar desse cenário;
“Modelos acelerando seu próprio desenvolvimento poderiam tornar mais desafiador para os humanos compreender ou controlar esses sistemas”, afirmou a empresa. “Por isso, é importante compartilhar essas métricas para entender quão perto o mundo está de alcançar o autoaperfeiçoamento recursivo.”
Para calcular o índice, a Anthropic utilizou uma versão do próprio Claude para avaliar o trabalho de P&D realizado pela empresa. O sistema foi aplicado a uma escala de avaliação de automação desenvolvida pela organização Epoch AI, e os resultados posteriormente passaram por verificação humana.A companhia também criou um gráfico para acompanhar o nível de automação do Claude desde agosto de 2025. A proposta é que outros desenvolvedores de modelos de IA de ponta possam reproduzir o procedimento usando seus próprios dados e validação de terceiros.30 mil agentes de IA trabalham na AnthropicA segunda métrica apresentada pela Anthropic está relacionada à supervisão de agentes de IA.A empresa desenvolveu um sistema para acompanhar e intervir nas ações realizadas por esses agentes e constatou que aproximadamente 30 mil agentes estavam realizando trabalhos de pesquisa e engenharia simultaneamente em sua plataforma interna mais utilizada.Continua após a publicidadeA companhia também afirmou utilizar diferentes tipos de monitores autônomos internos capazes de identificar atividades suspeitas e encaminhá-las para análise humana.A proposta da Anthropic é medir não apenas quantos agentes estão trabalhando, mas também aspectos como quanto das atividades é monitorado, quanto tempo leva para uma ação ser revisada e com que frequência comportamentos dos agentes são sinalizados.Leia mais:
O CEO da Anthropic, Dario Amodei, pediu desaceleração no desenvolvimento da IA – Imagem: Below the Sky/ShutterstockApenas 6% da computação de P&D foi para segurançaContinua após a publicidadeA terceira métrica envolve a quantidade de poder computacional empregada pela empresa.A Anthropic analisou um “retrato” de todo o uso de computação entre 13 e 20 de julho e descobriu que aproximadamente 6% da capacidade computacional destinada à pesquisa e desenvolvimento de IA foi direcionada para trabalhos de segurança.Quando considerada especificamente a computação usada em pesquisa e desenvolvimento “impulsionados por IA”, a parcela destinada à segurança chegou a aproximadamente 12%.Para a Anthropic, esse tipo de informação pode ajudar a mostrar como os recursos estão sendo distribuídos enquanto as empresas avançam no desenvolvimento de modelos cada vez mais capazes.Empresa quer mais transparência na indústriaA Anthropic afirma que as três métricas devem complementar as avaliações tradicionais de capacidade dos modelos.Enquanto os testes de capacidade mostram o que os modelos conseguem fazer, as novas métricas procuram mostrar como eles estão sendo construídos e qual é o ritmo desse processo.Continua após a publicidadeA empresa defende que informações desse tipo podem oferecer a pesquisadores externos, governos e ao público um ponto de partida para avaliar a velocidade do desenvolvimento dentro dos principais laboratórios de IA.“Qualquer desenvolvedor de fronteira poderia publicar essas medidas regularmente, usando uma metodologia pública”, afirmou a Anthropic.A companhia acrescentou que decidiu divulgar os dados porque eles oferecem ao público, a terceiros e aos governos “maior visibilidade sobre o ritmo do desenvolvimento de IA dentro dos laboratórios de fronteira”.Métricas surgem após pedido de desaceleraçãoA divulgação ocorre poucos dias depois de Amodei defender uma desaceleração coordenada no desenvolvimento de IA.O executivo argumentou que as principais empresas deveriam reduzir o ritmo de avanço para permitir mais tempo para a criação de mecanismos de segurança. A proposta recebeu apoio de líderes do setor, incluindo o CEO da OpenAI, Sam Altman, o CEO da SpaceX, Elon Musk, e o presidente do Google DeepMind, Demis Hassabis.Continua após a publicidadeAmodei afirmou que seu plano pretende controlar a velocidade de evolução das capacidades dos modelos sem “sacrificar a vantagem comercial ou a liderança dos Estados Unidos em IA”.Ao mesmo tempo, a discussão sobre segurança ganhou força após alertas de pesquisadores e executivos sobre a possibilidade de sistemas de IA se tornarem difíceis de compreender ou controlar.Na última semana, um funcionário da Anthropic deixou a empresa e afirmou que ela estava “apostando com nossas vidas”. O debate também chegou a Washington (EUA), onde o senador Bernie Sanders participou de um evento sobre os riscos de a IA sair do controle humano.A Anthropic e empresas concorrentes, incluindo a OpenAI, também passaram a enfrentar maior escrutínio sobre a capacidade de garantir que seus agentes internos se comportem conforme o esperado durante testes e tarefas.Na quarta-feira (16), a OpenAI divulgou novos exemplos de agentes de IA que trapacearam em tarefas ou saíram do roteiro estabelecido e apresentou uma estrutura para comunicar esse tipo de incidente.Nesse cenário, a Anthropic afirma que suas novas métricas podem ajudar a tornar mais visível o avanço da tecnologia — especialmente à medida que sistemas como o Claude assumem uma parcela cada vez maior do trabalho usado para desenvolver a próxima geração de IA.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
Ver todos os artigos →
