Dona do TikTok, ByteDance cria time global focado em conter riscos da IA

Tudo sobre Inteligência Artificial

Tudo sobre TikTok

A ByteDance criou uma equipe dedicada à segurança da inteligência artificial em sua unidade de pesquisa Seed. A empresa abriu uma seleção global para contratar dez pesquisadores e ampliar os estudos sobre os riscos de seus modelos mais avançados.Continua após a publicidadeAs vagas estão distribuídas entre Pequim e Xangai, na China, e San José, na Califórnia. A iniciativa ocorre em meio à preocupação crescente com agentes de IA capazes de acessar a internet e executar tarefas com autonomia.
Garantir a postura correta dos algoritmos tornou-se o requisito central para que modelos de IA sejam lançados em grande escala. – Imagem: Mer_Studio/Shutterstock
O que a nova equipe vai pesquisarBatizada de Alignment & Preparedness (Alinhamento e Preparação), a equipe trabalhará para garantir que os sistemas de IA sigam objetivos humanos e requisitos de segurança, inclusive na execução de tarefas complexas com várias etapas.Em um anúncio publicado na quarta-feira em sua conta oficial no WeChat, a Seed afirmou que segurança e alinhamento deixaram de ser apenas medidas de proteção contra riscos. Segundo a unidade, essas capacidades serão determinantes para que os modelos possam ser utilizados em larga escala.A criação do departamento também chama a atenção por ser uma iniciativa pública pouco comum entre grandes desenvolvedoras chinesas. Segundo o jornal estatal The Paper, a Seed foi o primeiro laboratório chinês de IA de ponta a estabelecer uma equipe independente dedicada à segurança e ao alinhamento.Recursos e frentes de pesquisaA Seed informou que disponibilizará à nova equipe capacidade computacional e recursos de pesquisa comparáveis aos oferecidos aos grupos que desenvolvem seus modelos mais avançados. O trabalho será distribuído entre diferentes áreas:
Treinamento de segurança: desenvolvimento de métodos para reduzir riscos durante a formação dos modelos;

Testes automatizados: criação de ferramentas para detectar falhas e vulnerabilidades;

Monitoramento e explicabilidade: análise do comportamento dos sistemas e dos fatores que influenciam suas respostas;

Ambientes de simulação: avaliação de agentes autônomos em cenários controlados;

Riscos emergentes: investigação de ameaças que podem surgir com o avanço da tecnologia.


A empresa também pretende buscar avaliações independentes e estabelecer parcerias com universidades e instituições de pesquisa. Os resultados deverão ser incorporados ao treinamento, à avaliação e à implantação dos modelos.
Testes automatizados e varreduras de vulnerabilidades serão aplicados desde as primeiras fases de treinamento dos modelos. Imagem: Illus_man/Shutterstock
Segurança em meio à disputa entre China e EUAO anúncio ocorre enquanto China e Estados Unidos discutem medidas de proteção para a inteligência artificial e formas de comunicação sobre incidentes graves envolvendo sistemas avançados. Os dois países disputam a liderança tecnológica, mas também enfrentam desafios para acompanhar os riscos associados à evolução desses modelos.Agentes capazes de acessar serviços na internet e executar várias ações em sequência ampliam as possibilidades de uso da IA. Ao mesmo tempo, exigem métodos de avaliação que ajudem a identificar falhas e comportamentos inesperados.Continua após a publicidadeCom a nova equipe, a Seed pretende concentrar esforços de segurança em diferentes etapas do desenvolvimento dos modelos, do treinamento aos testes e à implantação.

Valdir Antonelli

Valdir Antonelli é jornalista com especialização em marketing digital e consumo.

Ver todos os artigos →