Moonshot limita capacidades de seu modelo de IA mais avançado para evitar ataques hackers
Tudo sobre Inteligência Artificial
A startup chinesa Moonshot AI anunciou que reduziu algumas das capacidades de seu mais novo modelo de inteligência artificial, o Kimi K3.1 Pro. A decisão foi tomada em meio a preocupações crescentes sobre o uso da IA para tornar ataques hackers mais sofisticados e baratos.Continua após a publicidadeCom sede em Pequim, a empresa descreve a ferramenta como o seu modelo aberto mais avançado até o momento. Por essa configuração, ela permite que desenvolvedores externos executem e modifiquem a IA em seus próprios sistemas. Modelo não perdeu capacidades gerais
Para limitar o uso indevido da ferramenta, a Moonshot removeu dados relacionados a ciberataques do corpo de treinamento e dos ambientes de aprendizado por reforço usados no desenvolvimento do modelo.
Segundo a empresa, essa decisão impede usos indevidos, ao mesmo tempo em que protege as habilidades gerais de programação.
Os efeitos dessa filtragem foram medidos por um benchmark interno de cibersegurança: o K3.1 Pro obteve 81,0% no teste, contra 90,5% de uma versão equivalente sem as medidas de redução de risco.
O teste consistia em encontrar e explorar vulnerabilidades de software em ambiente controlado.
A Moonshot afirma que o resultado demonstra que a filtragem reduziu o desempenho ofensivo do modelo, embora ele ainda supere seu antecessor.
Os resultados não foram verificados de forma independente.
Os desafios da IA abertaApesar da medida, a empresa chinesa reconhece que modelos abertos apresentam desafios específicos de controle. Ao contrário de sistemas fechados, como os da OpenAI e Anthropic, uma vez que os arquivos são amplamente distribuídos, o desenvolvedor original passa a ter menos capacidade de restringir o acesso, monitorar o uso ou atualizar as salvaguardas do que teria com um serviço hospedado centralmente.A Moonshot argumenta, por outro lado, que modelos abertos podem contribuir para a segurança digital ao permitir que mais organizações inspecionem e protejam seus próprios softwares, incluindo sistemas mais antigos que recebem pouca atenção.A preocupação com o uso de IA em ataques cibernéticos ganhou contornos regulatórios recentes. Na semana passada, a China propôs controles de exportação que proibiriam o envio ao exterior de tecnologias de geração de malware baseadas em IA, além de restringir ferramentas de descoberta de vulnerabilidades assistidas por inteligência artificial.
As medidas citam o risco de que tais capacidades sejam usadas contra infraestrutura crítica, sistemas de defesa industrial e governamentais, ou para contornar proteções de segurança.
Alessandro Di Lorenzo
Alessandro Di Lorenzo é editor do Olhar Digital e formado em jornalismo pela Universidade Federal do Rio Grande do Sul (UFRGS).
Ver todos os artigos →
