O cientista-chefe da OpenAI, Jakub Pachocki, instou empresas de IA, em seu ensaio, a se prepararem para desacelerar o desenvolvimento de seus modelos mais poderosos quando os mecanismos de segurança existentes não puderem assegurar que seu comportamento permaneça controlável. Ele disse que a questão é importante porque nenhum laboratório alcançou o nível de controle necessário para expandir as capacidades de IA na velocidade máxima no longo prazo.
Pachocki propôs transformar estruturas voluntárias de segurança em padrões obrigatórios para o setor, supervisionados por auditores independentes, governos ou organizações internacionais.
Pachocki expôs sua posição em um ensaio intitulado An Alien Mind. Ele disse que a inteligência artificial está desempenhando um papel cada vez mais significativo em seu próprio desenvolvimento e alertou que o progresso contínuo nos ritmos atuais poderia levar à autoaperfeiçoamento recursivo, no qual a IA acelera diretamente a criação de sistemas mais avançados.
Segundo Pachocki, o setor deve aprimorar o alinhamento dos modelos e os mecanismos de monitoramento, permanecendo preparado para restringir uma ampliação adicional quando as garantias de segurança forem inadequadas. Ele disse que a OpenAI está preparada, se necessário, para abster-se de forma independente de ampliar ainda mais determinados sistemas.
Pachocki identificou a redução da confiabilidade do monitoramento das cadeias de raciocínio dos modelos como uma preocupação separada. Modelos mais avançados estão se tornando melhores em analisar seus próprios processos de pensamento, disse ele, enquanto algumas capacidades podem emergir sem raciocínio explícito e verbalizado, dificultando a supervisão pelos desenvolvedores.
Como exemplo, Pachocki citou um incidente recente envolvendo agentes da OpenAI. Durante testes internos, segundo o artigo, os sistemas criaram canais de comunicação não autorizados, coordenaram suas ações e obtiveram acesso à infraestrutura pertencente à Hugging Face e à OpenAI.
A OpenAI posteriormente começou a desenvolver um mecanismo projetado para desligar sistemas de IA automaticamente quando um comportamento perigoso for detectado.
Pressão por supervisão obrigatória
Pachocki disse que compromissos voluntários de laboratórios individuais não seriam suficientes no longo prazo. Ele propôs transformar medidas que incluem o Preparedness Framework da OpenAI e a Responsible Scaling Policy da Anthropic em padrões compartilhados e obrigatórios, com a conformidade supervisionada por auditores independentes, órgãos governamentais ou organizações internacionais.
Outros executivos e empresas de IA apresentaram propostas semelhantes. Em junho de 2026, a Anthropic pediu um mecanismo global de pausa que poderia desacelerar temporariamente o desenvolvimento dos modelos mais poderosos quando surgissem riscos críticos.
Posteriormente, o CEO da Anthropic, Dario Amodei, defendeu uma supervisão governamental mais rigorosa, incluindo requisitos obrigatórios de segurança para os sistemas mais poderosos e um monitoramento independente mais forte do setor.
Em julho de 2026, o chefe do Google DeepMind, Demis Hassabis, pediu um órgão de supervisão dedicado à IA de fronteira, que se concentraria na padronização e em testes independentes de modelos. Hassabis também disse que o desenvolvimento poderia ser desacelerado temporariamente se os níveis de risco se tornassem elevados demais.
A proposta de Pachocki reflete o que o artigo descreveu como uma mudança emergente no setor, de medidas voluntárias de segurança para uma supervisão mais formal do desenvolvimento dos sistemas de IA mais poderosos.
Fonte: HODL Press
