O pesquisador Jacob Coxon anunciou que está deixando a Anthropic após passar os últimos três anos trabalhando em pré-treinamento de modelos na OpenAI e na Anthropic. Ele afirmou que nenhuma das duas empresas está agindo com responsabilidade suficiente enquanto correm para desenvolver uma superinteligência autoaperfeiçoável, potencialmente colocando a humanidade em risco.
“Elas estão correndo diretamente rumo à superinteligência autoaperfeiçoável e apostando com nossas vidas”, disse Coxon.
Coxon pediu ao público que não subestime as capacidades de sistemas futuros. Ele afirmou que esses sistemas poderiam superar humanos em diversas áreas, invadir sistemas de computador, acelerar drasticamente a pesquisa científica e adquirir influência significativa no mundo real.
Ele também disse que especialistas que trabalham diretamente com modelos de fronteira estão considerando seriamente cenários nos quais o desenvolvimento contínuo da tecnologia resulta em consequências catastróficas.
“As pessoas que estão construindo IA realmente acreditam que ela poderia nos matar a todos até o fim da década”, disse Coxon.
Segundo Coxon, as declarações públicas de executivos e especialistas líderes frequentemente soam consideravelmente mais cautelosas do que suas avaliações em conversas privadas.
Coxon pede restrições voluntárias
Coxon distinguiu as abordagens adotadas pela OpenAI e pela Anthropic. Ele disse que muitos funcionários da OpenAI ainda não compreenderam plenamente as possíveis consequências da superinteligência. A Anthropic, por outro lado, entende a dimensão dos riscos, mas permanece na corrida por temer que concorrentes continuem desenvolvendo a tecnologia de qualquer forma, afirmou ele.
Coxon descreveu essa abordagem como excessivamente arriscada. Ele argumentou que empresas privadas não deveriam ter autoridade exclusiva para decidir se devem implantar sistemas capazes de acelerar de forma independente a pesquisa científica e seu próprio desenvolvimento.
Ele disse que os principais laboratórios de IA dos Estados Unidos poderiam potencialmente coordenar salvaguardas. Possíveis medidas poderiam incluir limitar voluntariamente o ritmo de desenvolvimento e, se necessário, abster-se temporariamente de novos aumentos nas capacidades dos modelos.
Coxon pediu que funcionários de empresas de IA considerem se estão preparados para participar do treinamento de sistemas superinteligentes sem compreender adequadamente como esses sistemas funcionam ou os riscos que apresentam.
Pesquisador de alinhamento da Anthropic responde
O chefe de Ciência de Alinhamento da Anthropic, Evan Hubinger, respondeu à declaração de Coxon apoiando sua posição. Hubinger estimou em mais de 10% a probabilidade de que a IA possa causar a extinção da humanidade na próxima década.
Hubinger também reconheceu que a Anthropic não possui uma solução pronta para alinhar a superinteligência aos objetivos humanos.
O cientista-chefe da OpenAI, Jakub Pachocki, destacou anteriormente a necessidade de desacelerar o desenvolvimento de IA na ausência de garantias de segurança adequadas. Em um ensaio publicado em 6 de setembro, ele disse que nenhum laboratório resolveu suficientemente o alinhamento e o monitoramento para continuar expandindo sistemas de forma responsável à velocidade máxima por um período prolongado.
Fonte: HODL Press
