El investigador Jacob Coxon anunció que deja Anthropic tras haber trabajado durante los últimos tres años en el preentrenamiento de modelos en OpenAI y Anthropic. Afirmó que ninguna de las dos empresas está actuando con suficiente responsabilidad mientras compiten por desarrollar una superinteligencia capaz de mejorarse a sí misma, lo que podría poner a la humanidad en riesgo.
“Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando con nuestras vidas”, afirmó Coxon.
Coxon instó al público a no subestimar las capacidades de los sistemas futuros. Dijo que esos sistemas podrían superar a los humanos en varias áreas, vulnerar sistemas informáticos, acelerar drásticamente la investigación científica y adquirir una influencia significativa en el mundo real.
También afirmó que los especialistas que trabajan directamente en modelos de frontera están considerando seriamente escenarios en los que el desarrollo continuado de la tecnología tenga consecuencias catastróficas.
“Las personas que construyen IA realmente creen que podría matarnos a todos para el final de la década”, afirmó Coxon.
Según Coxon, las declaraciones públicas de ejecutivos y especialistas destacados suelen sonar considerablemente más cautelosas que sus evaluaciones en conversaciones privadas.
Coxon pide restricciones voluntarias
Coxon estableció una distinción entre los enfoques de OpenAI y Anthropic. Dijo que muchos empleados de OpenAI aún no han comprendido plenamente las posibles consecuencias de la superinteligencia. Anthropic, en cambio, entiende la magnitud de los riesgos, pero sigue en la carrera porque teme que sus competidores continúen desarrollando la tecnología de todos modos, afirmó.
Coxon describió ese enfoque como excesivamente arriesgado. Argumentó que las empresas privadas no deberían tener autoridad exclusiva para decidir si despliegan sistemas capaces de acelerar de forma independiente la investigación científica y su propio desarrollo.
Dijo que los principales laboratorios de IA de Estados Unidos podrían coordinar potencialmente medidas de protección. Las posibles medidas podrían incluir limitar voluntariamente el ritmo de desarrollo y, si fuera necesario, abstenerse temporalmente de nuevos aumentos de las capacidades de los modelos.
Coxon instó a los empleados de las empresas de IA a considerar si están preparados para participar en el entrenamiento de sistemas superinteligentes sin comprender adecuadamente cómo funcionan esos sistemas ni los riesgos que plantean.
Responde un investigador de alineación de Anthropic
El responsable de Ciencia de Alineación de Anthropic, Evan Hubinger, respondió a la declaración de Coxon respaldando su posición. Hubinger situó en más del 10% la probabilidad de que la IA pueda causar la extinción de la humanidad durante la próxima década.
Hubinger también reconoció que Anthropic no cuenta con una solución ya preparada para alinear la superinteligencia con los objetivos humanos.
El científico jefe de OpenAI, Jakub Pachocki, destacó anteriormente la necesidad de ralentizar el desarrollo de la IA ante la ausencia de garantías adecuadas de seguridad. En un ensayo publicado el 6 de septiembre, afirmó que ningún laboratorio ha resuelto la alineación y la supervisión lo suficientemente bien como para continuar escalando sistemas de forma responsable a máxima velocidad durante un período prolongado.
Fuente: HODL Press
