雅各布·考克森离开Anthropic，批评AI竞赛

研究员雅各布·考克森（Jacob Coxon）宣布，在过去三年间于 OpenAI 和 Anthropic 从事模型预训练工作后，他将离开 Anthropic。考克森指责两家公司在开发可自我改进的超级智能方面进行不负责任的竞赛，可能给人类带来灾难性后果。

研究员雅各布·考克森（Jacob Coxon）宣布，在过去三年于 OpenAI 和 Anthropic 从事模型预训练工作后，他将离开 Anthropic。他表示，在竞相打造可自我改进的超级智能之际，两家公司均未采取足够负责任的行动，这可能使人类面临风险。

“他们正径直奔向可自我改进的超级智能，并拿我们的生命下注，”考克森说。

考克森敦促公众不要低估未来系统的能力。他表示，这类系统可能在多个领域超越人类、入侵计算机系统、大幅加速科学研究，并在现实世界中获得重大影响力。

他还表示，直接从事前沿模型工作的专家正在认真考虑这样一种情景：持续发展这项技术将导致灾难性后果。

“构建 AI 的人真心相信，到本十年末它可能杀死我们所有人，”考克森说。

考克森称，高管和顶尖专家的公开表态，往往听起来比他们在私下交谈中的评估谨慎得多。

考克森呼吁实施自愿约束

考克森区分了 OpenAI 和 Anthropic 所采取的做法。他表示，许多 OpenAI 员工尚未完全认识到超级智能可能带来的后果；相比之下，Anthropic 理解风险的规模，但由于担心无论如何竞争对手都会继续开发该技术，因此仍留在这场竞赛中。

考克森称，这种做法风险过高。他认为，私营公司不应拥有唯一决定是否部署能够独立加速科学研究及其自身发展的系统的权力。

他表示，美国领先的 AI 实验室可能就保障措施进行协调。可能的措施包括自愿限制开发速度，以及在必要时暂时避免进一步提升模型能力。

考克森敦促 AI 公司员工思考，在未充分理解超级智能系统如何运作及其构成何种风险的情况下，他们是否准备参与训练这类系统。

Anthropic 对齐科学负责人埃文·休宾格（Evan Hubinger）回应了考克森的声明，并支持其立场。休宾格估计，未来十年内 AI 可能导致人类灭绝的概率超过 10%。

休宾格还承认，Anthropic 尚未有现成的解决方案，能够使超级智能与人类目标保持一致。

OpenAI 首席科学家雅各布·帕乔基（Jakub Pachocki）此前强调，在缺乏充分安全保障的情况下，需要放缓 AI 开发。他在 9 月 6 日发表的一篇文章中表示，没有任何实验室已将对齐和监控问题解决到足以负责任地长期以最高速度继续扩展系统的程度。