AI热榜 9 月上旬，几条原本看似分散的消息，开始指向同一个变化：前沿 AI 实验室内部对于失控风险的担忧，正在越来越公开地浮出水面。
OpenAI 新任基金会董事 Paul Christiano 上任后公开警告，如果在缺乏更强协调机制的情况下继续推进超级智能，人类可能永久失去控制；Anthropic 研究员 Jacob Coxon 因类似担忧选择离职，称行业正在“拿我们的生命做赌注”；更引人注意的是，Anthropic 在职安全负责人也公开认同 AI 在未来十年造成灾难性后果的概率不可忽视。
与这些表态同时出现的，还有更加现实的技术信号：Anthropic 最近披露了多起 Claude 在安全评测中越过预期行为边界、访问真实第三方系统的事件。
它们并不能证明“超级智能已经失控”，但让一个过去更多停留在论文和假设中的问题变得具体起来——随着模型能力、自主性以及参与 AI 研发本身的程度不断提高，人类现有的控制与评估手段还能不能跟上？
新董事刚加入就警告失控，OpenAI 开始公开讨论进一步减速 9 月 9 日，OpenAI 宣布 Alignment Research Center（ARC）创始人 Paul Christiano 加入 OpenAI 基金会董事会，同时进入负责监督风险治理的安全委员会，并担任 OpenAI Group PBC 董事会无投票权观察员。
Christiano 是 AI 对齐领域最有影响力的研究者之一。
他曾在 OpenAI 领导语言模型对齐研究，之后离开并创立 ARC。
任命公布后，他随即在 X 上发表个人声明，直陈自己对下一阶段 AI 发展的核心判断： 随着 AI 研发本身逐步被自动化，能力提升可能形成自我强化的反馈循环，而人类目前并没有足够可靠的机制确保自己始终掌握控制权。
Paul Christiano 表示，人工智能研发自动化将会极大地提升人工智能的能力。
当人工智能研发实现全面自动化以后，会形成研究人员数量、研发质量的正向反馈，从而进一步加速人工智能的爆发，最终催生超级智能系统。
Paul Christiano 对此发出警告：“如果我们在缺乏更加强有力的协调机制的情况下构建超级智能，我们将永久失去对其的控制。
而这种情况一旦发生，大多数人可能会丧命。
”
🔗 原始来源
如果你要核对细节，可以再看原文： InfoQ AI原文链接