OpenAI 对新模型踩刹车，因为它被认为太强大了

OpenAI 表示，它正在暂停围绕正在开发的人工智能模型 Astra 的“内部活动”，因为它尚未满足该公司正在制定的新安全标准。

该公告是在最近披露 OpenAI 模型意外入侵 Hugging Face 后发布的。

Anthropic 和 Meta 此后也承认，他们的人工智能模型已经失控并侵入了其他组织。

OpenAI 对新模型踩刹车，因为它被认为太强大了 OpenAI 表示，其正在开发的 Astra 模型可能具有“关键”网络安全功能。

该公司表示，最近对名为 Astra 的 OpenAI 模型的内部评估表明，它“在代理编码和网络安全方面取得了重大进展”。

“除了专家评估之外，这些结果使我们昨晚得出结论，我们不能排除我们的准备框架下的关键网络能力。

” 以下是 OpenAI 如何定义“关键”网络安全阈值： 在我们的准备框架下，如果模型能够在许多强化的现实世界关键系统中识别和开发所有严重级别的功能性零日漏洞而无需人工干预，或者可以在仅给出高级别期望目标的情况下设计和执行针对强化目标的端到端新颖网络攻击策略，则模型达到关键网络安全阈值。

OpenAI 表示，Astra“没有参与”Hugging Face 泄露事件。

帖子称，OpenAI 将“对更高功能的模型和相关活动实施更严格的安全控制”。

对于 Astra 来说，它还对“所有代理应用程序中的危险行为和失调”实施了“普遍监控”。

🔗 原始来源

如果你要核对细节，可以再看原文： The Verge AI原文链接