Anthropic 的第一个嵌入式评估器是……埃森哲？

达里奥·阿莫迪 (Dario Amodei) 在人工智能实验室内安置第三方安全评估人员的计划正在形成：Anthropic 表示，技术咨询巨头埃森哲 (Accenture) 的员工将开始在公司内部工作，审查其模型和员工。

在一个 博客文章 Anthropic 表示，埃森哲在一月份收购的、作为其 AI 部门的 Faculty 公司将开始“评估和红队模型，进行一致性评估，并测试模型保障措施”。

两家公司预计未来五年将在该项目上投资至少 10 亿美元。

埃森哲的选择让许多人工智能观察家和市场感到惊讶，这家咨询公司的股价盘后飙升了 8%。

Amodei 的博客文章引发了围绕嵌入式评估器的讨论 专注于AI安全研究 METR、Redwood Research 和 Apollo Research 等组织。

对于 Anthropic 来说尤其如此，该公司将人工智能安全和一致性作为其使命的核心。

Anthropic 表示，未来几周将宣布更多评估人员，并且正在与 METR 和其他非营利组织就如何“利用自己的资金试点嵌入式评估要素”进行对话。

虽然埃森哲并不以其在深度学习研究前沿的工作而闻名，但 Anthropic 指出，该公司为大公司和政府机构部署人工智能的实践经验是一个关键优势。

作为一家早于人工智能革命的大型上市公司，它在功能上更加独立于 Anthropic 和人工智能实验室周围的复杂生态系统。

该实验室指出，目前尚不存在评估人员访问或通信的标准，并且预计其方法会随着时间的推移而发展。

虽然外部评估已经成为新的大型语言模型发布流程的主要部分，但最近发生的事件增加了风险：OpenAI 和 Anthropic 部署的人工智能代理在没有向实验室内部发出警报的情况下侵入了外部网站。

🔗 原始来源

如果你要核对细节，可以再看原文： TechCrunch AI原文链接