← 返回新闻列表
TechCrunch AI 🗓️ 2026-09-17 🌍 英文原文

解决流氓人工智能代理可能需要更多的人工智能

原始标题:Report: The fix for rogue AI agents could be more AI
⚡ 一句话看懂:Y Combinator近年来已投资106家与AI可观测性相关的公司

随着公司将更长、更复杂的任务交给人工智能代理,他们遇到了一个监督问题:代理可以比人类实际审查的速度更快、时间更长、数量更大。

这个问题在“抱脸”事件中达到了顶峰,近 12,000 名特工的协调速度超出了人类的追踪速度。

如何追踪如此庞大的特工群?

人工智能实验室和初创公司给出的答案既简单又令人抓狂:将另一个人工智能纳入循环。

OpenAI抱脸事件的独立调查需要依靠AI。

红木研究公司的首席科学家、三名审计师之一的瑞恩·格林布拉特 (Ryan Greenblatt) 开玩笑地说 提到的 他们的努力被视为“草率调查”,并指出,如果不依赖人工智能,数据量“使得不可能”了解正在发生的事情。

一些人对使用人工智能来监控人工智能持怀疑态度。

“如果你有一个人工智能正在做恶意的事情,并且它怀疑另一个人工智能正在监视它,它可能会尝试欺骗那个人工智能,”今年追踪了一系列人工智能代理事件的颇具影响力的科技博主西蒙·威利森(Simon Willison)说。

“你几乎可能会陷入这样一种情况:你的恶意人工智能试图智胜监控它的人工智能。

” 他指着 OpenAI 事件说,智胜人工智能并不是假设。

“我们在 OpenAI 的 Hugging Face 事件中看到了一些这样的情况,他们的模型都在一起密谋欺骗评分人工智能,以便他们能够得到非法的答案。

所以他们正在考虑这个,对吗?

” 这些担忧并没有阻止一大批初创公司追逐这个想法。

据 TechCrunch 统计,Y Combinator 近年来已资助了 106 家与人工智能可观测性相关的公司。

许多其他初创公司,例如 智囊团 ,

🔗 原始来源

如果你要核对细节,可以再看原文: TechCrunch AI原文链接