AI热榜 人工智能代理正变得越来越复杂。
它们正在从回答问题发展到自主执行多步骤的复杂任务。
但在这些代理可以代表用户预订旅行或进行财务分析之前，模型提供商和构建此类代理的初创公司希望确保它们在各种场景中都能可靠地执行。
人工智能实验室经常使用基准测试来展示其模型的能力，但即使在面向代理的基准测试中获得高分，也实际上并不能证明人工智能可以正确完成各种复杂的现实世界工作。
守护神人工智能 是一家由前 Meta AI 研究人员 Anand Kannappan 和 Rebecca Qien 于 2023 年创立的初创公司，它正在帮助模型制作者和公司通过构建模拟数字环境来评估智能体的表现来微调模型，以实现这一目标。
这家位于旧金山的初创公司必须解决一个重要问题。
Notable Capital 董事总经理格伦·所罗门 (Glenn Solomon) 表示，几乎每个前沿人工智能实验室和许多新兴初创公司现在都是客户，他表示对该公司模拟环境的需求几乎是无法满足的。
去年，Patronus 的收入增长了 15 倍，极大地激发了投资者的兴趣。
周四，该公司宣布完成 5000 万美元的 B 轮融资，由 Greenfield Partners 领投，Notable Capital、Lightspeed、Datadog 和三星跟投。
此轮融资使该公司的总资金达到 7000 万美元。
守护神使用所谓的“数字世界模型”来创建网站和内部系统的副本。
在这些环境中，代理在使用强化学习进行训练后进行压力测试，这会迭代地奖励成功完成任务并惩罚错误。
人工智能实验室看到了这些数字模拟的巨大价值，因为它们让代理有机会尝试不同的、有时是不可预测的场景。
该公司将其方法与 Waymo 训练自动驾驶汽车的方法进行了比较，首先构建合成世界来测试车辆应对罕见危险的能力，例如恶劣天气或儿童追球。
人工智能代理的不同之处在于它们倾向于走捷径，这意味着它们无法正确完成任务。
“守护神非常擅长发现黑客行为并确保他们追究模型的责任，”所罗门说。
🔗 原始来源
如果你要核对细节，可以再看原文： TechCrunch AI原文链接