AI热榜 人类研究员雅各布·考克森 (Jacob Coxon) 因担心人工智能可能会在本世纪末杀死我们所有人而辞职，一天后，我会见了创始人兼妹夫鲁恩·科维斯特 (Rune Kvist) 和拉吉夫·达塔尼 (Rajiv Dattani)。
他们认为他们有一个解决方案可以拯救我们所有人，或者至少有助于防止人工智能代理在企业内部作恶。
“人工智能正在以越来越快的速度变得越来越聪明。
令人惊讶的是，随着人工智能变得越来越聪明，而不是更容易，人工智能变得越来越难以采用和控制，”Kvist 说，他是 Anthropic 的早期员工，也是 Dattani 妹妹的妻子。
Dattani 是人工智能安全研究组织 METR 的前首席运营官。
两人创办了一家名为人工智能承保公司（Artificial Intelligence Underwriting Company）的初创公司（ 美国大学联合会 ）希望为构建人工智能模型和代理的企业和公司带来人工智能安全。
该初创公司将 Cursor、Lovable、Harvey 和 ElevenLabs 列为客户。
周二，AIUC 宣布完成由 Ribbit Capital 领投、First Harmonic 参投的 4000 万美元 A 轮融资。
此前，该公司通过 Nat Friedman 的基金 NFDG 以及 Emergence、Terrain 和 Anthropic 联合创始人 Ben Mann 等完成了 1500 万美元的种子轮融资，使其总资金达到 5500 万美元。
引起这群顶级投资者注意的是 AIUC 尝试将熟悉的网络安全模型应用于一系列新的人工智能风险。
该公司为人工智能代理构建了第三方审核和认证层。
“银行、医院、政府和军队不再因为模型不够智能而拒绝部署人工智能，”科维斯特说。
“他们拒绝了，因为他们已经向自己的客户承诺了系统会做什么和不会做什么，但目前没有人能保证这一点。
” AIUC 以广泛采用的网络安全标准 SOC 2 为缪斯，开发了名为 AIUC-1 的标准和测试服务，以根据该标准验证代理。
为了制定该标准，AIUC 组建了一个由约 250 名安全和风险领导者（代理的买家）组成的联盟。
“这些是我们每月会见的人，我们问他们的问题是：当你从某人那里购买代理时，你会寻找什么？
你想问什么问题，你希望看到什么解决？
”达塔尼告诉 TechCrunch。
🔗 原始来源
如果你要核对细节，可以再看原文： TechCrunch AI原文链接