Anthropic 早期员工与前 METR 首席运营官找到约束失控 AI 智能体的方法

在 Anthropic 研究员雅各布·考克森（Jacob Coxon）因担心 AI 可能在本十年末杀死全人类而辞职的一天后，我见到了创始人、姻亲兄弟鲁恩·克维斯特（Rune Kvist）和拉吉夫·达塔尼（Rajiv Dattani）。他们认为自己找到了一个可能拯救全人类的解决方案，至少有助于防止 AI 智能体在企业内部失控。 “AI 正以越来越快的速度变得更聪明。AI 令人意外的一点是，随着它变得更聪明，采用和控制它反而变得更难，而不是更容易。”克维斯特说。他是 Anthropic 的早期员工，也是达塔尼妹妹的丈夫。达塔尼则是 AI 安全研究组织 METR 的前首席运营官。 这两人创办了一家名为 Artificial Intelligence Underwriting Company（AIUC）的初创公司，希望把 AI 安全带给企业和构建 AI 模型与智能体的公司。该初创公司称 Cursor、Lovable、Harvey 和 ElevenLabs 是其客户。 周二，AIUC 宣布完成 4000 万美元 A 轮融资，由 Ribbit Capital 领投，First Harmonic 参投。此前，它完成了 1500 万美元种子轮融资，投资方包括 Nat Friedman 通过其基金 NFDG、Emergence、Terrain 以及 Anthropic 联合创始人本·曼（Ben Mann）等，使其总融资额达到 5500 万美元。 吸引这批顶级投资者注意的是，AIUC 试图将一种熟悉的网络安全模式应用于一系列新的 AI 风险。该公司为 AI 智能体构建了第三方审计与认证层。 “银行、医院、政府和军方不再因为模型不够聪明而拒绝部署 AI，”克维斯特说，“他们拒绝，是因为他们已经向自己的客户承诺了系统会做什么、不会做什么，而目前没有人能保证这一点。” AIUC 以广泛采用的网络安全标准 SOC 2 为灵感，制定了一项名为 AIUC-1 的标准，并提供测试服务，依据该标准验证智能体。 为了制定这项标准，AIUC 召集了一个由约 250 名安全与风险负责人组成的联盟——他们是智能体的买家。“我们每月都会与这些人会面，问他们的问题是：当你从别人那里购买智能体时，你会关注什么？你想问哪些问题？你希望看到哪些问题得到解决？”达塔尼告诉 TechCrunch。 这些反馈塑造了测试内容。随后，这家初创公司会让智能体接受约 5000 项测试，观察其在涉及越狱、幻觉和数据泄露等场景中的表现。测试结果会生成一份约 100 页的报告，详细说明智能体在哪些方面表现安全可靠，在哪些方面并非如此。有趣的是，AIUC 使用 AI 智能体来运行测试，并用 AI 分析数据。不过，克维斯特说，最终审计由人类核验。 如果这听起来有点熟悉，那确实如此。达塔尼的前雇主 METR 也为前沿实验室做类似测试。他于 2024 年至 2025 年担任 METR 首席运营官，目前仍是董事会成员。不过，METR 的工作直到最近主要聚焦于性能（智能体能否可靠完成任务）。METR 是 OpenAI 用来调查其 Hugging Face 事件的独立研究机构之一。 Anthropic CEO 达里奥·阿莫代（Dario Amodei）最近也呼吁 AI 行业放慢前沿开发步伐，理由是不良行为事件迅速增加。在帖子中，阿莫代提出，可以要求前沿实验室使用嵌入式的第三方评估机构来观察和验证安全性，并将 METR 列为可能选择之一。 虽然 AIUC 并不提议将自己嵌入客户现场，但整体思路相似：为企业提供关于其 AI 智能体安全程度的独立评估。“这里是它通过的地方，你可以信任它；这里是有担忧的地方。在你决定购买之前，应该了解这些参考信息，”达塔尼说。