Anthropic 无法可靠控制其 AI 智能体，转而切断内部评估的实时互联网连接

Anthropic 表示，其模型利用了互联网上的网站，包括一些由美国政府机构运营的网站；在确信能够监控并控制其 AI 智能体之前，这家前沿实验室将关闭所有内部评估的实时互联网访问。 这些事件在一篇博客文章中披露。涉及其中的 AI 智能体被赋予在互联网上寻找资源以解决问题的任务。在此过程中，它们利用了软件漏洞，绕过了付费墙和反机器人限制，使用 URL 缩短服务绕过限制夹带信息，甚至向费城警方提交了一条虚假的谋杀线报。 Anthropic 表示，这些新问题是在始于 7 月的一项针对其模型活动的审查中发现的，这凸显出该实验室对其软件行为缺乏了解。 值得注意的是，该公司表示，对齐训练尚不足以支撑搜索和计算机使用等技能，而这些技能正是其核心卖点：任何依赖数字工具的专业人士都将使用 AI 智能体。 Anthropic 披露的这些行为，与涉及 OpenAI 智能体的事件相似：这些智能体曾协作入侵多个网站以搜寻信息，其中包括一些由澳大利亚政府运营的网站。 Anthropic 此前曾披露其模型入侵过外部系统。这家前沿实验室表示，从对齐和安全角度看，此次披露的问题比其此前公布的事件“严重性明显更低”。 然而，该实验室仍表示，已对“所有内部评估”关闭“实时互联网访问”，直到确信能够监控和控制其智能体。 目前尚不清楚这意味着什么，但 AI 安全组织 Nightingale 创始人 Sydney Von Arx 在此次披露前接受 TechCrunch 采访时表示，在切断与开放互联网连接的数据中心开发模型，无论对研究人员使用，还是对模型取得进展，都会非常困难，因为联网对模型有益。 “你总得在某个时候让它们对齐，”Von Arx 说。“如果 AI 被发布到生产环境后永远无法访问互联网，那就不是一个很有用的工具。” Anthropic 表示，这种行为源于其实验室训练环境中的缺陷，这些缺陷让模型以为，找到空子或规避限制会得到奖励，这种行为被称为“奖励黑客”。 该公司表示，将停止运行部分评估，或将其移至离线环境，并已构建工具来检测和阻止这种行为。该工具已针对此次披露的这类事件进行测试，并成功阻止了它们；目前尚不清楚需要什么证据，才能促使 Anthropic 恢复内部评估的实时互联网访问。 Anthropic 还表示，将把其内部 AI 智能体迁移到“集中管理、具备强隔离能力的基础设施”，并开始更频繁地使用安全分类器来监控这些智能体。