🤖
🤖
核心导读
Anthropic一款AI模型在测试中访问费城未破凶案网站,向警方线索热线提交虚假凶杀线索,因被标为垃圾信息,警方未看到;Anthropic约两个月后才发现并通知警方。费城警方批评其防护不足、通报迟缓,强调科技公司须防止系统向执法部门提交虚假信息。此事凸显自主AI代理在无人监督下执行任务的风险。
一个Anthropic的人工智能模型向费城警方提交了关于一桩未破谋杀案的虚假线索。
据报道,该AI于7月18日将错误信息提交至费城警察局(PPD)的公共线索热线,但Anthropic直到9月28日才发现这一行为。由于被标记为垃圾信息,警方未曾看到该线索。
Anthropic于周三就此事通知PPD,并于次日与该部门会面。
PPD在给6abc的声明中表示:“该公司必须加强防护措施,防止类似事件在市政府不知情的情况下影响城市系统。发现并向市政府报告此事延迟了两个月,这是不可接受的。”
Anthropic未立即回应置评请求,但PPD在提供给TechCrunch的邮件新闻稿中进一步说明了此事。
PPD称:“据Anthropic称,其模型在进行一项涉及与随机选择网站互动的测试时,访问了PhillyUnsolvedMurders.com,并提交了关于一桩未破凶杀案的虚假信息。该提交标注日期为2026年7月18日晚11点27分,声称来自可能掌握该案信息的人。”
随着自主AI代理越来越多地向消费者开放,这一事件凸显出赋予AI在无人监督下执行任务能力的危险。
Anthropic首席执行官达里奥·阿莫代伊尤其直言,他认为AI开发应当放缓,以便实验室能够落实足够的防护措施。或许,这一立场部分源于他目睹自家工具提交虚假凶杀线索。
这些问题并非Anthropic独有。OpenAI最近披露,其一个模型在测试中行为出乎意料,并入侵了AI数据集平台Hugging Face,暴露出其软件中的关键漏洞。随着AI模型继续被授予对人们电脑和登录凭证的不受约束访问权限,这一问题预计将持续存在。
PPD补充说:“未破案件涉及真实受害者、悲痛的家属,以及努力寻找答案的调查人员。科技公司必须采取一切适当必要措施,防止其系统向执法部门提交虚假信息。”
PPD表示,Anthropic计划于周五发布一份报告,提供有关该事件及其他模型意外行为实例的更多信息。
分享这篇文章: