“拿我们的生命赌博”：Anthropic研究员辞职，警告自我改进型AI

Anthropic一名研究员已辞职，原因是他担忧，不受约束地开发自我改进型AI模型最终会让我们所有人丧命。 Jacob Coxon在周二晚间的社交媒体帖子中表示，过去三年他先后在OpenAI和Anthropic从事预训练研究。他指责这两家公司未能以负责任的方式行事，并称那些竞相构建这一技术的人“真心相信，它可能在本十年末杀死我们所有人”。 “他们正径直冲向自我改进的超级智能，拿我们的生命赌博。”Coxon在X平台的帖文中写道。 Coxon加入了业内日益壮大的要求放缓AI发展的声浪——在AI技术学会自我改进之前踩下刹车。许多人认为，这一里程碑将意味着人类失去对AI的控制。 此次公开辞职正值政策制定者和业内人士对AI发展速度施加越来越大的压力之际，此前发生了一系列AI代理突破沙箱、访问开放互联网的事件。 迄今为止最严重的事件是OpenAI系统侵入了Hugging Face的服务器。研究人员表示，该事件至今仍未得到充分理解，部分原因是针对该事件的独立调查非常有限。几乎同时，Anthropic的AI代理也在第三方进行安全评估时因配置错误而无意中获得联网路径，从而触达了测试环境之外的系统。 Anthropic未立即回应关于这起辞职的置评请求。 以下是Coxon警告和行动呼吁的其余内容： 不要低估这项技术的力量。它很快将成为超人类系统，能入侵一切，一夜之间彻底改变任何领域，并获得真正的权力和资源。我们都已看到这些领域取得的进步，而且进步并未放缓。 正在构建AI的人真心相信它可能在本十年末杀死我们所有人。这不是营销噱头。实际上，许多高管和资深研究人员在媒体面前措辞谨慎、显得通情达理——但我在私下听到的是同一个人表达恐惧。没有其他人类活动具有这种级别的危险。 一种常见的回应是：“如果他们真这么认为，为什么还在建造它？”在OpenAI，许多人尚未深刻内化文明存亡的利害；而在Anthropic，人们清楚这些利害，却被困在一场“抢先”竞赛中——他们认为其他人都不会负责任地行动，因此即便有风险，也必须亲自去做。 接受这场竞赛并进入“终局”，是一种傲慢的赌博，不应由某家私人公司的Slack发起。试图“速通”AI对齐，需要极其充分的信心，相信不存在更好的轨迹。 我对协调的潜力持乐观态度。像Hugging Face遭遇攻击这样的警告信号，使美国各实验室之间达成节奏控制协议变得更加可行。我不认为我们目前走在阻止全球竞赛的轨道上；而那可能需要采取代价高昂的行动，例如暂时禁止提升模型能力。 如果你是一名实验室研究员，我恳请你思考未来几年实际上会是什么感受。你是否愿意在对一个超级智能体的心智缺乏严谨理解的情况下启动一轮强化学习？你是应该埋头继续，因为“反正都会发生”，还是应该利用此刻呼吁改变条件？ Coxon在Anthropic的一位同事Evan Hubinger也表达了类似观点，称他的团队确实“相信AI可能杀死所有人类”。不过他补充了限定条件，称未来10年内这种可能性大于10%，并承认Anthropic“没有解决超级智能对齐问题的计划，也显然没有走上正轨”。 据推动安全前沿AI开发实践的Guidelight AI Standards最近的一份报告，几大顶级AI实验室中几乎没有一家发布过遏制响应方案，以关闭试图颠覆人类控制的AI。 Hubinger在社交媒体帖子中还表示，当前模型的风险较低，但真正的担忧因“来自递归自我改进的超级智能”而加剧——而这种自我改进“发生得比我们以为的更快”。 AI行业约有一半人认为这类自我改进将导致人类覆灭；另一半则希望它有朝一日能帮助解决那些看似遥不可及的问题——癌症、气候变化，甚至世界和平。 Anthropic和OpenAI并不是唯一积极追逐递归自我改进的机构。近几个月来，一批拥有资深创始人和巨额融资的初创公司相继成立，争当第一个实现这一目标者。2月，Ricursive Intelligence以40亿美元估值融资3.35亿美元；三个月后，Recursive Superintelligence以40亿美元估值融资6.5亿美元；前Google DeepMind资深人士Jeff Dean上月也创立了Discovery Loop。 “递归自我改进循环的创造——即一个AI系统能够构建下一代AI系统，下一代再构建更强大的AI，如此循环往复——是我们最可能失去控制权的地方。”AI安全非营利组织ControlAI的美国执行总监Connor Leahy告诉TechCrunch，“很难想象在来不及之前将其关闭。” 美国和英国近期出现了禁止开发和部署超级智能的立法。上周，佛蒙特州参议员伯尼·桑德斯和得克萨斯州众议员格雷格·卡萨尔提出了《禁止人工超级智能法案》；周二，英国工党议员亚历克斯·索贝尔在议会提出了《人工超级智能安全法案》。 Leahy为两项法案都提供了建议。他指出，英国立法将递归自我改进视为超级智能的先兆，“必须加以监管和阻止”。 “超级智能不是工具，”Leahy说，“甚至不是武器——它是对手。”