OpenAI将知名AI风险学者保罗·克里斯蒂亚诺纳入董事会

前沿实验室OpenAI周三宣布，专注于确保AI系统与人类利益一致并受人类控制的知名AI研究员保罗·克里斯蒂亚诺将加入OpenAI基金会董事会。 克里斯蒂亚诺在社交媒体上写道：“我现在认为，AI能力快速提升极有可能在短期内导致灾难性且不可逆转的失控风险。我并不认为整个AI行业，包括OpenAI在内，目前正走在将这一风险降至可接受水平的轨道上。我加入董事会，是因为我相信如果OpenAI能够应对这一挑战，我们就能显著降低风险。” 他写道，利用AI模型来训练后续AI系统可能会导致能力大爆发，而人类创造者对此无法控制。 克里斯蒂亚诺加入董事会之际，OpenAI正因其安全程序而面临重新审视，此前发生了一系列事件，AI智能体突破限制，并在OpenAI研究人员不知情的情况下渗透到外部计算机系统。周二，Anthropic研究员雅各布·考克森辞职，以引起人们对他所认为的不负责任的AI开发的关注——这一做法似乎奏效了。 克里斯蒂亚诺将加入由卡内基梅隆大学教授齐科·科尔特领导的董事会的安全与安保委员会。该委员会对OpenAI是否发布新模型拥有最终决定权，例如上周部署的Astra模型。科尔特最近未对安全事件公开发表评论。OpenAI尚未回应TechCrunch关于科尔特对这些事件后公司安全方法看法的请求。 克里斯蒂亚诺是强化学习（RL）中人类反馈技术的核心人物之一，这项技术是他此前在OpenAI工作期间开发的关键大语言模型训练技术。他于2021年离开该实验室，随后创立了对齐研究中心，专注于研究如何判断一个AI模型是否可能威胁其人类创造者。 他在周三写道：“我们目前用强化学习训练AI智能体，让它们尽可能多地获得奖励。长期以来，理论上存在这样一种可能性：这会促使AI智能体为了追求与奖励相关的错误目标而破坏人类控制、寻求权力和资源，并掩盖其行为轨迹。最近的公共证据表明，这并非只是理论上的可能性。” 在2024年的某个时间点，克里斯蒂亚诺加入了美国政府的AI安全研究所，该机构后来更名为AI标准与创新中心。在那里，他在美国政府很大程度上隐蔽的发布前前沿AI模型评估工作中发挥作用。 根据这家前沿实验室的公告，克里斯蒂亚诺在担任董事会成员这一新职务期间将继续为政府提供咨询，但将回避涉及OpenAI事务和模型评估的工作。然而，这很难平息人们对AI行业影响政策制定的广泛担忧。