不透明递归，以及其他你可能需要了解的AI术语

AI正在改写世界，同时也在创造一种全新的语言来描述它的所作所为。如今，只要参加任何产品会议、项目推介或座谈会，你都会听到人们随口提及LLM、RAG、RLHF——以及从上周开始出现的诸如“不透明递归”这样的术语，即OpenAI新版Astra模型用到的推理技术，这一技术让AI安全研究人员忧心忡忡。这一词汇变化之快，足以让科技界一些极为聪明的人也感到有些力不从心。 本词汇表就是为了解决这一问题而做的尝试：不论你是利用这些技术进行开发、进行投资，还是仅仅通过阅读TechCrunch或收听相关播客来试图跟上进展，都能从中找到最可能遇到的AI术语的通俗易懂的解释。我们会随着领域的发展定期更新，因此你也可以把它看作一份活的文档，就像它所描述的AI系统那样。 人工通用智能（AGI）是一个模糊不清的术语。但它通常指的是至少在多数（即便不是绝大多数）任务上比普通人类更有能力的AI。OpenAI首席执行官萨姆·奥尔特曼曾将AGI描述为“相当于一个可作为同事雇佣的中等水平人类”。与此同时，OpenAI的章程将AGI定义为“在大多数具有经济价值的工作上表现优于人类的高度自主系统”。谷歌DeepMind的理解与前两者略有不同；该实验室认为AGI是“在大多数认知任务上至少和人类一样能干的AI”。感到困惑？不必担心——处于AI研究前沿的专家们也同样困惑。 AI智能体是一种利用AI技术代表你执行一系列任务的工具——其能力超越了基础AI聊天机器人所能做的范围——例如报销费用、预订机票或餐厅餐桌，甚至编写和维护代码。然而，正如我们之前解释过的，在新兴的智能体领域中有许多动态因素，因此“AI智能体”对不同的人可能有不同的含义。其基础设施也仍在建设中，以实现其预期能力。但基本概念意味着一种自主系统，它可能利用多个AI系统来执行多步骤任务。 可以把API端点想象成软件背面的“按钮”，其他程序可以按下这些按钮来让软件执行操作。开发者利用这些接口来构建集成——例如，允许一个应用程序从另一个应用程序拉取数据，或者让AI智能体直接通过编程方式控制第三方服务，而不需要人工手动操作每个界面。大多数智能家居设备和互联平台都有这些隐藏按钮可供使用，即使普通用户从未看到过或与之交互。随着AI智能体变得日益强大，它们越来越能够自行发现并使用这些端点，为自动化带来了强大——有时也出人意料——的可能性。 面对一个简单的问题，人脑可以不假思索地作答——比如“哪种动物更高，长颈鹿还是猫？”但在很多情况下，你常常需要纸笔才能得出正确答案，因为存在中间步骤。例如，如果一位农民养了鸡和牛，它们共有40个头和120条腿，你可能需要写下简单的方程才能得出答案（20只鸡和20头牛）。在人工智能语境下，用于大语言模型的思维链推理意味着将问题分解为更小的中间步骤，以提高最终结果的质量。虽然得到答案通常需要更长时间，但答案更可能正确，尤其是在逻辑或编程场景中。推理模型是在传统大语言模型基础上发展而来，并通过强化学习来针对思维链思维进行优化。 与“AI智能体”相比，编码智能体是一个更具体的技术概念，后者是指能自主分步执行操作以达成目标的程序。编码智能体则是应用于软件开发的专业版本。编码智能体不只是建议代码供人审查并粘贴，而是自主编写、测试和调试代码，处理那些通常会消耗开发人员一整天的迭代性试错工作。这些智能体可以在整个代码库上运行，发现错误、运行测试，并在最少人工监督的情况下推送修复。可以想象为雇佣了一名非常快速的实习生，他从不睡觉，也从不失去专注——不过，和任何实习生一样，仍需要人工审查其工作。 尽管“算力”这个词有点多元，但它通常指让AI模型运转的关键计算能力。这种处理能力为AI产业提供动力，使其能够训练和部署强大的模型。该术语通常也作为提供计算能力的硬件类别的简称，如GPU、CPU、TPU以及构成现代AI产业基石的其它基础设施。 深度学习是自我改进的机器学习的一个子集，其中AI算法被设计成具有多层人工神经网络（ANN）结构。这使得它们相比基于更简单机器学习系统（如线性模型或决策树）能够做出更复杂的关联。深度学习算法的结构借鉴了人脑中神经元互联通路的思想。深度学习AI模型能够自行识别数据中的重要特征，而无需人类工程师定义这些特征。该结构还支持算法从错误中学习，并通过重复和调整的过程改进自身输出。然而，深度学习系统需要大量数据点才能获得良好结果（数百万乃至更多）。它们通常也比更简单的机器学习算法需要更长的训练时间——因此开发成本往往更高。 扩散是许多生成艺术、音乐和文本AI模型的核心技术。受物理学启发，扩散系统通过添加噪声慢慢“破坏”数据结构——例如照片、歌曲等——直到什么都不剩。在物理学中，扩散是自发且不可逆的——咖啡中的糖扩散后无法恢复成方块形状。但AI中的扩散系统旨在学习一种“逆扩散”过程来恢复被破坏的数据，从而获得从噪声中恢复数据的能力。 蒸馏是一种通过“师生模型”从大型AI模型中提取知识的技术。开发者向教师模型发送请求并记录输出。这些答案有时会与数据集进行比较，以检查其准确程度。然后利用这些输出训练学生模型，使其近似教师的行为。蒸馏技术可用于基于更大的模型创建更小、更高效的模型，同时保持最小的蒸馏损失。OpenAI很可能就是利用这种方式开发出了更快的GPT-4版本——GPT-4 Turbo。虽然所有AI公司都在内部使用蒸馏技术，但有些AI公司可能也用它来追赶前沿模型。从竞争对手处进行蒸馏通常会违反AI API和聊天助手的服务条款。 微调指的是对AI模型进行进一步训练，以优化其在比之前训练焦点更具体的任务或领域上的表现——通常是通过输入新的专门化（即任务导向的）数据。许多AI初创公司以大语言模型为起点构建商业产品，同时试图通过利用自身领域特定的知识和专业知识进行微调来补充早期训练周期，从而为目标行业或任务提升实用性。 GAN，即生成对抗网络，是一种机器学习框架，支撑了生成式AI在生成逼真数据方面的一些重要进展——包括（但不限于）深度伪造工具。GAN使用一对神经网络，其中一个网络根据其训练数据生成输出，传递给另一个模型进行评估。这两个模型本质上是试图胜过对方。生成器试图让输出骗过判别器，而判别器则努力识别出人工生成的数据。这种结构化的对抗可以在无需额外人工干预的情况下优化AI输出，使其更加逼真。虽然GAN在最狭窄的应用场景（如生成逼真的照片或视频）中表现最佳，而不是用于通用AI。 幻觉是AI行业对AI模型编造内容——即字面上生成错误信息——的偏爱说法。显然，这对AI质量来说是一个巨大的问题。幻觉会导致生成式AI输出具有误导性的内容，甚至可能带来现实生活中的风险——并产生潜在的危险后果（比如某个健康查询返回了有害的医疗建议）。AI编造信息的问题被认为是训练数据存在空白所致。幻觉现象正在推动AI向更加专业化或更垂直的方向发展——即需要更窄专业能力的领域特定AI——以降低知识空白的可能性并减少虚假信息的风险。 推理是运行AI模型的过程。它是指让模型基于以往的数据进行预测或得出结论。需要明确的是，没有训练就不会有推理；模型必须先在一组数据中学习模式，然后才能有效地从这些训练数据中做出外推。许多类型的硬件可以执行推理，从智能手机处理器到高性能GPU，再到定制设计的AI加速器。但并非所有硬件都能同样出色地运行模型。例如，在笔记本电脑上运行非常大的模型可能需要很长时间，而带有高端AI芯片的云服务器则快得多。 大语言模型（LLM）是ChatGPT、Claude、谷歌Gemini、Meta的AI Llama、微软Copilot或Mistral的Le Chat等流行AI助手所使用的AI模型。当你与AI助手聊天时，你实际上是在与一个大语言模型交互，该模型直接处理你的请求或借助各种可用工具（如网络浏览或代码解释器）来执行。LLM是包含数十亿个数值参数（即权重，见下文）的深度神经网络，这些参数学习单词和短语之间的关系，并创建语言表示，也就是一种多维度的单词映射。这些模型是通过对数十亿册书籍、文章和文本记录进行模式编码而创建的。当你向LLM发出提示时，模型会生成最适合该提示的模式。 内存缓存是提升推理效率的重要过程，它能让AI更高效地响应用户请求。本质上，缓存是一种旨在提高推理效率的优化技术。AI自然由高强度数学计算驱动，而每进行一次计算，都会消耗更多电力。缓存的目的在于通过为将来的用户查询和操作保存某些计算结果，来减少模型可能必须运行的计算数量。内存缓存有不同的类型，KV（键值）缓存是其中较为知名的一种。KV缓存工作在基于Transformer的模型中，能提高效率，减少生成用户问题答案所需的时间（和算法劳动），从而带来更快的结果。 模型上下文协议（MCP）是一种开放标准，允许AI模型连接到外部工具和数据——例如你的文件、数据库或Slack、Google Drive等应用——而无需开发者就每一次配对单独构建定制连接器。你可以把它想象成AI的USB-C端口。Anthropic于2024年提出MCP，后来将其交给Linux基金会，此后OpenAI、谷歌和微软也都采用了该标准，它已成为AI近年来普及速度最快的标准之一。 专家混合（MoE）是一种模型架构，它将神经网络拆分为许多更小的专门子网络（或“专家”），对于给定任务只激活其中一小部分。MoE模型并不是将每个请求都路由到整个模型——就像遇到每个问题都把整个办公室的人都叫来——而是内置一个“路由器”，只为任务挑选合适的专家。这使得构建庞大的模型成为可能，同时保持相对快速和低运行成本，因为每次只有一小部分网络在工作。Mistral AI的Mixtral模型是一个著名的例子；大量报道也认为OpenAI较新的GPT模型使用了某种类似的方法，尽管该公司从未正式确认过。 神经网络是指支撑深度学习的多层算法结构——更广泛地说，是在大语言模型出现后整个生成式AI工具繁荣发展的基础。尽管将人脑密集互联的通路作为数据处理算法设计结构的灵感这一想法可追溯到20世纪40年代，但直到最近通过电子游戏行业兴起的图形处理硬件（GPU），才真正释放了这一理论的力量。这些芯片被证明非常适合训练比早期时代具有更多层的算法——使基于神经网络的AI系统在语音识别、自动驾驶和药物发现等多个领域取得了更好的性能。 神经语言（Neuralese）是一个假想的最坏情况，即模型完全以其内部数字表示而不是人类可读的语言进行推理，使其思维成为一个完全的黑盒。目前还没有任何已发布的模型这样做——OpenAI已经表示，其Astra模型（发布于2026年9月，因早期采用“不透明递归”推理技术而引人注目）保持了思维链的可读性，并反驳了将其与“神经语言”相提并论的说法。但安全研究者指出，Astra对不透明递归的运用——其定义就在下方——是朝这个方向迈出的真正第一步，这也是该词在Astra发布的报道后迅速升温的原因。 “不透明递归”是指AI模型对同一查询在其内部层中反复循环，而不是以通俗语言逐步推理。这种方式更高效——较小的模型可以用更少的算力实现超出自身规模的效果——但它留下的可读痕迹比正常思维链（即你向聊天机器人提问后看到的滚动式“心路历程”）少得多。这让安全研究人员感到担忧，因为这些日志是发现模型错误行为的关键工具——而该技术可能使这种监督变得更加困难。 开源是指软件——或者越来越常见的AI模型——的底层代码向公众开放，任何人都可以使用、检查或修改。在AI领域，Meta的Llama系列模型就是一个突出的例子；Linux则是操作系统领域中著名的历史对应物。开源方式允许世界各地的研究人员、开发者和公司在彼此工作之上进行构建，从而加速进展，并实现封闭系统难以提供的独立安全审计。闭源意味着代码不公开——你可以使用产品，但不能看到其如何运作，如OpenAI的GPT模型——这一区别已成为AI行业的核心争论之一。 并行化意味着同时执行许多任务，而不是一个接一个——就像让10名员工同时处理项目的不同部分，而不是一名员工按顺序完成所有工作。在AI中，并行化是训练和推理的基础：现代GPU专门设计用于并行执行数千次计算，这也是它们成为行业硬件支柱的重要原因。随着AI系统越来越复杂，模型规模越来越大，跨多芯片多机器并行化工作的能力已成为决定模型构建和部署速度及成本效益的最重要因素之一。对更好并行化策略的研究本身已成为一个领域。 “内存末日”（RAMageddon）是用来描述席卷整个科技行业的一个并不好玩的趋势的新造词：随机存取存储器（RAM）芯片日益短缺，而几乎我们日常使用的所有科技产品都依赖RAM。随着AI行业蓬勃发展，最大的科技公司和AI实验室——都在争相拥有最强大、最高效的AI——购买了大量RAM来支持其数据中心，导致留给其他人的RAM所剩无几。这种供应瓶颈意味着剩下的产品价格越来越昂贵。这影响到游戏（大公司不得不提高游戏机价格，因为很难找到设备所需的内存芯片）、消费电子（内存短缺可能导致智能手机出货量十多年来最大跌幅）以及一般企业计算（因为这些公司无法获得足够RAM来支撑自己的数据中心）等行业。只有令人担忧的缺货结束后，价格飙升才有望停止，但遗憾的是，目前还没有什么迹象表明这种情况会很快结束。 递归深度（Recurrent depth）是与“不透明递归”完全相同方法的一个更“技术化”的名称（即通过模型各层多次循环查询，而不是用语言顺序推理）。媒体几乎可以互换使用这两个词，所以这里也列出来；不过，“递归深度”是工程术语，而“不透明递归”则强调安全关切。 与AGI一样，“递归自我改进”（RSI）也是衡量AI能有多聪明，以及它能对人类的依赖有多低的一个门槛。在RSI情景中，AI模型在没有人类干预的情况下开始自我改进，从而在能力和自主性上带来巨大加速。在一些叙事中，这将是如同奇点一样的灾难性时刻，届时AI模型将不受外部干预的影响。但RSI也描述一种基本能力——AI模型能否设计自己的继任者？——这使得工程师更容易尝试去构建它。最近有不少AI初创公司已着手构建递归自我改进模型，但它们中的大多数都不认同其末日论含义，而是将RSI呈现为研究的新前沿。 强化学习是一种训练AI的方法，系统通过尝试并从正确答案中获得奖励来学习——就像用零食训练你心爱的宠物，只不过这里的“宠物”是神经网络，而“零食”是表示成功的数学信号。和监督学习不同，监督学习是在固定有标签示例数据集上训练模型，而强化学习让模型探索环境、采取行动，并根据收到的反馈不断更新自己的行为。这种方法在训练AI玩游戏、控制机器人方面特别有效，最近也用于提高大语言模型的推理能力。诸如“基于人类反馈的强化学习”（RLHF）等技术，现在已经成为领先AI实验室微调模型以提高其有用性、准确性和安全性的核心。 Token（令牌）在人与机器之间的沟通中扮演着桥梁的角色。人类使用人类语言沟通，而AI程序通过由数据支持的复杂算法流程执行任务。Token弥合了这一鸿沟：它们是人与AI交流的基本构件，表示已经被LLM处理或生成的离散数据段。它们通过一种称为“分词”的过程创建，该过程将原始文本分解成语言模型能够消化的小块单元，类似于编译器将人类语言翻译成计算机能理解的二进制代码。在商业场景中，token还决定了成本——大多数AI公司按token数量向使用LLM的用户收费，这意味着业务使用越多，费用就越高。 Token吞吐量衡量的是系统在给定时间内可处理多少token。Token是AI语言模型处理分词后的文本小块——通常是一个词的部分而非整词——这与理解AI工作负载时的“词”大致类似。吞吐量指的是在给定时间段内可以处理多少量，所以token吞吐量本质上衡量一个AI系统可以同时处理多少AI工作。高token吞吐量是AI基础设施团队的关键目标，因为它决定了模型能同时服务多少用户，以及每个用户收到响应的速度。AI研究者Andrej Karpathy曾描述过当他的AI订阅闲置时感到的焦虑——这与他研究生时期觉得昂贵的计算机硬件没有被充分利用时的感受类似——这种情绪反映了为什么最大化token吞吐量已成为该领域近乎痴迷的目标。 训练是开发机器学习AI的过程。简单来说，训练就是输入数据，使模型能够从模式中学习并生成有用的输出。本质上，这是系统对数据中的特征做出响应的过程，使其能够调整输出以达到所期望的目标——无论是识别猫的图片还是按需生成俳句。训练可能很昂贵，因为它需要大量输入，且所需数据量一直在上升——这就是为什么微调等方法（用针对性数据微调基于规则的AI）有助于在不从头开始的情况下控制成本。 迁移学习是一种技术，即利用先前训练好的AI模型作为开发新模型的起点，该新模型针对不同但通常相关的任务——从而可以重复应用在先前训练周期中获得的知识。迁移学习可以通过缩短模型开发过程来节省成本。在模型所针对任务的数据有限时，它也同样有用。但必须指出，这种方法有其局限性。依赖迁移学习获得泛化能力的模型，可能仍需要在额外数据上进行训练，才能在其所在领域表现良好。 验证损失是一个告诉你AI模型在训练期间学习情况的数字——越低越好。研究人员会密切关注它，将其视为一种实时成绩单，用来决定何时停止训练、何时调整超参数，或者是否要调查潜在问题。它帮助发现的一个关键问题是过拟合，即模型记住了训练数据，而不是真正学到能够泛化到新情况的模式。可以想象一下真正理解材料的学生与仅仅背诵去年试卷的学生之间的差异——验证损失有助于揭示你的模型正在变成哪种学生。 权重是人工智能训练的核心，因为它们决定了训练系统中不同特征（或输入变量）被赋予多大的重要性（即权重），从而影响AI模型的输出。换句话说，权重是数值参数，定义了在给定训练任务的数据集中什么最显著。它们通过对输入应用乘法来实现其功能。模型训练开始时，权重通常随机分配，但随着训练展开，权重的调整是为了让模型输出更接近目标。例如，一个用于预测房价的AI模型，基于目标地段的历史房地产数据进行训练，可以对卧室和浴室数量、房产是独立房还是半独立房、是否有停车位、车库等因素设置权重。最终，模型分配给每个特征的权重，反映了基于给定数据集中这些特征对房产价值的影响程度。