思维链 (CoT) 推理 —— 即模型在得出答案前将问题分解为可管理的"思维"步骤的过程 —— 已经成为最新一代前沿大语言模型 (LLMs) 的重要组成部分。
然而，随着模型生成过多的 CoT tokens，推理模型的推理成本会迅速累积。在一篇新论文中，卡内基梅隆大学的研究人员提出了一种大语言模型训练技术，让开发者能够更好地控制 CoT 的长度。
这种被称为长度受控策略优化 (LCPO) 的技术，可以在保证模型提供正确答案的同时，将其"思维"控制在预设的 token 预算内。实验表明，经 LCPO 训练的模型在准确性和成本之间提供了平滑的权衡，并且在相同推理长度下能够出人意料地超越更大的模型。LCPO 可以通过在每轮与大语言模型的对话中节省数千个 tokens，大大降低企业应用中的推理成本。
大语言模型性能导致更长的 CoT
像 OpenAI o1 和 DeepSeek-R1 这样的推理模型通过强化学习 (RL) 进行训练，以使用测试时缩放并在生成答案前生成 CoT 轨迹。经验证据表明，当模型"思考"时间更长时，它们在推理任务上的表现往往更好。
例如，R1 最初是在没有人工标注示例的纯 RL 上训练的。一个重要发现是，随着模型性能的提升，它也学会了生成更长的 CoT 轨迹。
虽然总的来说，长 CoT 链会带来更准确的响应，但在大规模应用推理模型时也会造成计算瓶颈。目前对测试时计算预算几乎没有控制，序列可能轻易延伸到数万个 tokens 而没有带来显著收益。虽然已经有一些控制推理链长度的尝试，但它们通常会降低模型的性能。
长度受控策略优化 (LCPO) 解释
传统的 RL 方法只训练大语言模型获得正确响应。LCPO 通过引入两个训练目标改变了这一范式：1) 获得正确结果和 2) 将 CoT 链限制在特定 token 长度内。因此，如果模型产生了正确的响应但生成了过多的 CoT tokens，它将受到惩罚，并被迫想出一个能达到相同答案但 token 预算更小的推理链。
研究人员提出了两种 LCPO 变体：(1) LCPO-exact，要求生成的推理恰好等于目标长度，以及 (2) LCPO-max，要求输出不超过目标长度。
为了测试该技术，研究人员在两种提出的 LCPO 方案上微调了一个 1.5B 参数的推理模型 (Qwen-Distilled-R1-1.5B)，创建了 L1-max 和 L1-exact 模型。训练基于具有明确可验证结果的数学问题。然而，评估除了包括数学问题，还包括分布外任务，如大规模多任务语言理解 (MMLU) 技术和研究生级别的 Google-proof Q&A 基准 (GPQA)。
他们的研究发现，L1 模型可以精确平衡 token 预算和推理性能，通过对模型提示不同的长度约束，在短小高效的推理和更长更准确的推理之间平滑过渡。重要的是，在某些任务上，L1 模型可以在更低的 token 预算下复现原始推理模型的性能。
与 S1（唯一一种限制 CoT 长度的其他方法）相比，L1 模型在不同 token 预算上显示出高达 150% 的性能提升。
L1 还在相同生成长度下分别超过其非推理对手 5% 和 GPT-4o 2%。研究人员指出："据我们所知，这是首次证明一个 1.5B 模型能够在使用相同生成长度的情况下超越 GPT-4o 等前沿模型。"
有趣的是，模型的 CoT 显示它学会了根据 token 预算调整其推理过程。例如，在更长的预算下，模型更可能生成与自我纠正和验证相关的 tokens（即"但是"和"等等"）以及得出结论（"因此"和"所以"）。
这项关于模型可以调整其推理预算的新研究对实际应用有重要用途，使企业能够在不产生失控支出的情况下扩展推理模型。这是简单部署更大、更昂贵模型的有力替代方案 —— 可能是使 AI 在高容量实际应用中更具经济可行性的关键因素。
研究人员已开源了 LCPO 的代码和 L1 模型的权重。
