上海交通大学的研究人员在一项新研究中发现，大语言模型 (LLMs) 无需依赖大规模数据集就能学习复杂的推理任务。他们的研究表明，只需要一小批精心策划的示例，就能训练大语言模型完成那些原本被认为需要数万个训练实例的任务。
这种效率得益于现代大语言模型在预训练阶段获得的固有知识。随着新的训练方法在数据和计算效率方面不断提升，企业可能无需依赖大型 AI 实验室的资源，就能创建定制化模型。
少即是多 (LIMO)
在这项研究中，研究人员对"训练大语言模型进行推理任务需要大量数据"这一假设提出了质疑。他们提出了"少即是多" (LIMO) 的概念。这项工作建立在之前的研究基础之上，即大语言模型可以通过少量示例与人类偏好保持一致。
在他们的实验中，他们证明可以使用几百个训练示例为复杂的数学推理任务创建 LIMO 数据集。在该数据集上微调的大语言模型能够创建复杂的思维链 (CoT) 推理链，使其能够以很高的成功率完成任务。
例如，基于 LIMO 选择的 817 个训练示例进行微调的 Qwen2.5-32B-Instruct 模型在极具挑战性的 AIME 基准测试中达到了 57.1% 的准确率，在 MATH 测试中达到了 94.8% 的准确率，超过了使用百倍训练数据的模型。它在基准测试中的得分也高于 QwQ-32B-Preview (经过推理训练的 Qwen 模型版本) 和 OpenAI o1-preview 等推理模型，而这些模型都使用了更多的数据和计算资源进行训练。
此外，LIMO 训练的模型能够泛化到与训练数据有很大差异的示例。例如，在 OlympiadBench 科学基准测试中，LIMO 模型超过了 QwQ-32B-Preview，在具有挑战性的 GPQA 基准测试中，它达到了 66.7% 的准确率，接近 OpenAI-o1-preview 73.3% 的领先得分。
对企业 AI 的意义
定制化大语言模型是企业应用的一个很有吸引力的用例。借助检索增强生成 (RAG) 和上下文学习等技术，大语言模型可以在无需昂贵微调的情况下，使用定制数据或执行新任务。
然而，推理任务通常需要训练和微调大语言模型。普遍认为此类任务需要大量包含详细推理链和解决方案的训练示例。对许多应用和公司而言，创建这样的数据集既耗时又不切实际。
最近，研究人员展示了纯强化学习方法可以使模型通过生成多个解决方案并选择最佳方案来自行训练推理任务。虽然这种方法需要较少的人工干预，但仍然需要许多企业无法负担的昂贵计算资源。
相比之下，制作几百个示例是许多公司都能应对的任务，这使得专门的推理模型能够被更多的组织所使用。
研究人员写道："这一发现对人工智能研究具有深远影响：它表明即使是竞赛级别的复杂推理能力也可以通过最少但精心策划的训练样本有效地激发出来。"
LIMO 为何有效
在实验中，研究人员发现大语言模型能够用较少示例学习复杂推理任务的两个关键原因。
首先，最先进的基础模型在预训练期间已经接触了大量的数学内容和代码。这意味着这些大语言模型的参数中已经包含了丰富的推理知识，可以通过精心设计的示例激活。
其次，新的后训练技术表明，允许模型生成延伸推理链能显著提高其推理能力。本质上，给模型更多"思考"时间使其能够更有效地解析和应用预训练知识。
研究人员写道："我们推测，成功的推理源于两个因素的协同作用：丰富的预训练知识和推理时足够的计算资源。这些发展共同表明了一个惊人的可能性：如果模型拥有丰富的推理知识并且有足够的计算空间，那么激活它们的推理能力可能只需要少量鼓励深入思考的高质量训练样本，而不是大规模的微调数据集。"
根据研究人员的发现，创建有用的 LIMO 数据集的关键在于选择合适的问题和解决方案。数据管理者应该优先考虑需要复杂推理链、多样化思维过程和知识整合的具有挑战性的问题。这些问题还应该偏离模型的训练分布，以鼓励新的推理方法并促使其实现泛化。
相应地，解决方案应该清晰且组织良好，推理步骤要适应问题的复杂性。高质量的解决方案还应该通过精心构建的解释，逐步建立理解，提供战略性的教育支持。
研究人员写道："通过专注于最少但精心策划的推理链集合，我们体现了 LIMO 的核心原则：高质量的示范，而不是纯粹的数据量，是释放复杂推理能力的关键。"
研究人员已经发布了他们实验中用于训练 LIMO 模型的代码和数据。未来，他们计划将这一概念扩展到其他领域和应用。
