菠菜平台-十大菠菜平台

近年来，类似于 OpenAI 的o1等慢思考（slow-thinking）推理系统在解决庞大推理任务方面展现了卓越的能力。这些系统在回覆查询之前，经过较长时间的思考与推理，能够生成越发全面、准确且有理有据的解决方案。然而，这些系统主要由工业界开发和维护，其焦点技术尚未果真披露。因此，越来越多的研究事情开始致力于探索这些强大推理系统背后的技术基础。在此配景下，我们的团队致力于实现类似于 o1 的推理系统，希望开发一个技术开放的慢思考推理模型。在 11 月份，我们宣布了第一份技术陈诉，利用奖励引导树搜索算法来辅助 LLM 的推理历程，在很洪流平上提高了 LLM 在庞大推理任务中的性能。

而本文介绍了我们在复现 o1 类推理系统方面的最新研究进展。与第?份技术陈诉中在推理阶段显式地利?蒙特卡洛树搜索差异，我们推测应当让模型能够内在训练慢思考的模式，在?思维链中隐式地模拟模型求解答案的搜索历程。

在第二份技术陈诉中，我们提出了一个“模仿、探索和自我提升”的框架，作为训练推理模型的主要技术手段。我们仅使用 1100 条蒸馏的长思维链数据作为种子数据，通过自我探索与革新就能够取得不错的效果: 在很是困难的数学奥林匹克数据集 AIME 到达了46.7的评分，在 MATH-OAI 上也到达了87.4的评分，在跨学科 GPQA 上也取得了53.0的评分。

论文题目：Imitate, Explore, and Self-Improve: A Reproduction Report on Slow-thinking Reasoning Systems

论文链接：https://arxiv.org/pdf/2412.09413

开源地址：https://github.com/RUCAIBox/Slow_Thinking_with_LLMs

1. 配景

慢思考推理系统通过在回覆用户查询之前进行深入的内部推理，能够有效解决庞大的推理任务。这种要领差异于传统的链式思维（chain-of-thought）推理，它允许模型在更长的时间内进行深度思考，并利用更多的盘算资源来推演，从而生成更为庞大和细致的推理步骤。此类能力在解决数学问题、编程挑战和逻辑推理等任务中尤为突出。

然而，由于工业界对这些系统的焦点技术细节通常保密，学术界在再现这些系统时面临着诸多挑战。现有的研究大多局限于特定领域（如数学领域），或基于相对较弱的基础模型，导致所实现的系统在性能上与工业级系统相比存在明显差距。因此，开发一个技术开放的 o1 类推理系统，仍然是一项极具挑战性的任务。

2. 研究要领

为了实现这一目标，我们提出了一个“模仿、探索与自我提升”的三阶段训练框架。该框架旨在通过训练模型模仿长思维链中的思考模式，勉励模型在面对具有挑战性的问题时进行深入探索，并通过迭代革新训练数据，不停提升模型的推理能力。

2.1. 模仿（Imitate）

在初始阶段，我们通过收集和整理长思维链数据，对模型进行微调，使其能够在回覆问题之前，生成详细的内部推理步骤。这些思维历程包罗计划、分而治之、自我修正、总结和回溯等庞大的推理行为。

为了构建这样的训练数据，我们接纳了数据蒸馏的要领，从现有的 o1 类推理系统（如和）中提取关于Math，Code，Science，Puzzle领域的长思维链。这些数据经过预处置惩罚后，作为模型的训练数据，资助模型学习如何凭据指定的花样生生长思维链和最终的解决方案。

2.2. 探索（Explore）

仅仅通过模仿，模型可能还不足以处置惩罚具有挑战性的问题。为此，我们勉励模型在困难的问题上进行探索，生成多个可能的解答路径（称为“轨迹”）。通过生成多样化的解答，模型有更大的时机找到正确的解决方案。

在实践中，我们接纳了简朴的搜索战略，对每个问题生成多个解答轨迹，直到找到包罗正确答案的解答。随着生成的轨迹数量增加，我们可以收集到更多高质量的解答，这些解答也有助于进一步提升模型的能力。

2.3. 自我提升（Self-Improve）

最后，我们利用模型在探索历程中获得的正确轨迹，进一步强化其推理能力。通过不停将新的高质量解答融入训练数据，模型能够在每次迭代中革新自身，特别是在处置惩罚庞大任务时，体现出更为卓越的推理能力。

在这个阶段，我们接纳了两种优化要领来进一步提升模型的推理能力。一是继续进行监视微调（SFT），利用模型生成的高质量解答作为训练数据，资助模型不停优化其生成能力；二是接纳直接偏好优化（DPO），通过比力高质量与低质量解答之间的差异，指导模型学习越发优越的生成战略，从而提高其解答质量和推理效果。

3.实验设计

3.1. 实验设置

为了验证我们要领的有效性，我们在三个具有挑战性的基准数据集上进行了广泛的实验：

MATH-OAI：包罗500道数学竞赛题目，来源于 MATH 测试集。

AIME：由30道难度较高的数学问题组成，专为挑战顶尖高中生的解决问题能力而设计。

GPQA：包罗198道生物、物理和化学领域的选择题。

由于在多个评测中体现优异，能够提供精彩的推理能力，我们选择了该模型作为基础模型。为了与工业级系统进行全面比力，我们将我们的模型与几款领先的 o1 类模型进行了对比，包罗、和。

3.2. 实验结果

1.工业界慢思考推理系统在三个基准测试中都取得了优异的体现，尤其在最具挑战性的基准测试 AIME 上革新显著。总体而言，o1-preview 体现出更均衡的性能，而和在数学领域体现更好。这些结果讲明慢思考在增强 LLM 的庞大推理能力方面的有效性。

2.使用经过预处置惩罚后从和获得的 3.9k 个蒸馏实例进行SFT后，我们的要领在 AIME 上实现了 46.7% 的准确率，在 MATH-OAI 上实现了 90.2% 的准确率（表2第二部门的第一组）。同时，训练数据从 1.1k 增加到 3.9k 带来的效果讲明，增加高质量数据的数量可以有效提高模型性能（表2第二部门的第一组）。

3.我们要领的迭代训练变体（表2第二部门中的第二组和第三组）也可以在三个基准上取得令人满意的结果。使用带有 SFT 1.1k 的变体作为参考，我们视察到结合探索和自我革新可以有效提高性能，例如，MATH-OAI 的性能从 86.0% 提高到 89.8%，AIME 的性能从 33.3% 提高到 46.7%。

3.3. 进一步分析

3.3.1 关于模仿学习

去除困难数学问题会显著降低模型的体现，特别是在 AIME 这一最具挑战性的基准上。这讲明困难问题对于提升推理模型的能力至关重要，尤其是在需要较长思考历程的情况下。

仅使用数学数据（不包罗其他领域数据）有助于提升 AIME 的性能，但对 MATH-OAI 和 GPQA 的性能有负面影响。

3.3.2 关于DPO

仅使用 Thought 的实验体现出较为积极的结果。可能的原因是思考历程是学习的焦点部门，一旦思考历程获得很好的建设，LLM 能够容易地生成相应的解决方案。

当同时使用 Thought 和 Solution 时，SFT 损失对优化似乎没有正面影响，这可能是因为解决方案已经在 DPO 训练历程中获得了整合。

4. 研究意义

4.1. 焦点孝敬

我们提出了一个简朴而有效的三阶段训练框架，通过“模仿、探索和自我提升”来训练模型，实现了类似 o1 的慢思考推理能力。

我们证明了长思维链在跨领域的可迁移性，纵然只在数学领域进行训练，模型也能在科学和其他领域展示精彩的推理能力。

我们给出了一个开放技术细节的类 o1 系统实现要领，在多个具有挑战性的基准数据集上取得了与工业级系统相当的性能。

4.2. 研究意义

我们的研究讲明，通过适当的训练战略和数据选择，大语言模型能够有效地生生长思维链，从而解决庞大的推理任务，这有助于推动开源社区的相关研究。

此外，我们的要领不依赖庞大的奖励模型或显式的树搜索算法，使得实现历程越发简朴高效，这为未来在更多领域和更大规模上训练类似的推理系统提供了可行的途径。

4.3. 未来偏向

在未来的研究中，我们计划：

扩展探索的规模：增加模型在探索阶段的规模，以更全面地提升模型能力。

富厚训练数据：通过引入更多领域和难度级此外高质量数据，进一步增强模型的泛化能力。

5.总结

本文介绍了我们在实现 o1 类慢思考推理系统方面的研究进展，提出了一个“模仿、探索和自我提升”的训练框架。通过实验验证，我们的要领在多个具有挑战性的基准数据集上取得了优异的性能，证明了其有效性和巨大潜力。我们的主要发现可以归纳综合为以下几点：

?通过使用少量高质量的演示数据，可以有效引发 LLM 进行慢思考的能力。一旦这种能力建设，它似乎能够自然地在差异领域之间泛化。

?数学领域的演示数据尤其适适用于提升 LLM 的慢思考能力，且包罗较长思考历程的数据在提升模型解决庞大问题的能力方面尤其有效。

?与 LLM 在快速思考模式下生成的正式回复差异，慢思考历程通常以灵活、非正式的方式表达，资助引导模型走向正确的解题路径。

?慢思考能力可以通过探索和自我革新有效增强，而离线学习的要领带来的革新通常主要发生在初期迭代，尤其是在面对具有挑战性的任务时。

模型的慢思考示例