发布日期：2025-03-24 05:29 点击次数：108
就在今天，国内的一篇论文亚洲美图网，引得寰球AI学者记念不已。
推上多位网友默示，OpenAI o1和o3模子背后究竟是何旨趣——这一未解之谜，被中国磋议者「发现」了！
注：作家是对若何靠近此类模子进行了表面分析，并未宣称已经「破解」了这个问题
实质上，在这篇长达51页的论文中，来自复旦大学等机构的磋议东谈主员，从强化学习的角度分析了收场o1的道路图。
其中，有四个要道部分需要要点蔼然：策略启动化、奖励想象、搜索和学习。
此外，算作道路图的一部分，磋议者还回来出了现存的「开源版o1」样式。
论文地址：https://arxiv.org/abs/2412.14135
亚洲美图网
探索OpenAI的「AGI之迷」空洞来说，像o1这么的推理模子，不错被以为是LLM和AlphaGo这类模子的调处。
领先，模子需要通过「互联网数据」进行历练，使它们大要结实文本，并达到一定的智能水平。
然后，再加入强化学习步伐，让它们「系统地想考」。
临了，在寻找谜底的过程中，模子会去「搜索」处治决策空间。这种步伐既用于实质的「测试时」回报，也用于翻新模子，即「学习」。
值得一提的是，斯坦福和谷歌在2022年的「STaR: Self-Taught Reasoner」论文中提议，不错愚弄LLM在回报问题之前生成的「推理过程」来微调改日的模子，从而提高它们回报此类问题的才气。
STaR让AI模子大要通过反复生成我方的历练数据，自我「指示」到更高的智能水平，表面上，这种步伐不错让话语模子卓越东谈主类水平的智能。
因此，让模子「潜入分析处治决策空间」的这一理念，在历练阶段和测试阶段都演出着要道变装。
在这项使命中，磋议者主要从以下四个层面对o1的收场进行了分析：策略启动化、奖励想象、搜索、学习。
策略启动化策略启动化使模子大要发展出「类东谈主推理活动」，从而具备高效探索复杂问题解空间的才气。
海量文本数据预历练
指示微调
问题分析、任务认识和自我纠正等学习才气
奖励想象则通过奖励塑造或建模提供密集灵验的信号，带领模子的学习和搜索过程。
戒指奖励（基于最终戒指）
过程奖励（基于中间体式）
戒指奖励（左）和过程奖励（右）
搜索搜索在历练和测试中都起着至关进犯的作用，即通过更多规画资源不错生成更优质的处治决策。
MCTS等树搜索步伐探索多种处治决策
贯穿转变迭代翻新谜底
调处两种步伐可能是最好遴荐
搜索过程中使用的带领类型：里面带领、外部带领，以及两者的调处
学习从东谈主工众人数据中学习需要精湛的数据标注。比较之下，强化学习通过与环境的交互进行学习，幸免了立志的数据标注资本，并有可能收场卓越东谈主类的阐发。
战略梯度步伐，如PPO和DPO
从高质料搜索处治决策克隆活动
迭代搜索和学习周期
综上，正如磋议者们在2023年11月所预料的，LLM下一个松懈，很可能即是与谷歌Deepmind的Alpha系列（如AlphaGo）的某种调处。
对此，有网友默示，这项磋议的意旨毫不单是是发表了一篇论文，它还为大多量模子灵通了大门，让其他东谈主不错使用RL来收场交流的想法，提供不同类型的推理反馈，同期还斥地了AI不错使用的脚本和食谱。
磋议者回来谈，尽管o1尚未发布本事陈说，但学术界已经提供了多个o1的开源收场。
此外，工业界也有一些访佛o1的模子，举例 k0-math、skywork-o1、Deepseek-R1、QwQ和InternThinker。
g1：这项磋议可能是最早尝试重新收场o1的样式。
Thinking Claude：与g1访佛，但它通过更复杂和细粒度的操作来提醒LLM。
Open-o1：样式提议了一个SFT数据集，其中每个反应都包含CoT。磋议者推测，这些数据可能来自东谈主类众人或一个强盛的LLM。
o1 Journey：通过两篇本事陈说中进行了郑重面容。第一部分通过束搜索生成的树数据进行遍历，特定节点由GPT-4优化后用于SFT，这一策略不错被面容为众人迭代。第二部分则尝试对o1-mini进行蒸馏，并通过prompt来还原荫藏的CoT过程。
Open-Reasoner：框架访佛于AlphaGo亚洲美图网，通过强化学习普及模子性能。
慢想考与LLM：磋议通常分为两篇本事陈说。第一部分与Open-Reasoner访佛，调处了强化学习和测试时的搜索。第二部分从QwQ和Deepseek-R1中蒸馏，并尝试了两种强化学习步伐。
Marco-o1：样式将Open-o1的数据与模子本身通过MCTS算法生成的数据调处，用于SFT历练。
o1-coder：样式尝试在代码生成畛域重新收场o1。
不同开源o1样式在策略启动化、奖励想象、搜索和学习畛域的步伐对比
策略启动化
在强化学习中，策略界说了智能体若何字据环境状态遴荐行动。
其中，LLM的动作粒度分为三种级别：处治决策级别、体式级别和Token级别。
智能体与环境在LLM强化学习中的交互过程
对于LLM的启动化过程，主要包括两个阶段：预历练和指示微调。
在预历练阶段，模子通过大畛域采集语料库的自监督学习，发展出基本的话语结实才气，并除名规画资源与性能之间的既定幂律法例。
在指示微调阶段，则是将LLM勤俭单的下一个Token揣度，升沉为生成与东谈主类需求一致的反应。
对于像o1这么的模子，融入类东谈主推理活动对于更复杂的处治决策空间探索至关进犯。
预历练预历练通过大畛域文本语料库的战争，为LLM诞生基本的话语结实和推理才气。
对于访佛o1的模子，这些中枢才气是后续学习和搜索中发展高档活动的基础。
话语结实与生成：话语结实是分脉络发展的——句法形态较早披露，而逻辑一致性和抽象推理则在历练的后期阶段冷静酿成。因此除了模子畛域外，历练时长和数据组成也至关进犯。
全国学问获取与存储：学问存储具有高效的压缩和泛化特质，而抽象想法比较事实性学问需要转变常的历练。
基础推理才气：预历练通过万般化的推理形态发展了基础推理才气，后者以勤俭单推断到复杂推理的脉络结构冷静披露。
指示微调指示微调通过在多畛域的指示-响冒失上进行有利历练，将预历练话语模子升沉为面向任务的智能体。
这一过程将模子的活动从单纯的下一个Token揣度，升沉为具有明确方针的活动。
服从主要取决于两个要道要素：指示数据集的万般性和指示-响冒失的质料。
类东谈主推理活动尽管经过指示微调的模子展现了通用任务才气和用户意图结实才气，但像o1这么的模子，需要更复杂的类东谈主推理才气来充分融会自后劲。
如表1所示，磋议者对o1的活动形态进行了分析，识别出六种类东谈主推理活动。
问题分析：问题分析是一个要道的启动化过程，模子在处治问题前会先重新表述并分析问题。
任务认识：在面对复杂问题时，东谈主类每每会将其认识为多少可管制的子任务。
任务完成：之后，模子通过基于明确问题和认识子任务的冷静推理，生成处治决策。
替代决策：迎濒临推理顽固或想路中断时，生成万般化替代处治决策的才气尤为进犯。如表1所示，o1在密码破解中展现了这一才气，大要系统性地提议多个选项。
自我评估：任务完成后，自我评估算作要道的考证机制，用于证据所提处治决策的正确性。
自我纠正：当推理过程中出现可控空幻时，模子会罗致自我纠正活动来处治这些问题。在o1的演示中，当遭受诸如「No」或「Wait」之类的信号时，会触发纠正过程。
对于o1策略启动化的推测策略启动化在斥地访佛o1的模子中起到了要道作用，因为它诞生了影响后续学习和搜索过程的基础才气。
策略启动化阶段包括三个中枢组成部分：预历练、指示微调以及类东谈主推理活动的斥地。
尽管这些推理活动在指示微调后的LLM中已隐性存在，但其灵验部署需要通过监督微调或全心想象的提醒词来激活。
长文本生成才气：在推理过程中，LLM需要精致的长文本高下文建模才气。
合理塑造类东谈主推理活动：模子还需要发展以逻辑连贯样式，有序安排类东谈主推理活动的才气。
自我反想：自我评估、自我纠正和替代决策提议等活动，可视为模子自我反想才气的阐发。
奖励想象在强化学习中，智能体从环境中遴选奖励反馈信号，并通过翻新策略来最大化其恒久奖励。
奖励函数每每默示为r(st， at)，默示智能体在时辰步t的状态st下奉行动作at所取得的奖励。
奖励反馈信号在历练和推理过程中至关进犯，因为它通过数值评分明确了智能体的祈望活动。
戒指奖励与过程奖励
戒指奖励是基于LLM输出是否相宜预界说祈望来分派分数的。但由于零落对中间体式的监督，因此可能会导致LLM生成空幻的解题体式。
与戒指奖励比较，过程奖励不仅为最终体式提供奖励信号，还为中间体式提供奖励。尽管展现了强大的后劲，但其学习过程比戒指奖励更具挑战性。
奖励想象步伐由于戒指奖励不错被视为过程奖励的一种非凡情况，好多奖励想象步伐不错同期应用于戒指奖励和过程奖励的建模。
麻豆 周处除三害这些模子常被称为戒指奖励模子（Outcome Reward Model，ORM）和过程奖励模子（Process Reward Model，PRM）。
来自环境的奖励：最凯旋的奖励想象步伐是凯旋愚弄环境提供的奖励信号，或者学习一个模子来模拟环境中的奖励信号。
从数据中建模奖励：对于某些环境，环境中的奖励信号无法获取，也无法进行模拟。比较凯旋提供奖励，采集众人数据或偏好数据更为容易。通过这些数据，不错学习一个模子，从而提供灵验的奖励。
奖励塑造在某些环境中，奖励信号可能无法灵验传达学习方针。
在这种情况下，不错通过奖励塑造（reward shaping）对奖励进行重新想象，使其更丰富且更具信息量。
然则，由于价值函数依赖于策略π，从一种策略预料的价值函数可能并不适互助为另一种策略的奖励函数。
对于o1奖励想象的推测鉴于o1大要处理多任务推理，其奖励模子可能调处了多种奖励想象步伐。
对于诸如数学和代码等复杂的推理任务，由于这些任务的回报每每波及较长的推理链条，更可能罗致过程奖励模子（PRM）来监督中间过程，而非戒指奖励模子（ORM）。
当环境中无法提供奖励信号时，磋议者推测，o1可能依赖于从偏好数据或众人数据中学习。
字据OpenAI的AGI五阶段经营，o1已经是一个强盛的推理模子，下一阶段是历练一个大要与全邦交互并处治履行问题的智能体。
为了收场这一方针，需要一个奖励模子，为智能体在信得过环境中的活动提供奖励信号。
奖励集成：为通用任务构建奖励信号的一种直不雅样式是通过特定畛域的奖励集成。
全国模子：全国模子不仅大要提供奖励信号，还不错揣度下一状态。有磋议以为，视频生成器不错算作一种全国模子，因为它大要揣度改日时辰步的图像。
搜索对于像o1这么旨在处治复杂推理任务的模子，搜索可能在历练和推理过程中都融会进犯作用。
搜索带领基于里面带领的搜索不依赖于来自外部环境或代理模子的信得过反馈，而是通过模子本身的状态或评估才气来指示搜索过程。
外部带领每每不依赖于特定策略，仅依赖于与环境或任务议论的信号来指示搜索过程。
同期，里面带领和外部带领不错调处起来指示搜索过程，常见的步伐是调处模子本身的不祥情味与来自奖励模子的代理反馈。
搜索策略磋议者将搜索策略分为两种类型：树搜索和序列修正。
树搜索是一种全局搜索步伐，同期生成多个谜底，用于探索转变常的处治决策范围。
比较之下，序列修恰是一种局部搜索步伐，基于先前戒指冷静优化每次尝试，可能具有更高的服从。
树搜索每每适用于复杂问题的求解，而序列修正更得当快速迭代优化。
磋议者以为，搜索在o1的历练和推理过程中，都起着至关进犯的作用。
他们将这两个阶段中的搜索，分又名为历练时搜索（training-time search）和推理时搜索（test-time search）。
在历练阶段，在线强化学习中的试错过程也不错被视为一种搜索过程。
在推理阶段，o1标明，通过加多推理规画量和延迟想考时辰不错抓续提高模子性能。
磋议者以为，o1的「多想考」样式不错被视为一种搜索，愚弄更多的推理规画时辰来找到更优的谜底。
对于o1搜索的推测历练阶段搜索：在历练过程中，o1更可能罗致树搜索本事，举例BoN或树搜索算法，并主要依赖外部带领。
推理阶段搜索：在推理过程中，o1更可能使用序列修正，调处里面带领，通过反想抑止优化和修正其搜索过程。
从o1博客中的示例不错看出，o1的推理作风更接近于序列修正。种种迹象标明，o1在推理阶段主要依赖里面带领。
强化学习每每使用策略对轨迹进行采样，并基于取得的奖励来翻新策略。
在o1的配景下，磋议者假定强化学习过程通过搜索算法生成轨迹，而不单是依赖于采样。
基于这一假定，o1的强化学习可能波及一个搜索与学习的迭代过程。
在每次迭代中，学习阶段愚弄搜索生成的输出算作历练数据来增强策略，而翻新后的策略随后被应用于下一次迭代的搜索过程中。
历练阶段的搜索与测试阶段的搜索有所不同。
磋议者将搜索输出的状态-动作对王人集记为D_search，将搜索中最优处治决策的状态-动作对王人集记为D_expert。因此，D_expert是D_search 的一个子集。
学习步伐给定D_search，可通过策略梯度步伐或活动克隆来翻新策略。
近端策略优化（PPO）和凯旋策略优化 DPO）是LLM中最常用的强化学习本事。此外，在搜索数据上奉行活动克隆或监督学习亦然常见作念法。
磋议者以为，o1的学习可能是多种学习步伐调处的戒指。
在这一框架中，他们假定o1的学习过程从使用活动克隆的预热阶段入手，当活动克隆的翻新服从趋于褂讪后，转向使用PPO或DPO。
这照旧由与LLama2和LLama3中罗致的后历练策略一致。
在预历练阶段，亏本、规画资本、模子参数和数据畛域之间的议论，是除名幂律Scaling Law的。那么，对于强化学习，是否也会阐发出来呢？
字据OpenAI的博客，推感性能与历练时辰规画量，如实呈对数线性议论。然则，除了这少量除外，议论磋议并未几。
为了收场像o1这么的大畛域强化学习，磋议LLM强化学习的Scaling Law至关进犯。
参考贵寓：
https://x.com/MatthewBerman/status/1875202596350415332
https://x.com/WesRothMoney/status/1875051479180165489
https://arxiv.org/abs/2412.14135
本文着手：新智元 (ID:gh_108f2a2a27f4)，原文标题：《OpenAI最大高明，竟被中国磋议者破解？复旦等惊东谈主揭秘o1道路图》
风险提醒及免责要求 市集有风险，投资需严慎。本文不组成个东谈主投资建议，也未辩论到个别用户非凡的投资方针、财务情景或需要。用户应试虑本文中的任何意见、不雅点或论断是否相宜其特定情景。据此投资，包袱自夸。
