法学硕士如何学会乐于助人：RLHF 与 DPO

借助 AWS + Datadog 的专家见解，增强对云架构的可见性。在这本电子书中，AWS 解决方案架构师 Jason Mimick 和 James Wenzel 将指导您完成创建专业且有影响力的图表的最佳实践。

获取电子书

用两种不同的方式向模型询问同一问题两次，然后观察它如何决定向您提供什么。它可能会提供简洁的俏皮话或仔细的演练。这听起来可能充满信心，也可能是对冲。在训练的某个地方，模型了解了您更喜欢哪个版本，即使两个答案都是正确的。

这指向了一个更难的问题。当帮助随着每个请求而改变时，你如何教导模型提供帮助？

对于快速的事实查询，有用意味着简洁。对于一个调试问题来说，意味着彻底。对于医疗担忧，这意味着谨慎与清晰相结合。每种情况都需要不同的方向和潜在的权衡。

该模型学会了如何处理人们对答案进行数千次比较的权衡。这种从比较中学习而不是从固定答案中学习的想法存在于您使用过的每个流行模型的基础上。

在本文中，我们将探讨学习实际上是如何发生的，首先解释为什么仅遵循指令是不够的，然后介绍两种主要的教学偏好方法（RLHF 和 DPO）。

一个有用的模型分三个阶段构建，如下图所示：

让我们更详细地看看每个阶段：

• 第一阶段是预训练。该模型读取大量文本并学习预测下一个单词。换句话说，它建立了对语言如何运作的广泛认识，并在此过程中吸收世界知识。它获得的是原始能力。它仍然缺乏方向，因为预测下一个单词和回答你的问题是两个不同的目标。
• 第二阶段是监督微调（SFT）。我们向模型展示了数千个示例对，每个示例对都有一条指令以及一个良好的响应，并训练它模仿它们。在此阶段之后，模型将遵循指令而不是继续文本。例如，如果我们要求模型总结一个段落，它会写出正确的摘要。没有 SFT 的原始模型可能会漫无目的。
• 第三阶段教授偏好，这将是本文其余部分的重点。

为什么已经遵循指令的模型还需要第三阶段？

这是因为 SFT 通过模仿发挥作用。该模型看到正确的答案并学习复制其形状，当问题有一个好的答案时，这种形状表现良好，但当问题有多种可能的答案时，就会出现问题。

考虑像“解释哈希映射如何工作”这样的请求。简短的答案和长的答案都可以很好，但哪一个有帮助取决于提出问题的人。示例数据集可以显示这些答案之一，而它们之间的权衡却是不可见的。模仿教会了模型什么是好的答案，但很难教会它如何权衡两个好的答案。

回报比最初看起来要大。例如，当 OpenAI 在 2022 年构建 InstructGPT 时，人类评估者更喜欢来自 13 亿参数对齐模型的答案，而不是来自 1750 亿参数 GPT-3 的答案，后者的模型大约大一百倍。对准阶段的重要性比尺寸增加了一百倍还多。

尽管如此，示例中预训练和 SFT 之间的界限比实践中更清晰。有些食谱将两者混合在一起，但三阶段视图是正确的起点。

接下来，我们需要一个直接捕获权衡的信号。这个信号就是比较。

Attio 是一种智能体 CRM，让任何人都可以轻松地运行他们需要的任何 GTM 游戏的工作流程。

描述您想要什么，Attio 就会构建它。我刚刚构建了一个每天早上运行的工作流程，显示今天需要我关注的交易，例如过去 24 小时内发生阶段变化​​或新信号的任何交易。

Attio 每天已经运行数十万个自动化程序。现在准备好尝试了吗？

今天尝试一下

比较将判断调用转变为模型可以学习的东西。

偏好示例很简单。我们接受一个提示，生成两个响应，然后询问一个人哪个更好。结果是一小段数据，提示着赢家和输家。如果我们收集足够多的这些，就会出现一种准确捕捉权衡的模式。

见下图：

这种方法有效的原因在于人们擅长什么。针对棘手的提示写出单一的理想答案是很困难的，两个熟练的人会产生不同的版本。判断两种反应中哪一种更好要容易得多，而且人们在比较时比在创造时更容易达成一致。这就是为什么标记团队会比较输出而不是从头开始编写完美的输出，这使得数据足够可信，可以进行训练。

这是 InstructGPT 收集的相同比较数据，也是我们即将比较的两种方法的起点。他们的做法有所不同，但比较却是相同的。

需要澄清的是，比较可以来自另一个代替人的人工智能模型，这是 RLAIF 和宪法人工智能中使用的方法。整体机制保持不变。

现在让我们看看这两种不同的方法。

RLHF 是“人类反馈强化学习”的缩写，它通过训练单独的评分器，然后指导模型在对比中获得良好的分数，从而从比较中学习。

请参见下图，该图显示了基本 RLHF 流程：

收集比较后，它会分两步进行。

• 首先，我们训练奖励模型。我们采用这些“提示获胜者”的例子，并训练一个单独的模型来对任何响应进行评分，对人们喜欢的类型进行高分，对他们忽略的类型进行低分。奖励模型将分散的人类判断转化为一个单一的函数，可以自行对新的反应进行评分。
• 其次，我们使用该评分器来改进主模型，这里我们称之为策略。该策略编写一个响应，奖励模型对其进行评分，然后一种名为 PPO 的强化学习算法将策略推向更高得分的响应。

简单来说，强化学习意味着通过尝试和错误来代替标记示例来从奖励信号中学习。多次运行循环，政策就会朝着人们喜欢的答案漂移。

如果让模型自由地追逐分数，模型会发现奇怪的、退化的文本，这些文本会在阅读糟糕的情况下欺骗记分员。为了防止这种情况发生，我们保留了起始模型（即参考）的冻结副本，并在策略偏离初始模型太远时对其进行惩罚。这种惩罚（KL 术语）可以让策略得到改进，同时保持足够接近流利的语言以保持有用。

奖励模型、策略、冻结参考和 PPO 内部使用的价值模型总共有四个模型在训练期间发挥作用。

这就是 RLHF 被认为昂贵、繁琐、进展缓慢的名声的来源。然而，这也是 ChatGPT 第一个版本背后的管道，它以相当大的成本生产了第一代真正有用的助手。

运行单独的奖励模型和完整的强化学习循环有很多移动部件。 2023 年，斯坦福大学的一项研究表明，其中大部分内容可以分解为一个步骤。

DPO 使用相同的数据达到相同的目标，用一个训练步骤取代奖励模型和 RL 循环。

DPO 代表直接偏好优化，顾名思义。该方法不是训练评分器然后对其进行优化，而是直接在比较对上调整模型。

该机制与普通的监督学习很接近。

对于每次比较，DPO 都会根据之前相同的冻结参考来调整模型，以提高首选响应的概率并降低拒绝响应的概率。整个事情变成了一个单一的损失，它将像训练分类器一样进行训练。这比 RL 循环更简单、更稳定。

一个常见的想法是 DPO 删除了奖励模型，但实际发生的情况更为微妙。斯坦福大学介绍 DPO 的论文在标题中表达了这样的想法：语言模型实际上是一种奖励模型。奖励信号仍然存在，但它现在位于策略本身内部，而不是位于单独的网络中。

这种方法很快就得到了证明。

Zephyr 是一个使用 DPO 进行机器生成比较训练的 70 亿参数模型，在标准聊天基准测试中击败了当时最强的开放 RLHF 模型 Llama 2 Chat 70B。从那时起，DPO 已成为该行业的主要产品。

通过将奖励纳入单个训练步骤，DPO 使小团队能够以适度的预算实现一致性，远离任何大型研究集群。 SimPO、KTO 和 ORPO 等一系列变体以不同的方式调整目标。他们分享 DPO 的核心方法。

就成本和简单性而言，DPO 看起来明显获胜。其与 RLHF 共有的一个问题是，它位于两种方法都信任的信号中。

这两种方法都依赖于仅近似人类判断的信号，并且过于依赖它有时也会适得其反。

奖励模型，无论是在 RLHF 中明确训练还是在 DPO 中融入策略，都是一个智能体。它近似于人们的喜好。与任何近似值一样，它也存在差距。针对该智能体优化模型，它可以开始利用这些差距。换句话说，分数上升，而答案却变得更糟。

OpenAI 的研究人员对此进行了直接测量。

随着模型针对智能体进行优化，真实质量会上升一段时间，然后达到峰值并向后滑动，即使智能体得分不断攀升。他们将其与古德哈特定律联系起来，古德哈特定律是一种古老的观察，即一旦一项措施成为目标，它就不再是一个好的措施。

这种情况的日常症状很常见。

模型会用长度填充答案，因为较长的答案往往得分较高，并且他们会学着同意你表达的任何观点。这种行为称为阿谀奉承。 Anthropic 发现，大多数时候，人类评分者和奖励模型都更喜欢自信、令人愉快的答案，而不是正确的答案，这有时意味着奉承而不是真理。

重要的是，这个问题是数据造成的，而不是算法造成的。

DPO 继承了它，就像 RLHF 一样，因为两者都从同样不完美的人类判断中学习。更简单的训练会给你带来很多好处，而这个特殊的问题也会随之而来。这就是为什么当你明显错误时，你的模型有时会同意你的观点。研究发现，达成共识往往会取得不错的成绩。

我们之前讨论的 KL 惩罚通过将模型保持在其起点附近来软化这个问题，尽管它缩小了问题而不是完全消除它。

如果根本问题是不完美的人类信号，那么自然就会出现问题。我们可以用一个准确的信号来代替它吗？对于某类任务，我们可以。

当程序可以检查答案时，人类奖励就变得可选，而这一事实就重塑了 2025 年和 2026 年的最终训练阶段。

有些任务有一个可检查的答案：

对于这些，我们可以用验证器（一个直接对结果进行评分的程序）取代人类衍生的奖励模型。信号变得准确且有效免费，从根本上解决了该工作的智能体问题。

DeepSeek 将这一想法发挥得淋漓尽致。

他们引入了一种名为 GRPO 的 RL 方法，该方法放弃了 PPO 所需的额外模型之一，并且主要通过奖励数学和代码的正确最终答案来训练 R1 推理模型。结果与当时最强的封闭推理模型相匹配。该模型通过检查自己的工作来学习推理，并以计算器可以提供的奖励为指导。

限制是验证者可以对数学证明进行评分。然而，它对答案是否诚实、友善或适当谨慎保持沉默。这些品质有许多可接受的形式，并且可以抵抗任何自动测试，这是区域偏好学习的目的。 DeepSeek 本身保留了 R1 的有用性和安全性部分的奖励模型，而可验证的奖励则推动了推理。

这为我们提供了整个景观的规则。

当机器可以检查答案时，即可获得可验证的奖励。当答案需要判断时，请进行偏好学习，无论是 RLHF 还是 DPO。该方法遵循信号。

这就是为什么推理模型进步如此之快，以及为什么即使是最好的推理模型仍然依赖偏好方法来保持愉快和安全。 DAPO 和 RLVR 等较新的方法扩展了可验证奖励的理念，它们构成了 2026 年活跃前沿的大部分。

我们可以用一句话来追溯路径：

• 原始模型通过预训练学习语言和知识。
• 有监督的微调教会它通过模仿来遵循指令。
• 第三阶段教授偏好，因为最重要的问题通常有几个好的答案以及它们之间的真正权衡。

比较是捕捉这种权衡的信号，两种主要方法都在其上运行。

RLHF 训练一个单独的奖励模型，并通过强化学习对其进行优化，该模型功能强大且成本高昂。另一方面，DPO 将相同的信号折叠到单个训练步骤中，这更简单、更稳定，同时保持奖励隐式而不是缺失。

两者都继承了相同的原则，即人类信号是一个智能体，如果过度推动它会滋生阿谀奉承和悄无声息的失败。当任务有可检查的答案时，可验证的奖励现在完全绕过了智能体。

参考文献：