Huajishe Notes

8-DPO与直接偏好优化

22 min read

DPO 与直接偏好优化

1. 从 RLHF 到 DPO：为什么需要直接偏好优化

RLHF（Reinforcement Learning from Human Feedback）的标准流程分为三步：

  1. 奖励模型训练：给定 prompt 和回复 ，训练一个奖励模型 来拟合人类偏好。
  2. RL 阶段：使用 作为奖励，通过 PPO 算法最大化期望回报，同时用 KL 散度约束策略不要离 SFT 模型太远。
  3. 额外的 rollout 开销：PPO 需要对每个 prompt 采样多个回复（rollout），才能估算优势函数。

这套流程有三个显著的工程痛点：

  • rollout 成本高：生成多个候选回复并与环境交互，GPU 时间和显存都是瓶颈。
  • 奖励模型质量依赖：如果 拟合不准确，后续 RL 阶段会放大误差。
  • 超参敏感：PPO 的 clipping、价值网络、熵正则等都需要精细调优。

DPO（Direct Preference Optimization）提出的核心动机是：绕过显式的奖励模型和 RL rollout，直接用偏好对 更新策略。其关键洞察是，RLHF 中奖励模型的最优策略对应着一个特定的偏好分布，而这个分布可以用贝叶斯定理显式地写出来——于是奖励信号可以被转化为策略网络自身的 logit 目标。

2. 数学推导：从 KL 约束的 RL 目标到 DPO

2.1 RLHF 的原始优化目标

标准的 RLHF 目标是最大化以下期望：

但为了防止策略退化，会加上 KL 约束：

其中 是 SFT 阶段的参考模型（通常由 instruction tuning 或 supervised fine-tuning 得到）， 控制 KL 惩罚的强度。

2.2 引入偏好模型：Bradley-Terry 假设

设人类偏好服从 Bradley-Terley 模型。对偏好对 ，有：

其中 为 sigmoid 函数。

对数似然形式为：

现在把奖励函数 用一个参数化的 来表示。我们不显式训练 ，而是直接建立 与 的对应关系。

2.3 从最优策略反推奖励

在 KL 约束优化中，最优策略 有解析形式。构造拉格朗日函数：

（归一化）

对每个 ，解得：

其中配分函数 。

两边取对数并重排：

关键一步：如果我们用这个关系来替换奖励函数，则偏好对数似然中的 变为：

注意到 被消掉了——这意味着我们不再需要显式计算配分函数。

2.4 DPO 的目标函数

将上式代入 Bradley-Terry 的对数损失，得到 DPO 的最终目标：

化简后等价于最小化：

其中 被称为 logit ratio。

简化形式通常写成：

注意两种写法中 的位置不同，实际实现时需参考具体库的约定。

3. 核心概念的物理意义

3.1 reference policy

是 SFT 结束后的 checkpoint，在 DPO 训练中始终 frozen，不参与梯度更新。它提供了”语言模型的默认行为基线”。DPO 的 KL 约束正是通过比较 和 的 log ratio 来实现的。

如果 质量很差（比如说它是未经微调的预训练模型），则 DPO 目标会退化为一个无意义的对比损失，训练极易崩溃。

3.2 logit ratio

本质上是策略网络相对于参考模型对每个 token 的偏好偏移。这个比值大于 0 意味着 比 更倾向于在给定上文时生成 ；小于 0 则相反。

DPO 强制要求chosen reply的 logit ratio 显著高于 rejected reply的 logit ratio，差值通过 sigmoid 压缩到 区间后取对数损失。

3.3 temperature / beta

在 DPO 中不是温度，而是 KL 惩罚系数（与 RLHF 中的 同义）。它控制了”策略可以偏离 多远”：

  • 越大：KL 惩罚越强， 被强制贴近 ，优化更保守，但可能欠拟合偏好信号。
  • 越小：策略可以更大胆地偏离 ，拟合偏好更快，但容易过拟合，且可能破坏语言模型的原有能力。

实际训练中 通常在 范围内调优。

4. DPO 与 RLHF 的关系

DPO 本质上是 RLHF 的内点解的等价形式。RLHF 通过 reward model + PPO 迭代求解，DPO 通过闭式推导把同样的最优策略直接编码为 logit 目标。

维度RLHFDPO
reward model需要单独训练不需要
rollout需要采样多个候选不需要
算法PPO（on-policy）直接 SGD（off-policy）
训练稳定性超参敏感，调优困难相对稳定
计算开销reward model + RL 两阶段单阶段
理论保证基于 RL 框架基于偏好模型的等价变换

DPO 不是万能替代 RLHF。在 reward model 质量高、偏好数据丰富的场景下，RLHF 仍有优势；当 reward model 难以训练（例如偏好信号稀疏、噪声大）时，DPO 的简化策略更有竞争力。

5. 直接偏好优化方法的对比

5.1 IPO（Implicit Preference Optimization）

IPO 是 DPO 的理论扩展。DPO 的目标函数等价于假设偏好满足 Bradley-Terry 模型，但这个假设在数据噪声大时过于强。IPO 通过引入一个一致性正则项来减少过拟合：

其中 项来自对所有偏好对的全局一致性约束。IPO 的核心改进是缓解 DPO 对噪声偏好的过拟合问题，代价是收敛速度略慢。

5.2 KTO（Kahneman-Tversky Optimization）

KTO 借鉴行为经济学中的前景理论，提出人类的偏好不是对称的——损失比等量收益更令人敏感（loss aversion）。KTO 的目标函数不基于 pairwise 对比，而是基于单个回复的”吸引力”和”不吸引力”的差值：

𝟙𝟙

其中 utility 函数与 DPO 的 logit ratio 类似，但不需要成对数据。KTO 的工程意义在于：在只有单向偏好（而非成对偏好）的场景下也可以训练。

5.3 方法横向对比

方法基础框架数据依赖主要改进适用场景
DPOBradley-Terry成对偏好 工程简化，适合已知偏好噪声低标准 RLHF 替代
IPODPO + 一致性正则成对偏好减少噪声过拟合偏好数据有标注噪声
KTO前景理论单向偏好可选不需要成对数据只有正例/负例无对比的场景

6. 工程实践

6.1 偏好数据格式

典型的偏好数据集是 prompts + chosen + rejected 的三元组，示例（JSONL格式）：

{"prompt": "解释量子纠缠", "chosen": "量子纠缠是...", "rejected": "不知道"}
{"prompt": "写一首诗", "chosen": "春风又绿江南岸...", "rejected": "诗是文学体裁的一种"}

数据质量要求：

  • chosen 和 rejected 必须在同一个 prompt 下是可比较的。
  • rejected 不必是”错误答案”，只需是”相对较差的选择”。
  • 偏好标注的一致性（inter-annotator agreement）直接影响 DPO 效果。

6.2 reference model 的准备

通常是 SFT 结束后的 checkpoint，与 同结构、同 vocab。如果使用量化版本（如 AWQ），需要确保 和 的精度一致，否则 logit ratio 的计算会出现数值不匹配。

工程上推荐：

  • 在 DPO 开始前，用 SFT 数据验证 的基本能力（困惑度、生成质量）。
  • 建议 freeze；若参与梯度更新会导致 KL 约束失效。

6.3 训练超参

超参典型值说明
batch size4～16（per-device）DPO 对 batch size 不如 PPO 敏感
learning rate5e-7 ～ 1e-6相比 SFT 通常更低
beta ()0.1 ～ 0.3控制策略偏离参考模型的幅度
gradient accumulation2～8模拟更大 batch
max seq length2048 / 4096截断后长度的 rejection sampling 更重要
warmup ratio0.03 ～ 0.1
weight decay0.01 ～ 0.1
epoch1～3（DPO 对过拟合更敏感）通常不超过 3 个 epoch

长度控制：DPO 的 loss 中，较长的序列贡献更多梯度——这会引入长度偏置（见第 7 节）。可以通过 max_length 截断或在 loss 中对序列长度做归一化来缓解。

6.4 离线评测

DPO 的离线评测相比 RLHF 更简单，因为不需要实时 reward model。推荐评测维度：

  1. 生成质量：困惑度（perplexity）、MAUVE、BERTScore。
  2. 偏好胜率：用 reward model（可以是独立训练的小模型）对测试集计算 chosen 胜于 rejected 的比例。
  3. 特定任务指标：问答准确率、代码通过率（HumanEval）等下游任务指标。
  4. 长度分布：检查生成回复的平均长度是否与参考模型有显著偏离。
  5. 毒性/安全性：用 Detoxify 等工具检测生成内容的有害性。

离线胜率（offline win-rate）的计算方式：用训练后的 和 分别对测试 prompts 生成回复，然后让 reward model 打分，统计 胜出的比例。

7. 常见问题与局限性

7.1 数值稳定性问题

DPO loss 中涉及 ，当两者差异极大时会出现溢出或下溢。工程上常见处理方式：

  • logit 裁剪：将 logit ratio 限制在 或类似范围。
  • reference model 用 FP32：如果 用 FP16， 仍建议用 FP32 计算，以避免比较时精度不匹配。
  • epsilon 保护：在 前加一个很小的 epsilon（如 ）防止 。
  • loss NaN/Inf：通常由 batch 中有异常短的序列（logits 全为 padding）导致，建议过滤或 mask 掉这些样本。

7.2 长度偏置

DPO 优化倾向于让模型生成更长的回复，因为长序列在 pairwise loss 中累积的梯度更大。更长的回复在语义上不一定更好，但 DPO 的 sigmoid 压缩会使得长序列的 logit ratio 差值更容易推动 loss 下降。

缓解策略：

  • 在 loss 计算中对长度做归一化（除以序列长度）。
  • 截断到固定最大长度，减少长度差异的梯度贡献。
  • 在偏好数据中保持 chosen/rejected 长度分布的均衡。

7.3 风格偏置

当偏好数据中 chosen 回复具有某种风格特征（如更详细、更友好、更正式），DPO 可能学会的不是”更好”，而是”符合该风格”。这是风格过拟合问题，在开放式生成任务中尤为突出。

7.4 过拟合偏好数据

DPO 不需要 reward model，但代价是直接记住了偏好数据中的偏好模式。如果偏好数据规模小或噪声大，DPO 的过拟合会比 RLHF 更严重，因为没有 reward model 的平滑作用。

建议：

  • 保留 5%～10% 的偏好数据作为验证集，监控 val loss 曲线。
  • 设置 early stopping，不等 val loss 上升到峰后才停。

7.5 对 reference model 的强依赖

DPO 的一切假设建立在 接近真实最优策略的基础上。如果 在某个领域能力很弱，DPO 无法凭空提升它——它只能在该能力水平上调整偏好分布。极端情况下，DPO 甚至可能退化为”让模型更频繁地输出 chosen 回复”，而不管内容质量。

8. DPO 与 SFT 的组合策略

实践中 DPO 通常不单独使用，而是作为 SFT 之后的一个后训练环节。常见的组合方式：

8.1 标准流水线

Pretrained Model → SFT → DPO → (可选) 迭代 DPO / PPO
  • SFT 阶段：教会模型基本任务能力和格式遵循。
  • DPO 阶段：在 SFT 基础上调整偏好分布（有用性、无害性等）。

8.2 DPO + PPO 迭代

在偏好数据规模大、质量高的场景，可以先用 DPO 做快速偏好对齐，再用 PPO 做精细调节：

  1. SFT 结束后，用 DPO 做一轮快速对齐（1～2 epoch）。
  2. 收集新的偏好数据，用 reward model 打分。
  3. 用 PPO 继续优化（这时 rollout 会更高效，因为初始策略已不差）。

8.3 混合训练

有些实现将 SFT loss 和 DPO loss 加权求和：

通常在 之间。这种方式可以让模型在_ALIGN_偏好的同时不遗忘 SFT 阶段学到的技能。需要注意两个 loss 的量级可能差几个数量级，建议对其中一个做 scaling。

9. DPO 和 RLHF 对比表

维度DPORLHF
reward model不需要需要单独训练
rollout 阶段不需要需要 PPO rollout
训练阶段数单阶段两阶段（三阶段含 SFT）
算法类型直接 SGD（可 off-policy）on-policy（PPO）+ value network
超参敏感度较低（主要调 和 lr）高（clip epsilon、价值系数、熵系数等）
梯度方差较低（确定性 logit ratio）较高（rollout 采样引入方差）
计算资源单卡可训（相对低）需要大量显存做 rollout
收敛速度快（直接优化目标）慢（迭代 PPO）
偏好数据效率高（每个 batch 都直接优化偏好）中（需要多次 rollout 估计优势）
对噪声偏好的鲁棒性低（直接记住偏好）中（reward model 平滑噪声）
长度偏置有（长序列梯度贡献更大）也有（但通过 rollout 采样可部分控制）
风格过拟合风险较高中等
理论框架等价于 RLHF 的最优策略闭式解标准 RL 框架
适用场景偏好数据质量高、计算资源有限复杂 reward、需要精细控制策略

10. DPO 训练注意事项清单

10.1 数据准备

  • 偏好对 来自同一 prompt，可比较性强。
  • rejected 回复不是随机文本，而是真实的较差选择。
  • 偏好标注一致性（inter-annotator agreement）评估过，至少 。
  • 数据集做了去重和清洗（避免 prompt 重复导致的过拟合）。
  • chosen/rejected 长度分布尽量均衡，或做了长度归一化。
  • 数据集划分为 train/val（建议 90%/10%）。

10.2 模型准备

  • 是 SFT 结束后的质量可靠的 checkpoint。
  • 和 结构完全一致（vocab、embedding、LM head）。
  • 在训练过程中始终 frozen。
  • 如果使用量化： 和 精度一致。
  • 在 DPO 开始前已验证基本能力（困惑度、下游指标无异常）。

10.3 训练配置

  • beta () 从 开始调优，不是固定不变。
  • learning rate 不高于 SFT 阶段（推荐 ）。
  • batch size 在 4～16 范围内，不盲目增大。
  • 使用梯度截断（max grad norm ）。
  • epoch 不超过 3，建议 early stopping 配合 val loss。
  • max_seq_length 设置合理（过长增加显存消耗，过短截断信息）。
  • warmup_ratio 设置在 。

10.4 数值稳定性

  • logit ratio 做了裁剪（ 或类似）。
  • 以 FP32 计算 logits。
  • padding token 的 loss 被 mask 掉。
  • 训练中途监控 loss 曲线，警惕 NaN/Inf。
  • 若出现 NaN：降低 learning rate、增大 epsilon、减小 batch size 逐项排查。

10.5 评测与监控

  • 每隔一定 step 保留 checkpoint。
  • 监控 val loss，提前停止防止过拟合。
  • 离线评测胜率（ vs ）随训练的变化。
  • 监控生成回复长度分布，与 对比。
  • 下游任务指标（问答准确率、代码通过率）定期评估。
  • 安全性检测：生成内容的毒性/有害性评分。

10.6 常见陷阱

  • 不要用预训练模型直接做 DPO——先 SFT。
  • 不要用质量差的 ——会破坏 KL 约束。
  • 不要用噪声极大的偏好数据——DPO 会直接记住噪声。
  • 不要训练过长——DPO 对过拟合比 RLHF 更敏感。
  • 不要忽视长度偏置——生成可能越来越长。
  • 不要忘记风格偏置——chosen 的风格特征可能被 DPO 学走。

11. 总结

DPO 的核心贡献在于：它用数学推导证明了 RLHF 中 KL 约束下的最优策略可以等价地转化为一个基于偏好对的分类损失，从而绕过了显式 reward model 和 rollout。这使得 RLHF 从三阶段工程流程简化为单阶段 SGD，训练成本大幅降低，工程门槛显著下降。

但 DPO 不是 RLHF 的万能替代。它的本质是一个偏好驱动的策略优化，当偏好数据质量高、噪声低时，DPO 可以高效地对齐人类偏好；当偏好数据存在偏差、噪声或风格偏置时，DPO 的过拟合问题会比 RLHF 更严重。此外，DPO 对 的强依赖也意味着它无法弥补 SFT 阶段的能力缺陷。

在实际应用中，推荐将 DPO 视为 RLHF 的工程化简化版：先用 SFT 建立基础能力，再用 DPO 做快速偏好对齐。如果需要更精细的策略控制或偏好数据质量不理想，可以在此基础上引入 IPO 的正则化或切回 PPO 做迭代优化。

Graph View