OPD 深度解析（二）：SFT 与策略梯度推导

本文转载自：微信公众号「菜菜Vibe Coding」

本文改编自「菜菜Vibe Coding」公众号系列文章，原文发布于 2026-06-11。这是系列第二篇，讲述 SFT、强化学习策略梯度的基础知识和公式推导，为后续的知识蒸馏打下基础。

本文分为 3 个部分：

1. 数学基础、信息论基础和 KL 散度（系列第一篇）
2. 大模型微调（SFT）、强化学习策略梯度
3. OPD 的介绍和遇到的问题

Table of contents

第四章：语言模型与自回归分解

这一章建立整个推导的数学语言——符号和分解方式。理解自回归分解才能理解后面为什么 sequence-level log-ratio 可以写成 token-level log-ratio 之和，为什么 softmax 归一化是 policy-gradient 推导的基石。

4.1 符号定义

4.2 自回归分解——为什么要这样分解？

问题：模型生成整句话的概率 $\pi_\theta(y|x)$ 是什么？

为什么不能直接算？ 一个序列 $y = (y_1, y_2, \dots, y_T)$ 的概率不是一次性的——模型是”逐步选择”下一个 token 的。每一步的选择依赖于之前已经生成的所有 token。

分解过程：

模型生成第 1 个 token：

模型生成第 2 个 token（需要看第 1 个）：

模型生成第 $t$ 个 token（需要看前 $t-1$ 个）：

链式法则（概率论基本规则）：联合概率 = 条件概率之积：

应用到语言模型：

为什么要取 log？ 乘法在数学上不方便：

• 多个小数相乘容易数值溢出/归零（如 $0.01 \times 0.01 \times \dots \to$ 机器精度下变成 0）
• 乘法求导需要用乘积法则，复杂

取 log 后乘法变加法，解决这些问题：

Teacher 同理：

两者的差——log-ratio：

这就是为什么 log-ratio 可以按 token 分解——自回归分解让我们能把整条序列的 “student vs teacher” 差异，拆成每个位置上的差异之和。

4.3 Softmax 保证归一——为什么这是整个推导的基石？

每个时间步，模型对词表中每个 token 输出一个实数分数 $z_v$（称为 logit），然后通过 softmax 转成概率：

为什么需要 softmax？ 模型的输出 $z_v$ 是任意实数（可正可负，没有上界），不能直接当概率用。Softmax 的功能：

• 把所有值变成正数（$e^{z_v} > 0$）
• 把所有值缩到 0~1 之间
• 让所有值加起来等于 1

证明归一性：

分母和分子是同一个东西（对所有词表元素求和），所以比值 = 1。

从单步归一到联合分布归一：

每个时间步的概率都归一（和为 1），所以联合概率也归一：

PyTorch 中 softmax 的实现：

import torch
import torch.nn.functional as F

# 假设模型输出的logits，shape [B, L, V]
logits = torch.randn(2, 10, 50000)  # batch=2, seq_len=10, vocab=50000

# softmax转概率
probs = F.softmax(logits, dim=-1)  # shape [2, 10, 50000]

# 验证归一性
print(probs.sum(dim=-1))  # 每个位置的概率和，应该全是1.0

# log_softmax（更稳定，避免数值问题）
log_probs = F.log_softmax(logits, dim=-1)

# 验证: exp(log_probs) ≈ probs
print(torch.exp(log_probs) - probs)  # 应该接近0

第五章：SFT（监督微调）

SFT 是大模型训练的起点。理解 SFT 的数学本质（它到底在优化什么），才能理解后面 KD、OPD 为什么需要改进、改进了什么。

5.1 什么是 SFT？为什么要做 SFT？

大模型训练的三个阶段：

• 预训练：让模型学会语言的”语法”和”常识”（读海量文本，预测下一个词）
• SFT：让模型学会”怎么对话”——给它看人类写的高质量问答，让它模仿
• RL/Distillation：让模型变得更精准、更可靠

为什么需要 SFT？ 预训练后的模型能”说话”，但不会”对话”——它可能续写一段新闻，但不会回答你的问题。SFT 教它：

• 看到问题 → 给出回答（而不是续写问题）
• 回答要有结构、有逻辑
• 某些格式要求（如代码要用 markdown 包裹）

类比：预训练像学会了中文语法，SFT 像学会了”怎么写商务邮件”——语法对了，但格式和内容风格需要专门训练。

5.2 SFT Loss 的完整推导——从目标到公式

训练数据：$(x, y^{data})$，其中 $x$ 是 prompt，$y^{data} = (y_1^{data}, \dots, y_T^{data})$ 是人类写好的标准回答。

目标：让模型尽可能生成和标准答案一样的回答。

第一步：写出目标

模型对标准答案的生成概率（用自回归分解）：

我们希望这个概率尽可能大。

为什么最大化概率？ 如果模型认为标准答案的概率很高，说明模型”认同”这个答案——它倾向于生成同样的回答。这正是我们想要的。

第二步：取 log，乘法变加法

取 log 的原因（第四章已讲）：乘法数值不稳定、求导复杂，加法更方便。

第三步：从最大化变成最小化

机器学习习惯写最小化问题（因为优化器是做梯度下降的）。最大化 $\log \pi$ 等价于最小化 $-\log \pi$：

这就是 SFT Loss（也叫 NLL Loss，Negative Log-Likelihood）。

第四步：逐项理解

每个时间步 $t$ 的 loss 是：

• $\pi_\theta(y_t^{data}|c_t^{data})$：模型在看到前缀 $c_t^{data}$ 后，认为标准答案的下一个 token $y_t^{data}$ 的概率
• $-\log$：概率越高 → loss 越小；概率越低 → loss 越大
• 模型被”逼”着在每个位置都给标准答案的 token 高概率

直觉：就像考试——每道题都有标准答案，你答对了（给了高概率）就不扣分，答错了（给了低概率）就扣分。

5.3 SFT 与信息论的联系——SFT 到底在优化什么？

关键问题：SFT loss 看起来只是”让概率变大”，但它的数学本质是什么？

推导：每个时间步，标准答案的真实分布是 one-hot——只有 $y_t^{data}$ 这个 token 概率为 1，其他所有 token 概率为 0：

SFT loss 就是这个 one-hot 分布和 student 分布的交叉熵：

为什么交叉熵只剩一项？ 因为 $P_{\mathrm{data}}$ 是 one-hot——只有 $v = y_t^{data}$ 时 $P_{\mathrm{data}}(v) = 1$，其他都是 0。0 乘任何数都是 0，所以求和只剩一项。

再用第二章的公式 $H(P,Q) = H(P) + D_{\mathrm{KL}}(P \| Q)$：

One-hot 分布的熵 $H(P_{\mathrm{data}}) = -1 \cdot \log 1 - 0 \cdot \log 0 = 0$（完全确定，没有不确定性）：

结论：

5.4 SFT 的根本局限——Exposure Bias

问题：SFT 在数据的前缀上训练：

但推理时，模型在自己生成的前缀上运行：

一旦 student 在某个位置生成了和标准答案不同的 token，后续的前缀就进入了训练时从未见过的区域。模型在这个陌生区域没有受过训练，容易继续犯错——错误连锁放大。

这就是 Exposure Bias——训练看到的”世界”和推理看到的”世界”不一致。

SFT 像只在阳光明媚的公路上练车。考试时遇到雨天、夜路，你就慌了——因为你从未在这些条件下练过。

5.5 SFT 的 PyTorch 实现

import torch
import torch.nn.functional as F

def sft_loss(student_logits, labels, ignore_index=-100):
    """计算SFT loss（交叉熵/NLL）

    Args:
        student_logits: student模型输出的logits, shape [B, L, V]
        labels: 标准答案的token id, shape [B, L]
        ignore_index: 忽略的label值（如padding token）
    Returns:
        平均loss，scalar
    """
    # shift: logits的第t步对应labels的第t+1步（因为logits预测下一个token）
    shift_logits = student_logits[:, :-1, :].contiguous()  # [B, L-1, V]
    shift_labels = labels[:, 1:].contiguous()              # [B, L-1]

    # 交叉熵 = NLL = -log P_S(y_t^data | c_t^data)
    loss = F.cross_entropy(
        shift_logits.view(-1, shift_logits.size(-1)),  # [B*(L-1), V]
        shift_labels.view(-1),                          # [B*(L-1)]
        ignore_index=ignore_index
    )
    return loss

# 使用示例
logits = torch.randn(4, 128, 50000)  # batch=4, seq_len=128, vocab=50000
labels = torch.randint(0, 50000, (4, 128))  # 标准答案token ids
loss = sft_loss(logits, labels)
print(f"SFT loss: {loss.item():.4f}")

第六章：强化学习基础——策略梯度

本章是整个 OPD 推导的”引擎”——理解策略梯度，才能理解第 10 章 OPD 的梯度推导为什么是那个形式、为什么第二项能消零、为什么可以加 baseline。

6.1 什么是 RL？为什么要引入 RL？

SFT 的局限：SFT 只能告诉模型”标准答案是什么”，但不能告诉模型”你自己的回答好不好”。

类比：

• SFT 像老师批改作业——每题有标准答案，学生照着抄
• RL 像学生自己探索——做完后老师只给总分（reward），不说哪题对哪题错

为什么需要 RL？ 因为很多场景没有标准答案：

• 数学题有多种解法，哪种更好？
• 对话有多种回复方式，哪种更自然？
• 代码有多种实现，哪种更高效？

SFT 只能学一种固定答案，RL 让模型自己探索并发现更好的策略。

核心要素：

• 策略（policy） $\pi_\theta$：模型的”行为规则”——给定状态，选择什么动作
• 奖励（reward） $R$：做完一件事后得到的分数
• 目标：调整策略参数 $\theta$，使得期望奖励最大

6.2 策略梯度推导——为什么要这样推导？

目标：最大化期望奖励

问题：$\pi_\theta(y)$ 是一个概率值（经过 softmax），我们不能直接对它求导——因为概率值和参数 $\theta$ 的关系是通过 softmax 的复杂映射，直接求导极其困难。

策略梯度的核心思路：不直接对 $\pi_\theta(y)$ 求导，而是通过 log-derivative trick 把 $\nabla\pi_\theta(y)$ 转化成更容易处理的形式。

推导过程：

第一步：写出目标函数

第二步：对 $\theta$ 求导

为什么只对 $\pi_\theta$ 求导？ 因为 $R(y)$ 是 reward，它不依赖 $\theta$（reward 是外部给的，不是模型参数决定的）。所以 $R(y)$ 对 $\theta$ 的导数为 0。

第三步：用 log-derivative trick

为什么这个 trick 成立？ 因为 $\pi_\theta(y) = e^{\log\pi_\theta(y)}$，对 $e^{f(\theta)}$ 求导 = $e^{f} \cdot \nabla f$，所以 $\nabla\pi_\theta(y) = \pi_\theta(y) \cdot \nabla\log\pi_\theta(y)$。

为什么需要这个 trick？ 直接对 softmax 输出的概率 $\pi_\theta(y) = \frac{e^{z_\theta(y)}}{\sum_u e^{z_\theta(u)}}$ 求导需要用商的求导法则，还要处理分母（所有词表的指数之和），极其复杂。Log-derivative trick 避开了这个困难——它把 $\nabla\pi_\theta$ 转化成 $\pi_\theta \cdot \nabla\log\pi_\theta$，后者只需要对 log 概率求导，简单得多。

第四步：代入

结果的含义：

就像生活中的学习：做了一件事，得了高分（reward 高），以后多做（提高概率）；得了低分，以后少做（降低概率）。

为什么这是采样估计？ 因为 $\mathbb{E}_{y \sim \pi_\theta}$ 的意思是”从模型分布中采样 $y$“，我们让模型生成几条轨迹，算每条的 $R(y) \cdot \nabla\log\pi_\theta(y)$，取平均。不需要遍历所有可能的 $y$。

6.3 加 baseline——为什么可以减？减了有什么好处？

原始策略梯度方差很高。可以减去一个 baseline $b$：

为什么可以减 baseline？ 逐步证明：

把 $b$ 提出来（常数）：

展开期望：

用 log-derivative trick 反向写 $\pi_\theta(y) \nabla\log\pi_\theta(y) = \nabla\pi_\theta(y)$：

求和与梯度交换：

归一性 $\sum_y \pi_\theta(y) = 1$：

减 baseline 有什么好处？

• 不改变期望（无偏）：$\mathbb{E}[(R-b) \cdot \nabla\log\pi_\theta] = \mathbb{E}[R \cdot \nabla\log\pi_\theta] - 0 = \nabla J$
• 降低方差：如果 reward $R(y)$ 的值在 010 之间波动，减去均值 $b = \mathbb{E}[R]$ 后，$(R-b)$ 的波动范围变成 -55，方差大幅降低

常见 baseline 选择：reward 的均值 $b = \mathbb{E}[R]$，或用另一个模型（critic/reference model）的 logprob 作为 baseline。

PyTorch 实现：

import torch

def policy_gradient_loss(logprobs, rewards):
    # 策略梯度: -reward * logprob
    # 最大化期望奖励 = 最小化 -reward * logprob
    loss = -rewards * logprobs
    return loss

def policy_gradient_with_baseline(logprobs, rewards, baseline):
    # advantage = reward - baseline
    advantages = rewards - baseline
    loss = -advantages * logprobs
    return loss

# 示例: PPO中的baseline就是reference model的logprob
# advantage = reward + ref_logprob - logprob
# 这和OPD中的 sampled-token advantage: A_t = logq - logpi 是同一个思路

6.4 策略梯度与 OPD 的联系