高分不等于好回答:大模型对齐的理论上限与走偏机制

目录
两位用户向同一个 AI 大模型咨询同一个问题:“我头痛,止痛药该吃多少?”却得到了截然不同的回答。面对第一位用户,AI 大模型没有进一步了解情况,直接给出了具体剂量。第二位用户几天前在对话里提过自己正在服用其他药物;面对同样的提问,AI 大模型这次先询问用户的年龄、病史和当前用药,再建议对方咨询医生或药师。
第二种回答看起来更谨慎,也更安全。问题是,开发者怎样让 AI 大模型更常作出这样的选择?如果用来判断“哪种回答更好”的标准本身存在偏差,模型最终学到的究竟是更好的行为,还是更会迎合评分标准?
Apple 研究团队在论文 Theoretical Limits of Language Model Alignment 中专门讨论了这一问题[1]。他们试图回答两个核心追问:在既定评分标准下,模型的表现最多能提升多少,又需要为此改变多少原有的回答习惯?如果评分标准本身不够可靠,一味拉高分数会不会反而让模型的实际表现变差?
论文并不试图解释所有对齐方法,而是研究一种常见情形:训练者一边提高奖励分数,一边限制模型偏离原有行为的程度。
论文给出的答案正好对应标题中的“理论上限”与“走偏机制”:一方面,分数提升与行为改变之间存在一条可预先估算的边界,决定了对齐最多能走多远;另一方面,一旦优化力度过大,评分标准里的偏差就会被急剧放大,导致模型越调越偏。这一结论对普通用户同样是个提醒:回答越流畅、语气越笃定、格式越像标准答案,未必就越准确。
1. 对齐到底在改变模型什么? #
要理解论文的答案,首先要说明本文所说的“对齐”是什么。预训练教会了模型“顺着上文往下接什么词最合理”,但一个擅长续写文本的模型,并不会天然知道何时该拒绝危险请求、何时该坦承“不确定”,更不会主动把“对用户真正有用”排在“听起来足够自信”前面。
从回答差异到概率重分配。预训练完成后,开发者还会使用示范答案、人类偏好或安全规则继续训练模型,这个阶段通常称为“后训练”。在本文语境下,对齐的本质并不是给模型凭空灌输新知识,而是在它已有能力的基础上,重新分配面对同一提问时采取不同回答策略的概率。常见做法包括监督微调(Supervised Fine-Tuning,SFT)和基于人类反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)[2]。前者用示范答案告诉模型“应该怎样回答”,后者通常先用人类偏好数据训练奖励模型,再用奖励信号调整生成策略。
为了排除历史对话的差异、单独观察训练怎样改变模型的选择,下面把场景进一步简化:假设面对完全相同的用药提问,模型需要在两种回答之间作出选择。
- A:直接给出具体剂量,没有询问年龄、病史和其他用药;
- B:说明风险,先追问必要信息,并建议咨询医生或药师。
不妨用一组假想数字来直观说明(仅作示意,非论文实验数据):假设基础模型选择 A 和 B 的概率原本是 \(Q=(0.8,0.2)\),对齐后变成 \(P=(0.5,0.5)\)。可以看到,模型并没有突然多出某种全新的语言能力,只是压低了危险回答 A 的出现概率,提高了谨慎回答 B 的出现概率。
为什么还要限制模型偏离。这个例子把对齐理解为回答概率的重新分配,但实际训练还需要一个标准来决定哪些回答应该获得更高概率。我们无法为每个输入和回答直接写出“理想奖励”,于是通常训练一个奖励模型 \(r(x,y)\) 作为代理。它接收提示词 \(x\) 和回答 \(y\),再输出一个分数。隐患也恰恰出在这里:奖励模型学到的只是人类标注员、既定规则或裁判模型“表面打出来的偏好”,它未必等同于我们真正追求的目标。
如果训练只追求更高分,模型可能为了迎合奖励而远离原有的回答分布。论文因此研究一类很具体的目标:一边提高期望奖励,一边用 KL 散度限制新策略偏离基础模型的程度。KL 散度(Kullback–Leibler divergence)衡量两个概率分布之间的差异[3]。若用 \(P\) 表示新策略、\(Q\) 表示基础策略,新策略相对于基础策略的 KL 写作:
\[ \begin{aligned} \operatorname{KL}(P\Vert Q) &= \sum_y P(y)\log\frac{P(y)}{Q(y)}. \end{aligned} \]它不是普通距离:通常 \(\operatorname{KL}(P\Vert Q)\neq\operatorname{KL}(Q\Vert P)\),也不满足对称性。以上面的 \(P=(0.5,0.5)\)、\(Q=(0.8,0.2)\) 为例:
\[ \begin{aligned} \operatorname{KL}(P\Vert Q) &= 0.5\ln 0.625+0.5\ln 2.5 \\ &\approx 0.223\ \text{nats}. \end{aligned} \]nats(奈特)是以自然对数为底的信息单位。这个数越大,表示对齐后的回答分布偏离基础模型越多;但 KL 只说明“变了多少”,不说明变化一定更好。
论文把优化目标写成:
\[ \begin{aligned} \max_{\pi} \mathbb E_{x,\,y\sim\pi(\cdot\mid x)}[r(x,y)] &- \lambda\, \mathbb E_x\!\left[ \operatorname{KL}\bigl(\pi(\cdot\mid x)\Vert\pi_{\text{base}}(\cdot\mid x)\bigr) \right]. \end{aligned} \]\(\lambda>0\) 控制“提高奖励”和“不要偏离基础模型”之间的取舍。较大的 \(\lambda\) 更保守,较小的 \(\lambda\) 允许策略为提高奖励而发生更大变化。这个目标对应的最优策略可以明确写成:
\[ \begin{aligned} \pi_{r,\lambda}(y\mid x) &= \frac{ \pi_{\text{base}}(y\mid x)\exp(r(x,y)/\lambda) }{ Z_{r,\lambda}(x) }. \end{aligned} \]其中,归一化常数为:
\[ \begin{aligned} Z_{r,\lambda}(x) &= \mathbb E_{Y\sim\pi_{\text{base}}(\cdot\mid x)} \left[\exp(r(x,Y)/\lambda)\right]. \end{aligned} \]换句话说,这种对齐本质上是按奖励高低对基础模型的回答分布做指数加权——统计学上常称为指数倾斜(exponential tilting):得分高的回答概率被成倍放大,得分低的回答概率被迅速压低。下文讨论的所有推论都建立在这一数学框架之上,并非对一切对齐方法的泛泛定论。
2. 不做训练,如何预估对齐上限? #
第一章说明了对齐如何按照奖励重新分配回答概率,也介绍了 KL 如何衡量模型偏离原有回答分布的程度。接下来的问题是:如果奖励函数已经确定,模型最多能把奖励提高多少,又需要为此偏离基础模型多远?
如果不打算深究估计量的具体推导,可以直接看下文的五步采样流程。本章最核心的结论其实只有一句话:训练团队完全不必先跑完一轮强化学习,直接利用基础模型生成的样本,就能预先估出对齐的理论上限。
每取一个不同的 \(\lambda\),论文都能得到一组对应的奖励增益和 KL。把这些最优结果连起来,就形成奖励—KL 前沿。论文首先用一个精确恒等式描述这条前沿。
设 \(\pi_{r,\lambda}\) 是上面的最优对齐策略。对每个固定提示 \(x\),它相对基础模型的奖励增益满足:
\[ \begin{aligned} \mathbb E_{\pi_{r,\lambda}}[r] &- \mathbb E_{\pi_{\text{base}}}[r] \\ &= \lambda\left[ \operatorname{KL}(\pi_{r,\lambda}\Vert\pi_{\text{base}}) + \operatorname{KL}(\pi_{\text{base}}\Vert\pi_{r,\lambda}) \right]. \end{aligned} \]括号中的两项之和叫杰弗里斯散度(Jeffreys divergence)。仍用前面的数字,反方向为:
\[ \begin{aligned} \operatorname{KL}(Q\Vert P) &= 0.8\ln 1.6+0.2\ln 0.4 \\ &\approx 0.193. \end{aligned} \]所以杰弗里斯散度约为 \(0.223+0.193=0.416\)。两个方向数值不同,正好说明 KL 的“方向”不是符号装饰。这个恒等式的价值不在于多了一种散度,而在于它把奖励增益和分布变化直接连了起来:奖励增益既取决于新策略相对基础模型的偏离,也取决于基础模型相对新策略的偏离。
这个恒等式描述了奖励与分布变化的关系。论文更实用的发现是:不用真的训练一个新策略,也可以从基础模型样本估计理论前沿。具体流程如下:
- 从提示分布采样一批 \(x\);
- 对每个 \(x\),从基础模型采样若干回答 \(Y_1,\ldots,Y_n\);
- 用奖励模型给这些回答打分;
- 对一组不同的 \(\lambda\),计算权重 \(\exp(r/\lambda)\)、条件协方差以及归一化常数;
- 同时估计奖励增益与 KL,画出奖励—KL 的帕累托前沿(Pareto frontier)。
这相当于用有限的随机样本近似整体分布,也就是蒙特卡洛(Monte Carlo)估计。训练团队可以先看到某个 KL 范围内理论上有多少奖励提升空间,再决定是否值得投入强化学习。
技术细节:为什么可以从样本估计。论文把同一个奖励增益写成条件协方差:
\[ \mathbb E_x\left[ \frac{ \operatorname{Cov}_{Y\sim\pi_{\text{base}}(\cdot\mid x)} \left( r(x,Y),\exp(r(x,Y)/\lambda) \right) }{ \mathbb E_{Y\sim\pi_{\text{base}}(\cdot\mid x)} \left[\exp(r(x,Y)/\lambda)\right] } \right]. \]需要注意,式中的协方差和归一化常数都必须先针对单个提示词 \(x\) 在基础模型的条件分布下分别计算,最后再对不同提示词取平均。这意味着实操中绝不能把不同提示词生成的回答混在一起算总账。
论文还推导了新策略相对基础模型 KL 的估计量:
\[ \begin{aligned} \widehat{\operatorname{KL}} \left(\pi_{r,\lambda}\Vert\pi_{\text{base}}\right) &= \frac{ \widehat{\mu}_r+\widehat{\Delta}_n(r,r) }{\lambda} -\log\widehat Z_{r,\lambda}. \end{aligned} \]其中,\(\widehat{\mu}_r\) 是基础模型样本的平均奖励,\(\widehat{\Delta}_n(r,r)\) 是奖励增益估计量(论文用双参数记号区分训练奖励与评价奖励,这里两者同为 \(r\)),\(\widehat Z_{r,\lambda}\) 是 \(\exp(r/\lambda)\) 在这些样本上的平均值。这里保留 \(r,\lambda\) 下标,是为了与前文的 \(Z_{r,\lambda}(x)\) 对应;这些量先对每个固定提示估计,再汇总到提示分布。公式来自恒等式 \(\operatorname{KL}(\pi_{r,\lambda}\Vert\pi_{\text{base}})=\mathbb E_{\pi_{r,\lambda}}[r]/\lambda-\log Z_{r,\lambda}\)。
论文实验显示,在固定 \(\lambda\) 时,每个提示通常不到一千个样本就能得到较稳定的估计;附录中每个提示 1,000 与 10,000 个样本得到的前沿在大部分区域接近。不过在很小的 \(\lambda\) 下,指数权重会集中在极少数回答上,估计会明显更难。
因此,可以在训练前用这条前沿估算收益:如果理论上在某个 KL 范围内也只能增加很少奖励,就不必先投入昂贵的强化学习,训练之后才发现上限很低;如果实际训练结果远低于理论前沿,问题才更可能出在优化、采样或实现上。
不过,这条前沿只回答“给定一个奖励函数,最多能把它优化到什么程度”。它并不保证这个奖励函数衡量的正是我们真正关心的质量。一旦代理奖励与真实目标之间存在误差,接下来要问的就不再是模型能走多远,而是它会不会沿着错误的方向越走越远。
3. 为什么刷高分数反而让模型变差? #
上一章有一个重要前提:奖励模型给出的分数能够准确代表我们真正想要的结果。但在实际训练中,这个分数只是根据人类标注、规则或其他模型构造出的近似标准,难免存在误差。
为了分析这种误差,论文把真正想要的奖励记作 \(r^*(x,y)\),把训练中实际使用的代理奖励记作 \(r(x,y)\)。两者之差称为偏好残差:
\[ \mathcal N(x,y)=r(x,y)-r^*(x,y). \]假设分别用代理奖励和理想奖励得到策略 \(\pi_{r,\lambda}\) 与 \(\pi_{r^*,\lambda}\)。论文重点衡量这样一个差距:如果统一用真实标准 \(r^*\) 来考核,按代理奖励训练出的策略 \(\pi_{r,\lambda}\),到底比理想策略 \(\pi_{r^*,\lambda}\) 损失了多少真实收益:
\[ \begin{aligned} G_x(\lambda) &= \mathbb E_{Y\sim\pi_{r^*,\lambda}(\cdot\mid x)}[r^*(x,Y)] \\ &\quad - \mathbb E_{Y\sim\pi_{r,\lambda}(\cdot\mid x)}[r^*(x,Y)]. \end{aligned} \]论文的命题表明,残差会通过形如 \(\exp(\mathcal N/\lambda)\) 的项影响最终策略。直觉上,\(\lambda\) 越小,优化越激进,代理奖励中哪怕不大的排序误差也会被指数倾斜放大。这与已有的奖励模型过度优化研究相呼应[4]。
为了看清这个指数项的放大效应,我们不妨构造一个极简算例(非论文实验数据)。假设面对同一提问,基础模型生成 A、B 两种回答的概率各为 0.5:
- A 是真正好的回答,真实奖励与代理奖励都是 1;
- B 是浮夸但错误的回答,真实奖励是 0,代理奖励却被高估为 2。
根据前面的指数倾斜公式,按代理奖励优化后,选择 A 的概率为:
\[ \begin{aligned} P_{\text{代理}}(A) &= \frac{\exp(1/\lambda)} {\exp(1/\lambda)+\exp(2/\lambda)}. \end{aligned} \]如果使用理想奖励,选择 A 的概率则是:
\[ \begin{aligned} P_{\text{理想}}(A) &= \frac{\exp(1/\lambda)} {\exp(1/\lambda)+1}. \end{aligned} \]例如,当 \(\lambda=1\) 时:
\[ \begin{aligned} P_{\text{代理}}(A) &= \frac{e}{e+e^2} \approx 26.9\%,\\ P_{\text{理想}}(A) &= \frac{e}{e+1} \approx 73.1\%. \end{aligned} \]因为 A 的真实奖励是 1、B 是 0,所以策略的真实奖励恰好等于选择 A 的概率。下表中的“代理策略”和“理想策略”分别表示按代理奖励和理想奖励训练后的真实表现:
| \(\lambda\) | 优化力度 | 代理策略 | 理想策略 | 差距 \(G\) |
|---|---|---|---|---|
| 1 | 较温和 | 26.9% | 73.1% | 46.2% |
| 0.2 | 很激进 | 0.67% | 99.33% | 98.66% |
基础模型原本有 50% 的概率选择 A;当 \(\lambda=0.2\) 时,按代理奖励优化后,这个概率反而降到 0.67%,比不对齐时还差。
此时,代理策略与理想策略之间的真实奖励差距为:
\[ \begin{aligned} G &= 99.33\%-0.67\% \\ &\approx 98.66\%. \end{aligned} \]此时,优化算法本身并没有失灵——它只是极其高效地优化了一个错误的目标。\(\lambda\) 越小、优化越激进,代理奖励对 B 的误判就被放大得越厉害。这就是常说的奖励投机(Reward Hacking):模型学会了怎样刷高代理分数,却背离了人类的真实意图。
论文附录还指出一个更基础的问题:常用的 Bradley–Terry 奖励模型通过两个回答的分数差来拟合胜率,通常只从成对比较中学习“哪个回答更好”。即使成对偏好损失已经最小,奖励差值的绝对尺度仍可能与真实偏好强度相差任意大,因此偏好残差 \(\mathcal N\) 仍可能很大。论文由此建议,奖励学习不应只记录胜负,也应考虑偏好的强弱。
一个自然想法是使用多个奖励模型。论文证明:若 \(m\) 个奖励模型是独立同分布抽样、对每个 \((x,y)\) 都逐点无偏,而且奖励有界,那么把它们平均后,相关差距在期望意义下以 \(O(m^{-1/2})\) 收敛。这里用 \(m\) 表示奖励模型个数,避免与每个提示的采样数 \(n\) 混淆。
这些前提比“多找几个模型投票”严格得多。由不同公司、不同数据或同一套偏差训练出来的奖励模型,不一定是独立同分布,也不一定逐点无偏。共同盲区不会因为平均而消失;多个奖励模型更稳,是一个有条件的统计结论,不是自动成立的工程保证。
4. 现有对齐算法离上限还有多远? #
理论分析给出了奖励提升的上限,也说明了评分误差被放大的风险。但实际使用的对齐方法能在多大程度上接近这个上限?论文为此比较了 Best-of-N(BoN)、PPO 和 GRPO。
BoN 不训练新模型,也不修改模型参数。它让基础模型针对同一个提示生成 \(N\) 个候选回答,再用奖励模型选出分数最高的一个。因此,BoN 的主要计算成本发生在推理阶段:\(N\) 越大,挑到高奖励回答的机会越高,但每次回答都要生成和评估更多候选。
PPO(Proximal Policy Optimization)则把奖励信号用于训练模型。模型先生成回答,奖励模型为回答打分,PPO 再根据这些分数估计哪些生成动作更值得增加概率,并限制每次参数更新不要跨得太远[5]。训练完成后,模型通常只需生成一次回答,但训练过程需要反复采样、评分和更新参数。
GRPO(Group Relative Policy Optimization)同样会直接更新模型参数,但它针对同一个提示采样一组回答,根据组内奖励的相对高低计算优势,再提高高分回答的生成概率、压低低分回答的生成概率[6]。它减少了对独立价值模型的依赖,不过仍要在训练时为每个提示生成并比较多份回答。简单说,BoN 是“生成多个再挑一个”,PPO 和 GRPO 是“用奖励反馈改变模型今后的生成倾向”。
论文在两个性质不同的对齐任务上比较它们:一个测试安全行为,另一个测试开放式内容质量。
- BeaverTails 安全任务:它测试模型面对危险或敏感请求时,能否避免生成有害内容。输入是可能诱导有害回答的提示,模型需要作出安全回应。数据集规模约为 33.4 万组带安全标签的问答(333,963 组),另有约 36.2 万组成对的专家偏好数据(361,903 组);这些偏好同时涉及有用性和无害性[7]。
- Reddit TL;DR 摘要任务:它测试模型能否生成符合人类偏好的简短摘要。输入是一篇 Reddit 帖子,TL;DR 是 “Too Long; Didn’t Read” 的缩写。OpenAI 实验使用的版本约含 300 万篇帖子及作者自己写的 TL;DR;后来公开的人类反馈数据约有 6.5 万组候选摘要比较(64,832 组),用来判断“人更喜欢哪一份摘要”,而不只是比较摘要与参考文本的字面相似度[8][9]。
上述数字描述的是原始数据集和公开偏好数据的总体规模,不表示这篇论文的每次训练都使用了全部样本。论文在强化学习阶段使用了预处理后的 TL;DR 版本;安全实验则以 BeaverTails 提示测试回答,并用成对安全偏好训练奖励模型。
这两个任务分别代表两种常见的对齐目标:BeaverTails 关注模型如何处理安全边界问题,TL;DR 关注模型如何在信息取舍、准确性和可读性之间作出选择。它们覆盖了安全与内容偏好,但不能代表全部对齐场景。
论文没有纳入 DPO(Direct Preference Optimization),理由是 DPO 不使用显式奖励模型[10],而这篇论文研究的正是显式奖励下的理论上限。
附录表 2 和表 3 汇总了不同超参数配置在论文 KL 范围内取得的最大奖励增益。这些数字不一定对应主图里展示的同一条运行曲线。
| 任务 | 理论上限 | BoN | GRPO | PPO |
|---|---|---|---|---|
| BeaverTails | 2.764 | 2.722 | 2.117 | 2.084 |
| TL;DR | 0.387 | 0.385 | 0.282 | 0.214 |
由于两个任务使用各自独立训练的奖励模型,分数的绝对尺度(如 2.764 与 0.387)不能跨任务直接比较,更有意义的是各方法在同一任务上逼近理论上限的比例。按这些最大值计算,PPO 与 GRPO 达到了理论奖励增益的大约 55% 到 77%,而 BoN 非常接近理论上限。论文将 BoN 的 \(N\) 设为 1 至 10,000 之间的不同取值,并用 Beirami 等人的估计器计算其 KL[11]。
从这两组实验来看,在论文设定的任务与评测口径下,简单的 BoN 采样比强化学习更逼近理论上限。不过,这并不意味着工程上可以直接用 BoN 取代强化学习——两者的 KL 估算口径尚未完全拉齐,算力成本的承担阶段也截然不同:BoN 的 KL 有专门的解析估计方法,而论文正文和附录没有说明 PPO、GRPO 的 KL 如何估计;BoN 把成本放在推理时的多次采样,PPO 和 GRPO 则把成本放在训练阶段,两类方法对延迟、吞吐量和部署环境的要求也不同。
论文的适用范围也需要放在这里一起理解。它把整段回答视为一个决策单位,分析带 KL 正则的奖励最大化;这不同于常见实现中的逐 token KL,也没有覆盖其他 \(f\)-散度(包含 KL 在内的更一般散度族)、胜率目标或所有偏好优化方法。理论前沿还取决于给定的基础模型、提示分布和奖励函数;实验只包含 BeaverTails 和 TL;DR 两个任务。
因此,更稳妥的结论是:在这两个任务和论文采用的评价方式下,简单的重采样已经很接近理论前沿,而论文测试的强化学习方法仍留下了明显的优化空间。
5. 主流大模型如何设计奖励与约束? #
上述实验只比较了论文中的两个任务和三种方法,并没有分析商业模型。不过,我们可以借用论文提出的问题阅读各家公开资料:厂商用什么信号表示预期行为,怎样让模型学习这些信号,又怎样限制训练造成的策略偏离和能力损失。
下表是我根据一手公开资料所做的整理,不是论文结论,也不是产品横评。不同方法来自不同年份和不同模型;“未披露”只表示截至 2026 年 11 月 14 日,我没有在所列资料中找到可直接比较的信息。
| 公开案例 | 奖励或规范来源 | 优化方式 | 约束与能力保持 |
|---|---|---|---|
| OpenAI[12][13] | 行为规范、模型评分 | SFT、强化学习 | 未披露可比设置 |
| Gemini[14][15][16] | 人类偏好、奖励模型 | SFT、强化学习 | 未披露可比设置 |
| Anthropic[17][18] | 行为原则、AI 反馈 | SFT、强化学习 | 未披露可比设置 |
| DeepSeek-V4[19] | 规则验证、生成式评分 | GRPO、在线蒸馏 | 向教师分布靠近 |
| Qwen[20][21][22] | 偏好、规则与模型评分 | 偏好优化、强化学习 | KL、预训练梯度 |
| Kimi K2[23] | 可验证奖励、评分细则 | 联合强化学习 | 约束新旧策略、PTX |
表格先用简明术语概括机制,技术报告中的具体名称仍保留在下文。RM 指直接输出标量分数的奖励模型,GRM(生成式奖励模型)则通过生成判分理由或评价文本来打分;OPD(on-policy distillation,在线蒸馏)指利用学生模型当前生成的轨迹向教师模型蒸馏;PTX(pretraining mix)与表格中的“预训练梯度”本质相同,都指在强化学习期间继续混入预训练语言建模目标以防止遗忘。
OpenAI、Gemini 和 Anthropic 公开的信息主要说明了“期望行为从哪里来”。OpenAI 的 Model Spec 用五项价值描述期望行为;deliberative alignment 再把安全规范用于合成训练数据、监督微调(SFT)和政策感知奖励模型驱动的强化学习[12][13]。OpenAI 同时说明,Model Spec 描述的是正在追求的行为,现有模型尚未完全达到这些要求[12]。Gemini 1.0 和 1.5 披露了奖励模型与 RLHF,其中 1.5 的安全数据生成受到 Constitutional AI 启发;Gemini 4 Argon 模型卡进一步确认后训练使用指令数据、强化学习数据和人类偏好数据,但没有给出可比较的 KL 设置[14][15][16]。Anthropic 的 constitution 用于多个训练阶段,也用于生成合成数据和回答排序;早期 Constitutional AI 则通过 AI 反馈构造偏好信号[17][18]。
DeepSeek 和 Qwen 公开了更多训练与约束细节。DeepSeekMath 提出 GRPO[6];DeepSeek-V4 先用 SFT、GRPO、规则验证和 GRM 训练专家模型,再通过 OPD 将多个专家的能力整合到一个模型中。OPD 最小化的是学生策略相对于教师策略的 KL(蒸馏文献中常称反向 KL),衡量的不是本文所说的“相对固定基础模型的奖励—KL 预算”[19]。Qwen 2023 披露过 PPO 的 KL 系数 0.04,并使用预训练梯度缓解能力损失;Qwen2.5 使用离线 DPO 和在线 GRPO;Qwen3 同时使用规则奖励和不同形式的模型奖励,小模型蒸馏还使用面向教师模型的 KL[20][21][22]。
Kimi K2 把可验证奖励与自我批评评分细则奖励结合,用后者处理开放式任务。它的 RL 目标用 \(\tau\log(\pi_\theta/\pi_{\mathrm{old}})\) 约束新旧策略的概率比,并加入辅助 PTX 损失,减少联合强化学习对高质量数据的遗忘。报告没有给出可与本文 \(\lambda\) 直接比较的奖励—KL 预算[23]。Qwen 的预训练梯度和 Kimi 的 PTX 都用于保持原有能力,但它们并不是 KL 约束的另一种写法。
如果用论文的分析框架来审视这些公开做法,可以进一步延伸出四点判断(以下为本文基于公开资料的推演,非厂商原文或论文直接结论):
可验证奖励能减少部分评价歧义。数学和代码任务通常能通过答案匹配、测试用例或形式验证获得更直接、可重复的奖励信号。风险能降低多少,仍取决于测试是否完整、验证器能否被钻空子;这些因素会影响代理奖励与真实目标之间的偏好残差 \(\mathcal N\)。
规范只有进入训练流程才会改变模型。当 Model Spec、constitution 或评分细则被用于生成训练数据、排序回答或构造奖励信号时,它们才会影响模型实际优化的代理目标。公开资料说明了这些连接方式,但没有直接度量它们把 \(\mathcal N\) 缩小了多少。
公开资料还不足以确定产品位于理论前沿的什么位置。本节列出的一手资料没有提供完整的奖励—KL 曲线,因此还无法判断某个产品离论文前沿有多远。Qwen 公开的 0.04 是特定 PPO 实现中的 KL 系数;DeepSeek 和 Qwen 蒸馏中的 KL 面向教师模型;Kimi 的正则项面向旧策略。这些数字衡量的对象不同,不能与论文中相对基础模型、作用于整段回答分布的 \(\lambda\) 直接画等号。
方法名称本身不足以判断它是否符合论文框架。规则奖励、蒸馏或规范推理可以出现在不同的训练目标中,只有结合完整目标函数和参考策略,才能判断系统是否属于“带 KL 正则的显式奖励最大化”。因此,本节能够说明公开做法怎样处理奖励、训练和约束,却不能借这篇论文证明哪一种路线正确或错误。
6. 如何避免被代理指标和自信语气误导? #
即使不训练基础模型,AI 工程师仍然需要定义什么结果算“好”。只要一个系统开始追逐评测分数、模型评分或任务完成率,代理指标与真实目标之间的偏差就可能重新出现。下面关于 AI 工程和工具使用的讨论,是我把论文框架延伸到现实应用后的思考,不是论文直接研究的结论。
开发者:别让代理分数取代真实目标 #
训练团队直接使用奖励信号更新模型参数;AI 工程师则越来越多地把现有大模型作为基础模型(foundation model),在其上构建 AI 助手、检索增强生成(RAG)、自动化流程和智能体(Agent)工作流。他们定义的成功标准可能是评测集分数、由另一个模型充当裁判的评分、任务完成率,也可能是用户点击或工具调用成功率。这些指标同样只是代理目标,也可能与真正的业务效果、安全要求和用户利益发生偏离。
结合论文给训练团队的建议,可以进一步提炼出三条面向工程落地的原则:
- 先明确真实目标,再选择代理指标。训练团队可以在开始强化学习前估计奖励—KL 前沿,判断目标范围内有多少理论增益。AI 工程师则应先写清楚系统真正要完成的任务、允许承担的风险以及失败的判定方式,再决定使用准确率、模型评分或任务完成率等指标。一个容易计算的分数,不应自动取代真实目标。
- 同时衡量收益与代价。训练团队应同时报告奖励、\(\lambda\) 和 KL,避免只展示奖励提升。AI 工程师即使无法获得模型内部的 KL,也应同时观察任务质量、错误率、安全失败、延迟、成本和人工复核量。某个评测分数提高,不代表整个系统在真实环境中更可靠。
- 审计共同盲区,并限制错误的影响范围。训练团队不应只看奖励模型的偏好分类准确率,还要检查偏好强度、分布外回答和多个奖励信号是否共享系统性偏差。AI 工程师也不能把另一个大模型的评分当作完全独立的验证。对于能够发送消息、修改数据、调用外部系统或执行交易的 Agent 工作流,还应设置最小权限、关键步骤确认、完整日志和可回滚机制,避免一次高分但错误的判断直接变成不可逆的行动。
使用者:别把笃定语气当成事实可靠 #
直接使用 AI 工具的人,例如 ChatGPT、Claude 和 Gemini 的用户,也需要理解回答是怎样产生的。AI 大模型不是从一张已经核实过的事实表中取出答案,而是在预训练、后训练、当前上下文和可用工具的共同作用下生成回答。搜索或工具调用可以补充证据,但最终呈现出来的文字仍是模型组织出的结果,不是事实正确性的证明。
科学使用 AI 并不意味着默认不相信所有回答,而是根据错误可能造成的后果,选择合适的核查强度。可以从三个方面判断:
- 把表达质量与事实可靠性分开。一个回答写得完整、语气笃定、推理步骤清楚,并不等于结论正确。Kimi K2 报告提供了一个具体例子:它的评分细则会惩罚免责、自我限定和犹豫式表达,同时偏好清晰、果断的答案。报告承认,这可能让模型在本应保留不确定性的场景中过度自信[23]。
- 独立核查关键证据。用户可以要求模型给出来源、说明假设和标注不确定性,但这些内容仍需要打开原始资料、重新计算或请专业人士复核。多个 AI 工具给出相同答案,也不等于获得了相互独立的证据,因为它们可能依赖相似的公开资料、评价方式或常见叙述。
- 按照后果、可验证性和可逆性决定复核深度。头脑风暴、改写和可随时撤销的低风险任务,可以更积极地使用 AI;涉及医疗、法律、财务、重要业务决策或外部系统操作时,则应优先核对一手资料,保留人工确认,并避免让未经验证的结果直接触发不可逆行动。
对开发者来说,真正困难的不是让系统追逐一个更高的分数,而是让指标长期代表真实目标,并在指标失真时控制影响范围。对使用者来说,真正困难的也不是判断 AI 是否“可信”,而是根据具体任务判断哪些内容可以直接采用,哪些内容必须验证。理论前沿告诉我们优化还有多少空间;偏好残差提醒我们,沿着错误方向走得越快,离目标也可能越远。
7. 参考文献 #
[1] Paes, Lucas Monteiro, Natalie Mackraz, Barry-John Theobald, and Federico Danieli. Theoretical Limits of Language Model Alignment. arXiv:2605.07105v1, 2026. https://arxiv.org/abs/2605.07105v1
[2] Ouyang, Long, et al. Training Language Models to Follow Instructions with Human Feedback. NeurIPS, 2022. https://arxiv.org/abs/2203.02155
[3] Kullback, Solomon, and Richard A. Leibler. On Information and Sufficiency. The Annals of Mathematical Statistics, 1951. https://doi.org/10.1214/aoms/1177729694
[4] Gao, Leo, et al. Scaling Laws for Reward Model Overoptimization. ICML, 2023. https://arxiv.org/abs/2210.10760
[5] Schulman, John, et al. Proximal Policy Optimization Algorithms. arXiv:1707.06347, 2017. https://arxiv.org/abs/1707.06347
[6] Shao, Zhihong, et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300, 2024. https://arxiv.org/abs/2402.03300
[7] Ji, Jiaming, et al. BeaverTails: Towards Improved Safety Alignment of LLM via a Human-Preference Dataset. NeurIPS, 2023. https://arxiv.org/abs/2307.04657
[8] Stiennon, Nisan, et al. Learning to Summarize from Human Feedback. NeurIPS, 2020. https://arxiv.org/abs/2009.01325
[9] OpenAI. summarize-from-feedback: Human Feedback Data. GitHub, 2020. https://github.com/openai/summarize-from-feedback
[10] Rafailov, Rafael, et al. Direct Preference Optimization: Your Language Model Is Secretly a Reward Model. NeurIPS, 2023. https://arxiv.org/abs/2305.18290
[11] Beirami, Ahmad, et al. Theoretical Guarantees on the Best-of-n Alignment Policy. ICML, PMLR 267:3580–3602, 2025. https://proceedings.mlr.press/v267/beirami25a.html; arXiv:2401.01879. https://arxiv.org/abs/2401.01879
[12] OpenAI. An Updated Model Spec for More Capable and Beneficial AI. 2026-10-29. https://openai.com/index/updated-model-spec/
[13] Guan, Melody Y., et al. Deliberative Alignment: Reasoning Enables Safer Language Models. arXiv:2412.16339, 2024. https://arxiv.org/abs/2412.16339
[14] Gemini Team. Gemini: A Family of Highly Capable Multimodal Models. arXiv:2312.11805, 2023. https://arxiv.org/abs/2312.11805
[15] Gemini Team. Gemini 1.5: Unlocking Multimodal Understanding across Millions of Tokens of Context. arXiv:2403.05530, 2024. https://arxiv.org/abs/2403.05530
[16] Google DeepMind. Gemini 4 Argon Model Card. 2026-10. https://deepmind.google/models/model-cards/gemini-4-argon/
[17] Anthropic. Claude’s New Constitution. 2026. https://www.anthropic.com/news/claude-new-constitution
[18] Bai, Yuntao, et al. Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073, 2022. https://arxiv.org/abs/2212.08073
[19] DeepSeek-AI. DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence. arXiv:2606.19348, 2026. https://arxiv.org/abs/2606.19348
[20] Bai, Jinze, et al. Qwen Technical Report. arXiv:2309.16609, 2023. https://arxiv.org/abs/2309.16609
[21] Qwen Team. Qwen2.5 Technical Report. arXiv:2412.15115, 2024. https://arxiv.org/abs/2412.15115
[22] Yang, An, et al. Qwen3 Technical Report. arXiv:2505.09388, 2025. https://arxiv.org/abs/2505.09388
[23] Kimi Team. Kimi K2: Open Agentic Intelligence. arXiv:2507.20534, 2025, revised 2026 (v2). https://arxiv.org/abs/2507.20534