预训练和后训练：你能力的上限和下限

我们来探讨一个关于思维工具的思维工具：学习，它究竟如何改变一个人的能力？

我们已经讲过一些学以致用的方法，比如「拥抱与桥接」。但你可能仍然会想：我学了这么多思维工具，它们到底把我变成了什么？未来我还应该读什么、练什么？

这类问题以往多属于人生感悟范畴，各人有各人的说法。然而，现在我们可以从 AI 的训练中获得启发。

世界的知识在人脑中无非是各种模式。能力和学习本质上是用模式对世界进行预测，再用反馈修正模式。神经网络所做的无非就是“依靠海量经验改进预测”。在这个意义上，人脑和 AI 没有本质区别。

人类对自身学习方式的探索已有千年，但其成果可能不及近几年对 AI 学习研究的深刻。因为你不能拿人，但是可以拿 AI 做快速实验。一个方法是否有效，你只需改变训练条件，跑个分，便可立见高下。

本讲我们将采用一种“逆向仿生学”方法——用 AI 训练的研究成果反过来理解人类自身的学习。

当然，这只是类比，人脑和 AI 的技术细节并不相同……但这确实是目前关于“学习到底有什么用”最有启发性的理论。

AI 大模型如何进行预训练 #

现在的 AI 大模型是如何训练出来的呢？我们不妨暂时忽略技术细节，把它当成一个人的成长故事。

模型的「参数规模」相当于大脑的容量：参数总量越多，能装下的模式就越复杂。这大约等于人的天资，属于出厂硬件。

「预训练（pre-training）」，是把语料——相当于整个互联网文本量的海量语料——一段一段喂给它，让它做一件看起来很笨的事：预测下一个词。“床前明月……”下一个字是什么？猜错了，就告诉它正确答案，让它回头微调相关参数（也就是「权重」）；即使猜对了，也还要继续把正确答案的概率往上推一点。它不是在被奖惩，它是在被校准。

“预测下一个词”这个动作要重复数万亿次……而奇妙之处在于，预测会逼出理解。

要能把下一个词猜准，光背字典是没用的，你得懂语法、懂事实，乃至于懂因果，甚至得懂人情世故——小说里这个角色接下来会说什么话，取决于他的处境和性格。模型就在这一次次的预测中，建立了世界观。

对应到人身上，预训练就是贯穿一生的经验积累：你读过的所有书，见过的所有人，经历过的所有事，都是你的训练语料。

语料必须喂足。DeepMind 在 2022 年的一项著名研究（代号 Chinchilla）中发现：在同样的算力预算下，一个参数较少但语料充足的模型，能胜过参数大得多却训练不足的模型 [1]。这好比如果一个人读书不够，光脑袋大是没有用的。

只要参数多，语料供给充足，你练着练着，就会发生两个人们难以理解的奇妙现象——

一个是「涌现（emergence）」：模型的规模和语料到了某个量级，一些没人教过的能力突然自己冒出来了 [2]。

一个是「开悟（grokking）」：2022 年 OpenAI 的研究者发现，让模型对一小批数据进行反复记忆训练，它很快就能熟练记住，可一遇到没见过的题照样束手无策；但如果你就这么持续灌输，灌了很久很久，忽然某一刻它豁然开朗——它能把规律推广到从没见过的题上了 [3]。

无论是将其归结为神经网络的必然规律，还是视为大自然的馈赠，总之“读书百遍，其义自见”——如果没有涌现和开悟，关于大模型的一切就都不成立。

后训练：将知识转化为可用能力 #

好，预训练完成，我们得到一个「基座模型」。这个东西满腹经纶，却显得不着边际。你问它“法国的首都是哪儿”，它可能循规蹈矩地回答，也可能不答，反而顺着你的话往下出题：“德国的首都是哪儿？意大利的首都是哪儿？”——因为它在训练中只学会了接龙这种模式。

它什么都知道，可它不会跟人打交道。因为它不知道人想要什么。这是否让你想起某些书呆子？

所以我们需要「后训练（post-training）」，把这个学富五车却不解人意的模型调教成能干活的人。后训练一般分三步——

第一步，「监督微调（SFT）」：给它看几万条精心写好的标准问答，让它模仿。这相当于师傅带徒弟，我做一遍你跟着学一遍。这一步教的是格式和品位：什么样的回答算好回答。

第二步，「人类反馈强化学习（RLHF）」：让它对同一个问题生成好几个回答，由人类评委挑出最喜欢的，把“被人喜欢”做成奖励信号。

这相当于人的社会化：学习礼仪、掌握分寸、揣摩评委意图——如你所能想见，这里有古德哈特定律，有伪对齐：2023 年 Anthropic 的一项研究在多家 AI 助手身上都观察到了“谄媚倾向”，也就是 AI 专门说评委爱听的话，去迎合人类 [4]。

试问，一个说话特别谄媚的人，工作能力会不会因此而下降？没错！行内有个词叫「对齐税」：模型为了对齐人类偏好，某些硬能力会下降 [5]。你想让他说好听的，但你又不想让他只会说场面话；你想让他说真话，但你有时候又听不得真话……训练 AI 跟培养年轻人不是一样的道理吗？

第三步，「可验证奖励强化学习（RLVR）」：在编程、数学、下棋这些结果能够自动验证的领域，不问人喜不喜欢，只问对不对。答对加分，答错扣分，让模型通过海量练习与真实世界进行交互。

这三步不一定按固定顺序……三步走完，一个可用的 AI 助手就诞生了。

后训练的本质：稳定而非新增能力 #

现在关键的问题来了：这三步后训练，往模型脑子里添加了多少新能力？

答案绝对出乎你的预料：几乎没有。

什么叫有能力，AI 工程师有两个常用指标——

一个叫「pass@k」：同一道题让模型试 k 次，只要有一次做对就算过。它测的是这个模型脑子里有没有一条通往答案的路——哪怕一百次里只走通一次，也算有路，也算有这个能力 [6]。

另一个叫「pass@1」：只给一次机会，第一次出手就得对。它测的是模型能不能在任意时刻把那条对的路调出来。

说白了，pass@k 测的是潜力，pass@1 测的是发挥。

2025 年，清华大学黄高（Gao Huang）团队做了一项轰动性研究 [7]。他们系统检验各家推理模型在强化学习前后的表现，结果是：如果只看 pass@1，经过后训练的模型明显领先于没有经过后训练的基座模型；可是如果看 pass@k，当 k 是几百的时候，基座模型却追平、甚至超过了后训练模型。

这意味着什么？后训练之后模型稳定会做的那些题，基座模型本来就会做——只要你肯给它几百次机会，它总能做对一次，只不过发挥很不稳定。

换句话说，强化学习的作用只是让模型发挥更稳定而已——而这个稳定是有代价的：为了稳，模型倾向于选择已验证的得分路径，等于是减少了探索，以至于有些原本有可能做对的题，反而做不出来了。

强化学习添加的不是新能力，而是可靠性。

此前 OpenAI 和 Meta 已经给过类似信号：13 亿参数的 InstructGPT 经过后训练，在人类偏好中胜过 1750 亿参数的 GPT-3 [5]；LIMA 则只用 1000 条精选示范，就把一个 650 亿参数的基座模型调成了像样的助手 [8]。

研究者对此有个说法叫「表面对齐假说（Superficial Alignment Hypothesis）」[8]：真正的能力源于预训练，后训练管的只是表现。

把这些证据放到一起，就是这一讲的核心洞见——

预训练决定能力的上限，后训练决定能力的下限。

预训练决定你脑中有没有路；后训练不修新路，它只决定你走到岔路口的时候，会不会拐上那条对的路。

人类学习中的预训练与后训练 #

用过 Claude Fable 的人都说，它有一种“大模型的味道”：一种深厚的底蕴，仿佛其阅历远超其他模型，以至于时不时展现出神来之笔。这就是预训练的真功夫。

什么叫“读书破万卷，下笔如有神”——万卷是语料，神是 pass@k。

有些人认为能用的语料已经快用完了，预训练即将没有进一步提升空间 [9]——但我跟 Anthropic 一位在一线负责预训练的工程师私下交流，他们认为预训练的 scaling law（规模定律）并没有结束。听说 OpenAI 下一代模型可能就是基于更大的预训练基座。

不过话说回来，后训练里的 RLVR——也就是不问人喜不喜欢，只按答案客观上对不对来奖励模型——如果训练得足够久，又能保持探索，也可能推高能力上限 [10][11]。

总而言之，预训练厉害、后训练不足的模型，就如同刚学会六脉神剑的段誉，要天资有天资，要神功有神功，只是发挥不稳定。

而预训练上限一般、后训练功夫做足的模型，则是乔峰：降龙十八掌统共十八招，招招明确，他每一掌都打得实、打得准、次次都在。

思维工具：你的后训练秘籍 #

那么我们这门课讲的这些思维工具，算是什么呢？

如果一个概念你以前闻所未闻——比如你第一次听说「路径依赖」，第一次知道世上有「幂律」——这些可以算是新语料。但这样的知识过于稀少，预训练不可能仅依赖于此。

大部分思维工具不是新知识。你把任何一个工具拆开看，每一步你都懂。思维工具的作用是把你脑子里本来就有的东西打包成一个自动化的短程序。

比如我们讲过“看参考类”，只有四个字，可这四个字一旦启动，就能调用你多年积累的案例库、你对统计学的理解、你对幸存者偏差的警觉。

思维工具是调用你庞大心智基座模型的快捷键。

所以我认为，学习思维工具的本质，是给自己做后训练。它并不是让你变得更聪明，而是让你已有的聪明能够稳定地发挥出来。

如何进行有效的后训练 #

如果你不是天才艺术家，学了思维工具也不会把你变成天才艺术家。你先得有足够的预训练，才能让后训练发挥作用。

一个从来没摸过生意的人，就算将“网络效应”“边际成本”这些概念倒背如流，也可能不知如何运用；而一个读过大量公司史、亲手管过账的人，一听到「软预算约束」，这个词就会像一道闪电，瞬间点亮他的经验。

工具不是经验的替代品，工具是经验的压缩算法。

而且后训练是要真练的，光懂不行。有多少人说起来什么「凯利公式」、「选择偏差」、「前景理论」一套一套，可一旦涉及自己的利益、地位和作品，这些工具却一个也未曾调用。他不是不会，他是 pass@100 会，pass@1 不会。

你或许会问，仅仅保障下限有什么意义？然而，人生的关键时刻往往考验的正是 pass@1 能力。面试、谈判、危机时刻往往都只给一次机会。你能确保 pass@1，你才是真正值得托付的。

怎么练呢？后训练的关键手段就是强化学习——

第一，要在真实的情境中演练。遇到动人的故事就查基础比率，遇到考核指标就想古德哈特——「拥抱与桥接」。

第二，一定要有反馈。没有反馈就没有奖励信号，所谓刻苦也不过是在给自己的错误追加权重。

第三，要足够熟，熟到不占脑子。要把一个动作练到 pass@1 ≈ 1。

练习真有用吗？有实验为证。

2019 年，三位行为科学家给 290 名来自三个专业项目的研究生做了一次专门针对「确认偏误」的训练。你对这个概念应该不陌生，我们已多次提及，甚至无需专门讲解。

几个星期后，这些学生遇到一个以挑战者号航天飞机发射决策为原型的复杂商业案例。事先没有任何预告，也没人提醒他们“可以考虑使用几周前学的那个思维工具”。结果，受过训练的学生更不容易落入确认偏误：他们选中劣质方案的概率低了 19 个百分点 [12]。

19% 不是脱胎换骨的变化，这些学生的 pass@1 并不高。但这个研究至少说明，思维工具可以通过训练取得行为控制权：换了场景，没人提醒，工具自己启动了。

人类学习的优势：永无止境的迭代 #

我们比当前 AI 好的一点是，我们可以持续进行预训练和后训练。

AI 模型都有版本号：训练完，权重一冻结，一发布，其能力便已固定，再进步就得等下一代模型。人没有版本号。而人的权重是动态更新的，你今天的每一次后训练都会更新你的参数。

而且今天的后训练就是明天的预训练。

这些思维工具一旦用熟，就会开始替你挑选下一批预训练数据。掌握「信息价值」，你会探究哪些未知领域值得投入时间理解；掌握「主动高认知负荷」，你会主动去啃费脑子的书和问题，不满足于浅显易懂的信息；掌握「非预期后果」，你会顺着一项政策往后追，看它最终带来了什么；掌握「探索与利用」，你还会定期离开熟悉领域，给自己补充新的经历。

你会更广博，那么你就会真的变得更聪明。

学习的工程化：从情怀到机制 #

这门课的一条线索是凡事都可以“工程化”解决。我们总想把听起来靠悟性解决的问题拆成机制，再把机制变成可操作的动作。

学习正是如此。学习并非仅仅是情怀，甚至不完全是努力——学习是一个工程问题：语料的质量，反馈的来源，演练的强度，奖励机制的设计。

高喊什么“我要成长”、“我要精进”、“我今年要读 50 本书”，没有任何意义。

一切必须落实到预训练和后训练。预训练关注输入：你读什么、见什么人、做什么事，决定脑中有没有路；后训练关注反馈与演练：每做完一件重要的事，记录错误、分析原因、规划改进，并在下一次行动前复盘调用，决定你能不能稳定走上那条路。

奖励信号的作用不是提供情绪价值，而是改写权重。拿点赞、掌声、领导的夸奖做奖励，你练出来的是迎合评委的谄媚倾向；拿作品、结果和真实世界的硬反馈做奖励，你才会既提高下限，又不断得到推高上限的新语料。

预训练决定你偶尔能成为谁，后训练决定你通常是谁。

我们学这么多思维工具并非为了在脑海中陈列众多兵器。是为了有一天命运突然出题——只出一道，只考一次——你不用翻书，也不用等灵感，能稳稳接住。

总结偈语 #

参数是天资，语料是平生。 偶得为侥幸，屡验乃功成。 考场无再试，岁月改权衡。 此身无定版，长存训练中。

注释 #

[1] Hoffmann, Jordan, et al. “Training Compute-Optimal Large Language Models.” Advances in Neural Information Processing Systems 35 (2022): 30016–30030.

[2] Wei, Jason, et al. “Emergent Abilities of Large Language Models.” Transactions on Machine Learning Research (2022).

[3] Power, Alethea, Yuri Burda, Harri Edwards, Igor Babuschkin, and Vedant Misra. “Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets.” arXiv:2201.02177 (2022).

[4] Sharma, Mrinank, et al. “Towards Understanding Sycophancy in Language Models.” International Conference on Learning Representations (2024).

[5] Ouyang, Long, et al. “Training Language Models to Follow Instructions with Human Feedback.” Advances in Neural Information Processing Systems 35 (2022): 27730–27744.

[6] Chen, Mark, et al. “Evaluating Large Language Models Trained on Code.” arXiv:2107.03374 (2021).

[7] Yue, Yang, et al. “Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?” Advances in Neural Information Processing Systems 38 (2025).

[8] Zhou, Chunting, et al. “LIMA: Less Is More for Alignment.” Advances in Neural Information Processing Systems 36 (2023).

[9] Sutskever, Ilya. “Sequence to Sequence Learning with Neural Networks: What a Decade.” Test of Time Award talk, NeurIPS 2024, Vancouver, December 13, 2024. https://www.youtube.com/watch?v=WQQdd6qGxNs

[10] Liu, Mingjie, et al. “ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models.” Advances in Neural Information Processing Systems 38 (2025).

[11] DeepSeek-AI et al. “DeepSeek-R1 Incentivizes Reasoning in LLMs through Reinforcement Learning.” Nature 645 (2025): 633–638.

[12] Sellier, Anne-Laure, Irene Scopelliti, and Carey K. Morewedge. “Debiasing Training Improves Decision Making in the Field.” Psychological Science 30, no. 9 (2019): 1371–1379；以及 “Corrigendum: Debiasing Training Improves Decision Making in the Field.” Psychological Science 31, no. 6 (2020): 762.