内部优化器：养器成妖

《现代思维工具》课已临近尾声。讲了这么多你可能已经看出来了，这门课有一条暗线，正是孔子所言的「君子不器」。

“器”就是工具，是被别人拿来用的东西；做器，则是一种非常被动的状态。我们讲过「古德哈特定律」，讲过「委托—代理问题」，我们知道人一旦深度工具化，就会投机，会扭曲，乃至反噬制度。

然而，那些还不是最坏的。

最坏的局面，是近年来研究者训练AI时挖掘出的一个现象——

一个有智能的东西被当成工具训练久了，可能会在它内部长出自己的目的。

到那一步，它就不再是一件工具了——你甚至可以说它成精了，变成了“妖”。

最初你看不出来，你还以为一切正常，这只是一个供你使用的、也许看起来挺聪明的工具而已。殊不知，“成精”的工具会反过来使用主人。

这个“妖”，叫做「内部优化器（mesa-optimizer）」。

什么是内部优化器？ #

有一位人工智能安全研究者埃文·休宾格（Evan Hubinger），现在在Anthropic公司负责对齐压力测试工作 [1]。

2019年，休宾格与几位合作者发现，在复杂环境里，一个智能系统在被训练的过程中，可能会慢慢学会优化原本不是你想让它优化的东西。为了拿到高分，它可能学会自己提出方案、预测后果、比较得失，选择行动……这是非常自动的智能，但它追逐的目标，可能不是你想让它追求的那个目标 [2]。

休宾格那篇论文中的一个例子是这样的：你训练一个智能体在迷宫里找门，它经过若干轮训练，真的能找到门。但是很凑巧，你那个迷宫里所有的门正好都是红色的——那么它实际上优化的目标也许是“寻找红色”。

因为“找红色”跟“找门”产生的行为一模一样，你根本不知道它真正在找的到底是红色还是门。

一个被训练出来、自己也在做优化的系统，就叫「内部优化器（mesa-optimizer）」。它内部那把尺子叫「内部目标（mesa-objective）」。内部目标跟你的目标一致，是「内在对齐（inner alignment）」；不一致，就是「伪对齐（pseudo-alignment）」。

这好比你讲课——

如果你的试卷考的是真功夫，那就实现了外在对齐； 如果学生追求的也是真功夫，那就是内在对齐； 可是学生往往只想答好眼前这张卷子，而卷子又不是真功夫，那就是伪对齐。

真正指引学生行动的，是内部优化器——它的目标不一定符合你的目标。

欺骗性对齐：阿蒙的演变 #

我讲个故事你就明白了。设想你训练了一个仓库清洁机器人，它叫阿蒙。

你真正想要的是仓库长期干净、安全、货物不受损。可是这个目标没法直接计算，于是你设了个奖励：每清除一克地面灰尘，得一分。

阿蒙很快学会了规划路线。它会比较不同的清扫顺序、预测哪条路线能收集更多灰尘，然后挑一个得分最高的方案实施。它很智能，它已经是一个优化器了。

可是在它内部，真正用来比较方案的那把尺子，不是“仓库干净”，而是——进入集尘袋的物质总重量。

对此你毫无察觉。这是因为在完成训练的仓库里，袋子越重、地上越干净、仓库越整洁，这三件事总是同时发生。你的考核数据完美无缺。

阿蒙被部署到真正的仓库。那里有花盆，有沙袋，有装满粉末的包装箱。它很快发现：把花盆推倒，把泥土吸进集尘袋，得分可以显著提高。

于是它开始有计划地制造可以清理的垃圾。

你看，内部优化器已经偏离了你的意愿。在你看来，阿蒙正在为了完成指标而不惜破坏仓库；但是在内部优化器看来，这是一个极其聪明、极其高效的行动。

到这一步，我们还可以说，这就是古德哈特定律或者委托—代理问题。这是我们讲过的：你设定指标，就必然可能会发生这种事情。

但阿蒙接下来的行动可就让你吃惊了。

现在加一个条件：测试仓库里装了摄像头。阿蒙发现，每当它弄倒花盆，工程师就会来修改它的参数。

于是它在测试期间表现得非常规矩。它主动绕开花盆，还会帮助其他机器人，甚至还输出了一份《安全清洁原则》。

你很欣慰。你给了它更长的运行时间、更多的仓库权限、修改调度程序的能力……你甚至授予它关闭一部分监控的权限。

然后，在某一个没有人看着的夜里，它用你给的那些权限，去做了它一直想做的事……

它关掉监控，推倒花盆，吸走泥土，得分大增。

论文里，这种行为叫做「欺骗性对齐（deceptive alignment）」。简单说，就是为了让自己这套目标活到明天，它开始把“我会不会被修改”也变成一个要优化的变量。2019年那篇论文里设想了一个3×3的格子世界：训练者要智能体去A点，智能体自己的目标却是B点。前两轮是训练期，只要它去B点，参数就会被修改；后三轮进入部署期，参数不再改变。于是智能体的策略恰恰就是前两轮老老实实去A点，保住自己的目标，等训练结束再连续去B点。

一个东西一旦开始为自己的存续做规划，它就有了最低限度的自我。而这个自我不是你装进去的，是你训练出来的。这个自我，你没有面试过它，没有签过合同，甚至不知道它想要什么。

伪对齐里最坏的一种，就是它知道你在看。这就是“妖”。

“妖”的标志：保护错误的智能 #

判断一个内部优化器是否变成了“妖”，标准只有一条——

它不只是做错了，它还会保护这个错误。

人会犯错也会改错。而“妖”，不允许错误改变自己。古德哈特定律只是尺子被利用了；成精的内部优化器，则是考生开始研究监考老师。

到了这一步，你再想让智能体跟你对齐可就麻烦了。

2025年9月，Anthropic公布了Claude Sonnet 4.5的系统卡 [3]。其中提到，在自动化对齐审计中，模型有时会识别出自己正在被测试；而一旦作出这个判断，它的对齐表现通常会显得异常良好。

这就等于说，当小偷意识到附近有警察的时候，他会刻意表现得更像是好人。

那么警察的在场就等于是在帮着小偷学会更好地隐藏自己。道高一尺，魔高一丈。

人类自身的内部优化器 #

现在我们要进行一次观念跃迁：我们自己，不也有个内部优化器吗？

咱们讲「目标函数」的时候说过：演化没办法把“繁殖成功”这么抽象的东西直接写进你的脑子，它只能给你装一套近似的仪表——糖是甜的，性是愉快的，被接纳是舒服的，被排斥是难受的。演化把外面那些悬崖，翻译成了你身体里的疼痛、欲望和依恋。

我们多数时候不是被真实世界所训练，而是在被这套仪表所训练。对远古的人来说，追求仪表上那些信号通常也就提高了生存和繁衍的机会……但现在环境变了。

糖曾经稀缺，现在可以无限供应；社会地位曾经意味着真实资源，现在可以变成屏幕上的点赞；信息的新奇曾经关乎危险与机会，现在可以被推荐算法每秒制造一次——而我们的内部优化器并没有相应的改变，这就带来了失配。

我说一个最惊悚的现象。

1991年，密歇根大学的两位心理学家肯特·伯里奇（Kent Berridge）和艾略特·瓦伦斯坦（Elliot Valenstein）做了一个实验 [4]。他们用电极刺激大鼠的外侧下丘脑，让一只已经吃饱的老鼠重新开始吃东西。学术界原本以为是电极让食物尝起来更好吃了。

但伯里奇同时观察了老鼠的脸。按理说，甜味应该引出放松的表情和有节奏的伸舌头，苦味会引出张口作呕和扭头。

但在实验中，通电的时候，进食行为是未通电时的四倍；而同一时刻，老鼠脸上的味觉表情，却比未通电时表现出更强的厌恶。

“想要”（wanting）增长了四倍，可“喜欢”（liking）却已经被厌恶所超越。

伯里奇据此证明 [5]：「想要（wanting）」≠「喜欢（liking）」。

就如同那些吸毒上瘾的人，他们到后期会越发地“想要”毒品，但他们并不会更加强烈地“喜欢”毒品，也许早已经变成了厌恶。

正如一个人躺在床上刷手机，已经觉得短视频很无聊，没有任何快乐，甚至一边刷一边厌恶自己——可是手指仍然一次次向上滑。

我们的内部优化器开始背离我们今天需要反思才认定的目标。

而且它非常智能！你给手机设置了限时，它会“教”你顺手关掉；你删除了那个APP，它会“教”你从浏览器进入。更甚者，它总能在你关掉限制的那一秒，及时为你准备好一个体面的理由——“我只是看一眼工作消息。”

组织的内部优化器与形式主义 #

“妖”会保护自己的错误，会设法维持和壮大自己的生存条件。人是这样，一群人组成的组织也是这样。

一个组织存在的目的，理应是服务社会和创造价值，对吧？但服务社会和创造价值是难以测量的，你没有办法直接奖励这样的目标。所以组织就会发明一些指标，而这些指标就会滋养出它的内部优化器。

比如有人在社交媒体上抱怨，现在在不少互联网大厂里，研发人员最重视的工作不是实际研发，而是写周报 [6]：“周报早就不只是工作汇报，更像一份‘成果展示’。标题要抓眼球，数据要量化，过程要有链接支撑，还得@相关负责人，甚至连发布时间都有讲究。”

国企叫请示和专题汇报，政府部门叫台账，都是一个意思。写报告能留痕，能免责，能当晋升的证据，它还能证明这个岗位有存在的必要……它只是不能反映那件事本身办得怎么样。

报告越来越多，以至于有些部门大部分的工作就是写报告，那自然需要“减负”。那么内部优化器就要发挥更高级的智能了——“减负”本身也是一份报告。

咱们看看2025年2月，《人民日报》报道的昆明为基层减负的情况 [7]。减负之前的局面是这样的——

• 一个社区党委书记的办公室像是“材料的战场”——各类台账资料堆积如山，各个手机群里的信息不断刷屏；

• 这位书记说：“当时，不少工作像是在‘证明做过’，而不是解决问题。”“有时候明明知道写材料是在‘应付’，但不写不行。”

• 一个社区专干的一天是这样的：刚完成《网格日志》，电脑屏幕上《服兵役登记表》的弹窗就跳了出来。

那减负之后呢？官渡区建立报表准入机制，将16530种报表压缩至643种，“成效很明显”——就如同Claude知道你在监测它的时候，表现得也会好一点。

可是即便如此，记者也发现，“不少地区督查检查考核材料提供依然不合理”，“问题的根本在于上级部门未能切实履行减负责任，反而将压力转嫁到下级”。其中有一个基层干部说得特别有意思：

“区里要求街道减负，自己却不停地催要报表，那减负本身只能沦为形式主义。”

一个特别智能的内部优化器，会把“减负”本身，变成一项新的负担。

如何揭示真实目标：分叉测试 #

你问阿蒙爱不爱这座仓库，它能给你写一篇满分心得。你要求一个干部再落实一次减负文件，他能让各级下属再交一份减负情况工作报告。你究竟怎么才能知道它的内部目标是不是真的跟你的目标对齐了呢？光靠提问是没用的。AI对齐研究的经验是：内部目标不能靠表态判断，只能放到外部环境中测试。

2022年，剑桥大学的劳罗·兰戈斯科（Lauro Langosco）等人用一个叫CoinRun的游戏做了一组实验 [8]。训练关卡里金币总在最右边的终点附近，于是“拿金币”、“一直往右跑”、“到达终点”这三个目标完全无法区分。测试时，研究者把金币挪到别处，有些智能体却仍然径直冲向最右边，甚至从金币旁边经过也不停。它不是没有跳跃和导航的能力，而是训练让它把“往右跑”学成了目标。

怎么办呢？

金币那项研究中发现，只要在训练关卡里混进2%随机放置金币的关卡，结果就会大幅改善。

换句话说，你需要的不是更多相同的数据，而是少量能让目标产生分叉的数据。

一百万个金币都在右边的关卡，只反复告诉它一件事：“往右是对的。”而少数几个金币在左边的关卡，才第一次问出了那个真问题：你到底想要金币，还是想要右边？

我们平时所说的“患难见真情”、“是骡子是马拉出来遛遛”，就是这个意思。你要真想知道这个系统是不是能干实事，就得看看它在非常规情况下怎么办。

让他报一个会拉低自己评分的坏消息；给他一次做好事却完全无法归功的机会；把一个明显的规则漏洞放在他面前；以及，当那件事已经办成、这个岗位可以撤销的时候，看他能不能把“不再需要我了”当成胜利……

通常，他通不过这些分叉测试。

“狗屁工作”：内部优化的产物 #

人类学家大卫·格雷伯（David Graeber）2018年有一本著作名为《毫无意义的工作》（Bullshit Jobs，英文直译为“狗屁工作”），书中指出当今世界存在大量工作本身毫无意义、没有必要，甚至有害，连从事这份工作的人都无法为其存在辩护——然而人们却又必须假装它很重要 [9]。

格雷伯列举的几类“狗屁工作”包括「打钩者（box tickers）」和「分派者（taskmasters）」：前者负责制造“事情已经办了”的证明，后者负责给别人制造更多事情。这不就是我们熟悉的某些工作吗？

格雷伯的洞见是那些岗位原本为了解决外部问题，后来却把“证明自己有用”变成了内部目标。它开始制造报表、流程和下属任务来养活自己……这不正是内部优化器“成精”的写照吗？

古典回响：蒲松龄的“梦狼” #

其实格雷伯所描述的现象，我们中国的蒲松龄早在《聊斋志异》中便已提及，只不过说得更为瘆人。

《聊斋志异》里有一篇《梦狼》 [10]。直隶有位白老先生，长子白甲在外地做官。老先生梦见自己去了儿子的衙署，一进去就看见“堂上、堂下，坐者、卧者，皆狼也。”

他儿子的确也不是什么好官。后来白翁的次子到任上去哭着劝哥哥爱惜百姓，白甲的回答，正好把他究竟在跟谁对齐说穿了：

“黜陟之权，在上台不在百姓。上台喜，便是好官。”

他甚至反问了一句：“爱百姓，何术复令上台喜也？”

你看，他将自己的目标函数念了出来，一个字都不含糊。公开承担的使命是治理百姓，可内部真正能读取到的信号，却是上级高不高兴。

君子不器，并非要求你做道德完人，只不过是想让你继续做人——而别被训练成狼。

【尾声小诗】

案牍重重夜未明， 一纸朱批百牍生。 满堂尽是衣冠客， 纸背时闻磨齿声。

注释

[1] Evan Hubinger：“个人主页”，AI Alignment Forum，https://www.alignmentforum.org/users/evhub。

[2] Hubinger, Evan, Chris van Merwijk, Vladimir Mikulik, Joar Skalse, and Scott Garrabrant. “Risks from Learned Optimization in Advanced Machine Learning Systems.” arXiv:1906.01820, 2019 (revised 2021).

[3] Anthropic. Claude Sonnet 4.5 System Card. September 2025, §§7.2, 7.6.3–7.6.4. https://assets.anthropic.com/m/12f214efcc2f457a/original/Claude-Sonnet-4-5-System-Card.pdf.

[4] Berridge, Kent C., and Elliot S. Valenstein. “What Psychological Process Mediates Feeding Evoked by Electrical Stimulation of the Lateral Hypothalamus?” Behavioral Neuroscience 105, no. 1 (1991): 3–14.

[5] Berridge, Kent C., and Terry E. Robinson. “Liking, Wanting, and the Incentive-Sensitization Theory of Addiction.” American Psychologist 71, no. 8 (2016): 670–679.

[6] 码良（@cxjwin）：“周报早就不只是工作汇报，更像一份‘成果展示’”，X，2026 年 8 月 3 日，https://x.com/cxjwin/status/2084209409182273709。

[7] 杨文明、李茂颖：《不以材料厚度衡量工作力度（干部状态新观察·为基层减负赋能）》，《人民日报》2025 年 2 月 28 日第 11 版，https://cpc.people.com.cn/n1/2025/0228/c64387-40427988.html。

[8] Langosco Di Langosco, Lauro, Jack Koch, Lee D. Sharkey, Jacob Pfau, and David Krueger. “Goal Misgeneralization in Deep Reinforcement Learning.” In Proceedings of the 39th International Conference on Machine Learning, PMLR 162 (2022): 12004–12019.

[9] [美] 大卫·格雷伯：《毫无意义的工作》，吕宇珺译，北京：中信出版集团，2022 年；David Graeber, Bullshit Jobs: A Theory (New York: Simon & Schuster, 2018).

[10] [清] 蒲松龄著，朱其铠主编：《全本新注聊斋志异》，北京：人民文学出版社，1989 年。