AI 基础模型如何应对规模化瓶颈：数学结构、算法设计与系统工程

今天，普通用户已经可以借助各类大模型应用，处理几份上百页的文档，让模型在长对话中继续参考前文、快速生成图片，或者按照特定行业的规则回答问题。用户看到的往往只是一个输入框，背后却是参数训练、长序列计算、生成路径、后训练和推理系统的共同作用。

人们常将这些能力归因于三个因素：更多数据、更大算力和更多参数。

这个解释没有错，但它遗漏了另一条同样重要的线索。随着模型不断扩大，一些过去并不突出的数学和计算问题，逐渐成为基础模型继续扩展时必须面对的关键瓶颈。

一个拥有千亿参数的模型，适配新任务时是否必须修改全部参数？长序列是否必须显式计算所有词元（token）之间的注意力分数？已有偏好数据以后，后训练是否仍然需要奖励模型、价值模型和完整的强化学习系统？

这些问题看起来分属不同领域，研究者采取的办法却有一个共同点：

先识别问题中的有效结构，再重新设计表示方式和计算方法。

这种改写有时会减少系统必须处理的维度、参数、关系或中间结果，有时会省去部分训练组件或改变数据搬运方式，也可能把成本转移到通信、状态管理或验证环节。它的价值并不只是“少算一些”：Transformer 重新组织序列计算，旋转位置编码重新表示位置关系，流匹配重新设计分布之间的生成路径，非凸优化研究的则是目标空间的几何结构。

本文关心的不是一份算法清单，而是研究者发现了什么结构，怎样把它转化为可扩展的算法和系统，又把新的瓶颈留在哪里。

一、问题规模很大，但算法真正需要处理的结构可能简单得多 #

机器学习中的许多问题最终都会变成矩阵、参数空间或优化问题。当对象的名义维度不断增加时，首先要判断的不是如何完整处理这个高维对象，而是任务究竟依赖多少自由度。

矩阵草图（Matrix Sketching）与几何结构 #

随机化数值线性代数（Randomized Numerical Linear Algebra，RandNLA）中的矩阵草图（Matrix Sketching），是先用随机投影或采样把矩阵压缩成更小的表示，再在这个表示上完成主要计算。这里要保留的几何结构通常是任务依赖的长度、距离或子空间关系，而不是原矩阵的每个元素。它延续了一个基本判断：如果任务只依赖矩阵的一部分几何结构，算法未必需要处理完整矩阵。

给定矩阵 \(A\in\mathbb{R}^{m\times n}\)，随机映射 \(S\) 可以构造更小的表示 \(SA\)，其中：

\[ SA\in\mathbb{R}^{k\times n}, \qquad k\ll m. \]

当 \(S\) 满足适当的子空间嵌入条件时，压缩后的矩阵仍可近似保留原矩阵的重要几何性质。矩阵草图、随机奇异值分解（Randomized Singular Value Decomposition，Randomized SVD）、随机投影和杠杆分数采样（leverage-score sampling）都属于这套方法体系。Woodruff 在 2014 年系统总结了它们在线性回归、低秩近似和数值线性代数中的理论结果 [1]。

RandNLA 的计算收益取决于矩阵形状、目标秩、误差要求和具体方法，需要结合任务评估。它改变了处理问题的起点：先判断任务需要保留什么，再决定是否值得处理完整对象。

内在维度（Intrinsic Dimension）与低秩适配 #

预训练模型进入十亿乃至百亿参数规模后，低维结构以另一种形式出现。内在维度（Intrinsic Dimension）不是参数总量，而是一个低维重参数化达到接近完整参数空间性能时所需的维数。模型参数很多，不代表适配一个新任务时需要在完整参数空间中自由移动。

Aghajanyan、Gupta 和 Zettlemoyer 把预训练语言模型限制在远小于完整参数空间的随机子空间中优化，再观察这种受限优化能够达到完整微调效果的多大比例。在部分模型和任务上，任务适配所需的内在维度远小于参数总维度 [2]。这项观察成立于论文考察的模型和任务，它提供的线索是：适配可能只需探索参数空间中的少数有效方向。

矩阵的秩（Rank）可以理解为其中线性独立方向的数量；低秩（Low-Rank）表示用较少方向描述矩阵变化。LoRA（Low-Rank Adaptation）把相近的判断变成了可扩展的参数化方法 [3]。对于权重矩阵 \(W\in\mathbb{R}^{d\times k}\)，LoRA 不直接学习完整更新 \(\Delta W\)，而是令：

\[ \Delta W=AB, \qquad A\in\mathbb{R}^{d\times r}, \quad B\in\mathbb{R}^{r\times k}, \]

其中 \(r\ll\min(d,k)\)。训练时冻结原始权重，只优化低秩矩阵 \(A\) 和 \(B\)。原论文以拥有 1750 亿参数的 GPT-3（Generative Pre-trained Transformer 3）为最大规模实验对象，结果表明，在论文考察的任务中，只优化低秩更新也能取得有效的适配结果。

从 RandNLA 到 LoRA，这些方法处理不同的对象，却共享一个起点：名义规模可以很大，有效信息和有效变化则可能集中在低得多的维度中。

非凸几何与优化路径 #

有效结构并不只表现为低维。同样的判断也出现在非凸优化中。这里的优化景观（Optimization Landscape）指局部极小值、鞍点和下降路径在参数空间中的分布。传统直觉容易把“非凸”直接理解为“到处都是无法逃离的坏局部极小值”，但一些具有特定矩阵结构的问题并非如此。

伪局部极小值（spurious local minima）是局部看似最优、实际却不是全局最优的解。Ge 等人证明，在适当条件下，某些矩阵补全问题不存在这类解 [4]。另一些工作分析鞍点的负曲率方向，说明带有随机扰动的优化方法可以在特定条件下逃离鞍点 [5]。Gunasekar 等人研究的隐式正则化（implicit regularization）则表明，即使目标函数没有显式写入某种正则项，梯度下降的路径也可能偏向具有特殊结构的解 [6]。

这些结果依赖特定的秩、初始化、非相干性条件（incoherence conditions）和几何结构。它们支持的结论是：复杂空间中可能存在较友好的区域和路径，识别这些结构有助于解释为什么某些优化方法能够在更大规模的问题上工作。

相比前面的理论分析，LoRA 对实际开发的影响更直接。它最明显的作用是降低专业模型的定制成本：一家企业可以为客服、合同分析和内部知识问答分别保存较小的 LoRA 适配参数，而不必为每项任务训练和维护一份完整模型；小团队也更容易反复试验。LoRA 减少了需要保存梯度和优化器状态的参数，也显著降低了每个任务新增参数的存储成本；训练总显存仍取决于基础模型权重、激活、序列长度和量化方式。LoRA 通常不会直接缩短每次推理的时间。适配成本下降后，问题转向基础模型的规模规划与算力分配。

二、基础模型要继续扩大，训练过程与资源投入都需要重新规划 #

低维结构降低了部分计算和适配成本，但基础模型要实现规模化，还需要几个条件：序列计算必须能够并行，训练过程必须稳定，扩大模型所需的资源也必须可以规划。

Transformer 与 AdamW #

Transformer 是一种以自注意力和逐位置前馈网络（Position-Wise Feed-Forward Network）为核心的序列模型架构。这种架构不依赖循环来组织序列计算。

循环神经网络按照 \(h_t=f(h_{t-1},x_t)\) 逐步更新状态，计算 \(h_t\) 之前必须先得到 \(h_{t-1}\)。这种时间依赖限制了图形处理器（Graphics Processing Unit，GPU）的并行能力。

Transformer 把序列建模改写为以自注意力（Self-Attention）为核心的矩阵计算 [7]：

\[ \operatorname{Attention}(Q,K,V)= \operatorname{softmax} \left( \frac{QK^\top}{\sqrt{d_k}} \right)V. \]

其中，\(Q\)、\(K\) 和 \(V\) 分别表示查询（Query）、键（Key）和值（Value）的表示矩阵：查询矩阵与键矩阵决定不同 token 之间的匹配权重，值矩阵提供随后汇聚的信息。

token 之间的关系不再主要通过隐藏状态逐步传播，而是通过 \(QK^\top\) 直接计算。原始论文中具有代表性的单个模型与今天的大模型在规模上相距很远，但 Transformer 重新组织了序列计算，使 GPU 和张量处理器（Tensor Processing Unit，TPU）可以大规模并行计算 token 之间的关系。Transformer 的关键贡献是把问题改写成更适合现代硬件的形式。

Adam（Adaptive Moment Estimation，自适应矩估计）和采用解耦权重衰减的 AdamW 后来成为大规模模型训练中常用的参数更新方法。在 Adam 中，把 \(L_2\) 正则项加入损失函数后，该项也会受到自适应梯度缩放，不再等价于独立的权重衰减。AdamW 因此将权重衰减与损失梯度更新解耦 [8]。这里无需展开完整优化器公式；对本文主线而言，它们说明训练规模扩大以后，参数更新方法也必须兼顾稳定性与正则化行为。

规模定律（Scaling Laws）与 Chinchilla #

当模型可以并行训练以后，问题从“能不能训练”变成了“应该训练多大”。规模定律（Scaling Laws）用经验关系描述模型性能怎样随参数量、训练数据和计算量变化。Kaplan 等人观察到，在较宽的尺度范围内，语言模型损失与这些变量之间近似呈幂律关系 [9]。这里的幂律（Power Law）意味着资源按比例增加时，损失会按照相对稳定但并非线性的速率变化，使扩大资源后的收益具有一定可预测性。

计算最优训练（Compute-Optimal Training）讨论的是在给定算力预算下，怎样组合参数量与训练 token 数才能获得更低损失。为了回答这个问题，Hoffmann 等人的 Chinchilla 工作训练了 400 多个不同规模和 token 数的模型，并指出当时不少大型语言模型的参数增加过快、训练数据相对不足 [10]。拥有 700 亿参数的 Chinchilla 使用约 1.4 万亿 token，在与 2800 亿参数的 Gopher 相近的训练算力下取得更好的结果。

两项工作的分工并不相同：规模定律研究性能怎样随规模变化，Chinchilla 进一步讨论给定算力时参数和数据应该怎样组合。对于一个训练团队而言，真正的问题不是“能否购买更多 GPU”，而是在相同预算下，应该训练更大的模型、更久地训练较小的模型，还是增加高质量数据。

最大更新参数化（μP）与超参数迁移 #

规模确定以后，超参数实验本身也可能变得昂贵。如果每次寻找学习率都必须重新训练一个大型模型，实验成本会迅速失控。

最大更新参数化（Maximal Update Parametrization，μP）为不同宽度的参数和更新设置相应的尺度规则，希望模型变宽以后仍能保持一批关键训练动力学特征。超参数迁移（Hyperparameter Transfer）则利用这种跨宽度的可比性：先在较小的代理模型上寻找学习率等超参数，再迁移到更大的目标模型。μTransfer（基于 μP 的超参数迁移方法）把两者结合起来 [11]。原论文展示了 BERT（Bidirectional Encoder Representations from Transformers）类模型从 1300 万到 3.5 亿参数的实验，以及 GPT-3 式模型从 4000 万到 67 亿参数的迁移。μP 的迁移范围受架构、数据和模型尺度约束。

混合专家（MoE）与条件计算 #

条件计算（Conditional Computation）让不同输入只调用网络中的部分参数。混合专家模型（Mixture of Experts，MoE）把这些参数组织成多个专家（Expert）子网络，再由门控网络（Gating Network）或路由网络（Routing Network）为每个输入选择少数专家。在稠密模型中，某一层扩展后的参数通常会参与该层每个 token 的计算；MoE 则通过路由网络为每个输入选择并激活少数专家，使模型总参数量可以远大于每个 token 实际参与计算的参数量。Sparsely-Gated MoE 和 Switch Transformer 将这一路线扩展到大规模模型 [12][13]。

条件路由同时带来了负载均衡、专家坍缩（expert collapse）和专家并行中的全对全通信（all-to-all communication）等系统问题。MoE 在减少每个 token 所需参数计算的同时，把一部分系统复杂度转移到路由和跨设备通信上，使二者成为规模化设计的一部分。

在模型开发中，这些方法帮助团队更有计划地使用同一笔 GPU 预算。团队可以在参数规模与训练数据之间作出更合理的分配，把部分调参试验转移到代理模型，并通过条件计算扩展模型容量。这些变化为团队更频繁地更新翻译模型、搜索系统、客服助手和其他专业应用提供了空间；产品价格仍取决于硬件成本、服务利用率和商业策略。模型继续扩大以后，长序列的计算与显存压力随之成为下一道瓶颈。

三、上下文变长以后，计算、内存、状态和位置都可能成为瓶颈 #

Transformer 为规模化创造了条件，也带来了新的限制。上下文变长以后，至少需要区分四个问题：token 间注意力分数的计算规模、GPU 中的数据搬运、历史信息的保存方式，以及超出训练范围的位置表示。

FlashAttention 与数据搬运 #

标准 Attention 的计算量随序列长度呈二次增长。即使不改变 Attention 的数学定义，实际运行仍会受到另一个瓶颈限制：高带宽内存（High Bandwidth Memory，HBM）与片上静态随机存取存储器（Static Random-Access Memory，SRAM）之间的数据搬运。

FlashAttention 使用分块计算（tiling）改写计算顺序：它把 Attention 矩阵拆成能够放入片上 SRAM 的小块，分块计算并组合结果，避免频繁把完整的 Attention 中间矩阵写回 HBM。这样可以减少低效的数据读写，同时保持与标准 Attention 完全一致的结果 [14]。这里处理的是单次 Attention 算子内部的输入输出（Input/Output，I/O）；推理服务中跨请求的键值缓存（Key–Value Cache，KV cache）怎样分配，则属于运行时状态管理问题，第六章会继续讨论。

这说明浮点运算次数（Floating-Point Operations，FLOPs）并不等于真实运行时间。GPU 可能不是在等待下一次乘法，而是在等待数据从较慢的内存层级搬过来。只有把硬件存储层次纳入算法设计，理论上的复杂度优势才可能转化为实际的速度提升。

旋转位置编码（RoPE）与上下文扩展 #

即使计算资源足以完成 Attention，模型仍需知道 token 位于哪里。位置编码（Position Encoding）把序列中的位置信息注入模型，使相同 token 出现在不同位置时可以具有不同的表示。旋转位置编码（Rotary Position Embedding，RoPE）把位置表示为作用于 Query 和 Key 的二维旋转，使两者的内积可以自然依赖相对位置 \(m-n\) [15]。它的价值不在于删除计算，而在于用旋转几何重新表示位置关系。

当推理序列远超训练长度时，RoPE 的频率结构可能进入模型未见过的范围。YaRN（Yet another RoPE extensioN，另一种 RoPE 扩展方法）通过调整不同频率的缩放方式扩展上下文窗口，原始工作展示了将上下文扩展到 12.8 万 token 等实验结果 [16]。

LongRoPE 进一步通过非均匀位置插值和渐进式扩展，在论文实验中把预训练模型的上下文窗口扩展到 204.8 万 token [17]。从十万级继续扩展到百万级上下文，通常不能只依靠一种位置编码方法，还需要长上下文训练、高效的 Attention 实现、内存管理和推理工程协同工作。YaRN 与 LongRoPE 主要处理其中的位置扩展问题；位置表示与序列计算仍需在完整系统中协同设计。

状态空间模型（SSM）与选择性记忆 #

另一条路线没有继续优化 token 间的注意力计算，而是重新考虑历史信息的保存和传播方式。状态空间模型（State Space Model，SSM）用一个随输入递推更新的固定维度状态概括历史。在自回归推理时，它不必像标准 Attention 那样在 KV cache 中保留每个历史 token 的键和值，也不必计算当前 token 对全部历史 token 的注意力；因此，这个递推状态不会像标准 Attention 的 KV cache 那样随上下文长度持续增长。训练时仍需处理中间激活和并行扫描带来的内存成本。传统循环模型也用有限状态压缩历史，但难以并行，并且容易丢失长期依赖。

高阶多项式投影算子（High-order Polynomial Projection Operators，HiPPO）研究固定维度的状态如何持续逼近不断增长的历史信号。它把过去信号投影到 Legendre 等正交多项式基上，并在线更新相应系数，为结构化状态空间模型提供了数学基础 [18]。原始实验仍是置换后的 MNIST（Modified National Institute of Standards and Technology）手写数字数据集、轨迹分类和长序列基准，与今天的大语言模型规模相距很远。

Mamba 在状态空间模型中引入依赖输入的选择机制，并通过面向硬件的并行扫描提高 GPU 训练效率 [19]。模型可以根据当前 token 决定哪些信息进入状态、哪些信息被遗忘。原始 Mamba 论文的主要语言模型规模达到 30 亿参数，展示了一条与 Transformer 并行发展的序列建模路线。

Transformer 显式计算 token 间的注意力，Mamba 则通过依赖输入的选择机制把历史压缩进递推状态。两者代表了分配计算、记忆和并行性成本的不同方式。

对用户而言，长上下文的价值不只是让聊天窗口容纳更多文字。合同分析工具可以接收更完整的协议和附件，编程助手可以参考更多代码文件与修改历史，会议助手也可以在更长的转录记录中追踪讨论脉络和已经作出的决定。FlashAttention、RoPE 扩展和 Mamba 分别从数据存取、位置表示和历史状态三个方向处理长序列瓶颈。但接收更多内容不等于模型一定能找到关键事实并给出正确答案，实际效果仍取决于检索、信息组织和验证。

四、生成模型还要学习怎样从噪声走向数据 #

生成模型更深层的变化发生在生成路径的设计上：当一个简单分布逐步演化为目标数据分布时，模型应该沿着怎样的随机过程或连续路径移动？

扩散模型与概率流 #

去噪扩散概率模型（Denoising Diffusion Probabilistic Model，DDPM）先逐步向数据加入高斯噪声，再学习逆转这一过程 [20]。它把生成问题改写成一系列局部去噪任务，使扩散模型在现代图像生成中重新具有竞争力。

得分函数（Score Function）是对数概率密度关于数据的梯度，可以理解为在当前噪声水平下指向更高概率区域的方向。Song 等人把扩散与基于得分函数的模型统一到随机微分方程（Stochastic Differential Equation，SDE）框架中，并导出对应的概率流常微分方程（Probability Flow Ordinary Differential Equation，Probability Flow ODE）[21]。概率流 ODE 用确定性轨迹产生与相应 SDE 相同的边缘概率分布，因此同一个分布演化既可以从反向时间随机过程理解，也可以从确定性的连续流理解。

最优传输（OT）与 Flow Matching #

与扩散路线平行，最优传输（Optimal Transport，OT）研究的是另一个问题：给定距离或其他运输代价，把一个概率分布变成另一个分布时，怎样移动概率质量才更经济。Cuturi 引入熵正则化，使 OT 可以通过 Sinkhorn 迭代更高效地计算 [22]。原始实验主要集中在 MNIST 等基于直方图的任务。尽管这些实验与现代生成模型相距较远，这项工作仍为后来在生成模型中研究概率分布之间的几何关系提供了计算工具。

连续归一化流（Continuous Normalizing Flow，CNF）用常微分方程描述样本随时间的连续变换。Flow Matching 在 CNF 中直接学习向量场：

\[ \frac{dx_t}{dt}=v_t(x_t), \]

向量场（Vector Field）为每个时间和位置指定样本移动的方向与速度，使简单分布沿连续路径变成目标分布 [23]。Flow Matching 既可以使用扩散式概率路径，也可以使用最优传输位移插值。在这个框架中，从扩散模型、基于得分函数的 SDE 到概率流 ODE 的路线，以及基于 OT 位移插值的路线，都可以在连续向量场框架下描述。Flow Matching 的直接贡献是重新设计和学习分布之间的路径。原始实验中，基于最优传输位移插值构造的条件概率路径取得了更快的采样结果。在原论文考察的模型和数据上，这一结果表明，路径的几何性质会影响数值求解效率；实际所需步数仍取决于学习到的向量场和具体求解器。

生成路径的设计会影响用户等待结果的时间。如果一条路径更适合数值求解，并能在较少步骤中保持质量，设计工具就可以更快预览多个图片方案，商家可以降低制作商品素材的试错成本，视频团队也能更频繁地调整分镜和视觉风格。减少采样步骤还可能缩短单次任务占用 GPU 的时间，为降低服务成本提供空间；最终的速度与质量则由路径、求解器、模型架构、硬件和训练配方共同决定。

五、后训练可以通过改写目标函数减少部分训练组件 #

基础模型完成预训练以后，还需要利用人类偏好或可验证奖励进行后训练。传统的基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）通常包含策略模型、参考模型、奖励模型、价值模型（Critic）和近端策略优化（Proximal Policy Optimization，PPO）。面对不同的数据和训练目标，研究者可以重新表示奖励与策略之间的关系，或者利用回答之间的相对比较构造优势值，从而减少对其中部分组件的依赖。

直接偏好优化（DPO）与策略目标 #

偏好对（Preference Pair）记录同一提示下哪个回答更受偏好。Bradley–Terry 偏好模型用两个回答的奖励差表示一方胜过另一方的概率；参考策略则是用于限制新策略偏离程度的基准模型。直接偏好优化（Direct Preference Optimization，DPO）利用这套偏好模型与带 Kullback–Leibler（KL）散度约束的奖励最大化之间的关系，把奖励重新表示为策略与参考策略的对数概率比 [24]。

DPO 利用上述等价关系，将传统的“偏好数据—奖励模型—强化学习”流程改写为直接基于偏好对的策略优化目标。因此，它不再需要单独训练显式奖励模型，也不需要执行 PPO。

DPO 的适用范围由偏好数据、参考策略和训练分布共同决定；在需要在线探索或显式评估奖励的场景中，奖励建模仍然具有作用。

组相对策略优化（GRPO）与组内比较 #

PPO 通常借助价值模型（Critic）估计一个状态或回答的预期回报，再用优势值（Advantage）衡量当前行动相对这个基准好多少。组相对策略优化（Group Relative Policy Optimization，GRPO）针对同一条输入提示生成一组回答，再利用组内奖励的相对关系构造优势值，从而减少对独立价值模型的依赖 [25]。

DeepSeekMath 建立在 70 亿参数模型上。在使用 GRPO 进行强化学习之前，基础模型先经过约 1200 亿个数学相关 token 的继续预训练。因此，1200 亿 token 描述的是基础模型的数据规模，GRPO 的证据来自随后在这个 70 亿参数模型上进行的强化学习实验。后来更大型推理模型的工程扩展属于新的证据层级。

在产品层面，后训练改变的是模型怎样回答问题。客服助手需要遵守企业语气和处理边界；教育应用中的模型需要给出清楚、循序渐进的解释；数学或编程助手则需要经过训练，更多地给出可以验证的结果。DPO 与 GRPO 对数据条件的要求不同：当团队拥有离线偏好对时，DPO 可以直接利用这些比较；当团队能够针对同一提示生成并评分一组回答时，GRPO 可以利用组内相对奖励。两者分别简化偏好优化和基于奖励的强化学习流程，降低部分后训练系统的实现与计算负担。模型具体学会什么，仍取决于偏好数据、奖励规则和评估方法。

六、推理系统可以重新组织状态，优化器也可以利用矩阵结构 #

前五章中的方法来自数值线性代数、优化、概率论、几何和动力系统。研究者通过一条更长的链条让这些数学思想进入现代 AI：识别结构，改写问题，设计可扩展算法，再让算法适应真实硬件和训练系统。

PagedAttention 与 KV cache #

模型能够运行，不等于它能够稳定、经济地服务真实请求。人工智能基础设施（Artificial Intelligence Infrastructure，常简称 AI Infrastructure 或 AI Infra）处理的正是模型运行所依赖的系统条件：显存怎样分配，请求怎样调度，缓存怎样复用，以及多张 GPU 怎样协同工作。

KV cache 保存模型已经为先前 token 计算出的键和值，使生成下一个 token 时不必重新计算全部历史。PagedAttention 借用了操作系统中的虚拟内存（Virtual Memory）和分页（Paging）思想，把逻辑上连续的 KV cache 映射到不连续的物理显存块，并随着序列增长按需分配 [26]。它保留 Transformer 和 Attention 的数学定义，改写推理状态的存储与分配方式。

此前的文章《优化大模型推理：PagedAttention 如何实现 GPU 显存高效管理》进一步讨论了连续批处理、前缀缓存和预填充—解码分离（prefill–decode disaggregation）。vLLM 推理服务框架的端到端收益来自显存管理、调度和内核等多层协同，PagedAttention 负责其中的 KV cache 管理；预填充—解码分离的收益则取决于请求分布、资源配置和服务目标。

运行时状态之外，训练侧的优化器也在继续利用参数和更新中的矩阵结构。

Muon 与矩阵更新 #

AdamW 主要对参数做逐元素自适应缩放，但神经网络隐藏层中的许多权重以二维矩阵表示。矩阵正交化（Matrix Orthogonalization）在这里指把更新矩阵调整到接近半正交矩阵的形式；Newton–Schulz 迭代（Newton–Schulz Iteration）则用连续的矩阵乘法近似这一变换。Muon（MomentUm Orthogonalized by Newton–Schulz，即基于 Newton–Schulz 的动量正交化）先产生带动量的矩阵更新，再用这套迭代对更新进行近似正交化，尝试让优化器直接利用矩阵结构 [27]。Muon 主要用于隐藏层的矩阵权重；嵌入层、输出头、偏置和其他低维参数通常仍交给 AdamW 等优化器。

Muon 说明“识别结构并改写问题”的过程仍在继续。DeepSeek-V3 的公开技术报告记录其预训练采用 AdamW [28]，因此不能把该模型的训练成果视为 Muon 的验证证据。此后，Kimi K2 在 MuonClip 中引入 QK-Clip 以提高训练稳定性，并在 15.5 万亿 token 上预训练了一个总参数约 1 万亿、每个 token 激活的参数约 320 亿的 MoE 模型 [29]。这说明基于 Muon 的优化方法已经进入大规模训练实践，但验证的是经过修改的 MuonClip，而不是原始 Muon 在不同架构和训练配方上的普遍有效性。

用户感受到的响应速度，以及服务商承担的推理成本，也取决于推理系统怎样管理和调度计算资源。同一张 GPU 如果能更灵活地分配 KV cache，就可以减少显存碎片，并容纳更多长度不同的请求。系统可能因此提高高并发场景下的服务容量，并缩短部分请求的排队时间；面对长度不一的对话，系统也不必提前连续预留大块显存。PagedAttention 改善的是其中的状态管理，长对话本身仍然需要更多 KV cache，端到端体验仍由完整系统共同决定。

结语：下一轮突破可能来自哪里？ #

回看这些工作，真正值得注意的不是某一种方法最终胜出，而是规模化瓶颈不断转移。Transformer 提高了序列计算的并行性，却带来了 Attention 的计算与内存压力；MoE 减少了每个 token 激活的参数，又把部分复杂度转移到路由和通信；PagedAttention 减少了 KV cache 预留和碎片造成的浪费，但长对话本身仍然需要占用更多缓存空间。一种方法缓解局部瓶颈时，新的成本和约束可能会在另一层出现。

如果这一趋势继续，下一阶段的基础模型研究可能不会只围绕参数量和浮点运算次数展开。研究者还需要同时考虑数据怎样搬运、状态怎样保存、参数怎样选择性激活、生成路径怎样求解，以及模型能力怎样在真实场景中得到验证。模型架构、优化算法、硬件特征和推理运行时之间的协同设计也可能变得更加重要。衡量一项方法时，除了理想条件下的计算量，还需要考察端到端延迟、显存占用、通信成本和可靠性。

这也带来一组更值得追问的问题：当前任务是否存在尚未利用的低维、稀疏、几何或动态结构？某个看似不可缺少的计算步骤，是否只是沿用了旧的参数化方式或系统假设？一种方法在什么条件下成立，又把成本转移到了哪里？只有把局部方法放回完整的训练与推理系统，才能判断它改善了整体系统，还是只把负担移到了别处。

未来的基础模型可能继续变大，但更关键的变化也许是更有选择性地分配参数、状态和计算路径，并以更可靠的方式验证结果。下一轮重要突破，或许仍然始于同一个问题：今天被视为理所当然的计算、表示或系统假设，哪些其实可以重新定义？

附录一：结构化方法也出现在稀疏特征与图学习中 #

特征叠加（Superposition）与稀疏自编码器 #

特征叠加（Superposition）指多个特征共享有限的表示维度，使模型能够表示比空间维数更多的特征。Toy Models of Superposition 提出，当特征足够稀疏时，高维空间可以用大量近似正交方向实现这种共享 [30]。原始工作使用的是一个规模很小、采用修正线性单元（Rectified Linear Unit，ReLU）的合成模型，其证据范围是玩具模型中观察到的机制。

稀疏表示（Sparse Representation）要求每个输入只激活少量潜在特征。稀疏自编码器（Sparse Autoencoder，SAE）进一步尝试在稠密激活中寻找这样的特征基。Cunningham 等人把它用于真实语言模型激活，并发现部分学习到的特征比直接观察单个神经元更容易解释 [31]。当前证据主要支持对部分语言模型激活中的局部特征进行分析。

图神经网络（GNN）与关系传播 #

图神经网络（Graph Neural Network，GNN）处理由节点和边组成的数据，而不是规则网格。它的核心操作之一是邻域聚合（Neighborhood Aggregation）：每个节点沿图中的边汇集相邻节点的信息，使新表示同时包含节点特征与局部关系。Defferrard 等人利用 Chebyshev 多项式近似谱滤波器，避免完整特征分解并使图卷积局部化 [32]；Kipf 和 Welling 随后进一步简化了图卷积 [33]。后来的 LightGCN 把图传播用于推荐系统中的用户—物品二部图 [34]。

这些方法把有效结构的讨论扩展到了稠密激活和图关系。本文把它们视为机制可解释性（Mechanistic Interpretability）与图学习的平行路线，也是对基础模型规模化主线的补充。

附录二：代表方法、问题改写与证据边界 #

代表年份	方法	识别的结构	改写了什么	工程影响	原始证据边界
2014–22	RandNLA / 非凸优化 / 内在维度 / LoRA	任务可能只依赖低维结构，优化空间也可能具有较友好的几何	完整矩阵或完整参数更新变为近似、结构化分析或低秩更新	降低部分大矩阵计算和任务适配的成本	非凸结论依赖特定条件；低秩有效性不是普遍定理
2017–22	Transformer / 规模定律 / Chinchilla / μP / MoE	序列关系、规模收益和资源分配存在可利用结构	递归计算变为并行矩阵计算，盲目扩大变为预算规划和条件路由	使大模型训练、调参和扩容更可规划	经验规律和跨规模迁移受模型、数据与训练设定限制
2020–24	FlashAttention / RoPE / YaRN / LongRoPE / HiPPO / Mamba	长序列同时涉及 I/O、位置、状态和历史表示	重排存取顺序，缩放位置频率，或用有限状态概括历史而不显式计算 token 间的注意力关系	支持更长、更高效的序列处理	百万级上下文依赖完整系统；替代性序列建模路线仍在发展
2013–23	DDPM / 基于得分函数的 SDE / OT / Flow Matching	生成过程可以写成随机过程、概率路径或向量场	离散去噪扩展为连续分布演化	提供新的训练与采样路线	少步生成还依赖求解器、蒸馏和训练配方
2023–24	DPO / GRPO	偏好或组内奖励可以直接进入策略目标	减少对奖励模型、PPO 或独立价值模型的需求	简化不同类型的后训练系统	效果仍取决于数据质量、奖励可靠性和分布偏移
2023	PagedAttention / 人工智能基础设施	逻辑连续的推理状态不要求物理显存连续	连续预分配变为分页、按需分配	提高 KV cache 管理的灵活性和服务扩展空间	vLLM 的端到端收益还来自调度、内核和系统协同
2024–	Muon / MuonClip	隐藏层权重和更新具有矩阵结构	从逐元素缩放转向对更新矩阵进行正交化	可能改变训练效率与优化动力学	MuonClip 已进入万亿参数训练；跨架构普遍性仍待验证
2022–24	Superposition / SAE	稠密表示中可能存在稀疏特征结构	神经元观察变为基于稀疏特征的分析	为机制可解释性提供工具	有关特征叠加的主要证据来自玩具模型；SAE 仍在发展
2016–20	GNN	数据关系形成非欧氏图结构	规则卷积变为图上的局部传播	支持推荐、节点分类等任务	原始证据集中于图结构任务，与基础模型规模化属于平行路线

参考文献 #

[1] Woodruff, D. P. (2014). Sketching as a Tool for Numerical Linear Algebra. Foundations and Trends in Theoretical Computer Science, 10(1–2), 1–157.

[2] Aghajanyan, A., Gupta, S., & Zettlemoyer, L. (2021). Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning. ACL 2021.

[3] Hu, E. J., et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR 2022.

[4] Ge, R., Lee, J. D., & Ma, T. (2016). Matrix Completion Has No Spurious Local Minimum. NeurIPS 2016.

[5] Ge, R., Huang, F., Jin, C., & Yuan, Y. (2015). Escaping From Saddle Points — Online Stochastic Gradient for Tensor Decomposition. NeurIPS 2015.

[6] Gunasekar, S., Woodworth, B. E., Bhojanapalli, S., Neyshabur, B., & Srebro, N. (2017). Implicit Regularization in Matrix Factorization. NeurIPS 2017.

[7] Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS 2017.

[8] Loshchilov, I., & Hutter, F. (2019). Decoupled Weight Decay Regularization. ICLR 2019.

[9] Kaplan, J., et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.

[10] Hoffmann, J., et al. (2022). Training Compute-Optimal Large Language Models. NeurIPS 2022.

[11] Yang, G., et al. (2022). Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer. ICLR 2022.

[12] Shazeer, N., et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR 2017.

[13] Fedus, W., Zoph, B., & Shazeer, N. (2022). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. JMLR, 23.

[14] Dao, T., Fu, D. Y., Ermon, S., Rudra, A., & Ré, C. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS 2022.

[15] Su, J., et al. (2024). RoFormer: Enhanced Transformer with Rotary Position Embedding. Neurocomputing, 568, 127063. First released in 2021.

[16] Peng, B., et al. (2024). YaRN: Efficient Context Window Extension of Large Language Models. ICLR 2024. First released in 2023.

[17] Ding, Y., et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.

[18] Gu, A., Dao, T., Ermon, S., Rudra, A., & Ré, C. (2020). HiPPO: Recurrent Memory with Optimal Polynomial Approximations. NeurIPS 2020.

[19] Gu, A., & Dao, T. (2023). Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752.

[20] Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS 2020.

[21] Song, Y., Sohl-Dickstein, J., Kingma, D. P., Kumar, A., Ermon, S., & Poole, B. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR 2021.

[22] Cuturi, M. (2013). Sinkhorn Distances: Lightspeed Computation of Optimal Transportation Distances. NeurIPS 2013.

[23] Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nickel, M., & Le, M. (2023). Flow Matching for Generative Modeling. ICLR 2023. First released in 2022.

[24] Rafailov, R., et al. (2023). Direct Preference Optimization: Your Language Model Is Secretly a Reward Model. NeurIPS 2023.

[25] Shao, Z., et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300.

[26] Kwon, W., et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP 2023.

[27] Jordan, K. (2024). Muon: An Optimizer for Hidden Layers in Neural Networks. Online technical note, published December 8, 2024. See also the official implementation.

[28] DeepSeek-AI. (2024). DeepSeek-V3 Technical Report. arXiv:2412.19437.

[29] Kimi Team. (2025). Kimi K2: Open Agentic Intelligence. arXiv:2507.20534. Revised in 2026.

[30] Elhage, N., et al. (2022). Toy Models of Superposition. Transformer Circuits Thread.

[31] Cunningham, H., Ewart, A., Riggs, L., Huben, R., & Sharkey, L. (2024). Sparse Autoencoders Find Highly Interpretable Features in Language Models. ICLR 2024. First released in 2023.

[32] Defferrard, M., Bresson, X., & Vandergheynst, P. (2016). Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering. NeurIPS 2016.

[33] Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. ICLR 2017.

[34] He, X., et al. (2020). LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation. SIGIR 2020.