领读Kimi K3技术报告：从架构创新聊起，注意力美学、多教师蒸馏和开源MoE

2026 年 8 月，Kimi K3 发布。2.8T 总参数，约 100B 激活，100 万 token 上下文，全量开源。技术报告几十页，架构章节塞满了线性注意力、门控、残差连接、专家路由的公式，每一项背后都站着好几篇前人的论文。

张小珺找来做领读的是清华计算机系博士候选人孙宇涛，上海创智学院璞锐学者。他从 2023 年开始研究大模型架构和预训练，主线一直是推理效率。这期播客里，他做了技术报告本身没做的事：把 K3 的每个设计往前追溯，串起十几篇论文和苏剑林的博客，讲清楚这些公式是怎么一步步长出来的。

语速很快，信息密度很高。下面是我听完之后整理的精读，保留关键数据、技术脉络和他的判断。

从线性注意力到 YOCO：一位架构博士的研究路径 2:00

孙宇涛 2023 年开始读博，方向是大模型架构和预训练。他先描述了一个背景变化。ImageNet 时代，架构研究追求更精妙的结构来提升性能。大模型时代，参数规模才是性能的主因，架构改进带来的相对收益很小。但不同架构在推理成本上差异巨大，直接决定模型的部署价格。研究重心从性能导向转成了效率导向。

他早期的工作围绕线性注意力，解决两个问题。第一，让线性注意力在通用场景下尽量逼近全注意力。第二，提出 chunkwise recurrent 的计算形式。纯递归太慢，纯并行又享受不到线性注意力的复杂度收益。块递归是折中：块内并行，块间递归。这个计算范式后来被 Mamba2、Gated DeltaNet 和 Kimi Linear 沿用。

纯线性注意力作为独立模型是失败的尝试。有限的状态装不下长上下文。团队转向混合注意力，一部分线性层加一部分全注意力层。实验上出现一个反直觉的结论：混合注意力在架构上是工程折中，在模型表现上不是。保持一定全注意力比例，长上下文能力可以做到无损甚至更好。

混合注意力的问题在加速比。常用比例 3:1，全注意力占四分之一，加速比上限就是四倍。孙宇涛觉得不够有意思，于是做了 YOCO。思路是从第一性原理出发：全上下文的 KV cache 省不掉，那就从层间省，所有层共用一份 KV cache。计算和存储解耦，只保留一份 cache，同时保持多层 attention 的计算结构。prefill 阶段直接跳过全注意力，因为 prefill 的唯一目的就是拿到 KV cache。decode 阶段保持和传统模型一样的计算能力。

再往后是 looped language model 结合 YOCO 的工作。传统 loop 模型省参数不省计算，KV cache 还随推理深度增加。YOCO 是两端式结构：前期全线性注意力，后期全注意力。把 loop 单元只放在线性部分，KV cache 增长很小，计算也省。两倍计算强度换两倍性能提升，存储和 cache 保持和原模型差不多。

张小珺问他为什么一直做架构创新。孙宇涛说两方面：个人觉得好玩，能四两拨千斤；行业角度，全注意力在当时是推理部署的最大瓶颈，架构创新对模型部署最重要。他也补了一句，2026 年架构创新能做的越来越少了。

分享结构上，他没有逐段讲论文，而是把每个设计的历史脉络打开。只看 K3 论文，你知道它这么做；把脉络打开，你才知道它为什么这么做，历史上大家是怎么走到这个解的。

2.8T 参数：规模本身就是一种判断 19:02

K3 最显眼的数字是 2.8T 总参数，激活约 100B，上下文 100 万 token。孙宇涛说，无效的 scaling 很容易：晚上回去起一个 2.8T 的模型，跑 100B token，也能放出来。K3 做的是有效 scaling，在这个参数规模上把结果跑出来了。发布时点，国内开源模型里它算大的。

论文把设计概括成沿 sequence、depth、width 三个维度扩展信息流。孙宇涛认为 depth 和 width 本质上是模型容量的两种组织方式，三维 scaling 更多是贯穿全文的叙事框架。最核心的变量还是参数规模。

更大的模型才有更大的智能上限。

他的判断很直接。如果别的方面没做太错，参数量仍然是解决模型智能最本质的因素。benchmark 有无数种方式做到满意，但模型能力的上限跟规模强相关。K3 是在比较早期、比较成功地把规模推到这个量级的模型。

K2 到 K3 的变化很大。K2 基本沿用 DeepSeek V3 的结构，重心是把模型跑出来，把 base model 做稳，把 one training 走通。K2 当时的总参数已经比 DeepSeek V3 大一些，解决的是大规模训练能不能稳住的问题。K3 在架构上引入了大量新设计，有 Kimi 自己的，也有业界别人的，还有大量细节调优。孙宇涛说这是战略问题。K2 先把能力做出来，K3 再追求效率和精益求精。团队内部的研究一直在做，区别是什么时机亮出来。

线性注意力的谱系：从 RetNet 到 KDA，再到门控与残差 21:46

K3 的混合注意力里，线性部分用的是 Kimi Delta Attention，简称 KDA。公式看起来很复杂，每一项背后都有历史。

最早的线性注意力就是 KV 外积求和，比 RetNet 还简单。RetNet 引入衰减项，让模型对近的位置给更高权重。语言本身有 recency 特性，在有限上下文里想达到更好结果，衰减必不可少。Mamba 把位置无关的衰减变成位置相关。

DeltaNet 引入 delta rule，提高线性注意力的状态容量。Songlin Yang 把 DeltaNet 转化成 GPU 可计算的 chunkwise recurrent 形式，解决了并行化问题。Gated DeltaNet 把衰减和 delta rule 结合，得到比 RetNet、Mamba 更强的表达形式。

KDA 在 Gated DeltaNet 上改了一处：衰减项从标量变成 channelwise。原来一个 head 内所有 channel 共享同一个衰减系数，写 kernel 方便。KDA 让每个 channel 有自己的衰减系数，表达能力严格更强，因为 channelwise 可以退化到均匀衰减。代价是 kernel 更难写。

这里有一个算法和工程一起设计的细节。为了让 channelwise 衰减在 kernel 里跑得高效，K3 给衰减加了下界，在 16 个 token 的 tile 内控制衰减不超出 BF16 的动态范围。做法类似 RoPE：用绝对位置表示相对位置，q 和 k 分别乘衰减的倒数，通过乘法结合律保持和递归形式等价。这样既保证数值精度，又让 kernel 能跑起来。

KDA 真正难的地方，是把算法表达能力和 kernel 实现放在一起设计。孙宇涛说，如果不限制衰减范围，kernel 也有别的写法，但会低效。K3 选择在 tile 窗口内控制最大衰减系数，换一个高效的实现。

下一块是 Gated MLA。MLA 最早由 DeepSeek V2 使用，目的是减少 KV cache 开销，后来 DeepSeek V3 和 Kimi K2 都沿用。Gated Attention 最早是 Qwen 团队用的，论文里讨论了长线性、稀疏性、attention sink 等问题，孙宇涛认为大家最 buy in 的一点是训练稳定性。一个 pretrain run 里，稳定性比单点能力更重要，训崩了整个 run 和之前的 checkpoint 都废掉。Gate 和 MLA 是正交设计，加上去不破坏 MLA 的推理性质。

孙宇涛对 MLA 的评价比较冷静。MLA 本质上是 MQA 的等价形式，是一个更好的水道，没有带来全新的东西。想用好 MLA，需要更多 tensor 计算来弥补，大部分收益用设计更好的 GQA 也能拿到。DeepSeek V4 不用 MLA，因为主推 sparse，和 MLA 不完全兼容，而且用了 MLA 等价的 MQA 形式。

MLA 从来也没有是共识，它只是一个选择。

Attention Residuals 这条线更长。从 ResNet 的 Pre-LN 和 Post-LN 讲起。BERT 时代常用 Post-LN，模型变大后出现梯度消失和训练不稳定，大家转向 Pre-LN。DenseNet 让深层聚合所有浅层的表示，但用大的 linear 聚合，在 attention 时代不够快。Hyper-Connections 在残差分支上用比 hidden state 更大的容量表示深度方向的状态，思想简洁，但论文写得抽象，没有出圈。Attention Residuals 用跨深度 attention 取代固定残差累积，各层选择性聚合此前表示，再用 block attention 解耦深度，控制 overhead。它对推理几乎免费，这是大家愿意上的关键。

孙宇涛说他自己更喜欢 DenseNet 和 Hyper-Connections，因为它们在各自的时代已经把连接方式的问题想到了，后面的工作是在 Transformer 时代把这条线接回来。

LatentMoE、SiTU-GLU、Muon 与分位数均衡 46:23

LatentMoE 来自 NVIDIA。MoE 的 expert dispatch 在 EP 下通信开销很大，DeepSeek V3 不得不引入 DPEP 这类高度优化的通信方式来压低开销。不同 MoE 架构不只影响模型本身，还影响底层 infra 的选型。LatentMoE 的出发点，是把 dispatch 的 hidden state 压小，通信量随激活专家数和 hidden size 一起增长，压小一半或四分之一，通信就降下来。

直接压 hidden dimension 会损失 MoE 参数量，有两种补法：提升 FFN 中间维度，或者把模型拆得更碎，用更多专家和更多激活。论文的结论是，一个恰当设计的 LatentMoE 配置可以完全保持标准 MoE 的结果，能力相等甚至略好，通信开销下降。推理 latency 的收益比训练更大，训练可以用 overlap 掩盖通信，推理的通信在 critical path 上，时间省不掉。

K3 在 LatentMoE 之上还加了细节。两个矩阵连乘，表达能力上等价，优化性质上不等价，训练经常不稳定，中间要加 normalization。MLA 本身就是先降维再打回，中间有 norm。LatentMoE 的 linear projection 加上 FFN 的第一个 projection，也是两个 linear 连乘，中间需要 RMS norm 控制住。

SiTU-GLU 的设计看起来不直观，动机跟激活值爆炸有关。大模型训练里，FFN 中间 hidden state 特别容易出 outlier，模型精度越低越容易。GPT-OSS 的做法是把 SwiGLU 直接 hard clip 到 5 到 10 这样的范围，从数学上卡住上限。把 hard clip 换成 soft clip，自然得到 tanh 算子，平滑地逼近上下界。SwiGLU 前面的 linear 结果再过 sigmoid，也被 tanh 放缩，整个 MLP 中间的激活就有了严格的数学上界。

孙宇涛提到一个争议点。他认为用 Muon 优化器更容易出 outlier。苏剑林会反对这个说法，认为任何优化器都会出 outlier，从架构上控制不住，想严格控制就得直接从模型架构下手。K2 的 Moonlight 里讨论过类似问题：用了 Muon 之后 QK logits 更容易爆炸，于是加了特化的 QK clip。苏剑林当时的回复是，Adam 也不是完全稳定，DeepSeek V3 也有一些不稳定现象，只是没影响最终结果。为了严格限制模型行为，从架构上做限制更本质。

Muon 本身在 K3 里是 K2 的沿用，没有大改。Moonlight 率先把 weight decay 引入大规模训练，K2 在 weight decay 基础上加了 QK clip，两个加起来是 Kimi 在优化器上的完整工作。DeepSeek V4 用 QK norm，因为用的是 GQA，加 norm 更简单。K3 用 MLA，加不了 QK norm，只能用 clip。

Quantile Balancing 没有单独发论文，写在苏剑林的博客里。它承接 loss-free routing 的思路：只用一个 bias 控制专家负载，不加辅助 loss。loss-free 的问题在于 bias 的更新方式偏启发式，没有严格的收敛标准，跟主模型的更新耦合得不清楚。使用 loss-free 时，大家常把最底下几层 MoE 去掉，因为底层效果不好。

Quantile Balancing 用线性规划直接推出 bias 的一步解，数学上更 principle。为了避免信息泄露，当前 step 算出的 bias 放到下一步用。它不需要调学习率，少一个超参。底层也能均衡，不必像 loss-free 那样把前几层换成 dense。K3 在实现上还有一个博客里没细说的变化：不按 token 切 chunk，而是按值域切桶做 histogram 统计。sigmoid 的输出在 0 到 1 之间，切成 n 个桶，统计量是常数大小，存储可控，在大规模 DP 和 EP 下容易扩展。按 token 精确计算分位数要存下几千万 token 的激活，工程上不可行。

Native Vision 这块讨论的是要不要用现成的 vision encoder 做初始化。用 CLIP 这类大规模预训练 encoder，收敛快，但 K3 团队发现梯度范数的稳定性不如从零训练。从零训练多花一些算力，结果不损，兼容性更好，gradient norm 更稳。

预训练与后训练：调度、位置编码、低精度与自我蒸馏 1:12:49

学习率调度这块，MiniCPM 提出的 WSD 是过去两年很多团队的选择。它把训练分成稳定阶段和 decay 阶段，cooldown 阶段 loss 下降最快，于是把更好的数据放在这个阶段，data schedule 和 learning schedule 联动。WSD 还有一个好处：稳定阶段的学习率和总 token 量无关，可以中途改预算，早发版晚发版都行。

K3 没有用 WSD，回到了 cosine decay。孙宇涛解释了论文里的理由。WSD 虽然能任意选最终 token 数，但最优学习率和实际 token 数是相关的，跑 10T 和跑 20T 的最优值不一样，任意扩展没有想象中有效。cosine 只有两个变量：跑多少 token，最大学习率设多少。WSD 多一个 decay 比例。从调参角度，cosine 更容易找到好的超参设置。

规模上，K2 到 K3 总参数从 1T 到 2.8T，激活从 32.6B 到约 100B，激活增长超过三倍。论文给出的 scaling efficiency 是 2.5 倍。孙宇涛提醒，这个数字综合了架构、训练 recipe 和数据策略，K2 和 K3 的数据 recipe 大概率不同，不是固定数据下的纯架构对比。

长上下文的位置编码是另一个有意思的点。传统 Transformer 用 RoPE，扩长上下文要调 RoPE 参数，不调就效果很差。Cohere 的 RNoPE 提出，在混合注意力里，线性注意力部分已经引入了位置信息，全注意力部分可以把 RoPE 去掉，换成 NoPE。这样扩长不需要调整任何架构参数，外推效果还更好。

孙宇涛说他在会议审稿时读到这篇，第二天就复现了，给了一个 strong accept，这几年他很少给这个评价。他补了一个常被误解的点：RoPE 带来的是 recency bias，对短上下文建模有效，对长文没有帮助，甚至有害。很多人以为长文能力来自 RoPE，方向反了。

后训练的第一件事是低精度训练什么时候引入。DeepSeek V3 原生 FP8 训练，V4 直接上 W4A8。Qwen 的做法是先高精度，到 SFT 阶段再引入 QAT。孙宇涛给了两个理由。项目管理上，大规模训练用高精度更保险，低精度引入的问题很难在小规模提前验证。技术上，低精度推理从 from scratch 就引入，并不会带来能力提升，过了一定量的训练再引入，结果差不多。SFT 阶段引入更保险，也不损失什么。

RL 这块，Kimi 从 K1.5 到 K2.5 一直在做持续创新。K1.5 提出 partial rollout，复用未完成的轨迹，降低长 CoT 的 rollout 开销。K2.5 做 reasoning effort budget control 和 Agentic Generative Reward Model。K3 比较充分地引入了这些成熟方案。

多教师 on-policy 蒸馏是后训练里信息量最大的一块。源头是微软研究院的 MiniLLM，做法跟之前的蒸馏反过来：之前是 teacher 生成答案，student 用 forward KL 学；MiniLLM 让 student 自己生成，teacher 逐步纠正，用 reverse KL。直观类比是，老师讲课你听，和你自己做题、老师指出哪一步错了，后者更有效。这个范式后来被叫做 on-policy distillation。

最初的动机是大模型蒸小模型，公司有一个 pro 版本和一个 flash 版本，用 OPD 把大模型的能力灌到小模型里。后来大家更常用的方式是自己蒸自己。孙宇涛给了两层原因。管理层面，post train 合版很重，不同能力用不同训练策略和 reward，直接合版难度大，蒸馏成不同模型再合版容易得多。技术层面，RL 的 reward 高度异构，math 用可验证 reward，偏好用 reward model，每个能力一套 reward；模型本身高度同构，大家不会为不同任务设计不同架构。把异构的 reward 变成同构的模型，再做一个 multi-teacher 合版，工程上顺得多。小米、字节现在都这么做。

Draft model 这块，孙宇涛认为 K3 目前优化得不算完善。投机推理最早用无关的小模型 draft 大模型，问题是用不上大模型的 hidden state。MTP 和 EAGLE3 的思路是复用大模型内部状态，把 draft 模型做小，或者在相同参数下提高接受率。DFlash 更有意思，它把自回归语言模型和 diffusion language model 两条线接了起来。diffusion 模型在小 batch、单用户场景下推理快，但从零训练效率低，多用户总吞吐场景没有优势。DFlash 试图用 diffusion 式的并行去优化 draft 模型，提高总体吞吐。他还提了一点：draft model 跟预训练关系很大，预训练阶段要给 MTP 留接口，下游 draft 模型才好提升；draft 模型自己也要用 KL loss 替代 next token prediction，跟原模型对齐。

基础设施：CP、EP 均衡、内存与推理适配 1:33:29

K3 的 infra 章节写得很细，孙宇涛认为这些细节不写出来，大家就会去打听小道消息。

KDA 的 kernel 用 FLA 实现。序列并行的处理是线性注意力比较特殊的地方。全注意力的 CP 概念简单，用 ring attention 或 zigzag，最终得把跨 GPU 的 KV 都拿到一起算。线性注意力的 chunk 可以任意拆分，512 token 一个 chunk 和 8K 一个 chunk 在数学上等价。于是 CP 做成两层：机器之间用大 chunk 做递归，机器内部再用小 chunk 并行，kernel 层面还能继续切。这个自由度来自纯线性注意力跟架构设计无关的 chunk 可拆性。

分布式训练跟 DeepSeek 的方案有区别。DeepSeek V3 用 DualPipe，把细粒度的 MoE 通信和计算 overlap，具体做法是把上一个 batch 的 MoE forward/backward 和下一个融合，重排计算顺序，把 dispatch 和 combine 的通信藏起来。这需要把 forward 和 backward 拆到原子计算层面手工排布，工程难度很高。

K3 走了另一条路。LatentMoE 把通信量降下来之后，一个 batch 内部的 overlap 就够了，把 MoE 的前向和反向通信跟 shared expert 的计算叠在一起。shared expert 有一定计算量，通信小了才叠得下。传统 MoE 通信太大，shared expert 盖不住，必须把另一个 batch 拉进来。这是架构选型改变 infra 策略的例子。

PP 的不均衡也有不同解法。DualPipe 让不同 PP rank 尽量对称，K3 的做法是把 activation 压力大的 rank 上的数据传送到压力小的 rank 上，用比较轻量的方式绕开复杂的 pipeline 设计。Muon 需要保存完整矩阵做牛顿迭代，按 rank 切分时要特殊处理，不能像 Adam 那样摊平再切。

内存这块，K3 做了大规模 offload，把中间计算结果放到 CPU。想不拖慢训练，CPU 和 GPU 之间的通信要满足某个不等式，才有 overlap 的空间。K3 把所有可 offload 的东西用 FP8 存，省一半空间，才从边界一侧跨到另一侧。Mooncake 的 transfer engine 和 cross-PP activation remote offload 在这里派上用场。

多模态的 infra 难度是另一个量级。vision encoder 内部没有做 token 压缩，输入大模型前可能是 32K token，压到 8K。encoder 内部计算更长，主干不用开 CP，encoder 可能要开。PP 的问题更有意思：VL 训练里视觉 token 比例不均匀，有的卡纯文本，有的卡全是视觉，第一个 PP 的计算强度会显著变高，流水线打不满。K3 把 vision encoder 放在 PP 的中段或尾部，利用前面 PP 的闲置时间提前算，绕开气泡。

RL 的 infra 主要麻烦在 sandbox。每条 trajectory 对应一个 docker，大规模 docker 的管理和调度是工程活。还有一个讨巧的省内存办法：reference model 没有梯度，求 objective 时不用它，有梯度之后 reference model 也不用了，于是 reference model 的显存可以和 gradient buffer 复用。

推理侧，线性注意力的 prefix cache 很麻烦。全注意力每个位置都有 cache，下一个位置是上一个位置的简单增量。线性注意力每一步都在上一步的状态上复写，每一步的 prefix state 都不一样。全存下来，线性注意力的好处就没了；完全不存，prefix cache 的好处就没了。现在的做法是按 block 切，每个 block 存一个 prefix 状态。vLLM 按层管理 KV cache，线性层没有按 token 维度的长久 cache，混进去要把不同的 tensor pattern 结合起来，改不好会把整个推理引擎搞乱。decode 的 kernel 也要针对每个环节单独适配。

判断：没有本质创新，只有渐进改良 1:55:07

张小珺问他 K3 最 impressive 的地方。孙宇涛说，是把规模搞到 100B 激活，比他预期的大。这个决定不依赖任何技术能力，定多少激活看你想达到什么效果。K3 在已有开源模型的基础上提了一个数量级，需要魄力，也需要战略判断。

有价值的技术创新，Kimi 都单独写过论文，所以 K3 本身让他意外的主要是 size。

大模型可能没有太本质的创新了，后面都是一些改良性的进步。

他用了泰修斯之船的比喻。2017 年 transformer 这艘船刚下水，船板是 attention 加 residual 加堆叠，这些概念在 transformer 之前都有。船开了八九年，零件换了一批又一批，2026 年的模型跟原始 transformer 的像素已经很低。是否还叫 transformer，是个哲学问题。

他还有一个更基本的观点：科学研究不存在阶跃式的提升，技术永远是慢慢往上走的，大家习惯把某些节点标成 milestone。K3 的里程碑意义，是非技术层面的。它是国内第一个把模型 scale 到一定程度、把全流程打通的模型，之前最大的开源模型大概 672B，K3 从规模上是一个大跨越。有 size 才有智能。

关于 Kimi 研究方式比较科学的说法，他认可。Kimi 是公开信息里最强调模型内科的团队，让 pretrain 的行为可以被 trace，让不稳定和 collapse 可以被归因。什么是不科学？基于某些利益需求，把科学的方式干掉，就是不科学。

V4 和 K3 的对比，他认为是不同定位。DeepSeek 现在有两档模型，更强调性价比，Flash 那档做得不错。K3 冲的是开源模型能力上限，推理价格相当贵。会不会分化，他的回答是技术层面有客观标准，好不好很清楚；组织和团队的走向取决于人的选择，这部分模糊。

再创业还有没有机会？他的条件很苛刻：团队足够好，氛围足够好，单兵作战能力足够强，有机会。但他认为这个条件大概率不存在，所以机会也就不存在。好的人和好的组织文化有历史局限，不是想达成就能达成。氛围取决于 leader 的 taste，Kimi 的特点是所有人都不怕杨植麟，谁有道理谁说了算。

对未来，他判断规模还会继续扩大，但不会无限。互联网上能收集的信息量有限，模型没必要无限大。能力只要能被清晰定义，就能达到。AGI 最大的问题是没被 well define，纯语言范围内问题不大，具身智能和真实物理世界交互的 gap 更大。他自己转向世界模型，理由很实在：大模型没有太大的改良空间，没有大突破就没有大 credit，对个人职业来说不是能做出大贡献的领域了。

这期播客对读者最实际的用处，是提供了一个读技术报告的模板。先看结果和规模，再顺着每个架构设计往前找它站在谁的肩膀上，最后看 infra 章节里那些看起来琐碎、实际决定成败的适配。K3 的每个模块单拿出来都能找到前人论文，把它拼成一个能跑起来的 2.8T 模型，才是真正的工作量。判断一个模型，别只看 benchmark，看它有没有做有效 scaling，看架构和 infra 是不是一起设计的，看那些没写进论文的工程细节有没有被认真处理。