Kimi Linear、Minimax M2？和杨松琳考古算法变种史，并预演未来架构改进方案

10 月底，Kimi 团队放出一篇论文《Kimi Linear: An Expressive, Efficient Attention Architecture》，作者名单里有 MIT EECS 在读博士杨松琳。她的研究方向是线性注意力，维护开源库 flash-linear-attention（圈内简称 FLA）。上一期节目播出后，很多人管她叫「线性注意力之母」。这次返场，她聊的是刚发布的 Kimi Linear、MiniMax M2、Qwen3-Next，以及这几家公司围绕注意力机制做出的不同押注。

2025 年算法创新重新变成热词，原因不复杂。数据、算力、算法被称作驱动人工智能的三驾马车，数据这一路先撞了墙，各家模型公司只能回到架构上做文章，指望 Scaling Law 的魔法继续。中国公司的卡相对少，对效率的饥渴更强，反而把架构创新推到了前面。近几年最大的突破是 DeepSeek 带火的 MoE，让混合专家成了全球共识；下一个可能被「雕」的模块，是 Attention。

截至目前，DeepSeek 押稀疏注意力，Kimi 和 Qwen 押线性注意力，MiniMax 年初的 M1 用线性注意力，刚发布的 M2 又退回全局注意力。同一道题，三种解法，还有一次回撤。杨松琳参与过 Kimi Linear 和 Qwen3-Next 的部分工作，她在这期节目里讲清了 KDA 模块的设计，也把线性注意力从 2020 年至今的变种史考古了一遍。

从 Hazy Research 的博客到 FLA 4:00

杨松琳在 MIT EECS 读博，研究神经网络架构，更具体是高效的注意力机制，也就是线性注意力。入坑的起点很朴素：读斯坦福 Hazy Research 实验室的博客，Christopher Ré 和 Albert Gu 那群人写序列建模，她看着觉得有意思，就决定做这个方向。

读博初期，微软亚研院有一篇工作叫 RetNet，她想的是怎么把它的效率和表现再往上提。后来她发现，提高效率的那套硬件优化思路可以迁移到很多同类架构上，于是从门控机制做到 Delta Rule，再把两者合并成统一的更新规则。FLA 这个库是这条线的副产品：用 Triton 把各种线性注意力变种写成能在 GPU 上快速跑的 kernel，学界和工业界都有人拿它做探索。

「线性」两个字指的是线性复杂度。普通 softmax 注意力有三个矩阵 Q、K、V，Q 和 K 相乘得到一个 L×L 的矩阵，L 是序列长度，做 mask 变成下三角，再过 softmax 得到注意力分数，最后和 V 相乘。这个 L×L 的矩阵让复杂度变成平方。线性注意力把 softmax 去掉，经过等式变换可以写成类似 RNN 的递推形式，每处理一个 token 的计算是 O(1)，整条序列是 O(L)。

放回大模型的算法版图，它属于预训练里的基础架构研究。Transformer 就是两个模块反复叠加：注意力机制和前馈网络。近几年大家把前馈网络换成 MoE，把 softmax 注意力换成线性注意力或者稀疏注意力，再往前一步是混合架构：少数层保留 softmax 注意力，多数层换成线性层。

Kimi Linear 的起点：几万 token 的思维链 11:19

Kimi 想做混合注意力，时间点在年初。DeepSeek R1 和 Kimi 1.5 刚发布，RL 训练会产出很长的思维链，长度经常到几万个 token，用 test-time scaling 去解复杂问题。这套玩法对推理成本很敏感。

如果每一层都是平方复杂度的注意力，解码阶段要先为每一层存下大量 KV cache；生成 L 个 token 的时间复杂度也是平方。长思维链加上 agentic 场景，账单会很难看。Kimi 的目标写得很直接：和 full attention 相比性能不掉点，推理速度快很多倍。

项目由张宇推进，他是 FLA 库的另一位主要作者，博士毕业后去了 Kimi。杨松琳和他是老合作者，帮忙看线性注意力的变种该怎么设计。团队最后选中的模块叫 KDA，Kimi Delta Attention，名字明显在对照 DeepSeek 的 NSA，连首字母都透着较劲的意思。

KDA 的底子是杨松琳去年的工作 GDN（Gated DeltaNet）。当时受限于效率，门控用的是 Mamba2 那种粗粒度衰减：一个 attention head 下面所有维度共享同一个衰减率，计算上更省。KDA 把粗粒度换成细粒度，每个维度有自己的衰减率，也就有自己的隐藏状态更新频率。直觉上，有限的 hidden state 被利用得更充分。

设计逻辑是把两个旧想法合起来。她更早的工作 GLA 已经有细粒度衰减，GDN 阶段没用，是因为算法和 kernel 优化都还没到位，被迫退回粗粒度。到今年年初，算法和 kernel 都有进步，团队觉得可以重新试试把细粒度衰减引回 DeltaNet。

张宇先试了一堆混合方式，发现混 GDN 比混其他模块好。Kimi 内部有一个「scaling ladder」，一个规模上表现好，就去下一个规模继续和 full attention 比，像打游戏通关。最初 hybrid GDN 在有些地方还不如 full attention，把衰减换成细粒度之后，提升变得可观。

最终的比例是每 3 层 KDA 插 1 层全注意力。三比一快变成共识了。MiniMax 早前用七比一，GDN 那篇论文做过大量从零训练的实验，调模块、调混合比例，结论是三比一最好、GDN 类模块更好。Qwen3-Next 也是三比一。杨松琳的说法是，三比一算是「不共识的 hybrid 里面的一个共识」。

三种押注：线性、稀疏、回退 20:20

Kimi Linear 和 DeepSeek 的稀疏注意力想解决同一个问题：长文本 decoding 的效率。路线不一样。

Kimi 走混合线性，Qwen 也在投入这条路线。DeepSeek 偏爱稀疏，从 NSA 到最近的 DSA 都是这个思路，它认为稀疏是更便宜的降本方式。DeepSeek 的稀疏注意力没有 full attention 层，每一层都是稀疏，代价是 KV cache 全部要存下来，靠一个 indexer 从全量里选 top-k 的 token。

混合线性的好处是省 KV cache，绝大多数层是类似 RNN 的层，cache 小了很多，解码时还能用更大的 batch size，因为显存放得下。稀疏注意力的好处是每个 token 生成时的激活计算更少，但 cache 省不下来。

MiniMax 的选择更有戏剧性。年初的 M1 是混合线性加平方注意力的大规模实践，用的 lightning attention，当时算先驱。前几天发布的 M2 退回了 full attention，既不做混合，也不用稀疏。

杨松琳的判断偏直接：M1 第一版监控的指标里，lightning attention 表现很好，效率又高，于是上了。后来发现多跳推理这类任务上掉点很大，原因是评测集不够详尽，主要看了 MMLU 之类的能力，没测多跳推理。等要做 agentic 任务和 coding，多跳推理变得关键，线性注意力和 full attention 的差距就暴露出来。

她对 lightning attention 的评价不太客气，说它给人的感觉像两年前的技术，还停留在 RetNet 那个版本。这两年线性注意力在门控、Delta Rule 上都有实打实的进展，Kimi 和 Qwen 都验证过有用。MiniMax 说还会继续探索混合架构，下一版 M3 说不定又变回去。

技术方案要经过很多轮验证才能定下来，历史螺旋上升，M1 更像一次验证不充分的抢跑。硅谷各家在混合注意力上的探索，她大部分不肯讲，只肯讲有论文的部分：GPT-3 的技术报告里写明了全局注意力加局部滑窗注意力的混合方案，OpenAI 后来的开源模型也在用滑窗。

一部撞墙史：从 2020 到 KDA 28:05

线性注意力 2020 年被发明出来，头几年在语言建模上不 work，短文本也不行。第一个有代表性的转折是 RetNet，加了一个遗忘衰减机制，每过一个 token，前面的 hidden state 乘 0.99，忘掉百分之一，再把新信息写进去。这叫输入无关的衰减，衰减率跟输入没关系。

之后的方向是输入相关。Mamba2 基本可以看成线性注意力加衰减，衰减由输入决定：遇到觉得前面内容不必忘的 token，衰减率设成 1，前面的状态原样保留；遇到觉得前面信息没用的 token，衰减率设成 0，前面的状态被彻底清掉。GLA 走的是门控这条路，让数据动态地学什么时候该记、什么时候该忘。

第二条改进线是 Delta Rule，2021 年就有了。最朴素的线性注意力用的是 Hebbian 式的更新，把 key 和 value 的外积直接加到 hidden state 上，只做加法。Delta Rule 多了一步减法：先用 key 从 memory 里取出旧 value，再和输入的 value 做一个线性组合，系数 beta 在 0 到 1 之间，由模型学出来；然后把旧的 key-value 外积从记忆里减掉，把新的加进去。

加法是往记忆网络里记东西，减法是精准地删东西，Delta Rule 让删除变得有目标。GDN、DeltaNet、RWKV-7 都用到了这套更新规则。

每一次大家关心线性注意力，都是因为撞到了 context wall。

2020 年前后，BERT 的训练长度是 512，2048 就算长文本，8192 慢得离谱。原因是平方复杂度的注意力矩阵要先实例化在 global memory 上，再搬回片上内存，读写开销巨大，还会 OOM。FlashAttention 出现，这堵墙被打破，既然能用精确的方式算 softmax 注意力，就没必要找线性注意力去逼近它，关注度自然下降。

现在长文本 decoding 重新变成刚需，模型要吐几万个 token，人们又回头审视这套技术。学界也意识到，线性注意力想被接受，硬件效率是关键，这也是 FLA 存在的理由。

纯线性注意力不 work，这一点已经是共识。RNN 的状态数是恒定的，context 再长早晚存不下，精度会损失。混合架构保留一定数量的全局注意力层，下限有保证，长文本任务还能靠这些全局层完成。Kimi Linear 和 Qwen3-Next 在 RULER 这类长文本评测上没有掉点。

表达能力与效率的两难 42:32

算法设计始终在表达能力和计算效率之间做权衡。全局注意力层太少，reasoning 和 coding 任务会受影响，短上下文任务比如 MMLU 看不出差别。

另一面，注意力层也不是越多越好。模型训完之后，绝大多数注意力层可能是没用的，只有少数关键层起作用，网络本身有冗余。这给替换留出了空间。

MiniMax 承认过一点，杨松琳认为这个分享很宝贵：混合线性注意力或者混合滑窗注意力，在长文本的多跳推理上有缺陷。她判断这是 hybrid 目前唯一已知的问题，其他任务上基本不会比全 softmax 注意力差。多跳推理吃 token 和 token 之间的关系，很吃 softmax 注意力的层数。

这个 gap 有可能被缩小。开发硬件高效、表达能力更强的 RNN，是有机会追平甚至反超的。Kimi Linear 把粗粒度衰减换成细粒度之后，在多跳推理、coding、数学任务上的提升比较可观。

理想架构长什么样？她给了一个具体答案：把混合注意力里的全局注意力层换成稀疏注意力。这样不再有全局注意力的复杂度，剩下的层用线性注意力把 KV cache 的尺寸打下来。

只要 sparse attention 选得准，完全可以取代 full attention。

选不准的根源是学习难度。稀疏注意力从头训练，梯度不准，学 block 的选择很难，稀疏梯度问题一堆。DeepSeek 用蒸馏解决：让一个全 softmax 注意力的 teacher 模型教 indexer 怎么选 token，选得就准。这个思路从直觉上说得通。

线性注意力和稀疏注意力没有竞争关系。线性注意力真正的对手是滑窗注意力，GPT-3 那种全局加滑窗的方案，如果用线性层替换滑窗层效果更好，换掉未尝不可。工业界还没看到有人把稀疏和线性结合起来做，学界有一些尝试。

公平比较是个技术活。控制 state size：滑窗注意力的 KV cache 上限被窗口绑住，把它的 cache size 当成 state size；RNN 有自己的状态大小。两者在一个量级，才算公平。解码是 memory-bound 的过程，主要看读多少 state，state 大小差不多，解码效率就差不太多。

雕架构的时代：MoE 之后是 Attention 57:05

这些优化最终都指向同一件事：给定相同的 FLOPs，怎么利用得更好，取得更低的损失函数。

MoE 是近几年架构上突破最大的方案。它像一个更高效的 FFN 替代品，能把 FFN 的参数量扩大，同时保持 FLOPs 不变，付出同样的算力，训练 loss 更低。2023 年大家在传 GPT-4 用 MoE，很多地方不敢跟，现在 fine-grained MoE 几乎成了显学，每家都做。

Transformer 只有两个模块，FFN 和 Attention。FFN 已经被雕成 MoE 的形状，Attention 也可以雕。Attention 的 scaling 主要不在参数量，而在 context window 的大小。把长文本下的 FLOPs 打下来，agent 处理大量 workflow、塞进很多 context，都会受益。

用大脑做类比：Attention 像工作记忆，处理当前 context 里的信息，偏即时；FFN 像海马体，是一个键值关联网络，把知识存下来。

数据撞墙之后，算法的分量重新变重。数据无限供应的年代，闭着眼睛加数据、买卡就行，data efficiency 没有太大用处。现在要在有限的数据里压缩更多智能，只能回到算法本身。OpenAI 的 CTO 也在采访里说过，算法研究的重要性会被重新抬高。

Transformer 的天花板，她先指向效率。长 context 处理不了，大家只好做上下文工程、做 RAG，用其他方式绕过去。如果 context 的问题解决，RAG 这一套可能都不需要，直接放进 context 做 in-context 学习。再往远看是 continual learning，现在的 Transformer 架构做不了，甚至有人想把预训练改成直接从 RL 开始，不给模型喂预训练数据。

线性注意力继续 scale up，算法层面没有大问题，卡在配套设施。FLA 用 Triton 写 kernel，能凑合用，效率不是最优。推理引擎的支持也在变好：半年前 SGLang 还不支持 hybrid model 推理，Qwen3-Next、Kimi Linear、MiniMax M1 这些开源模型出来，社区有动力补支持。厂商做出有希望的结果并开源，推理引擎跟上，生态变好，别的公司才敢用，这是一个正向循环。

架构创新上，国内比硅谷更强，原因之一是卡少。卡少，对效率的要求更高，更有动力去试线性注意力这类变种。硅谷有些公司卡太多，懒得搞。美国公司更愿意投优化器，Muon 这类工作投入明显更大，Kimi 是最早吃 Muon 螃蟹的公司之一。

硬件亲和是另一个维度。Transformer 是天选架构，设计之初就是为了硬件快：FFN 是大矩阵乘，Attention 虽然平方复杂度，也能拆成矩阵乘来算。LSTM 理论复杂度更低，却难以硬件加速，所以大家宁愿用复杂度更高的 Transformer。硬件也在往矩阵乘越来越快的方向走，Tensor Core、TMA、Blackwell 针对矩阵层单独做内存。FA4 里矩阵乘太快，softmax 的 exp 反而成了瓶颈，于是用近似方法算 exp。

做算法要满足通用的硬件原则，内存层级、矩阵乘，不能指望硬件公司天天帮你优化。DeepSeek 在硬件和算法的协同设计上做得最狠。它的稀疏注意力 indexer 用 FP8 算 score，不需要 softmax，只要 logits 做 top-k，昂贵的 exp 操作直接省掉，一大堆矩阵乘，indexer 跑得飞快。Kimi 也重视 scale up 时的硬件效率，但没有 DeepSeek 那么追求。

训练细节上还有一场没有共识的争论：NoPE 还是 RoPE。Kimi Linear 全用 NoPE，Qwen3-Next 用 partial rope，25% 的层用 RoPE，75% 用 NoPE。RoPE 在混合架构里可能阻碍长度外推，各家都在砍，砍多少不一样。DeepSeek 最近的 OCR 论文她也看了，数据撞墙的时候，书籍和 PDF 里有大量数据可以榨，用 OCR 造数据，另一个想法是用 OCR 做 context compression，她觉得有意思，但不确定方案好不好。

半年考古，和给年轻人的建议 1:15:16

她的博士读得顺，原因要往前追半年。申请结束到入学之间有半年自由时间，她基本都在读架构方向的论文，领域里值得看的文章几乎读了一遍，最老读到 2016 年。现在一年前的论文叫老论文，五年前的叫古代论文，她管这个过程叫考古。

考古有实际回报。2021 年那篇 Delta Net 的论文她读过，有印象。年底做完 GLA，发现领域里大家开始关心 in-context recall，从前面文章里做检索的任务，她一下联想到那篇旧论文。她知道前人工作的问题在哪：没有硬件效率的保证。于是判断，如果能开发出一个算法把 Delta Net scale up，就是有意义的工作，后来也确实推出来了。

GDN 的思路更简单：DeltaNet 在很多任务上打不过 Mamba2，打不过就加入，把 Mamba2 的门控拿过来，A 加 B 合成 Gated DeltaNet。

当你很清楚你要做什么的时候，你是不会遇到什么挫折的。

她说的挫折不在技术难点，技术上的尝试总有办法搞定。真正的挫折是不知道要做什么，不知道什么东西有用。

考古还能捡回被埋没的工作。细粒度衰减 2016 年就有论文，2022 年也有，RetNet 2023 年反而用了粗粒度的衰减。有些工作没被 follow，是因为代码开源做得太烂，别人想跟也没法跟。她的做法是把代码写好用，让技术能流传下去，同时在文献海里找那些数学上说得通、又能变形到硬件高效的工作。

一个算法能不能在今天被用起来，要看两点：数学上 make sense，可扩展性够好。Delta Rule 两条都占，加上她做的分块并行算法，才走到今天。分块并行算法之于 Delta Rule，很像 FlashAttention 之于 softmax 注意力。没有那个变形，Delta Rule 走不到今天。

给更年轻的人的建议很短：找个公司去实习。做架构必须要算力，没有算力做不了架构。机器人领域现在数据少，加数据就能显著提升，先把数据问题搞定，再回头看效率问题也不迟。

这期节目能带走的东西，大概有这几条：

• 看架构声明先看对比口径。Kimi Linear 只做了和 full attention 的对齐比较，没有和稀疏注意力对齐，跨公司比性能基本没有意义。
• 三比一是当下的经验共识，不是定律。线性模块的衰减粒度、NoPE 与 RoPE 的比例，都还在动。
• 线性注意力与稀疏注意力的融合，理论上能把 KV cache 和全局复杂度一起解决，工业界还没人做，是一块空地。
• 想进场的人，先去有卡的地方实习。架构研究烧算力，也烧推理引擎的配套，两样都缺，再好的想法也验证不出来。