研究者们花了十年去扩展层内的计算能力，却忘了扩展层间的通信能力。
这件事亟需被改变。
过去十年，深度学习领域取得进展的方式出奇地一致：什么都往大了整。更多参数、更多数据、更长上下文。而且确实管用：loss 在降，能力在涨，scaling law（扩展定律）精确地告诉研究团队还需要投入多少。
但扩展的方向不同，差异也是巨大的。序列长度的扩展需要真正的创新，也确实催生了一整套机制研究和系统工程。数据的扩展则直截了当：数据越多，loss 越低。让模型变得更宽、更深，这看起来也和数据的扩展一样简单。
但宽度和深度真的在同等地发挥作用吗？
并非如此。深度在数量上增长了，但在质量上却没有。层与层之间的通信机制几乎没有变化。接下来本文将解释这一点为什么重要，这不仅关乎网络的深度本身，更关于研究团队设计神经网络架构时的一个集体盲区。
上半场
要看清上半场做对了什么，就看看什么被成功地扩展了，以及是怎么做到的。
先看序列长度。早期 Transformer 只能处理几百个 token。要达到 128K+，需要多个方向上的持续创新：新的注意力模式（稀疏、线性、混合）、系统工程（FlashAttention）、位置编码的进步（RoPE scaling）。研究者和工程师们共同建造了一整个生态，持续改进 token 之间的通信方式。而回报颇丰，研究团队不止能够处理极其长的文档，还为 OpenAI-O1 和 DeepSeek-R1 的长链推理奠定了坚实的基础。这就是当研究团队认真投资于"信息在序列维度上的流动方式时"，所收获的斐然成果。
△ 现代 LLM 中的参数与数据规模迅速增长
参数和数据的扩展是最符合人类直觉的部分。从深度学习的最早期开始，每本教科书都在教授同一套配方：更多数据、更宽的层、更深的网络，自然带来更好的表征。从 GPT-2 的 15 亿参数到如今的数万亿，这套配方一直管用。这似乎说明大模型团队不需要引入新机制，只需要持续拓展这些被验证了的方向。
只不过，对网络而言，更宽和更深往往并不是一回事。宽度的扩展是自然而然的：现代 GPU 天生擅长处理更宽的矩阵乘法，注意力机制的演进越来越高效，这使得更宽的网络可以无缝接入现有架构。
而深度则是另一个故事。模型确实变深了：研究团队将模型加到 32 层、64 层、甚至 100 层以上。但层间通信的机制本质上还是 ResNet 在 2015 年引入的深度残差，"x + F ( x ) "。自它诞生以来，围绕它有过不少改良（归一化位置、残差缩放、跨层连接），但没有任何改良真正取代过那个深度残差中"+"的决定性地位。
残差连接可以说是深度学习中最重要的基石。没有它，就没有 100 层的 Transformer，没有现代 LLM，没有 scaling law。但基础性方案有一个特点：它们有时会变得太过隐形，以至于没人再去质疑它到底是最优解，还是仅仅是研究团队探索出的第一个能用的方案。
打个比方，想象一个有特殊规则的传话游戏。在标准版本里，第 1 个人对第 2 个人耳语，第 2 个人再对第 3 个人耳语。到第 18 个人的时候，消息已经面目全非了。这就是没有残差连接的深层网络：每一层只能看到上一层的输出。
残差连接修复了这个问题：每个人在传达自己的理解的同时，也把之前积累的原始信息原封不动地往下传。第 3 个人既能听到第 2 个人的新解读，也能听到之前的所有内容。原始信号始终被保留，它成为了不断壮大的合唱中的一个声部。
但到了第 152 个人，你同时在听 152 个声音：原始信息加上 151 层叠加上去的内容，全部混在一句耳语里。理论上，前面那些人的声音依然存在，但它们已经被淹没了。如果第 152 个人需要知道第 3 个人具体说了什么，他得费力地从这首宏大的合唱声中把它挑出来。
△消息累加的传话游戏中，靠后的人依然难以分辨出所需的内容
通常而言，第 152 个人是做不到这一点的。
这就是信息稀释。每一层都面临两难：倘若该层贡献新信息就可能会掩盖之前的内容，但保守不动则能保留之前层传过来的已有信息。这种状况下，很多层学会了保守不动，它们几乎不往残差流里写入任何东西。这样的深度网络在纸面上很深，实际上却很浅。研究团队堆了 152 层，但其中很多层却只学会了保持沉默。
这里的瓶颈不在于 152 层网络所需求的算力，而在于信息穿过这些层的通信能力。CPU 的发展在几十年前就撞过同样的墙：处理器越来越快，直到内存带宽跟不上了，逼得整个行业转向缓存和通信。组织管理也一样：一群聪明人所能发挥出的创造力，也受限于他们之间的沟通、组织方式。深度学习正在经历自己的版本：十年来不断增强每一层的能力，而层与层之间的通道始终是 2015 年那条单车道公路。
那么，有没有更好的机制？
配方
在本文所介绍的研究之前已经有很多研究者注意到了深度瓶颈。多年来，修补方案越来越巧妙：获评 CVPR best paper 的 DenseNet 保留了每一层的输出，但代价是平方级的开销。使用可学习加权的方案 DenseFormer、LIMe 降低了成本，但训练完成后权重就固定了，每个 token、每套上下文都用同样的权重。
字节跳动的 Hyper-Connections 和 DeepSeek 的 mHC 另辟蹊径，它们把管道拓宽到 N 个通道，层间用混合矩阵连接，这相当于信息高速公路上同时多了好几条车道。但坏消息是，信息仍然在逐层流动，第 152 层没有办法直接回溯到第 3 层。
彩云公司的 MUDDFormer 让混合每层输出这件事变成动态的，它会根据每个 token 的表征来生成权重。这在根本方向上是对的：从每一层汲取多少信息本就应该取决于你正在处理的内容。但同样有个坏消息，第 152 层在决定从第 3 层汲取多少时，只依赖第 152 层本身的状态，它并不知道第 3 层实际包含了什么。它是在预测哪些层有用，而不是在查看。
以上的每一步都修复了一个真实存在的缺陷，但却鲜有哪一个方法质疑过深度残差的框架本身。
不难发现，这些方法都有着一个共同点。从 DenseNet 到 Hyper-Connections，每个方法都在回答同一个隐含的问题："如何才能更好地混合各层的输出？"更好的系数，更多的通道，自适应的权重。但自始至终都是混合，自始至终都是累加。ELMo 早就表明，不同的层编码的是截然不同的信息：浅层编码句法，深层编码语义。所有人得出的结论都是"学习更好的混合权重用来平衡句法和语义"。但还有一条被主流忽视的道路：如果不同层持有不同信息，也许每一层应该能够根据内容而非位置，从持有所需信息的那一层直接检索。
这就是范畴谬误：把层间通信当作累加（用学习到的或生成的系数来组合信号）而非检索（通过基于内容的匹配来选择信息）。在累加框架下，即使是动态方法也只从当前层的状态生成混合权重，而不去查看信息的来源层实际包含了什么。在检索框架下，Query（查询）编码的是"我需要什么"，Key（键）编码的是"我有什么"，而它们之间的运算决定了相关性。Query 和 Key 双方都应该有发言权。
回到传话游戏。之前所有的方法都在试图产生一个更清晰的合唱：更好的发音、更多的中继通道、自适应的音量。没有一个质疑过这个根本约束：所有声音必须累加成一个声音吗？也没有人问过：咱是否可以直接走回去，跟之前的任何一个人当面对话呢？
研究团队认为这种范畴谬误在架构设计中无处不在。当某个东西足够好用的时候，你不会去质疑它的概念框架，而只会在框架内改进。经历了多年越来越巧妙的修补之后，研究者才明白：深度维度的残差连接需要的不是更好的系数，而是被一种根本不同的操作所替代：
一种在序列维度上已经成功解决了同样问题的操作。
△ 因果注意力机制在序列维度（横向）上聚合信息
下半场
一旦研究团队把层间的通信理解为检索而非累加，一个很自然的答案就是在深度维度上引入注意力机制。包括研究者团队在内的很多团队都独立地收敛到了这个想法：谷歌提出的 DCA、华为的 MRLA、Hessian.AI 的 Dreamer、Kimi 的 AttnRes、以及研究者团队提出的 Flash Depth Attention & MoDA，大家都尝试在层间应用点积注意力。这种独立趋同本身就是一个信号：方向走对了！
△ 深度注意力机制在深度维度（纵向）上聚合信息
但找对方向和做出成品是两回事。研究者自述："第一次用 Pytorch 实现运行深度注意力的时候，前向和反向传播共计耗时达到了 44,924 ms。44 秒啊！朋友们！这个时间都够我喝完一瓶 500 毫升的冰红茶了！"
也就是说，在深度维度上应用注意力机制的想法本身没问题，但工程现实却残酷到了极点。现代 GPU 为大规模的矩阵乘法做了大量优化，却不擅长数千个跨深度的极小规模的注意力操作。深度注意力作为一个计算量不大的算法，跑起来却可能慢得要命。
△ Pytorch 实现的深度注意力（DepthRef）很慢；Flash Depth Attention（FDA）很快。
至此，之前的方法都陷入了两难：要么简化深度注意力来换速度，这种方式丢掉了完整的选择性检索这一核心价值；要么保持完整的表达能力，但运算代价变得不可接受。研究者团队找到了一条出路：不是简化算法，而是重新组织参与计算的数据布局，从而适配 GPU 硬件。Flash Depth Attention（https://github.com/hustvl/MoDA）让具备完整表达能力的深度检索快到可以参与实际训练。
△ 混合深度注意力机制同时在序列维度（横向）和深度维度（纵向）上聚合信息
常规的大模型主干流水线是：残差连接→序列注意力→残差连接→ FFN（前馈网络）。
有了高效的深度检索之后，研究团队注意到网络的主干流水线变成了：深度注意力→序列注意力→深度注意力→ FFN（前馈网络）。这三个连续的注意力操作作用于不同的 Key（键，缩写作 K）和 Value（值，缩写作 V），却共享着近乎相同的 Query（查询）。一个很自然的做法就是把它们融合。
研究者团队提出了混合深度注意力（Mixture-of-depths Attention，MoDA）将深度检索和序列检索合并到一个统一的 softmax 中。每个注意力头同时关注当前层的序列 KV 对（键值对）和所有前序层的深度 KV 对（键值对）。在同一个 softmax 下，模型可以自由决定何时关注序列中的其他 token，何时跨层检索自身的历史信息。通过一次操作，MoDA 完成了两个维度的检索。
△ 左侧区域是序列 KV，右侧区域是深度 KV。颜色越黄，注意力越强。
回到传话游戏。在残差连接的版本里，第 152 个人费力地从累加的合唱中辨认第 3 个人的声音。有了深度检索，第 152 个人拍拍第 3 个人的肩膀直接问："你刚才说了什么？"没有中间人，没有累积的噪音。
可视化的实验结果也印证了这个类比所预测的现象：当模型获得了通过深度 KV 从特定层进行选择性检索的能力时，它会持续且主动地使用这种能力。之前困扰模型架构研究员们的 Attention Sink（注意力沉没）现象，即模型把概率质量堆积在少数固定 token 上的行为，也随之减弱。这就是当研究者团队尝试发展层之间而非仅仅层之内的信息流动时，所取得的有趣成果。
△ 引入深度注意力后，传话游戏允许每个人用手机查看群聊记录。
大模型架构的上半场是关于扩展组件的。研究者们扩展出更长的序列，更多的数据，更大的模型。这个阶段最关键的问题是"怎么把一切都做大？"。在上半场，这是正确且关键的问题，它把整个领域从 GPT-2 带到了 GPT-4 时代。下半场是关于扩展通信的。新的问题是："组件之间的通信质量如何？"
△引入混合深度注意力后，在主流的开源基线（OLMo2）上全面提升了模型能力。
深度是最明显的例子，因为现有方案（累加）和可能的方案（选择性检索）之间的差距是巨大的。研究者团队相信这个原则是可以推广的。凡是神经网络使用静态的、与数据无关的通道来传递信息的地方，包括层与层之间、模态与模态之间、时间步与时间步之间等等，很可能都会有一个检索机制等着替代那个累加操作。
全世界的研究者们花了十年掌握 token 之间如何对话，现在是时候掌握层与层之间如何对话了。而最终，研究者们将掌握神经网络中每个组件如何与其他任意组件对话。
深度残差的" + "带我们跑过了一段极为精彩的旅程，但现在，是时候升级这座阶梯了。
欢迎来到大模型架构的下半场。
Flash Depth Attention & MoDA 论文链接：
https://arxiv.org/abs/2603.15619
Flash Depth Attention & MoDA 代码链接：
https://github.com/hustvl/MoDA
实验室主页：
https://github.com/hustvl
论文主要作者来自于华中科技大学（HUST）电子信息与通信学院视觉实验室（Vision Lab）。HUST Vision Lab 研究主要集中在计算机视觉和深度学习领域，尤其关注以下方向：多模态基础模型、视觉表征学习、目标检测、分割与跟踪、端到端自动驾驶、新型神经网络架构。
HUST Vision Lab 致力于不断突破视觉智能的边界，代表性工作包括：CCNet（TPAMI 2020，4300+ 引用，1.5K Star）、Mask Scoring R-CNN（CVPR 2019，1400+ 引用，1.9K Star）、FairMOT（IJCV 2021，2200+ 引用，4.2K Star）、ByteTrack（ECCV 2022，3400+ 引用，6.2K Star）、EVA（CVPR 2023，1100+ 引用，2.7K Star）、MapTR（ICLR 2023，400+ 引用，1.5K Star）、Vectorized Autonomous Driving ( VAD ) （ICCV 2023，600+ 引用，1.3K Star）、DiffusionDrive（CVPR 2025，200+ 引用，1.3K Star）、Vision Mamba ( Vim ) （ICML 2024，3100+ 引用，3.8K Star）、4D Gaussian Splatting ( 4DGS ) （CVPR 2024，1400+ 引用，3.5K Star）、YOLOS（NeurIPS 2021，500+ 引用，900+ Star）、YOLO-World（CVPR 2024，1000+ 引用，6.3K Star），以及 LightningDiT & VA-VAE（CVPR 2025，200+ 引用，1.4K Star）。
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生 � �
感兴趣的小伙伴欢迎关注 � � 了解详情
� � 点亮星标 � �
科技前沿进展每日见
恒汇证券提示：文章来自网络，不代表本站观点。
