开云体育 
开云体育DeepSeek开年炸场！梁文锋又发论文了一如既往地强
2026-01-03
浏览次数：
次
返回列表
智东西1月1日报道，12月31日晚间，DeepSeek团队送出一份新年“贺礼”，正式发布新论文《Manifold-Constrained Hyper-Connections》，提出一种能稳定训练并提升大模型可扩展性的残差连接新方案。
论文核心指出，尽管当前如Hyper-Connections（HC）这类连接结构能带来性能提升，但由于其结构复杂、缺乏约束，往往导致训练不稳定、信号失真甚至梯度爆炸等问题。
▲在27B模型中，HC的多层残差映射在反向传播中导致信号最大放大倍数逼近3000，存在梯度爆炸风险。
为此，DeepSeek提出了mHC（Manifold-Constrained Hyper-Connections）方案，将HC中的残差映射矩阵投影到双随机矩阵构成的“流形空间”，在保留拓扑表达力的同时，恢复原始残差连接的恒等映射性质。
实验证明，这一mHC方法在大规模训练中展现出显著稳定性，仅引入6.7%的训练时间开销，在多个下游任务中超越HC与Baseline模型。
▲在8个下游任务上，mHC全面超越HC，尤其在BBH（+2.1%）和DROP（+2.3%）上表现突出。
当前主流模型广泛采用Residual Connection架构，其核心优势在于具备“恒等映射”特性，可稳定信号传播、避免训练过程中信号衰减或放大。
但近年来如Hyper-Connections（HC）等结构，为提升表达能力引入更复杂的连接拓扑，将残差通道扩展至n倍宽度，并通过多个可学习映射矩阵对输入与输出特征进行重组。
然而，HC的自由形态也打破了恒等映射约束，导致训练中存在信号爆炸（最高放大至3000倍）或梯度异常的问题。
▲相较于mHC，传统Hyper-Connections在训练过程中出现显著的不稳定现象（上图），其残差连接在深层堆叠中更暴露出前向信号和反向梯度指数级放大问题（下图），成为大模型扩展的隐性障碍。
此外，HC还显著提高了GPU内存占用和通信带宽需求，限制了其在更大规模模型中的使用效率。
▲mHC将残差映射投影到双随机流形后，显著提升了前向信号与反向梯度传播的稳定性。
其核心在于：不再直接使用无约束的残差映射矩阵H_res，而是通过Sinkhorn-Knopp算法将其投影到“Birkhoff多面体”（即双随机矩阵流形）上。
论文中还提到，将输入/输出映射H_pre、H_post也做了正值约束，可进一步避免信号抵消现象。
此后，论文对比测试了Baseline、HC和mHC三种模型在27B参数规模下的训练表现与推理性能。实测结果表明，流形约束超连接（mHC）在大规模训练场景下显著优于传统超连接（HC）。
训练稳定性方面，对比传统残差、HC与mHC，HC训练中损失震荡发散，梯度爆炸；mHC损失平稳收敛，梯度稳定。
分析表明HC的复合映射增益高达3000（信息爆炸），而mHC控制在1.6，接近理想恒等映射，信号保真度高。
这说明，mHC通过双随机流形约束，有效抑制了多层堆叠中的信号放大与梯度爆炸问题，损失曲线平稳收敛，梯度范数保持稳定，解决了HC因数值不稳定导致的训练发散缺陷。
性能表现方面，27B模型在BBH（51.0 vs HC 48.9）、DROP（53.9 vs 51.6）、GSM8K、MATH、MMLU等任务显著优于HC与基线，取得显著增益，最高提升达2.3个百分点，验证了其在复杂推理与语义建模中的优势。
可扩展性方面，3B-27B模型验证，mHC性能增益随规模扩大保持稳定甚至增强（如DROP提升从1.5→2.3），显示深层大模型中的信号保真需求更高，展现出良好的泛化能力与深层适配性。1T token训练下无过拟合，泛化能力增强。
系统效率方面，通过内核融合、重计算与通信重叠优化，mHC在扩展率n=4时仅引入6.7%的额外开销，通过内核融合（带宽提升22%）、重计算（内存降40%）及流水线优化（GPU利用率90%），实现高效训练，工程可行性高。
DeepSeek团队在结论中说，尽管本研究采用双随机矩阵确保稳定性，但该框架能容纳针对特定学习目标设计的多种流形约束探索。他们预计，对几何约束特性的进一步研究可能产生新颖方法，从而在可塑性与稳定性之间实现更优权衡。
此外，研究团队希望mHC能重新激发学界对宏观架构设计的兴趣。通过深化对拓扑结构如何影响优化与表征学习的理解，mHC或将有助于突破当前限制，并可能为下一代基础架构的演进指明新方向。
（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）
本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。
