新年伊始,DeepSeek发布了一项新研究,提出了一种名为mHC(流形约束超连接)的新网络架构。这项研究旨在解决传统架构在大规模模型训练中的不稳定性问题,为下一代基础架构的演进提供了新的思路。

论文《mHC: Manifold-Constrained Hyper-Connections》由DeepSeek创始人兼CEO梁文锋等人共同撰写,解振达、韦毅轩和曹焕琪是核心贡献者。近年来,超连接技术通过拓宽神经网络的信息传输通道,提升了模型性能,但也带来了大规模训练中的不稳定性和高内存访问开销等问题。
DeepSeek的新论文针对这些问题提出了改进框架——mHC架构。这一架构类似于给超连接的信息通道加上一套“交通规则”,在保留性能优势的同时,恢复了信息原样传递的特性,使模型训练更加稳定且易于扩展。简单来说,如果将AI模型想象成一个很长的计算链条,传统的计算链条信息传递时容易堵塞,而超连接方法虽然加宽了管道,但水流过猛可能会损坏水管。mHC则相当于给水管加装了智能调节阀,确保水流稳定,运行更省资源。
DeepSeek表示,mHC为未来的研究开辟了多个前景广阔的路径,希望它能重新激发学界对宏观架构设计的兴趣。从行业角度来看,mHC可能让企业在训练更大规模的基础模型时减少硬件投入、缩短训练周期,从而降低大模型研发门槛。此外,训练稳定性和可扩展性的提升有助于大模型在更复杂场景中的应用,如多模态模型和工业级智能决策系统。
有行业人士认为,DeepSeek的研究是底层创新,结合此前积累,预测其有望在未来版本中做出重大更新。尽管2025年初以来,DeepSeek尚未正式推出R2或V4等重大版本,但在模型迭代与开源方面持续发力。例如,12月推出了DeepSeek-V3.2与V3.2-Special,11月底开源了数学推理模型DeepSeek-Math-V2,成为目前首个达到国际奥数金牌水平并开放使用的数学模型。




