研究：DeepSeek-V4-Flash 的 mHC 残差流读写集中在约两条
分析显示 DeepSeek-V4-Flash 的 mHC 四条残差流实际只集中在两条，深层混合退化为单位矩阵，多流设计存在冗余。
有研究拆解了 DeepSeek-V4-Flash 的 mHC（多流超连接，把 Transformer 的单条残差流拆成多条并行通道）：四条残差流并未被均匀使用，读写权重集中在约两条上；第 22–42 层的残差混合已接近单位矩阵，即各条流基本独立传递。去掉最弱读写路径后，六个任务平均分最多下降 0.38 个百分点。
正文摘录
.jpg)  核心结论：mHC 的四条残差流并未被均匀使用 —— 读写权重集中在约两条流上；深层（22–42 层）残差混合已接近单位矩阵。干预实验显示：去掉最弱读写路径六任务平均分最多下降 0.38 个百分点，深层残差混合矩阵替换为单位矩阵后六任务平均分基本不变（84.22 → 84.26），浅层固定为平均矩阵仅下降 0.25 个百分点。