动态

分析AttnRes缓解隐藏状态增长并均匀梯度分布

分析AttnRes缓解隐藏状态增长并均匀梯度分布
Kimi.ai
对训练动态的分析表明,AttnRes自然缓解了隐藏状态幅度的增长,并在深度上产生了更均匀的梯度分布。
动态Kimi.ai2026-03-16原文

相关内容