架构讨论：稀疏MoE及架构改进

架构

它们很模糊，但提到“稀疏MoE”，并且（具体地）在总体架构、长上下文和图像输入方面进行了改进。