研究LLM中attention sinks与信息流的三阶段理论

注意力沉没如何与LLM中的信息流相关？

我们展示了大规模激活如何创建注意力沉没和压缩谷，揭示了LLM中信息流的三阶段理论。

与Enrique* @fedzbar @epomqo @mmbronstein @ylecun @ziv_ravid合作。