ICML 2026 Oral｜大模型的能力从哪些训练数据来？北大&智源提出「机理数据归因」
<img src="https://image.jiqizhixin.com/uploads/article/coverimage/67a1bb6f-9f0e-45f8-81b8-6122f9b08d78/03(2).jpg" referrerpolicy="no-referrer"<section<img data-src="https://mmbiz.qpic.cn/szmmbizpng/5L8bhP5dIqElqZ0GcgINP4V78xIEARSSDI7pRpUQpZAhGK6rr8zoMJM3icYLohdHNhq93gll1YkHwsYaOO3tolCuL5QN5gAtJc46PnNgECQI/640?wxfmt=png&from=appmsgimgIndex=0" data-ratio="0.2657407407407407" data-s="300,640" dat…
正文摘录
.jpg)  近年来，大语言模型展现出了越来越强的能力，从上下文学习（In-Context Learning, ICL）到复杂推理、代码生成，这些能力不断刷新人们对模型能力边界的认知。 然而，对于这些能力究竟从何而来、又是在训练过程中如何形成的，我们仍然知之甚少。 近年来兴起的 机理可解释性（Mechanistic Interpretability） 研究，开始尝试揭示模型内部的计算机制。例如， 「归纳头」（Induction Heads） 被广泛认为是大模型涌现上下文学习能力的关键神经机制。这类注意力头能够识别并复制先前出现的模式，从而实现类似「从示例中学习」的行为。相关研究不仅在多个模型中发现了归纳头的存在，也较为清晰地刻画了它们在推理阶段的工作方式。 然而，这类研究大多停留在 事后分析（post hoc analysis） 层面。我们能够揭示模型内部的计算机制，并把计算机制逆向拆解成可理解的「电路」。我们能描述一个电路在推理时「算什么」，却回答不了它「怎么来」—— 是哪一部分训练数据、以怎样的方式，在预训练过程中把它塑造了出来？