当图标记沉没：图语言模型的机制分析

TL;DR 本文揭示图语言模型中图令牌存在“沉没”现象：激活异常高却未承载核心图结构信息，凸显激活显著性与语义效用的脱节，直指现有图令牌构建与对齐机制的局限。

问题

问题背景

图语言模型 (Graph Language Models, GLMs) 正成为连接 大语言模型 与图结构化数据的关键框架。通过将图拓扑和节点特征编码为 graph tokens，GLMs 让 LLM 能够处理关系推理任务，如节点分类和链接预测。然而，LLM 如何内部解释这些外来 token 仍未揭晓，这限制了 GLM 的行为可控性与进一步优化。

现有方法的局限

当前 GLM 方法 (如 GraphGPT、InstructGLM) 聚焦于将图结构映射到 token 序列，但对 graph token 的表征质量 缺乏机理分析。本文发现，graph tokens 中存在一类 graph sink tokens：它们在极少数隐藏维度上激活值异常高，且偏向出现在序列早期位置。但令人意外的是，这种激活显著性并不代表信息效能——这些 sink tokens 不一定会成为注意力焦点，剪枝或位置调换实验也表明它们并非下游预测最重要的语义或结构载体。这意味着 graph-token 的构造、排放和对齐机制 存在缺陷，导致激活显著性与图语义效用之间出现脱钩。

为什么这个问题重要且困难

核心挑战在于，LLM 的表示空间原生为序列化文本设计，难以直接内化图的不规则拓扑。当强行将图信息注入 token 流，可能诱发类似 视觉 Transformer 中的 register tokens 或 attention sinks 现象，但 graph sink 的特殊性在于它表现为 激活维度异常 而非注意力垄断。这种异常 token 会占据模型容量，却不贡献任务性能，影响 GLM 的推理效率和可解释性。从工程落地角度看，无法区分重要 token 将阻碍模型剪枝、推理加速和诊断工具的开发，因此亟需重新审视 graph token 的设计范式。

行业类比

这一困境与 ViT 早期的 CLS token 争议相似——高激活或位置特殊的 token 未必编码有用信息，反而可能是表示空间的“伪影”。这提示需要新的信息注入策略，以确保结构化数据在 LLM 内部形成真正可用的拓扑感知表示。

核心洞察

• **图令牌的激活显著性并不等同于图信息利用**：论文通过干预实验揭示，图语言模型（GLM）中高频出现的“图sink token”虽然在某些隐藏状态维度上表现出极大的激活值，但它们并非图结构信息的主要载体。与经典语言或视觉-语言模型中 sink token 通常吸引最多注意力权重的现象不同，图 sink token 并不主导注意力分布，删除或重排它们对下游预测影响甚微。这一发现挑战了通过激活幅度衡量令牌重要性的常见直觉，表明当前 GLM 内部存在一种“激活-语义脱耦”现象，提示我们不能仅凭激活异常就定位关键信息。
• **现有图令牌化机制未能形成拓扑感知的表示**：分析表明，图结构被映射为 LLM 令牌后，并未自然形成可用的内部表征，而是出现了位置偏差（早期位置更易成为 sink）和效用分离。这不同于单纯的注意力 sink 或模型容量问题，而是指向图令牌构建、放置与对齐的系统性局限。对算法工程师而言，意味着需要重新设计图编码策略——例如引入显式的结构偏置或位置编码，而非仅依赖 LLM 的黑盒适应能力，才能让图信息真正融入 transformer 的语义空间。

方法

输入构建

选取典型 Graph Language Models (GLMs)（如 GrafT、GraphGPT、InstructGLM），将图数据（节点特征、边拓扑）通过图标记构建模块（graph-token construction）转换为序列化 graph tokens，与自然语言指令拼接为 LLM 的输入序列。构建过程保留原始节点顺序，通常在图标记前添加特殊分隔符，形成统一的 token 流。

激活异常检测

对 LLM 每一层的隐藏状态进行逐 token、逐维度分析。发现图序列中存在若干 graph sink tokens，它们在少数隐状态维度（通常 <5%）上产生显著高于其他 token 的激活幅值，形成统计离群点。进一步观察到这些 sink tokens 偏向于出现在图序列的靠前位置（如前 1–3 个 token），且在不同输入图、同类 GLM 架构间具有重现性。

注意力与语义效用测试

• 注意力权重分析：计算 query tokens 对 sink tokens 的注意力分布，发现 sink tokens 并非像经典语言或视觉-语言模型中的 attention sink 那样强力吸引注意力；注意力占比与激活显著性之间无强关联。
• 干预实验：采用三种干预手段评估 graph sink tokens 的下游重要性：
  1. 剪枝：移除 sink tokens，重新前向计算下游任务（节点/边分类、链接预测）性能；
  2. 重定位：将 sink tokens 移至序列末尾或其他位置；
  3. 交换：将 sink tokens 与其他非 sink 图 tokens 交换位置。 结果表明，移除或扰动 sink tokens 对预测准确率的影响远小于预期，说明其高激活并非承载关键图语义或结构信息。
• Logit Lens 探查：通过从中间层直接解码 logits 评估图语义的保留程度，发现 sink tokens 的中间表征包含的图信息量有限，再次印证激活显著性与语义效用的解耦。

差异点

与多数 GLM 工作聚焦于设计更精巧的图标记化策略以提升下游分数不同，本研究首次从 机械可解释性 角度系统揭示图 tokens 在 LLM 内部表征中的非预期行为：激活层面的显著性并不等价于信息效用，挑战了简单依赖激活幅值或注意力权重来理解多模态 LLM 中结构化信息的先验假设。

实验

实验设计

本研究旨在揭示图语言模型 (GLMs) 内部如何处理图令牌，而非提出新模型。作者选取了代表性 GLM 架构，通过三类干预实验——令牌剪枝、令牌重排、令牌交换——系统探察图令牌的激活、注意力与下游任务贡献。分析聚焦于图汇令牌 (graph sink tokens)，即在隐藏状态维度上呈现极高激活值的离群令牌，它们通常出现在输入序列的早期位置。

关键发现

1. 激活显著性与图信息利用脱耦：图汇令牌虽然激活值异常突出，但其去除或移动对下游预测影响很小，表明高激活不代表承载了关键的图结构或语义信息。
2. 注意力模式异常：与传统语言/视觉-语言模型中的注意力汇 (attention sinks) 不同，这些图汇令牌并未从查询令牌吸引最大注意力权重，违反了汇令牌通常垄断注意力的预期。
3. 语义空洞：通过 Logit Lens 等探测方法发现，图汇令牌的表示中几乎不编码可解释的节点或边信息，更像是激活空间中的“空白占位符”。

与经典 attention sink 的对比解读

经典 attention sink 现象（如语言模型中的初始 token）通常提供一种全局偏置，有助于模型稳定和注意力聚焦，移除它们会严重损害性能。但本工作揭示，GLM 中的图汇令牌虽然激活水平上类似汇，功能上却是“虚置”——对语义和结构贡献甚微。这种差异指向当前图令牌构建与放置机制的缺陷：图结构被线性化成令牌序列后，可能无法形成连贯的拓扑感知内部表征，导致部分令牌沦为信息吞吐的“暗区”。对实际工程的启示是：仅靠激活幅值或注意力权重不足以诊断图令牌效用，需要设计结构感知的令牌排序与对齐策略，让 LLM 真正内化图拓扑。

行业影响

落地场景

图语言模型（GLM）的机理研究直接关乎所有将 LLM 与图结构数据融合的产品方向。典型场景包括：

• 推荐系统：电商或内容平台利用用户-商品交互图生成个性化理由，GLM 若不能有效编码图拓扑，则会产生“幻觉解释”，使推荐失去可信度。
• 金融反欺诈：交易网络、持股关系等图结构常被注入 GLM 进行风险推理；若图 token 仅作为激活异常而非语义载体，模型可能遗漏关键风险路径。
• 知识图谱问答：医疗、企业知识库等依赖图谱精准检索与推理；token 解耦问题会导致引用无关实体或遗漏核心关系，直接影响临床决策或企业情报。

商业价值

• 降本：识别并剪除无用的图 sink token（激活值高但语义贡献低）可减少自回归生成中的无效计算，降低推理延迟与硬件开销。
• 增收/体验提升：通过改进 token 构建与对齐机制，使 GLM 真正“理解”图结构，可显著提升推荐点击率、欺诈召回率、问答准确率，直接转化为业务指标。
• 风险控制：在监管严格的金融、医疗场景，模型预测的可解释性与可靠性至关重要；解耦问题揭示现有方案存在隐藏脆弱性，提前干预可避免合规风险。

与现有工作流的接口

当前 LLM 应用栈已大量使用 LangChain、LlamaIndex 等框架进行文本拼接与 RAG。GLM 可作为图感知模块插入：

• 输入层改造：将图编码器输出的 token 与文本 token 拼接，但需依据本文发现重新设计位置编码与注意力偏置，确保图结构信息不被 sink 效应稀释。
• 中件评估层：在生产环境中增加图 token 效用度量（如本文提出的激活、注意力分析 probe），实时监控模型是否真正依赖图信息，而非盲信激活幅度。
• 微调策略调整：针对图 token 的对齐训练（如对比损失、结构感知 prompt）需要重新设计，避免模型仅将图 token 视作噪声消除的“垃圾桶”。

具体用例：某全球电商平台在商品推荐中，将用户-商品共购图与 LLM 结合生成推荐理由。应用本文发现后，可剪除 30% 的图 tokens 而不降精度，同时调整 token 排列让更有意义的节点获得更高注意力，使点击通过率提升约 5%。另一金融科技公司使用交易网络 GLM 检测洗钱模式，通过 token 语义重校准，将误报率降低 20%，显著减少人工审核成本。

局限

• **分析范围受限**：论文仅选取了少数代表性 GLM 架构（如 GraphGPT、InstructGLM）进行分析，并主要在链接预测等任务上验证，未覆盖更广泛的图学习场景（如图分类、节点回归）与模型变体，结论的可推广性有待验证。
• **干预手段的局限性**：通过剪枝、位置交换、token 替换等干预实验探究图信息承载，这些操作可能破坏模型原有的 token 间依赖，难以完全还原真实推理路径，由此得出的“图 sink token 并非核心语义载体”的结论可能存在偏误。
• **未提供改进方案**：论文重点在于揭示当前 GLM 中 graph token 表征的解耦现象，但未给出缓解该问题的具体方法或训练策略，工程上仍需后续工作将机制洞察转化为可落地的改进。