匹兹堡大学在 VLM 中间层隐空间中发现三维场景拓扑结构
研究者把 VLM 内部的激活剥离出空间成分，证明中间层存在可观察的三维布局结构，为「模型是否真懂空间」提供了可检验的观察手段。
匹兹堡大学的研究者不看视觉语言模型（VLM，能同时处理图像和文字的模型）答得对不对，转去看它内部的隐空间表征：先把同一物体的视觉标记聚合成物体向量，再用跨场景平均剔除颜色、形状等身份属性，剩下的部分做 PCA 降维可视化。结果显示，模型的中间层能较清晰地还原物体的邻接和位置关系，早期层偏视觉特征，后期层转向语言输出。论文被 NeurIPS 2026 收录为 spotlight。
正文摘录
.jpg)  本研究由匹兹堡大学电气与计算机工程系的 Haoming Wang 与 Wei Gao 完成。 看一段房间视频，视觉语言模型（VLM）能够认出桌子、椅子和柜子。但在它的内部，这些物体是按颜色、形状组织在一起，还是形成了一张包含邻接关系的空间地图？ 为了回答这个问题，匹兹堡大学的研究人员将研究视角从模型的最终答案转向隐空间，也就是模型在处理输入时形成的内部数值表征。通过跨场景特征分离与低维可视化，研究人员在模型中间层观察到了更清晰的空间结构：圆环、网格和随机布局，都能在提取后的表征中找到对应。这使「模型究竟如何理解空间」变成了一个可以直接观察和检验的问题。本文已被 NeurIPS 2026 录用为 spotlight paper。