百度联合清华等开源 LoopVL：循环 Transformer 扩展到视觉语言模型
LoopVL 验证循环计算可用于视觉语言模型：少量数据下性能可观，并观察到跨循环视觉注意力重组。
人大、百度、清华等机构开源 LoopVL，把循环 Transformer（复用共享层多次计算以增加有效深度）用于视觉语言模型。它以约 1B 语言主干、0.14T token 训练，在多项评测上接近或超过用约 36T token 训练的 2B VLM；但参数复用不等于推理开销更低。
正文摘录
.jpg)  Loop Transformer，能否真正扩展到视觉语言模型？ 近年来，Loop Transformer 逐渐从简单的模块复用走向更复杂的分层循环计算，探索如何通过共享参数持续更新模型状态。一个自然的问题是：当模型开始看图，这套机制还成立吗？ 图像中往往同时包含文字、物体和空间关系，而不同循环可能需要关注不同的视觉证据。再次调用相同参数，模型会继续关注原来的位置，还是转向第一遍忽略的地方？ 近日，来自中国人民大学、百度、清枢智汇、上海交通大学、清华等机构的研究者提出 LoopVL，围绕这一问题完成了从语言预训练到多模态后训练的系统探索。除了验证循环视觉语言建模的可行性，团队还观察到明显的跨循环视觉注意力重组，并将其称为 Visual Aha Moment。