DSReg 让 JEPA 表征每维对应一个真实世界变量
给已训练好的 JEPA 表征找一个旋转，让每一维对应一个有物理含义的世界变量，并给出可证明的辨识性结论，无需重建和标签。
JEPA 类世界模型只在表征空间做预测，不重建像素，因此学到的隐表征虽然不会坍缩，却常常把多个真实世界变量混在同一维里。UIUC、冷泉港实验室、布朗大学与马普所的研究者提出 DSReg：先估计观测对表征的局部 Jacobian，再在正交矩阵上寻找让这些 Jacobian 最稀疏的旋转，就能把维度拆开。它可直接接在已训练好的 LeJEPA checkpoint 上，无需解码器、重建或标签，理论上可完全恢复各隐变量（仅差顺序与符号）。
正文摘录
.jpg)  JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）能不能真正理解观测背后的生成机制？ 传统的 JEPA 只能保证学到的隐表征不坍缩，但却完全没有办法对应到真实生成观测数据的那些隐变量。 来自 UIUC、冷泉港实验室、布朗大学、马普所的研究者给出了肯定的回答。他们提出的 DSReg（Dependency-Sparsity Regularization）可以直接加在已经训练好的 JEPA 上，让学到的每一维都对应一个真实的世界变量，比如场景里的太阳、月亮、温度和风。整个过程不需要重建观测，不需要解码器，也不需要任何标签。 研究团队同时为 DSReg 建立了完整的理论框架，由此得到首个完全可识别的 JEPA。DSReg 可以应用在预训练表征上，直接复用现有的 LeJEPA checkpoint，达到和联合训练相似的效果。