介绍LLM-JEPA，首个结合联合嵌入预测的语言模型训练框架。

有趣！Hai Huang、@ylecun 和 @randall_balestr 刚刚提出了 LLM-JEPA。

这是首个用于语言模型的 JEPA 式训练框架，弥合了视觉嵌入空间目标与 NLP 生成目标之间的差距。

结果：

- 在 NL-RX、GSM8K、Spider、RottenTomatoes 上优于标准 LLM 目标
- 适用于 Llama3、OpenELM、Gemma2、Olmo
- 对过拟合更鲁棒，在预训练和微调中均有效

嵌入空间训练可能是 LLM 的下一个重大突破。

LLM-JEPA: 大型语言模型与联合嵌入预测架构

论文：
https://arxiv.org/pdf/2509.14252v1
…
代码：
https://github.com/rbalestr-lab/llm-jepa
…（即将推出？）