动态

Yann LeCun新论文提出LeJEPA理论方法

Yann LeCun新论文提出LeJEPA理论方法
Ksenia_TuringPost
@ylecun 的新论文为JEPA提出了完整理论,并将其转化为实用方法——LeJEPA。与@randall_balestr一起,他们强调了JEPA背后的两个关键思想:
- JEPA嵌入的“理想”形式是各向同性高斯分布
- 新的SIGReg目标将嵌入推向该理想状态
LeJEPA = JEPA预测损失 + SIGReg损失
这是一个更简洁、有理论基础的JEPA版本,具有多个优势:
- 只需调一个超参数
- 无需教师-学生模型,无需停止梯度
- 无需特殊调度
- 高效扩展
- 在许多架构和数据集上开箱即用
有很多值得学习的地方。关键细节解析如下↓
动态Ksenia_TuringPost2025-11-13原文

相关内容