EchoJEPA: 心脏超声世界模型，通过预测潜在结构而非像素，提升临床指标。
@ylecun 的愿景：机器应像人类一样学习——通过构建内部世界模型，而非重建每个像素。
我们刚刚在心脏超声中以前所未有的规模验证了这一想法。
推出 EchoJEPA——首个医疗视频世界模型。
🫀 1800万份超声心动图
👥 30万名患者
🧠 学习心脏动力学——而非成像噪声
问题：
超声图像杂乱。有斑点、阴影、衰减。
大多数预训练目标最终建模的是扫描仪，而非心脏。
想法：
停止重建像素。
改为预测潜在结构。
EchoJEPA 丢弃不可预测的部分，锁定临床关键信息：
➡️ 腔室几何
➡️ 室壁运动
➡️ 瓣膜动力学
结果（冻结编码器，无微调）：
• LVEF 误差降低 20%
• RVSP 误差降低 17%
• 1%标签下准确率79%（基线在100%标签下仅42%）
• 声学伪影下性能仅下降2%（基线下降17%）
• 零样本儿科迁移超越所有微调模型
为什么有效：
当我们投影嵌入时：
❌ 先前方法 → 扩散、纠缠的簇
✅ EchoJEPA → 清晰的解剖结构组织
结构与采集噪声分离。
📄 论文：https://t.co/BFDoHrsZ7n
💻 代码：https://t.co/DJNFS5J3oJ
特别感谢 @alifmunim，他将 JEPA 思想引入医疗视频并领导了这项努力 💥
指导来自 @AIatMeta (@garridoq_, @koustuvsinha)
共同作者：@adibvafa @TeodoraSzasz @A_Attarpour @riverjiang @JSlivnickMD
团队：@UHN @awscloud @UofT @UChicago @UCSF @PhilipsHealth
这是面向生理学的表示学习，而非像素。
我们刚刚在心脏超声中以前所未有的规模验证了这一想法。
推出 EchoJEPA——首个医疗视频世界模型。
🫀 1800万份超声心动图
👥 30万名患者
🧠 学习心脏动力学——而非成像噪声
问题：
超声图像杂乱。有斑点、阴影、衰减。
大多数预训练目标最终建模的是扫描仪，而非心脏。
想法：
停止重建像素。
改为预测潜在结构。
EchoJEPA 丢弃不可预测的部分，锁定临床关键信息：
➡️ 腔室几何
➡️ 室壁运动
➡️ 瓣膜动力学
结果（冻结编码器，无微调）：
• LVEF 误差降低 20%
• RVSP 误差降低 17%
• 1%标签下准确率79%（基线在100%标签下仅42%）
• 声学伪影下性能仅下降2%（基线下降17%）
• 零样本儿科迁移超越所有微调模型
为什么有效：
当我们投影嵌入时：
❌ 先前方法 → 扩散、纠缠的簇
✅ EchoJEPA → 清晰的解剖结构组织
结构与采集噪声分离。
📄 论文：https://t.co/BFDoHrsZ7n
💻 代码：https://t.co/DJNFS5J3oJ
特别感谢 @alifmunim，他将 JEPA 思想引入医疗视频并领导了这项努力 💥
指导来自 @AIatMeta (@garridoq_, @koustuvsinha)
共同作者：@adibvafa @TeodoraSzasz @A_Attarpour @riverjiang @JSlivnickMD
团队：@UHN @awscloud @UofT @UChicago @UCSF @PhilipsHealth
这是面向生理学的表示学习，而非像素。