Tadpole：用自编码器做 3D 物理 PDE 基础模型，在线学习免存 202 TB 数据
Tadpole 提出以自编码器先学三维物理场的通用表示、再迁移到预测与生成，并用在线学习把 202 TB 训练数据的生成和训练并行起来，省存储还快约 1.8 倍。
三维物理场的基础模型一直卡在数据量上：一次高分辨率流体模拟就极大，不同物理系统的变量数和分辨率还不统一。Tadpole 换了个思路——预训练阶段不学「下一秒会发生什么」，只学「三维物理状态本身长什么样」，并把数据生成搬到 GPU 上边算边训，累计用了约 202 TB 数据却不必存下来。
正文摘录
.jpg)  过去几年，“基础模型” 已经彻底改变了自然语言处理和计算机视觉。一个很自然的问题随之出现： 物理世界是否也能拥有类似的基础模型？ 天气变化、空气流动、材料变形乃至电磁现象，背后都存在复杂的物理规律。传统科学机器学习往往针对一个问题训练一个模型：换一种物理系统、换一个空间尺度，甚至换几个变量，模型可能都需要重新训练。基础模型则试图改变这种模式：先从大量不同的物理数据中学习通用表示，再快速迁移到新的问题。 但当研究对象来到真正的 三维物理世界 时，事情就没有那么简单了。三维模拟产生的数据通常极其庞大。一次高分辨率流体模拟就可能占据大量存储空间，而训练基础模型需要的数据规模更是惊人。与此同时，不同物理系统拥有不同数量的变量、空间分辨率和演化规律，让同一个模型学习真正可迁移的知识并不容易。 Tadpole 正是在这样的背景下提出的。