Adaptive Volumetric Mechanical Property Fields Invariant to Resolution

TL;DR AdaVoMP 用自适应稀疏体素与自回归Transformer预测材料属性，分辨率比之前最优方法高 16³ 倍，赋能高保真变形仿真。

问题

问题背景

在数字内容创建、机器人仿真与数字孪生应用中，物理真实性依赖于精确的体积机械属性（Young's modulus E、Poisson's ratio ν 与密度 ρ），然而绝大多数 3D 资产仅包含视觉几何，缺乏此类材料参数，导致难以开展可靠的变形与交互模拟。

现有方法局限

当前最精确的 VoMP 方法采用固定分辨率的体素网格表示材料场，其主要局限在于：

• 分辨率受限：固定体素结构难以适应复杂几何细节，细小部件或薄壳区域的材料变化被平均化，导致预测精度下降。
• 内存效率低：全稠密体素表示使显存开销随分辨率呈立方增长，难以扩展到高分辨率的工业级资产。
• 跨表征泛化弱：VoMP 对输入网格或点云的处理缺乏自适应稀疏性，不同形状被迫采用相同的全局栅格，无法根据局部几何复杂度动态分配计算资源。

技术挑战与重要性

从任意 3D 形状推断空间变化的材料属性是一个病态问题：输入仅提供几何与视觉特征，而材料常与结构功能相关，且真实世界物体常由多部件、多材料组成，其分布可能高度非均匀。技术上需要模型同时具备：

1. 自适应的空间表示：能够为不同形状自动生成高效的非均匀体素层级，在材料梯度大的区域使用细粒度栅格，平坦区域使用粗粒度。
2. 物理一致性：预测的 E、ν、ρ 必须联合满足体积质量守恒与可形变模拟的数值稳定性。
3. 可扩展性：模型在测试阶段的计算与存储开销应可控，以支持大规模资产处理。

该问题直接关系到 模拟就绪资产 的自动化生成，被仿真引擎（如 NVIDIA Isaac Sim）、机器人抓取规划和物理增强的 3D 生成社区广泛关注。

行业类比

该任务可类比 3D 视觉中的自编码隐式场重建，但要求输出不是纯几何，而是具备物理单位约束的稠密材料场，类似为每个 3D 点赋予一个物理身份，驱动仿真结果从“看起来像”走向“行为真实”.

核心洞察

• 自适应稀疏体素结构（SAV）将几何表示与材料场预测统一在同一个稀疏层次化数据格式中，避免了传统固定分辨率体素在存储和计算上的浪费，使得在 16³ 倍更高有效分辨率下仍能保持较低的内存占用和推理延迟。
• 将材料场预测建模为自回归序列生成任务，通过稀疏 Transformer 逐体素生成材料属性，使网络能主动学习体素间的空间依赖关系，相比一次性回归的 MLP 或 3D CNN 方法，更擅长处理物体内部的非均匀材料分布和复杂拓扑。
• 利用预训练的 DINOv3 视觉特征作为几何编码器的输入，将 2D 多视图外观信息提升为 3D 体素特征，建立了从物体视觉外观到物理材料属性的跨模态映射，使得未见过形状的零样本力学属性预测成为可能，显著降低了力学仿真资产的准备成本。

方法

输入与特征提取

输入为未标注材质的 3D 物体（网格或点云）。首先通过多视角渲染获得固定视角图像，用 DINOv3 提取视觉特征，再反投影至三维空间并聚合至 稀疏自适应体素 (SAV) 结构。SAV 以多分辨率树表示形状，仅在物体表面附近分配体素，相比均匀网格大幅降低存储。

核心模块：结构预测与材料生成

自适应几何 Transformer：一个稀疏 Transformer 编码器-解码器，接收形状 SAV 并自回归预测新的材料 SAV 拓扑。自回归指逐层、逐节点地决定子节点存在性与空间偏移，使得输出 SAV 在局部材料变化剧烈处自动细化，最大等效分辨率可达先前方法 VoMP 的 (16^3) 倍。

自适应材料生成器 MatVAE：在生成的 SAV 上，用变分自编码器 (VAE) 对每个叶子节点输出 ((E, \nu, \rho)) 三通道值。VAE 通过 KL 散度与重建损失联合训练，使材料预测既准确又符合物理合理性。

训练目标

训练包含两个监督分支：

• 结构监督：对比预测 SAV 与真实材料树的节点存在层级分布，采用二元交叉熵。
• 材料监督：在叶子节点计算 绝对对数差异误差 (ALDE) 等回归损失，并结合 VAE 的证据下界 (ELBO)。

输出与应用

最终得到与输入形状对齐的自适应材料场，支持任意分辨率查询并占用极低内存。该场可直接注入有限元 (FEM) 或 Simplicits 等模拟框架，实现真实感可变形仿真。

与同类方法的差异

相比 VoMP 固定的高分辨率体素网格，AdaVoMP 用自回归稀疏结构自适应生成材料场，在同等甚至更低计算量下达到更高精度与空间分辨率，并天然避免了对空缺区域的冗余计算。

实验

实验设计围绕验证 AdaVoMP 在预测空间变化机械属性（E, ν, ρ）上的有效性。输入为多种表示的 3D 物体，输出为密集的体积材料场。核心对比基线是固定体素的 VoMP 方法，以及可能的其他静态推断方法。评估在自带数据集上进行（未见公开数据集名称），涵盖不同分辨率与复杂度物体。度量包括绝对差值误差（ADE）、对数绝对差值误差（ALDE）、平均相对误差（ARE）和最小比率误差（MnRE），同时结合基于仿真的位移误差以评估物理真实性。

关键发现：

• 分辨率大幅提升：使用稀疏自适应体素（SAV）结构，将材料场分辨率较 VoMP 提高 16³ 倍，同时保持或提升精度。
• 效率与精度的平衡：即使在测试时计算资源更少的情况下，AdaVoMP 也能给出更准确的属性，归功于 SAV 只在几何表面与材料变化区域分配体素，大幅减少冗余。
• 泛化性与表达能力：基于稀疏 transformer 的自回归生成能针对每个形状产生独特 SAV 拓扑，捕捉复杂内部材料分布，从而在后续可变形仿真中呈现更真实的行为。

与基线对比的深入解读：VoMP 采用固定分辨率体素网格，面对高细节物体时计算和存储开销极大，且容易在材料突变边界产生伪影。AdaVoMP 的创新在于将形状表达与材料场统一于自适应树状体素结构，并通过自回归方式确定体素细分位置，使模型能够动态分配计算以聚焦于几何与材料变化剧烈的区域。由此获得的精度提升并非简单增加分辨率的粗暴堆积，而是结构效率的优化——内存占用与计算量均显著低于固定体素方案，同时避免了插值导致的模糊。这表明针对体积属性推断，自适应表达与数据驱动的拓扑生成相结合是一条高效且物理可信的路径。

行业影响

落地场景

AdaVoMP 能从任意 3D 形状自动推断空间变化的杨氏模量、泊松比和密度，填补了大多 3D 资产缺乏物理材质信息的空白。主要场景涵盖：

• 游戏与影视制作：将大量资产批量转为可模拟物体（如可破碎墙壁、柔性布料），加速特效迭代。
• 数字孪生与工业仿真：扫描实物得到的网格模型，直接生成材料属性场用于有限元分析或碰撞响应，省去人工校准。
• AR/VR 与混合现实：对现实环境扫描后实时赋予材质，使虚拟物体与真实表面交互更合理（例如虚拟球反弹需知道桌面刚度）。
• 电商 3D 商品展示：为家具、鞋服等商品模型赋予合理物理参数，支持模拟坐垫变形、布料垂感等互动，提升用户决策信心。

商业价值

• 降本：传统手工为每个零件指定材料参数极其耗时，对大规模资产库（如电商百万 SKU）可实现全自动标注，节省大量美术与工程人力。
• 增效：稀疏自适应体素结构内存占用低，在普通 GPU 上即可处理高精度模型，使整个物理资产准备流程提速，同时分辨率高出已有方法 16³ 倍。
• 体验升级：更精确的变形模拟直接提升游戏沉浸感、电商交互转化率以及仿真训练的迁移效果，形成差异化竞争力。

与现有工作流的接口

AdaVoMP 采用稀疏自适应体素（SAV）作为统一表示，易于对接现有图形与物理管线：

• 输入：接收多边形网格或多视图图像，可利用 DINOv3 视觉特征抽取几何与纹理线索。适合制作成 Blender、Unreal Engine 的 Python 插件，作为“材质推断”预处理步骤。
• 输出：导出每体素的 (E, ν, ρ) 场，直接映射到仿真引擎（如 NVIDIA PhysX、Isaac Sim）的稀疏张量或哈希表格式，无需额外格式转换。
• 集成位置：插入在模型导入和物理模拟之间，不改动现有资产创作流程，仅增加一个自动推理模块。

具体落地用例

1. 电商平台 3D 商品材质自动赋予
   某电商平台拥有数百万家具 3D 模型，以往无法提供真实物理交互。使用 AdaVoMP，从模型多视角渲染直接预测各部位材质，生成 simulation-ready 资产，支撑 AR 试摆中坐垫下压、门板闭合等效果，手工标注成本降为零，转化率预期提升。

2. 机器人仿真场景快速构建
   在 Isaac Sim 中搭建家庭环境时，常有从真实房间扫描重建的杂乱网格，需要人工逐件定义物理材质。集成 AdaVoMP 后，仅需导入网格，即可自动生成稠密属性场，大幅缩短仿真就绪时间，且保持操作任务训练的真实感。

局限

• 训练数据依赖合成数据集，材料的 ground truth 来自粒子标注的每个部件（per-part），可能难以捕捉真实世界中连续变化的材料属性（如渐变杨氏模量）。对未见过的复杂拓扑或开放表面形状的泛化性需进一步验证。
• 尽管稀疏自适应体素（SAV）提升了内存效率，但自回归生成 SAV 的过程需要顺序步骤，随着分辨率提高树深度增加，推理时间可能成为瓶颈。在大规模场景或实时应用中的可行性未充分探讨。
• 当前方法假设输入形状是封闭的占据网格，依赖于多视图 DINOv3 特征，对于缺乏纹理或仅有部分扫描的资产，特征质量可能下降，导致材料预测错误。