MeshWeaver：稀疏体素引导的表面编织用于自回归网格生成

TL;DR MeshWeaver 以表面编织方式自回归生成网格，借助多级稀疏体素引导顶点预测，将压缩比提升至 18% 并支持高达 16K 面的高保真网格。

问题

自动网格生成 旨在让模型直接输出结构规整、拓扑整洁的多边形网格，以替代现有从隐式场提取网格的方式，后者虽易学习但常产生过度细密、拓扑复杂的结果，不利于编辑和变形。

现有方法的根本局限

当前主流的 自回归网格生成 方法将网格离散化为 token 序列，模仿语言模型逐 token 预测。但是，这类方案存在两个互相关联的结构性缺陷：

• Tokenization 效率极低：每个坐标独立 tokenize，导致序列长度随面数线性膨胀。生成一个中等复杂度的 4K 面网格就需要近 24K tokens，使得自回归解码难以扩展到高多边形网格。
• 几何引导完全缺失：生成时仅以全局形状嵌入（shape embedding）作为条件，无法感知局部表面特征，模型缺乏关于顶点分布、邻接关系的细粒度几何约束，极易产生畸变或不连续表面。

技术挑战与重要性

技术挑战 在于：网格是一种非欧几里德、不规则结构，很难像图像或体素一样被线性序列高效编码。既要保持 token 的紧凑性，又必须在序列预测中注入精确的 3D 几何信息，这对序列建模和表示学习提出双重挑战。

业界关注度 持续攀升：游戏引擎、物理仿真、虚拟现实等管线极度依赖拓扑干净、可编辑的高质量网格，而人工创建耗时费力。自动生成能够输出“艺术家级”网格的模型，可直接加速内容生产流程，因此成为生成式 AI 在 3D 领域的关键瓶颈。

如同纹理合成中缺少局部特征匹配会导致重复和模糊，网格生成若缺乏逐顶点的几何引导，就难以恢复出忠实于输入形状的精细表面。

核心洞察

• MeshWeaver将网格生成重新定义为表面编织过程，直接预测下一个顶点而非拆分坐标序列。这不同于PolyGen等将顶点坐标量化为离散token的方法，避免了坐标之间独立解码带来的拓扑断裂，使得顶点预测能隐式学习邻近顶点的空间关系，从而生成更连贯的网格表面，自然地保持边与面的拓扑结构，无需后处理校正。
• MeshWeaver的多级稀疏体素编码器以三种互补方式注入几何上下文：提供顶点特征、通过交叉注意力引导预测、作为结构骨架约束生成范围。这与仅依赖全局形状嵌入的方法（如MeshGPT）形成鲜明对比，后者缺乏局部表面线索，容易偏离目标形状。该设计使生成过程受到显式几何约束，显著提升了与输入条件（如点云）的形状一致性。
• 通过顶点级tokenization，MeshWeaver将网格token序列长度压缩至原始的18%，直接缓解了自回归模型对高面数网格的扩展瓶颈。以往方法因长序列导致推理缓慢且难以训练，而MeshWeaver在相同模型容量下能够生成高达16K面的网格，同时保持细节，为自回归网格生成的实用化奠定了效率基础。

方法

输入与条件

MeshWeaver 以点云或体素化形状作为条件输入，旨在生成拓扑干净、高几何保真度的三角网格。输入首先被转换为多层级稀疏体素网格，用于提取几何上下文。

顶点级网格标记化

框架提出一种顶点级标记化策略：不再将网格离散为独立的面片或坐标三元组，而是将每个顶点视为一个 token，并将网格表示为有序的顶点序列。该序列遵循精心设计的遍历顺序（如沿表面传播），使模型能够显式建模顶点间的拓扑关系，同时大幅压缩序列长度（压缩率达 18%），从而支持生成高面数网格（最高 16K 面）。

多层级稀疏体素编码器

核心模块是多层级稀疏体素编码器，它从输入条件中提取层次化的几何特征，并以三种方式注入生成过程：

• 顶点表示：直接使用体素特征作为对应位置上的顶点嵌入，将几何先验融入 token 表示；
• 交叉注意力引导：解码器在自回归预测时，通过交叉注意力层与多层级体素特征交互，使每一步顶点预测都能感知局部表面几何；
• 结构支架：体素占据信息作为硬约束，将生成候选顶点限制在输入表面附近，避免几何偏差。

自回归解码与粗-细预测

解码器采用自回归 Transformer，每一步基于已生成的顶点序列和交叉注意力提取的几何上下文，直接预测下一个顶点的坐标。通过单步解码中集成不同层级的体素特征，模型隐式实现粗-细（coarse-to-fine） 的顶点预测：早期解码步骤在高层级特征的引导下决定整体拓扑走向，后续步骤则在低层级特征约束下细化局部几何。

输出与训练

最终输出为完整顶点序列，经后处理连接成三角网格。训练使用下一顶点预测的交叉熵损失（对离散化的坐标空间）或回归损失，并引入加速训练技术（如序列截断、混合精度）以降低计算开销。

与同类方法的差异：不同于 MeshGPT 等将网格视为坐标序列或面序列的方法，MeshWeaver 通过顶点级标记化与稀疏体素几何引导，在单步自回归中同时完成拓扑构建与几何细化，显著提升了压缩效率和几何保真度。

实验

实验围绕点云条件网格生成展开，评估 MeshWeaver 在 tokenization 效率、几何保真度和高面数生成上的表现。基线包括基于坐标分量的 tokenization 方法（如 MeshGPT）和仅靠全局形状嵌入的模型。

关键发现：MeshWeaver 的顶点预测范式配合多级稀疏体素编码器，将网格压缩率提升至 18% 的 SOTA 水平，并成功生成高达 16K 面的网格。消融实验证实，体素特征作为顶点表示、交叉注意力引导以及结构约束三者互补，移除任一部分都会显著降低生成质量。其粗到细的单步解码设计在效率与精度之间取得平衡。

与基线对比，MeshWeaver 通过注入局部几何上下文，解决了坐标分片带来的长序列瓶颈，避免无效生成；生成的网格具有更 clean 的拓扑，更接近人工建模风格，利于下游编辑与变形，而隐式方法提取的网格常带有过度镶嵌和拓扑噪声。

行业影响

落地场景

MeshWeaver 可直接嵌入需要高质量三维内容生成的工业管线，尤其适合 游戏与影视资产创建、AR/VR 虚拟场景构建 以及 电商 3D 商品展示。例如，在 电商平台 中，商家仅需上传商品的多视角照片或稀疏点云，系统即可自动生成拓扑干净、可编辑的 3D 模型，用于 AR 试穿或交互预览。在 自动驾驶仿真 中，可基于雷达点云快速重建道路与建筑网格，提升虚拟环境真实感。

商业价值

该框架通过 压缩比 18% 的 tokenization 效率与 16K 面 的高精度输出，直接降低三维资产制作的人力成本与存储成本。对 游戏行业 而言，同等精度下模型文件体积缩减约 5 倍，节省了网络传输与实时渲染的带宽和显存；对 内容平台，自动化生成使 UGC 创作者的 3D 内容产量可提升数倍，从而带动用户活跃与广告变现。此外，拓扑友好的网格减少了后期手动清理的时间，使中小团队能够以更低的成本获得专业级资产。

与现有工作流集成

MeshWeaver 采用自回归生成范式，可无缝接入现有的 Transformer 推理堆栈（如 vLLM），并通过 稀疏体素编码器 与主流 3D 感知模块（如点云特征提取器）对接。具体集成方式包括：

• 作为 微服务 API，接收点云或体素输入，返回 .obj 网格文件，直接部署在 AWS / 阿里云等平台。
• 作为 Blender / Maya 插件，在建模软件中提供“草图→模型”的实时生成能力，辅助艺术家快速打草稿。
• 嵌入 3D 资产生产线，与现有扫描设备（如手机深度传感器、激光雷达）组合，形成从采集到可编辑网格的 end‑to‑end 自动化流程。

典型用例：一家 AR 电商平台 将 MeshWeaver 部署为 SaaS 服务，商家拍摄商品视频上传后，系统自动生成可交互的 3D 模型，相比手工建模成本降低 40%，模型上线周期从天级缩短到分钟级。另一用例是 游戏引擎（Unity/Unreal）资产商店，利用该框架快速生成风格化场景道具，使独立开发者能够以极低成本填充游戏世界。

局限

• - **条件生成限制**：论文实验主要聚焦于点云条件下的网格生成，将点云作为输入来引导表面编织。虽然这展示了强大的几何重建能力，但该方法对其他模态（如单视图/多视图图像、3D扫描碎片、文本描述）的适应性未经验证。若要扩展到这些任务，需要额外的编码器或投影层将异构输入映射到点云或直接修改体素编码器，这可能会破坏原有的优雅设计并带来性能衰减。因此，当前框架的应用场景可能局限于点云重建或条件生成。
• - **体素分辨率权衡**：多级稀疏体素编码器引入了体素分辨率这一关键超参数。低分辨率会导致几何细节丢失，高分辨率则增加计算和内存开销，特别是在自回归解码中需要反复查询体素特征。论文未深入讨论分辨率设置对生成质量和效率的敏感性，也未提供自适应分辨率策略，这可能导致在未知数据分布上需要繁琐的手动调参。此外，稀疏体素结构对点云噪声和离群点敏感，可能破坏结构支架的约束精度。
• - **自回归解码的拓扑保障缺失**：尽管MeshWeaver通过顶点坐标预测和交叉注意力增强了局部几何连贯性，但自回归逐个顶点生成的方式仍缺乏全局拓扑约束。生成的网格可能出现非流形边、自相交或法线翻转等缺陷，尤其是在生成长而薄的结构时。论文未提出专门的拓扑正则化或后处理，可能导致后续编辑和物理模拟遇到困难。同时，顺序生成本质不适合完全并行化，对于需要毫秒级响应的实时应用，推理延迟可能成为瓶颈。