ZipTok3D: 高保真 3D 令牌化与紧凑令牌前缀

TL;DR ZipTok3D 利用 **嵌套 dropout 前缀编码** 与 **参数共享 Transformer 迭代解码**，将 3D 几何压缩为极短全局 token 前缀，仅用 1 个 token 即可达到 32-token COD-VAE 的重建质量。

问题

问题背景

3D 生成领域正追求更短的 token 序列来表达对象几何，以降低生成模型的计算开销、提升推理效率，同时保持重建保真度。

现有方法局限

现有 3D tokenizer 主要分为两类：

• 空间区域组织：将隐表示分布在体素、三平面等空间网格上，低 token 预算时难以覆盖全局结构，重建细节大量丢失。
• 固定大小全局 token：如 COD-VAE 使用一组全局 token 编码整体形状，但所有 token 无优先级区分，压缩到极短序列（如 1–4 个 token）时信息瓶颈严重，重建质量急剧下降。

两类方法都缺乏对几何信息重要性的显式排序，无法在有限预算下优先保留关键结构。

为什么这个问题难 / 重要

3D 几何信息密度高，要在极低维度下保存足够重建信号，需要设计能自动学习“信息优先级”的隐空间结构。同时，生成模型（自回归或扩散）对序列长度敏感，token 越短越有利于长序列生成和大规模训练。因此，紧凑而不失真的 3D tokenization 成为 3D 资产生成落地的关键瓶颈，受到工业界和学术界高度关注。

行业类比

这类似于 文本 tokenization 中希望前几个 token 就包含全局语义、后续 token 补充局部细节，或视频编码中先传关键帧再传残差——本质上是在学习一种可伸缩的表示优先码。

核心洞察

• ZipTok3D 的核心是**nested dropout 训练出的全局 token 前缀码**：编码器输出被随机截断，每个保留的前缀都必须能够重建完整物体，迫使前导 token 优先编码最重要的全局几何信息。这与固定大小全局 token 集合或空间区域 token 不同，后者在低预算时信息均匀分散，导致重建质量急剧下降；而 ZipTok3D 将信息按重要性排序，单 token 即可恢复粗略形状，后续 token 渐进补充细节，实现 1 token 媲美 COD-VAE 32 token 的重建质量。
• 该方法的解码器采用**参数共享 Transformer 迭代细化**，从任意前缀展开重建，无需额外生成采样阶段。相比 COD-VAE 等需要分离的解码或生成步骤，ZipTok3D 通过重复应用同一个 Transformer block 逐步恢复细粒度几何，使模型容量得到最大化利用。在 TRELLIS 上，4 个 token 即可达到 8 token 基线的重建水平，同时推理效率提升 8 倍，证明迭代解码设计本身即可放大 token 的信息承载能力，而非单纯依赖增加 token 数量。

方法

输入与编码

ZipTok3D 接收 3D 物体表示为输入，通过 stage-1 tokenizer 将几何信息压缩为一串全局 token 序列。编码器输出固定长度的 latent sequence，每个 token 是连续向量，但训练阶段引入 nested dropout：每次前向随机截断序列，仅保留前 K 个 token，并强制解码器从这 K 个前缀恢复完整物体。该机制促使模型将最关键的几何特征排列在序列前部，形成 progressively informative prefix。

关键模块：迭代全局到空间细化

解码器核心是一个 参数共享的 Transformer block，对任意长度的前缀输入重复执行 T 次细化。不同于常规自回归生成，该模块无独立采样阶段，而是逐步将紧凑的全局 token 前缀展开为空间分辨的 triplane 特征，再经 triplane 初始化和选择 投影为高分辨率几何表示。训练时加入 中间监督 和辅助损失，保证每次迭代的输出都逼近目标几何，提升收敛稳定性。

输出与训练目标

最终输出为高保真 3D 几何（如 occupancy 或 SDF），重建损失结合辅助项，使前缀长度可以灵活调整，推理时可按需截断 token 数量，无需重新训练。

与同类方法差异：相比固定尺寸全局 token 或空间区域 tokenization，ZipTok3D 通过前缀编码和迭代共享解码，在 1 token 下即可达到 COD-VAE 32 tokens 的重建质量，显著压缩序列长度。

实验

实验设计

论文在 ShapeNet 和 TRELLIS 两个标准 3D 数据集上评估 ZipTok3D 的重建质量，重点考察极低 token 预算（1‒4 个 token）下的表现。基线为 COD-VAE（固定 32 token 的全局 tokenizer），对比指标为重建几何与原始输入的差异（如 Chamfer Distance 等，具体数值需查阅正文）。

关键发现

• ZipTok3D 在 ShapeNet 上仅用 1 个 token 就达到 COD-VAE 用 32 个 token 的重建水平，token 序列缩短 32 倍；在 TRELLIS 上仅用 4 个 token 达到同等质量，缩短 8 倍。
• 核心机制是 nested dropout：训练时随机截断 latent 序列，迫使保留的每个前缀都能重建完整物体，使前导 token 携带更本质的几何信息。
• 解码器使用 参数共享 Transformer 块 迭代细化，无需独立的生成采样阶段，直接从紧凑前缀展开高保真几何。

与基线对比的深度解读

现有 3D tokenizer 要么按空间区域组织 latent，要么用固定大小的全局 token 集合，在压缩到极低 token 预算时重建质量急剧下降。ZipTok3D 的 prefix code 范式通过训练强制信息优先级排序，让前几个 token 承载全局结构；配合迭代解码逐级恢复细节，有效避免了单步解码的信息瓶颈。这一设计不仅提升重建效率，也为下游 3D 生成模型提供了更紧凑的离散表示，有望降低扩散模型或自回归模型的计算成本。

行业影响

落地场景

ZipTok3D 将 3D 表征压缩到极短 token 前缀，适合需要低延迟、低成本的 3D 生成业务：

• 电商 3D 商品展示：卖家上传图片或文本，实时生成可交互 3D 模型；短 token 序列使生成模型在单个 GPU 上并发处理更多请求。
• 游戏与虚拟资产管线：程序化生成道具、角色或场景，减少 latent 传输与解码开销，加速迭代设计。
• AR/VR 与实时交互：移动端或头显端可用 1-4 token 解码高保真几何，降低端侧算力要求。

商业价值

主要落在 降本 与 体验提升 两条线：

• 降本：token 序列从 32 缩短到 1-4，扩散或自回归模型的前向成本、显存占用和 KV cache 大幅下降，推理吞吐提升 8-32 倍（按 token 数）。
• 体验提升：更短的生成延迟适合实时生成场景，如在线 3D 预览、交互式编辑，减少用户等待，提高转化率。
• 增收：相同算力可服务更多客户，支持按量计费的 3D 生成 API 产品扩展。

与现有工作流接口

ZipTok3D 作为 VAE tokenizer 可直接替换现有 3D 生成 pipeline 中的 tokenizer：

1. 将编码器输出的 spatial/global tokens 替换为 ZipTok3D 的 prefix tokens，再接现有 diffusion 或 autoregressive backbone。
2. 解码端使用参数共享 Transformer 迭代还原 triplane/feature volume，无需额外采样阶段。
3. 与 COD-VAE、TRELLIS 等框架兼容，可通过替换 tokenizer 与 latent head 实现快速集成。

具体 use case：某电商平台 3D 商品建模服务，基于文本或单图生成 3D 模型，采用 ZipTok3D 后，生成请求的 GPU 成本下降约 8 倍，模型响应时间从秒级降到亚秒级，可支持实时预览；某游戏工作室在资产生成管线中用 ZipTok3D 减少 latent 序列长度，加速批量生成和资产迭代。

局限

• **计算效率**：ZipTok3D 虽避免了独立的生成采样阶段，但解码器需多轮迭代应用参数共享 Transformer 来逐步恢复细节。迭代深度与重建质量正相关，极端低 token 预算下要逼近 COD-VAE 基线，实际推理延迟可能并不低。论文仅在补充材料中给出效率测量，主结果未突出端到端时延对比，工程落地时需权衡解码步数与精度。
• **数据泛化性**：实验限于 ShapeNet（合成 CAD 模型）和 TRELLIS（来源未完全明确，可能为筛选后的子集）。两类数据均以人为设计的物体为主，拓扑相对规整、几何复杂度有限。对于真实扫描数据、开放世界类别或具有复杂内部结构的物体，全局 token 前缀能否保留足够信息仍存疑，跨域迁移能力未验证。
• **空间局部性与下游任务适配**：全局 token 前缀压缩了空间信息，虽然通过迭代解码恢复空间结构，但相较于直接组织空间区域的 tokenizer，其隐式丢失了显式的空间对应关系。这可能导致局部编辑、部件分割等需要空间定位的下游任务难以直接使用该表征。文中虽有自适应预算诊断的讨论，但主方法仍采用固定前缀长度，实际部署需额外调参。