TRELLIS.2

面向 3D 生成的原生紧凑结构潜空间

https://github.com/user-attachments/assets/63b43a7e-acc7-4c81-a900-6da450527d8f

（因 GitHub 大小限制为压缩版本。完整质量视频请参阅我们的项目主页！）

TRELLIS.2 是一个最先进的大规模 3D 生成模型（40 亿参数），专为高保真 图像到 3D（image-to-3D） 生成而设计。它利用一种称为 O-Voxel 的新型"无场"（field-free）稀疏体素结构，来重建和生成具有复杂拓扑、锐利特征和完整 PBR 材质的任意 3D 资产。

✨ 特性

1. 高质量、高分辨率与高效率

我们的 40 亿参数模型使用标准 DiT（Diffusion Transformer），能够以出色的保真度和效率生成高分辨率、完全纹理化的资产。它采用 16 倍空间下采样的稀疏 3D VAE，将资产编码为紧凑的潜空间表示。

分辨率	总耗时*	细分（形状 + 材质）
512³	~3s	2s + 1s
1024³	~17s	10s + 7s
1536³	~60s	35s + 25s

*在 NVIDIA H100 GPU 上测试。

2. 任意拓扑结构支持

O-Voxel 表示突破了等值面场（iso-surface field）的限制，能够无损地稳健处理复杂结构：

• ✅ 开放表面（如衣物、树叶）
• ✅ 非流形几何
• ✅ 内部封闭结构

3. 丰富的纹理建模

除了基础颜色，TRELLIS.2 还能建模任意表面属性，包括基础色（Base Color）、粗糙度（Roughness）、金属度（Metallic）和不透明度（Opacity），从而实现照片级渲染和透明支持。

4. 极简处理流程

数据处理流程经过精简，可即时转换，且完全无需渲染、无需优化。

• < 10s（单 CPU）：纹理网格 → O-Voxel
• < 100ms（CUDA）：O-Voxel → 纹理网格

🗺️ 路线图

• 论文发布
• 发布图像到 3D 的推理代码
• 发布预训练权重（4B）
• Hugging Face Spaces 演示
• 发布形状条件纹理生成推理代码
• 发布训练代码

🛠️ 安装

环境要求

• 系统：目前仅在 Linux 上测试过。
• 硬件：需要至少 24GB 显存的 NVIDIA GPU，已在 NVIDIA A100 和 H100 GPU 上验证。
• 软件：
  • 需要 CUDA Toolkit 来编译某些包，推荐版本为 12.4。
  • 推荐使用 Conda 管理依赖。
  • 需要 Python 3.8 或更高版本。

安装步骤

1. 克隆仓库：

   git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive
   cd TRELLIS.2
   

2. 安装依赖：

   在运行以下命令前，请注意以下几点：

   • 添加 --new-env 会创建一个名为 trellis2 的新 conda 环境。如果你想使用现有的 conda 环境，请移除该标志。
   • 默认情况下，trellis2 环境使用 CUDA 12.4 的 PyTorch 2.6.0。如果你想使用不同版本的 CUDA，可以移除 --new-env 标志并手动安装所需依赖。安装命令请参考 PyTorch。
   • 如果你安装了多个 CUDA Toolkit 版本，运行命令前应将 CUDA_HOME 设置为正确的版本。例如，如果你安装了 CUDA Toolkit 12.4 和 13.0，可以在运行命令前执行 export CUDA_HOME=/usr/local/cuda-12.4。
   • 默认情况下，代码使用 flash-attn 作为注意力后端。对于不支持 flash-attn 的 GPU（如 NVIDIA V100），你可以手动安装 xformers 并在运行代码前将环境变量 ATTN_BACKEND 设置为 xformers。更多细节请参阅 最小示例。