modly
本地 AI 驱动的图像转 3D 建模桌面应用,在 GPU 上运行开源模型把照片生成可编辑网格。支持 Windows/Linux/Apple Silicon,提供可视化工作流编排和模型扩展系统,可接入 Hunyuan3D、TripoSG 等模型,还带一套 CLI 供 agent 自动调用。亮点是全本地推理保护隐私、扩展生态灵活,MIT 协议但要求衍生项目保留署名。
README
Modly
本地、开源、AI 驱动的图像转 3D 网格生成。 将任意照片转换为 3D 模型,使用开源 AI 模型,完全在你的 GPU 上运行。 Modly 是一款适用于 Windows、Linux 和 Apple Silicon macOS 的桌面应用。
由 Lightning Pixel 创建
下载
前往 Releases 页面下载适用于 Windows、Linux 或 Apple Silicon macOS 的最新安装包。
或者,你可以克隆仓库并直接运行应用,无需安装:
# Windows
launch.bat
# Linux / macOS
./launch.sh
快速开始
1. 安装 JS 依赖
npm install
2. 设置 Python 后端
cd api
python -m venv .venv
.venv\Scripts\activate # Windows
source .venv/bin/activate # Linux / macOS
pip install -r requirements.txt
3. 以开发模式运行
npm run dev
4. 测试
npm test
./node_modules/.bin/tsc --noEmit -p tsconfig.node.json
npm run build
平台说明
- macOS 支持仅面向 Apple Silicon。
- macOS 使用原生窗口控件。Windows 和 Linux 保留现有的自定义控件。
- 顶部栏包含来自主进程的实时 RAM(内存)指示器。
- 工作流连接在运行前会进行校验;无效的图会保留在原处,并以内联/提示条警告的形式显示,而不是丢弃当前的网格视图。
- 使用
npm run package:mac打包 Apple Silicon macOS 版本。 - 导入的网格可在应用内进行平滑和减面处理;优化结果会写回工作区。
扩展系统
Modly 支持外部模型和流程扩展。每个扩展都是一个 GitHub 仓库,包含 manifest.json 以及运行其类型所需的相关运行时入口文件。
官方扩展
如何安装扩展
1. 前往 模型(Models) 页面,点击 从 GitHub 安装(Install from GitHub)。
![]()
2. 输入扩展仓库的 HTTPS URL 并确认。
![]()
3. 如果扩展提供模型节点,请下载模型或其某个变体。流程扩展在安装和设置完成后即可使用。
![]()
工作流
先从基础工作流开始。例如,在 "Workflows"(工作流)标签页中,尝试:图像(Image)-> 生成网格(Generate Mesh)-> 添加到场景(Add to Scene)。确保每个步骤之间都有连接。进入 "Generate"(生成)标签页,确认已选择工作流,然后点击 "Generate 3D Model"(生成 3D 模型)。点击 "Settings/Logs/Errors"(设置/日志/错误)可查看任何问题。
Modly CLI
Agent 和脚本可以在不使用 UI 的情况下,通过仅依赖 Python 标准库的 CLI 调用正在运行的 Modly 桌面应用。该 CLI 是 Modly 规范自动化概念的轻量辅助工具,并将最终的机器可读 JSON 输出到 stdout:
python tools/modly-cli/agent.py health
python tools/modly-cli/agent.py model list
python tools/modly-cli/agent.py workflow-run status <run_id>
python tools/modly-cli/agent.py generate --image ./input.png --output ./export.glb
规范命令为 health、model、workflow-run、capability 和 process-run。便捷的 generate 命令会发起 POST /workflow-runs/from-image 请求,轮询返回的运行状态,按需导出最终网格,并在 JSON 响应中包含恢复元数据,例如 workflow-run status ... 和 workflow-run cancel ...。
兼容层与辅助层是有意分离的:legacy 包装旧的 /generate/* 任务端点;dev serve-api / dev ensure-server 仅启动 FastAPI 后端,并不证明 Electron/Desktop 桥接已就绪;experimental comfy-image / experimental generate-from-workflow 是外部的 ComfyUI 编排辅助工具,而非规范的 Modly agent 契约。status、export 和 batch 等隐藏的辅助别名仍可被脚本解析,但不会被呈现为规范根命令。
experimental generate-from-workflow --workflow <name> --output <path> 将 --output 视为最终产物位置。当 ComfyUI 工作流生成可下载的 3D 资源时,CLI 会直接下载;仅包含图像的工作流仍作为兼容路径,经由 Modly 的图像转 3D 生成处理。
有关 agent 工作流和输出约定,请参阅 tools/modly-cli/SKILL.md。
社区
加入 Discord 服务器,及时了解最新消息、报告 bug 并分享反馈。
赞助商
感谢我们的早期赞助商对 Modly 的信任,并帮助让本地 AI 3D 生成更加普及。
DrHepa
benjapenjamin
iammojogo-sudo
许可证
MIT 许可证 — 详见 LICENSE。
如果你 fork 此项目并基于它构建自己的应用,你必须注明原始项目及其创建者:
基于 Modly,作者 Lightning Pixel
这是 MIT 许可证署名条款的要求。请将此致谢信息保留在你的应用界面或文档中。