UI-TARS-desktop

简介

English | 简体中文

TARS* 是一个多模态 AI Agent 技术栈，目前包含两个项目：Agent TARS 和 UI-TARS-desktop：

Agent TARS	UI-TARS-desktop
Agent TARS 是一个通用多模态 AI Agent 技术栈，它将 GUI Agent（图形用户界面代理）和视觉能力带入你的终端、计算机、浏览器和产品。 主要提供 CLI（命令行界面） 和 Web UI（网页界面） 两种使用方式。 它旨在通过前沿的多模态大语言模型（LLM）以及与各种真实世界 MCP（模型上下文协议）工具的无缝集成，提供更接近人类的任务完成工作流。	UI-TARS Desktop 是一个桌面应用程序，提供基于 UI-TARS 模型的原生 GUI Agent（图形用户界面代理）。 主要提供 本地 和 远程 计算机操作器以及浏览器操作器。

目录

• 新闻
• Agent TARS
  • 演示
  • 核心功能
  • 快速开始
  • 文档
• UI-TARS Desktop
  • 演示
  • 功能特性
  • 快速开始
• 贡献指南
• 许可证
• 引用

新闻

• [2025-11-05] 🎉 我们激动地宣布发布 Agent TARS CLI v0.3.0！此版本为多个工具（shell 命令、多文件结构化显示）添加了流式支持，内置运行时设置（包含工具调用和深度思考的计时统计），以及用于数据流跟踪和调试的事件流查看器。此外，它独家支持 AIO agent Sandbox 作为隔离的一体化工具执行环境。
• [2025-06-25] 我们发布了 Agent TARS Beta 和 Agent TARS CLI - Introducing Agent TARS Beta，这是一个多模态 AI Agent，旨在通过丰富的多模态能力（如 GUI Agent、视觉）以及与各种真实世界工具的无缝集成，探索更接近人类的完成任务的工作形式。
• [2025-06-12] - 🎁 我们非常高兴地宣布 UI-TARS Desktop v0.2.0 发布！此版本引入了两项强大的新功能：远程计算机操作器 和 远程浏览器操作器——完全免费。无需配置：只需点击即可远程控制任何计算机或浏览器，体验全新的便捷与智能。
• [2025-04-17] - 🎉 我们很高兴地宣布新的 UI-TARS Desktop 应用程序 v0.1.0 发布，其特点是重新设计的 Agent 用户界面。该应用程序增强了计算机操作体验，引入了新的浏览器操作功能，并支持 先进的 UI-TARS-1.5 模型，以获得更佳性能和精确控制。
• [2025-02-20] - 📦 推出了 UI TARS SDK，这是一个用于构建 GUI 自动化 Agent 的强大跨平台工具包。
• [2025-01-23] - 🚀 我们更新了 云部署 部分（中文版：GUI模型部署教程），添加了与 ModelScope 平台相关的新信息。现在你可以使用 ModelScope 平台进行部署。

Agent TARS

Agent TARS 是一个通用多模态 AI Agent 技术栈，它将 GUI Agent（图形用户界面代理）和视觉能力带入你的终端、计算机、浏览器和产品。

主要提供 CLI（命令行界面） 和 Web UI（网页界面） 两种使用方式。 它旨在通过前沿的多模态大语言模型（LLM）以及与各种真实世界 MCP（模型上下文协议）工具的无缝集成，提供更接近人类的任务完成工作流。

演示

请帮我在 Priceline 上预订9月1日从圣何塞飞往纽约的最早航班，以及9月6日最晚的返程航班。

https://github.com/user-attachments/assets/772b0eef-aef7-4ab9-8cb0-9611820539d8

预订酒店	使用额外 MCP Servers 生成图表
指令： 我9月1日至9月6日在洛杉矶，预算5000美元。请帮我在 booking.com 上预订离机场最近的丽思卡尔顿酒店，并为我整理一份交通指南。	指令： 帮我画一张杭州一个月的天气图表。

更多使用场景，请查看 #842。

核心功能

• 🖱️ 开箱即用的 CLI - 支持有界面的 Web UI 和无界面的 服务器 执行。
• 🌐 混合浏览器代理 - 使用 GUI Agent、DOM 或混合策略控制浏览器。
• 🔄 事件流 - 基于协议的事件流驱动 上下文工程 和 Agent UI。
• 🧰 MCP 集成 - 内核基于 MCP 构建，同时也支持挂载 MCP Servers 以连接真实世界的工具。

快速开始

# 使用 `npx` 启动。
npx @agent-tars/cli@latest

# 全局安装，需要 Node.js >= 22
npm install @agent-tars/cli@latest -g

# 使用你偏好的模型提供商运行
agent-tars --provider volcengine --model doubao-1-5-thinking-vision-pro-250428 --apiKey your-api-key
agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey your-api-key

访问全面的 快速开始 指南，获取详细的设置说明。

文档

🌟 探索 Agent TARS 世界 🌟

分类	资源链接	描述
🏠 中心枢纽		进入 Agent TARS 生态的门户
📚 快速开始		5分钟从零到精通
🚀 最新动态		探索前沿特性和愿景
🛠️ 开发者专区		掌握所有命令和功能
🎯 案例展示		查看官方和社区构建的使用案例
🔧 参考		完整的技术参考

UI-TARS Desktop

UI-TARS Desktop 是一个针对本地计算机的原生 GUI Agent，由 UI-TARS 和 Seed-1.5-VL/1.6 系列模型驱动。

   📑 论文    | 🤗 Hugging Face 模型   |   🫨 Discord   |   🤖 ModelScope  
🖥️ 桌面应用程序    |    👓 Midscene（在浏览器中使用）   

演示

指令	本地操作器	远程操作器
请帮我在 VS Code 中打开自动保存功能，并将自动保存操作延迟设置为 500 毫秒。
能帮我查看 UI-TARS-Desktop 项目在 GitHub 上最新的 open issue 吗？

功能特性

• 🤖 基于视觉-语言模型（VLM）的自然语言控制
• 🖥️ 支持截图和视觉识别
• 🎯 精确的鼠标和键盘控制
• 💻 跨平台支持（Windows/MacOS/浏览器）
• 🔄 实时反馈和状态显示
• 🔐 隐私安全 - 完全本地处理

快速开始

请参阅 快速开始

贡献指南

请参阅 CONTRIBUTING.md。

许可证

本项目采用 Apache License 2.0 许可证。

引用

如果您的研究中使用了我们的论文和代码，请考虑给我们一颗星 :star: 和引用 :pencil:

@article{qin2025ui,
  title={UI-TARS: Pioneering Automated GUI Interaction with Native Agents},
  author={Qin, Yujia and Ye, Yining and Fang, Junjie and Wang, Haoming and Liang, Shihao and Tian, Shizuo and Zhang, Junda and Li, Jiahao and Li, Yunxin and Huang, Shijue and others},
  journal={arXiv preprint arXiv:2501.12326},
  year={2025}
}