DrJimFan 开源 CaP-X，实现具身智能机器人，零样本解决多种任务。
爪的力量，就在机器人手掌之中。具身智能机器人时代来了！今天，我们开源 CaP-X：物理世界中的活力智能体。它们化身机器人手臂和仿人机器人，配备丰富的感知 API、驱动 API，并随着运行自动合成技能库。CaP-X 是我们旧堆栈的严格超集，因为像 VLA 这样的策略也只是 API 调用。它零样本解决许多学习策略难以处理的任务。
我们做的远不止活力。CaP-X 是迄今为止我们对具身智能机器人最系统、最科学的研究：
- 我们构建了一个全面的智能体工具包：感知（SAM3 分割、Molmo 指向、深度、点云）、控制（逆运动学求解器、抓取规划、导航）、可视化（末端执行器、掩膜叠加）——这些跨不同机器人通用。
- CaP-Gym：LLM 的首次体检！包含 RoboSuite、LIBERO-PRO 和 BEHAVIOR 中的 187 个操作任务。桌面操作、双臂操作、移动操作。仿真和真实场景。迫不及待看到从 CaP-Gym 到下一代前沿 LLM 发布的梯度流动。
- CaP-Bench：我们在 8 个评估层级上对 12 个前沿 LLM/VLM（Gemini、GPT、Opus、Qwen、DeepSeek、Kimi 等）进行基准测试。系统性地改变 API 抽象级别、智能体框架和视觉定位方法。论文中有大量见解。
- CaP-Agent0：一个无需训练的智能体框架，在 7 个任务中的 4 个上匹配或超越人类专家代码，无需任务特定调优。
- CaP-RL：有了 gym，就有了强化学习 ;)。一个 7B 开源模型仅经过 50 次训练迭代后，成功率从 20% 跃升至 72%。合成程序转移到真实机器人，模拟到真实的差距极小。
3 年前，我们的团队创造了 Voyager，这是最早在 Minecraft 中持续学习和游戏的具身智能 AI 之一。其关键思想——技能库、自我反思循环和上下文规划——已影响了许多现代智能体设计。
今天，智能体从 Minecraft 毕业，获得了一份真正的工作。今天是愚人节，但这只爪子真的在干脏活！
链接在评论中：
我们做的远不止活力。CaP-X 是迄今为止我们对具身智能机器人最系统、最科学的研究：
- 我们构建了一个全面的智能体工具包：感知（SAM3 分割、Molmo 指向、深度、点云）、控制（逆运动学求解器、抓取规划、导航）、可视化（末端执行器、掩膜叠加）——这些跨不同机器人通用。
- CaP-Gym：LLM 的首次体检！包含 RoboSuite、LIBERO-PRO 和 BEHAVIOR 中的 187 个操作任务。桌面操作、双臂操作、移动操作。仿真和真实场景。迫不及待看到从 CaP-Gym 到下一代前沿 LLM 发布的梯度流动。
- CaP-Bench：我们在 8 个评估层级上对 12 个前沿 LLM/VLM（Gemini、GPT、Opus、Qwen、DeepSeek、Kimi 等）进行基准测试。系统性地改变 API 抽象级别、智能体框架和视觉定位方法。论文中有大量见解。
- CaP-Agent0：一个无需训练的智能体框架，在 7 个任务中的 4 个上匹配或超越人类专家代码，无需任务特定调优。
- CaP-RL：有了 gym，就有了强化学习 ;)。一个 7B 开源模型仅经过 50 次训练迭代后，成功率从 20% 跃升至 72%。合成程序转移到真实机器人，模拟到真实的差距极小。
3 年前，我们的团队创造了 Voyager，这是最早在 Minecraft 中持续学习和游戏的具身智能 AI 之一。其关键思想——技能库、自我反思循环和上下文规划——已影响了许多现代智能体设计。
今天，智能体从 Minecraft 毕业，获得了一份真正的工作。今天是愚人节，但这只爪子真的在干脏活！
链接在评论中：