Sharpa 开源世界联觉模型，实现扰动鲁棒的手内操作
Sharpa 用世界模型做多模态联觉先验，把视觉、触觉、本体感觉和动作历史压进一个循环状态，从而在真实深度噪声和外部扰动下实现可泛化的灵巧手手内操作。
灵巧手要从 demo 走向真实应用，难点不是能不能动，而是在带噪深度、稀疏触觉、外力扰动和没见过的物体上还能不能稳住。现有手内操作方法多依赖固定物体和理想传感器，一遇噪声就退化成近乎开环的"手指套路"。Sharpa Robotics 提出 World Synesthesia Model（世界联觉模型），把视觉几何、触觉接触、本体感觉和动作历史统一到一个可复用的世界模型状态里，让策略持续推断手与物体的隐含物理状态，而非只匹配当前观测。
正文摘录
.jpg)  灵巧手从 demo 走向真实应用，关键不只是 “会不会动”，而是能否在 noisy depth、稀疏触觉、外力扰动和未见物体 下稳定泛化。现有 in-hand manipulation 往往依赖固定物体、定初始位姿或理想传感器。而一旦遇到真实深度噪声、形状变化和接触状态不可见，这些策略就容易退化成近乎开环的 “手指套路”。 Sharpa Robotics 的研究团队提出的 World Synesthesia Model（WSM，世界联觉模型） 正是面向这一难题提出：它把视觉几何、触觉接触、本体感觉与动作历史统一到一个 可复用的世界模型状态 中，让策略持续推断手 - 物系统的隐含物理状态，而不是只匹配当前观测。 这项工作被 CoRL 2026 高分收录 ，其核心价值在于用 世界模型作为联觉先验 ，缩小真实传感器噪声造成的 vision gap，并把能力迁移到未见物体和真实平台扰动恢复中。