N0-VTLA: 利用潜在触觉令牌扩展 Vision-Tactile-Language-Action 模型

TL;DR N_0-VTLA 通过大规模视觉-触觉预训练与潜在触觉令牌，实现精细接触操作，并利用离线强化学习持续提升策略，在真实与仿真任务中大幅领先现有方法。

问题

问题背景

机器人操作策略正从纯视觉感知向多模态融合演进，尤其需要触觉反馈来完成接触丰富的精细任务，如精密装配与变形物体抓取。当前业界关注如何将触觉信息有效整合到大规模预训练的视觉-语言-动作（VLA）模型中，以提升机器人的通用操控能力。

现有方法局限

• 触觉利用不充分：大多数 VLA 模型（如 RT-2、Octo）仅依赖视觉，在需要力度、滑动或接触状态感知的任务上性能断崖式下降，无法实现闭环触觉反馈控制。
• 缺乏大规模触觉预训练：即使引入触觉，现有方法多将触觉编码器简单拼接，未在大量触觉数据上预训练，导致触觉表征泛化能力弱，面对新物体或新接触模式时失效。
• 离线策略改进困难：从部署数据中优化策略通常需要在线交互或稠密奖励，而实际机器人系统只能提供稀疏的二元成功标签，现有离线强化学习方法（如 IQL、CRR）难以从固定且不完美的日志中提取有效改进信号。

为什么难/重要

技术挑战：触觉信号高维、非结构化，且不同传感器模态差异大，与视觉、动作流的时空对齐复杂。大规模触觉数据采集成本极高，需设计统一的触觉表示与训练框架。业界关注度：随着通用机器人从结构化环境走向非结构化场景（如家庭、仓库），接触丰富操作（插拔、穿绳）成为瓶颈，触觉驱动的策略模型是填补空白的关键，直接影响机器人落地的实用性。

行业类比

类似于大语言模型从纯文本扩展到多模态（如 GPT-4V），机器人操作正从纯视觉扩展到视觉-触觉联合建模，目标是让机器人具备“手感”，从而迈向真正的灵巧通用操作。

核心洞察

• 将触觉感知大规模融入 VLA 预训练，通过 latent tactile tokens 和分阶段训练实现稳健触觉反馈控制。与以往仅在少量任务上后训练触觉模块的工作不同，N_0-VTLA 首次在百万级 visuo‑tactile 数据上预训练，使策略习得通用接触先验；再通过三阶段蒸馏（预测先验→对齐动作专家→端到端联合）将接触模式注入精细动作调整，避免了直接端到端训练的崩溃风险，为触觉驱动的泛化操控提供了可复现的缩放路径。
• ALTER 方法将离线 RL 简化为优势条件的行为克隆，用轨迹事件的相对进度比较自动生成二元优势标签，使策略能从历次部署数据中自举提升。这种方法无需拟合价值函数，也避免了复杂的重要性采样或保守估计，只需对传感器历史进行全局或局部比较即可生成训练信号，极大降低了工程实现和维护成本，同时保留了应对能力——在长序列接触密集型任务中，成功率从无 ALTER 的基线大幅提升至 75–95%。

方法

输入与表示

N_0-VTLA 接收多模态输入：

• 视觉：单目或双目 RGB 图像，提供场景、物体姿态与任务进度信息；
• 触觉：触觉传感器（如 GelSight）的原始读数，表征接触力、纹理与局部几何；
• 语言指令：自然语言任务描述，由预训练语言模型编码为文本嵌入。

机器人状态与动作统一为规范化的表征（canonical schema），动作空间包含末端执行器位姿与夹爪开度。

隐式触觉令牌与三阶段训练

核心创新在于构建 隐式触觉通路（latent tactile pathway），将触觉感知压缩为一组可学习的隐式令牌（latent tactile tokens），而非直接拼接原始触觉信号。训练分为三个阶段：

1. 触觉预测器预训练（Grounding the Predictor）：以过去视觉-触觉历史为条件，训练一个时序预测器，使其预测未来的隐式触觉令牌，目标由冻结的触觉编码器提供（future-tactile target）。此阶段让预测器掌握接触动力学先验。
2. 隐式令牌与动作专家对齐（Aligning Latents with the Action Expert）：将预测器输出的未来触觉隐变量接入动作头，但固定预测器与视觉骨干，仅训练注意力融合模块，使动作决策学会利用预测的接触信息。
3. 端到端联合训练（End-to-End Joint Training）：解冻所有模块，以行为克隆损失联合优化视觉、触觉与动作通路，使触觉表征自适应于下游操控。

前两个阶段可以在大规模 visuo-tactile 数据集 NeoData 上预训练，学习通用接触先验。

动作生成

最终的动作专家（action expert）接收视觉特征、预测的隐式触觉令牌以及语言嵌入，通过交叉注意力融合后输出动作块（action chunk）。微调时可采用有监督任务适配（Supervised Task Adaptation）。

离线策略改进：ALTER

为从部署数据中提升策略，引入 ALTER（Advantage-conditioned offline RL）。方法为：

• 从固定部署语料库中采样轨迹，利用**时长校准的阶段进度（duration-calibrated stage progress）与事件感知的成对进度比较（event-aware pairwise progress）**生成二元优势标签（是否“更好”）。
• 在策略训练时，将优势标签作为额外条件输入，使模型在行为克隆之外学习偏好更优动作，从而在接触密集型任务（如 deformable object manipulation）上实现显著提升。

与同类方法的差异

相较于纯视觉 VLA 模型，N_0-VTLA 首次在大规模触觉数据上预训练隐式触觉通路，将接触反馈转化为可预测的隐式令牌，使策略在插入、柔体操作等需要闭环触觉控制的任务中具备重试与力控能力，而不仅仅是开环视觉一次性决策。

实验

实验以三层递进设计评估 N_0-VTLA 的触觉操控能力：(1) 真实机器人基准 NeoReal（9 项接触丰富任务，含插入、可变形物操作等），直接对比视觉-语言-动作（VLA）强基线；(2) 仿真环境 UniVTAC 与 NeoSim（20 项任务），量化触觉模态增益；(3) 离线部署数据结合 ALTER 方法做策略提升，在 3 个长程真实任务上验证。

关键发现： 触觉改变了操控范式——从一次性视觉决策转为可重试的接触感知回路，并实现基于指爪开合的力度控制。在 NeoReal 9 项任务中，N_0-VTLA 全面超越基线；仿真 20 任务平均成功率达到 63.8%，较最强基线的 44.0% 绝对提升 19.8 个百分点。ALTER 将部署历史中的相对进度与事件比较转换为二元优势标签，使策略在长程任务上达到 75–95% 成功率，且触觉预训练的优势在 ALTER 阶段依然保持。

与基线对比的解读： 相比纯视觉 VLA 策略，N_0-VTLA 通过分布式触觉预测器与动作专家对齐，捕捉到接触瞬间的关键动作调整，从而在需要精细力度与位姿修正的任务上大幅领先。19.8 个百分点的仿真提升印证了触觉表征在接触决策点的不可替代性。ALTER 则突破了纯监督微调的样本效率瓶颈，利用闲置部署数据实现离线策略迭代，为接触密集操控场景提供了可复现的优化范式。

行业影响

核心落地场景

N_0-VTLA 作为首个大规模触觉预训练的 VTLA 模型，直接赋能需要精细接触感知与力反馈控制的机器人操作场景，典型如：

• 柔性物体抓取：电商物流中的生鲜、衣物、软包装分拣；
• 精密装配：3C 电子、汽车零部件的无损伤插入与旋拧；
• 医疗手术辅助：基于触觉的组织牵拉与缝合；
• 具身服务机器人：端茶倒水、整理杂物等生活场景中的安全交互。

商业价值

• 降本增效：通过触觉感知减少传统视觉方案对高精度环境的依赖，降低标定与维护成本，同时提升任务成功率（NeoReal 九项全胜，仿真 63.8% vs 基线 44.0%），直接影响产线节拍与良率。
• 体验升级：触觉反馈使机器人动作更类人，在服务场景提升用户信任度与安全性。
• 数据飞轮：离线强化学习方法 ALTER 可利用部署历史数据持续提升策略，无需昂贵在线交互，让已落地系统能自进化，解锁从 75% 到 95% 的长期任务成功率。

与现有工作流的集成

N_0-VTLA 基于主流 VLA（视觉-语言-动作）架构扩展，其潜式触觉令牌（Latent Tactile Tokens）可通过以下路径融入现有技术栈：

1. 感知层替换/补充：在现有机器人平台中，将触觉传感器阵列输出送入预训练的触觉编码器，生成离散令牌，与视觉令牌一同馈入原 VLA 模型的动作头部，无需整体推翻重训。
2. 离线策略改进模块：ALTER 方法可直接作用于已收集的 rollout 数据，输出优势标签用于微调，适合与 MLOps 流水线结合，定期从生产日志中提炼更优策略。
3. 数据规范适配：论文定义了统一的动作与状态规范及触觉采集惯例，可带动行业标准化，降低不同本体、传感器之间的迁移成本。

具体用例：某跨国电商仓库的商品抓取工作站，当前基于视觉的方案在处理透明、反光或易变形包装时频繁失败。引入 N_0-VTLA 后，机械爪集成低成本的触觉传感阵列，通过触觉反馈实时调整抓取力度和位姿，将此类抓取成功率提升至 95% 以上；同时利用 ALTER 在每晚非高峰时段分析当天的异常抓取日志，迭代更新策略，持续减少人工干预，预计年节省数百万美元人力与损耗成本。

局限

• **大规模触觉预训练依赖专有数据集** NeoData，论文未公开其具体组成、采集协议与规模，仅提供模型权重与代码，这降低了方法的可复现性。对于希望基于触觉数据构建类似系统的团队而言，数据获取仍是主要瓶颈，且无法验证预训练阶段在公开数据集上的迁移效果，限制了社区的验证与改进空间。
• **ALTER 离线改进依赖细粒度人工标注**，例如阶段进度和轨迹事件比较。在真实部署中，为每个任务定义进度指标和优势标签需要领域专家介入，自动化程度不足，尤其当任务数量增多或任务结构动态变化时，标注成本将显著增加，影响方法的规模化应用。
• **触觉传感器的泛化性未经验证**。论文采用的触觉编码器假设特定的传感模态与数据格式（文中未明确传感器类型，但需统一规范），在不同触觉传感器（如 GelSight、Tactile Array）或不同安装位置间的迁移能力存疑，实际部署中可能面临额外的标定和适配工作，限制了模型的即插即用能力。