北大与福大团队提出LIMSSR，面向训练阶段不完整观测的动作评价
LIMSSR首次在训练阶段处理模态缺失，用大语言模型推断缺失信息，实现精准动作质量评价。
现实中的多模态数据常因传感器故障、隐私限制等出现模态缺失。现有方法假设训练数据完整，但实际训练也可能缺失。北大彭宇新团队与福大柯逍团队提出的LIMSSR，不依赖完整模态监督，而是将问题转化为序列到分数的条件推理，利用大语言模型从已有上下文中推断缺失模态的潜在语义，再跨模态融合评分。该论文已被ICML 2026接收为Spotlight。
正文摘录
.jpg)  本文是北京大学彭宇新教授团队联合福州大学柯逍教授团队在细粒度多模态动作质量评价领域的最新研究成果，相关论文已被 ICML 2026 接收为 Spotlight，并已开源。  - 论文标题：LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations - 论文链接：https://arxiv.org/abs/2605.00434 - 开源代码：https://github.com/XuHuangbiao/LIMSSR - 实验室网址：https://www.wict.pku.edu.cn/m…