清华天眸芯团队类脑互补视觉研究登Nature Sensors封面
天眸芯团队用自监督学习应对开放世界视觉退化，让AI在模糊过曝中也能看清，新成果登Nature Sensors封面。
清华大学天眸芯团队在2024年提出类脑互补视觉范式后，近期再次登上Nature Sensors封面。他们解决的是AI在真实世界中遇到的视觉退化问题，比如运动模糊、强光过曝等。该方法让模型在没有“完美图像”作为标准答案的情况下，利用不同视觉线索互相校验，学会“该信谁”，从而生成清晰可靠的视觉表示，并开源了工具链TianmouCV。
正文摘录
.jpg) 多模态大模型、世界模型与具身模型正不断重塑 AI 能力的边界，但一个更基础的问题却长期被忽略：开放世界中的视觉退化。高速运动模糊、频率混叠、强光过曝、闪烁干扰… 这些现实环境中的复杂退化现象，会造成图像结构失真、信息缺失。而由于缺乏可靠真值，这类数据很难用于传统监督学习，往往成为 AI 训练中的盲区。因此，即便拥有强大的模型，AI 系统仍可能因为错误或缺失的视觉信息而做出错误判断。如何在有限硬件资源下获取高质量视觉信息，为机器人和具身智能提供可靠感知基础，已成为 Physical AI 发展的关键问题。  继《Nature》封面后，天眸芯相关工作又登《Nature Sensors》封面 —— “Seeing through visual primitives” 2024 年，清华大学类脑计算研究中心团队研发的 “天眸芯” 登上《Nature》封面，首次提出基于视觉原语（Visual Primitives）的类脑互补视觉感知新范式，并研制出全球首款基于原语的双通路互补视觉感知芯片 “天眸芯”，为机器视觉提供了一条区别于传统 RGB 成像的新技术方案。