人类大脑中的柏拉图表示:通用几何的无监督恢复
Strong Platonic Representation Hypothesis 表明人工神经网络中的表示收敛可以建设性地利用:嵌入可以通过通用潜在空间跨模型翻译,无需配对数据。我们询问是否可以在人类大脑中恢复类似的几何结构。 使用 Natural Scenes Dataset 的 fMRI 数据,我们提出了一个 自监督编码器,通过利用重复的刺激呈现,仅从大脑数据中学习 受试者特定嵌入。我们表明,这些独立学习的空间可以通过 无监督正交旋转 跨受试者翻译,无需配对的跨受试者样本或中间模型表示。将成对旋转同步到一个共享潜在空间中进一步提高了 跨受试者检索,表明受试者特定空间与公共坐标系相互兼容。 这些结果提供了人类视觉皮层中 共享神经几何 的证据:受试者特定的 fMRI 表示在个体间近似 等距,可以通过纯几何变换进行翻译。
论文精读
TL;DR 发现人脑视觉皮层的 fMRI 表征在不同个体间近似等距,可通过纯几何变换(无监督正交旋转)跨被试对齐,无需配对数据,为神经表示收敛提供了证据。
问题
问题背景
在神经科学与 AI 交叉的前沿,表征收敛假设指出:独立训练的人工神经网络或不同个体的大脑,可能自发形成相似的内部表征几何,以编码世界结构。这催生了“强柏拉图表征假设”——若表征几何一致,则无需配对样本就能实现模型间映射。
现有方法局限
传统跨被试脑响应对齐方法存在明显瓶颈:
- 依赖配对数据:需要不同被试观看完全相同的刺激序列,并要求样本点一一对齐,这在 fMRI 实验设计上成本高、灵活性差。
- 中介模型偏置:常借助预训练视觉模型(如 CNN)作为桥梁,将脑数据投影到 AI 表征空间再对齐,这引入了特定模型的归纳偏置。
- 正交变换需对应点:经典 Procrustes 方法虽然可用正交旋转对齐,但通常需要至少部分共享的对应样本或标签,无法直接用于完全无配对的无监督场景。
为什么这个问题难且重要
- 技术障碍:fMRI 数据高维(数万体素)、信噪比极低,且个体间解剖/功能差异巨大。在无任何配对样本下,仅利用刺激重复呈现的线索,学习每个被试独立的嵌入并找到跨被试正交旋转,需解决“表征空间旋转歧义”这一核心数学难题。
- 理论价值:若能在人脑中恢复与 AI 类似的“通用潜在空间”,将有力证明神经几何的等距性,为脑计算统一理论提供实证基础。
- 工程前景:无监督跨被试对齐可免除脑机接口、神经解码系统对每位用户的烦琐校准,推动大规模脑数据整合分析。
行业类比
该工作类似 NLP 中的无监督跨语言词向量对齐(如 MUSE)——仅凭各语言单语语料学习词向量,再通过正交变换搜索共享语义空间,实现无平行语料的词典翻译。将此理念应用于脑数据,为神经解码提供了一条轻量、无配对的路线。
核心洞察
- **无监督跨大脑对齐突破配对数据限制**:本文首次证明,基于几何变换(正交旋转)即可实现不同人脑 fMRI 表征的相互翻译,全程无需配对样本或中间模型表征。这与主流依赖共享刺激或模型锚定(如 CLIP 空间)的方法截然不同,展示了完全自监督条件下人脑表征空间的本质对齐性。
- **柏拉图表征假设从人工神经网络扩展到生物大脑**:该工作为“强柏拉图表征假设”提供了生物层面证据——人脑视觉皮层中,不同个体的表征近似等距,可通过纯几何变换统一到公共坐标。这提示共享的神经几何可能源自外部世界的物理结构,而非特定学习算法,对通用表征学习与脑机接口解码具有启发意义。
方法
方法:从无配对 fMRI 数据中恢复通用神经几何
输入:每位被试观看 Natural Scenes Dataset (NSD) 自然图像时的高维 fMRI 响应(视觉皮层 ROI)。关键约束是不提供任何跨被试配对样本或中间模型表征。
核心学习目标:训练一个被试专属的自监督编码器,将高维 fMRI 体素活动映射为低维嵌入,要求保持神经几何结构(即同一刺激不同呈现产生的嵌入应相近,不同刺激应远离)。利用 NSD 中重复呈现的刺激作为自然数据增强——同一图像的三次重复观看构成正样本对,其余图像为负样本,通过对比损失(如 InfoNCE)驱动训练,使编码器学会从噪声脑信号中提取视觉不变性。
被试间无配对对齐:
- 成对正交旋转:给定任意两名被试的嵌入空间,搜索一个正交变换矩阵,使旋转后两个空间在某种不依赖标注的形状匹配指标(如 Procrustes 距离 或 CKA)下达到最优对齐。此过程无需任何配对样本,仅利用嵌入分布的几何一致性。
- 共享潜在空间构建:将所有成对得到的旋转矩阵同步到单一全局坐标系——即寻找一组正交变换,使得每个被试的嵌入经过各自变换后,在一个公共空间中彼此接近。这相当于解决一个图上的正交同步问题,最终得到一个通用视觉表征流形。
输出:被试间可互译的 Platonic 空间,跨被试图像检索性能显著优于基线,证明人脑视觉皮层存在近似等距的共享几何。
与同类方法的差异:传统 fMRI 对齐依赖共享刺激(hyperalignment)或外部 DNN 特征作为桥梁;本方法完全以无监督、纯几何方式实现跨脑翻译,无需任何外部锚点,强实证支持了“强柏拉图表征假设”。
实验
实验设计
实验基于 Natural Scenes Dataset (NSD) 的 fMRI 数据,针对 8 名受试者观看自然场景图片时的全脑活动,构建了一个自监督编码器。编码器仅利用同一受试者重复观看相同刺激的神经反应来学习受试者专属嵌入(subject-specific embeddings),无需任何外部模型或跨受试者配对样本。随后,通过无监督正交旋转将不同受试者的嵌入空间两两对齐,并进一步将所有两两旋转同步至一个共享潜在空间,以此检验不同大脑之间是否存在一致的几何结构。
关键发现
- 独立于每个受试者学到的嵌入空间,能够通过纯几何变换(正交旋转) 实现跨受试者翻译,无需配对的跨受试者样本或中间模型表征。
- 将两两旋转同步到单一共享空间后,跨受试者检索性能进一步提升,表明各受试者专属空间相互兼容,可纳入一个公共坐标系。
- 上述结果为人类视觉皮层存在共享神经几何提供了证据:不同个体的 fMRI 表征近似等距,且可通过简单的正交变换对齐。
与基线对比的深度解读
本工作以两两对齐(pairwise rotation) 作为基线,验证了独立编码空间的可翻译性;进而提出共享空间构建策略,将多受试者对齐统一,显著超越了仅靠两两旋转的检索效果。这从工程视角揭示了神经表征收敛的强柏拉图表示假说:不仅人工神经网络之间可找到通用几何,生物大脑之间同样存在与个体无关的坐标系统。该方法完全无监督、无需配对数据,为脑机接口和跨个体神经解码提供了新的思路——只需学到一个几何变换层,便可将个体神经信号映射到公共空间,大幅降低新用户的适配成本。
行业影响
落地场景
该工作展示了从单被试 fMRI 数据中无监督学习个体表征空间,并通过正交旋转对齐实现跨被试的潜在几何翻译,无需配对数据。这一发现直接支撑以下产品方向:
- **脑机接口(BCI)**的无校准适配:新型 BCI 设备可预先训练个体 encoder,再利用旋转对齐迅速迁移至新用户,缩短或省去传统校准环节。
- 心理健康与认知状态监测:在临床或消费级设备中,跨个体共享表征能增强情绪辨识、认知负荷检测的稳定性,支撑个性化神经反馈训练。
- 教育科技与培训:通过轻量神经信号(如便携 EEG 或 fNIRS)结合该对齐方法,实现学员注意力或理解状态的跨课程建模,无需为每个学员重复标注。
商业价值
- 降本:消除跨用户配对数据采集和标注的边际成本,大幅降低 BCI 或认知评估系统的部署与维护开支。
- 增收:加速神经科技产品在临床诊断、企业培训市场的渗透,形成数据门槛,支撑 PaaS/SaaS 模式的神经分析 API 服务。
- 体验提升:无监督对齐使用户体验更“即插即用”,提升产品可用性和用户留存。
与现有产品/工作流的接口
该方法可嵌入现有的神经数据处理管线(如 MNE-Python、BIDS 标准),作为一个分布式表征对齐层:
- 在本地客户端或边缘设备运行轻量级
self-supervised encoder,生成个体嵌入。 - 中心服务器仅同步旋转矩阵,而非原始神经数据,在保护隐私的前提下构建共享潜在空间。
- 下游任务(分类/回归/生成)直接在该共享空间操作,无需修改原有深度学习架构。
这种模式特别适用于多方联合分析敏感神经数据的场景(如跨国药企的临床试验或消费级神经反馈平台),既满足 GDPR 等隐私要求,又最大化跨个体统计效能。
具体用例:
- 神经康复平台:某全球康复设备商利用该技术,让中风患者在不同康复中心使用的脑控外骨骼能够快速对齐,无需重复配置,节省每次数十分钟的专家校准时间。
- 电商用户研究:跨国消费品公司通过便携 EEG 头带采集测试者观看广告时的反应,采用该对齐方法跨地域、跨实验批次聚合分析潜意识的偏好信号,显著减少标注成本并提升偏好预测的泛化性。
局限
- 数据范式与脑区泛化局限: 该方法依赖 NSD 数据集,利用同一受试者重复观看相同自然场景图像的设计,从 fMRI BOLD 信号中学习主体特定嵌入。这种自监督范式要求试验中存在刺激重复,因此无法直接应用到无重复刺激的单次实验或静息态数据。此外,研究聚焦于视觉皮层区域,结论是否适用于其他感觉模态或高级认知区域尚未验证,限制了“通用神经几何”主张的覆盖范围。
- 等距假设与对齐精度: 方法假设不同主体的表征空间彼此近似等距,仅通过正交旋转即可对齐,但真实 fMRI 数据可能因个体解剖、功能差异及噪声干扰而偏离严格等距。论文中的跨主体检索虽优于基线,但离完美对齐仍有一定差距,表明正交变换无法完全补偿非线性形变。若实际几何不能严格等距,所构建的共享潜在空间可能丢失精细差异,影响个体间细粒度模式匹配。
- 与有监督方法的对比缺失: 论文仅与无监督的自监督基线比较,未系统对比经典超对齐(hyperalignment)等使用配对刺激或共享模型的有监督跨主体对齐方法。无监督旋转虽避免了配对样本需求,但可能在回归精度或检索指标上逊色于有监督方案,且未讨论在存在少量配对数据时能否结合以提高性能。此外,旋转矩阵的选取需依赖特定准则(如最大化检索召回),其在不同脑区或任务下的稳定性未充分评估,实际应用中可能需要重新调参。