Lexical Consensus: 人工智能体中的基础词汇学习与共享意义

TL;DR 引入 Lexical Consensus 框架，在冻结 DINOv2 视觉嵌入上研究词汇学习，揭示感知距离（而非语义相关性）主导获取成功率，并发现命名与检索依赖不同记忆机制。

问题

问题背景

当前 AI 语言与视觉系统的评估主要依赖任务性能与行为模仿指标，但这类评估无法回答一个本质问题：智能体是否真正从感知经验中“学会”新词的含义，并能在新场景下稳定使用。业界正逐渐关注符号落地(symbol grounding)和基础语言学习，期望 AI 像人类一样通过交互习得词汇，而不仅是统计模式匹配。

现有方法局限

大多数现有工作存在三个技术盲区：

• 评估维度单一：仅用准确率衡量命名或分类，未区分**命名(标签产出)与检索(图像回忆)**两种方向上的不同认知要求，导致无法揭示记忆保真度与概括能力的分离。
• 对感知结构的作用缺乏精细解耦：未系统控制视觉嵌入空间中的感知距离与语义距离，难以判断学习困难究竟源于感知混淆还是高层语义不相关。
• 假设表示可塑：许多模型在训练中更新视觉编码器，而实际大模型部署中常使用冻结视觉骨干(如 DINOv2)，冻结表示如何限制词汇习得的上限缺乏定量研究。

为什么这个问题难且重要

技术挑战：在连续高维感知空间中，离散符号与感知模式的映射存在感知一致性梯度——自然类别(相近簇)易学，远距析取概念(跨簇组合)几乎不可学，且该梯度仅由感知距离驱动，与语义距离无关。这要求模型在不调整视觉特征的前提下，仅通过少量样本构建类别边界，极易发生过拟合或对不忠实特征的依赖。 业界关注度：该问题直接关系到具身智能、多模态对话系统和开放词汇学习在真实世界中的可扩展性。如果无法衡量并突破冻结表示下的词汇学习瓶颈，大型多模态模型面对新词时可能表面模仿、实则未掌握其感知对应，导致高风险场景中的错误判断。

行业类比

这类似于工业视觉检测中，系统需从少量缺陷样本学习“划伤”“脏污”等新类别，若仅靠冻结视觉特征，析取性缺陷(如同时发生在不同材质上的划伤)可能永远无法习得，凸显底层表示适配的必要性。

核心洞察

• 感知距离而非语义距离主导词汇习得，颠覆了语言接地假设中语义相关性的核心地位。本研究通过预注册的CIFAR-100分离实验证明，感知距离（partial R^2=0.245）是习得准确性的显著预测因子，而语义距离（partial R^2=0.002）没有显著解释力。这区别于传统语言接地模型强调的语义-知觉映射，在冻结视觉嵌入下，原始知觉相似性直接决定习得，语义结构未被自动利用。该发现为构建更贴近人类感知发展的词语学习模型提供了新基准，也提示仅依赖预训练嵌入的AI系统可能在概念学习中丢失关键语义维度。
• 命名与检索的双向解耦揭示了“记忆保真度”作为独立于分类准确性的表征维度。框架对标签进行命名（图像→标签）和检索（标签→图像）双向评估，发现基于样本的机制在检索任务上优于中心原型，即使命名准确率相当。这表明代理记忆具体样本的能力（记忆保真度）是单独的学习维度，挑战了仅用分类准确率评估词汇习得的简化做法。在构建多模态AI时，需独立优化检索记忆和分类决策，以支持更稳健的概念表示，这为理解表征中存储的信息类型提供了新的分析工具。
• 冻结的感知几何是词义接地的双刃剑，既提供学习基础也施加概念习得的上限。尽管DINOv2嵌入提供了可用但不简单的结构，使固有类别能从少量示例习得，但远分离概念（如感知不连贯的词义）无法通过线性学习者习得。多智能体共识只精炼已有表征，未引发表征重构（无显著对齐变化）。这表明，若无表征适应，预训练模型的知识边界决定了可习得概念的集合。这为终身学习和开放世界词汇扩展中的表征演化提出了明确需求，未来系统需在固定表征与可学习适应性之间取得平衡。

方法

输入：冻结视觉基底的感知结构化

实验框架从预训练的 DINOv2 视觉 Transformer 提取嵌入，所有视觉概念的定义和操作均在该冻结的感知空间内完成，不更新模型参数。输入图像来自 CIFAR-100 等数据集，通过 DINOv2 投影为固定维度的特征向量，构成后续学习的感知基底。

关键模块：从概念构建到双向学习

• 人工词典与概念类型：采用 Carroll 风格的临时新词（nonce words） 作为人造词汇，并根据视觉嵌入的感知连贯性（perceptual coherence）定义四类概念：原生类别（来自 CIFAR-100 真实类）、连贯过度延伸（同一超类下的类别合并）、中距分离（跨超类但视觉相近）和远距分离（视觉差异大）。
• 词汇学习器：两类轻量级、可解释的学习器——
  • 质心原型（centroid prototype）：计算正样本嵌入的均值作为类表示；
  • 基于样例的机制（exemplar-based）：直接存储正样本嵌入，检索时通过最近邻匹配。
• 双向接地评估：分离命名（图像 → 标签）和检索（标签 → 图像），检索阶段进一步控制候选池的构造（同质 / 异质）。
• 多智能体共识循环：多个智能体各自观察部分样本后交互词汇，基于命名游戏（naming games）达成一致，但不反向传播梯度到表征。
• 信息论与对齐度量：使用归一化互信息（NMI） 等工具量化表征对齐程度，执行多种证伪控制（随机标签、随机嵌入、置换绑定等）排除琐碎接地解释。

输出：感知距离主导的习得梯度

框架输出命名准确率、检索准确率以及回归分析结果，揭示感知距离（而非语义距离） 是决定词汇可学性的核心因素。与端到端训练符号接地或涌现通信的工作不同，本框架通过冻结表征剥离了视觉适应的影响，聚焦于感知结构本身对概念形成与共享的约束，并提供了高可复现性的实验环境。

实验

实验设计

本框架在冻结的 DINOv2 视觉嵌入之上定义了一组 Carroll 风格的人工词（nonce words），并按照感知连贯性构建四类概念：原生类别（native）、连贯过度扩展（coherent overextension）、中端析取（mid-disjunctive）和远端析取（far-disjunctive）。单智能体词汇学习器（线性基线或可解释模型）通过少量示例学习标签，随后在双方向任务（命名与检索）上进行评估。为了分离感知与语义，预注册的 CIFAR-100 解离实验利用词向量距离回归，同时控制感知距离。

关键发现

• 感知连贯性梯度决定习得难度：原生类别可从极少样本习得，连贯过度扩展仍然可学，中端析取概念性能显著下降，远端析取接近随机水平。
• CIFAR-100 回归表明，感知距离能显著预测习得精度（偏 R² = 0.245, p < 1e-7），而语义距离无额外解释力（偏 R² = 0.002, p = 0.660）。
• 检索性能中，基于示例的机制（exemplar-based）优于质心原型，揭示与命名准确性分离的记忆保真度维度。
• 冻结表征既支撑了词汇接地，也限制了可学习的概念范围——无表征自适应时，远端析取概念无法习得。

基线对比

与仅依赖任务性能的评估不同，本框架关注从接地经验中习得的过程。线性学习器与随机标签、随机嵌入、置换绑定等多种证伪对照比较，排除了简单统计共现的解释。多智能体共识实验显示，交互仅对已有的强感知基线做微小精炼，并未出现实质性的表征重塑，这与典型的命名游戏或涌现通信框架形成对比。相比强调模仿或微调的工作，本研究明确了感知结构在词汇习得中的主导地位，且这种主导独立于语义关联，为评估智能体的grounded word learning提供了新维度。

行业影响

落地场景

本文框架可直接应用于需要从视觉感知中动态习得新概念的产品：

• 电商与内容平台：自动为商品图片或视频生成属性标签（如“工业风”“赛博朋克”），利用少量示例（few-shot）建立词汇-视觉映射，无需大规模人工标注。
• 教育科技：构建交互式语言学习代理，根据视觉场景习得并稳定使用新词，评估学习者是否真正“理解”而非简单模仿。
• 医疗影像：快速定义新病灶特征的临时词汇，辅助医生在罕见病诊断中形成共识，可验证概念的可学习性（感知一致性梯度）。

商业价值

• 降本：大幅减少人工标注成本。框架中的感知一致性梯度能预判哪些概念可从少量样本习得，避免在“不可学”概念上浪费资源。
• 增收：加速新产品属性的上线速度，例如电商平台快速响应潮流趋势，用自动生成的标签提升搜索命中率和转化率。
• 体验提升：在个性化推荐中，代理可根据用户视觉偏好动态学习新标签，实现更细腻的个性化，如按视觉风格聚类推荐内容。

与现有产品/工作流的接口

现有视觉 AI 流水线已广泛使用冻结的视觉编码器（如 DINOv2）。本框架可作为轻量级插件集成：

1. 编码器复用：直接使用已有的 DINOv2 嵌入，无需重训练视觉骨干，降低计算开销。
2. 词汇学习模块：在嵌入之上部署一个词汇学习器（如线性分类器或示例匹配），处理命名与检索。
3. 多智能体共识层：在需要多系统对齐的场景（如多语言商品描述）中，加入轻量共识协议，基于感知结构自动对齐词汇意义。

具体落地用例

用例 1：电商平台时尚属性自动标注
场景：某全球电商平台需要为新品快速打上“波西米亚风”“极简”等视觉风格标签。传统方式依赖人工定义规则和大量标注。使用本框架，只需提供每种风格 5～10 张示例图片，词汇学习器即可习得概念，并双向工作（看图命名、按名找图）。感知一致性梯度可筛选出哪些风格能被可靠习得，避免在模糊概念上浪费尝试。

用例 2：视频平台冷启动标签生成
场景：UGC 视频平台面临大量无标签新内容。利用 DINOv2 冻结嵌入，平台可对少数人工标注的示例学习新标签（如“航拍”“延时摄影”），然后自动为海量视频打标。检索阶段的示例匹配机制（优于原型）可保证高准确率召回特定场景，改善推荐池的多样性。