公众舆论模拟中的参数化社会身份注入与多样性提升

TL;DR 针对 LLM 公众舆论模拟中因隐藏表征趋同导致的多样性崩塌，提出参数化社会身份注入（PSII），向中间层注入人口统计与价值观向量，显著提升分布保真度与多样性。

问题

问题背景

大规模语言模型（LLMs）越来越多地被用作合成代理，进行公众舆论模拟，期望以低成本、可扩展的方式替代传统人工调查。该领域的核心关注点在于，如何让 LLM 代理准确反映真实世界中不同人口群体的态度分布和社会多样性。

现有方法局限

当前主流的 LLM 舆论模拟依赖提示词条件化（prompt-based persona conditioning），即在输入中嵌入人口统计描述来激活特定身份。然而，这种方法存在根本性技术局限：

• 多样性坍塌（Diversity Collapse）：论文通过分析 LLM 隐藏层表示发现，不同社会身份的嵌入在深层网络中逐渐趋同，导致代理输出丧失群体间差异，变成“平均化”的应答。
• 控制粒度不足：提示词仅能提供粗糙、离散的身份描述，无法连续调节诸如价值观取向、强度等细粒度属性，且容易受到上下文干扰或遗忘。
• 分布保真度低：基于提示词的模拟结果与真实调查数据之间的KL 散度显著，尤其在小众或边缘化群体上表现更差。

为何该问题困难且重要

在表示层面而非输入层面注入社会身份，面临干扰模型通用能力的风险——随意修改隐藏状态可能导致语言连贯性下降或产生幻觉。同时，真实社会群体的身份表征是高维、非线性、相互交织的（如年龄、教育、价值观共同作用），如何设计简洁而有效的参数化注入机制成为技术挑战。该问题的重要性在于：准确、多样化的舆论模拟对政策效果预估、市场研究、社会计算等领域具有重大应用价值，若代理同质化将导致决策偏差，业界亟需以计算代价可控的方式提升模拟的真实性。

行业类比

这与推荐系统中用户画像表示学习所面临的困境相似：过于简单的隐式反馈会导致“过滤气泡”和回声室效应，唯有在表示空间内精确建模用户的多维度、可调的兴趣向量，才能实现多样且无偏的信息分发。

核心洞察

• **多样性崩溃(Diversity Collapse)并非提示工程缺陷，而是LLM 隐层表征中社会身份的可区分性随层数加深而系统性丧失。** 以往工作多聚焦于优化 prompt 或解码策略来缓解输出同质化，而本文首次从表征几何的角度揭示：不同人口群体的隐藏状态在深层趋于不可分，导致群体间差异被抹平。这一发现将问题根源从输入空间推至模型内部表示，为后续的干预方法提供了全新的理论靶点，其分析范式(层间身份轨迹追踪)可迁移至其他 agent 仿真任务。
• **PSII 通过参数化身份向量直接注入中间隐藏状态，实现了表征级的细粒度身份调控，突破了纯提示方法的僵化天花板。** 与仅依赖文本描述的角色扮演不同，PSII 将人口属性(性别、年龄、教育等)和价值取向编码为显式的几何向量，并通过分层注入与噪声校准在保留模型原始能力的同时精准调制身份信号。这种机制使得身份强度与组合方式可连续操控，且对分布保真度(KL 散度)的提升远超 prompt 工程范式,为构建高保真、可控的社会模拟 agent 提供了具工程可复现性的新路径。

方法

PSII 方法流程

输入与身份构建

• 原始输入：待回答的调查问题 + 目标人口统计属性(年龄/性别/教育等)和价值取向(来自 World Values Survey 等数据集)。
• 身份构建模块 将这些属性转化为三类表示：
  1. Agent Profile Description：用模板生成自然语言角色描述，提供语义上下文。
  2. Demographic Vectors：将人口属性编码为固定维度的可学习向量，捕获组间统计差异。
  3. Value Vectors：从预训练价值取向嵌入中提取，编码深层文化偏好。

关键模块：参数化注入(PSII)

1. 噪声模块(Noise Module)：对身份向量叠加可控高斯噪声，增强生成响应的随机性与多样性，避免注入过程产生过于机械的一致性输出。
2. 逐层分级注入(Layer-wise Hierarchical Injection)：并非仅加在输入层或某一固定层，而是按策略将身份向量注入 LLM 的多个中间 Transformer 层。具体地：
   • 浅层注入 Demographic Vectors，影响对角色背景的初步建模。
   • 深层注入 Value Vectors，调控高层语义生成，引导观点倾向。
   • 注入方式为加法或门控融合(gating)，保持原模型结构不变，只修改隐状态(hidden states)。

输出与训练

• 注入后的隐状态继续前向传播，生成最终的调查回答。
• 训练时以减少模拟回答与真实调查数据之间的 KL 散度为目标，校准注入向量及噪声参数，使模拟分布逼近真实世界群体分布。

工程启示

• 该方法无需微调整个 LLM，只需训练轻量的身份向量和注入参数，大幅降低计算开销，适合快速部署于多种开源模型(如 LLaMA 系列)。
• 逐层注入设计灵感来自 毒性消解(toxicity mitigation)与 知识编辑(knowledge editing)中的中间层干预技术，表明隐空间操控是增强 LLM 社会模拟多样性的有效路径。
• 架构解耦了“社会属性编码”与“语言生成”，使得不同人口群体或新调查任务可仅更新身份向量，而无需重训核心 LLM，提升复用性。

与同类方法的差异

PSII 的核心突破在于从 隐空间注入参数化身份信号，而非仅依赖提示工程(prompt engineering)或输出后重排；它通过细粒度逐层干预，直接缓解了 Diversity Collapse 现象，使不同社会身份的隐表示更具可分性，实现了更真实、多样化的群体观点分布。

实验

实验设计

实验基于 World Values Survey 数据集，覆盖多国真实调查数据，评估 PSII 框架在多种开源 LLM（如 Llama 等）上的模拟质量。核心对照基线为 prompt-based persona conditioning（纯提示词身份设定），指标包括 KL 散度（衡量模拟分布与真实分布的偏差）、响应分布保真度 和 整体多样性。PSII 首先将人口属性（年龄、性别等）和价值观取向编码为可学习的参数向量，再通过 层间分层注入 模块干预 LLM 的隐藏状态，注入过程引入可校准的噪声以平衡一致性与多样性。

关键发现

• 多样性崩溃缓解：PSII 显著恢复了不同社会身份在隐藏表征中的区分度，缓解了原模型层间表征坍缩导致的 组间差异扁平化。
• 分布保真度提升：与 prompt 基线相比，PSII 将模拟结果的 KL 散度降低至更接近真实调查的水平，且响应模式在统计上更贴合实际人口分布。
• 细粒度控制：通过调节注入层和噪声强度，可在不牺牲模型流畅性的前提下实现可量化、可解释的身份表征干预，这是表层提示工程难以达到的。

与基线的深度对比

提示词方法虽易部署，但依赖 LLM 对语言中隐性偏见的记忆，容易导致 刻板印象强化 和 群体内响应高度同质化；而 PSII 直接在语义编码空间注入显式、可调的参数化身份向量，将人口特征与响应生成解耦，使得不同群体的观点差异得以自然浮现。实验表明，这种表征级干预在保持模型原始能力的同时，极大提升了模拟的社会学效度，为大规模舆情预测提供了更可信的合成数据生成范式。

行业影响

落地场景

PSII 框架可嵌入各类依赖 LLM 智能体进行群体模拟的产品中，最直接的场景是 民意调研与市场研究 平台（如 SurveyMonkey、Qualtrics 的 AI 扩展），通过参数化注入人口属性和价值观向量，生成高保真、多样化的虚拟受访者，大幅减少真人样本的采集成本。此外，在 社交媒体监控与舆论预测 工具中，可按性别、年龄、价值取向等维度注入细粒度身份表征，模拟不同社群对事件、政策的差异化反应，帮助机构事前评估风险。

电商与推荐系统 也可利用 PSII 模拟不同客群对商品或内容的偏好分布，替代传统 A/B 测试的部分环节，加速产品迭代。

商业价值

• 降本：显著降低大规模人工调查的招募与实施成本，尤其适用于多国、多轮次的跨国调研项目。
• 增效：在 LLM 推理环节进行轻量级向量注入，无需 prompt engineering 即可实现可控的群体多样性，减少因提示设计不合理导致的同质化输出，提升模拟结果的 分布保真度（论文中以 KL 散度度量）。
• 体验提升：对于社交机器人或虚拟角色应用，PSII 可使角色更立体，避免陷入模板化回复，增强用户互动粘性。

与现有工作流的接口

PSII 作为 hidden state 级别的介入模块，属于推理阶段的插件，不改变 LLM 基础权重。集成方式为：

1. 在 LLM 推理前，根据目标群体构建 Demographic Vector 与 Value Vector，可使用论文提供的预训练向量或自定义生成。
2. 在模型前向传播的指定层，通过噪声模块（Noise Module）将身份向量注入中间隐藏状态。
3. 对齐现有 LLM serving 框架（如 vLLM、TGI），将注入逻辑实现为自定义的 forward hook 或 adapter 层，无需修改 tokenizer 或提示词。

工程上，该框架天然兼容 LoRA 或 Adapter 生态，可将注入模块作为可插拔的适配器部署，支持多租户、多场景的个性化模拟。

具体用例

用例 1：全球电商平台的用户评论模拟

一个跨国电商平台希望在新品发布前预测不同市场的接受程度。传统方法依赖各国焦点小组，成本高、周期长。借助 PSII，基于 LLM 的合成评测系统可按地区注入典型人口特征（年龄、性别、收入）与价值观取向（如环保主义、价格敏感度），生成数千条多样化评论，覆盖从抵触到推崇的全谱系反馈。运营团队据此优化商品描述与定价策略，缩短上市准备时间。

用例 2：流媒体内容平台的舆论风向预判

某流媒体企业计划推出一部涉及社会争议话题的剧集。PR 团队使用 PSII 增强的 LLM 代理，模拟保守派、自由派、青年亚文化等不同群体的观看反应与社交媒体言论，提前识别潜在争议点，并针对性设计宣传策略。相比仅用 prompt 调整的基线方法，PSII 生成的群体间差异更接近真实社会断层，有效避免公关危机。

局限

• **模型覆盖度有限且额外推理开销**：实验仅基于多个开源 LLM（如 Llama、Mistral 等），未评估闭源模型或更大参数规模下的表现。PSII 的注入模块增加了前向传播的计算量，虽然作者提出了噪声校准策略，但未系统讨论在实时或大规模调查仿真中的延迟与资源开销，可能限制工业级部署的实用性。
• **对构建高质量身份向量的依赖**：PSII 的效果高度依赖从真实调查数据中提取的**人口统计向量**和**价值向量**。这些向量的构造受限于训练数据的规模和分布（如 World Values Survey 的英语子集），在跨语言、跨文化场景下，向量质量可能下降，导致注入后的多样性提升有限，而论文未深入分析这种敏感性。
• **身份模拟的静态性与可解释性局限**：PSII 注入的是离散且静态的身份剖面，未能建模个体在不同社会情境下的身份动态变化。此外，虽然作者分析了层间注入的影响，但缺少对注入后模型内部决策过程的质性解释（如哪个维度驱动了特定回答），使得该方法在高风险舆论分析中的可审计性不足。