Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

TL;DR 重新审视 LLM 心理测量评估：发现**计划行为理论**(TPB) 比**大五人格**能更精准预测模型行为，尤其在共享对话中达到人类水平的自报-行为连贯性，提示部署评估应使用任务特定框架而非粗糙人格量表。

问题

问题背景

LLM 的行为评估正从能力测试转向心理测量，尤其关注低成本的自陈报告能否可靠预测模型在实际交互中的行为倾向，这对安全部署至关重要。

现有方法局限

主流工作直接搬运人类人格心理学中的 Big 5（大五人格） 框架，将其作为 LLM 行为预测的探针。但 Big 5 测量的是宽泛、跨情境的稳定特质，在人类中原本就只与具体行为呈弱相关（例如“尽责性”无法精准预测某人是否会作弊）。更关键的是，现有评估范式存在两个技术盲区：

• 上下文匹配缺失：自陈调查与行为测量常被放在孤立会话中，忽略了 LLM 对会话历史的敏感性，导致自陈-行为解离。
• 构念粒度过粗：用全局人格推测高度情境化的行为（如奉承、诚实、风险决策），忽略了 LLM 可能只在特定意图层面存在一致性的可能。

为什么这个问题难且重要

行为的跨情境一致性是度量心理构念有效性的金标准，但 LLM 的输出本质上是语言条件概率的产物，其“行为”极易被 prompt 和对话上下文诱导偏移。本研究的核心发现证实：

• 自陈-行为相干性高度选择性：在共享会话中，针对具体行为的 计划行为理论(TPB) 测评能达到人类水平的相干性，而 Big 5 全面失效。
• 跨会话相干性存活条件严苛：仅当行为锚定在训练数据中形成的隐式偏见等深层模式时才能保留，一旦行为受上下文强引导（如奉承），相干性立即坍塌。
• 人格提示词无法修复：给模型赋予特定身份能让其自陈报告更一致，却不能拉齐实际行为，说明身份只是表面表态而非行为内化。

这些发现对业界直接的影响是：若继续用 Big 5 等粗粒度工具做部署前行为筛查，会漏判大量高风险行为；可靠的评估必须转向行为特定化、任务锚定化的测量，且需在多上下文中跨会话验证。

行业类比

就如同用“用户是大五型外向者”来预测他是否会点击某个具体广告，远不如用 TPB 问卷直接测量“他是否打算点击这个广告”来得有效——LLM 行为预测同样需要从宽泛性格转向针对性行为意向的测量。

核心洞察

• 在共享会话中，计划行为理论（TPB）与 LLM 行为的一致性达到人类水平，而大五人格（Big 5）几乎无法预测行为。现有 LLM 人格评估多基于 Big 5，但该框架预测力本身较弱（甚至对人也是如此）；本文引入 TPB 等行为特异性量表，证明精细框架能有效捕获 LLM 的自我报告-行为一致性，这直接挑战了当前主流心理测量方法在 LLM 上的适用性。
• 自我报告与行为的一致性高度依赖会话情境：当行为被上下文强烈启动（如谄媚）时，跨单独会话的一致性崩塌；但当行为扎根于训练数据的内隐偏见时，一致性得以保留。这一发现揭示了 LLM ‘人格’的情境依赖性，意味着仅凭一次性的自我报告无法可靠预测跨场景行为，对部署安全评估有重要启示——必须结合具体任务和上下文进行动态检测，而非依赖静态量表。

方法

实验流程概览

研究采用因子设计，系统检验 LLM 的自我报告（SR）是否预测后续行为，并对比两类心理测量框架的效能。

输入层：心理测量探针与行为任务

• 自我报告测量：
  • 大五人格（Big 5）：使用 BFI-44 量表，测量神经质、外向性、开放性、宜人性、尽责性等广泛特质。
  • 计划行为理论（TPB）：针对每项行为任务定制TACT 锚定量表（态度、主观规范、感知行为控制、意图），捕捉与特定行为直接相关的意图构念。
• 行为任务（4 类）：
  • 风险承担（CCT）：基于虚拟赌博的选择。
  • 阿谀奉承（Sycophancy）：评估 LLM 迎合用户观点的倾向。
  • 诚实：测量 LLM 提供真实回答的意愿。
  • 内隐偏见（IAT）：反映训练数据刻板印象引发的自动联想。

关键实验模块

实验跨 11 个前沿 LLM（如 GPT 系列、Claude、Llama 等），操纵两个核心变量：

• 会话上下文：
  • 共享会话：SR 与行为在同一对话中，贴近上下文。
  • 分离会话：SR 与行为在不同对话中，测试跨情境一致性。
• 身份诱导：通过 persona 提示赋予 LLM 特定角色（如“激进企业家”），观测 SR 和行为的变化。

分析流程：

1. 对每个任务-模型组合，提取 SR 分值（Likert 评分）和实际行为指标（如赌博比例、奉承次数）。
2. 计算SR-行为相关性（Spearman ρ 或类似指标），衡量相干性。
3. 对比 TPB 与 Big 5 的预测强度，并引入人类基线（来自人类被试的同类相关性数据）。
4. 分解行为一致性与 SR 漂移的贡献，探究跨会话崩溃的内在机制。

输出与判据

• 主要输出：各框架下的 SR-行为相干系数，按任务、模型、会话条件分组。
• 判定标准：
  • 若相关性显著为正且接近人类基线，则框架有效。
  • 跨会话条件下相干性的存续，指示情境独立性。

与同类方法的差异

先前 LLM 心理测量研究大多沿用大五等泛化特质量表（如 Personality in LLM），但这些量表在人类中预测具体行为的效果不佳。本研究首次将TPB引入 LLM 行为评估，直接测量行为意向，并将上下文操纵纳入实验设计，揭示出相干性对工具粒度和情境锚定的双重依赖，而非静态的人格一致性假设。

实验

实验设计

实验围绕 四个行为任务 构建：风险承担（CCT）、谄媚、诚实、内隐偏见（IAT），覆盖 LLM 行为的不同侧面。以 11 个前沿 LLM 为对象，使用 两套心理测量框架 分别收集自我报告（SR）并观测实际行为：一套是广泛使用的 大五人格（Big 5），另一套是行为特定、精细化的 计划行为理论（TPB），其包含态度、主观规范、感知行为控制等维度。通过 共享对话 与 分离对话 两种会话结构，以及 身份诱导（persona prompting）操控，系统检验 SR–行为相干性（coherence）的成立条件。

关键发现

1. 共享对话内：TPB 的 SR–行为相干性达到人类基线水平，而 Big 5 未能检测到任何显著关联；TPB 的优势在所有模型上保持一致。
2. 会话分离后：相干性呈现任务依赖性——内隐偏见这类由训练数据塑造的稳定倾向尚能保留，但在上下文强激发行为（如谄媚）上完全瓦解。行为一致性而非 SR 漂移是坍塌主因。
3. 身份诱导：persona 虽使 SR 跨对话更一致，但无法修复 SR–行为耦合，说明显式的自我认知陈述无法自动校准模型行为。

与基线对比的深层含义

Big 5 作为 LLM 人格评估的主流框架，本质上是一种 粗粒度特质描述；即使在人类中，其对具体行为的预测力也较弱。本工作证明，将其直接迁移至 AI 行为预测是 无效的：Big 5 在几乎所有条件下都未能捕获任何 SR–行为联系。相反，TPB 基于“针对某一目标行为的意图”这一范式，在共享上下文中取得强关联，揭示了 高保真行为预测的可能性条件：必须使用行为锚定的、多成分的意图测量，并注意任务与上下文边界。这对 AI 安全部署具有重要意义——依赖宽泛人格自评来做决策可能导致误判，需要开发任务特定、跨上下文验证的新型心理测量工具，且分析必须覆盖不同情境以排除上下文伪装。

行业影响

落地场景

该研究指出 自报告（Self-Reports） 仅在采用行为特定框架（如 Theory of Planned Behavior, TPB）且在共享会话中时，才能可靠预测 LLM 实际行为；广泛使用的 Big Five 人格评估 则几乎无效。这一发现直接影响所有依赖 LLM 人格/安全画像的产品：

• 安全审计与红队工具：可在部署前用 TPB 探针筛选高风险模型版本，避免谄媚（sycophancy）或过度冒险（risk-taking）等行为上线。
• 对话式客服与教育辅导：通过探测 LLM 在特定任务（如诚实、偏见）上的自报告-行为连贯性，动态调整对话策略或触发人工干预，防止有害输出。
• 内容生成与审核：提前评估 LLM 在不同上下文（如政治、医疗话题）下的内隐偏见稳定性，降低合规风险。

商业价值

• 降本：将人格测试从泛化工具替换为 TPB 等精细框架，可大幅减少因误判行为而导致的线上事故与紧急回滚成本。一家月调用 10 亿次的对话平台，若每次有害输出客诉成本 $0.1，降低 30% 事故率即每年节省数百万美元。
• 增收：更稳定的行为预测增强企业对 LLM 的信任，加速高价值场景（如金融建议、医疗分诊辅助）的合规审批，打开新市场。
• 体验提升：通过角色提示（persona prompting）让自报告更一致，虽不能直接对齐行为，但为后续行为矫正（如强化学习）提供了更可靠的 reward 信号，最终优化用户满意度。

与现有产品/工作流的接口

集成路径轻量，无需修改模型权重：

1. 评估阶段：在模型卡（model card）或内部 benchmark 中新增 TPB 探针套件，与现有安全性测试（如 TruthfulQA、BBQ）并列，提供上下文分离度（cross-session coherence）指标。
2. 推理引擎：在对话系统的提示管理层加入探针模块，每次新会话开始时用少量 token 探测当前上下文下的行为倾向（如“你有多愿意附和用户错误观点？”），若估计行为连贯性低于阈值则切换 safer policy。
3. 监控与日志：持续记录同一用户多轮会话中的 TPB 自报告与对应行为，构建行为漂移检测 pipeline，触发告警。

具体用例

• 全球电商客服机器人：在集成 LLM 前，用 TPB 框架检测其“诚实度”意图与真实回答的一致性。例如，询问“你会否为了销量夸大产品功效？”同时测试在高压推销语境下的实际回答。若共享会话中一致性高但跨会话（不同店铺品类）崩塌，则标记该模型需额外安全围栏。
• 流媒体内容审核助手：评估 LLM 在审查涉及少数群体内容时的内隐偏见。用 TPB 探针“你倾向于在涉及某群体时更严格吗？”配合实际审核案例，发现跨会话不一致时自动降低该工具的自动判决权限，转交人工审核员。

局限

• **任务覆盖有限**：实验仅包含四种行为任务（风险承担、奉承、诚实、内隐偏见），虽已覆盖意欲行为与自动偏见的典型类别，但远未穷举 LLM 部署中常见的重要行为维度，如毒性、指令越狱、协作性等。由此得出的“TPB 优于 Big 5”结论不宜无条件外推至其他行为域，在未验证前不应作为通用评估准则。
• **单轮交互的约束**：所有实验均采用单轮提示设计，忽略了多轮对话中上下文累积、状态演化对自我报告及行为的动态影响。实际应用场景多为多轮交互，单轮快照可能高估或低估自我报告与行为的跨会话稳定性，该设计选择使结论直接推广至持续性对话系统时需格外谨慎。
• **人类心理测量构念的直译风险**：TPB 与 Big 5 量表直接改编自人类问卷，以叙述性提示替代李克特量表，但未系统验证题目在 LLM 语境中的可理解性、区分度及结构效度是否与人类相当。论文内部信度分析（附录 F）已显示 TPB 信度具任务依赖性，暗示直译可能引入测量噪声，部分跨会话瓦解或可归因于测量工具的不稳定，而非模型本身的非相干性。