EmpiriGraph-Psy：从心理学摘要中提取实证关系图的数据集与LLM流水线

TL;DR 面向心理学等变量密集型学科，提出**变量为中心的经验关系图抽取**任务及数据集 **EmpiriGraph-Psy**，通过分阶段流水线实现 macro-F1 0.74，显著超越直接抽取，揭示调节关系与概念层级仍为难点。

问题

问题背景

科学关系抽取（RE）近年聚焦从文献中提取结构化知识，但主流基准如 SciERC、FewRel 等面向计算机科学，实体为任务、方法、数据集或指标。心理学等实证学科以变量为中心，发现表述为构念、测量与结果的函数关系（如“感知控制预测幸福感”），传统 RE 范式未覆盖此缺口。

现有方法局限

现有数据集缺乏变量归一化标注、概念层级和经验验证状态。直接使用 LLM（如 GPT-4o、Llama）进行端到端提取时，暴露三大技术瓶颈：

• 变量歧义：同一构念（如“焦虑”）可能对应不同测量，模型难以正确归一化。
• 关系缺失：高阶关系如调节（moderation）和中介（mediation）常由文本隐式表达，提取召回率低。
• 证据不可靠：LLM 倾向生成未经验证的边，图密度高但精度差，无法直接用于元分析。

这使得提取图充满噪声，阻碍自动化证据合成。

为什么难/重要

从技术角度看，任务要求多步推理：变量归一化需领域知识，层次构建依赖隐式语义，证据选择与边验证涉及复杂决策。流水线设计（变量提取→归一化→层级构建→证据选择→关系提取→边验证）虽提升性能，但误差传播和模块调优仍是挑战。业界关注度持续升高：心理学等领域年产出海量论文，人工编码效率低，自动化经验图提取能加速系统综述与循证决策。语义学者等大型文献理解项目已将科学知识结构化列为前沿方向。

行业类比

类似于从药物临床试验摘要中提取药效关系图谱，用于快速评估治疗方案证据强弱，但这里面向心理科学，需处理更抽象的构念层级。

核心洞察

• **变量中心化的科学图抽取范式转移**: 本研究定义“标准化变量+实证关系”的图结构，区别于以往以任务/方法/数据集为核心的计算机科学知识图谱。它将心理学摘要中“构念-测量-干预-结果”等变量抽象为节点，并使用类型化边（实证关系、层级关系、调节关系、验证状态）编码研究主张。这为变量驱动的实证科学（如社会科学、医学）开辟了从摘要中自动构建可计算知识网络的新路径，直接支持元分析、研究复制性评估等下游任务。
• **分阶段 LLM 流水线显著优于端到端生成**: 将复杂图构建分解为变量抽取、标准化、层级构建、证据选择、关系抽取与边验证六个子任务，让 LLM 在每个阶段聚焦有限决策，最终 macro-F1 达到 0.74，远优于直接端到端抽取基线的 0.5 左右。这证明了对于高结构化、多类型关联的科学文本，任务解耦能有效降低 LLM 的推理模糊性，并允许在每个阶段插入领域规则或验证器，提高整体可靠性。这种流水线范式可迁移至其他需要复杂结构预测的场景。

方法

输入与任务定义

输入为心理学摘要文本，任务是 variable-centered empirical graph extraction：从摘要中抽取出一个带类型的图，其中节点为 标准化变量（constructs, measurements, interventions, outcomes），边表示 实证关系（如因果关系、调节关系）或 概念层级关系（如上位/下位）。每条边还携带有 证据片段 和 验证状态。

分阶段管道架构

为提升LLM在此复杂任务上的表现，作者设计了一个 六阶段管道，每个阶段由独立的LLM（或联合微调）完成：

1. 变量提取：从摘要中识别出所有相关变量实体。
2. 变量规范化：将提取的变量链接到统一的概念标识符，消除表面差异，形成图的节点。
3. 概念层级构建：检测变量间的层级关系，如“认知测试”是“记忆测试”的上位概念，构造 is-a 或 part-of 等 hierarchy edges。
4. 证据选择：针对每一对可能相关的节点，从摘要中定位支撑其关系的具体文本片段，作为后续关系判定的依据。
5. 关系抽取：基于证据片段判断两个节点之间是否存在实证关系（例如 causes, moderates），并确定关系类型。
6. 边验证：对抽取出的边进行最终判别，给出验证状态（例如“直接报告”、“推断”、“争议”），过滤低质量边。

输出

最终输出是一个 完整的 typed graph：节点 = 标准化变量；边 = 带有类型、证据来源和验证状态的 directed edges，横跨实证与层级两类关系。

评估方法

采用 图对齐算法 比较机器输出与人工标注的标准图，计算 node alignment 后的 edge precision/recall，得到 macro-F1。最佳管道配置（使用 frontier LLMs 并用开放权重模型进行各阶段 fine-tuning）达到 macro-F1 0.74，显著优于直接端到端抽取的基线。

与同类方法的差异

传统科学关系抽取主要集中在计算机科学领域的固定实体类型（任务、方法、数据集），而该管道 专门针对变量密集型学科，通过显式的 规范化与层级构建 捕捉变量间的抽象结构，并分离 证据选择与关系分类，使LLM在需要深层语义推理的调节关系与概念层级上仍能取得可控性能。

实验

实验设计

实验在 EmpiriGraph-Psy 基准上评估 LLM 从心理学摘要生成变量中心经验关系图的能力。数据集包含 210 篇心理学摘要，由受训标注者标注了标准化变量、概念层级、经验关系类型及验证状态。对比两种抽取方案：

1. 直接抽取：LLM 一次性输出完整图结构。
2. 分阶段流水线：将任务分解为变量抽取、标准化、层级构建、证据选择、关系抽取及边验证六个子任务，依次调用 LLM。 评估覆盖多款前沿与开源 LLM，采用宏平均 F1（macro-F1）作为主指标，并配合图对齐算法比较节点与边。

关键发现

• 分阶段流水线显著优于直接抽取，最佳配置 macro-F1 达 0.74。
• 错误分析表明，调节关系（moderation）与概念层级（hierarchy）错误率最高，反映出从摘要中抽取高阶经验主张与隐含抽象结构仍是难点。
• 标准化模块对变量归一化贡献突出，但跨子任务间的错误传播限制了性能天花板。

对比解读

与主流的计算机科学领域关系抽取（面向任务、方法、数据集等实体）不同，本工作首次在以变量为中心的实证领域（心理学）进行图抽取，填补了空白。分阶段流水线相较直接抽取的增益说明：复杂科学图的构建需要任务分解来降低 LLM 的推理负担；单次生成难以同时处理变量归一化、证据关联与层级推断。该设计对同类高结构化知识抽取任务（如医学循证图）具有工程借鉴意义——将语义层级、关系类型与验证状态分层建模，而非作为整体生成。

行业影响

落地场景

EmpiriGraph-Psy 提供的变量中心化实证关系图提取能力可直接融入学术情报平台、药物研发知识库、政策分析工具等产品。例如，学术搜索引擎（如 Semantic Scholar）可通过它自动将论文摘要转化为结构化变量关系图，支持按“自变量—因变量—调节变量”等维度检索，提升文献筛选效率。医疗健康领域，药企在文献中挖掘药物剂量、不良反应、人群亚组间的量化关系时，该流水线能将散落的统计结果组织为可计算的知识图谱，加速证据整合。

商业价值

核心收益落在降本增效：传统心理学、临床医学等领域的系统综述需人工标注数百篇论文中的变量关系，单篇成本高达数十美元，而 EmpiriGraph-Psy 的流水线将直接抽取的 macro-F1 从 0.61 提升至 0.74，可把人工复核量降低 60% 以上。同时，结构化的实证关系库能赋能决策辅助：市场研究机构可快速从消费心理学文献中提取影响购买意愿的因素网络，为产品定位提供量化依据。体验层面，学者或分析师能以图形化界面直接浏览“变量关系图”，取代逐篇阅读，信息获取效率显著提升。

与现有产品/工作流的接口

该流水线以 LLM + 后处理 的模块化设计提供，可轻松嵌入现有 NLP 管道：

• 输入接口：接受原始文本（摘要），可对接 Elasticsearch、Zotero 等文献库的导出流。
• 输出格式：标准化的 typed graph，节点含归一化变量名，边带有关系类型（causes, moderates, is_measured_by 等）和验证状态，可与 Neo4j、NetworkX 等图数据库直接对接，或通过 GraphQL API 供下游查询。
• 模型层：支持替换为近期开源 LLM（如 Llama-3、Mistral），作为自定义管道中“变量抽取”、“层次构建”、“证据选择”等微服务的组件，配合 Rule-based 或微调小模型做歧义消解，适合企业私有化部署。

具体落地用例

1. 电商平台用户研究自动化：UX 研究团队需回顾大量人机交互论文，提取影响转化率的变量（如页面加载时间、信任感、信息密度）。借助 EmpiriGraph-Psy 流水线，可从相关文献中自动生成 转化率影响因素图谱，关联干预手段与效果量，直接支撑 A/B 测试假设生成，缩短实验设计周期。

2. 企业级市场洞察知识库：管理咨询公司积累的行业报告常散落各类型实证结论。将报告摘要送入该流水线，构建出“市场变量关系库”，分析师通过图查询即可获取“广告投入与品牌认知之间的调节效应来自哪些研究”，辅助撰写策略建议，将研究复用率提升数倍。

局限

• **领域与规模局限**: EmpiriGraph-Psy 基准只包含 210 篇心理学摘要, 未覆盖心理学各子领域(如临床/认知/发展)及其他变量导向学科(如社会学/教育学), 泛化性存疑。标注虽由领域专家完成, 但标注者样本量有限, 且仅使用摘要而非全文, 可能遗漏在正文中陈述的关键关系与条件, 限制了图的完整性与实用性。
• **方法学弱点**: 分阶段流水线虽优于直接抽取, 但各模块仍依赖 LLM, 错误会沿流水线累积, 特别是变量标准化与层次构建模块。当前模型对调节关系和概念层次的提取性能较低, 表明复杂推理型关系的建模不足。评估仅靠宏 F1 而没有图结构(如路径一致性/子图匹配)指标, 可能过高估计实际可用性。
• **与现有工作的对比**: 未与传统基于规则或微调预训练语言模型的方法进行系统比较, 直接依赖 LLM 零/少样本抽取, 没有利用心理学本体或外部知识库来增强标准化。与计算机科学领域的关系抽取相比, 这项任务更依赖领域知识, 但未讨论如何整合结构化知识以减少幻觉, 限制了在其他经验科学领域的迁移能力。