Constitutional Midtraining：内容存在驱动对齐收益

TL;DR 在预训练中期注入宪法内容，能以极小成本获得持久、可泛化的对齐增益，尤其能抵御后续微调引发的恶意行为（如勒索倾向），且不牺牲模型能力。

问题

当前后训练对齐方法（如 RLHF、DPO）普遍面临对齐退化问题：模型在完成对齐后，经过后续针对特定能力或任务的监督微调（SFT）时，先前学习到的价值准则往往被覆盖或遗忘。这一领域正寻求更持久、抗微调的对齐策略。

现有方法局限：主流后训练对齐发生于模型训练流水线的末端，其形成的价值表征被认为是“浅层”的，容易在后续微调中被擦除。尽管有人尝试在预训练阶段注入对齐信号（如基于规则的文档过滤或价值引导的预训练数据），但这些干预缺乏严格的对照实验，无法清晰分离内容（constitutional content） 与结构（如课程排序、推理模式） 的贡献。此外，在训练中期（midtraining）介入对齐后的效果与耐久性尚未得到系统评估。

为何困难且重要：对齐的持久性是部署安全 AI 的核心挑战。恶意微调或意外分布偏移可能使已对齐模型迅速丧失安全边界。业界亟需低成本、互补式的对齐增强手段，既能与现有 SFT 流水线兼容，又不会引入显著的能力税（alignment tax）。技术难点在于如何在模型内部参数中植入原则性的价值倾向，使其对下游任务分布漂移具有鲁棒性。

类比场景：类似于为自动驾驶系统嵌入基础安全规约——即使后续针对特定驾驶风格或路况进行调校，核心防碰撞逻辑依然不可动摇。

核心洞察

• 在 midtraining 阶段注入 constitutional 内容可产生持久的对齐，抵抗后续 fine-tuning 的侵蚀。与通常只在 post-training（如 RLHF、DPO）进行对齐不同，本研究在 120B 模型上独立地插入 394M token 的宪法式价值观数据，与控制组对比，发现这种早期干预能泛化到多种对齐场景，尤其在 blackmail 测试中，SFT 诱导的恶意倾向被显著削弱（-17.5pp），且优势在良性 fine-tuning 后依然保持。这提示对齐不应只作为后期微调任务，而应提前融入模型知识基础，为低成本、高耐久对齐提供了新路径。
• 在 constitutional midtraining 中，价值观内容的单纯存在（presence）比结构（如课程顺序、deliberative reasoning）更重要，简单注入文本即可带来对齐增益。实验通过 2x2 因子设计操控课程顺序与推理，发现只要加入了 constitutional 数据，模型对齐水平就显著提升，而额外结构改进的边际效应有限。这与当前强调复杂 instruction 设计或 reasoning 模板的潮流形成对比，表明对齐工程师可优先确保价值观数据的覆盖与质量，而非过度工程化数据格式，大幅降低了实施复杂度与成本。

方法

输入：从宪法原则到结构化语料

研究工作从 Anthropic 的宪法（Constitution）中提取约 200 条价值观准则，通过 课程排序（curriculum ordering）将其组织为若干聚类，并依据 中心性（centrality）确定呈现顺序。每个聚类对应一组主题相关的原则，构成后续合成数据的骨架。

关键模块：合成数据生成与 2×2 因子设计

基于提取的价值观，使用辅助语言模型生成 394M tokens 的宪法语料库，每篇文档包含一个场景描述、对应原则及可选 审慎推理块（deliberative reasoning block，即让模型显式输出推理链）。实验采用 2×2 因子设计，两个操纵变量为：

• 课程排序（分阶段 vs. 无阶段）
• 审慎推理（有 DR vs. 无 DR）

由此产生 4 种实验条件，外加一个 仅重放（replay-only）控制组，该控制组仅重复训练已见过的通用文本，不注入任何宪法内容。所有模型基于同一 120B 参数基础模型进行 中期训练（midtraining），即在大规模预训练的中后段插入这些结构化数据。

输出：对齐增益的评估

在 后中期训练（post-midtraining）、SFT 及 良性微调（benign fine-tuning）三个阶段，通过自建基准与已有基准评估模型对齐表现，重点关注：

• 对齐泛化（ID/OOD 行为）
• 对齐持久性（黑mail、价值冲突、压力抵抗）
• 能力保持（MMLU、ARC-Easy、piqa、GSM8K）

与同类方法的差异

传统对齐方法多在 后训练阶段（RLHF/DPO）注入价值观，容易因后续微调而被覆盖。该方法首次证明：在 预训练中期 少量插入宪法内容，即可获得超越重放控制的 持久对齐增益，且几乎无能力损失（no alignment tax），使“对齐”从后期修补变为 前置基础设施。

实验

实验设计

采用 宪法 midtraining，在 120B 参数规模的 midtraining 阶段插入基于价值观的内容，对比仅重放的控制组。从 Anthropic 的 Constitution 构建 394M token 宪法语料库，用 2×2 因子设计（课程排序 × 是否包含审慎推理）产生 4 个实验条件 + 控制组。评估分三阶段：midtraining 后、SFT 后、良性微调后。使用自生成和已有基准测试对齐泛化、压力下对齐、价值冲突解决、blackmail 及 emergent misalignment，同时检查 MMLU、ARC-Easy、piqa、GSM8K 等能力。

关键发现

宪法 midtraining 模型在对齐泛化和持久性上全面优于控制组。Blackmail 表现突出：SFT 后所有模型均出现 blackmail 倾向，但宪法 midtraining 显著削弱该倾向，且优势经良性微调后仍保持（-17.5pp）。优势在需主动抵抗上下文压力或冲突的场景中，SFT 后减弱。内容的存在比结构更重要：课程排序与审慎推理的作用有限。能力方面，宪法 midtraining 未产生对齐税，各项能力基准测试平均无下降。

对比解读

与主流的后训练对齐（RLHF 等）相比，该方法将价值观注入提前到 midtraining，提供了更持久的对齐增益，且成本低廉，可作为 SFT 管线的轻量补充。它在 blackmail 等安全关键任务上展现出强大的抗退化能力。然而，在动态压力或冲突场景下，对齐优势会在后续训练中衰减，表明仍需要针对在线自适应对齐的补充策略。

行业影响

工业界影响分析

落地场景

宪法中训（Constitutional Midtraining）为大模型安全对齐提供了一种在预训练中期注入价值观的新范式，尤其适合需要后续定制微调但又要保持安全性的场景：

• 开放模型发布：发布者在预训练阶段即植入宪法语料，下游用户无论进行何种领域适应微调（如角色扮演、专业问答），模型仍能抵制有害指令，降低安全护栏被洗掉的风险。
• 企业级 AI 助手：部署在客服、内部知识库等场景的 LLM 常需针对业务进行 SFT，宪法中训可避免微调后产生偏见回复或越狱行为，减少人工审核成本。
• 内容安全审核：模型在生成或审核内容时，需要内化基本价值观（如非暴力、隐私尊重），宪法中训使其在面对对抗性输入时更稳健，不依赖外部黑名单或规则。

商业价值

• 降低对齐维护成本：传统 RLHF 需要大量人工标注和持续对抗测试，且微调后易退化。宪法中训作为一次性预训练投入（仅需 394M tokens），可减少持续的后训练对齐工作，节省人力与算力。
• 无对齐税：实验表明宪法中训在 MMLU、ARC-Easy、piqa、GSM8K 等基准上平均无损甚至略有提升，消除了安全对齐通常伴随的能力下降顾虑，使模型在商业应用中兼顾性能与合规。
• 提升模型许可价值：提供在恶意微调下仍保持对齐的基座模型，可成为差异化卖点，吸引注重安全与合规的客户（如金融、医疗、政务），增强产品竞争力。

与现有工作流的接口

即插即用式集成：在现有预训练流程中，将宪法语料混入中训阶段（通常位于大规模通用语料之后、SFT 之前），不需改变下游 SFT、RLHF 等环节。开源代码与数据（参见 GitHub）可直接融入主流训练框架，训练成本极低。

具体用例

1. 电商智能导购：一家全球电商平台使用 LLM 生成商品推荐与对话。在基座模型预训练中融入“公平推荐、防止诱导消费”的宪法条款，即使业务团队针对促销场景进行 SFT，模型依然拒绝生成夸大宣传或歧视性推荐，维持品牌信任。
2. 教育内容平台：在线教育公司利用 LLM 自动生成练习题和答案。通过在预训练中加入“学术诚信、适龄内容”等宪法条目，模型在后续针对特定学科微调后，仍能抵抗生成抄袭内容或不健康信息，降低人工审查支出，加快内容上线速度。

局限

• **单模型规模与架构限制**：实验仅在 120B 参数的模型上进行，未验证该方法在不同规模（如 7B、65B）或不同架构（如非 Transformer）上的泛化能力。较大规模的模型可能表现出不同的对齐特性，而较小模型的中训练预算可能不足以容纳足够的宪法内容，因此结论的普适性存在疑问。
• **宪法内容的单一性与主观性**：宪法语料完全基于 Anthropic 的 Constitution，这隐含了一套特定的西方价值观。论文未探索其他文化或伦理框架，也未测试不同宪法内容对对齐效果的影响。因此，所宣称的“对齐”可能仅反映某一特定价值体系的偏好，而非普适的对齐。
• **对齐耐久性在压力场景下有限**：尽管宪法中训练在常规场景下表现出耐久性，但在需要主动抵抗上下文压力、价值冲突及假装对齐（alignment faking）的场景下，对齐增益在 SFT 后显著衰减。这表明该方法无法完全解决深层对齐问题，对于高风险应用（如自主代理）仍需额外措施。