CLEAR: 用于保持实用性的 LLM 安全对齐的连续潜在适配器路由

TL;DR CLEAR 通过隐藏状态门控连续调节安全 LoRA 的激活强度，在 Llama-3-8B-Instruct 上将 HarmBench ASR 从 32.3% 降至 0.5%，同时比全局 SFT/LoRA 保留更高 GSM8K 精度，显著改善安全-效用权衡。

问题

问题背景

LLM 安全对齐要求模型拒绝有害请求，但当前方法往往损害其在推理、编码等良性任务上的实用性，安全-实用权衡成为部署核心矛盾。

现有方法局限

• 全局安全调优(如 SFT 或标准 LoRA) 对所有输入施加相同参数更新，导致过度拒绝，降低 GSM8K、HumanEval 等基准分数。
• 条件化安全路由 通常依赖显式分类器判断有害性：要么是二值门控，带来不连续激活和脆弱的分类边界；要么引入额外推理延迟和复杂流水线。
• 表示层操控(activation steering) 虽然保留部分原始权重，但强度控制依赖手工阈值，缺乏稳定性，难以泛化到不同风险等级。

为什么难/重要

• 安全与实用目标在参数空间存在冲突，单一全局更新无法同时拟合有害与良性分布。
• 需要机制根据 prompt 风险连续调节适配器贡献，保持冻结骨干的原始能力，同时避免额外推理开销。
• 业界对安全合规要求提升，但模型能力退化直接影响产品体验，因此高效稳健的安全适配机制成为关键瓶颈。

行业类比

类似内容审核系统中用风险评分动态调节过滤强度，既拦截违规内容又不影响正常创作。

核心洞察

• 连续门控机制替代离散路由：CLEAR 使用隐藏状态上的连续标量门控值来调制安全 LoRA 的激活强度，而非二值化或关键词触发的条件适配。与许多基于输入分类的安全适配方法相比，连续门控允许模型根据每个 token 或 prompt 的细微风险程度动态调整适配器贡献，避免离散决策带来的过拒绝或欠拒绝，从而更精细地平衡安全与效用。
• 训练目标将风险评分与安全适配解耦：CLEAR 通过硬分离损失强制门控对有害/无害输入输出分离的评分，同时安全 LoRA 仅在有害样本上对齐。这种解耦使得门控专注于风险感知，适配器专注于安全提升，二者相互独立更新。与全局 SFT 或标准 LoRA 将安全信号遍布所有参数不同，CLEAR 不会在良性输入上引入不必要的模型变化，显著降低 utility 退化。
• 在隐空间而非输入空间进行条件路由：门控直接作用于 Transformer 层的隐藏状态，捕捉深层语义表征，而非对原始 prompt 做浅层分类。这一设计允许 CLEAR 插入到网络的不同深度，路由不同抽象层次的安全相关特征。与基于表征的激活操控方法不同，CLEAR 的门控是端到端可学习的，能够自适应地发现哪些层和哪些维度的隐藏状态最有助于识别风险，同时保持主干冻结。

方法

整体流程

CLEAR 采用 条件式安全适配：输入 prompt 先经过冻结的 骨干 LLM 产生隐藏状态，而非直接微调所有参数。

1. 输入与特征提取：对每个 prompt，骨干模型前向传播到某一中间层，得到隐藏状态 h。
2. 门控风险评分（Gate）：一个轻量级前馈网络接收 h，输出一个连续标量 gate_score，范围约束在 [0,1]，表示输入的风险程度。
   • subtype-aware gate classification：训练时不仅区分安全/不安全，还识别不安全 prompt 的子类型（如欺诈、暴力等），提升泛化能力。
   • hard pairwise gate separation：通过间隔约束或对比损失，强制安全 prompt 与不安全 prompt 的 gate_score 拉开差距。
3. 风险条件安全适配器（LoRA）：在骨干模型的注意力/FFN 层旁路插入 低秩适配器（LoRA），仅在安全相关数据上训练（unsafe-only adapter alignment），学习拒绝或安全完成模式。
4. 输出融合：LoRA 的增量输出乘以 gate_score 后叠加到原始隐藏状态或 logits 上。当 gate_score 接近 0 时，几乎等于原骨干输出，保持 benign 任务效用；接近 1 时，强化安全适配。

训练时冻结骨干，仅更新 gate 和 LoRA 参数。损失函数组合安全分类损失（训练 gate）与条件语言模型损失（训练 adapter），并加入正则化限制 gate 激活范围。

与同类方法的差异点：CLEAR 的核心创新在于用隐藏状态门控连续调节 LoRA 的贡献，相比全局 SFT 或标准 LoRA 对所有输入施加同等强度的安全改造，它能按需激活，在降低有害输出的同时最大限度保留良性任务的效用。

实验

实验设计

作者在 Llama-3-8B-Instruct 上训练 CLEAR，与全局应用的安全微调（SFT）及标准 LoRA 进行对比。安全评估采用 HarmBench 攻击成功率（ASR），效用评估包括 GSM8K 数学推理和 XSTest 过度拒绝检测。CLEAR 冻结 backbone，仅训练一个低秩安全适配器和一个轻量隐藏状态门控，实现条件化安全调制。

关键发现

CLEAR 将 HarmBench ASR 从基础模型的 32.3% 降至 0.5%，同时保留大部分效用。在 GSM8K 上，CLEAR 比全局 SFT 或 LoRA 高出最多 7.1 个百分点。结果表明条件路由机制能有效减少有害输出，同时避免对良性 prompt 的不必要模型改动。

基线对比解读

全局安全调优（SFT/LoRA）对所有输入施加相同更新，导致良性任务性能下降。CLEAR 通过隐藏状态门控连续控制适配器激活强度，仅在风险评分高时增强安全适配器，从而在有害与良性 prompt 之间实现细粒度权衡，显著缓解安全-效用冲突。

行业影响

落地场景

CLEAR 适合作为 LLM 产品的安全适配层，尤其在不改动基座模型、需要快速迭代安全策略的场景。典型用例：电商智能客服（用户咨询商品时正常作答，遇到欺诈或暴力诱导时拒绝）、企业知识库问答（医疗/金融合规场景，避免有害建议但保留专业问答准确率）。内容平台的内容审核辅助也可受益。

商业价值

CLEAR 通过条件路由显著降低安全对齐带来的 utility 损失（Llama-3-8B-Instruct 上 HarmBench ASR 从 32.3% 降至 0.5%，GSM8K 准确率比全局 SFT/LoRA 高最多 7.1 个百分点）。这意味着产品可同时提升安全指标和用户体验，减少过度拒绝导致的用户流失；同时 LoRA 适配器训练成本低，可对多个安全策略分别适配、按需加载，降低运维复杂度。

与现有产品/工作流集成

可在推理框架（如 vLLM、TGI）中把 CLEAR 作为附加模块加载：基座权重冻结，门控与 LoRA 适配器作为轻量插件热插拔。与现有 moderation API 互补：CLEAR 在模型内部做第一道条件过滤，外部 API 做第二道策略审计，形成纵深防御。适配器可独立更新，无需重新训练主干模型，适合持续安全策略迭代。

局限

• **对抗鲁棒性有限**。论文明确讨论了 **Latent Space Adaptive Attack**，并提出了基于 CLEAR 的推理时防御，但对抗攻击会不断进化。门控本身是一个可攻击的组件，攻击者可能通过操纵隐藏状态或提示来绕过风险评分，导致安全适配器未被充分激活。该防御策略只针对特定攻击设计，对未见过的攻击变体泛化能力未知，这是条件安全方法普遍面临的挑战。
• **门控依赖标注数据与分布外泛化**。门控的训练需要明确区分安全/有害 prompt 的监督信号，而现实中的不安全请求可能更微妙、依赖上下文或多轮交互。论文在标准基准（HarmBench、XSTest）上验证，但这些数据分布与真实世界有偏差。对于隐晦的越狱或间接有害意图，门控可能无法准确识别，导致安全适配器激活不足。此外，额外的 hidden-state gate 增加了推理时的前向计算开销，虽然轻量，但在高吞吐场景下仍可能成为瓶颈。
• **与全局微调相比安全覆盖可能不彻底**。CLEAR 选择冻结主干、仅调节 LoRA 适配器，这保留效用但限制了模型对安全相关参数的全局调整。对于某些深层安全缺陷（如价值观对齐、复杂推理中的不当输出），仅靠低秩适配可能不足以完全纠正。与专门的 SFT 或全参数安全对齐相比，CLEAR 可能在某些安全维度上存在遗留风险，尤其当门控误判为良性时，有害输出会直接来自未修改的主干模型。