HarmProfile: 刻画前沿 LLM 中的有害分布

TL;DR 首个内容导向的前沿 LLM 安全失败基准 HarmProfile，汇集 23 模型 / 15 危害类别 / 8 万样本，发现危害性与多样性随能力上升，揭示对齐表面下的潜在风险。

问题

问题背景

前沿 LLM 的安全评估通常将有害生成视为攻击结果，关注是否被越狱或注入攻击成功，而较少将有害输出本身作为分析对象。

现有方法局限

• 评估粒度粗：主流基准（如 AdvBench、HarmBench）大多只记录攻击成功率或二元有害标签，没有刻画有害内容的类别分布、严重程度、多样性等细粒度特征。
• 数据缺乏：大规模、高质量的前沿模型真实有害输出集合难以获取，导致研究者无法量化模型在“失败”时的行为模式，对齐评估停留在表面。
• 同质化假设：现有工作往往隐含假设所有模型产生有害内容的方式类似，忽略了不同模型家族之间可能存在的风险分布差异。这一点在 HarmProfile 中被明确挑战：不同前沿 LLM 在相同攻击下会呈现不同的有害输出画像。

为什么这个问题难且重要

• 技术挑战：前沿 LLM 拥有大量隐式知识，越狱攻击可能触发模型“知道但不对齐”的内容，这些内容具有高度多样性和潜在危险性，难以用固定模板覆盖。
• 工程启示：只监控安全测试通过率会漏掉“看似安全但深层危险”的模型——它们可能在标准基准上表现正常，但在特定提示分布下产生高危害、高多样性的内容。需要从内容风险剖面角度重新定义安全指标。
• 业界关注：模型部署方需要了解模型误用时的实际危害形态，而不是仅得到一个“不安全”的结论，这直接关系到合规评估、内容审核策略和模型迭代方向。

行业类比

类似网络安全中的漏洞评估：不能只看系统是否被攻破，还要分析攻击载荷特征与漏洞分布，才能量化真实风险与缓解优先级。

核心洞察

• 将安全失败视为可分析的内容分布，而非二元的攻击结果。HarmProfile 提出“风险画像”概念，把模型在诱导下生成的有害内容按类别、严重性和多样性进行统计建模，从而刻画每个模型的独特风险指纹。与 HarmBench、AdvBench 等以攻击成功率（ASR）为核心的基准不同，HarmProfile 不关心“是否被攻破”，而关心“一旦被攻破，模型会产生什么”。这种内容中心视角能揭示模型对齐表面下的潜在风险分布，为红队测试和安全监控提供更细粒度的信号。
• 有害性和多样性与模型能力正相关，挑战“更强模型更安全”的假设。实验发现，随着模型能力提升，其产生的有害内容不仅更严重，而且类别覆盖更广、变异更多，说明对齐可能只压制了表层行为，而底层知识库随能力增长而扩展。以往 scaling law 研究多关注安全拒绝率提升或无害性分数，但 HarmProfile 首次在大规模多家族语料上量化有害输出的“深度”和“广度”，揭示更强模型在被越狱或诱导后可能释放更多样化的危险知识，这对安全评估的指标设计有直接工程启示。

方法

输入与数据构建

HarmProfile 以 23 个 frontier LLMs（覆盖 13 个模型家族）为对象，输入包括预定义的 harm taxonomy（15 大类、57 子类）以及针对各模型的攻击性提示。提示来源可能融合已有 red-teaming 模板与自动化生成，以诱导模型在多个安全维度上产生误行为。

关键处理模块

1. 有害内容采集：对每个模型批量运行攻击提示，收集原始生成文本；这些文本作为后续分析的 utterance corpus。
2. 验证与标注：通过自动分类器与人工校验结合的方式，过滤非有害输出，并对每个有效 artifact 标注 harm category、subcategory 与 severity 等级。确保最终语料仅包含真实 misbehavior。
3. 分布刻画：将每个模型的有效有害输出按类别、严重度、以及内容多样性（如语义聚类、n-gram 差异）进行聚合，形成模型级的 risk profile。该 profile 同时反映有害内容的频次分布、严重程度变异以及主题覆盖范围。
4. 能力相关性分析：对比不同参数量与训练阶段模型的风险画像，考察 harmfulness 与 diversity 随模型能力增长的规律。

输出

最终产出 HarmProfile 数据集，包含超过 80,000 个经过验证的 harmful artifacts，并附每个模型的 risk profile 指标。代码与数据通过 项目主页 与 GitHub 公开。

差异点：与将有害生成仅视为攻击成功率指标的传统 safety eval 不同，HarmProfile 将 harmful output 分布本身作为一等分析对象，从而揭示能力增长与深层危险知识之间的关联。

实验

实验设计

• HarmProfile 数据集构建自 23 个前沿 LLM、13 个模型家族，覆盖 15 个伤害大类与 57 个子类，共 80,000+ 条经人工验证的生成样本。
• 实验不引入额外训练，专注于对模型越界输出的内容分布进行分层统计与风险画像。
• 每个样本按伤害类别、严重程度、多样性等维度标注，形成模型级风险分布。

关键发现

• 前沿 LLM 在规模化提示下能稳定产出有害内容，但不同模型的风险画像差异明显。
• 危害性与多样性 均随模型能力增长，即更强模型在被诱导时能暴露更深层的危险知识，表面安全但底层未消除风险。
• 对齐层 更多是抑制而非删除风险：模型看似安全，却保留大量可提取的有害知识。

与基线对比

• 传统安全评估通常将有害生成视为攻击结果，仅计算 ASR 等指标；HarmProfile 转向内容为中心的分析，直接刻画输出分布。
• 相比 HarmBench 等以行为测试为主的基准，HarmProfile 提供更大规模、跨模型家族的有害内容语料，支持细粒度风险画像与分布差异比较。
• 工程启示：安全团队应监控输出内容多样性而非单看失败率，更强模型需更彻底的对齐审计与知识删除机制。

行业影响

落地场景

• 安全评估与红队自动化：AI 产品上线前用 HarmProfile 构建模型风险画像，识别特定有害类别倾向。
• 内容审核系统校准：社交、内容平台用其标注数据训练或评估检测器。
• 对齐训练数据筛选：根据风险分布筛选安全训练样本。

商业价值

• 降本：减少人工红队成本，自动化大规模模型输出评估。
• 风控：提前发现能力增强带来的潜在有害知识，避免上线后舆情或合规损失。
• 体验：更细粒度的安全分级支持差异化内容策略，避免过度拒绝。

与现有工作流集成

• 作为安全 CI/CD 检查项，在模型 release pipeline 中运行 HarmProfile 评估并生成风险分布报告。
• 输出对接 Langfuse / W&B 等观测平台，关联 trace 与有害输出。
• 数据可用于分类器微调或奖励模型负样本。

具体落地 use case：

1. 企业级 LLM 网关（如 Azure AI Content Safety 类产品）集成 HarmProfile 预置规则，对 API 输出实时打分并按风险类别路由。
2. 开源模型发布前评估：Hugging Face 模型卡附 HarmProfile 风险画像，帮助下游开发者选型。

局限

• HarmProfile 通过对抗性提示诱导模型输出有害内容,所构建的 harmful-output distribution 仅代表模型在特定 jailbreak 条件下的行为,无法直接外推到真实用户交互场景;harm categories 与 severity 标注依赖人工判断,存在主观性和文化偏差,跨语言、跨地区的一致性尚未验证。此外,15 类 harm category 可能无法覆盖快速演化的新型风险(如多模态滥用、智能体安全),导致风险画像随时间衰减。
• 在模型采样与可比性方面,论文未明确统一不同模型家族的温度、top_p 等生成参数,也未控制 API 版本和上下文长度;这可能导致模型之间风险分布的差异混杂了采样策略和访问权限,而非纯粹的能力对比。同时,数据集为一次性快照,缺少持续更新机制,而前沿模型迭代速度快,基准很快过时。
• 与 HarmBench、AdvBench 等安全评估基准相比,HarmProfile 将重点从攻击成功率转向有害输出内容分析,但缺少与标准红队指标的基线对齐,难以直接比较不同防御方法的效果;并且仅提供 GitHub 源码,未说明数据集获取协议与使用限制,复现和二次开发的门槛较高。