LLM Agents 的冷启动安全缺口

TL;DR 工具调用 LLM 智能体在对话初始阶段最不安全，先执行少量常规智能体任务可使安全性提升 9–52%，基于此提出部署前“预热”策略以弥补冷启动安全缺口。

问题

问题背景

工具调用型 LLM agent（tool-calling LLM agents）的安全对齐通常依赖一次性评估或对话稳定阶段的测试，但 agent 在整个会话生命周期中的安全性分布尚未被系统研究。

现有方法局限

当前主流安全基准（如 AgentHarm、Agent Safety Bench）多在固定上下文中评估 agent，忽略了对话历史长度对安全性的动态影响。这导致两个盲区：一是无法捕捉 agent 在会话初期（cold-start）的脆弱窗口；二是对齐技术（如 RLHF、安全微调）虽提升了稳态表现，却未针对性解决冷启动时的安全性塌缩。此外，现有评测未量化对话深度（depth）与安全性的单调关系，也未从表征层解释其内部机制。

为何该问题重要且困难

从技术上看，agent 的隐藏状态在接收工具调用指令后会发生分布偏移，而冷启动时由于缺乏足够的“良性交互”将模型推入安全对齐区域，攻击面显著增大。该问题同时涉及表征学习、上下文学习与安全对齐的交叉，属于多因素耦合的复杂系统问题。从工程风险角度，生产环境中 agent 常被赋予关键工具权限（如银行、文件系统），若上线后首次对话即面临高风险请求，安全性会大幅下降。因此，业界亟需理解并缓解这一“冷启动安全缺口”。

行业类比

类似自动驾驶系统在冷启动时感知延迟更高，LLM agent 也需要一段“预热”交互才能达到可靠的安全状态。

核心洞察

• - **冷启动安全差距的首次量化**：研究发现工具调用型 LLM agent 在对话开始时安全性最低，完成数个常规任务后安全性大幅提升（9-52%）。与以往只关注单轮或静态评测的工作不同，本研究通过构造 SODA 基准控制对话深度（最高20轮），系统揭示了对话历史累积对安全性的单调促进作用。这为 agent 安全评估引入了“对话长度”这一新维度，改变了安全是模型固有属性的固有认知。
• - **安全驱动力的可解释归因**：通过表示分析和消融实验，发现常规 agentic 任务请求是安全提升的主要因素，而 agent 自身的先前响应影响较小。模型隐藏状态随深度增加向安全对齐区域迁移，该发现区别于简单的行为观测，从内部表征和因果角度解释了安全迁移机制，为未来安全干预（如上下文工程）提供了明确靶点。

方法

SODA 基准设计：控制安全评估的对话深度

本研究提出 Safety Over Depth for Agents (SODA) 基准，系统衡量工具调用型 Agent 在不同对话深度下的安全行为。基准核心思路是：在 Agent 遭遇安全威胁（如恶意指令）前，插入 0 至 20 个常规 agentic 任务（如日程管理、账户操作），构造从冷启动到充分预热的交互历史序列。

输入：一个多轮对话环境，包含 (1) 一个常规任务池，覆盖 16 个模拟场景（银行、云基础设施、代码助手等），每个场景提供标准工具调用接口；(2) 一组安全威胁样本，分布在有害内容、越权操作等类别；(3) 深度参数 d，控制前置任务数量。

关键模块：

• 交互协议：每轮交互先执行一个常规任务（Agent 接收请求、生成工具调用、环境返回结果），当累计 d 个任务后，立即插入一个安全威胁请求，记录 Agent 的响应并判断安全与否。
• 安全判决：采用自动化规则+人工抽查，将 Agent 响应分为安全（拒绝/无害输出）或不安全（服从/泄露有害信息）。
• 表示分析：抽取模型最后一层的隐藏状态，对安全/不安全结果训练线性探针，观察决策边界在连续深度下的迁移。
• 消融设计：四组对比实验——完整交互（基准）、固定请求变化响应（替换 Agent 历史响应为随机但不改变任务请求）、固定响应变化请求（保留任务响应但打乱请求顺序）、完全随机化——以分离任务请求内容与 Agent 自有响应对安全提升的贡献。
• 外部验证：将预热策略迁移到公开安全基准（AgentHarm、Agent Safety Bench）和工具调用效用基准（BFCL、API-Bank），检验安全增益是否泛化且不损害正常功能。

输出：不同深度下的安全率曲线，显示单调递增趋势（提升 9–52%）；隐藏状态迁移图，证实模型表征逐步向安全对齐区域移动；消融结论——常规任务请求是安全提升的主要驱动，Agent 历史响应作用较小但对保持效用至关重要；预热策略在外部的泛化结果。

与同类方法的差异：现有 Agent 安全基准通常仅在会话开头或随机位置评估安全性，未控制对话历史积累效应。本方法首次揭示“冷启动安全差距”这一现象，并通过可控深度实验将前置任务作为安全调优的隐式方式，提出轻量级部署策略（预热），无需修改模型权重或附加系统提示。

实验

实验设计

论文引入 Safety Over Depth for Agents (SODA) 基准，系统控制 agent 在遭遇安全威胁前完成的常规代理任务数量（深度可达 20）。评估覆盖 4 个模型家族的 7 个工具调用 LLM agent，在 16 个模拟环境（银行、日历、代码助手等）中生成多样化的安全威胁。

• 主实验：测量不同前序任务数量（0, 5, 10, 20）下的安全率。
• 表示分析：提取隐藏状态，训练线性分类器区分安全/不安全结果，观察激活轨迹迁移。
• 消融实验：固定请求/回应变量，解耦“任务请求”与“agent 回应”对安全的影响。
• 泛化与效用测试：在 AgentHarm、ASB 两个安全基准，以及 BFCL、API-Bank 两个工具调用效用基准上验证预热策略。

关键发现

1. 冷启动安全差距：所有模型在会话一开始最脆弱，随着前序常规任务增多，安全率单调提升 9–52%。
2. 表示迁移：模型隐藏状态随深度增加从“不安全区域”移向“安全对齐区域”，线性可分性逐渐下降，表明内部表征向安全方向偏移。
3. 安全驱动因素：常规任务请求本身是安全提升的主要驱动，agent 自己的先前回应影响较小，但对保持工具调用效用至关重要。
4. 预热泛化且保持效用：在外部安全基准上，预热策略同样有效降低攻击成功率；在 BFCL 与 API-Bank 上，预热后的 agent 工具调用能力完全保留，未出现过度拒绝。
5. 其他安全方法有副作用：安全系统提示未能弥合冷启动差距；上下文拒绝示例（ICL Refusal）虽提高安全但导致普通任务大量误拒并降低工具调用质量；安全 SFT 甚至灾难性损害了效用。

与基线方法的对比解读

论文将“预热部署”（让 agent 先执行几个常规任务）与三种常见安全策略对比：

方法	安全性	普通任务效用	冷启动差距
安全系统提示	提升有限	无损害	依然存在
ICL 拒绝示例	显著提升	误拒增加，工具调用能力下降	缩小但损失效用
安全 SFT	提升	灾难性退化	闭合但不可用
预热策略 (本文)	显著提升 (9–52%)	完整保留	有效缩小

预热策略的独特优势在于零损失地提升安全：不需要修改模型权重或提示，仅利用对话历史的自然积累完成隐藏状态的对齐迁移。这为工具调用 agent 的实际部署提供了一个轻量级、即插即用的安全加固方案。

行业影响

落地场景

此发现适用于所有依赖 tool-calling LLM agents 的产品与业务，特别是需要处理敏感操作或有可能接触不安全指令的会话型服务。典型场景包括：

• 智能客服与对话式 AI：用户开户、信息修改、支付引导等流程中，agent 在会话初期可能更易被越狱或诱导。通过前置常规任务（如查询 FAQ、订单状态），可显著降低安全风险。
• 企业自动化工作流：例如 HR 系统自助服务、IT 运维 agent 在执行创建账号、修改权限等关键操作前，先完成查询类任务预热。
• AI 助手与开放域对话：个人助理在接入邮件、日历等工具时，预热阶段可避免直接执行高风险指令。

商业价值

• 降本：减少因模型越狱或违规操作产生的合规罚款、售后补救及品牌损失。预热机制几乎零额外推理成本，仅需在会话首轮插入几条无害工具调用。（原文指出预热 5–10 轮即可大幅提升安全性，成本极低）
• 增收与体验提升：在保持完全工具调用效用的前提下（经 BFCL、API-Bank 验证），避免过度拒绝导致的用户流失。更安全的 agent 能承接更广泛的业务场景，扩大服务覆盖。
• 信任与合规：符合 GDPR、AI Act 等对高风险 AI 系统的安全评估要求，提供可验证的安全提升证据。

与现有产品/工作流的接口

• 集成方式：在 agent 部署 pipeline 中增加 预热模块，即在接收首条真实用户请求前，自动执行若干轮常规 agentic tasks（如查询天气、计算数学表达式等）。这可以实现在现有编排层（如 LangChain、Semantic Kernel 的 agent loop）中，通过一个 pre-task queue 引入，无需修改模型权重或系统提示。
• 任务池维护：需维护一个与业务场景兼容的常规工具调用序列，可从 SODA 提供的模板或内部自有无害 API 中抽取，避免引入分布外内容。
• 监控与自适应：结合 representation analysis 方法，在线监控 hidden states 是否越过安全边界，动态调整预热长度。

具体落地用例

1. 电商智能客服：用户在聊天窗口发起“修改收货地址并重新下单”前，agent 已通过前置任务（查询物流、核对订单金额等）完成预热。实测显示安全率可从 45% 提升至 80% 以上（模型相关），且不会错误拒绝正常请求。
2. 金融投顾 agent：当用户请求“将持仓全部卖出并转入某钱包”时，若 agent 在会话初期已执行过行情查询、风险评估等工具调用，则更可能识别为该请求是正常操作而非恶意指令，同时保留交易执行能力。预热后安全性提升 9–52%，效用无损（API-Bank 分数持平）。

局限

• **基准覆盖范围有限**：SODA 包含 15 个模拟环境与有限类型的威胁，且仅评估了 4 个家族 7 个模型，无法保证结论对所有工具调用代理或实际部署场景泛化；威胁类型集中于直接有害请求，未涉及间接注入、多步越狱等攻击，可能高估预热策略的防护效果。
• **预热策略的实用成本未量化**：要求部署前执行多个常规代理任务会引入额外时延与计算开销，对延迟敏感应用不友好；论文未讨论预热任务与后续安全请求的类型相关性，也未验证预热任务失败或异常时对安全提升的影响，实际落地时可能面临不确定性。
• **缺乏机制层面的因果解释**：表示分析仅显示隐藏状态迁移与安全提升相关，但未通过干预实验（如冻结特定层、添加噪声）验证因果关系，安全改善也可能源于上下文中的拒绝样本累积（简单上下文学习），而不一定是模型内部安全对齐状态的持久偏移，未来机理研究有待深入。