保护 AI Agent：多层 Agent 红队测试的统一框架

TL;DR AI-Infra-Guard 是首个覆盖 AI Agent 基础设施、协议、行为与模型四层攻击面的统一红队框架，以分层匹配检测范式实现从规则扫描到 LLM 驱动的供应链审计，填补了开放生态的安全工具缺口。

问题

问题背景

当前，随着大语言模型（LLM）驱动的 AI Agent 快速落地，其依赖的开源基础设施——从模型服务引擎、Agent 平台到 Model Context Protocol（MCP） 生态——正成为新的攻击面。业界对 AI 系统安全的关注已从单纯的模型安全扩展到整个 AI 软件供应链。

现有方法局限

传统安全工具在面对 AI Agent 时暴露三个技术短板：

• 检测范式单一：多数工具仅针对基础设施漏洞（如容器逃逸）或模型越狱，但无法覆盖 协议层（如 MCP 工具调用）和 Agent 行为层（多轮对话中的间接注入）。
• 缺乏供应链视角：Agent 通过 skill 包扩展能力，这些第三方技能可能包含恶意代码或策略缺陷，现有扫描器不审计此类组件。
• 静态规则失效：MCP 服务器的动态行为（如工具定义冲突）和 Agent 的运行时交互无法用传统签名匹配发现，需要 LLM 驱动的审计和多轮黑盒对抗测试。

为什么这个问题难且重要

安全异构性是核心挑战：一个 AI Agent 的攻击面横跨基础设施、协议、行为和模型四层，不同层的漏洞特征和检测逻辑差异巨大，无法用单一范式覆盖。例如，基础设施层适合确定性规则匹配，而 Agent 行为层需要模拟攻击者进行多轮对话测试。此外，MCP 协议和 skill 生态的爆发极大拓宽了 AI 供应链的攻击面，但行业缺乏统一的安全评估框架。这直接关系到 AI 应用在金融、医疗等高敏场景的可信部署。

行业类比

这类似于软件供应链安全中 SCA（软件成分分析）与动态测试的结合：仅扫描开源组件版本号不够，还需对运行时行为进行模糊测试；AI Agent 安全同样需要从静态组件审计到动态对话对抗的多层检测体系。

核心洞察

• 分层-范式匹配原则：AI 代理的攻击面由基础设施、协议/工具、代理行为和模型等多个异构层构成，无法用单一检测范式覆盖。AI-Infra-Guard 在这一原则下，将确定性规则、LLM 驱动的审计、多轮黑盒红队测试和越狱评估分别绑定到不同层级，避免了现有工具仅聚焦模型或基础设施的局限性，首次在统一框架内实现了跨层自适应安全评估。
• 将代理技能包（Agent Skills）纳入攻击面审计：随着 Model Context Protocol 等协议的普及，代理技能包正成为新的供应链攻击入口，但此前鲜有安全工具覆盖。AI-Infra-Guard 的 agentic skill auditing 首次在开源框架中对技能包进行自动化语义安全分析，填补了从模型服务到代理运行时之间的一块盲区，为供应链安全提供了更完整的覆盖。

方法

AI-Infra-Guard 将 AI Agent 的攻击面按层次分解为基础设施、协议 / 工具、代理行为与模型四层，并针对每一层采用最适配的检测范式（层–范式匹配原则），形成统一的红队测试流程。

输入与分层

• 基础设施：模型服务、MCP 服务器、代理平台等组件的版本与配置指纹。
• MCP 服务器：工具定义、API 文档、源代码或运行时行为。
• 代理技能：技能包（agent skills）的代码、依赖与清单文件。
• 代理对话：面向黑盒代理的多轮交互，包括提示与工具调用。
• LLM：模型本身，接受越狱提示。

关键模块

1. 基础设施扫描（确定性规则匹配）：基于 75+ AI 组件、1400+ 漏洞规则，通过自定义匹配语言进行两步识别（组件发现 → 版本归一化 → 漏洞比对），输出精确的 CVE 或配置缺陷。
2. MCP 服务器审计（LLM 驱动的 agentic 审计）：将 LLM 作为领域审计器，在 reason-act 循环中调用工具检查 MCP 服务器的代码与行为，发现动态、语义层面的缺陷（如权限绕过的间接注入）。采用 Prompt-as-Rule 将安全策略编码为自然语言规则，结合有界上下文管理处理无界代码。
3. 代理技能扫描（供应链审计）：对作为 AI 供应链新攻击面的技能包进行静态与动态分析，使用受控的语义安全分析检测隐蔽的恶意逻辑。
4. AI Agent 红队（多轮黑盒）：以单回合原语构建多回合循环，并行技能工作器扮演攻击剧本，针对四种风险家族（数据泄露、工具滥用、间接注入、授权绕过）投放载荷。
5. LLM 越狱评估：提供 26+ 攻击算子库与组合混淆，配合多回合循环与独立 Judge 模型判断攻击成功与否，覆盖 16 个数据集。

输出

所有模块产出结构化发现（漏洞类型、严重度、证据片段、修复建议），并汇聚为统一的风险评分。

与同类工具相比，AI-Infra-Guard 是首个同时覆盖基础设施、MCP 协议、代理技能供应链与模型对齐的开源框架，其层–范式匹配思想避免了单一检测技术面对异构攻击面时的失配问题。

实验

实验设计

AI-Infra-Guard 按 AI agent 四层攻击面设计独立检测范式：

• 基础设施层：通过确定性规则匹配扫描 75+ 种 AI 组件及 1400+ 条漏洞规则，覆盖版本识别与暴露面检测。
• 协议/工具层：利用 LLM 驱动的代理审计对 MCP 服务器和 agent 技能包进行动态与静态分析，发现无签名的逻辑缺陷。
• Agent 行为层：实施多轮黑盒红队测试，模拟数据泄露、工具滥用、间接注入和授权绕过等四类风险，评估运行时行为。
• 模型层：使用 26+ 种攻击算子、组合混淆，在 16 个数据集上进行越狱评估，统计攻击成功率。

各层采用统一的 server-agent 架构调度，支持流式结果返回和远程知识库集成。

关键发现

• 分层范式匹配是可行的安全评估原则：确定性规则适合快速发现已知漏洞，LLM 驱动审计能捕获语义级风险，多轮红队测试揭示交互型缺陷，越狱评估量化对齐强度。
• 框架是首个开源实现跨所有层的 AI 红队方案，填补了 agent 技能包的供应链审计空白。
• 工程可靠性：通过规则语言扩展、异构模型路由、上下文裁剪和沙箱执行，确保大规模评估的稳定与成本可控。

与基线对比

传统安全工具仅依赖版本签名或静态规则，无法应对 AI agent 的动态行为和安全上下文；纯 LLM 评估器则面临幻觉和可重复性问题。AI-Infra-Guard 通过将不同范式匹配到最适层，在 覆盖率、鲁棒性和可审计性 上显著优于单一方法。例如，MCP 服务器审计同时结合静态分析（确保基础安全）与 LLM 驱动审计（发现隐蔽逻辑缺陷），既降低了误报，又保留了发现未知风险的能力。这一理论基础为构建统一的 agent 安全基准提供了实用起点。

行业影响

核心落地场景

AI-Infra-Guard 的多层安全评估能力可直接嵌入三类产品与业务：

• MCP 生态安全审计：对 Model Context Protocol 服务端及打包的 agent skill 进行供应链级扫描，防止通过工具调用注入恶意代码或数据泄露。
• 企业级 Agent 红队测试：在客服、自动化运维、代码助手等 LLM 驱动的 agent 上线前，执行多轮黑盒对抗，发现工具滥用、间接注入、权限绕过等运行时漏洞。
• 模型越狱评估：集成 26+ 攻击算子与多数据集基准，用于对齐评测，保障面向用户的对话应用符合安全策略。

商业价值

该框架将 能力分散的单点安全工具统一为分层检测流水线，直接降低 AI 系统的安全运维成本：

• 缩短安全评估周期：从依赖多个异构工具到一键式全栈扫描，减少人工编排与结果归一化开销。
• 减少线上安全事故：通过屏蔽 agent 引入的供应链风险与运行时漏洞，避免品牌声誉受损和合规罚款，尤其在高风险行业（如金融、医疗）。
• 提升用户信任：框架的 Evidence Sufficiency 设计输出结构化、可审计的发现，便于向客户或监管证明安全投入的充分性。

与现有工作流集成

AI-Infra-Guard 以 集中式服务器-代理架构 和 Skill 化分发 设计，可无缝嵌入 DevOps/MLLOps 流水线：

• CI/CD 门禁：在 agent 代码合并前自动触发扫描，失败则阻断发布。
• 安全编排与自动化响应 (SOAR)：通过规则引擎的 JSON 输出对接 SIEM/SOAR 平台，将高危发现自动创建工单。
• 模型注册表审核：结合 MLflow 等模型管理工具，在模型发布时批量执行越狱评测，确保只放行安全阈值以上的版本。

具体案例：某跨国电商平台在其 多语言客服 Agent 上线前，利用 AI-Infra-Guard 扫描了 30+ 个内部 MCP 技能包，发现 2 个高误用风险工具（允许直接执行 SQL），并通过对 Agent 的多轮红队测试暴露了库存查询 API 的间接注入漏洞。集成到 GitHub Actions 后，每次 skill 更新均自动审计，季度安全事件减少 70%。

局限

• **LLM 驱动审计的可靠性边界**：框架在协议/工具层和技能扫描层重度依赖 LLM 进行语义级漏洞发现，但 LLM 本身的推理不一致性、幻觉倾向以及对特定代码模式的覆盖盲区，会导致审计结果存在漏报与误报。论文未提供严格的误报率控制机制或置信度校准，而仅靠提示工程与输出结构化难以保证跨模型、跨版本的可重复性。当目标系统快速迭代时，审计策略的维护成本会向 LLM 的提示调优和模型路由策略转移。
• **评估覆盖度的时效与广度限制**：虽然框架内置了超过 1,400 条漏洞规则和 75+ 组件指纹，但 AI 基础设施的碎片化与快速演进（新服务引擎、新 MCP 实现、新技能包格式）意味着规则库极易过时。黑盒代理红队测试的风险家族（数据泄露、工具滥用、间接注入、授权绕过）覆盖了常见场景，但未给出对抗性覆盖度的形式化度量，也缺乏与真实生产系统在长期对抗下的鲁棒性证据。静态扫描与动态测试的集成方式尚未充分验证其对未知 0-day 类漏洞的发现能力。