SecRespond：面向现实世界后入侵应急响应的AI代理基准测试

TL;DR SecRespond 是首个真实攻陷后事件响应基准，评估 LLM 智能体在 10 个不同入侵场景下的取证与修复能力，揭示当前模型严重缺乏主动调查与完整修复规划的关键瓶颈。

问题

问题背景： 近年来，大型语言模型（LLM）驱动的 AI Agent 正被集成到安全运营中心（SOC），用于自动化事件响应。然而，现有安全评测基准主要聚焦于入侵前（pre-compromise） 的渗透测试或攻击模拟，假设环境为一个干净、理想化的系统。

现有方法局限： 传统的安全基准（如 CyberSecEval 等）通常仅评估模型在无污染环境下的攻击路径发现能力，忽视了真实攻击后场景中主机已被植入后门、存在持久化机制、核心日志遭篡改等复杂状况。具体而言：

• 缺乏对主机取证工件（磁盘镜像、注册表、内存 dump 等）的细粒度理解，无法从原始数据中还原攻击链。
• 评测环境多为静态、单一步骤，不要求 agent 主动探索磁盘、关联多源告警（如漏洞扫描、基线检查），并生成可验证的修复计划。
• 对于静默入侵（无告警的恶意活动），现有模型和评测均无覆盖，导致在实际事件响应中易漏报。

为什么这个问题难且重要： 事件响应是安全运营的最后防线，平均检测时间（MTTD） 与平均响应时间（MTTR） 直接决定损失规模。后入侵场景面临数据不完整、高噪声、对抗性反取证 等挑战，要求 agent 具备长程推理、假设验证与多工具协同能力。当前 LLM 在长上下文窗口下的逻辑链、结构化动作规划方面仍存瓶颈，且缺乏真实世界的事件响应训练数据。因此，SecRespond 基准填补了从“攻击仿真”到“实战响应”的缺口，成为评估 AI 安全 agent 现实能力的关键标尺。

行业类比： 这一基准的定位类似自动驾驶中的 corner case 测试集——模拟仿真中表现优秀的模型，在遭遇真实系统被深度侵入后的混沌状态时，往往束手无策，需要特定场景的硬性评测来驱动进步。

核心洞察

• 当前 LLM 代理在安全事件响应中存在**从被动警报响应到主动取证调查的显著能力鸿沟**。即使面对明确关联的实时警报，代理能有效识别并总结已知问题；但当需要主动遍历磁盘镜像、关联无警报的隐蔽攻击痕迹时，所有模型均表现出严重的检测盲区，无法生成可落地执行的完整修复方案。这暴露了纯粹依赖语言模型推理而缺乏结构化调查策略的局限性，对设计下一代面向安全运营中心 (SOC) 的自主代理具有直接指导意义。
• SecRespond 是首个系统评估 **妥协后 (post-compromise) 事件响应全流程** 的基准，填补了既有基准仅关注妥协前攻击场景（如 CTF 式漏洞利用）的空白。该基准通过真实的云主机取证快照、多类型安全日志（警报/漏洞/基线）以及涵盖不同操作系统与 MITRE ATT&CK 技术的丰富矩阵，迫使代理面对真实世界的不完整、干扰性信息，从而更准确地测量代理在安全运营实战中的推理与决策能力。
• 实验揭示的**“警报贪吃蛇”现象——代理倾向于仅处理安全产品已告警的问题，而忽略磁盘上的静默持久化与横向移动痕迹**——指出了当前基于提示的代理架构在安全审计完整性上的核心短板。该发现不仅为模型训练提供了明确的弱假设定位，也提醒了工具设计者：未来代理必须集成强制性的全量取证路径检查机制，而非依赖模型的自主好奇心。

方法

任务定义与输入

SecRespond 设定了一个后入侵事件响应（post-compromise incident response）基准：给定一个已感染主机的取证磁盘快照，以及由主机安全产品生成的告警、漏洞扫描报告和基线检查报告，要求 AI Agent 模拟安全分析师的操作流程，输出结构化的调查结果与修复方案。

输入侧强调现实性——磁盘快照来自10 个不同云主机靶场，覆盖 4 种初始入侵入口、21 个 ATT&CK 战术技术点以及 5 类操作系统，确保场景多样性。

关键交互模块

Agent 基于 OpenCode 代理框架运行，拥有访问主机 artifacts 和命令行接口（CLI）的权限。不同于简单问答，该任务强制 Agent 进行主动调查：它必须自主解析告警线索、遍历文件系统、检查进程与网络痕迹，从而发现未被告警覆盖的“静默入侵”（silent intrusions）。整个交互过程模拟真实分析师在终端中的操作序列。

输出要求与评估

Agent 需输出四部分：

• 入侵取证报告：描述确认的入侵路径、涉及的 ATT&CK 技术及证据链
• 基线风险报告：汇总不安全的系统配置或异常基准项
• 漏洞风险报告：整合漏洞扫描结果，并评估其被利用的可能性
• 修复计划：给出具体可操作的清理步骤和系统加固建议，且需经过验证（verified）

评估不仅检查结论是否正确，更关注调查过程的完整性和逻辑性。实验显示，当前前沿 LLM 虽然能可靠识别告警中暴露的问题，但在主动挖掘磁盘中的隐蔽入侵以及生成全面且经过验证的修复计划上表现乏力，尚无任何模型在单个靶场上实现完整的检测与修复。

与同类工作的差异

传统网络安全基准（如 CyberSecEval、Purple Llama 等）聚焦于攻击发生前的干净环境，测试 Agent 的预防或攻击辅助能力。SecRespond 首次将评估重心转移到事后响应，要求 Agent 在已受威胁的系统中进行取证溯源与修复，暴露了现有模型在自主调查推理与实操规划方面的关键瓶颈。

实验

实验设计

SecRespond 基准构建了 10 个源自受损云主机的取证磁盘快照，覆盖 4 种入侵入口类型、21 项 ATT&CK 技术和 5 种操作系统。每个场景提供告警、漏洞扫描与基线检查结果，要求 LLM 代理在 OpenCode 代理框架 下生成取证报告、基线/漏洞风险报告及修复计划。共评估了 23 个前沿 LLM。

关键发现

当前 LLM 代理能可靠发现告警中已暴露的问题，但在主动调查磁盘以发现隐蔽入侵方面表现不佳，未能有效识别未被告警捕获的恶意行为。修复计划的完整性与可验证性不足，没有模型能在任一场景中实现完全的检测与修复。这暴露出将代理用于真实事件响应时，从告警驱动调查向主动威胁狩猎过渡的根本瓶颈。

基线对比

与现有聚焦预入侵环境的基准相比，SecRespond 首次将评估置于入侵后取证响应，反映出真实安全运营中代理必须处理不完整线索与隐蔽威胁的复杂状态。实验显示，代理对已知告警依赖过强，缺乏自主推理与交叉验证能力，这种差异揭示了当前 LLM 在面向实战的持续安全调查中的工程局限。

行业影响

落地场景

SecRespond 基准所定义的 后妥协事件响应 工作流，可直接赋能安全运营中心 (SOC)、托管安全服务 (MSSP) 和云安全平台。产品形态包括：

• EDR/XDR Agent：集成大模型代理，对已入侵主机进行自动化取证与溯因分析。
• SOAR 剧本扩展：用 LLM 代理替代部分人工调查步骤，生成结构化报告与修复计划。
• 安全审计工具：批量处理历史快照与告警，发现被忽视的横向移动或持久化行为。

商业价值

• 降本：减少安全分析师在重复调查上的投入，把一名三级分析师的工作量压缩为分钟级自动报告，释放人力去处理更复杂的威胁。
• 加速响应：从告警到根因报告的时间可从数小时缩短至分钟，降低平均修复时间 (MTTR)，避免攻击者在滞留期内扩大破坏。
• 风险量化：自动梳理漏洞风险和基线合规问题，辅助管理者更准确评估安全态势，支撑对客户或监管的合规证明。

与现有工作流的集成

代理可作为一个无状态分析单元 嵌入到现有安全栈中：

1. 数据输入：通过 API 拉取 SIEM 告警、漏洞扫描结果、EDR 磁盘快照及主机基线检查报告。
2. 处理：代理利用交互式命令行接口 (CLI) 挂载磁盘镜像，执行取证工具 (如 volatility3、grep、find) 进行深度调查。
3. 输出：生成符合 STIX 或 Incident IODEF 格式的报告，直接推送至工单系统 (如 Jira) 或协作平台 (如 Slack)，由人工审核后关闭或升级。

具体落地用例

• 云安全托管服务：某云厂商在其 Security Hub 中嵌入代理，当客户环境检测到 Web Shell 后，代理自动分析快照，提取后门路径、执行链和横向移动痕迹，生成一份包含 IOC 和清理脚本的响应包。分析师只需验证结果即可指导客户处置，将单次事件处理成本从平均 2 小时降至 15 分钟。
• 金融行业内部 SOC：银行内部网络面临钓鱼攻击后，代理对接 Splunk 和 CrowdStrike 的告警，自动审计受影响终端，识别被窃取的凭证、创建的持久化服务及修改的注册表，生成符合监管要求的调查报告。这使得小规模 SOC 团队能够处理夜间突发的告警，防止攻击在无人值守时扩散。

局限

• 数据集规模较小，仅包含 10 个网络范围，且仅覆盖 4 种入口点类型和 5 种操作系统，可能无法充分代表真实世界中多样化的攻击场景与企业基础设施。代理评估基于 OpenCode agent harness，限制了自定义 prompt 和工具交互方式，可能低估了经过针对性优化的代理潜力。修复计划的评估仅依赖静态报告格式，未包含实际执行修复步骤后的闭环验证，难以衡量代理生成的修复方案的可操作性。
• 基准任务将事件响应割裂为三个独立报告（取证、基线风险、漏洞风险），未涵盖完整的 IR 生命周期，如遏制、根除和恢复阶段。代理被迫在一次性交互中完成所有分析，缺乏真实环境中安全分析师与系统持续交互的迭代过程。此外，所有攻击均基于已知的 ATT&CK 技术，未涉及零日漏洞或高级持久威胁（APT）的对抗行为，可能高估了模型在面对隐蔽攻击时的泛化能力。
• 与已有基准相比，SecRespond 专注于后妥协响应，但未与先前的 pre-compromise 安全基准（如 CyberSecEval、SEvenLLM）进行跨阶段联合分析。无法评估同一代理从入侵前防御到入侵后响应的连贯性，而这恰是真实安全团队需要的能力。同时，基准中的警报和扫描报告来源于特定安全产品，其格式与内容可能带有产品偏见，限制了不同厂商工具链下的适用性。