MerchantBench：面向电商运营长期连贯性的 LLM 智能体基准测试

TL;DR MerchantBench 是一个基于真实电商数据的 365 天订单级仿真基准，评估 LLM 智能体在长期运营（采购、定价、现金流）中的决策连贯性，揭示当前最佳模型仅达人类平均净资产的 27.3%。

问题

问题背景

LLM 智能体正被广泛评估为自主工具使用者，但现有基准大多聚焦于有界任务和即时成功指标，缺乏对长期连贯性（Long-Term Coherence）的考察。

现有方法局限

• 任务边界固定：典型基准（如 WebArena、AgentBench）将每个任务限定为单次交互或少数几步操作，不要求智能体在持续变化的环境中跨长周期维持策略一致性。
• 反馈延迟忽略：多数环境提供即时反馈，而真实场景中决策后果可能数月后才显现，现有评估无法捕捉这类延迟对决策的长期影响。
• 状态可重置性：评估环境通常允许重置或存在独立回合，这无法模拟现实中行动不可逆、前期决策约束后续选择的累积效应。

为什么这个问题难且重要

• 技术挑战：智能体必须在 365 天模拟期内持续管理产品采购、定价、现金流等相互依赖的操作；从混合延迟的订单反馈中提取信号，在信息不完全时做出连贯决策；短期收益可能损害长期信誉，需要智能体平衡即时回报与可持续性。
• 业界关注：电商平台卖家自动化运营需求强烈，但部署不可靠的智能体可能造成严重财务损失。评估长期连贯性成为将 LLM 智能体从实验室推向真实业务的关键瓶颈。

行业类比

这类似于自动驾驶中的长期路线规划，一次变道决策不仅影响当前安全，还会通过后续路况反馈与累积行程时间，最终决定总体效率与风险。

核心洞察

• **长期一致性 (Long-Term Coherence) 是当前 LLM Agent 评测的盲区。** 大多数基准聚焦于单轮或短周期任务的成功率，而 MerchantBench 设计了跨越 365 天的约束性环境，其中早期的货源选择和定价会持续影响后续现金流和店铺评级，迫使 agent 展现出连贯的策略行为。这种设定更贴近真实的生产部署，揭示了当前模型在保持长期目标稳定与适应反馈延迟之间的显著短板。
• **混合延迟反馈 (Mixed-Latency Feedback) 暴露了 LLM 的战略脆弱性。** 与即时奖励的 RL 环境不同，MerchantBench 同时提供即时可见的上游供应商事件和延迟到达的下游订单结果，agent 必须平衡现金流和库存风险。实验显示，即使是先进模型也难以有效整合非同步信息，导致频繁的库存短缺或资金链断裂，这与人类参与者基于经验的预估和风险对冲能力形成鲜明对比，指明了未来需要融合前瞻式推理与元策略学习的方向。

方法

整体框架

MerchantBench 构建了一个持久化的电商卖家模拟环境，以 365 天订单级细颗粒度，评估 LLM 代理在长期连贯性上的表现。环境基于 98,843 条真实电商产品记录，并暴露 26 个工具供代理交互。

输入与感知

代理在每个时间步获得混合延迟的观测：

• 即时上游事件：供应商库存、价格波动等，通过工具查询可实时获取；
• 延迟下游反馈：订单评价、退货、评级变化等，可能滞后数日到达，要求代理自行追踪订单生命周期（下单→发货→收货→评价/退货）。

代理的决策受到状态约束：现金余额、库存量、店铺评级（影响曝光）、待处理订单列表等，形成跨时间步的路径依赖。

核心模块：四大运营维度与订单生命周期

模拟围绕卖家运营的四个相互关联的子任务展开：

• 产品采购（Product Sourcing）：从上游选择合适的商品，批量和时机影响后续定价与库存；
• 上架与定价控制（Listing & Pricing Control）：设定价格、调整促销，需权衡短期销量与长期利润率；
• 现金流管理（Cash-Flow Management）：支付货款、承担退货损失，需保持正现金流以避免破产；
• 混合延迟反馈适应（Mixed-Latency Feedback Adaptation）：根据延迟到来的订单评分、退货率等调整策略。

订单生命周期模拟确保每笔订单经历完整状态流转，迫使代理在决策时考虑已生效的过去决策（如已售出商品仍可能因退货影响最终收入）。

输出与评估

代理目标为最大化 365 天后的净资产。评估指标除最终净资产外，还分析运营一致性（如库存周转、定价稳定）与策略一致性（长期目标是否被坚持）。实验对比了 8 个 LLM（包括 GPT-4 等）在 2 种代理框架（如 ReAct 等）下的共 48 次完整模拟运行，并与人类参与者的平均水平对照。

与同类方法的差异

不同于现有基准（大多聚焦有明确终点的单次工具调用任务），MerchantBench 首次在电商场景引入跨时间步的连锁后果与异构延迟反馈，专门度量代理在数百步交互中维持一致、有目的性行为的能力，更贴近真实部署需求。

实验

实验设计

MerchantBench 构建了一个基于真实电商产品记录的 365 天订单级模拟环境，包含 26 个可交互工具。Agent 需在 产品采购 (Product Sourcing)、上架与定价 (Listing & Pricing)、现金流管理 (Cash-Flow) 和 混合延迟反馈 (Mixed-Latency Feedback) 四大任务中做出连续决策。环境刻意引入供应商事件的即时可观测性与下游订单结果的延迟到达，迫使 Agent 在长期范围内维持决策一致性。

关键发现

评估在 8 个 LLM 和 2 种 Agent 框架上进行，共 48 次独立运行，每次模拟完整 365 天。核心指标为 最终净资产，并以人类参与者的平均表现作为参照。结果表明，即使是最先进的 LLM 配置，其最终净资产也仅达到人类平均水平的 27.3%。深入分析揭示，LLM Agent 常在 操作连贯性 (Operational Coherence) 和 战略连贯性 (Strategic Coherence) 上出现断裂：例如，忽略了早期决策对后续现金流的累积影响，或在多条并行订单生命周期中顾此失彼。

基线对比解读

与人类基线相比，LLM Agent 的劣势并非单纯源于单步工具使用能力不足，而是源于长期规划中的 风险传播 (Risk Propagation) 失察。例如，代理可能在定价阶段未预留充足利润以应对采购成本波动，导致连续亏损后被迫中断运营。此外，不同 LLM 间表现差异显著，部分模型在短期任务中表现尚可，但无法在 365 天的尺度上保持稳定的利润率。这一差距揭示了当前 LLM Agent 在 持久环境中的跨时步决策协调 仍是核心瓶颈，为未来 Agent 架构设计提供了明确指向。

行业影响

落地场景

• 电商卖家工具：基于 LLM Agent 的自动化运营系统，可集成至 Amazon Seller Central、Shopify 等平台，自动执行产品选品 (Product Sourcing)、定价 (Listing and Pricing Control)、现金流管理 (Cash-Flow Management) 与混合延迟反馈自适应 (Mixed-Latency Feedback Adaptation)。
• 供应链 ERP 软件：将 Agent 嵌入 SAP、Oracle Netsuite 等系统，实现面向长期目标的采购决策与库存健康度监控。
• 创作者经济：内容分发与广告变现的长周期优化，类比电商运营的长尾效应。

商业价值

• 降本：减少卖家在选品、调价等重复决策上的人力投入，单 Agent 可管理 数百 SKU，将运营人力成本降低 30-50%。
• 增收：基于长期连贯性 (Long-Term Coherence) 的决策可平滑现金流、降低缺货风险，实验显示最佳 LLM 配置仅达到人类参与者平均净资产的 27.3%，表明自动化优化空间巨大，每提升 10% 连贯性可带来数万美元增量利润。
• 风险缓冲：Agent 可实时感知供应商事件 (Upstream Supplier Events) 与订单延迟 (Downstream Order Outcomes)，主动调整策略，避免资金链断裂。

与现有工作流的接口

• 工具化集成：MerchantBench 提供的 26 个工具 可作为 Agent 接口标准，通过 REST API 或 gRPC 与现有 ERP、WMS 等系统对接，获取库存、订单、财务数据。
• 插件式部署：以 Sidecar 模式部署于电商后台，订阅消息队列 (如 Amazon SQS) 获取事件，再将决策动作写回系统，不侵入原有架构。
• 持续学习回路：Agent 结合人类反馈 (Human-in-the-Loop) 进行在线微调，逐步提升长期连贯性，形成“仿真训练→部署→反馈”闭环，与现有 MLOps 流程兼容。

具体用例

1. Amazon 卖家：Agent 每天扫描 Product Sourcing 机会，根据季节趋势与供应商可靠性动态调整采购量，同时监控 FBA 库存容限与广告花费，确保 90 天现金流正向。当检测到某供应商延迟发货时，Agent 自动切换备用源并暂缓非核心采购，维持店铺评分 (Store Rating)。
2. 远程医疗平台：Agent 管理医生排班与设备库存，基于未来预约的长期连贯性调度资源，降低患者等待时长并避免器械过期，实现与电商模拟类似的“混合延迟反馈适应”。

局限

• - **模拟环境的简化性**：MerchantBench 虽然基于真实产品记录，但市场动态（如供应商行为、需求模型）仍为参数化仿真，可能无法捕捉现实电商中的复杂因素（如竞争策略、黑天鹅事件、季节性突变）。代理在完美信息环境中训练出的策略可能在真实非平稳分布下失效，评估结果的泛化性有待通过 A/B 测试等在线验证方式加强。
• - **实验覆盖度有限**：当前只评估了两种代理框架（ReAct 和结构化工具调用），且人类基线样本量较小（未明确但推断），难以全面反映人类的上限性能。此外，仅测试了 8 个 LLM，缺少对开源模型多样化配置（如微调、提示工程）的系统探索，可能低估了 LLM 在特定调优后的长期连贯能力。