MetroLLM-Bench:评估语言模型作为地铁票务终端运行时

TL;DR MetroLLM-Bench 用 955 个真实地铁场景评估 LLM 作为售票机策略层，发现 4B PEFT 学生模型在结构化工具调用上比肩 GPT-5.6/GPT-5.4，且仅需 2.6GB。

问题

问题背景

让语言模型担任交通自助终端（transit kiosk）的策略层，通过结构化工具调用输出机器可渲染的终端状态，正成为 AI 落地边缘场景的热点。

现有方法局限

传统规则式系统能处理固定流程，但难以应对路径重规划、票价组合、临时中断、无障碍需求等复合与策略适配场景。直接使用通用 LLM 也存在缺陷：模型生成的自由文本无法保证 outcome、fare_quote、kiosk_action 等字段的机器可渲染性；缺乏统一基准，各厂商模型在确定性评分下难以横向比较。此外，已有工作大多只关注开放域问答或单一工具调用，未系统覆盖多套真实地铁网络、对抗输入以及 PEFT 小模型的能力上限。

为什么这个问题难 / 重要

该任务的难点在于同时要求结构化输出、数值精确和策略推理：票价计算不能有幻觉，终端动作必须可执行，错误直接造成乘客损失。六个真实地铁系统（37 至 414 站）与十一类场景（含扰动、无障碍、对抗输入）带来分布外泛化挑战。业界关注的是能否用小参数模型经 PEFT 微调，在低内存、低延迟约束下达到甚至超过大模型的表现——这直接决定边缘部署成本是否可接受。

行业类比

类似智能客服工单系统或车载语音助手：模型是策略执行器，必须把模糊的用户意图转化为确定的 API 调用和可渲染 UI，任何结构化字段的漂移都会导致任务失败。

核心洞察

• 小型 PEFT 模型在结构化工具调用与确定性评分上可追平或超越大型模型，且规模增益迅速饱和甚至反转。4B Qwen 3.5 通过 PEFT 在 Tier 1 上得到 91.3，超过 GPT-5.6 的 90.6/90.0 并匹配 GPT-5.4 最大推理努力，但 9B 和 27B 学生无进一步提升，PEFT 增益从 2B 的 +7.03 降到 27B 的 -0.91。这与常规 scaling 假设相悖，说明该类任务存在容量天花板，工程上可优先选择小模型+领域微调以降低部署成本。
• 确定性规则基线已获得 84.6 的高 Tier 1 分数，LLM 的增量优势集中在政策适应、复合场景、可达性和时间推理四类。这意味着大部分换乘与票价计算可被规则覆盖，LLM 的价值在于处理模糊或需上下文推理的少数场景，支持混合架构设计——用规则处理确定性部分，仅将复杂子任务交给 LLM，可显著减少推理开销并提升系统可控性。
• serving 配置本身可造成 2.7 分的 Tier 1 差异（如 Qwen 3.5 与 3.8 比较），超过许多模型间的性能差距。现有 benchmark 很少报告 serving 细节（量化、采样参数等），导致跨模型比较不可复现或产生误导。该结果要求评估 LLM 能力时必须固定 serving 配置，否则模型排名可能反映的是部署差异而非模型本身能力。

方法

输入与任务定义

输入为 955 个 kiosk 案例，覆盖 6 个真实地铁系统（37–414 站），分 11 类场景：routing、fare calculation、disruptions、accessibility、adversarial input 等。模型作为策略层，必须调用结构化工具（查询线路、票价、无障碍状态等），不能自由发挥文本。

关键模块

• 工具调用：模型通过预定义工具与环境交互，工具返回结构化数据，模型据此推理下一步。
• 终端状态 schema：最终必须提交机器可渲染的终端状态，包含 outcome、fare_quote（适用时）和 kiosk_action，确保可被系统执行。
• 双层评分栈：Tier 1 为 14 个确定性组件，直接比对终端状态字段是否正确；Tier 2 为 8 个语义质量组件，其中 6 个使用 语言模型裁判，评估输出解释质量、策略合理性等主观维度。
• 数据划分：分层 75/25 划分，717 个案例用于训练数据生成，238 个作为 held-out 评估集，防止数据泄漏。

输出与评估

模型输出终端状态后，Tier 1 分项计分，Tier 2 由 LM judge 打语义分，最终报告 Tier 1 和两层综合分。另设确定性规则基线，Tier 1 达 84.6，用于对照 LM 在策略适应、复合场景上的优势来源。

与常见 agentic benchmark 相比，MetroLLM-Bench 强调结构化工具调用 + 机器可验证终端状态，并用确定性评分捕捉策略正确性，而非仅依赖语义相似度。

实验

实验设计

MetroLLM-Bench 覆盖 955 个测试用例、6 个真实地铁系统与 11 个类别（含 routing、fare calculation、disruptions、accessibility、adversarial input）。模型需调用结构化工具并提交包含 outcome、per-ticket fare quote 与 kiosk action 的机器可渲染终端状态。评分采用双层结构：Tier 1 为 14 个确定性组件，Tier 2 为 8 个语义质量组件（其中 6 个由 LLM judge 评估）。数据按 75/25 分层划分，717 例用于训练数据生成，238 例为 held-out 评估集，共评估 26 个模型（6 家厂商、23 个排名），包含 PEFT 学生与规则基线。

关键发现

• 4B Qwen 3.5 PEFT 学生在 Tier 1 达到 91.3，超过 GPT-5.6 两个 tier（90.6 与 90.0），并匹配 GPT-5.4 full 在 maximum reasoning effort 下的 91.4，模型占用仅 2.6 GB Q4_K_M。
• 更大的 9B/27B 学生未带来进一步 Tier 1 提升；PEFT 增益随基础模型规模递减，从 2B 的 +7.03（三个训练种子）降至 27B 的 -0.91，每个种子方向一致。
• 规则基线 Tier 1 仅 84.6，语言模型的优势集中在 policy adaptation、compound scenarios、accessibility 与 temporal reasoning。
• Muse Glimmer 30B 在综合排名中领先；serving configuration 可使 Qwen 3.5 与 3.8 的对比结果变化达 2.7 Tier 1 分。

基线对比解读

与规则基线相比，语言模型在确定性工具调用与计价上的领先有限，但复杂策略场景下仍不可替代。PEFT 小模型能匹配甚至超越更大的通用模型，说明针对明确的工具协议和终端状态空间，参数高效微调能快速收敛到接近性能上限，且推理成本极低。然而 PEFT 增益随模型规模递减甚至为负，提示大基础模型已具备较强零样本能力，额外训练样本不足或过拟合反会损害性能；同时也揭示评估必须严格控制 serving configuration，否则模型对比会因部署细节产生显著偏差，掩盖真实能力差异。

行业影响

落地场景

MetroLLM-Bench 验证了小参数模型（如 4B Qwen 3.5 PEFT 学生）能在结构化工具调用与机器可渲染状态生成任务中匹配甚至超越更大模型。典型场景包括：

• 公共交通自助服务终端、机场/车站信息亭，在边缘设备上离线运行，降低网络依赖。
• 通用客服与工单系统，模型作为策略层调用查询、下单、退款等 API，返回可执行状态而非自由文本。
• IoT 设备与移动应用中的语音/文本助手，需低延迟、低功耗。

商业价值

• 降本：2.6 GB Q4_K_M 量化模型可部署在 CPU 或低端 GPU，推理成本仅为大型 API 模型的零头；PEFT 训练所需数据与算力远低于全量微调。
• 体验提升：Tier 1 确定性评分保证结果可验证、可复现，减少幻觉与格式错误。
• 快速集成：开源 benchmark 与 harness 可加速内部评估与模型选型，缩短 PoC 周期。

与现有工作流接口

模型输出终端状态（outcome、fare quote、kiosk action）可直接被业务系统消费，类似 function calling 但更结构化。工程团队可将学生模型作为轻量策略层，置于工具网关之前：

1. 使用 LoRA/PEFT 在领域数据上微调小模型。
2. 部署为本地推理服务（vLLM/ONNX 或边缘 runtime）。
3. 通过 API 网关对接现有业务工具，模型输出 JSON 状态驱动后续动作。
4. 利用 deterministic scoring 组件做回归测试与 CI/CD 门禁。

论文观察到规则基线已达 84.6 Tier 1，剩余 LLM 收益集中在策略适应、复合场景与时间推理，这为混合系统提供了清晰分工：确定性逻辑处理常规路径，LLM 处理例外与模糊输入。

具体 use case：

• 在电商平台订单查询与退换货场景，使用 4B 学生模型调用库存、物流、支付工具，生成包含决策与报价的结构化响应。
• 在医疗预约系统中，模型作为导诊策略层调用科室排班、保险接口，输出可执行的预约状态与费用预估。

局限

• 基准仅覆盖六个真实地铁系统（站点数 37 至 414 个），共 955 个案例。虽然包含 11 个类别，但相对于全球多样化的交通系统，策略空间仍有限：缺少非英语系统、不同票务规则（如按距离/时段/换乘打折）和支付方式的覆盖，可能导致跨系统迁移性能下降。此外，案例由模板和规则生成，虽经人工校准，但现实中更复杂的长尾歧义（如临时施工、多模态衔接）可能未被捕捉，限制了基准对真实 kiosk 部署的代表性。
• Tier 2 的八个语义质量组件中有六个依赖 LLM judge，尽管论文报告了 judge 校准和评分栈一致性，但 LLM judge 仍可能存在内在偏见、位置偏差或对被评测模型族的不敏感。此外，judge 模型与被评测模型若来自同 vendor，可能产生循环增益。更关键的是，Tier 1 的确定性评分虽保证可复现，但过度刚性可能无法反映真实乘客体验，例如多步交互中的修复能力或语气自然度，而这些恰是 kiosk 运行时的关键要素。
• PEFT 实验仅在 Qwen 系列模型上进行，训练数据取自同一基准的训练集（717 例），虽然采用 held-out 评估避免直接泄漏，但训练集规模小且高度任务特定，可能导致 4B 学生模型过拟合到该基准的分布，放大了其性能表现。作者发现 PEFT 增益随模型规模增大而减小，甚至 27B 学生出现负增益，这暗示容量上限可能受限于数据规模而非模型能力，但论文未验证在更大训练集或不同架构下该结论是否成立。此外，只使用单一 vendor 的 Qwen 系列，可能限制了 PEFT 增益结论的普适性。