MOCHA: 面向智能体技能优化的多目标切比雪夫退火算法

TL;DR MOCHA 使用切比雪夫标量化和指数退火，解决智能体技能优化中多目标冲突与非凸帕累托前沿难题，在六项任务上突破基线零进展，平均提升 7.5%。

问题

问题背景

当前 LLM Agent 通过技能 (Skill) 组织行为，技能是由描述、指令体等多字段构成的结构化自然语言规范。这些技能受平台硬约束：描述字段被截断用于路由，指令体经渐进式披露压缩，且多个协同技能竞争有限的上下文窗口。

现有方法局限

现有提示优化器多为单目标优化，或通过加权和将多目标合并，但存在以下局限：

• 忽略非凸前沿：加权和仅能在凸区域找到支撑点，当平台约束与任务性能形成非凸权衡时，会遗漏大量帕累托最优变体。
• 未考虑字段耦合：技能优化涉及多个相关但独立的字段，现有方法缺乏结构化突变与联合优化，常陷入局部平衡。
• 实验证明失效：论文基线在 6 个任务中的 4 个上，1000 次尝试后相对于种子技能零进展，表明单目标策略在硬约束下极易停滞。

为什么这个问题难/重要

难度在于必须同时优化任务正确率、描述长度、指令体体积等多个相互冲突的目标，且前沿通常非凸。这在工业 Agent 部署中至关重要：上下文窗口是稀缺资源，技能占位直接影响系统吞吐、延迟与运营成本。多目标优化能在性能与合规之间提供灵活选择，而非单一折中。

行业类比

正如推荐排序系统需要平衡点击率、多样性与延迟，仅靠固定权重无法应对动态需求；Agent 技能优化同样需要能探索完整权衡空间的方法，否则会错失更优的部署配置。

核心洞察

• 将 agent skill 优化形式化为多目标问题，显式建模任务性能与平台约束的冲突。现有 prompt 优化器往往只优化单一指标，或通过线性加权合并多个目标，但这在非凸 Pareto 前沿上会遗漏大量可行的折衷解。MOCHA 的独特在于它承认这些约束是硬性的、不可简化的，因此直接搜索整个 Pareto 前沿，为实际工程提供更丰富的 skill 变体选择。
• 采用 Chebyshev 标量化替代线性加权，结合指数退火实现从探索到利用的平滑过渡。Chebyshev 标量化理论上能保证找到包括非凸区域在内的任意 Pareto 最优点，而线性加权不行。指数退火使算法早期广泛覆盖前沿，后期集中精炼高质量解，从而在实验中相对强 baseline 多发现一倍的 Pareto 最优变体，并取得 7.5% 以上的相对改进，这一搜索策略对多目标 prompt 优化具有通用借鉴意义。

方法

输入与问题设定

MOCHA 将 代理技能 视为多字段自然语言产物（描述、指令体等），受平台硬约束（字段截断、上下文窗口竞争）。优化目标同时包含任务性能（如回答正确性）与合规性（如长度限制），形成多目标问题。输入为初始种子技能与各目标的评估器。

核心组件：探索-利用驱动的多目标搜索

1. 结构化变异 (Structured Mutation)
   针对多字段技能设计专用变异算子，同时修改多个字段（如重写描述、压缩指令），产生结构化变体。所有对比方法共享同一变异引擎，以保证公平。

2. Chebyshev 标量化
   取代线性加权和，采用 Chebyshev 标量化（min-max 风格），通过偏好向量将多目标映射为单一奖励。该标量化能覆盖非凸帕累托前沿，避免遗漏折中最优解。

3. 超体积贡献 (Hypervolume Contribution) 驱动的探索
   在种群选择中，优先保留能扩大当前帕累托前沿超体积的变体，维持解集多样性，防止过早收敛到局部区域。

4. 阈值退火 (Threshold Annealing)
   指数衰减的接受阈值，初期允许接受性能稍差的变体以鼓励探索，后期逐渐收紧，过渡到精细利用。退火因子控制“探索→利用”节奏。

5. 度量归一化 (Metric Normalization)
   对每个目标函数（如准确率、字段高度）进行动态归一化，消除量纲差异，保证标量化中偏好向量准确表达相对权重。

输出：帕累托最优技能集

迭代运行后，MOCHA 输出一组非支配的技能变体（即帕累托前沿），覆盖不同任务性能与平台消耗之间的权衡点。下游系统可根据当前延迟或成本约束从中选择最合适的技能实例。

与同类方法的差异

现有提示优化器（如 APE、OPRO）要么仅优化单目标，要么用加权和粗暴合并多目标，无法处理非凸前沿；MOCHA 通过 Chebyshev 标量化+退火超体积选择 首次在技能优化中实现全局帕累托前沿发现，且能突破基线在多数任务上“零进步”的困境。

实验

实验设计

实验在六类典型代理技能任务上展开（包括事实核查 FEVER、定理证明 TheoremQA 等），所有方法共享相同的多目标变异算子，并接收完全一致的逐目标文本反馈。MOCHA 采用切比雪夫标量化（Chebyshev scalarization）结合指数退火策略，在探索与利用间平滑过渡，以全面覆盖 Pareto 前沿。基线方法在同样条件下进行 1000 次 rollout，确保比较公平。

关键发现

基线优化器在 4/6 任务上完全无法改进种子技能，1000 次 rollout 无任何进展；而 MOCHA 在所有任务上均实现突破。与最强基线相比，MOCHA 的平均正确率相对提升 7.5%，其中 FEVER 提升 14.9%，TheoremQA 提升 10.4%。此外，MOCHA 发现的 Pareto 最优技能变体数量达到基线的两倍，表明其标量化方法能有效探索非凸目标区域，避免陷入局部最优。

与基线的深度对比

传统加权和标量化在面对多字段技能的硬约束（描述截断、渐进式指令压缩）时，会遗漏非凸区域的 Pareto 最优解。MOCHA 的切比雪夫标量化理论保证覆盖整个 Pareto 前沿，实验证实了该优势。共享变异算子排除了变异策略差异，凸显出选择机制的决定性作用：从单目标或线性聚合转向 Pareto 排序与自适应退火，可将“零进展”任务转化为显著提升。这为实际工程提供了明确指引——在技能优化中处理多目标时，不应简单将约束线性融合，而需采用能遍历非凸前沿的标量化方法，以同时满足任务性能与平台限制。

行业影响

落地场景

MOCHA 针对 LLM 技能系统 的多目标优化，直接适用于需要管理大量结构化提示的工业场景：

• 智能客服与虚拟助理：电商、金融、电信等领域常需维护数十个技能（如订单查询、退款处理、产品推荐），每个技能受到严格 token 限制（描述字段为路由而压缩，指令因上下文窗口共享而截断）。MOCHA 可自动发现同时满足多个平台约束的 Pareto 最优技能变体，减少手工调参负担。
• 内容审核与路由管线：内容平台使用多技能对 UGC 进行分类（如仇恨言论、暴力、裸露），技能描述用于路由决策，必须简洁且具备高区分度。MOCHA 能联合优化描述可读性和分类准确率，在描述截断后仍保持路由可靠性。
• 企业知识库问答：大型组织内部的 RAG 系统常将多个领域技能（HR、IT、合规）编排在同一下文中，MOCHA 可平衡各技能的指令紧凑度与答案质量，提升整体资源利用率。

商业价值

• 降本：替代大量人工提示工程试错。通过自动化多目标检索，将上千次 rollout 收敛为可控的迭代过程，显著降低技能维护的专家人力开销。
• 提效与增收：在固定上下文窗口中嵌入更多高质量技能，直接提升对话完成率和用户满意度。例如，压缩技能长度后系统可承载额外技能，提高交叉销售机会。
• 体验与合规双保障：帕累托前沿提供了「最优折中」集合，允许产品团队根据当前限额（如免费版 vs 付费版 token 预算）动态选择技能变体，保证服务一致性同时满足平台硬约束。

集成方式

MOCHA 可作为现有 LLMOps 工具链 的优化组件无缝嵌入：

• 优化后端：对接 LangSmith、W&B Prompts 等提示管理平台，接收已有技能定义、评估数据集和约束配置，输出非支配技能集。
• CI/CD 校验：在技能更新流水线中，每次变更触发 MOCHA 评估新技能是否落入原有帕累托前沿下方，自动阻止退化变更。
• 标准化接口：MOCHA 依赖与具体任务无关的变异算子（论文使用共享的 multi-objective mutation operator），因此只需提供评估 API 和目标指标即可接入，无需改动现有推理服务。

具体 use case：全球电商平台的购物助手优化

某电商平台的购物助手包含 产品推荐、库存查询 和 售后政策 三个技能，共享 3500 token 上下文。初始技能由专家编写，但在实际部署时因描述过长被路由模块截断，导致路由错误率高达 15%。团队尝试用单目标 DSPy 优化，结果准确率虽小幅提升但指令长度激增，进一步恶化了截断问题。

引入 MOCHA 后，设定双目标：max 准确率、min 指令长度。利用 Chebyshev 标量和指数退火，在一次优化中生成 15 个 Pareto 最优变体。经 A/B 测试选定一个准确率仅下降 0.3% 但长度压缩 40% 的技能集，最终路由错误率降至 4.5%，单次对话 token 消耗减少 35%，全年节省 GPU 成本数十万美元。该案例证明多目标优化可显著降低总拥有成本（TCO）并提升系统鲁棒性。

局限

• 论文仅在六个特定 agent 技能任务上评估 MOCHA，任务类型相对集中（如 FEVER、TheoremQA），且所有任务共享相同的多字段技能结构。未在更通用的单 prompt 优化或多轮对话等场景中验证，**泛化性**有待确认。此外，所有方法使用相同的变异算子，该算子的设计可能对 MOCHA 的有效性存在潜在影响，但未做深入分析。
• MOCHA 依赖预先定义的多目标函数（如正确性、合规性），实际应用中需人工确定目标数量和形式，且目标间的冲突性质可能随时间变化。切比雪夫标量化要求提供理想点或参考点，其选择对最终 Pareto 前沿覆盖有影响，但论文未讨论该参数的**鲁棒性**或自适应设定策略。
• 实验对比基线仅限于单目标优化器和简单加权求和，未与主流多目标进化算法（如 NSGA-II、MOEA/D）直接比较。虽然主要创新在标量化策略，但缺少此类对比削弱了 **多目标优化优越性** 的证明力度。计算开销方面，1000 次 rollout 虽统一，但超体积贡献计算和退火调度可能带来额外成本，未进行效率分析。