发现合作管线：面向序列社会困境的自主研究

TL;DR 两层自动研究框架让 AI 研究员自主优化 LLM 策略合成流水线，在序贯社会困境中超越手工基线并发现目标特异的合作机制。

问题

多智能体序列社会困境（SSDs）中，智能体须在共享环境里权衡个体与集体利益，直接指令或简单策略常导致合作崩溃。该领域关注如何诱导高效、公平的协作策略，尤其当智能体边界理性、环境动态复杂时。

现有方法主要依赖人工设计奖励信号或启发式规则，难以泛化至未预见的博弈结构；近期LLM 策略合成通过固定提示模板生成策略，虽利用语言模型常识，但其反馈函数、迭代逻辑均由专家硬编码，无法根据福利目标自动调整。这带来三大局限：1）性能对模板敏感，运行间方差大；2）缺乏目标自适应能力，例如手动提示难以注入公平性规制；3）探索成本高，需反复试错。

该问题的难度在于，外层的自动科研智能体需理解内层策略合成代码，编辑提示、反馈逻辑等高维配置，并在有限评估预算下收敛到优于人工的设计。研究者必须同时权衡通用性与目标特异性——功利主义效率与罗尔斯最大最小准则的优化路径截然不同。这本质上是信息设计问题：研究者决定向边界理性的合成器揭示哪些环境信息，以诱导期望的社会结果。工业界正关注如何让 AI 系统自改进其合作行为，这对分布式决策、经济机制自治等场景至关重要。

类比AutoML：AutoML 为特定任务搜索最优模型架构，而此处搜索的对象是（AI）研究过程本身的流水线配置——前者优化模型，后者优化创造模型的元过程。

核心洞察

• 两层次自动研究框架让外环AI智能体通过编辑内环流水线的源码（系统提示、反馈函数、辅助库、迭代逻辑）来优化LLM策略合成系统，超越了仅调整提示的自动提示工程。其独特性在于能够自动发现目标依赖的机制：在Rawlsian maximin公平目标下，研究者自主注入显式公平机制（如轮流职责），而在效率目标下则不加，表明AI智能体能够根据抽象的社会福利目标进行上下文感知的机制设计，而未在训练中明确给出这类指令。
• 目标依赖的机制发现可解读为信息设计：研究者作为外环智能体，选择向有限理性的内环策略合成器揭示哪些信息（如公平原则），以引导合成器生成符合福利目标的策略。这不同于手工设计中依赖人类直觉指定规则，而是通过元学习自动探索有效的信息结构。实验显示，这种元设计带来了更低的运行间方差和更优的性能，说明自动制度设计在解决多智能体社会困境中具有实用价值，并为AI驱动的经济与治理机制设计提供了原型。

方法

方法：双层自动研究框架

输入：一个多智能体序贯社会困境游戏（如 Cleanup 或 Gathering）、一个福利目标（Utilitarian Efficiency 或 Rawlsian Maximin）、以及一个预训练 LLM 作为策略合成器。

关键模块：

• 内部循环（Policy Synthesis Pipeline）：由系统提示 p、反馈函数 φ、辅助库 ℋ 和迭代逻辑 ι 组成。合成器 LLM 根据当前策略、游戏观察和文本反馈迭代改进自然语言策略。初始策略为空，每轮迭代接收来自 φ 的评价并生成新策略。
• 外部循环（Researcher Agent R）：R 是一个编码 agent，读取内部循环的全部源码，通过编辑代码修改上述组件（如重写系统提示、注入新的反馈逻辑、添加辅助函数、调整迭代超参数）。R 运行内部循环评估，根据福利目标分数决定是否保留修改，遵循“提议-评估-保留”的自动实验范式。
• 配置空间：R 可操作的组件构成可执行搜索空间，远超常规提示词优化，涵盖策略合成器的提示、反馈机制设计和协调原语库等。

输出：针对特定福利目标优化后的内部循环 pipeline 及其生成的合作策略。研究发现，优化结果与目标相关：仅在 Rawlsian Maximin 下，R 自主引入显式公平机制（如角色轮换），而效率目标下无此类机制，体现出信息设计特征。

与同类方法的差异点：不同于仅优化提示文本的 Prompt Optimization，本方法将整个研究过程委托给 AI agent，允许其重构代码级组件，实现接近自动机制设计的深度探索。

实验

实验设计

研究采用两层 autoresearch 框架：外层 研究员代理 (\mathcal{R}) 作为编码代理，读取并修改内层 LLM 策略合成管道 的源代码，包括系统提示、反馈函数、辅助库和迭代逻辑。内层使用 LLM 迭代合成多智能体策略，并在两个经典的 序贯社会困境 (SSD) 游戏——Cleanup 和 Gathering——上评估。实验覆盖两种策略合成 LLM（Gemini 与 Sonnet）、两种福利目标：功利主义效率 (\Phi_U) 与 罗尔斯最大最小 (\Phi_{\min})。基线包括手工设计的管道和纯文本提示优化。

关键发现

• 研究员可靠超越手工设计基线，并显著优于仅提示优化，同时大幅压缩运行间方差。
• 在 Cleanup (Gemini) 中未观察到效率-公平权衡，表明游戏结构本身可能提供隐式公平。
• 只有在最大化最小目标下，研究员才主动向合成管道注入显式的公平机制（如轮值角色分配），而该机制在效率优化管道及研究员自身的通用提示中均不存在。这印证了 信息设计解读：研究员根据福利目标选择向有限理性的合成器揭示哪些信息。
• 不同目标下策略产生质的分化：例如效率目标下生成了带动态阈值的静态交错角色，而公平目标下产生了时间轮换的地理交错角色。

与基线对比的深层解读

手工设计管道通常固定系统提示和反馈函数，无法按目标自适应调整；仅提示优化只改变文本提示，不能触及管道结构。两层框架的核心优势在于研究员能够编辑管道逻辑本身，从而发现目标特定的机制——例如为公平目标自动引入轮值协调。这种能力远超表层提示工程，本质上实现了自动化机制设计。方差的大幅下降则表明，自主优化的管道比手写方案更鲁棒，减少了多智能体交互中的随机波动，提升了策略合成的可靠性与可复现性。该范式为复杂多智能体场景中 自适应的信息架构设计 提供了全新路径。

行业影响

落地场景

自演进研究框架可直接用于多智能体系统 (MAS) 的策略协同优化，尤其适合产品中部署了多个交互式 AI 代理的场景，如电商多代理系统 (库存、定价、推荐代理) 或自动驾驶多车协同。该技术能自动发现更优的 LLM 策略合成管道，摆脱对手工提示和反馈函数设计的依赖，并在功利效率与罗尔斯最小最大化等不同福利目标间自动适配机制。

商业价值

• 降本：替代人工反复调试多代理交互逻辑的成本，将策略工程从专家密集型转为自动化流程，缩短迭代周期。
• 增收：在博弈环境中，优化后的策略可提升整体系统收益 (如电商平台总 GMV)，或保障关键群体的最低收益 (如最小最大化目标)，避免因不公平下降导致的用户流失。
• 体验提升：自动化发现诸如轮值分工、动态阈值等显式协调机制，使多代理行为更稳定、可解释，降低运行方差，提升服务可靠性。

与现有产品/工作流的接口

该框架可嵌入现有的 LLMOps 管线，作为元优化层。具体地：

• 配置空间通过配置文件或 API 暴露给外部实验管理系统 (如 MLflow、Kubeflow)。
• 外环 researcher agent 可被封装为自动调优 Job，周期性地读取代管线的代码与日志，产生新配置，推送至 Staging 环境评估。
• 与强化学习或模型微调流水线互补：这一层优化的是策略合成过程本身，而非最终模型参数，可叠加在已有训练栈之上。

具体落地 Use Case

1. 电商竞价与推荐系统：多个卖家代理在广告竞价市场中博弈，平台通过 researcher agent 自动优化各代理的策略生成流程，在最大化平台总收入 (utilitarian) 和保障中小卖家曝光 (maximin) 之间灵活切换，无需手工重写复杂奖励函数。
2. 无人仓储多机器人体调度：多个机器人需要协商路径与任务分配，用本框架自动生成协作协议，减少碰撞与死锁，同时支持切换“总吞吐量优先”和“任务公平分配”等模式。

局限

• - **计算成本与可扩展性** ：外循环研究者代理需对每个候选管道进行多次内循环评估，每次评估包含多代策略合成与博弈模拟，总体 LLM 调用和 CPU 时间开销巨大。虽然论文附录 B.4 给出了单次实验的成本分解，但将该方法扩展到更多游戏环境、更长时域或更大规模智能体群体时，资源消耗可能超出实际可承担范围，限制了其在工业级场景中的快速迭代应用。
• - **实验环境与模型覆盖有限** ：验证仅在 Cleanup 和 Gathering 两个经典顺序社会困境上进行，且主要使用 Gemini 和 Sonnet 两种商用 LLM 作为策略合成器。尽管附录 B.3 补充了开源小模型 Gemma 4 26B 的测试，但仍缺少对更复杂动态（如随机事件、部分可观测性）或不同规模、架构 LLM 的系统评估，结论的泛化性和鲁棒性有待进一步确认。
• - **研究者代理的可解释性与控制风险** ：研究者自主修改系统提示、反馈函数和迭代逻辑，其输出的管道可能结构复杂且难以审计，尤其在公平机制自动注入时（如时间轮值策略），可能产生论文附录 B.2 所检查的规范博弈（spec-gaming）漏洞。当前缺少对管道可解释性的量化分析以及对人类价值观对齐的保障机制，长期自主优化存在产生非预期社会后果的风险。