Frontis-MA1：训练一个面向机器学习工程中递归自我改进的 AI4AI 模型

TL;DR Frontis-MA1 结合执行驱动的四原子进化算子与搜索，在 MLE-Bench Lite 上以 12 小时 RTX 4090 预算将 Medal Average 从 39.39% 提升至 71.21%，超越 GPT-5.5+Codex，并实现可迁移的递归自我改进。

问题

AI 社区正推动系统具备递归自我改进（RSI）的能力，尤其是在机器学习工程（MLE）这样的可执行评估场景中，以迈向更高自主性。

现有 AI4AI 方案往往割裂训练与搜索，要么仅针对单一步骤（如代码生成）优化，缺乏对 Draft、Improve、Debug、Crossover 等多原子操作的联合学习；要么缺少具备执行反馈的真实环境，导致模型无法从错误中持续学习。此外，缺少统一的开源全栈框架，使 RSI 研究难以复现和公平比较。

实现可靠的 RSI 要求模型能长期规划、处理部分可观察的反馈（如编译器错误），并将即时改进与全局搜索策略相结合，技术门槛极高。在 MLE 这种高维、强反馈延时的任务中，学习与进化必须紧密耦合。构建开放的 OpenMLE 平台不仅为自我改进研究提供标准化测试床，更对探索安全的 AI 自主进化路径具有基础意义。

与 GitHub Copilot 等编码助手不同，此类工作致力于让 AI 作为“元工程师”去自动迭代优化整个机器学习管线，类似于让自动驾驶系统在仿真中不断进化决策模型，但挑战更为抽象。

核心洞察

• 将后训练目标与推理时的搜索算子集对齐，实现了学习与进化的闭环。不同于先训练再独立搜索的分段范式，Frontis-MA1 直接在模型训练阶段喂养四个原子程序进化操作（Draft, Improve, Debug, Crossover）的執行反馈，并将同組算子用于长程搜索，形成单循环耦合。这使得模型自己学会在搜索过程中何时生成何种改进动作，显著提升了开放域任务的探索效率与泛化能力。
• 在一个完备可执行的 AI4AI 环境中量化递归自我改进能力，填补了以往 RSI 研究缺乏落地基准的空白。OpenMLE 堆栈提供带执行反馈的验证任务环境（OpenMLE-Gym），让模型通过执行验证来进化代码，而非仅依赖静态文本冷启动。配合去重保证训练高泛化性的数据，Frontis-MA1 展现出的跨任务迁移（从 MLE-Bench 到 NatureBench）表明，该框架能培育出通用程序改进能力，而非记忆特定任务，为工程导向的 RSI 研究建立了可复现基线。

方法

方法流程

输入：接收机器学习工程任务（MLE任务）的规范描述及初始代码基，由 OpenMLE-Gym 提供可执行环境与反馈。

关键模块

• 原子进化操作符：代理动作空间限定为 Draft 、 Improve 、 Debug 、 Crossover 四个原子程序进化操作，每个操作以代码为输入、输出修改后的代码，由执行反馈评判质量。
• 训练阶段：从过往任务执行记录中采集代理操作与反馈信号，经去重后构建训练数据；使用 执行基础监督微调（SFT） 和 强化学习（RL） 联合训练 Frontis-MA1 (35B) 模型，使其内化各原子操作的改进策略。训练数据针对所有评估基准进行了去重，防止数据泄露。
• 推理与搜索阶段：给定新任务，OpenMLE-Evo 组合训练后的操作策略进行长期搜索：代理在 OpenMLE-Gym 中迭代执行代码、获取反馈，并由 OpenMLE-RL 选择下一操作。OpenMLE-Evo-Max 进一步引入基准无关的经验先验和异步搜索，提升搜索效率。

输出：经迭代改进后满足任务指标的解代码。

与同类方法差异：本工作将 LLM 的策略学习与进化搜索在原子操作层面深度耦合，通过可执行反馈闭环实现递归自我改进，而非孤立使用 LLM 生成代码或运行独立进化算法。

实验

实验设计

将 Frontis-MA1 (35B) 作为元进化智能体，在 MLE-Bench Lite 上进行后训练与推理评估。测试两种设定：OpenMLE-Evo 基于四个原子算子（Draft、Improve、Debug、Crossover）进行长程搜索；OpenMLE-Evo-Max 引入与基准无关的经验先验和异步搜索。每个任务在单张 RTX 4090（12 GB VRAM）上限时 12 小时。为检验泛化，在留出的 NatureBench Lite 上进行交叉迁移实验：固定框架换模型，和固定模型换框架。

关键发现

• 基础模型 Medal Average 为 39.39%，使用 OpenMLE-Evo 提升至 60.61%（+21.22%）。
• OpenMLE-Evo-Max 进一步达到 71.21%，超越 GPT-5.5 + Codex，并逼近 GPT-5.6 Sol 与 2.8T 参数 Kimi K3。
• 在 NatureBench Lite 上，模型迁移 使 Match-SOTA 从 50% 提升到 70%；框架迁移 从 20% 提升到 50%，证明训练后的模型和进化框架均可独立泛化。

基线对比解读

与未经进化的基础模型相比，单靠进化搜索（OpenMLE-Evo）即带来显著增益，印证了将 学习与进化耦合在统一循环中 的有效性。OpenMLE-Evo-Max 在同等算力下通过搜索策略优化进一步缩小了与超大基线的差距，表明 以算子为粒度的进化搜索 可以作为高效提升智能体能力的路径，不依赖模型规模暴增。该方案为 AI4AI 场景下的递归自我改进提供了可复现的实验范式。

行业影响

落地场景：自动化 ML 工程与 AI 辅助开发

Frontis-MA1 及其 OpenMLE 框架可直接嵌入 MLOps 流水线，充当“AI 工程师”角色，自动完成模型代码的 起草、调试、改进与进化。主要场景包括：

• AutoML 平台：作为核心引擎，自动搜索更优的模型架构与超参数，超越传统网格/贝叶斯优化。
• 代码助手：为数据科学家提供可执行的改进建议，通过执行反馈验证建议，提升编码效率。
• 持续训练服务：在模型部署后，根据新数据与指标变化，自动生成并验证更新版本。

商业价值：显著降低 ML 开发成本与周期

• 降本：每个任务仅在单张消费级 GPU（如 RTX 4090）上运行 12 小时，即可将 MLE-Bench Lite 中位奖牌率从 39.39% 提升至 60.61%（OpenMLE-Evo）或 71.21%（Evo-Max），表明能以极低成本替代大量人工试错。
• 增效：通过原子算子（Draft、Improve、Debug、Crossover）的递归组合，模型可“自我改进”，缩短从实验到生产的时间。在 NatureBench Lite 上，仅替换模型或框架就使 Match-SOTA 跃升 20%–30%，展示出跨任务的泛化能力。
• 体验提升：让 ML 工程师聚焦于问题定义而非重复性编码，减少沮丧感，加速创新迭代。

与现有产品/工作流的集成接口

OpenMLE 设计为模块化全栈系统，易于与现有工具链对接：

• 环境接口：OpenMLE-Gym 提供带执行反馈的验证任务，可对接内部仿真环境或测试集。
• 训练接口：OpenMLE-RL 支持基于执行反馈的强化学习微调，可接入现有训练流水线。
• 编排接口：OpenMLE-Evo 实现长期搜索，通过 API 触发进化循环，可嵌入 Kubeflow、Airflow 等调度器。

具体落地用例

1. 电商推荐系统
   面对动态变化的用户行为，推荐模型需频繁更新。Frontis-MA1 可自动生成推荐模型代码候选，根据离线评估指标（如 NDCG）与在线 A/B 测试结果迭代优化，相比人工团队，大幅缩短优化周期。

2. 自动驾驶感知模型
   感知算法需在数十种任务（检测、分割、跟踪）中快速调整。将 OpenMLE-Gym 配置为可执行感知代码并返回 mAP/mIoU 指标，Frontis-MA1 能进化出更适合新传感器或天气条件的模型结构，减少专家介入。

局限

• **操作空间设计僵化**：Frontis-MA1 的训练与推理被限定在四个原子进化算子（Draft, Improve, Debug, Crossover）上，虽然这种离散动作空间简化了强化学习训练并有助于快速收敛，但也可能限制了模型应对真实 ML 工程中多样化修改需求的能力。例如，架构级重构、无损压缩或创新性探索等复杂操作难以被这些固定算子直接表达，长期演进可能遭遇组合瓶颈，导致递归自我改进的上限受限于算子集合的表征能力。
• **实验覆盖与可扩展性不足**：评估仅在 MLE-Bench Lite 和 NatureBench Lite 上进行，且单任务预算限定于单个 RTX 4090（12 GB VRAM）的 12 小时运行窗口。这一配置远低于生产级 ML 工程的计算规模，尚未验证该方法在更大模型、分布式环境或长周期任务（如 AutoML 全流程）下的泛化能力。此外，训练数据虽已去重，但未与更多外部基准对比，跨环境迁移的鲁棒性仍未充分证明。