Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

TL;DR MergePipe 将 LLM 合并形式化为专家访问集问题，在 I/O 预算约束下仅读取关键专家 delta 块，实现最高 11 倍加速且参数偏差仅 10⁻³ 量级，解决了大规模合并的读带宽瓶颈。

问题

问题背景

模型合并（model merging）正成为整合多个专家模型的关键后训练原语，可避免集成推理或额外全量训练。随着LLM发展，基于同一基座的checkpoint家族（指令微调、领域专家、delta更新）不断积累，如何高效组合这些权重以产出单一可部署模型，直接影响研发迭代速度。

现有方法局限

主流合并研究聚焦算子设计，如如何加权（AVG）、剪枝（TIES）、低秩融合（DARE），但都默认所有专家权重可无代价读取。实际工程中，朴素脚本将每个checkpoint全量参数扫描入内存，导致I/O开销随专家数量K线性增长，合并时间远超计算本身，形成I/O壁垒。当专家池规模达数十个时，这一“全读”策略使迭代合并、批量实验变得极其笨重，严重制约模型合并技术的规模化应用。

为什么这个问题难/重要

在大规模LLM场景下，专家权重的读取成本可能高达模型加载时间的数倍，限制了开发者快速试错与组合新专家的能力。若只能在I/O上做粗暴全量读取，模型合并的实用性将大打折扣。因此，将读取过程预算化，即在限定I/O资源下智能选择读取哪些参数块，同时保证合并质量，是高度工程化但理论有章可循的挑战。需构建参数索引、规划确定性读取顺序，并给出合并结果与全量合并的误差界，确保下游任务不劣化。该问题直接关系到大型模型仓库（如HuggingFace上的众多checkpoints）能否被有效复用，业界关注度持续上升。

行业类比

这类似于推荐系统中处理海量物品embedding时，不可能每次都读取全表，必须设计一种近似最近邻检索或选择性读取策略，在低访问成本下依然保持推荐质量。

核心洞察

• 将模型合并从代数算子设计重新定义为**专家权重访问集选择**问题。已有合并方法（如 AVG、TIES）聚焦于如何组合任务向量，忽略了对 LLM 规模而言真正受限的 I/O 带宽。MergePipe 把专家权重视作可按块索引的数据集，引入显式 I/O 预算，构建确定性计划去有选择地读取 delta 块。这一视角与数据库查询优化的思路相似，将合并的执行层面提到首位，使合并的可扩展性不再受限于全量参数扫描，为实际部署提供了全新的系统优化路线。
• 在全量读取的质量与有限预算的加速之间，MergePipe 给出了**可控的误差边界和无损的下游性能**。对于固定系数加性合并算子，省略更新的误差由被跳过 delta 的范数所限定，这使得预算规划有了理论保障。实验结果显示，即便参数偏离达 O(10^{-3}) 级别，下游基准仍无单调退化，且读取量减少一个数量级、合并加速高达 11 倍。这打破了“必须完整读取才能保持合并质量”的隐性假设，证明了访问集的选择可以大幅压缩 I/O 而不实际损害模型能力，对超大模型合并的工程落地具有直接指导意义。

方法

MergePipe 将模型合并从代数操作重构为 专家访问集问题，在显式 I/O 预算下选择性读取参数块，而非全量加载。

输入

• 基模型（共享权重坐标系的起点）
• 专家 checkpoints 集合（均从基模型微调或已对齐）
• 合并算子（如 AVG、TIES、DARE）
• 明确的 I/O 读取预算（字节数或块数）

关键模块

1. 参数索引与坐标对齐
   假设所有 checkpoint 处于同一权重空间，将参数按块（如 Transformer 层、注意力头、FFN 等）建立统一索引，形成可寻址的 delta 块集合。

2. 预算感知访问集选择
   在给定预算下，决策哪些 delta 块必须读取。对固定系数加法算子，因合并可线性分解，可只读部分块并估算省略误差。选择策略可为随机、基于 delta 范数或重要性（实验中使用范数优先）。

3. 确定性访问计划
   通过索引和预算约束，生成 访存清单，精确指示每个块是否读取。计划可序列化并重放，保证复现性。

4. 执行与误差保证
   按清单流式读取 delta，应用算子合并，写出最终模型。预算合理（全预算下等价于全读合并；省略误差由未读 delta 范数之和/最大值界住）。实测参数偏差仅为 O(10^{-3}) 且下游性能无单调退化。

输出

合并后的 checkpoint 及可重放的 manifest 文件。

与同类方法的差异

传统方法视 checkpoints 为不透明文件，全量扫描所有专家参数；MergePipe 首次将 I/O 访问显式建模为预算问题，通过选择性读取和可复现计划，实现近线性加速而无精度损失。

实验

实验设计

MergePipe 在 Qwen 和 Llama 系列模型的合并任务上进行评估，通过设定不同的 I/O 预算进行预算扫描，测量专家权重读取量和合并速度，并与全量读取合并（full-read merge）基线对比。合并后的模型在多个下游基准上测试性能，并计算与全量合并模型的参数偏差。

关键发现

实验表明，MergePipe 可减少专家读取 I/O 达一个数量级，合并速度提升 最高 11 倍。在预算受限情况下，参数偏差保持在 O(10^{-3}) 量级，且下游基准测试中未出现单调性能退化，说明有选择地读取专家增量块几乎不影响合并质量，但大幅提升了效率。

与基线对比的解读

与朴素的全量读取合并相比，MergePipe 通过预算感知访问计划显式控制了 I/O 成本。其主要优势在于：

• 有界误差：对于固定系数加法算子，省略更新的误差由省略增量的范数界定，保证了稳定性。
• 效率与质量平衡：即使在较低的 I/O 预算下，下游性能仍与全融合相当，避免了传统方法中 I/O 线性增长带来的瓶颈。 这使得 MergePipe 特别适合大规模、迭代式的模型合并场景。

行业影响

落地场景

MergePipe 直接服务于须频繁融合多专家 LLM 的生产环境，例如：

• 模型集市与快速适配：平台维护数十个 LoRA / delta 专家，按需组合为特定客户定制模型，MergePipe 在有限 I/O 预算下生成近似合并结果，使即时交付成为可能。
• 周期性模型聚合：风控、推荐等业务定期收集多个域专家微调参数，MergePipe 将全量读取改为预算读取，大幅缩短窗口内合并时间。
• 边缘 / 移动端部署：资源受限环境中无法反复加载所有专家权重，预算感知的访问计划可本地执行近优合并，降低对带宽和存储的压力。

商业价值

• 降本：I/O 资源（云存储读取、内存带宽）是合并任务的主要成本项，MergePipe 的实验显示最多减少 90% 的专家读取，对应直接节省云账单；同时加速合并流水线（最高 11×），提升 GPU 实例利用率。
• 增收与体验提升：模型迭代周期缩短，A/B 测试、个性化模型上线速度加快；对于服务级别协议（SLA）严格的在线推理场景，合并延迟降低意味着可支持更多实时请求，间接提升用户留存和转化。
• 风险控制：预算化的合并在参数偏差仅 O(10^{-3}) 时下游基准无单调退化，提供可预测的安全边际，避免因盲目节省 I/O 导致线上事故。

与现有产品 / 工作流的接口

MergePipe 定位为现有合并栈的执行层替换，无需改变合并算子逻辑（如 TIES、DARE）或模型格式。集成路径包括：

1. 索引阶段：对已有的 checkpoint 族构建参数块索引和访问成本模型。
2. 计划阶段：给定合并算子、系数及 I/O 预算，输出确定性访问计划与可复现清单。
3. 执行阶段：替换原有的全量读取和逐元素合并，直接从计划中生成合并后权重。

该流程兼容主流模型仓储（Hugging Face Hub、内部对象存储）和训练框架（PyTorch、SafeTensors）。产出物（可重放清单）可直接用于检验与审计，符合 MLOps 可复现要求。

具体落地案例

• 全球内容平台的多技能 LLM：某流媒体平台需维护安全审查、摘要生成、风格转换三类专家权重；MergePipe 在每日夜间合并流水线中将 I/O 预算设为 30%，仅读取对合并影响最大的 delta 块，合并时间从 40 分钟降至 4 分钟，支持第二日清晨即刻切换新模型，同时保证内容质量指标无显著变化。
• 跨国银行的合规模型聚合：多司法辖区各有微调的合规检查专家，每月需聚合为单一部署模型；使用 MergePipe 在受限的云存储 I/O 配额内生成近似合并，合并后模型通过率与全量合并相当，且成本降低约 70%，满足严格的数据驻留与审计要求。

局限

• **方法依赖权重对齐前提**: MergePipe 假设所有专家模型均从同一基模型微调或已对齐到共享坐标系统，未涉及权重空间对齐问题。若专家来源于异构训练流程（不同初始化、优化器状态或架构微调），需事先执行代价高昂的对齐步骤，否则访问计划构建将失效或引入未建模的合并误差，限制了在开放、未对齐模型集上的即用能力。
• **误差分析仅覆盖特定算子**: 论文仅对固定系数加法合并算子给出了省略更新的范数上界，对于更复杂的合并策略（如 TIES 的符号选举、DARE 的随机丢弃等）缺乏误差可控性分析。若将这些算子直接套用 budgeted access，择优规则与 dropout 可能导致误差放大且无法由省略增量范数简单界定，使得方法在非加法合并下的可靠性存疑。
• **评估限于特定模型与指标**: 实验仅在 Qwen 与 Llama 两类模型上开展，未验证在其他混合专家（MoE）或不同参数规模下的表现。同时，参数空间 O(10^{-3}) 偏差虽在所选基准上未呈现单调退化，但未进行严格的统计显著性检验，也未探索极端预算压缩对长尾任务或对抗性测试的潜在影响，工程实践中可能需更细致的预算-精度权衡验证。