掩码扩散机器翻译的长度自适应解码

TL;DR 掩码扩散翻译需预选目标长度，Entropy-Valley 利用全 mask 预测熵均值训练免调地选择最佳画布长度，显著提升 COMET-22 并揭示长度选择比 token 揭示顺序更关键。

问题

问题背景

掩码扩散语言模型（dLLMs）在机器翻译（MT）中受到关注，因为它们需要为每个源 token 生成忠实的译文。但固定画布解码要求在去噪前确定目标长度，这成为核心前置问题。

现有方法局限

当前掩码扩散解码研究主要围绕 token 揭示顺序展开，对长度决策关注不足。常见做法依赖训练语料长度统计或启发式固定长度，没有利用模型自身对候选长度的信心。长度选择直接决定覆盖与冗余：过短导致漏译，过长引入多余 token。未与预测熵等模型信号关联，导致解码质量受限。

为什么这个问题难/重要

长度决策必须在去噪前完成，无法在解码过程中动态修正。模型对所有 mask 位置的前向预测熵可以反映其对候选画布的“准备程度”，但如何有效利用该信号尚待探索。对比揭示顺序，长度供给方式对译文质量的影响可能更大（论文 Oracle 诊断显示）。业界对 MT 系统的忠实度与效率要求高，训练-free 的长度选择器具有低部署成本优势。

行业类比

类似可控文本生成中，预设输出长度（如自动摘要的长度控制）直接决定内容覆盖与简洁性，长度决策失误会破坏整体质量。

核心洞察

• 长度选择是 masked diffusion MT 中与 unmasking order 同等甚至更关键的解码因素。本文通过 oracle-length 诊断表明，在正确提供目标长度的情况下，不同 reveal order 方法之间的性能差异很小，说明长度决策对输出的覆盖率和冗余度有直接影响，这挑战了以往将解码策略聚焦于顺序优化的前提假设。
• Entropy-Valley 是一种无训练的长度选择方法，通过全 mask 前向传播的平均预测熵来评估候选画布的可填充性，无需参考长度或额外模型。该方法对每个候选长度计算熵值并选择熵谷，相比使用训练语料长度统计的 baseline，在多个语言对上恢复了 COMET-22 增益的 33%–65%，且可直接应用于任何 masked diffusion backbone，提供低成本的长度自适应能力。
• Denoising-friendly lengths 不必匹配人工参考长度，这为推理部署提供了新的自由度。实验发现模型偏好的长度可能与参考长度不同，使用 EV 选择的长度在人工评估中保持甚至提升 adequacy，尤其在 Zh→En 方向，且与相同数据训练的 AR 模型相比，EV 系统在 En→Zh 打平、在 Zh→En 领先，表明扩散 MT 在长度灵活性上有独特优势，可指导工程实践中的长度约束设计。

方法

输入与问题定义

给定源语言句子 source 和预训练 masked diffusion 语言模型（dLLM），固定画布解码要求先确定目标长度 L，再执行去噪生成。

关键模块

1. 候选画布构建：生成一组候选目标长度，例如基于源句长度按比例缩放或从训练语料长度分布采样。
2. Entropy-Valley 评分：对每个候选长度 L，构造全 [MASK] 画布作为目标侧初始状态，通过骨干模型单次前向传播，获得每个位置对所有词表的预测分布；计算该位置预测熵（模型不确定度的度量），再对所有位置取平均得到该长度的熵分数。选择平均熵最小的长度（即“熵谷”），因为它表示骨干模型对该画布填充信心最高。
3. 解码算法：在选定长度 L 下，执行标准 masked diffusion 迭代去掩码（如随机或特定顺序揭示 token），直至生成完整译文。

输出

最终生成目标语言句子，长度由熵信号自适应决定。

与同类方法的差异

不同于以往重点优化 token 揭示顺序的 masked diffusion 解码研究，Entropy-Valley 将长度选择作为核心，用训练自由的熵信号替代参考长度或统计长度，且实验显示长度选择比揭示顺序对质量影响更大。

行业影响

落地场景

Entropy-Valley 可嵌入现有 masked diffusion 翻译系统，适用于对译后长度敏感的产品，如短视频字幕翻译、电商商品描述本地化、客服聊天实时翻译。其训练无关特性意味着无需重新训练模型，即可作为推理侧长度选择模块快速部署。

例如：全球电商平台的产品标题和详情翻译，避免长度截断导致关键属性丢失；跨国流媒体平台的视频字幕自动翻译，保证每帧字幕长度适配屏幕显示。

商业价值

该技术通过选择更合理的解码长度，提升译文充分性（COMET-22 增益），减少因长度截断或冗余造成的语义损失。对于按 tokens 计费的翻译 API，合理的长度预测可降低不必要的冗余输出，直接降低成本；同时提升用户体验，减少客服介入，尤其在需要高保真翻译的场景（如合同、病历、金融报告）中，降低风险。

集成接口

以 Python 库或推理中间件 形式集成，调用 all-mask 前向传播 获取预测熵，对候选 canvas 打分并选择最优长度。无需改动模型权重，兼容现有 dLLM 推理框架（如 HuggingFace diffusers 或自定义 pipeline）。工作流上，可作为解码前的预处理步骤，接收源文本并输出建议目标长度，再交给固定 canvas 去噪解码器。

局限

• **推理开销随候选长度数量线性增加**：Entropy-Valley 需要对每个候选 canvas 执行 all-mask forward pass 并计算平均预测熵，候选长度范围越大，额外前向次数越多。虽然方法训练免费，但相比固定长度解码或自回归模型逐步生成，可能带来不可忽略的延迟。论文虽在实现细节中讨论了成本，但摘要未给出具体复杂度或绝对耗时对比，实际部署时需权衡长度搜索空间与推理预算。
• **实验覆盖语言对与评估维度有限**：主要在 EntoZh、ZhtoEn、EntoDe 三个语言对上验证，自动指标仅报告 COMET-22，人工评估仅覆盖 En↔Zh 方向，En→De 缺少人工充分性判定。与 LLaMA-3-8B 的对比也只涉及两个方向，未扩展到更多语种、低资源场景或更大规模扩散骨干，泛化性尚未得到充分检验。此外 COMET-22 偏向参考长度，而 EV 选择长度可能偏离参考，可能在某些数据分布下高估实际收益。
• **与自回归模型相比未全面领先**：EV 系统在 EntoZh 上与 LLaMA-3-8B 打平，仅在 ZhtoEn 上领先，说明长度选择优化只解决了 masked diffusion MT 的一个瓶颈，并未让扩散模型整体超越成熟 AR 模型。未展示在长文档、领域外数据或更大参数模型上的表现，且 unmasking 顺序等其他解码要素仍可能限制最终质量。方法的效果高度依赖骨干模型的预测熵质量，对于熵分布平坦或长度不敏感的任务，EV 增益可能有限。