缓解英语到罗马尼亚语机器翻译中的性别偏见

TL;DR 用 LLM 推断英语句中目标词性别并插入标签，再交给 tag-aware Transformer 生成罗马尼亚语翻译，在 WinoMT/WinoGender 上性别准确率提升超 40 个百分点，首次显式解决英语-罗马尼亚语 MT 性别偏见。

问题

问题背景

机器翻译中的性别偏见 在从性别中性语言 (如英语) 到有语法性别语言 (如罗马尼亚语) 的转换中备受关注，直接影响翻译质量与公平性。

现有方法局限

传统 NMT 基线在没有显式性别信号时，往往默认使用阳性形式，或仅凭上下文做浅层推断，导致职业性别刻板印象 固化 (nurse 常被译成阴性、engineer 常被译成阳性)。已有缓解方案主要分两类：

• 基于规则的性别标签注入：覆盖面窄，无法处理复杂指代与长距离依赖。
• 数据增强或人工标注：扩展难、成本高，且标注一致性难以保证。

直接使用 LLM 进行端到端翻译虽能利用常识推断，但推理成本高且性别指代可能前后不一致；单独训练性别分类器再接入 NMT 的管线尚缺乏公开可复现的流程。

为什么难且重要

英语的性别信息是隐式 的，而罗马尼亚语要求形容词、动词过去时等多处形态一致性，一次性别误判会波及多个词形。同时，跨语言性别标注数据稀缺，尤其对于 En-Ro 这类低资源语言对，难以直接微调出稳健的分类器。业界在内容本地化、多语言客服等场景中，性别翻译错误会带来用户冒犯与合规风险。

行业类比

这类问题类似于多轮对话系统 中的实体性别消解：当用户用“my friend”但上下文不足时，系统若选错性别指代，会破坏交互信任；本文的显式标签注入 + 标签感知翻译 管线可类比于在推理前增加一道可控的元数据层。

核心洞察

• 将性别消歧前置于翻译模型，用显式标签解耦语义推理与形态生成。传统 MT 系统在端到端解码中同时处理性别决策与生成，易受训练数据中男性默认或刻板印象影响。本工作将性别分类交给微调 LLaMA，以 inline tag（如 `<tgF>teacher</tgF>`）形式注入源句，使下游 Transformer 仅需学习在标签约束下生成正确的罗马尼亚语形态。该解耦带来两个工程优势：性别准确率在 WinoMT 和 WinoGender 上相对基线 MT 提升超过 40 个百分点；分类器与翻译模型可独立替换或升级，模块化更强，且能利用 LLM 的世界知识处理复杂指代。
• 针对低资源语言对（英罗）构建专用性别消歧与标注平行语料，填补数据空白。此前性别偏差研究多集中于英德、英法等资源较丰富的语言对，罗马尼亚语缺乏大规模性别标注数据，导致难以训练可靠的性别感知 MT。论文引入三个新数据集：单实体短语、多实体短语、以及带性别标签的英罗平行语料，分别用于训练 LLM 分类器和 tag-aware NMT。这些数据集覆盖了职业、角色和人物实体等易错场景，使系统能够显式建模性别一致性。数据集的发布为后续在罗马尼亚语或其他低资源语言上研究性别偏差提供了可复用的基础资源。

方法

输入与流程

输入英文句子，可能包含性别中性指代（如“teacher”“doctor”）。整体采用 “标注-翻译” 两阶段流水线：先由 LLM 对源句中的目标实体做性别分类并插入 inline 标签，再由标签感知 NMT 生成罗马尼亚语翻译。

关键模块一：LLM 性别分类与标签插入

• 使用微调 LLaMA 模型进行性别分类，目标词性别分为 {male, female, unknown}。
• 微调采用 两阶段课程学习（Two-Stage Curriculum Learning）：先训练单实体短语（数据集 1），再训练多实体短语（数据集 2），逐步提升多实体指代消解能力。
• 推理时输出形如 <tgF>teacher</tgF> 的 inline gender hint tags，直接插入源句，不改变英文语序。

关键模块二：标签感知 NMT

• 使用 Transformer 模型在 EnRoGend 平行语料上微调。
• 输入带标签的英文句，模型学习识别标签并生成罗马尼亚语中正确的性、数、格一致形态，避免默认阳性或刻板印象。
• 输出罗马尼亚语翻译文本。

数据集与评估

• 构建 EnGen（英语性别消歧，含单实体与多实体）和 EnRoGend（英罗平行性别标注）三个新数据集。
• 在 WinoMT 和 WinoGender 基准上，相对 baseline MT 的 gender accuracy 提升超过 40 个百分点。

工程启示与差异

• 本方法无需改动翻译模型架构，仅通过数据标记与微调即可显著改善性别一致性，工程成本低、可迁移至其他性别化目标语言。
• 与以往单纯修改训练数据或后处理规则不同，本工作首次将 LLM 性别推理前置到 NMT 输入端，用显式 tag 引导翻译，并在英-罗语对上系统性评测性别偏差。

实验

实验设计

构建三套 gender disambiguation 与翻译数据集：EnGen 单实体短语、多实体短语，以及 EnRoGend 平行英语-罗马尼亚语性别标注数据。pipeline 采用两阶段：先由 fine-tuned LLaMA 对英文句子中的目标词做性别分类并插入 inline tag（如 <tgF>teacher</tgF>），再由 fine-tuned Transformer 接收 tagged 输入生成罗马尼亚语翻译。评估采用 WinoMT 与 WinoGender 基准。

关键发现

在两个基准上，该方法相对 baseline MT 系统的 gender accuracy 提升超过 40 个百分点。这是首个针对英语-罗马尼亚语 MT 显式结合 LLM 推断与 tag-aware 翻译的工作，验证了 inline gender hint 对语法性一致性的直接作用。

与基线对比

Base MT 通常默认男性或依赖刻板印象，导致阴性职业名词、指代消解错误。本方法用 LLM 前置判性，把性别信息作为可解释特征注入序列，NMT 只需学会“读取”tag，无需重新设计架构。与直接 prompt LLM 翻译相比，保留了标准 NMT 的低延迟与可控性，但误差会从 LLM 传播到 NMT，需关注分类边界情况。

行业影响

落地场景

该方法可嵌入需要性别敏感翻译的产品线，典型场景包括：

• 招聘与人力资源平台：将英文职位描述自动翻译为罗马尼亚语等有语法性别的语言时，避免默认使用阳性职业名词，减少歧视风险。
• 电商与内容平台：服装、美妆、母婴等品类的产品标题和用户评论翻译，需要正确传达目标性别的语境，否则会造成购物误导或社区冒犯。
• 医疗与教育服务：患者指南、课程材料中涉及第三人称代词时，正确解析性别可提升专业性和包容性。

商业价值

• 降低人工校对成本：基线 MT 系统在 WinoMT / WinoGender 上性别准确率偏低，本方法提升超过 40 个百分点，可直接减少人工后编辑工作量，尤其适合大规模多语言内容运营。
• 提升用户体验与品牌信任：错误性别翻译会引发用户反感甚至法律风险（如就业歧视），正确翻译可改善 NPS，并规避合规问题。
• 拓展语言覆盖：从英语到罗马尼亚语的方案可泛化至其他无性别源语言到有性别目标语言对（如法语、西班牙语、斯拉夫语族），为 MT 产品线提供差异化竞争力。

与现有工作流集成

• 前置 LLM 分类模块：在现有翻译 API 之前，增加一个轻量级微调 LLM（如 LLaMA）用于插入性别标签，再将带标签句子送入下游 NMT。该模块可独立部署为服务，无需改动原有 MT 引擎。
• 数据增强与微调：引入的三个数据集（EnGen、EnRoGend 等）可直接用于微调企业内部翻译模型，或作为数据质量评估基准。
• 插件式接入：对于已使用 Transformer 架构的翻译系统，只需增加 tag-aware 训练步骤；对于第三方 MT 服务，可在调用前做标签插入与后处理规则校验，形成混合流水线。

局限

• 论文主要聚焦英语→罗马尼亚语这一特定语言对，方法中使用的性别分类 LLM 和 tag-aware NMT 均需针对目标语言重新训练或微调，迁移到其他有性别标注需求的语言对（如法语、德语、西班牙语）时，需重复构建数据集和调整提示格式，可移植性受限。作者虽引入三个新数据集，但覆盖面有限，主要来自 WinoMT/WinoGender 风格的模板句，真实世界长文本、口语化表达或文化特定指代中的性别消歧效果尚未验证。
• 该 pipeline 在推理时引入额外 LLM 前置阶段，虽然性别分类模型轻量，但仍显著增加端到端延迟与计算开销，这对于要求低延迟的生产级 MT 服务是明显负担。此外，将 inline tag 插入源句可能破坏原始句法结构，导致 tag-aware NMT 在生成长句或复杂从句时产生不自然流利的译文，论文只报告了性别准确率提升，并未评估 BLEU、chrF 等翻译质量指标是否受影响，可能存在性别正确但流利度下降的 trade-off。
• 与近年直接使用多语言大模型（如 mT5、XGLM 或 GPT 系列）做 zero-shot/few-shot 性别感知翻译的方法相比，本文仍需专门微调两个模型并依赖人工构造 tag 数据集，工程复杂度较高。而且对比基线仅为传统 Transformer MT 系统，未与现有性别去偏方法（如上下文注入、受控生成、或 RLHF 对齐的 LLM）进行直接比较，因此无法判断其相对 SOTA 的优势是否具有普遍意义，仅证明了在特定语对上相对于朴素 MT 的改善。