Lost in Translation? 探索从 Latin 到 Occitan 的语法性别转变

TL;DR 通过改进分词器的可解释深度学习框架，在低资源历史文本中分析拉丁语到奥克语的语法性别演变，量化词汇形态与上下文贡献。

问题

问题背景
历史语言学中，语法性别系统的演变（如拉丁语三性到罗曼语双性的简化）长期依赖规则假设与个案分析。AI 领域虽开始用深度学习方法辅助语言学推断，但低资源历史文本的处理仍属空白，尤其是细粒度的性别预测与可解释性分析。

现有方法局限
常规 BERT 类模型的 WordPiece 或 BPE 分词策略对历史低资源文本适应性差，易将屈折词素错误切分，丢失语法信息。相关工作多聚焦现代高资源语言，特征工程依赖现成的形态分析器，无法直接迁移至缺乏标注的古代语言。此外，现有模型往往只关注孤立词形（lexical level）的性别线索，忽略上下文语境（如形容词一致、冠词标记）对性别分配的动态贡献，导致分析维度单一，且可解释性不足。

为何该问题困难且重要
低资源历史语言面临数据稀疏、标注缺失、文本变异大等挑战，普通深度学习框架难以稳定收敛。而语法性别作为屈折词法的核心特征，其变化模式能反映语言接触与认知演变的深层规律，对构建具有历史意识的 NLP 系统（如古籍自动分析、跨语言迁移）至关重要。工业界在多语言模型（如 mBERT、XLM-R）中同样面临语言间语法特征对齐的难题，可解释的性别预测框架可为模型调优提供语言学依据。

行业类比
就像在多语种对话系统中，模型需要准确捕捉法语名词阴阳性以生成正确冠词与形容词一致——本工作为理解低资源场景下的语法信息分布提供了一个可解释的工程范本。

核心洞察

• 在极低资源的历史文本场景中，分词策略本身就是关键的泛化瓶颈，而不仅仅是模型大小。该工作证明，针对古拉丁语→奥克语演化数据设计的混合分词器（hybrid segmenter）相比通用 BPE 能稳定提升性别预测性能，这提醒数字人文与历时 NLP 从业者：为历史变体定制 tokenizer 的优先级可能高于盲目扩大预训练语料或模型参数。
• 通过同时从词元内部（形态特征）和上下文（词性标签）两个维度量化性别信号，该框架为语言演变的计算研究提供了一套可复现、可解释的归因方法论。相比于传统基于规则或纯语言学的定性分析，它首次在历史性别系统转变中，用量化证据（SHAP 值）刻画了性别信息在词干、屈折后缀与句法语境间的分布变化，这对理解语法特征的历时漂移具有工程参照意义。

方法

整体框架

本工作提出一个 可解释深度学习框架，系统分析拉丁语到奥克语语法性别系统的演变。输入为低资源历史文本的 拉丁语–奥克语对齐语料 及相应词性标注，输出为词汇级与上下文级性别预测结果，以及特征贡献的量化解释。

输入预处理与分词策略

针对历史文本拼写变异大、语料稀缺的特点，首先设计 混合分词器：融合子词（BPE）和字符级信息，以捕获形态学细微变化，提升嵌入鲁棒性。随后对预训练语言模型（如 XLM-R）进行 领域自适应 MLM 微调，使嵌入空间适应奥克语与拉丁语的形态特性。

关键模块：词汇级性别预测

从词形中抽取三类特征：

• 形态特征：词尾、词性标签等语言学属性；
• 音韵特征：重音位置（作为粗粒度音系代理）；
• 嵌入特征：从微调模型中提取的上下文无关词向量。 通过 特征拼接 后送入分类器（如 LightGBM），预测一个词在孤立状态下的语法性别。由于数据集高度不平衡，训练时采用重采样策略。最后使用 SHAP 值 量化各特征对预测的边际贡献，识别最具判别力的形态标记。

关键模块：上下文级性别预测

构建三种输入模式以剥离不同层次的语境信息：

• Word-only：仅使用目标词本身，作为基线；
• Context-focused：提供完整句子，但目标词不被遮盖；
• Masked-context：遮盖目标词，迫使模型仅依赖上下文线索判断性别。 模型采用 Transformer 编码器（冻结或微调），输出目标词性别的概率分布。通过 逐步消融不同词性标签（如冠词、形容词），量化各类上下文词对性别推断的贡献度。此外，利用注意力头可视化揭示模型关注的句法依赖关系。

可解释性分析

框架内嵌两种解释机制：

1. 特征归因（SHAP）：在词汇层面解释哪些形态属性决定性别归属；
2. 消融与注意力分析：在上下文层面定位哪些词性类别携带关键性别一致信息，并可追踪注意力模式验证句法约束的习得。

差异化设计

与仅关注现代语言性别预测或纯粹词法分析的工作不同，本方法首次在低资源历史演变场景中，将词汇形态与上下文句法统一在同一个可解释框架内，同时通过定制分词与领域微调克服数据稀疏问题，为历时语法变迁研究提供了可复现的深度学习方案。

核心代码、数据集与结果已公开于 项目仓库。

实验

实验设计叙述

该工作构建了一个低资源历史语言学场景：从拉丁语到奥克语的语法性系统演变。作者手工构建了奥克语-拉丁语词元-性别平行语料（算法1），在词元层面提取形态特征、音位特征、重音代理及预训练嵌入，并分别设计词汇级性别预测（仅基于词元特征）与上下文级性别预测（基于句子语境）两类探针实验。关键设计包括：(1) 针对低资源历史拼写变异提出混合分词策略（BPE与规则融合），弥补纯子词切分的鲁棒性不足；(2) 通过领域自适应MLM微调使嵌入模型适配历史语言；(3) 在上下文实验中构建仅词元、焦点上下文、掩码上下文三种变体，量化语境中不同词性对性别信息的贡献。

关键发现

在词汇层面，形态特征对性别预测起主导作用，而音位特征在去除形态信息后仍具增益；SHAP 分析揭示词尾元音是最具指示性的特征，但重音特征在缺乏显性形态标记时提供粗粒度信号。在上下文层面，限定词和形容词在大多数语言中承载最丰富的性别信息，但奥克语表现出从代词到形容词的信息迁移趋势，反映句法依赖的演变。混合分词策略在所有探针任务上均优于纯 BPE 基线，尤其对历史拼写变体鲁棒性更强。

与基线对比的深度解读

相较于先前仅依赖表面形式或单一语言模型的研究，该框架显式解耦词汇与上下文信息，并引入可解释性工具（SHAP、注意力分析）追溯性别信号的来源。混合分词策略在低资源场景下胜出，说明语言学先验（如形态边界）对历史文本的处理至关重要，直接套用现代语言 BPE 会丢失关键形态信息。此外，跨语言分析表明，性别信息的句法分布并非静止，而是随语言演变重新分配，这为低资源语言 NLP 系统提供了设计启示：不同词性的上下文窗口应被差异化建模，而非统一处理。

行业影响

落地场景

该工作对 低资源语言处理(Low-Resource NLP) 和 历史文本数字化 具有直接启示，特别适用于需要精确控制语法性别特征的场景。例如：

• 多语言内容审核与生成平台：在自动写作助手或聊天机器人中，准确识别和生成带性别一致性的文本（如法语、西班牙语名词），减少语法错误。
• 文化遗产机构（如图书馆、博物馆）的档案元数据自动标注：拉丁语或古奥克西坦语等历史文献的索引、检索系统可借助性别预测提升实体链接质量。
• 语言教学应用：自适应学习系统可根据学习者母语背景动态调整性别规则解释，利用模型的可解释性提供错误诊断。

商业价值

• 降低人工标注成本：在稀缺语料上，基于少量词形和上下文特征的性别预测模型可替代昂贵的人工语法标注，加速语料库建设。
• 提升用户体验与包容性：多语言产品中，性别一致的输出能减少文化偏见风险（如职业名词性别化错误），增强品牌信任感。
• 开源差异化竞争力：论文提出的 领域自适应分词器 和 可解释框架（SHAP、注意力分析）可作为企业 NLP 中台的增值模块，尤其在处理欧洲小语种、古语种时形成技术壁垒。

与现有产品/工作流的接口

该框架可作为 即插即用的特征抽取器 集成进现有 NLP 流水线：

• 输入：原始文本 + 词元（lemma）
• 输出：语法性别预测概率 + 特征归因分数（可解释性报告）
• 部署方式：轻量级 Flask/FastAPI 微服务，兼容 Hugging Face 生态系统；模型权重与分词配置可通过 transformers 库直接加载。
• 与 spaCy 或 Stanza 等工业级 NLP 管道结合，在 Token 对象中扩展 ._.gender_prob 属性。

具体落地案例

案例1：全球在线语言学习平台 Duolingo 的语法反馈增强 在法语/西班牙语课程中，学习者常因拉丁语系名词性别混淆而出错。该模型可实时分析用户输入的上下文，不仅判错，还能高亮哪些周围词（如冠词、形容词）提供了性别线索，生成可视化解释，提升教学效果。

案例2：跨国电商的本地化质量检测 商品描述翻译至罗曼语族时，性别错误可能导致语义偏差（如“黑色裙子”误译为阳性形式）。在本地化流水线中，将此模型作为后处理检查点，自动标记潜在性别不一致项，节约人工校对成本。

局限

• **语言覆盖度有限**：研究聚焦于奥克语（Occitan），这是一种低资源历史语言，其语法性别演变路径可能与其他罗曼语族（如法语、西班牙语）存在差异。由于缺乏多语言对比实验，框架的通用性尚未验证，结论是否适用于更广泛的罗曼语族或印欧语系的语言演变现象仍存疑。此外，奥克语的数据规模较小，可能导致统计检验效度不足，模型鲁棒性需要更多测试。
• **Tokenization 改进的泛化性存疑**：提出的混合分割 tokenizer 虽然在该特定数据集上优于 BPE 基线，但其设计依赖语言学家手工划分词干与词缀，本质上仍是规则驱动。对于拼写变异更剧烈的其他历史语料，这种半监督方法可能难以迁移，且未见与前沿的无监督 morphology-aware tokenization 进行对比。域适应 MLM 微调虽提升了性能，但在极低资源下可能过拟合。
• **可解释性分析的局限性**：词汇层面的性别预测依赖人工构建的形态-音系特征，存在信息遗漏风险；上下文分析借助 SHAP 值和注意力权重，但两者都只能提供相关性而非因果性证据。尤其在大语言模型的黑箱内部，注意力的可解释性本身存在争议，仅凭注意力分布推断词性标签对性别预测的贡献可能夸大某些线索的作用，且未排除共线特征的干扰。