技能问题：LLM 中的技能是否语言无关？

TL;DR 多语言自我对弈发现，同一 LLM 用不同语言接口下棋时技能表现显著不一致，且仅调整中间推理语言即可部分恢复性能，揭示了跨语言技能差异这一关键瓶颈。

问题

问题背景

近年来，多语言大模型（Multilingual LLM） 的快速演进使人们关注其在跨语言场景下的能力一致性。现有工作多聚焦于知识获取 是否一致，但对技能（如推理、规划、策略制定） 的语言不变性缺乏系统度量。

现有方法局限

传统评估范式主要依赖静态基准（如多语言 MMLU、XNLI），存在三方面不足：

• 任务粒度孤立：静态基准通常只检验单条问答或分类，无法刻画需要多步交互与决策的技能。
• 知识与技能混淆：基准分数同时受预训练数据知识覆盖和通用能力影响，无法分离“语言导致的技能偏差”与“知识缺失”。
• 缺乏对手控制：在真实对话或游戏评估中，对手/环境常引入额外变量，难以归因于语言本身。

为什么这个问题难/重要

技能 是动态、上下文化且多轮耦合的，例如空间推理、不完全信息博弈、资源分配 等。语言不仅影响输入理解，还可能通过模型内部表征改变决策过程——本文发现仅改变中间推理语言 即可部分恢复性能，说明语言对推理链路的干预远比预期深入。

从工程角度看，多语言产品（如全球客服机器人、多语言游戏 AI）若技能不一致，会导致用户体验与结果公平性显著分化，因此量化并修复此类差异是多语言 LLM 落地 的关键瓶颈。

行业类比

类似一个多语言象棋 AI：换用不同语言的界面进行对弈，如果棋力大幅波动，就说明模型并未真正掌握与语言无关的策略能力，亟需语言鲁棒的推理对齐。

核心洞察

• 该论文通过多语言自我对弈将语言作为唯一变量，正交于知识评估，直接量化跨语言技能不一致。与静态多语言基准或知识探针不同，它在固定模型、对手、规则和状态空间的前提下，仅改变交互语言，从而隔离出语言对模型已实现行为（如胜率、无效动作、策略倾向）的因果影响，避免了混淆知识与技能。
• 发现中间推理语言（而非界面语言）能够部分恢复性能损失，表明语言对决策过程不同阶段的影响是可分离的。这不同于以往只考察输入输出语言一致性的工作，提示工程中调整推理语言可能改善特定语言的策略表现，为多语言模型部署提供了新的干预路径。
• 语言相关的技能差异不直接由数据量或静态能力分解释，说明需要针对交互式场景的评估。研究揭示了空间推理、不完全信息博弈等任务中出现的语言特定失败模式，对实际工程的意义在于：仅依赖标准基准无法保证多语言系统在真实多轮互动中的公平性与可靠性，需引入自对弈等动态评测。

方法

输入与框架

该方法以文本游戏状态、合法动作集、历史对话和当前玩家语言标识为输入。核心框架 Multilingual TextArena 基于 TextArena 扩展，支持六个游戏（Nim、Tic Tac Toe、Colonel Blotto、Kuhn Poker、Simple Tak、Iterated Prisoners Dilemma），覆盖空间推理、不完全信息、资源分配和重复博弈。

关键模块

1. 多语言自博弈（Multilingual Self-Play）：同一模型两个实例对战，每实例仅通过不同语言接口交互，控制模型、对手、规则、状态空间和动作空间不变，隔离语言对技能的影响。
2. 翻译工作流：将游戏提示、状态描述、动作格式和 UI 本地化到八种语言（高/中/低资源混合），采用人工校验与自动翻译结合，保证语义一致性。
3. 指标计算：定义 role-pooled win–loss margin（对局胜负差平均）、mean language margin（单语言相对所有语言平均胜率差）和模型级汇总，量化跨语言技能不一致。
4. 中间推理语言恢复：在部分实验中，仅改变模型内部推理链使用的语言（如用英文 CoT 但界面保持目标语言），检查性能是否恢复。

输出与结论

输出每个模型在各语言、各游戏中的胜率、无效动作率、策略偏差等。实验发现同一模型在不同语言下技能差异显著，部分场景下切换推理语言可恢复大部分性能，说明语言影响决策链的不同阶段。

与静态多语言基准（如 MMLU 多语版）或知识探针不同，本方法通过交互式自博弈测量技能的不一致性，而非知识与常识覆盖，且能归因到具体认知环节。

实验

实验设计

采用 多语言自对弈 框架：同一模型的两个实例分别使用不同语言接口，在完全相同的文本游戏中对抗。模型、对手、规则、状态空间与可用动作均固定，仅语言变量改变，从而隔离语言对实际技能行为的影响。在 Multilingual TextArena 环境下，评估了 3 个开放权重模型，覆盖 8 种语言 与 6 种游戏（空间推理、不完全信息、资源分配、重复交互）。评估指标包括胜负差、无效动作频率与策略倾向。此外，还检验了仅改变 中间推理语言 对性能的恢复效果。

关键发现

• 同一模型在不同语言下表现出明显的游戏强度差异，胜负边缘、违规动作与策略选择存在系统性变化。
• 失败模式具体体现在 空间推理（TicTacToe、Simple Tak）、卡牌条件决策（Kuhn Poker）与 最优移动选择 上。
• 部分性能损失可通过仅切换中间推理语言恢复，说明语言影响决策过程的不同阶段。
• 技能差异与知识访问及静态基准性能正交，是构建真正多语言模型的重大障碍。

与基线/同类工作对比解读

传统多语言评估多依赖静态问答或综合基准，容易混淆语言知识与任务技能；本研究通过交互式自对弈提供正交的技能诊断，避免了静态基准的偏差。与知识探测不同，该方法观察真实博弈行为，揭示语言对策略执行的隐性影响，比整体分数更具诊断价值。该方法可补充现有评估体系，尤其适用于需要长程推理与交互的多语言应用。局限在于论文未给出具体数值指标，但论证方向明确，为后续公平性评测提供了可操作范式。

行业影响

落地场景

多语言 LLM 应用的核心交互型产品：电商客服、金融投顾、游戏 NPC、企业协作智能体。TextArena 的多语言自博弈揭示同一模型在不同语言接口下技能不一致，因此凡要求跨语言一致决策能力的场景都受影响。

• 电商多语言客服：在处理退换货协商（信息不对称）和优惠分配（资源分配）时，不同语言用户可能获得不同质量的谈判结果与策略。
• 金融多语言投研助手：风险评估和资产配置的推理强度随语言变化，可能产生不一致的投资建议。

商业价值

• 降本：提前识别语言特异的技能缺陷，避免线上高代价错误与人工复核。
• 增收/体验：保证低资源语言用户体验不降级，扩大全球用户覆盖；同时通过一致性提升信任，减少 churn。
• 风险控制：在合规敏感场景（医疗、金融）中，语言引起的能力差异可能构成隐性风险。

与现有工作流集成

• 在模型上线前的评估管线中加入 TextArena 多语言自博弈，作为 CI 检查项，输出各语言的能力差异报告。
• 推理时通过 prompt 设置中间推理语言（如 English），用 语言条件推理 恢复部分性能，不改权重。
• 在 SFT 阶段混入多语言游戏轨迹数据，平衡技能分布。
• 结合可观测性平台监控生产环境中的语言维度决策质量。

局限

• 论文仅评估了三个开放权重模型（如 Llama、Mistral 等），未覆盖闭源商业模型或更大规模模型，限制了结论的普适性。游戏环境仅包含 6 个文本游戏，语言覆盖 8 种，不足以全面反映跨语言技能差异。此外，self-play 设置中同一模型对弈，模型自身的语言偏好可能混杂在语言界面效应中，无法完全剥离。
• 方法依赖文本游戏环境，其技能空间与真实世界任务（代码生成、数学推理、开放域对话）存在差距，结论的可迁移性有待验证。通过改变中间推理语言恢复性能的效果可能依赖特定提示模板，稳定性存疑。实验未分析模型内部表征，无法揭示语言影响技能的具体机制。
• 与静态多语言基准相比，该方法虽能动态隔离语言影响，但游戏规则本身引入额外认知负荷，可能导致差异并非纯粹来自语言技能，而是规则理解能力的差异。self-play 缺少与人类或其他模型的交叉对弈，无法校准绝对技能水平，可能高估或低估语言效应。