跳转至

通用语假设：大语言模型通过潜在的、与任务无关的特征空间进行翻译

文章背景与核心概要

近年来，大语言模型（LLM）在机器 translation（机器翻译）任务上的表现往往超越了传统的强监督基线模型。为了深入理解其背后的运作机制，本文提出了“通用语假设”（The Interlingua Hypothesis）。该假设认为，大语言模型在进行翻译时，首先将源语言句子编码到一个共享的、潜在的、与任务无关的特征空间中，然后直接从该特征空间解码出目标语言句子。

为了验证这一理论，作者提供了三条主要的实证证据：（1）跨语言对的 BLEU 评分方差在很大程度上可以根据特定语言的能力来预测，且不存在特定语言对的交互项；（2）许多模型组件在单语任务和翻译任务中都具有因果影响力；（3）相比于在对齐文档上进行微调，通过单语数据微调即可恢复大部分翻译性能的提升。这些证据共同为通用语假设提供了收敛支持，并为理解和改进 LLM 在翻译任务中的应用提供了全新的视角。

摘要 (Abstract)

Large language models (LLMs) have recently demonstrated improved machine translation performance over strong supervised baselines. This raises questions as to what mechanisms underlie how LLMs perform machine translation between languages. Motivated by recent interpretability findings—namely, that LLMs use massively multilingual latent feature representations to perform language modeling—we propose the interlingua hypothesis. The hypothesis holds that language models translate by reading a source sentence into a latent feature space, and generate a target sentence by reading from the latent feature space.

We show three lines of evidence in support of this hypothesis: 1. Variance in BLEU across language pairs is largely predictable from language-specific competences with no language pair-specific interaction terms; 2. Many model components are causally influential in both monolingual tasks and translation tasks; and 3. Fine-tuning on monolingual data recovers a large proportion of translation improvements relative to fine-tuning on aligned documents.

Together, these provide convergent evidence in support of the interlingua hypothesis, and suggest new ways of understanding and improving how LLMs can be leveraged to perform translation tasks.

大语言模型（LLM）最近在机器翻译性能上展现出了优于强监督基线的效果。这引发了人们对 LLM 如何在不同语言之间执行机器翻译的底层机制的探究。受近期可解释性研究结果的启发——即 LLM 使用海量多语言的潜在特征表示来执行语言建模——我们提出了“通用语假设”。该假设认为，语言模型通过将源句子读取到潜在特征空间中来进行翻译，并通过从该潜在特征空间中读取来生成目标句子。

我们展示了支持这一假设的三条证据： 1. 跨语言对的 BLEU 方差在很大程度上可以根据特定语言的能力来进行预测，且不存在特定语言对的交互项； 2. 许多模型组件在单语任务和翻译任务中都具有因果影响力；以及 3. 与在对齐文档上微调相比，在单语数据上进行微调可以恢复很大比例的翻译性能提升。

这些证据共同为通用语假设提供了收敛支持，并为理解和改进如何利用 LLM 执行翻译任务提供了新的方法。

元数据与出版详情 (Metadata & Publication Details)

  • arXiv 标识符： arXiv:2609.00515 [cs.CL]
  • 学科分类： 计算与语言 (cs.CL)；人工智能 (cs.AI)
  • 提交日期： 2026年9月1日
  • 作者：
  • Jacob Brinton
  • Jannik Brinkmann
  • Mark Crovella
  • Aaron Mueller
  • 文档统计： 21页，15张图表，11个表格

访问与资源 (Access & Resources)