英语-普纳语统计机器翻译系统：实证研究的若干见解
文章背景与核心概要
本文介绍了针对英语与普纳语（Pnar）语言对的首个机器 translation（机器翻译）研究与定量基准测试。普纳语是一种南亚语系语言，主要由梅加拉亚邦杰因蒂亚山脉（Jaintia Hills）的约 40 万人使用，传统上严重缺乏数字语料库和自然语言处理（NLP）资源。
研究人员通过收集《Wyrta》报纸的文章，构建了一个包含 10,234 个句子的平行语料库（其中 9,563 个用于训练），并使用 Moses、GIZA++ 和 KenLM 在多种配置下评估了基于短语的统计机器翻译（SMT）系统。研究揭示了关键的结构性挑战，例如处理源语言的主宾谓（SOV）语序与目标语言的主谓宾（SVO）语序之间的差异，这为未来针对普纳语的神经机器翻译和多语言机器翻译研究奠定了坚实的基础。
执行摘要 / Executive Summary
本论文针对英语-普纳语（English-Pnar）语言对展开了首个机器翻译研究，并建立了几量基准。普纳语是一种南亚语系语言，通行于梅加拉亚邦的杰因蒂亚山脉，使用者约有 40 万人，且传统上缺乏数字语料库和自然语言处理（NLP）资源。研究人员利用从《Wyrta》报纸收集的文章，构建了一个包含 10,234 个句子的平行语料库（其中 9,563 个用于训练），并在不同配置下使用 Moses、GIZA++ 和 KenLM 评估了基于短语的统计机器翻译（SMT）系统。
This paper presents the first machine translation study and quantitative benchmark for the English-Pnar language pair. Pnar is an Austroasiatic language spoken by approximately 0.4 million people in the Jaintia Hills of Meghalaya, traditionally lacking digital corpora and natural language processing (NLP) resources. Using articles collected from the Wyrta newspaper, the researchers built a parallel corpus of 10,234 sentences (9,563 used for training) and evaluated phrase-based statistical machine translation (SMT) systems using Moses, GIZA++, and KenLM under various configurations.
该研究强调了核心的结构性挑战，例如处理源语言的主宾谓（SOV）语序与目标语言的主谓宾（SVO）语序之间的差异，并为未来针对普纳语的神经机器翻译和多语言机器翻译研究提供了基础。
The study highlights key structural challenges, such as handling the source language's Subject-Object-Verb (SOV) order versus the target language's Subject-Verb-Object (SVO) order, and provides a foundation for future neural and multilingual machine translation research for Pnar.
元数据与文档信息 / Metadata & Document Information
| 字段 / Field | 详情 / Details |
|---|---|
| arXiv ID | arXiv:2608.23120 [cs.CL] |
| 学科分类 / Subjects | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 作者 / Authors | Edawanbiang Dhar Surmila Thokchom, Thoudam Doren Singh |
| 提交日期 / Submission Date | 2026年8月24日 |
| DOI | 10.48550/arXiv.2608.23120 |
| 许可证 / License | 知识共享署名 4.0  |
摘要 / Abstract
普纳语是一种南亚语系语言，通行于梅加拉亚邦的杰因蒂亚山脉，使用者约 40 万人，目前缺乏数字语料库和自然语言处理（NLP）资源。本文展示了针对英语和普纳语语言对的首个机器翻译研究。利用从 Wyrta 报纸收集的文章，我们构建了一个包含 10,234 个句子的平行语料库，并在每个方向的三种配置下，使用 Moses、GIZA++、KenLM 以及不同的词汇化重排序和最小错误率训练（MERT）调优，通过 9,563 个平行语料训练了基于短语的统计机器翻译（SMT）系统模型。
Pnar, an Austroasiatic language spoken by approximately 0.4 million people in the Jaintia Hills of Meghalaya, lacks the digital corpora and natural language processing (NLP) resources. This paper presents the first machine translation study for the English and Pnar language pair. Using articles collected from the Wyrta newspaper, we built a parallel corpus comprising of 10,234 sentences and trained phrase-based statistical machine translation (SMT) systems the models using 9,563 parallel corpora under three configurations for each direction using Moses, GIZA++ , KenLM, varying lexicalized reordering and minimum error rate training (MERT) tuning.
模型在包含 371 个句子的独立测试集上进行评估，表现最好的系统在普纳语到英语翻译上取得了 14.97 的 BLEU 分数（chrF2: 33.42, TER: 77.60），在英语到普纳语翻译上取得了 11.16 的 BLEU 分数（chrF2: 31.38, TER: 93.51），为该语言对建立了首个定量基准。词汇化重排序使普纳语到英语的翻译质量提升了 3.73 个 BLEU 点，这反映了从源语言的 SOV 语序到目标语言的 SVO 语序的结构转变；而 MERT 调优在低资源条件下反而会降低 BLEU 性能。最后，我们分析了残留的翻译错误，包括形态学集外词（OOV）、长距离重排序以及卡西语（Khasi）代码混合，并讨论了普纳语走向神经和多语言机器翻译的未来方向。
The models are evaluated on a held out test set of 371 sentences, the best performing system achieves a BLEU score of 14.97 (chrF2: 33.42, TER: 77.60) for Pnar to English and 11.16 (chrF2: 31.38, TER: 93.51) for English to Pnar, establishing the first quantitative benchmark for this language pair. Lexicalized reordering improves translation quality by 3.73 BLEU points for Pnar to English, reflecting the structural shift from the source language's SOV word order to the target language's SVO order, whereas MERT tuning degrades BLEU performance under low resource conditions. Finally, we analyze the remaining translation errors, including morphological out of vocabulary (OOV) words, long-distance reordering and Khasi code mixing and discuss future directions toward neural and multilingual machine translation for Pnar.