跳转至

文章背景与核心概要

现有的子词分词算法（如 BPE）主要针对统计压缩进行优化，却忽视了语言的形态结构，尤其是词根与词缀之间的内在联系。对于形态丰富的印度语言而言，这一缺陷尤为严重，因为它们的基石是复杂的正字法音节（aksharas）而非孤立的字母。基于词频的方法往往会导致“形态破碎”（Morphological Shattering），即任意割裂词语并将词根与词缀强行拆散。

为了应对这一挑战，本文作者提出了 SuTRA（Structurally-Unified Tokenization with Root Awareness，即具备词根感知能力的结构统一分词算法）。这是一种兼顾形态学感知的算法，能够保持音节的不可分割性，并对跨越形态边界的合并操作进行惩罚。此外，作者还发布了一个针对印地语、马拉地语和古吉拉特语的全新形态切分数据集。实证结果表明，SuTRA 显著减少了形态破碎现象，在形态对齐（边界 F1 值）和语义可恢复性（印地语）上分别取得了最高 +14.7% 和 +34% 的性能提升，并在机器翻译任务中带来了平均 +8.08 chrF2 的显著改善。

SuTRA: Structurally-Unified Tokenization with Root Awareness

Summary

现有的大多数子词分词算法主要优化统计压缩率，而忽视了形态结构，尤其是词根与词缀之间的关系。这种局限性对于形态丰富的印度语言来说尤为严重，在这些语言中，基本单位是复杂的正字法音节（aksharas）而不是单个字母。

Existing subword tokenization algorithms predominantly optimize for statistical compression while ignoring morphological structure, particularly the relationships between word roots and affixes. This limitation is especially problematic for morphologically rich Indic languages, where the fundamental units are complex orthographic syllables (aksharas) rather than individual letters.

基于频率的方法经常导致形态破碎（Morphological Shattering），它们任意碎片化单词，并将词根与词缀剥离开来。为了解决这一问题，作者提出了 SuTRA（Structurally-Unified Tokenization with Root Awareness），这是一种具备形态感知的算法，能够保持 akshara 的不可分割性，并对跨越形态边界的合并操作进行惩罚。此外，作者还发布了针对印地语、马拉地语和古吉拉特语的全新形态分割数据集。

Frequency-based methods often cause Morphological Shattering, arbitrarily fragmenting words and splitting roots from affixes. To address this, the authors propose SuTRA (Structurally-Unified Tokenization with Root Awareness), a morphology-aware algorithm that preserves akshara indivisibility and penalizes merges that cross morphological boundaries. Additionally, the authors release a new morphological segmentation dataset for Hindi, Marathi, and Gujarati.

实验结果表明，SuTRA 显著减少了破碎现象，在形态对齐（Boundary F1）上实现了 +14.7% 的峰值性能提升，在语义可恢复性（针对印地语）上实现了 +34% 的提升（相比标准字节对编码 BPE），最终在机器翻译任务中带来了平均 +8.08 chrF2 的性能改善。

Empirical results demonstrate that SuTRA significantly reduces shattering, achieving peak performance gains of +14.7% in morphological alignment (Boundary F1) and +34% in semantic recoverability (for Hindi) over standard Byte-Pair Encoding (BPE), ultimately leading to an average improvement of +8.08 chrF2 in machine translation tasks.

Paper Metadata

字段 详情
arXiv ID arXiv:2608.18087 [cs.CL]
DOI 10.48550/arXiv.2608.18087
一级学科 计算与语言 (cs.CL)
二级学科 人工智能 (cs.AI)
会议收录 已被 Interspeech 2026 接收
提交日期 2026年6月5日提交；2026年8月20日修订
作者 Vaibhav Rathore, Siddhant Gole, Dadhichi Telwadkar, Rooshil Bhatia, Maulik Ruparel, Siddharth Sureka, Neha Bhargava
Field Details
arXiv ID arXiv:2608.18087 [cs.CL]
DOI 10.48550/arXiv.2608.18087
Primary Subject Computation and Language (cs.CL)
Secondary Subjects Artificial Intelligence (cs.AI)
Conference Accepted at Interspeech 2026
Submission Dates Submitted on 5 Jun 2026; Revised on 20 Aug 2026
Authors Vaibhav Rathore, Siddhant Gole, Dadhichi Telwadkar, Rooshil Bhatia, Maulik Ruparel, Siddharth Sureka, Neha Bhargava

Abstract

现有子词分词器优化了统计压缩，但忽略了形态结构，特别是词根与词缀之间的关系。这对于形态丰富的印度语言来说是有害的，因为它们的基本单位是复杂的正字法音节（aksharas）而不是字母。基于频率的方法过度碎片化单词，任意拆分词根和词缀——我们将这种现象称为形态破碎。我们提出了 SuTRA（具备词根感知能力的结构统一分词算法），这是一种形态感知算法，可保持 akshara 的不可分割性并惩罚跨越形态边界的合并。我们还发布了针对印地语、马拉地语和古吉拉特语的新形态分割数据集。与 BPE 相比，SuTRA 减少了破碎，在形态对齐（Boundary F1）上实现了 +14.7% 的峰值收益，在语义可恢复性（印地语）上实现了 +34% 的收益。这些结构上的收益在机器翻译中带来了平均 +8.08 chrF2 的提升。

Existing subword tokenizers optimize statistical compression but ignore morphological structure, particularly the relationship between roots and affixes. This is harmful for morphologically rich Indic languages, where basic units are complex orthographic syllables (aksharas) rather than letters. Frequency-based methods over-fragment words, arbitrarily splitting roots and affixes - a phenomenon we term Morphological Shattering. We propose SuTRA (Structurally-Unified Tokenization with Root Awareness), a morphology-aware algorithm that preserves akshara indivisibility and penalizes merges crossing morphological boundaries. We also release a new morphological segmentation dataset for Hindi, Marathi, and Gujarati. SuTRA reduces shattering, achieving peak gains of +14.7% in morphological alignment (Boundary F1) and +34% in semantic recoverability (Hindi) over BPE. These structural gains yield an average improvement of +8.08 chrF2 in machine translation.

Full-Text & Resource Links