基于分层语言模型的动态多字节预测
文章背景与核心概要
字节级分层语言模型作为子词分词（subword tokenization）的替代方案，在近年来展现出了强大的潜力。然而，由于其逐字节生成的特性，推理速度往往成为制约其实际应用的主要瓶颈。
本文提出了“多字节预测”（Multi-Byte Prediction, MBP）技术，旨在解决上述推理效率问题。该方法通过并行生成多个字节，在不增加额外参数且不牺牲模型性能的前提下，显著提升了推理吞吐量。核心创新点在于引入了与分层语言模型潜在片段对齐的变长预测窗口，以及一种能够维持因果关系的创新注意力掩码方案。实验结果表明，MBP 在指令遵循、问答、摘要和机器翻译等多种生成任务中实现了性能与推理速度的帕累托最优平衡。
动态多字节预测与分层语言模型
arXiv: 2608.15454
学科: 人工智能 (cs.AI)
作者: Abraham Toluwase Owodunni, Chibuzor Okocha, Christan Grant, Tomasz Limisiewicz, Sachin Kumar
提交日期: 2026年8月16日 (v1), 2026年8月21日 (v2)
摘要
Byte-level hierarchical language models (LMs) have recently emerged as a robust alternative to their popular counterparts that use subword tokenization. However, generating one byte at a time remains a bottleneck for inference speed. To address this, we introduce multi-byte prediction (MBP), which generates multiple bytes in parallel, speeding up inference with minimal performance impact and no additional parameters. MBP builds on the popular multi-token prediction (MTP) paradigm with two crucial innovations. First, we introduce a variable-length prediction window that aligns with the latent tokens, or segments, of a hierarchical LM. Second, we implement a novel attention-masking scheme that enables parallel byte prediction without violating causality. We show that multi-byte prediction strikes a Pareto-optimal trade-off across multiple generative tasks, instruction following, question answering, summarization, and machine translation, achieving the best trade-off between performance and inference throughput.
字节级分层语言模型（LM）最近已成为使用子词分词的流行模型的一种强有力的替代方案。然而，逐字节生成仍然是推理速度的瓶颈。为了解决这个问题，我们引入了多字节预测（MBP），它能够并行生成多个字节，在对性能影响极小且无需额外参数的情况下加快了推理速度。MBP 基于流行的多标记预测（MTP）范式，并进行了两项关键创新。首先，我们引入了一个与分层 LM 的潜在标记（或片段）对齐的变长预测窗口。其次，我们实现了一种新的注意力掩码方案，能够在不违反因果关系的情况下实现并行字节预测。我们证明，多字节预测在指令遵循、问答、摘要和机器翻译等多种生成任务中实现了帕累托最优权衡，在性能和推理吞吐量之间达到了最佳平衡。
