跳转至

FastSLM：用于高效长语音自适应的分层时间抽象架构

文章背景与核心概要

将多模态大语言模型（MLLM）扩展以处理长语音时，由于海量的输入Token会带来严重的性能瓶颈。由于语音不具备图像或视频那样的空间冗余性，因此实现极端Token压缩天生极具挑战性。

为了突破这一限制，本文作者推出了 FastSLM，这是一种具备分层时间抽象器（HTA）的高效Token架构。HTA能够在多个时间尺度上逐步提炼声学特征，在保留核心语言内容的同时，实现了每秒 1.67 个Token的极致压缩率（缩减了 97%）。在需要消耗极少语音Token和计算量（FLOPs）的前提下，FastSLM在各类语音-语言任务中展现出了极具竞争力的性能。

论文元数据

字段 详情
标题 FastSLM: Hierarchical Temporal Abstraction for Efficient Long-Form Speech Adaptation
作者 Junseok Lee, Chang-Jae Chun
研究学科 音频与语音处理 (eess.AS); 人工智能 (cs.AI); 声音 (cs.SD)
主分类 电气工程与系统科学 > 音频与语音处理
arXiv 标识符 arXiv:2601.06199 [eess.AS]
DOI 10.48550/arXiv.2601.06199
会议状态 已被 Findings of EMNLP 2026 接收（第 2 页）
提交历史 v1: 2026年1月8日
v5（最新版）: 2026年8月31日

Paper Metadata

Field Details
Title FastSLM: Hierarchical Temporal Abstraction for Efficient Long-Form Speech Adaptation
Authors Junseok Lee, Chang-Jae Chun
Subjects Audio and Speech Processing (eess.AS); Artificial Intelligence (cs.AI); Sound (cs.SD)
Primary Classification Electrical Engineering and Systems Science > Audio and Speech Processing
arXiv Identifier arXiv:2601.06199 [eess.AS]
DOI 10.48550/arXiv.2601.06199
Conference Status Accepted to Findings of EMNLP 2026 (Page 2)
Submission History v1: Jan 8, 2026
v5 (Latest): Aug 31, 2026

摘要

将多模态大语言模型（MLLMs）扩展至长语音处理时，面临着输入Token爆发式增长所带来的瓶颈。现有的语音-语言模型将高帧率的声学特征直接投影到LLM的输入空间中，这使得长上下文处理在计算上成本高昂。与图像或视频不同，语音缺乏空间冗余，这使得极端Token压缩变得尤为具有挑战性。为了解决这一局限性，我们提出了 FastSLM，这是一种具备分层时间抽象器（HTA）的高效Token架构，它能够在多个时间尺度上逐步提炼声学特征。HTA实现了每秒 1.67 个Token的极端压缩率（缩减 97%），同时保留了用于下游语音-语言理解的关键语言信息。实验结果表明，与现有的语音-语言模型相比，FastSLM在各种语音-语言任务中实现了具有竞争力的性能，同时所需的语音Token和FLOPs（浮点运算次数）要少得多。

Abstract

Scaling Multimodal Large Language Models (MLLMs) to long-form speech is bottlenecked by the explosive growth of input tokens. Existing speech-language models project high-frame-rate acoustic features directly into the LLM input space, making long-context processing computationally prohibitive. Unlike images or videos, speech lacks spatial redundancy, making extreme token compression particularly challenging. To address this limitation, we propose FastSLM, a token-efficient architecture featuring the Hierarchical Temporal Abstractor (HTA), which progressively distills acoustic features across multiple temporal scales. HTA achieves an extreme compression rate of 1.67 tokens per second (97% reduction) while preserving essential linguistic information for downstream speech-language understanding. Experimental results demonstrate that FastSLM achieves competitive performance across diverse speech-language tasks while requiring substantially fewer speech tokens and FLOPs than existing speech-language models.

获取与资源

Access & Resources

引用与外部参考

Citations & External References