跳转至

超越提示词工程：基于对数几率空间融合的语音大模型高效鲁棒上下文偏置 (LOGIC)

Beyond Prompting: Efficient and Robust Contextual Biasing for Speech LLMs via Logit-Space Integration (LOGIC)

  • arXiv ID: 2601.15397 [cs.AI]
  • Primary Subject: Artificial Intelligence (cs.AI)
  • Secondary Subjects: Computation and Language (cs.CL), Sound (cs.SD)
  • Authors: Peidong Wang, Jian Xue, Jinyu Li
  • Submission History: [v1] 21 Jan 2026; [v3] 10 Sep 2026 (latest revision)

文章背景与核心概要

语音大语言模型 (Speech Large Language Models, Speech LLMs) 在通用人机对话中展现出色，但由于训练数据固化，难以准确识别快速涌现的专有名词、联系人姓名或个性化歌单等领域实体。传统的提示词 (Prompting) 方案在实体列表增加时面临上下文窗口膨胀、推理延迟飙升与“迷失在中间”等问题；而生成式纠错 (Generative Error Correction, GEC) 则常导致过度纠正与虚假实体幻觉。为此，作者提出了 LOGIC 框架，直接在模型的解码层对数几率 (Logit) 空间中进行上下文信息融合，彻底将上下文注入与输入处理解耦，实现了相对提示词长度的常数级时间复杂度。在多模态模型 Phi-4-MM 跨越 11 种跨国语言环境的测试中，LOGIC 将实体词错误率 (WER) 相对降低了 9%，而虚警率增幅仅为微乎其微的 0.30%。

📌 内容概要

📌 Summary

语音大语言模型 (Speech LLMs) 在日常通用对话任务中表现优异，但受限于静态的预训练知识库，往往难以有效识别迅速更迭的新词或特定领域实体 (例如个人联系人姓名、专业术语或个性化音乐播放列表) 。

Speech Large Language Models (Speech LLMs) excel at general conversational tasks, but struggle to recognize rapidly emerging or domain-specific entities (such as contact names, technical jargon, or playlists) due to their static training knowledge.

传统的解决思路通常依赖提示词工程 (Prompting) ，但其扩展能力极差——随着待识别实体列表的扩充，很容易遭遇上下文窗口饱和、推理延迟成倍上升以及“迷失在中间” (Lost-in-the-Middle) 现象。与此同时，另一种生成式纠错 (GEC) 方案则经常面临“过度纠错”的问题，甚至会凭空凭造出音频中完全不存在的实体幻觉。

Traditional solutions like prompting fail to scale efficiently, leading to context window limitations, high inference latency, and the "lost-in-the-middle" phenomenon. Meanwhile, Generative Error Correction (GEC) suffers from over-correction and entity hallucinations.

为破解上述难题，研究团队提出了 LOGIC (Logit-Space Integration for Contextual Biasing，即对数几率空间上下文偏置融合) 框架，该方法直接在神经网络的最终解码层实施干预。通过将上下文偏置的注入过程与输入端表征处理完全解耦，LOGIC 实现了相对于提示词长度的常数级时间复杂度 \(\mathcal{O}(1)\)。在搭载 Phi-4-MM 模型并覆盖 11 种多语言区域设置的实验中，LOGIC 取得了实体词错误率 (Word Error Rate, WER) 平均相对下降 9% 的显著提升，且虚警率 (False Alarm Rate) 仅轻微上升 0.30%。

To solve this, the authors introduce LOGIC (Logit-Space Integration for Contextual Biasing), a framework operating directly in the decoding layer. By decoupling context injection from input processing, LOGIC achieves constant-time complexity relative to prompt length. Experiments using the Phi-4-MM model across 11 multilingual locales show an average 9% relative reduction in Entity Word Error Rate (WER) with only a 0.30% increase in the False Alarm Rate.

📄 论文元数据

📄 Paper Metadata

  • arXiv 编号： 2601.15397
  • 主学科领域： 人工智能 (cs.AI)
  • 次要学科领域： 计算与语言 (cs.CL)，声音音频 (cs.SD)
  • 论文作者： Peidong Wang, Jian Xue, Jinyu Li
  • 提交历史：
  • [v1] 2026年1月21日
  • [v3] 2026年9月10日 (最新修订版本)
  • arXiv ID: 2601.15397
  • Primary Subject: Artificial Intelligence (cs.AI)
  • Secondary Subjects: Computation and Language (cs.CL), Sound (cs.SD)
  • Authors: Peidong Wang, Jian Xue, Jinyu Li
  • Submission History:
  • [v1] 21 Jan 2026
  • [v3] 10 Sep 2026 (latest revision)

🔍 论文摘要

🔍 Abstract

受文化演变、网络热点变迁以及用户高度定制化数据驱动，新实体的快速涌现给现有的语音大语言模型 (Speech LLMs) 带来了严峻挑战。尽管这些模型在宽泛的通用对话任务中表现卓越，但其静态的训练期知识库极大地限制了其识别特定领域词汇的能力，例如通讯录人名、歌单名称或行业技术行话。现存主流方案主要依赖提示词，但其可扩展性极差：随着实体清单长度的增长，提示词方法面临着上下文窗口受限、推理延迟增加以及“迷失在中间”现象。另一类替代方法即生成式纠错 (GEC)，试图通过后处理机制重写转写文本，但又极易陷入“过度纠正”的陷阱，凭空臆造出说话人根本未提及的虚假实体。

在本工作中，我们提出了 LOGIC (基于对数几率空间融合的上下文偏置机制) ，这是一个直接在解码层操作的高效且鲁棒的框架。与提示词机制截然不同，LOGIC 将上下文注入与输入处理深度解耦，从而保证了关于提示词长度的常数级时间复杂度。利用 Phi-4-MM 模型在横跨 11 种多语言本地化场景下开展的大规模实验表明，LOGIC 实现了实体词错误率 (Entity WER) 平均 9% 的相对下降，且虚警率增量仅为可以忽略不计的 0.30%。

The rapid emergence of new entities -- driven by cultural shifts, evolving trends, and personalized user data -- poses a significant challenge for existing Speech Large Language Models (Speech LLMs). While these models excel at general conversational tasks, their static training knowledge limits their ability to recognize domain-specific terms such as contact names, playlists, or technical jargon. Existing solutions primarily rely on prompting, which suffers from poor scalability: as the entity list grows, prompting encounters context window limitations, increased inference latency, and the "lost-in-the-middle" phenomenon. An alternative approach, Generative Error Correction (GEC), attempts to rewrite transcripts via post-processing but frequently suffers from "over-correction", introducing hallucinations of entities that were never spoken.

In this work, we introduce LOGIC (Logit-Space Integration for Contextual Biasing), an efficient and robust framework that operates directly in the decoding layer. Unlike prompting, LOGIC decouples context injection from input processing, ensuring constant-time complexity relative to prompt length. Extensive experiments using the Phi-4-MM model across 11 multilingual locales demonstrate that LOGIC achieves an average 9% relative reduction in Entity WER with a negligible 0.30% increase in False Alarm Rate.

🔗 全文获取与参考文献

🔗 Full-Text & References