跳转至

TurboBias 2.0：面向生产级高效 ASR 系统的流式上下文偏置框架

文章背景与核心概要

在现代自动语音识别（ASR）系统中，特别是在处理专有名词、行业术语或用户自定义词汇时，上下文偏置（Context-Biasing）技术至关重要。然而，许多现有的偏置方法虽然提升了识别准确率，却难以满足严苛的生产环境需求，例如流式推理、低运行开销、高效的批处理解码以及独立的用户特定上下文隔离。

本文介绍的 TurboBias 2.0 正是为了填补这一技术空白而设计的生产级框架。该框架扩展了原有的 GPU 加速 TurboBias，引入了大小写不敏感的偏置图（Boosting Graph）以及逐流批处理解码（Per-stream Batched Decoding）机制。这使得系统能够在不共享或混淆数据的前提下，为多个并发用户提供个性化的上下文偏置。实验表明，TurboBias 2.0 在保持低延迟和高吞吐量的同时，显著提升了流式与离线场景下的短语识别准确率。

摘要 (Abstract)

上下文对于生产级自动语音识别（ASR）系统至关重要，在这些系统中，用户提供的短语必须在严格的延迟约束下被准确识别。尽管许多上下文偏置方法提高了识别准确率，但它们往往无法满足现代生产 ASR 系统的实际需求：流式推理、高效的批处理解码、用户特定的上下文列表以及较低的运行开销。

我们提出了 TurboBias 2.0，这是一个面向生产环境的框架，用于在基于 Transducer 的 ASR 系统中实现高效的短语增强。该框架将 GPU 加速的 TurboBias 扩展为支持不区分大小写的增强图和逐流批处理解码，允许批处理中的每个语音片段使用独立的上下文偏置配置。这使得在为多个同时在线的用户提供个性化上下文偏置时，不会共享或混合他们的上下文列表。该框架同时支持离线和流式推理，并可用于贪婪解码（Greedy）和集束搜索（Beam-search）解码。实验表明，TurboBias 2.0 在保持低延迟和高吞吐量的同时，改善了上下文短语的识别效果。

Contextualization is essential for production automatic speech recognition (ASR) systems, where user-provided phrases must be recognized accurately under strict latency constraints. Although many context-biasing methods improve recognition accuracy, they often do not address the practical requirements of modern production ASR systems: streaming inference, efficient batched decoding, user-specific context lists, and low runtime overhead.

We propose TurboBias 2.0, a production-oriented framework for efficient phrase boosting in Transducer-based ASR systems. The framework extends GPU-accelerated TurboBias with a case-insensitive boosting graph and per-stream batched decoding, allowing each utterance in a batch to use an independent context-biasing configuration. This enables personalized context biasing for multiple simultaneous users without sharing or mixing their context lists. The proposed framework supports both offline and streaming inference and can be used with greedy and beam-search decoding. Experiments show that TurboBias 2.0 improves contextual phrase recognition while preserving low latency and high throughput.

访问全文与资源 (Access Full-Text & Resources)