阿里通义发布 Qwen-Audio-3.1-Realtime：具备自主思考、工具调用与话轮决策的全双工语音大模型

Alibaba Qwen Releases Qwen-Audio-3.1-Realtime: A Full-Duplex Voice Model Trained to Think, Act, and Decide When to Speak

文章背景与核心概要

随着人机语音交互从传统的“语音识别+大语言模型+语音合成”拼接链路向端到端全双工实时交互演进，如何让 AI 在倾听的同时自主思考、灵活调用外部工具并精准掌控说话时机，成为打造下一代拟人化语音智能体 (Voice Agent) 的核心瓶颈。Alibaba 旗下的 Qwen 团队正式推出了全新升级的音频模型技术栈 Qwen-Audio-3.1，其中领衔的旗舰模型 Qwen-Audio-3.1-Realtime 专为支持复杂工具调用的全双工语音交互而深度设计。该模型创新构建了“思考、行动、表达”三层训练架构，通过策略内蒸馏与强化学习赋能，不仅支持高达 262K 的超长上下文处理，而且大幅降低了背景杂音误触与口头垫字概率。与此同时，QwenCloud 全面大幅下调了音频套件的 API 定价 (降幅最高达 95%)，为开发者构建高响应、高智能且极具性价比的实时语音应用铺平了道路。

执行摘要

Executive Summary

Alibaba 旗下的 Qwen 团队近日重磅推出了 Qwen-Audio-3.1，这是一套涵盖自动语音识别 (Automated Speech Recognition, ASR)、语音合成 (Text-to-Speech, TTS) 以及实时互动的全套五模型音频技术栈。本次发布的领衔旗舰是 Qwen-Audio-3.1-Realtime——一款专门面向具备工具调用与执行能力的语音智能体 (Voice Agent) 所打造的全双工语音模型 (Full-Duplex Speech Model)。伴随此次发布，Alibaba 将其全线音频套件的 API 调用价格最高下调了 95%。目前，该模型仅作为托管 API 通过 QwenCloud 以 WebSockets 协议独家提供服务 (qwen-audio-3.1-realtime-plus)，暂未公布开源权重的计划。

Alibaba’s Qwen team has introduced Qwen-Audio-3.1, a comprehensive 5-model audio stack spanning ASR, TTS, and real-time interaction. Headlining the release is Qwen-Audio-3.1-Realtime, a full-duplex speech model engineered specifically for voice agents capable of tool execution. Alongside the launch, Alibaba has slashed API pricing by up to 95% across its audio suite. Currently, the model is deployable exclusively as a managed API via QwenCloud over WebSockets (qwen-audio-3.1-realtime-plus), with no open weights announced.

QwenCloud 上线内容

What Ships on QwenCloud

作为本次发布的旗舰模型，Qwen-Audio-3.1-Realtime 同时支持文本与音频作为输入与输出，并拥有高达 262K Token 的超长上下文窗口 (最大支持 245K 输入与 16K 输出)。系统的默认调用速率限制设定为每分钟 60 次请求及每分钟 10 万 Token。

The flagship model accepts both text and audio as inputs and outputs, boasting a 262K token context window (245K max input, 16K max output). Default limits are set at 60 requests and 100K tokens per minute.

• 定价策略：
• 音频输入：每 100 万 Token 计费 6.40 美元
• 文本输入：每 100 万 Token 计费 0.80 美元
• 文本与音频输出：每 100 万 Token 计费 24.00 美元 (输出文本免费)
• 核心特性： 支持函数调用 (Function Calling)、内置网络搜索、结构化输出、上下文缓存 (Context Caching) 以及模型微调。

• Pricing:
• Audio Input: $6.40 per 1M tokens
• Text Input: $0.80 per 1M tokens
• Text & Audio Output: $24.00 per 1M tokens (output text is free of charge)
• Key Features: Function calling, built-in web search, structured outputs, context caching, and fine-tuning.

此外，Qwen 还同步推出了 Qwen-Audio-3.1-ASR-Flash-Filetrans，这是一款专门针对离线长音频转录场景量身优化的配套模型。该模型全面支持热词定制、说话人分离、标点预测，并兼具多语言文本识别与汉语方言解析能力，其定价为每 100 万 Token 输入 0.15 美元、输出 0.47 美元。

Additionally, Qwen released Qwen-Audio-3.1-ASR-Flash-Filetrans, a companion model optimized for offline long-audio transcription. It supports hot words, speaker separation, punctuation, and recognition of multilingual text alongside Chinese dialects, priced at $0.15 for input and $0.47 for output per 1M tokens.

架构设计：一个声音背后的双模型协同

Architecture: 2 Models Behind 1 Voice

该系统在统一共享的音频编码器 (Audio Encoder) 与大语言模型 (Large Language Model, LLM) 设计之上，通过两个彼此协同的独立模型实现运行：

The system operates using two distinct models built upon a shared Audio Encoder and LLM design:

1. 全双工决策模型： 实时预测模型当前是应当保持倾听、开口说话、立即停止还是恢复发言；
2. 语音转文本模型： 负责将回答内容生成为文本形式；
3. 上下文感知语音渲染器： 结合对话历史、音色提示与声学环境上下文，将生成的文本实时转换为流式语音。

1. A Full-Duplex Decision Model: Predicts whether to continue listening, speak, stop, or resume.
2. A Speech-to-Text Model: Generates the response content as text.
3. A Context-Aware Voice Renderer: Converts the generated text into streaming speech, conditioned on conversation history, voice cues, and acoustic context.

训练分层体系

Training Layers

整个训练流程被系统化地解耦为三个核心基石层级：

The training pipeline is structured into three foundational layers:

• 思考层 (M²-OPD)： 采用 Core-Cocktail 监督微调 (Supervised Fine-Tuning, SFT)，依托百万小时级的配对数据将音频模型重新锚定至源文本大语言模型。与单纯的静态模仿不同，训练引入了策略内蒸馏 (On-Policy Distillation, OPD) 技术，由文本教师模型与冻结的音频参考模型共同对学员模型输出轨迹中的每一个 Token 动态评分。涵盖共情理解、实际语用意图以及复杂声学场景的领域专家模型均基于群组相对策略优化 (Group Relative Policy Optimization, GRPO) 训练而成，并最终通过多教师 OPD (Multi-Teacher OPD) 实现统一融合成型。
• 行动层 (可执行环境)： 每个训练领域均深度集成了工具池、有状态 JSON 数据库，以及源自开源工具和模型上下文协议 (Model Context Protocol, MCP) 服务端定义的自然语言业务规则。各项任务的执行结果表现为实际数据写入、给出合理解释后的拒绝处理、或标记为不受支持的请求。系统通过 GRPO 在对话全局、关键里程碑以及单轮交互三个层级给予奖励反馈，以此优化模型的搜索决策行为，大幅削减冗余的重复查询。
• 表达与协调层： 负责精细化统筹管理对话中的话轮转换 (Turn-taking) 动态逻辑。优化更新显著降低了误回背景杂音的几率以及口头垫字 (Filler) 的出现频率；不过作为技术权衡，模型出现不必要自主恢复说话的概率略有上升，且与竞品相比，在遭遇插话打断时的停止延迟也相对稍高。

• Think (M²-OPD): Core-Cocktail SFT re-anchors the audio model to its source text LLM using million-hour-scale paired data. Using on-policy distillation (OPD) rather than static imitation, a Text Teacher and frozen Audio Reference score each token of the student's trajectory. Domain experts covering empathy, pragmatic intent, and acoustic scenes are trained via GRPO and unified via Multi-Teacher OPD.
• Act (Executable Environments): Each training domain integrates a tool pool, a stateful JSON database, and natural-language business policies seeded from open-source tool and MCP server definitions. Tasks result in a write, a justified refusal, or an unsupported request. Rewards via GRPO are awarded at dialogue, milestone, and turn levels, optimizing search behaviors to reduce redundant queries.
• Speak and Coordinate: Manages turn-taking dynamics. Updates show major reductions in replying to background speech and filler rates, though trade-offs include an increased unwanted resume rate and higher interruption stop latency compared to competitors.

基准测试一览

Benchmarks at a Glance

• Audio MultiChallenge 音频多挑战任务： 综合评测得分由 47.12 分显著跃升至 52.21 分。
• BBA 平均表现 (覆盖 14 种语言)： 平均准确率从 81.7% 稳步攀升至 88.1%。
• FLEURS 词错误率 (Word Error Rate, WER)： 实现了大幅改善，由 9.01 显著降低至 3.98。
• 人工红队对抗评测： 在 50 场真实对话的人工对抗评测中，GPT-Realtime-2 依然保持领先 (成绩对比为 96.00% 对 92.00%)。

• Audio MultiChallenge: Improved from 47.12 to 52.21.
• BBA Average (14 languages): Climbed from 81.7% to 88.1%.
• FLEURS WER: Dropped significantly from 9.01 to 3.98.
• Human Red-Team Study: GPT-Realtime-2 maintains a lead in 50-session human evaluations (96.00% vs. 92.00%).

横向对比评测

How It Compares

Feature	Qwen-Audio-3.1-Realtime-Plus	OpenAI GPT-Realtime-2	Google Gemini 3.8 Live
Input	Text, audio	Text, audio, image	Text, images, audio, video
Output	Text, audio	Text, audio	Text and audio
Context / Input Limit	262K	128K	131,072
Max Output	16K	32K	65,536
Function Calling	Yes	Yes	Yes (async by default)
Built-in Web Search	Yes	Not listed	Google Search grounding
Reasoning	Thinking mode, 2K max reasoning	Configurable effort	Interleaved reasoning
Audio Input / 1M tokens	$6.40	$32.00	$3.00
Audio Output / 1M tokens	$24.00 (text and audio)	$64.00	$12.00
Open Weights	No	No	No
Source	QwenCloud	OpenAI Docs	Gemini Model Page, Pricing

(注：上述价格反映了截至 2026 年 9 月 28 日的官方公布费率。由于各家模型供应商所采用的音频分词与 Token 化方案不同，各厂商间的 Token 单价并不具备绝对的直接可比性。)

(Note: Prices reflect list rates as of September 28, 2026. Token rates are not directly comparable across different providers due to varying audio tokenization methods.)

核心要点解析

Key Takeaways

• 任务成功率显著提高： 在 τ-Voice 适配评测中，任务成功率相比 3.0 版本从 78.4% 攀升至 82.0%。
• 抗噪能力与鲁棒性增强： 在 Full-Duplex-Bench v1.5 基准测试中，对背景嘈杂人声的错误回复率从 73.0% 骤降至 13.0%。
• 极致的成本效益： 提供高达 262K 的超长上下文窗口，同时集成了函数调用与网络搜索能力，且音频输入费用低至每 100 万 Token 仅需 6.40 美元。
• 进阶工具编排能力： 在自进化的可执行环境内，依托 GRPO 强化学习对工具的协同调度与编排进行了深度优化。
• 安全防御水平升级： 在多轮对抗攻击测试中，越狱攻击成功率在中文评测中降至 26.0%，在英文评测中降至 23.5%。

• Improved Task Success: Task success on a τ-Voice adaptation rises from 78.4% to 82.0% compared to version 3.0.
• Noise Resilience: Replies to background speech drop sharply from 73.0% to 13.0% on Full-Duplex-Bench v1.5.
• Cost-Efficiency: Offers a 262K context window alongside function calling and web search capabilities at $6.40 per 1M audio input tokens.
• Advanced Tool Use: Tool orchestration is optimized using GRPO within self-evolving executable environments.
• Security: Multi-turn attack success rates drop to 26.0% for Chinese and 23.5% for English evaluations.

常见问题解答 (FAQ)

Frequently Asked Questions (FAQ)

• 什么是 Qwen-Audio-3.1-Realtime？
  它是由 Alibaba 旗下 Qwen 团队打造的一款全双工语音模型，专门面向能够进行复杂推理、工具调用以及动态话轮转换管理的语音智能体而设计。
• 我可以进行私有化本地部署吗？
  官方目前暂未公布开源权重的计划。该模型仅能通过 QwenCloud API 访问，模型调用标识为 qwen-audio-3.1-realtime-plus。
• 它的使用资费是多少？
  音频输入定价为每 100 万 Token 6.40 美元，文本与音频合并输出定价为每 100 万 Token 24.00 美元 (输出文本免费)。

• What is Qwen-Audio-3.1-Realtime?
  It is a full-duplex speech model developed by Alibaba’s Qwen team designed specifically for voice agents capable of advanced reasoning, tool-calling, and dynamic turn-taking management.
• Can I self-host it?
  No open-weight release has been announced. Access is available exclusively through the QwenCloud API under the identifier qwen-audio-3.1-realtime-plus.
• How much does it cost?
  Pricing is set at $6.40 per 1M audio input tokens and $24.00 per 1M output tokens for combined text and audio.

资源与相关链接

Resources & Links

• 阅读研究论文。
• 在 QwenCloud 上探索体验 Qwen-Audio-3.1-ASR 与 Qwen-Audio-3.1-Realtime。

• Read the research Paper.
• Explore Qwen-Audio-3.1-ASR and Qwen-Audio-3.1-Realtime on QwenCloud.