跳转至

QTEA：基于稀疏残差显著权重与按列优化的三值大语言模型

文章背景与核心概要

随着大语言模型（LLMs）规模的不断扩大，如何在保证精度的同时降低部署成本成为了行业痛点。仅权重后训练量化（PTQ）能够有效减少计算开销，但在2位以下的超低比特量化下，模型往往面临严重的精度损失且泛化能力较差。尽管非结构化稀疏性可以缓解精度下降，但它会破坏硬件的规则性，从而降低GPU的执行效率。

为了解决这一难题，本文介绍了 QTEA 框架。该框架将权重三值化，并利用显著权重作为残差误差补偿器，在实现极低比特压缩的同时兼顾了硬件友好性。QTEA 的核心创新包括：引入限制在特定显著列上的半结构化 \(1:4\) 稀疏性以保证硬件执行效率；结合 GPTQ 风格的逐列量化与按列重缩放优化；以及引入误差衰减机制来抑制误差累积。

实验结果表明，QTEA 在多个主流模型（如 Qwen3-14B 和 Llama3-8B）上展现出了卓越的性能。它不仅大幅提升了模型的准确率并降低了困惑度（Perplexity），还通过基于查找表的定制内核实现了显著的推理加速，为高效的大模型边缘端和云端部署提供了强有力的技术支撑。

摘要概要

仅权重后训练量化（PTQ）显著降低了大语言模型（LLMs）在大规模部署时的计算开销。然而，2位以下的量化往往会导致严重的精度损失，并且难以泛化。虽然非结构化稀疏性能减轻精度退化，但它损害了硬件规则性和GPU的执行效率。

Weight-only post-training quantization (PTQ) significantly reduces the computational overhead of deploying large language models (LLMs) at scale. However, sub-2-bit quantization often results in severe accuracy loss and struggles to generalize. While unstructured sparsity can mitigate accuracy degradation, it harms hardware regularity and GPU execution efficiency.

为了克服这些挑战，QTEA 引入了一种子2位 PTQ 框架，该框架将权重三值化（ternary values），同时利用显著权重作为残差误差补偿器。核心创新与成果包括： * 硬件友好的稀疏性： 应用受限于所选显著列的半结构化 \(1:4\) 稀疏性，以保持高执行效率。 * 按列优化： 将 GPTQ 风格的逐列量化与按列重缩放改进相结合，交替更新每列的缩放比例和三值分配，以最小化重建误差。 * 误差衰减： 引入误差衰减机制，以解决与顺序相关的误差传播问题，并减轻 GPTQ 中的后期误差累积。 * 先进的性能： * 在 Qwen3-14B 上，将权重压缩至每个权重等效 1.7 比特，平均准确率比顶级三值 PTQ 基线提升了 16.7%，在 WikiText 和 C4 上的困惑度分别降低了 \(1.40\times\) 和 \(2.61\times\)。 * 在 Llama3-8B 上，实现了 6.6% 的准确率提升，在相同基准测试中的困惑度分别降低了 \(1.34\times\) 和 \(1.95\times\)。 * 硬件加速： 利用基于查找表的内核，与 FP16 基线相比，实现了 \(7.2\times\) 更快的单 Token 生成速度。

To overcome these challenges, QTEA introduces a sub-2-bit PTQ framework that quantizes weights into ternary values while utilizing salient weights as residual error compensators. Key innovations and results include: * Hardware-Friendly Sparsity: Applies semi-structured \(1:4\) sparsity restricted to selected salient columns to maintain high execution efficiency. * By-Column Optimization: Combines GPTQ-style column-by-column quantization with column-wise rescale refinement, alternately updating per-column scales and ternary assignments to minimize reconstruction error. * Error Decay: Introduces an error decay mechanism to address order-dependent error propagation and mitigate late-stage error accumulation in GPTQ. * State-of-the-Art Performance: * On Qwen3-14B, compresses weights to an effective 1.7 bits per weight, improving average accuracy by 16.7% over top ternary PTQ baselines and reducing perplexity on WikiText and C4 by \(1.40\times\) and \(2.61\times\), respectively. * On Llama3-8B, achieves a 6.6% accuracy gain with \(1.34\times\) and \(1.95\times\) lower perplexity on the same benchmarks. * Hardware Acceleration: Leverages a lookup-table-based kernel to deliver \(7.2\times\) faster per-token generation compared to an FP16 baseline.

论文元数据与链接

元数据字段 详情
arXiv ID arXiv:2609.00224 [cs.LG]
作者 Yipin Guo, Arun M George, Jie Fu, Tareq Mahmoud, Sixue Xing, Siddharth Joshi
主要学科 机器学习 (cs.LG), 人工智能 (cs.AI)
会议 已被 EMNLP 2026 主会接收
提交日期 2026年8月31日
源代码 GitHub 仓库
Metadata Field Details
arXiv ID arXiv:2609.00224 [cs.LG]
Authors Yipin Guo, Arun M George, Jie Fu, Tareq Mahmoud, Sixue Xing, Siddharth Joshi
Primary Subject Machine Learning (cs.LG), Artificial Intelligence (cs.AI)
Conference Accepted by EMNLP 2026 Main Conference
Submission Date August 31, 2026
Source Code GitHub Repository

获取全文与资源