跳转至

任务特定大语言模型蒸馏的缩放定律

文章背景与核心概要

大语言模型（LLM）在各个领域的应用中表现优异，但在延迟和成本限制严格的生产环境中，其庞大的规模带来了巨大的部署挑战。本文推导了特定领域大语言模型压缩的经验缩放定律，量化了领域内与通用知识性能随数据集规模、压缩比、监督格式及迭代剪枝调度变化的规律。

以定量金融为主要应用案例，作者评估并对比了基于 Logit 的蒸馏与基于 LoRA 的蒸馏效果，并引入了一种混合思维链（Chain-of-Thought）监督损失，用以稳定基于推理轨迹的 KL 散度蒸馏。研究发现，在压缩过程中，领域内的任务质量会呈现可预测的下降，而通用知识基准则会在此之前大幅崩溃。监督格式是缓解这一权衡的关键驱动因素，特别是思维链监督能够有效恢复结构性剪枝通常会抹去的通用知识。该研究发布了核心数据集 FinHeadlineMix、缩放定律结果以及实用的压缩建议，为特定领域的模型压缩决策提供了可复用的框架。

摘要 (Abstract)

Large Language Models (LLMs) achieve strong performance across a growing range of domains, yet their scale poses deployment challenges in applications where latency and cost constraints are critical. This paper derives empirical scaling laws for domain-specific LLM compression, quantifying how in-domain and general knowledge performance scale with dataset size, compression ratio, supervision format, and iterative pruning schedule.

大语言模型（LLM）在不断扩展的领域中展现出强大的性能，然而其庞大的规模在延迟和成本约束至关重要的应用场景中带来了部署挑战。本文推导了领域特定 LLM 压缩的经验缩放定律，量化了领域内性能和通用知识性能如何随数据集规模、压缩比、监督格式以及迭代剪枝调度而变化。

Using quantitative finance as our application domain, we compare logit-based and LoRA-based distillation under iterative structural pruning, introducing a blended chain-of-thought supervision loss that stabilizes KL-divergence distillation over reasoning traces. In-domain task quality degrades predictably under compression while general-knowledge benchmarks collapse well before the same point; supervision format is the key driver of this tradeoff, with chain-of-thought supervision actively recovering general knowledge that pruning erases. We release the headline dataset FinHeadlineMix, scaling law results, and practical recommendations to provide a reusable framework for domain-specific compression decisions.

以定量金融作为应用领域，我们在迭代结构化剪枝下对比了基于 Logit 的蒸馏和基于 LoRA 的蒸馏，并引入了一种混合思维链监督损失，该损失能够稳定基于推理轨迹的 KL 散度蒸馏。在压缩过程中，领域内任务质量呈可预测规律下降，而通用知识基准则在此之前提前崩溃；监督格式是缓解这一权衡的关键驱动因素，其中思维链监督能够主动恢复被剪枝擦除的通用知识。我们开源了标题数据集 FinHeadlineMix、缩放定律结果以及实用建议，为领域特定的压缩决策提供可复用的框架。

文档元数据 (Document Metadata)

  • arXiv ID: arXiv:2606.24747 [cs.AI]
  • Primary Subject: Artificial Intelligence (cs.AI)
  • Secondary Subjects: Computational Engineering, Finance, and Science (cs.CE)
  • Authors: Lavinia Ghita, Dhruv Desai, Ioana Boier
  • Submitted: June 23, 2026 (Last revised: August 23, 2026, Version v2)
  • Length: 24 pages, 13 figures
  • License: Creative Commons Attribution 4.0 license icon

获取与资源 (Access & Resources)