跳转至

文章背景与核心概要

训练后模型压缩对于提升大语言模型（LLMs）的便携性同时保持其性能至关重要。然而，选择最优的校准数据来确定压缩模型配置是一个关键但常被忽视的步骤。

本文介绍了 ZipCal，这是一种新颖的模型无关数据筛选策略，旨在基于齐夫定律（Zipfian power laws）最大化词汇多样性。与依赖模型特定信号（如困惑度，在大规模场景下计算成本极高）不同，ZipCal 通过分析数据的内在属性进行筛选。

该方法的主要发现和特点包括： * 卓越性能： 在各种剪枝基准测试中优于标准的均匀随机采样。 * 质量匹配： 在下游任务性能上达到了与依赖模型困惑度的最先进方法相当的水平。 * 高效性： 由于其易于处理的线性复杂度，平均比基于困惑度的方法快约 \(240\times\)。

频率至关重要：用于剪枝与量化的快速模型无关数据筛选方法

Frequency Matters: Fast Model-Agnostic Data Curation for Pruning and Quantization

摘要

训练后模型压缩对于提升大语言模型（LLMs）的便携性同时保持其性能至关重要。然而，选择最优的校准数据来确定压缩模型配置是一个关键但常被忽视的步骤。

Summary

Post-training model compression is essential for enhancing the portability of Large Language Models (LLMs) while preserving their performance. However, selecting the optimal calibration data to find the compressed model configuration is a critical yet often overlooked step.

本文介绍了 ZipCal，这是一种新颖的模型无关数据筛选策略，旨在基于齐夫定律（Zipfian power laws）最大化词汇多样性。与依赖模型特定信号（如困惑度，在大规模场景下计算成本极高）不同，ZipCal 通过分析数据的内在属性进行筛选。

This paper introduces ZipCal, a novel model-agnostic data curation strategy designed to maximize lexical diversity based on Zipfian power laws. Instead of relying on model-specific signals (such as perplexity, which becomes prohibitively expensive at scale), ZipCal analyzes intrinsic data properties.

该方法的主要发现和特点包括： * 卓越性能： 在各种剪枝基准测试中优于标准的均匀随机采样。 * 质量匹配： 在下游任务性能上达到了与依赖模型困惑度的最先进方法相当的水平。 * 高效性： 由于其易于处理的线性复杂度，平均比基于困惑度的方法快约 \(240\times\)。

Key findings and features of the proposed method include: * Superior Performance: Outperforms standard uniform random sampling across various pruning benchmarks. * Matched Quality: Achieves downstream performance on par with state-of-the-art methods that rely on model perplexity. * High Efficiency: Approximately \(240\times\) faster on average than perplexity-based methods due to its tractable linear complexity.

论文元数据

Paper Metadata

  • arXiv ID: arXiv:2603.16105 [cs.CL]
  • 主要学科: 计算与语言 (cs.CL)
  • 次要学科: 人工智能 (cs.AI)
  • ACM 分类: I.2.7
  • 发表状态: 被 EMNLP 2026 主会场录用
  • 作者:
  • Francesco Pio Monaco
  • Elia Cunegatti
  • Flavio Vella
  • Giovanni Iacca
  • 提交日期: 2026年3月17日 (v1); 最后修订: 2026年8月27日 (v4)
  • 资源: GitHub 仓库 | 查看 PDF
  • arXiv ID: arXiv:2603.16105 [cs.CL]
  • Primary Subject: Computation and Language (cs.CL)
  • Secondary Subjects: Artificial Intelligence (cs.AI)
  • ACM Classification: I.2.7
  • Publication Status: Accepted as a Main Conference Paper at EMNLP 2026
  • Authors:
  • Francesco Pio Monaco
  • Elia Cunegatti
  • Flavio Vella
  • Giovanni Iacca
  • Submitted: March 17, 2026 (v1); Last revised: August 27, 2026 (v4)
  • Resources: GitHub Repository | View PDF