跳转至

学习状态感知的面向小规模数据集动态生成式数据增强

文章背景与核心概要

在小规模图像分类任务中，模型往往因训练数据有限而表现受限。利用预训练模型进行生成式数据 augmentation（GDA）是一个极具前景的解决方案，但传统技术通常采用与任务无关的策略，忽略了下游模型的反馈。尽管更新的动态 GDA 方法引入了反馈机制，但它们在确定特定样本的增强强度、跨不同图像区域自适应调整策略，以及在平衡图像多样性与类别语义方面仍然面临挑战。

为了克服这些局限性，本文提出了学习状态感知动态生成式数据增强（LSADA）。LSADA 通过当前损失和损失下降速率动态评估每个样本的学习状态，从而分配有针对性的增强强度。此外，它引入了一种解耦的数据增强与扩散融合策略，对类别相关区域应用受控变换，同时生成多样化的类别无关区域，并逐步将它们融合，以在不丢失核心语义的前提下增强图像多样性。在九个公开数据集上进行的实验表明，LSADA 的性能显著优于当前最先进的动态 GDA 方法。

论文元数据

  • arXiv ID: arXiv:2608.18907 [cs.CV]
  • 研究领域: 计算机视觉与模式识别 (cs.CV); 人工智能 (cs.AI)
  • 提交日期: 2026年8月19日
  • 作者:
  • Ting Xiang
  • Chenxi Deng
  • Jinhui Zhao
  • Bingting Jiang
  • Ke Zhang
  • Changjian Chen
  • Zhuo Tang

摘要

小规模图像分类常常受限于训练数据的稀缺。基于预训练生成模型的生成式数据增强（GDA）已成为一种有效的解决方案。然而，现有方法依赖于任务无关的增强策略，忽视了下游模型的需求。尽管近期的动态 GDA 方法引入了模型反馈来指导增强，但在可靠确定样本特定增强强度、使增强策略适应不同图像区域、以及平衡图像多样性和类别语义方面，它们仍然举步维艰。

为了解决这些问题，我们提出了学习状态感知动态生成式数据增强（LSADA）。具体而言，LSADA 根据每个样本的当前损失及其损失下降速率构建学习状态，并将其映射到样本特定的增强强度。此外，LSADA 引入了一种解耦的数据增强和扩散融合策略，对类别相关区域应用强度受控的变换，并生成多样化的类别无关区域，随后逐步将其融合，从而在保持类别语义的同时提高图像多样性。在九个公开数据集上的实验表明，LSADA 在六个自然图像数据集上比现有的 SOTA 动态 GDA 方法平均高出 4.5%，在三个医学图像数据集上平均高出 2.5%。

Small-scale image classification is often limited by the scarcity of training data. Generative data augmentation (GDA) based on pretrained generative models has emerged as an effective solution. However, existing methods rely on task-agnostic augmentation strategies that overlook downstream model needs. Although recent dynamic GDA methods incorporate model feedback to guide augmentation, they still struggle to reliably determine sample-specific augmentation strengths and adapt augmentation strategies to different image regions while balancing image diversity and class semantics.

To address these issues, we propose learning-state-aware dynamic generative data augmentation (LSADA). Specifically, LSADA constructs a learning state for each sample based on its current loss and loss-decrease rate, which is then mapped to a sample-specific augmentation strength. Furthermore, LSADA introduces a decoupled data augmentation and diffusion fusion strategy that applies strength-controlled transformations to class-relevant regions and generates diverse class-irrelevant regions, progressively fusing them to improve image diversity while preserving class semantics. Experiments on nine public datasets show that LSADA outperforms the existing SOTA dynamic GDA method by an average of 4.5% on six natural image datasets and 2.5% on three medical image datasets.

访问与资源

Access & Resources