跳转至

文章背景与核心概要

在金融、医疗等受监管行业中，文档分类任务常常受到严格的数据本地化法律、冷启动标签有限、人工审核产能稀缺以及模型治理成本高昂等多重限制。为了应对这些挑战，本文作者提出了 HIRA——一个无需训练、部署于本地的检索增强级联系统。

HIRA 巧妙地结合了 BM25（针对 OCR 文本）、稠密文本嵌入以及图像级表征，并采用了经验证校准的加权倒数排序融合技术。系统包含直接检索分类、大模型（LLM）验证以及人机协同审核三个核心层级：对于高置信度文档直接分类；对于不确定或视觉易混淆文档则交由本地托管的 LLM 验证器处理；若仍无法确定，则路由至人工审核。每次人工修正都会被保存为边际加权检索范例，并动态更新狄利克雷平滑混淆图，从而使系统在无需更新模型权重的情况下实现持续改进。

HIRA：面向受监管行业文档分类的人机协同检索增强级联系统 (HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries)

License: CC BY 4.0

  • 作者 (Authors): Shangxuan Tian, Yanhui Chen, Carlos Queiroz
  • 提交日期 (Submitted on): 2026年8月22日 (CIKM 2026)
  • 主要主题 (Primary Subject): 人工智能 (cs.AI)
  • 其他主题 (Other Subjects): 计算机视觉与模式识别 (cs.CV)、信息检索 (cs.IR)、机器学习 (cs.LG)
  • 标识符 (Identifiers): arXiv:2608.21792 [cs.AI] | DOI: 10.48550/arXiv.2608.21792

摘要 (Summary)

受监管行业的文档分类通常受到严格的数据驻留法律、有限的冷启动标签、稀缺的审核能力以及高昂的模型治理程序的制约。为了应对这些挑战，作者提出了 HIRA——一个无需训练、部署于本地的检索增强级联系统。

Document classification in regulated industries is often constrained by strict data residency laws, limited cold-start labels, scarce review capacity, and costly model-governance procedures. To address these challenges, the authors present HIRA—a training-free, on-premises retrieval-augmented cascade system.

HIRA 结合了 BM25（处理 OCR 文本）、稠密文本嵌入以及图像级表征，通过经验证校准的加权倒数排名融合（weighted reciprocal-rank fusion）技术实现： * 直接检索分类 (Direct Retrieval Classification): 置信度高的文档直接通过检索进行分类。 * LLM 验证 (LLM Verification): 不确定或视觉上容易混淆的文档会被转发至本地托管的大语言模型（LLM）验证器。验证器处理 OCR 文本、检索到的范例、标签描述以及混淆特定术语。 * 人机协同审核 (Human-in-the-Loop Review): 如果验证器仍不确定，文档将被路由至人工审核。每次修正都被保存为边际加权检索范例，并动态更新狄利克雷平滑混淆图（Dirichlet-smoothed confusion graph），从而使系统能够在不更新模型权重的情况下实现持续优化。

HIRA combines BM25 (over OCR text), dense text embeddings, and image-level representations using validation-calibrated weighted reciprocal-rank fusion: * Direct Retrieval Classification: Confident documents are classified directly through retrieval. * LLM Verification: Uncertain or visually confusable documents are forwarded to a locally hosted Large Language Model (LLM) verifier. The verifier processes OCR text, retrieved exemplars, label descriptions, and confusion-specific terms. * Human-in-the-Loop Review: If the verifier remains uncertain, the document is routed to human review. Each correction is saved as a margin-weighted retrieval exemplar and dynamically updates a Dirichlet-smoothed confusion graph, allowing the system to improve continuously without updating model weights.

关键性能结果 (Key Performance Results)

  • 私有贸易金融语料库（80个类别）(Private Trade-Finance Corpus (80 classes)):
  • 处理了整个包含 30,233 篇文档的生产数据流。
  • 仅需对 1,945 篇文档进行人工修正（占 6.4%）。
  • 宏平均 F1 值（Macro-F1）从 0.6218 显著提升至 0.8548。
  • 修正后的 Tobacco-3482 基准测试 (Corrected Tobacco-3482 Benchmark):
  • 使用本地托管的 DeepSeek-R1-Distill-Qwen-32B 验证器取得了 0.9423 的 Macro-F1 分数（比零样本 LLM 基线高出 17.4 个百分点）。
  • 仅对约 40% 的文档调用了 LLM 验证器，将总体 LLM 调用次数减少了约 60%。
  • 仅使用 518 次人工修正（占全量池的 24.8%）就匹配了全标签池预言机（oracle）的性能，其中全量池中所有 2,086 篇文档均带有真实标签。
  • Private Trade-Finance Corpus (80 classes):
  • Processed the entire 30,233-document production stream.
  • Required human corrections for only 1,945 documents (6.4%).
  • Improved Macro-F1 significantly from 0.6218 to 0.8548.
  • Corrected Tobacco-3482 Benchmark:
  • Achieved a Macro-F1 score of 0.9423 using a locally hosted DeepSeek-R1-Distill-Qwen-32B verifier (outperforming the zero-shot LLM baseline by 17.4 percentage points).
  • Invoked the LLM verifier for only about 40% of the documents, reducing overall LLM calls by approximately 60%.
  • Matched the fully labelled pool oracle using only 518 human corrections (24.8% of the pool), where all 2,086 pool documents were indexed with ground-truth labels.

结论 (Conclusion)

研究结果表明，对于受监管行业中的长尾文档分类任务，选择性人类反馈与检索记忆自适应的结合，为重复进行模型再训练提供了一种高度实用且合规的替代方案。

The findings demonstrate that selective human feedback combined with retrieval-memory adaptation offers a highly practical, compliant alternative to repeated model retraining for long-tail document classification tasks within regulated industries.