跳转至

基于查询的长文档多模态信息抽取

文章背景与核心概要

本文提出了一项全新的任务：基于查询的长文档图文联合抽取。与传统的文档问答（DocVQA）范式不同，该任务不仅要求模型提取文本属性值，还要求模型同时输出对应的图像边界框（Bounding Box），从而实现对长文档中复杂信息的精准定位与提取。

为了解决这一挑战，作者构建了包含2,455页领域文档、316个查询及910个答案实例的高质量基准数据集 ITJoint，并提出了 Q2IT 多智能体协作框架。该框架通过证据收集、页面筛选和目标图像定位三个渐进式智能体，有效解决了长文档处理中的意图理解与内容定位难题。实验表明，该方法显著优于现有的视觉语言模型（VLM），为长文档多模态信息处理提供了新的技术路径。

查询驱动的长文档多模态信息抽取

摘要

本文介绍了一项新颖的任务：基于查询的长文档图文联合抽取。与仅关注文本答案或区域定位的传统范式（如 DocVQA）不同，该方法要求模型联合输出查询所请求的文本属性值及其对应的图像边界框。

This paper introduces a novel task: query-driven image-text joint extraction from long documents. Unlike traditional paradigms like DocVQA that focus merely on textual answers or regional localization, this approach requires models to jointly output query-requested textual attribute values alongside their corresponding image bounding boxes.

为了应对这一挑战，作者提出了： - 一种两级分类法（查询级和实例级），旨在解决用户意图和文档内容方面的挑战。 - ITJoint：首个高质量、人工标注的基准数据集，包含 2,455 页领域特定文档、316 个查询和 910 个答案实例。 - Q2IT：一个多智能体协作框架，由三个渐进式智能体组成，分别处理证据收集、页面选择和目标图像定位。

To tackle this challenge, the authors propose: - A two-level taxonomy (query and instance levels) addressing user intent and document content challenges. - ITJoint: The first high-quality, manually annotated benchmark containing 2,455 pages of domain-specific documents, 316 queries, and 910 answer instances. - Q2IT: A multi-agent collaborative framework composed of three progressive agents handling evidence collection, page selection, and target-image localization.

实验表明，虽然独立的视觉语言模型（VLM）在处理此类多模态任务时表现吃力，但 Q2IT 框架在 ITJoint 基准测试中显著提升了性能。

Experiments demonstrate that while standalone Vision-Language Models (VLMs) struggle with this multimodal task, the Q2IT framework significantly improves performance on the ITJoint benchmark.

元数据与文档信息

获取与资源