用于医疗数据协调的双重混合语义数据湖架构：结合人机协同验证与大模型驱动的元数据标注系统

文章背景与核心概要

医疗数据具有天然的多源异构性，涵盖了图像、文本、时间序列等多种模态，以及不同医疗机构异构的表格架构和完全非结构化的医疗文本。传统的“写入时无架构”数据湖虽然整合了各类资产，但也极易演变成无法有效管理的“数据沼泽”。本文介绍了名为 H2 的新型语义数据湖架构，旨在实现数据协调的同时保持数据完整性与灵活性。

该架构巧妙结合了知识图谱、用于元数据标注的生成式大语言模型（LLM）以及人机协同验证机制，从而架起了从非结构化医疗数据仓库到可操作机器学习流水线之间的桥梁。它能够系统性地推进数据协调，为未标注的元数据集合自动生成标注，并根据潜在的数据特征建立更高层次的知识图谱，以自动识别数据对特定机器学习操作的适用性。

执行摘要 (Executive Summary)

Medical data is inherently heterogeneous, encompassing varied modalities (images, text, time series), diverse tabular schemata from different institutions, and completely unstructured text provided by healthcare professionals. While traditional data lakes consolidate these assets without enforcing an upfront schema, they often degrade into unmanageable "data swamps."

医疗数据具有天生的异构性，包含多种模态（图像、文本、时间序列）、不同机构提供的多样化表格架构，以及医疗专业人员编写的完全非结构化的文本。虽然传统的数据湖在整合这些资产时不需要强制施加前期架构，但它们往往会退化为难以管理的“数据沼泽”。

This paper introduces H2, a novel semantic data lake architecture designed to achieve data harmonization while preserving data integrity and flexibility. By combining knowledge graphs, generative Large Language Models (LLMs) for metadata annotation, and human-in-the-loop verification, H2 bridges the gap between unstructured medical repositories and actionable machine learning operations.

本文介绍了 H2——一种新型的语义数据湖架构，旨在实现数据协调的同时，保持数据的完整性和灵活性。通过将知识图谱、用于元数据标注的生成式大语言模型（LLM）以及人机协同验证相结合，H2 弥合了非结构化医疗数据存储库与可执行机器学习操作之间的鸿沟。

文章元数据 (Article Metadata)

摘要 (Abstract)

Medical data, by its nature, exhibits a high degree of heterogeneity on multiple levels ranging from: 1. Different modalities, such as images, text, and time series. 2. Diverse tabular schemata introduced by various institutions. 3. Completely unstructured textual information provided by healthcare professionals.

医疗数据就其本质而言，在多个层面上表现出高度的异构性，具体包括： 1. 不同的模态，如图像、文本和时间序列。 2. 不同机构引入的多样化表格架构。 3. 医疗专业人员提供的完全非结构化文本信息。

Data lakes are often utilized in medical data storage to consolidate all heterogeneous data in a single, central location where it can be saved "as is," eliminating the need to impose a strict schema on write (as data warehouses do). Despite this flexibility, data lakes are notorious for the "data swamp" failure mode. Providing a reliable data harmonization mechanism through metadata—without compromising integrity or flexibility—remains a major challenge.

数据湖通常被用于医疗数据存储，以将所有异构数据整合到一个单一的中心位置中，并以“原样”保存，从而免除了在写入时强加严格架构的需求（正如数据仓库所做的那样）。尽管具有这种灵活性，但数据湖因“数据沼泽”的失效模式而臭名昭著。如何在不损害完整性或灵活性的前提下，通过元数据提供可靠的数据协调机制，仍然是一个巨大的挑战。

To address this, knowledge graphs have gained prominence because they provide a dynamic way to depict relationships without a rigid schema-on-write approach. Furthermore, ensuring data interoperability for machine learning is difficult; domain experts must manually evaluate whether a specific method suits a given data type or dataset. Although metadata annotation can tag applicable operations, doing so manually is burdensome, and a plethora of existing datasets lack such information.

为了解决这个问题，知识图谱日益崭露头角，因为它们提供了一种动态描述关系的方法，而无需采用刚性的写入时架构方式。此外，确保机器学习的数据互操作性非常困难；领域专家必须手动评估特定方法是否适合给定的数据类型或数据集。尽管元数据标注可以标记适用的操作，但手动执行此操作十分繁琐，且大量现有数据集都缺乏此类信息。

To tackle both challenges, this paper proposes a semantic data lake architecture that: * Promotes systematic data harmonization. * Incorporates a generative LLM-driven annotation process for unlabelled metadata collections to support the execution of meaningful ML techniques. * Builds a higher level of knowledge to automatically identify data suitability concerning applicable ML operations based on the underlying data characteristics.

为了应对这两大挑战，本文提出了一种语义数据湖架构，该架构能够： * 促进系统化的数据协调。 * 针对未标记的元数据集合引入由生成式 LLM 驱动的标注流程，以支持执行有意义的机器学习技术。 * 构建更高层次的知识图谱，根据底层数据特征，自动识别数据对适用机器学习操作的适用性。