跳转至

无干净参考集的智能体数据清洗：能力与权衡的实验研究

文章背景与核心概要

在没有可信的干净参考数据集的情况下进行数据清洗，是数据工程中一个基础性的挑战，因为异常值可能代表真实的错误，也可能是合法的意外观测。本文探讨了不同的智能体（Agent）能力如何影响无参考数据清洗。作者提出了一种以证据为基础的框架，该框架结合了结构化上下文、数据画像（profiling）、大语言模型（LLM）推理、可执行检查、受控证据检索、来源排序、引用对齐、保守修复、可逆脚本以及来源日志记录。

通过在金融、临床和环境监测数据集（共计126次完整运行）中评估七种配置，本研究揭示了关键的权衡关系： * 检测性能： 确定性数据画像基线实现了最高的检测F1分数为 \(0.561\)。在基于LLM的配置中，完整的保守配置实现了最高的F1分数为 \(0.421\)，不过没有任何单一设置能在所有指标上占优。 * 基础支撑与安全性： 来源排序的配置成功降低了无支撑规则的比率，但在决策层面的引用对齐仍然较弱。 * 运营权衡： 增加能力会在检测准确率、修复能力、证据基础、保守行为、可复现性和运营成本之间产生直接权衡，而不会带来一致的优越性能。

摘要

Cleaning data without a trusted clean reference dataset is a fundamental challenge in data engineering because unusual values can represent either genuine errors or valid, unexpected observations. This paper investigates how different agent capabilities impact reference-free data cleaning. The author proposes an evidence-grounded framework combining structured context, profiling, Large Language Model (LLM) reasoning, executable checks, controlled evidence retrieval, source ranking, citation alignment, conservative repair, reversible scripts, and provenance logging.

在没有可信的干净参考数据集的情况下进行数据清洗，是数据工程中一个基础性的挑战，因为异常值可能代表真实的错误，也可能是合法的意外观测。本文探讨了不同的智能体能力如何影响无参考数据清洗。作者提出了一种以证据为基础的框架，该框架结合了结构化上下文、数据画像、大语言模型（LLM）推理、可执行检查、受控证据检索、来源排序、引用对齐、保守修复、可逆脚本以及来源日志记录。

license icon

Evaluating seven configurations across financial, clinical, and environmental-monitoring datasets (totaling 126 completed runs), the study reveals crucial trade-offs: * Detection Performance: A deterministic profiling baseline achieved the highest detection F1-score of \(0.561\). Among LLM-based configurations, the full conservative configuration achieved the highest F1-score of \(0.421\), though no single setup dominated across all metrics. * Grounding and Safety: Source-ranked configurations successfully lowered unsupported-rule rates, but decision-level citation alignment remained weak. * Operational Trade-offs: Adding capabilities creates direct trade-offs among detection accuracy, repair capability, evidence grounding, conservative behavior, reproducibility, and operational cost, rather than yielding uniformly superior performance.

通过在金融、临床和环境监测数据集（共计126次完整运行）中评估七种配置，本研究揭示了关键的权衡关系： * 检测性能： 确定性数据画像基线实现了最高的检测F1分数为 \(0.561\)。在基于LLM的配置中，完整的保守配置实现了最高的F1分数为 \(0.421\)，不过没有任何单一设置能在所有指标上占优。 * 基础支撑与安全性： 来源排序的配置成功降低了无支撑规则的比率，但在决策层面的引用对齐仍然较弱。 * 运营权衡： 增加能力会在检测准确率、修复能力、证据基础、保守行为、可复现性和运营成本之间产生直接权衡，而不会带来一致的优越性能。

元数据与文档信息

访问与资源