跳转至

大语言模型何时真正有效？评估 LLM 作为数据质量标注工具的效能

文章背景与核心概要

随着大语言模型（LLM）在自动化数据质量检测中的应用日益广泛，其判断的一致性与实际效能成为了研究焦点。本文通过在电子商务领域的两个核心任务——实体匹配与品牌错误标注检测——对 LLM 进行了深入评估，并将其与基于规则的基准模型及人工验证的真实数据进行了对比。

研究发现，LLM 的价值高度依赖于具体任务的需求。在存在强词法信号的实体匹配任务中，LLM 相比简单的规则方法并无明显优势，且针对小样本优化的提示词（Prompt）反而可能导致全量性能下降。相反，在涉及品牌与产品关系等需要外部背景知识的品牌错误标注任务中，LLM 表现出显著优势。此外，研究还证实了 LLM 在重复推理中具有极高的一致性，但通过多数投票（Majority Voting）提升性能的边际收益极低，且会大幅增加推理成本。

执行摘要

本研究调查了在大规模语言模型（LLM）被自动用于捕捉数据质量问题时的实际效用和一致性。通过在两个不同的电子商务任务（实体匹配和品牌错误标注）中，针对基于规则的基准模型和人工验证的真实数据进行评估，研究揭示了 LLM 的价值在很大程度上取决于具体的任务需求：

This study investigates the practical utility and consistency of Large Language Models (LLMs) when used automatically to catch data quality issues. Evaluated across two distinct e-commerce tasks—entity matching and brand mislabeling—against rule-based baselines and human-verified ground truths, the research reveals that the value of LLMs depends heavily on the specific task requirements:

  1. 实体匹配： 当已经存在强词法信号时，LLM 相比简单的基于规则的方法几乎没有优势（零样本 LLM 的 \(F_1 = 0.948\) 对比基于规则基准的 \(F_1 = 0.950\)）。此外，在小规模验证样本上优化提示词可能会产生误导，并降低全量性能（\(F_1\) 降至 \(0.914\)）。

    1. Entity Matching: LLMs offer little advantage over simple rule-based methods (\(F_1 = 0.948\) for zero-shot LLM vs. \(F_1 = 0.950\) for a rule-based baseline) when strong lexical signals are already present. Furthermore, optimizing prompts on a small validation sample can be misleading and degrade full-scale performance (\(F_1\) dropped to \(0.914\)).

  2. 品牌错误标注检测： LLM 通过利用简单的规则无法捕获的关于品牌-产品关系的外部背景知识，明显优于朴素的基于规则的基准（\(F_1 = 0.833\) 对比 \(0.721\)）。

    1. Brand Mislabeling Detection: LLMs clearly outperform naive rule-based baselines (\(F_1 = 0.833\) vs. \(0.721\)) by leveraging external background knowledge regarding brand-product relationships that simple rules cannot capture.

  3. 一致性： LLM 在重复运行中表现出极高的一致性（在温度 0.7 时平均一致性为 99.7%），尽管多数投票带来的性能提升微乎其微，却显著增加了推理成本。

    1. Consistency: LLMs demonstrated exceptionally high internal consistency across repeated runs (99.7% average agreement at temperature 0.7), though majority voting yielded minimal performance gains while significantly multiplying inference costs.

摘要

LLM 越来越多地被用于自动捕捉数据质量问题，但我们对这些判断的一致性知之甚少。本研究在零样本和少样本提示下，针对基于规则的基准和人工验证的真实数据，测试了 LLM 在两个电子商务数据质量任务（实体匹配和品牌错误标注）中的表现。

LLMs have been increasingly used to catch data quality issues automatically, but we know very little about how consistent these judgments actually are. This study tests an LLM on two e-commerce data quality tasks, entity matching and brand mislabeling, against rule based baselines and human verified ground truth, under both zero-shot and few-shot prompting.

在实体匹配方面，使用 Abt Buy 基准（2,194 个标记对）时，简单的基于规则的基准（\(F_1=0.950\)）的表现与 LLM 零样本提示（\(F_1=0.948\)）相当。此外，在小验证样本上看起来有效的少样本提示修订，将全量性能降低到了 \(F_1=0.914\)。这表明小样本提示评估可能会产生误导。

On entity matching while using the Abt Buy benchmark (2,194 labeled pairs), a simple rule based baseline (\(F_1=0.950\)) performed about as well as LLM zero shot prompting (\(F_1=0.948\)). Moreover, a few-shot prompt revision that looked effective on a small validation sample reduced full-scale performance to \(F_1=0.914\). This showed that small sample prompt evaluation can be misleading.

在品牌错误标注检测方面，使用 500 个注入了合成标注错误的亚马逊产品列表，LLM 明显优于朴素的基于规则的基准（\(F_1=0.833\) 对比 \(0.721\)），因为它能够利用简单规则无法获取的品牌-产品关系背景知识。

On brand mislabeling detection, using 500 Amazon product listings with synthetically injected labeling errors, the LLM clearly outperformed a naive rule based baseline (\(F_1=0.833\) vs. \(0.721\)), because it could draw on background knowledge of brand product relationships that a simple rule could not access.

测试重复运行的一致性（200 对数据，温度 0.7 下运行 5 次）显示，模型平均有 99.7% 的时间与自身达成一致，99% 的数据对在所有 5 次运行中给出了相同的答案。在这些运行中使用多数投票仅将 \(F_1\) 提高了 0.005，但推理成本却增加了 5 倍。

Testing consistency across repeated runs (200 pairs, 5 runs at temperature 0.7) showed the model agreeing with itself 99.7% of the time on average, with 99% of pairs giving identical answers across all 5 runs. Using majority voting across these runs only improved \(F_1\) by \(0.005\), at 5 times the inference cost.

这些结果表明，使用 LLM 替代传统方法的价值在很大程度上取决于任务。当存在强词法信号时，LLM 几乎没有优势；但当任务需要背景知识时，LLM 具有明显的优势，同时在重复查询中保持高度一致。

These results suggest that the value of using an LLM over traditional methods depends heavily on the task. LLMs offer little advantage when strong lexical signals already exist, but a clear advantage when the task requires background knowledge, all while remaining highly consistent across repeated queries.

其他元数据