跳转至

外表可能具有欺骗性：众包航空灾害评估中跨影像来源的标注者与审核者表现

文章背景与核心概要

本文针对众包灾后损害评估中的多源遥感影像（无人机、载人航空和卫星），首次进行了关于标注者与审核者表现变化的实证研究。通过对9场灾害中的187名标注者以及超过74,000个建筑标签进行评估，研究表明，随着图像分辨率的降低，人为错误和标签分歧会显著增加。

核心发现对标准的统一众包方法提出了挑战：1. 高修订率：随着分辨率下降，初始标注被最终委员会修订的比例不断上升——载人航空影像达到 25.27%，卫星影像更是高达 36.95%。2. 残留分歧：单次中间审核通过减少了但并未消灭分歧。在此次审核之后，委员会仍然修订了 6.85% 的无人机标签、14.05% 的载人航空标签以及 20.86% 的卫星标签。这些发现表明，统一的审核分配方式会在较低分辨率的影像中留下最高程度的残留分歧，促使作者建议在多源数据集策划中采用自适应任务分配和预算感知的质量控制。

Executive Summary

This paper presents the first empirical investigation into how annotator and reviewer performance varies across multi-source remotely sensed imagery (drones, crewed aviation, and satellites) in crowd-sourced post-disaster damage assessments. Evaluating 187 annotators across 9 disasters and over 74,000 total building labels, the study reveals that human error and label disagreement rise significantly as image resolution decreases.

本文针对众包灾后损害评估中的多源遥感影像（无人机、载人航空和卫星），首次进行了关于标注者与审核者表现变化的实证研究。通过对9场灾害中的187名标注者以及超过74,000个建筑标签进行评估，研究表明，随着图像分辨率的降低，人为错误和标签分歧会显著增加。

Key findings challenge standard uniform crowd-sourcing methodologies: 1. Steep Revision Rates: Initial annotations were increasingly revised by a final committee as resolution dropped—reaching 25.27% for crewed aviation and 36.95% for satellite imagery. 2. Residual Disagreement: A single intermediate review pass reduced, but did not eliminate, disagreements. Following this review, the committee still revised 6.85% of drone labels, 14.05% of crewed aviation labels, and 20.86% of satellite labels.

核心发现对标准的统一众包方法提出了挑战： 1. 高修订率：随着分辨率下降，初始标注被最终委员会修订的比例不断上升——载人航空影像达到 25.27%，卫星影像更是高达 36.95%。 2. 残留分歧：单次中间审核通过减少了但并未消灭分歧。在此次审核之后，委员会仍然修订了 6.85% 的无人机标签、14.05% 的载人航空标签以及 20.86% 的卫星标签。

These findings demonstrate that uniform review allocation leaves the highest residual disagreement in lower-resolution imagery, prompting the authors to recommend adaptive task assignment and budget-aware quality control for multi-source dataset curation.

这些发现表明，统一的审核分配方式会在较低分辨率的影像中留下最高程度的残留分歧，促使作者建议在多源数据集策划中采用自适应任务分配和预算感知的质量控制。

Metadata & Reference Information