文章背景与核心概要
随着生成式人工智能使得润色后的散文变得廉价且无处不在,用户再也无法将文字的流畅度作为判断真伪的指标。这就带来了“流畅度陷阱”——读者会错误地信任流畅的虚假信息,同时又会仅仅因为内容带有AI生成的标签,而不公正地贬低真正准确的内容。传统的“AI生成”标签虽然揭示了作者身份,但无法展示支撑某个主张的底层证据。
本文引入了“溯源密度”(Provenance Density),这是一种旨在显示文本中已验证主张密度的证据可视化界面。评估的核心发现包括:在81名参与者的研究中,溯源密度界面成功拉大了真实事实与虚构内容之间的鉴别差距(\(+4.15\)分,\(d=1.82\));相反,未获得任何透明度信号的参与者则表现出零可检测的鉴别力。同时,对200个样本的技术审计表明,仅靠检索密度是不够的;令人意外的是,“一致性否决”(Consistency Veto)承载了动态查询中绝大部分的鉴别信号。核心结论是:随着人工智能日益模仿人类写作,现代透明度框架必须超越简单的作者身份披露,转而关注交互式证据可视化。
超越“AI生成”:通过可视化溯源密度来缓解透明度惩罚 (Beyond "Made with AI": Visualizing Provenance Density to Mitigate the Transparency Penalty)
摘要 (Summary)
As generative AI makes polished prose inexpensive and ubiquitous, users can no longer rely on writing fluency as an indicator of truth. This creates the "Fluency Trap"—where readers mistakenly trust fluent hallucinations while unfairly discounting genuinely accurate content simply because it carries an AI-generated disclosure. While traditional "Made with AI" labels reveal authorship, they fail to demonstrate the underlying evidence supporting a claim.
This paper introduces Provenance Density, an evidence-visualization interface designed to display the density of verified claims within a text. Key findings from evaluation include: * User Study: In a study of 81 participants, the Provenance Density interface successfully widened the discernment gap between factual truth and fabrication (\(+4.15\) points, \(d=1.82\)). Conversely, participants receiving no transparency signal showed zero detectable discernment. * Technical Audit: An analysis of 200 samples revealed that retrieval density alone is insufficient for verification; surprisingly, the Consistency Veto carries the majority of the discriminative signal on dynamic queries. * Core Takeaway: As artificial intelligence increasingly mimics human writing, modern transparency frameworks must evolve past simple authorship disclosures and focus instead on interactive evidence visualization.
随着生成式AI使得润色后的散文变得廉价且普及,用户再也无法依赖写作流畅度作为真理的指标。这就造成了“流畅度陷阱”——读者会错误地信任流畅的幻觉内容,同时仅仅因为内容带有AI生成的声明,就不公正地贬低真正准确的内容。虽然传统的“AI生成”标签揭示了作者身份,但它们未能展示支持某项声明的底层证据。
随着生成式AI使得润色后的散文变得廉价且普及,用户再也无法依赖写作流畅度作为真理的指标。这就造成了“流畅度陷阱”——读者会错误地信任流畅的幻觉内容,同时仅仅因为内容带有AI生成的声明,就不公正地贬低真正准确的内容。虽然传统的“AI生成”标签揭示了作者身份,但它们未能展示支持某项声明的底层证据。
本文引入了溯源密度(Provenance Density),这是一种旨在显示文本中已验证声明密度的证据可视化界面。评估的主要发现包括: * 用户研究: 在一项涉及81名参与者的研究中,溯源密度界面成功拉大了事实真理与虚构内容之间的鉴别差距(\(+4.15\)分,\(d=1.82\))。相反,未收到任何透明度信号的参与者显示出零可检测的鉴别力。 * 技术审计: 对200个样本的分析表明,仅靠检索密度不足以进行验证;令人惊讶的是,在动态查询中,一致性否决(Consistency Veto)承载了大部分的鉴别信号。 * 核心启示: 随着人工智能日益模仿人类写作,现代透明度框架必须超越简单的作者身份披露,转而聚焦于交互式证据可视化。
本文引入了溯源密度(Provenance Density),这是一种旨在显示文本中已验证声明密度的证据可视化界面。评估的主要发现包括: * 用户研究: 在一项涉及81名参与者的研究中,溯源密度界面成功拉大了事实真理与虚构内容之间的鉴别差距(\(+4.15\)分,\(d=1.82\))。相反,未收到任何透明度信号的参与者显示出零可检测的鉴别力。 * 技术审计: 对200个样本的分析表明,仅靠检索密度不足以进行验证;令人惊讶的是,在动态查询中,一致性否决(Consistency Veto)承载了大部分的鉴别信号。 * 核心启示: 随着人工智能日益模仿人类写作,现代透明度框架必须超越简单的作者身份披露,转而聚焦于交互式证据可视化。
文章详情 (Article Details)
- arXiv ID: arXiv:2609.03460 [cs.AI]
- 学科分类 (Subject): 人工智能 (
cs.AI) - 提交日期 (Submission Date): 2026年9月3日
- DOI: 10.48550/arXiv.2609.03460
- arXiv ID: arXiv:2609.03460 [cs.AI]
- 学科分类 (Subject): 人工智能 (
cs.AI) - 提交日期 (Submission Date): 2026年9月3日
- DOI: 10.48550/arXiv.2609.03460
作者 (Authors)
- Qing Zhang
- Yifei Huang
- Juyoung Lee
- Thad Starner
- Jun Rekimoto
作者 (Authors)
- Qing Zhang
- Yifei Huang
- Juyoung Lee
- Thad Starner
- Jun Rekimoto
摘要 (Abstract)
As generative AI makes polished prose cheap to produce, users can no longer rely on fluency as a proxy for truth. We call this failure mode the Fluency Trap: users trust fluent hallucinations while also discounting accurate content once it is disclosed as AI-generated. Binary "Made with AI" labels respond with authorship disclosure, but they do not show what supports a claim. We propose Provenance Density, an evidence-visualization interface that shows the density of verified claims in a text. In a user study with 81 participants, an idealized Provenance Density interface produced a large discernment gap between truth and fabrication (\(+4.15\) points, \(d=1.82\)), whereas participants given no signal showed no detectable discrimination. A technical audit with 200 samples shows that retrieval density alone is insufficient; unexpectedly, the Consistency Veto carries most of the discriminative signal on dynamic queries. As AI-generated content becomes indistinguishable from human writing, effective transparency must move from authorship disclosure toward evidence visualization.
随着生成式AI使得润色后的散文制作成本低廉,用户再也不能将流畅度作为真理的代理指标。我们将这种失效模式称为“流畅度陷阱”:用户信任流畅的幻觉,同时一旦准确内容被披露为AI生成,就会对其进行贬低。二元的“AI生成”标签以作者身份披露作为回应,但它们没有展示支撑主张的依据。我们提出了溯源密度(Provenance Density),这是一种证据可视化界面,用于显示文本中已验证主张的密度。在包含81名参与者的用户研究中,理想化的溯源密度界面在真理与虚构之间产生了巨大的鉴别差距(\(+4.15\)分,\(d=1.82\)),而未获得信号的参与者则没有表现出可检测的辨别力。对200个样本的技术审计表明,仅靠检索密度是不够的;出乎意料的是,“一致性否决”(Consistency Veto)在动态查询上承载了大部分鉴别信号。随着AI生成的内容变得与人类写作无法区分,有效的透明度必须从作者身份披露转向证据可视化。
随着生成式AI使得润色后的散文制作成本低廉,用户再也不能将流畅度作为真理的代理指标。我们将这种失效模式称为“流畅度陷阱”:用户信任流畅的幻觉,同时一旦准确内容被披露为AI生成,就会对其进行贬低。二元的“AI生成”标签以作者身份披露作为回应,但它们没有展示支撑主张的依据。我们提出了溯源密度(Provenance Density),这是一种证据可视化界面,用于显示文本中已验证主张的密度。在包含81名参与者的用户研究中,理想化的溯源密度界面在真理与虚构之间产生了巨大的鉴别差距(\(+4.15\)分,\(d=1.82\)),而未获得信号的参与者则没有表现出可检测的辨别力。对200个样本的技术审计表明,仅靠检索密度是不够的;出乎意料的是,“一致性否决”(Consistency Veto)在动态查询上承载了大部分鉴别信号。随着AI生成的内容变得与人类写作无法区分,有效的透明度必须从作者身份披露转向证据可视化。
访问与资源 (Access & Resources)
- 全文阅读 (Full-Text): 查看 PDF | HTML(实验性) | TeX 源码
- 外部引用 (External Citations): Google 学术 | Semantic Scholar | NASA ADS