跳转至

文章背景与核心概要

本文探讨了现代情绪分类器在处理具有挑战性的语言领域（即讽刺性社交文本和AI释义评论）时的行为表现。随着社交媒体内容越来越频繁地受到大语言模型生成或重写的影响，传统的单标签情绪评估面临着极大的不确定性。

通过一项三部分组成的实证研究，作者发现分类器在面对反讽内容时能够天然地表现出不确定性；同时，由于AI重写消除了风格噪声，分类器在AI释义文本上的准确率反而更高。此外，研究证明引入轻量级的弃权包装器（abstention wrappers）可以显著提升分类准确率。这些研究结果呼吁在内容审核和心理健康监测等高风险应用中，从死板的单标签预测转向具备不确定性感知的建模方式。

当AI重写，分类器放松：针对讽刺与AI释义社交文本的不确定性感知的正面/负面情绪分析 (When AI Rewrites, Classifiers Relax: Uncertainty-Aware Sentiment Analysis on Sarcastic and AI-Paraphrased Social Text)

📌 执行摘要 (Executive Summary)

本文研究了现代情绪分类器在处理具有挑战性的语言领域时的行为：讽刺社交文本和AI释义评论。

通过一项三部分的实证研究，本研究表明：情绪分类器在遇到反讽时会本能地表现出不确定性；由于风格噪声的减少，它们在AI重写的文本上表现更好；并且它们能从轻量级的弃权包装器中获得显著收益。这些见解提倡在内容审核和心理健康监测等安全关键领域中，从僵化的单标签预测转向具备不确定性感知的建模。

This paper investigates how modern sentiment classifiers behave when processing challenging linguistic domains: sarcastic social text and AI-paraphrased reviews.

Through a three-part empirical study, the research demonstrates that sentiment classifiers inherently register uncertainty when encountering irony, perform better on AI-rewritten text due to stylistic noise reduction, and benefit significantly from lightweight abstention wrappers. These insights advocate for a transition away from rigid, single-label predictions toward uncertainty-aware modeling in safety-critical domains such as content moderation and mental health monitoring.

📖 摘要 (Abstract)

情绪分类器正越来越多地被应用于包含讽刺或AI生成内容的社交媒体内容——这两个属于标准评估几乎无法提供指导的分布区间。我们对这些条件下的情绪分类器行为进行了三部分组成的实证研究。

  1. 讽刺内容与不确定性： 我们发现，在讽刺文本上的置信度得分明显低于非讽刺文本（Mann–Whitney \(p = 2 \times 10^{-6}\)），这证实了分类器即使在没有显式不确定性建模的情况下，也能感知到自身对反讽内容的不确定性。
  2. AI释义的影响： 与直觉相反，我们表明情绪分类器在AI释义评论上的准确率高于原始的人工撰写文本（RoBERTa：Qwen3.5-4B 释义提升 \(+5.8\text{ pp}\)，Gemma4-E4B 提升 \(+3.7\text{ pp}\)）。这揭示了一种跨领域的风格对齐效应：AI释义去除了混淆推特（Twitter）训练分类器的分布噪声，生成了更干净、更具原型的美化情绪文本。
  3. 弃权包装器与不确定性信号： 我们证明了一个轻量级的弃权包装器——标记出置信度低于 \(0.6\) 的 \(14\%\) 的输入——可以将保留集的准确率从 \(82.2\%\) 提高到 \(88.9\%\)（\(+6.7\text{ pp}\)）。我们进一步将语义熵（Semantic Entropy）和类似 MC-Dropout 的分歧作为不确定性信号进行比较，发现它们在讽刺文本上的 AUROC 几乎相同（\(0.650\) 对 \(0.646\)），这表明对于简短的社交媒体输入，这两种方法是可以互换的。

我们的结果推动了高风险情绪应用（如心理健康标记和内容审核）从自信的单标签预测向不确定性感知的弃权机制转变。

Sentiment classifiers are increasingly applied to social media content that is either sarcastic or AI-generated — two distributional regimes where standard evaluations offer little guidance. We present a three-part empirical study of sentiment classifier behaviour under these conditions.

  1. Sarcastic Content and Uncertainty: We find that confidence scores on sarcastic text are significantly lower than on non-sarcastic text (Mann–Whitney \(p = 2 \times 10^{-6}\)), confirming that classifiers sense their own uncertainty on ironic content even without explicit uncertainty modelling.
  2. Impact of AI Paraphrasing: Counterintuitively, we show that sentiment classifiers achieve higher accuracy on AI-paraphrased reviews than on the original human-authored text (RoBERTa: \(+5.8\text{ pp}\) for Qwen3.5-4B paraphrases, \(+3.7\text{ pp}\) for Gemma4-E4B). This reveals a cross-domain stylistic alignment effect: AI paraphrases remove distributional noise that confounds Twitter-trained classifiers, producing cleaner, more prototypical sentiment text.
  3. Abstention Wrappers & Uncertainty Signals: We demonstrate that a lightweight abstention wrapper—flagging the \(14\%\) of inputs with confidence below \(0.6\)—improves accuracy from \(82.2\%\) to \(88.9\%\) (\(+6.7\text{ pp}\)) on the retained set. We further compare Semantic Entropy and MC-Dropout-style disagreement as uncertainty signals and find near-identical AUROC (\(0.650\) vs. \(0.646\)) on sarcastic text, suggesting that for short social media inputs, both methods are interchangeable.

Our results motivate a shift from confident single-label prediction to uncertainty-aware abstention in high-stakes sentiment applications such as mental health flagging and content moderation.