“不太可能”究竟有多不可能？评估大语言模型对概率词汇的感知
文章背景与核心概要
本文探讨了大语言模型（LLM）在生成和解读诸如“不太可能（unlikely）”或“可能（possible）”等概率词汇时，与人类认知之间的差异。研究人员通过对19个模型进行11种不确定性表达的评估，旨在揭示模型是否具备与人类一致的概率感知能力。
研究发现，大语言模型能够高度还原人类的概率认知结构，包括对词汇顺序的保留及关键锚点的恢复。然而，模型在处理“不太可能”和“极不可能”等负面表达时表现出系统性的偏差。此外，研究还指出，要求模型提供解释虽然能增强单个模型内部的稳定性，却会降低模型间的共识。这一发现对于理解人机交互中的概率语言沟通具有重要意义。
文档元数据
| 字段 | 详情 |
|---|---|
| arXiv 标识符 | arXiv:2608.26327 [cs.CL] |
| 学科分类 | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 作者 | Christos Petridis, Konstantinos Pelechrinis, Zoran Obradovic |
| 提交日期 | 2026年8月26日 |
| 篇幅 | 10 页 |
| DOI | 10.48550/arXiv.2608.26327 |
摘要
大语言模型越来越多地生成和解读概率词汇，但这些表达在不同模型间是否具有一致的含义（或是否符合人类对不确定性的感知）尚不明确。
我们提出了一项基于既定人类基准的词汇转数字映射任务，对多个模型进行了系统的跨模型评估。在强制单数字响应和解释引导两种条件下，我们向19个模型展示了11种不确定性表达，并引入了一种新颖的内部一致性双向往返测试。
Large language models increasingly produce and interpret verbal probability expressions, yet whether these expressions carry consistent meaning across models (or match human perceptions of uncertainty) remains unknown.
We present a systematic cross-model evaluation using a word-to-number mapping task grounded in established human benchmarks. Eleven uncertainty expressions were presented to 19 models under two conditions, forced single-number response and explanation elicitation, alongside a novel bidirectional roundtrip test of internal consistency.
大语言模型以惊人的保真度追踪了人类的基准： * 词汇顺序得到了保留。 * 恢复了三个锚点。 * “可能（possible）”一词在所有测试表达中表现出最高的方差和跨模型分歧，这与人类对其双峰解释的文献记录一致。
LLMs track the human benchmark with surprising fidelity: * Word ordering is preserved. * Three anchor points are recovered. * The term "possible" shows the highest variance and cross-model disagreement of any expression tested, consistent with its documented bimodal interpretation in humans.
然而，模型对“不太可能（unlikely）”和“极不可能（improbable）”等负面表达表现出系统性的向上偏差。解释引导减少了模型内部的方差，但增加了模型间的分歧，即以牺牲模型间共识为代价稳定了单个模型。此外，往返实验揭示了明显的层级结构，前沿模型保持了连贯的双向表征。
However, models show a systematic upward bias for negative expressions such as "unlikely" and "improbable." Explanation elicitation reduces within-model variance while increasing between-model divergence, stabilizing individual models at the cost of inter-model consensus. Additionally, the roundtrip experiment reveals clear stratification, with frontier models maintaining coherent bidirectional representations.
因此，大语言模型重现了人类概率语言认知的结构（包括其偏差），但在负面端存在系统性偏离——这对人类与模型交换概率语言的任何场景都具有重要影响。
LLMs thus reproduce the structure of human verbal probability cognition, including its biases, while diverging systematically at the negative end—with implications for any setting where humans and models exchange probabilistic language.