文章背景与核心概要
长期以来，大语言模型（LLM）的评估主要依赖于最终答案的正确性，这种方式往往忽视了模型得出结论的推理过程、其在不同上下文变化下的可靠性以及运行效率。为了克服这些局限性，本文引入了一个基于认知科学的统一行为框架，用于衡量 LLM 的推理质量。
该框架从六个核心维度对模型进行评估：正确性（CQ）、一致性（CS）、鲁棒性（RS）、局部逻辑连贯性（LS）、效率（ES）和稳定性（SS）。通过采用兼顾部署需求的聚合方法，该研究提出的流程超越了标准的准确率排行榜，有助于实现面向特定场景的模型选择。在多个基准测试上的实验揭示了许多隐藏的行为洞察——例如局部逻辑连贯性与最终正确性之间的独立性、依赖于上下文的排名倒置，以及小型本地部署模型独特的维度特征。
衡量大语言模型中的推理质量：多维度行为框架 (Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework)
作者： Ali Şenol, Garima Agrawal, Huan Liu
主要学科： 人工智能 (cs.AI)
次要学科： 计算与语言 (cs.CL)
arXiv ID: 2605.24661 | DOI: 10.48550/arXiv.2605.24661
提交历史： 2026年5月23日提交；2026年9月2日最后修订 (v4)。
许可协议： 知识共享署名 4.0
Authors: Ali Şenol, Garima Agrawal, Huan Liu
Primary Subject: Artificial Intelligence (cs.AI)
Secondary Subject: Computation and Language (cs.CL)
arXiv ID: 2605.24661 | DOI: 10.48550/arXiv.2605.24661
Submission History: Submitted on May 23, 2026; Last revised September 2, 2026 (v4).
License: Creative Commons Attribution 4.0
摘要
传统的大语言模型（LLM）评估严重依赖于最终答案的正确性，这忽视了模型得出结论的方式、其在上下文变化下的可靠性以及其运营效率。
为了解决这些局限性，本文引入了一个植根于认知科学的统一行为框架，用于衡量 LLM 的推理质量。该框架从六个核心维度评估模型： 1. 正确性 (CQ) 2. 一致性 (CS) 3. 鲁棒性 (RS) 4. 局部逻辑连贯性 (LS) 5. 效率 (ES) 6. 稳定性 (SS)
利用部署感知的聚合技术，所提出的流水线促进了超越标准准确率排行榜的特定上下文模型选择。跨多个基准测试的实验揭示了隐藏的行为洞察——例如局部逻辑连贯性独立于最终正确性、上下文相关的排名反转，以及小型本地部署模型中独特的维度配置文件。
Summary
Traditional evaluation of Large Language Models (LLMs) heavily relies on final-answer correctness, which overlooks how models arrive at conclusions, their reliability under contextual variations, and their operational efficiency.
To address these limitations, this paper introduces a unified, behavioral framework for measuring LLM reasoning quality grounded in cognitive science. The framework evaluates models across six core dimensions: 1. Correctness (CQ) 2. Consistency (CS) 3. Robustness (RS) 4. Local Logical Coherence (LS) 5. Efficiency (ES) 6. Stability (SS)
Using deployment-aware aggregation, the proposed pipeline facilitates context-specific model selection beyond standard accuracy leaderboards. Experiments across multiple benchmarks reveal hidden behavioral insights—such as the independence of local logical coherence from final correctness, context-dependent ranking inversions, and unique dimensional profiles in smaller, locally deployed models.
行为框架的核心维度
| 维度 | 缩写 | 认知基础 / 描述 |
|---|---|---|
| 正确性 | CQ | 衡量最终答案的终极有效性和准确性。 |
| 一致性 | CS | 评估模型在语义等价提示词下的输出可靠性。 |
| 鲁棒性 | RS | 评估抗对抗性偏移或不相关上下文噪声的弹性。 |
| 局部逻辑连贯性 | LS | 分析独立于最终结果的逐步逻辑有效性。 |
| 效率 | ES | 量化得出结论的资源利用率（例如，Token 数量、计算步骤）。 |
| 稳定性 | SS | 衡量重复采样或微小参数调整下的行为方差。 |
Key Dimensions of the Behavioral Framework
Dimension Abbr. Cognitive Foundation / Description Correctness CQ Measures the ultimate validity and accuracy of the final answer. Consistency CS Evaluates the reliability of the model's outputs across semantically equivalent prompts. Robustness RS Assesses resilience against adversarial shifts or irrelevant contextual noise. Local Logical Coherence LS Analyzes step-by-step logical validity independent of the final outcome. Efficiency ES Quantifies resource utilization (e.g., token count, computational steps) to reach conclusions. Stability SS Measures variance in behavior across repetitive sampling or minor parameter tweaks.
全文与访问链接
Full-Text & Access Links
参考文献与引用工具
- 书目数据库： NASA ADS | Google Scholar | Semantic Scholar
- 交互式工具： alphaXiv | CatalyzeX 代码查找器 | Hugging Face Spaces
(注：与本工作相关的许可图标：
)
References & Citation Tools
- Bibliographic Databases: NASA ADS | Google Scholar | Semantic Scholar
- Interactive Tools: alphaXiv | CatalyzeX Code Finder | Hugging Face Spaces
(Note: License icon associated with this work: