文章背景与核心概要
大型推理模型（LRMs）在关键应用场景中常因幻觉问题而受限，这主要源于推理过程中的逻辑错误以及模型知识储备的匮乏。为了解决这一挑战，研究人员提出了 REIN 框架，旨在通过结构化的自我反思机制和弃权对齐策略，显著提升模型的可靠性。
REIN 的核心创新在于无需复杂的外部工具或多轮反馈，仅通过单次前向传播即可实现。它强制模型在输出答案前进行显式的反思，并引入奖励机制鼓励模型在意识到推理链不足以支撑正确结论时主动“弃权”。这一方法在降低幻觉的同时，有效提升了模型在回答问题时的准确率与可信度。
REIN：通过反思与弃权对齐弥合推理与可靠性之间的鸿沟
作者： Zhengze Huang, Luyang Yu, Di Hong, Xinzhe Huang, Wanyu Lin, Zhixuan Chu, Zhan Qin, Tianhang Zheng
日期： 2026年8月8日
学科： 人工智能 (cs.AI)
arXiv： 2608.07931
REIN: Bridging the Gap between Reasoning and Reliability via Reflection and Abstention Alignment
Authors: Zhengze Huang, Luyang Yu, Di Hong, Xinzhe Huang, Wanyu Lin, Zhixuan Chu, Zhan Qin, Tianhang Zheng
Date: August 8, 2026
Subject: Artificial Intelligence (cs.AI)
arXiv: 2608.07931
摘要
大型推理模型（LRMs）经常遭受幻觉问题的困扰，这限制了它们在关键应用中的可靠性。这些幻觉通常源于两个方面：推理错误（推理步骤存在缺陷）和知识缺口（缺乏事实信息）。
作者引入了 REIN，这是一个旨在通过两个主要机制增强 LRM 可靠性的对齐框架：
1. 结构化反思： 模型被训练以生成 <think> → <reflection> → <answer> 的序列，强制在最终输出前进行显式的自我反思。
2. 弃权对齐： 一种奖励机制，鼓励模型在确定其推理链不足以得出正确结论时明确表示弃权（例如，“我不知道”）。
REIN 在单次前向传播中实现了这些改进，无需复杂的外部工具、过程监督或多轮批评。
Summary
Large Reasoning Models (LRMs) often suffer from hallucinations, which limit their reliability in critical applications. These hallucinations generally stem from two sources: reasoning errors (flawed inference steps) and knowledge gaps (lack of factual information).
The authors introduce REIN, an alignment framework designed to enhance LRM reliability through two primary mechanisms: 1. Structured Reflection: The model is trained to generate a sequence of
<think>→<reflection>→<answer>, forcing explicit self-reflection before finalizing an output. 2. Abstention Alignment: A reward mechanism encourages the model to explicitly abstain (e.g., "I don't know") when it determines that its reasoning chains are insufficient to reach a correct conclusion.REIN achieves these improvements in a single forward pass without requiring complex external tools, process supervision, or multi-round critiques.
关键发现
- 性能提升： 与基础模型相比，REIN 将幻觉代理指标降低了 58% 至 72%。
- 选择性准确率： 在模型尝试回答的问题上，准确率提高了 6.6% 至 14.2%。
- 效率： 在保持高覆盖率（86% 至 91%）的同时，显著提高了生成响应的可靠性。
- 简洁性： 该框架在单次前向传播内运行，与多轮或基于搜索的方法相比，在部署方面具有极高的效率。
Key Findings
- Performance Gains: REIN reduces hallucination proxies by 58% to 72% compared to base models.
- Selective Accuracy: Improves accuracy on attempted questions by 6.6% to 14.2%.
- Efficiency: Maintains high coverage (86% to 91%) while significantly increasing the reliability of the generated responses.
- Simplicity: The framework functions within a single forward pass, making it highly efficient for deployment compared to multi-round or search-based methods.
获取与资源
Access & Resources
引用
如果您使用了本项工作，请通过 arXiv 落地页 进行引用。书目工具和 BibTeX 导出可通过 arXiv 书目浏览器 获取。
Citation
If you use this work, please cite it via the arXiv landing page. Bibliographic tools and BibTeX exports are available through the arXiv Bibliographic Explorer.