文章背景与核心概要

在大语言模型（LLM）的发展过程中，如何提升其推理可靠性一直是核心痛点。近期涌现出了许多旨在增强推理稳定性的创新技术，例如结合自洽性的推理期概率聚合（RPC）以及分离逻辑子空间的逻辑表征编辑（LCF）。然而，此类方法往往仅由原作者团队进行评估，且常常缺乏开源代码，这引发了业界的“复现鸿沟”。为了验证这些方法的泛化性与真实有效性，本文作者对 RPC 和 LCF 进行了独立复现与严格的压力测试。

研究团队将 RPC 迁移至新的任务域和模型（如 Qwen3-8B），并在四个 7-8B 参数量模型上重新实现了 LCF 的全套干预流水线。测试结果表明，原本声称有效的技术在更广泛的场景下遇到了严峻挑战：RPC 的性能优势在新领域中消失，甚至在扩大采样规模时出现负向反转；而 LCF 的“逻辑有效性方向”表征微弱，干预效果不仅没有统计学意义上的显著提升，反而经常导致模型性能下降。这项研究对评估 LLM 推理可靠性方法提供了宝贵的批判性视角与实证基准。

复现与压力测试大模型推理可靠性的两种方法：推理期概率聚合与逻辑表征编辑

作者： Minhan Cho, Jimin Kweon
ArXiv ID： arXiv:2608.08514 [cs.AI]
提交时间： 2026年8月9日
链接： 查看 PDF | GitHub 仓库（含代码、数据与日志）

执行摘要 (Executive Summary)

本文独立复现并严格压力测试了两种旨在提升大语言模型（LLM）推理可靠性的主流方法： 1. RPC（推理期概率聚合，Test-Time Probability Aggregation）： 在推理阶段结合词元概率（token probabilities）与自洽性（self-consistency）。 2. LCF（逻辑表征编辑，Logic-Representation Editing）： 训练投影器将隐藏状态（hidden states）分离为“内容”和“逻辑”子空间，并将逻辑组件引导至有效区域。

此前的评估通常完全由原作者独自完成（且往往未开源代码，如 LCF 的情况），而本研究将这两种方法扩展到了新的领域与模型中（在四个新任务域中测试了基于 Qwen3-8B 的 RPC，并在四个 7–8B 参数模型上测试了 LCF）。

核心发现： * RPC： 尽管它在原作者发布的测试路径上复现了原有结果，但在新领域中，它相比标准自洽性的性能优势消失殆尽（差异微乎其微或打平）。此外，扩大样本量甚至会完全逆转边际收益。 * LCF： 研究表明，提出的“逻辑有效性方向”与语义基线相比非常弱，其干预流水线在很大程度上未能对模型概率产生具有统计显著性的正面影响（\(\Delta\text{Prob}\)），并且在所测试的架构中经常导致性能下降。

This paper independently reproduces and rigorously stress-tests two prominent methods designed to improve the reasoning reliability of Large Language Models (LLMs): 1. RPC (Test-Time Probability Aggregation): Combines token probabilities and self-consistency at inference time. 2. LCF (Logic-Representation Editing): Trains projectors to separate hidden states into "content" and "logic" subspaces, steering the logical components toward a valid region.

While previous evaluations were exclusively conducted by the original authors (often without public code releases, as was the case with LCF), this study extends both methods across new domains and models (testing RPC with Qwen3-8B four new task domains, and LCF across four 7–8B parameter models).

Key Findings: * RPC: While it reproduces the original results on the authors' published paths, its performance edge over standard self-consistency vanishes on new domains (yielding negligible differences or ties). Furthermore, scaling sample sizes can completely reverse marginal gains. * LCF: The proposed "logic-validity direction" is shown to be weak compared to semantic baselines, and its intervention pipeline largely fails to produce statistically significant positive impacts on model probability (\(\Delta\text{Prob}\)), frequently reducing performance across tested architectures.

1. 引言与动机 (1. Introduction and Motivation)

验证关于 LLM 推理可靠性的声明至关重要，然而绝大多数现有技术仅由其创造者进行评估。这造成了一条复现鸿沟，尤其是在缺乏参考实现的情况下（例如 LCF）。

作者着手独立开展以下工作： * 重新运行 RPC 已发布的聚合路径。 * 重新实现 LCF 的投影器、对比数据集以及干预机制。 * 在严格的下游任务上对两个流水线进行压力测试：文本转 SQL（text-to-SQL）、法律信息抽取、谬误识别以及判例分级。 * 直接探查内部表征，以验证是否存在清晰可分的“内容”和“逻辑”子空间。

Validating claims of LLM reasoning reliability is critical, yet most existing techniques are evaluated solely by their creators. This creates a reproducibility gap, particularly when reference implementations are unavailable (e.g., LCF).

The authors set out to independently: * Re-run RPC's published aggregation path. * Re-implement LCF’s projector, contrastive dataset, and intervention mechanisms. * Stress-test both pipelines on rigorous downstream tasks: text-to-SQL, legal extraction, fallacy identification, and precedent grading. * Probe internal representations directly to verify whether cleanly separable "content" and "logic" subspaces actually exist.

2. 方法论与压力测试 (2. Methodology & Stress-Testing)

方法一：推理期概率聚合 (RPC)

• 机制： 在推理过程中，将词元级概率与自洽性指标进行聚合。
• 评估： 使用 Qwen3-8B 模型在四个全新的任务域中进行测试。
• 发现：
• 在给定的路径上成功复现了原作者的基准网格。
• 在四个新领域中，RPC 相比基础自洽性没有表现出统计学意义上的显著优势（配对 \(p \ge 0.28\)）。
• 在 BIRD 数据集上——该数据集改变了预算规模（\(K\)）——在较少样本下观察到的初始增益（\(K=32\)，准确率提升 \(+2.5\)，\(p=0.16\)）在样本量扩大至 \(n=200\) 时，实际上反转为了 \(-0.25\)。

Approach 1: Test-Time Probability Aggregation (RPC)

• Mechanism: Aggregates token-level probabilities alongside self-consistency metrics during inference.
• Evaluation: Tested across four novel task domains using the Qwen3-8B model.
• Findings:
• Replicated the original authors' benchmark grids successfully on provided paths.
• Across four new domains, RPC showed no statistically significant edge over basic self-consistency (paired \(p \ge 0.28\)).
• On the BIRD dataset—where budget scale (\(K\)) was varied—initial gains observed at lower samples (\(K=32\), \(+2.5\) accuracy bump, \(p=0.16\)) actually reversed to \(-0.25\) when the sample size was enlarged to \(n=200\).

方法二：逻辑表征编辑 (LCF)

• 机制： 采用训练好的投影器将隐藏状态隔离为内容特征和逻辑特征，并对逻辑组件应用方向性编辑。
• 评估： 在四个不同的 7B–8B 模型上实现了完整的对比与干预流水线。
• 发现：
• 所识别的“逻辑有效性方向”异常薄弱，在表现最好的单一子层上也仅表现出 0.82 的可分性（相比之下，语义属性控制基线的可分性为 0.95）。
• 对于唯一表现出正向偏移的模型（\(Qwen3\)），其干预效应（\(\Delta\text{Prob}\)）在统计学上并不显著（\(p=0.56\)）。
• 在其他三个被测试的模型中，LCF 干预显著降低了性能（\(\Delta\text{Prob}\)）。

Approach 2: Logic-Representation Editing (LCF)

• Mechanism: Employs trained projectors to isolate hidden states into content and logic features, applying directional edits to the logic components.
• Evaluation: Implemented the full contrastive and intervention pipeline across four distinct 7B–8B models.
• Findings:
• The identified "logic-validity direction" is exceptionally weak, demonstrating only 0.82 separability at its single best sub-layer (compared to 0.95 for a semantic-attribute control baseline).
• Intervention effects (\(\Delta\text{Prob}\)) were statistically insignificant for the sole model showing a positive shift (\(Qwen3\), \(p=0.56\)).
• Across three other tested models, LCF intervention significantly degraded performance (\(\Delta\text{Prob}\)).

3. 元数据与附加资源 (3. Metadata & Additional Resources)

类别 (Category)	详情 (Details)
主要学科 (Primary Subject)	人工智能 (cs.AI)
ACM 类别 (ACM Classes)	I.2.7; I.2.6
文档规格 (Document Specs)	16 页，3 幅图，9 个表
许可协议 (License)	知识共享署名 4.0

Category	Details
Primary Subject	Artificial Intelligence (cs.AI)
ACM Classes	I.2.7; I.2.6
Document Specs	16 pages, 3 figures, 9 tables
License	Creative Commons Attribution 4.0

有关完整的源代码、执行日志和评估工件，请参考官方 GitHub 仓库。

For full source code, execution logs, and evaluation artifacts, refer to the official GitHub Repository.