跳转至

文章背景与核心概要

多轮交互构建了一个反馈循环，其中大语言模型（LLM）先前的回复会直接影响其后续的行为。虽然现有文献表明，由助手生成的历史记录会降低多轮交互的性能，但跨不同模型、任务、轮次和内部表示的具体机制在很大程度上仍未得到探索。

本文针对六大任务系列和五个模型深入研究了这些空白。研究发现，当从完全指定的单轮输入（FULL）过渡到渐进式揭示的多轮交互（SHARDED）时，性能的下降高度依赖于任务和模型。至关重要的是，更强的单样本（one-shot）性能并不保证交互的鲁棒性。通过“中和”（Neutralization）和“轮次手术”（Turn Surgery）等技术，作者证明了助手历史对下游行为具有选择性的、积极的因果影响，这表明未来的系统应该采用有针对性的历史管理，而不是统一保留。

如果大语言模型“自食其言”：多轮交互中的因果历史效应

arXiv ID: arXiv:2609.05882
主要学科: 计算与语言 (cs.CL)
次要学科: 人工智能 (cs.AI)
提交时间: 2026年9月5日
作者: Jinnan Li, Zheren Fu, Yue Wang, Jinzhe Li, Yuan Wu, Yi Chang
代码与数据: 可在 GitHub 上获取

📌 执行摘要 (Executive Summary)

多轮交互构建了一个反馈循环，其中大语言模型（LLM）先前的回复会直接影响其后续的行为。虽然现有文献表明，由助手生成的历史记录会降低多轮性能，但跨不同模型、任务、轮次和内部表示的具体机制在很大程度上仍未得到探索。

Multi-turn interactions create a feedback loop where an LLM’s previous responses directly influence its subsequent behavior. While existing literature demonstrates that assistant-generated history degrades multi-turn performance, the specific mechanisms across different models, tasks, turns, and internal representations remain largely unexplored.

本文针对六个任务系列和五个模型研究了这些空白。研究发现，从完全指定的单轮输入（FULL）过渡到渐进揭示的多轮交互（SHARDED），其性能下降（通过指标衡量）高度依赖于任务和模型。至关重要的是，更强的单样本性能并不保证交互的鲁棒性。通过“中和”和“轮次手术”等技术，作者证明了助手历史对下游行为具有选择性的、积极的因果影响，这表明未来的系统应该采用有针对性的历史管理，而不是盲目地统一保留。

This paper investigates these gaps across six task families and five models. The findings reveal that performance degradation—measured by shifting from fully specified single-turn inputs (FULL) to progressively revealed multi-turn interactions (SHARDED)—is highly task- and model-dependent. Crucially, stronger one-shot performance does not guarantee interaction robustness. Through techniques like Neutralization and Turn Surgery, the authors demonstrate that assistant history has selective, active causal effects on downstream behavior, suggesting that future systems should employ targeted history management rather than uniform retention.

🔍 核心发现与方法论 (Key Findings & Methodology)

1. 跨任务与模型的鲁棒性

  • 任务与模型的依赖性： 从单轮（FULL）交互过渡到多轮（SHARDED）交互时，性能的下降幅度因底层架构和任务性质的不同而有很大差异。
  • 单样本强度的谬论： 拥有优异的单样本性能并不必然转化为多轮对话环境中的更高鲁棒性。

1. Robustness Across Tasks and Models

  • Task & Model Dependency: The performance degradation moving from single-turn (FULL) to multi-turn (SHARDED) interactions varies widely depending on the underlying architecture and the nature of the task.
  • The Fallacy of One-Shot Strength: Possessing superior one-shot performance does not inherently translate to greater robustness in multi-turn conversational settings.

2. 历史中和（History Neutralization）

为了评估过去助手输出的因果权重，作者通过回放观察到的用户消息，同时用中性内容替换之前的助手回复，对已完成的 SHARDED 对话进行了回顾性分析。 * 在 2,973 条对话轨迹中，中和操作使下游的最小-最大归一化性能改变了 +.027。 * 在长度控制的子集上，简短的和长度匹配的中和产生了几乎相同的效果（+.068 对比 +.069），这证明单纯的上下文缩短无法解释所观察到的历史编辑产生的影响。

2. History Neutralization

To evaluate the causal weight of past assistant outputs, the authors retrospectively analyzed completed SHARDED conversations by replaying observed user messages while replacing prior assistant responses with neutral content. * Across 2,973 trajectories, neutralization changed downstream min-max normalized performance by +.027. * On a length-controlled subset, short and length-matched neutralizations yielded nearly identical effects (+.069 versus +.068), proving that simple context shortening alone cannot account for the observed impact of history editing.

3. 轮次手术（Turn Surgery）

通过对 237 个选定的性能退化轨迹中的某一个助手轮次进行干预： * 63.7% 的轨迹包含至少一次有益的干预，而大多数测试的位置保持不变。 * 对于二分类任务，48.4% 的被测试轨迹成功实现了“从失败到成功”的逆转。

3. Turn Surgery

By intervening on one assistant turn at a time across 237 selected degraded trajectories: * 63.7% of trajectories contained at least one beneficial intervention, while most tested positions remained unchanged. * For binary tasks, 48.4% of tested trajectories successfully admitted a "fail-to-success" reversal.

4. 内部状态分析

一个开源权重的案例研究将对行为产生重大影响的历史变化与可测量的下游状态差异联系起来。然而，所识别出的内部特征严格依赖于特定任务，而非通用的。

4. Internal State Analysis

An open-weight case study connected behaviorally consequential history changes to measurable downstream state differences. However, the internal signatures identified were strictly task-dependent rather than universal.