利用交互作用评估与解释大语言模型的提示词敏感性
文章背景与核心概要
大语言模型（LLM）常常受到不稳定性问题的困扰，即便是对提示词进行微小且语义无关的修改，也会导致性能发生剧烈波动——这一现象被称为提示词敏感性。传统的评估指标依赖于对最终输出的对比，无法解释驱动这种敏感性的内部机制。
为了弥补这一空白，研究人员引入了交互作用（Interactions）作为一种细粒度的分析工具。通过将大语言模型的输出得分分解为输入变量之间的非线性关系，该研究发现，即使最终输出保持不变，微小的提示词调整也会破坏这些交互作用的稳定性。
为了量化这一现象，作者提出了基于交互作用的提示词敏感性（IPS）指标。通过使用 IPS 对 50 个开源大语言模型进行评估，研究表明提示词敏感性可以由四个关键因素缓解：1. 监督微调（SFT）；2. 模型规模扩大；3. 稠密架构（Dense Architectures）；4. 少样本学习（Few-Shot Learning）。最重要的是，该研究揭示了一个统一的机制：这四个因素都是通过明确抑制低阶交互作用（涉及较少输入变量的交互）的敏感性来降低整体提示词敏感性的。
摘要 (Summary)
大语言模型（LLM）常常受到不稳定性问题的困扰，即便是对提示词进行微小且语义无关的修改，也会导致性能发生剧烈波动——这一现象被称为提示词敏感性。传统的评估指标依赖于对最终输出的对比，无法解释驱动这种敏感性的内部机制。
Large Language Models (LLMs) often suffer from instability, where even subtle and semantically irrelevant changes to prompts result in dramatic performance fluctuations—a phenomenon known as prompt sensitivity. Traditional evaluation metrics rely on comparing final outputs, which fails to explain the internal mechanisms driving this sensitivity.
为了弥补这一空白，研究人员引入了交互作用作为一种细粒度的分析工具。通过将大语言模型的输出得分分解为输入变量之间的非线性关系，该研究发现，即使最终输出保持不变，微小的提示词调整也会破坏这些交互作用的稳定性。
To bridge this gap, researchers introduce interactions as a fine-grained analytical tool. By decomposing an LLM's output score into nonlinear relationships among input variables, the study reveals that minor prompt adjustments can destabilize these interactions even when final outputs remain unchanged.
为了量化这一现象，作者提出了基于交互作用的提示词敏感性（IPS）指标。通过使用 IPS 对 50 个开源大语言模型进行评估，研究表明提示词敏感性可以由四个关键因素缓解： 1. 监督微调（SFT） 2. 增大模型规模 3. 稠密架构 4. 少样本学习
To quantify this, the authors propose the Interaction-based Prompt Sensitivity (IPS) metric. Evaluating 50 open-source LLMs with IPS reveals that prompt sensitivity is mitigated by four key factors: 1. Supervised Fine-Tuning (SFT) 2. Increased Model Scale 3. Dense Architectures 4. Few-Shot Learning
最重要的是，该研究揭示了一个统一的机制：这四个因素都是通过明确抑制低阶交互作用（涉及较少输入变量的交互）的敏感性来降低提示词敏感性的。
Crucially, the study uncovers a unifying mechanism: all four factors reduce prompt sensitivity by specifically dampening the sensitivity of low-order interactions (interactions fewer input variables).
论文元数据 (Paper Metadata)
- arXiv ID: arXiv:2608.18539 [cs.LG]
- 接收会议: 第 43 届国际机器学习会议 (ICML 2026)
- 作者: Ruiyang Qin, Qingzhuo Wang, Tian Wang, Zhihua Wei, Wen Shen
- 主学科: 机器学习 (
cs.LG) - 次学科: 人工智能 (
cs.AI), 计算与语言 (cs.CL) - 提交日期: 2026年8月19日
- arXiv ID: arXiv:2608.18539 [cs.LG]
- Accepted at: 43rd International Conference on Machine Learning (ICML 2026)
- Authors: Ruiyang Qin, Qingzhuo Wang, Tian Wang, Zhihua Wei, Wen Shen
- Primary Subject: Machine Learning (
cs.LG)- Secondary Subjects: Artificial Intelligence (
cs.AI), Computation and Language (cs.CL)- Submission Date: August 19, 2026