跳转至

文章背景与核心概要

当前的编码智能体主要通过 SWE-bench 系列基准进行评估，这些基准采用长篇、结构化且信息丰富的、精选自 GitHub Issue 的问题描述。然而，现实世界中的用户请求通常要短得多、结构化程度较低且表述更为随意。为了弥补这一差距，RealSWE 的作者引入了一个六类信息分类法和四个维度的语言风格，用于分析真实用户提示词（来自 SWE-chat）与基准测试问题（来自 SWE-bench Verified 和 Pro）之间的差异。他们发现了一个鲜明的对比：在真实用户提示词中，有 88% 仅包含问题陈述（或有限上下文）且表述随意（占 87%），而 94% 的基准测试问题则是正式且结构丰富的。

为了研究这些差异的影响，研究人员提出了 RealSWE 数据集，其中包含 381 个源自 SWE-bench Verified 和 Pro 的多变体任务族。在这些变体中，底层任务完全相同，但信息组合和语言风格有所不同。核心研究结果表明，现实的输入会使大语言模型的解决率平均下降 6.4 个百分点，并显著改变模型的排名。显式包含期望行为和动机可以大幅提升软件工程性能，而添加环境信息和复现步骤则仅仅增加了 Token 数量，却没有带来可衡量的收益。提示词的随意与正式语气对整体性能只有微小的、取决于模型的宏观影响。

RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests

arXiv ID: arXiv:2608.27831 [cs.AI]
Submitted: August 28, 2026
Authors: Gyuhyeong Kim, Hyojung Gwon, Jeonghyeon Kim, Kyuhong Shim, Sunjae Lee
Links: View PDF | HTML Version | TeX Source

Summary

Current coding agents are primarily evaluated using the SWE-bench family of benchmarks, which feature long, structured, and information-rich problem statements curated from GitHub issues. However, real-world user requests are typically much shorter, less structured, and informally written.

当前的编码智能体主要通过 SWE-bench 系列基准进行评估，这些基准采用长篇、结构化且信息丰富的、精选自 GitHub Issue 的问题描述。然而，现实世界中的用户请求通常要短得多、结构化程度较低且表述更为随意。

To address this gap, the authors of RealSWE introduce a six-category information taxonomy and four dimensions of linguistic style to analyze real-world prompts (from SWE-chat) versus benchmark problems (from SWE-bench Verified and Pro). They discover a stark contrast: while 88% of real user prompts consist of only a problem statement (or limited context) and are casually written (87%), 94% of benchmark problems are formal and richly structured.

为了弥补这一差距，RealSWE 的作者引入了一个六类信息分类法和四个维度的语言风格，用于分析真实用户提示词（来自 SWE-chat）与基准测试问题（来自 SWE-bench Verified and Pro）之间的差异。他们发现了一个鲜明的对比：在真实用户提示词中，有 88% 仅包含问题陈述（或有限上下文）且表述随意（占 87%），而 94% 的基准测试问题则是正式且结构丰富的。

To study the impact of these discrepancies, the researchers propose RealSWE, a dataset of 381 multi-variant task families derived from SWE-bench Verified and Pro, where variants share identical underlying tasks but vary in information composition and linguistic style.

为了研究这些差异的影响，研究人员提出了 RealSWE，这是一个包含 381 个源自 SWE-bench Verified and Pro 的多变体任务族的数据集，其中变体共享相同的底层任务，但在信息组合和语言风格上有所不同。

Key Findings:

  1. Performance Drop: Realistic inputs reduce LLM resolution rates by an average of 6.4 percentage points and can significantly alter model rankings.
  2. Impact of Information Composition: Explicitly including the Desired Behavior and Motivation heavily improves software engineering performance. Conversely, adding Environment Information and Reproduction Steps merely increases token counts without providing measurable benefits.
  3. Linguistic Style: The casual versus formal tone of a prompt has only minor, model-dependent effects on overall performance.

核心发现：

  1. 性能下降：现实的输入会使大语言模型的解决率平均下降 6.4 个百分点，并可能显著改变模型排名。
  2. 信息组合的影响：显式包含期望行为（Desired Behavior）和动机（Motivation）可以极大地提升软件工程性能。相反，添加环境信息（Environment Information）和复现步骤（Reproduction Steps）仅仅增加了 Token 数量，而没有带来可衡量的收益。
  3. 语言风格：提示词的随意语气与正式语气相比，对整体性能只有微小的、取决于模型的宏观影响。

Actionable Takeaway: Users and developers working with coding agents can substantially improve LLM software engineering outcomes by explicitly stating the desired behavior and motivation—elements that are typically omitted in casual, real-world prompts.

实用启示：使用编码智能体的用户和开发人员可以通过明确阐述期望行为和动机，大幅改善大语言模型的软件工程输出效果——而这些元素在随意的真实世界提示词中通常是被省略的。

Metadata

  • Subjects: Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
  • Cite As: arXiv:2608.27831 [cs.AI]
  • DOI: 10.48550/arXiv.2608.27831

元数据

  • 学科主题： 人工智能 (cs.AI)；机器学习 (cs.LG)
  • 引用格式： arXiv:2608.27831 [cs.AI]
  • DOI： 10.48550/arXiv.2608.27831