跳转至

文章背景与核心概要

自动化安全补丁向后移植（Automated security patch backporting）是缓解软件生态系统中 N 日漏洞（N-day vulnerabilities）的关键手段。尽管近期的一些自动化工具在孤立或同质化的数据集上宣称具有极高的成功率（通常超过 80%），但它们在多样化环境中的真实泛化能力此前一直不明朗。本文已被 ASE 2026 录用，并引入了一个名为 Porting Benchmark 的精心整理的评估数据集，其中包含 1,234 个涵盖跨版本、跨分支和跨仓库场景的安全补丁向后移植案例。

通过在统一协议下对五种最先进的工具（涵盖程序分析、LLM 提示词工程和 LLM 代理）进行测试，研究人员展示了对齐评估如何显著重塑自动化修复工具的性能格局。研究表明，在面对结构复杂的补丁时，性能会急剧下降，最佳的提交级成功率从 Type-I 补丁的 85.2% 跌至 Type-IV 补丁的 24.0%。同时，论文指出了四类根本原因，并为下一代工具设计指明了具体方向。

Benchmarking Automated Security Patch Backporting: How Far Are We?

License: CC BY 4.0 License Icon

概述与总结

自动化安全补丁向后移植是缓解整个软件生态系统中 N 日漏洞的关键实践。虽然最近的自动化 tools 在孤立或同质化数据集中的成功率很高（通常超过 80%），但它们在不同环境中的真正泛化能力仍然不明确。

本论文已被 ASE 2026 接受，引入了 Porting Benchmark，这是一个经过精心整理的评估数据集，包含 1,234 个安全补丁向后移植案例，横跨跨版本、跨分支和跨仓库场景。通过在统一协议下对五种最先进的工具（涵盖程序分析、LLM 提示和 LLM 代理）进行测试，作者展示了对齐评估如何显著重塑自动化打补丁工具的性能格局。

Automated security patch backporting is a critical practice for mitigating N-day vulnerabilities across software ecosystems. While recent automated tools boast high success rates (often exceeding 80%) within isolated or homogeneous datasets, their true generalization capabilities across diverse environments have remained unclear.

This paper—accepted at ASE 2026—introduces Porting Benchmark, a curated evaluation dataset comprising 1,234 security patch backporting cases spanning cross-version, cross-branch, and cross-repository scenarios. By subjecting five state-of-the-art tools (spanning program analysis, LLM prompting, and LLM agents) to a unified protocol, the authors demonstrate how aligned evaluation significantly reshapes the performance landscape of automated patching tools.

论文元数据

字段 详情
arXiv ID arXiv:2608.17671 [cs.SE]
学科领域 软件工程 (cs.SE); 人工智能 (cs.AI); 密码学与安全 (cs.CR)
作者 Jincheng Yang, Yulong Fu, Chengwei Liu, Lyuye Zhang, Fangyuan Zhang, Bingyang Ren, Yang Liu, Hui Li
提交日期 2026年8月18日
会议 ASE 2026 (13 页, 3 个图表)
研究产物与代码 Zenodo DOI (10.5281/zenodo.21785770)

Paper Metadata

Field Details
arXiv ID arXiv:2608.17671 [cs.SE]
Subjects Software Engineering (cs.SE); Artificial Intelligence (cs.AI); Cryptography and Security (cs.CR)
Authors Jincheng Yang, Yulong Fu, Chengwei Liu, Lyuye Zhang, Fangyuan Zhang, Bingyang Ren, Yang Liu, Hui Li
Submission Date August 18, 2026
Conference ASE 2026 (13 pages, 3 figures)
Artifacts & Code Zenodo DOI (10.5281/zenodo.21785770)

摘要

自动化安全补丁向后移植对于缓解 N 日漏洞至关重要。近期的工具在其各自的数据集上报告了超过 80% 的成功率。然而，这些评估通常局限于同质化环境，例如单个代码库或特定的项目版本。因此，这些工具在超越其最初目标场景时的泛化表现如何仍不明确。

我们提出了 Porting Benchmark，这是一个包含 1,234 个安全补丁向后移植案例的精选数据集，涵盖跨版本、跨分支和跨仓库场景，并配有公共评估框架。利用该基准，我们在对齐的设置下评估了涵盖程序分析、LLM 提示词和 LLM 代理的五种工具。

我们的结果表明，对齐评估改变了表面的性能格局： * PortGPT 和 TSBPort 在复制数据集上保持了相对较强的性能。 * FixMorph 和 Mystique 在公共协议下性能大幅下降。 * 结构复杂补丁的性能急剧下降：最佳提交级成功率从 Type-I 补丁的 85.2% 下跌至 Type-IV 补丁的 24.0%。

我们识别出了四大根本原因类别，并为下一代工具的设计推导出了具体方向： 1. 缺乏对目标 API 的感知能力。 2. 跨版本语义不匹配。 3. 非局部依赖传播失败。 4. 补丁构建或定位失败。

在一个包含 45 个案例、经过动态验证（带有验证测试用例和构建的 POC）的子集中，我们进一步观察到，基于参考的基准得分并不能完全捕捉真实的修复效果：精确匹配严重低估了较难的目标适配，而可执行验证则揭示了静态参考一致性所忽略的目标中残留的集成失败。可执行反馈改进在最困难的可执行案例上提供了有限但可测量的恢复。

Abstract

Automated security patch backporting is critical for mitigating N-day vulnerabilities. Recent tools report success rates above 80% on their respective datasets. However, these evaluations are often confined to homogeneous environments, such as one repository or specific project versions. Consequently, it remains unclear how well these tools generalize beyond their originally targeted scenarios.

We present Porting Benchmark, a curated dataset of 1,234 security patch backporting cases spanning cross-version, cross-branch, and cross-repository scenarios, paired with a common evaluation framework. Using this benchmark, we evaluate five tools spanning program analysis, LLM prompting, and LLM agents under aligned settings.

Our results show that aligned evaluation changes the apparent performance landscape: * PortGPT and TSBPort remain comparatively strong on the Replication Dataset. * FixMorph and Mystique degrade substantially under the common protocol. * Performance degrades sharply on structurally complex patches: the best commit-level success rate falls from 85.2% on Type-I patches to 24.0% on Type-IV.

We identify four root-cause categories and derive concrete directions for next-generation tool design: 1. Missing target API awareness. 2. Cross-version semantic mismatch. 3. Non-local dependency propagation failure. 4. Patch construction or localization failure.

On a 45-case dynamically validated subset with verified test cases and constructed POCs, we further observe that reference-based benchmark scores do not fully capture real-world remediation: exact match sharply under-credits harder target adaptations, while executable validation reveals residual integration failures in the target that static reference agreement misses. Executable-feedback refinement provides limited but measurable recovery on the hardest executable cases.

全文与访问链接

Full-Text & Access Links