文章背景与核心概要
随着大语言模型 (Large Language Model, LLM) 智能体逐步迈向复杂真实任务，智能体需要在运行时从庞大的工具库中精准检索出对应技能。在缺乏充足人工标注的背景下，工业界通常采用大模型生成的“合成数据”对检索器与重排器进行微调，但往往忽视了合成数据的分布局限性。本文依托一套可调度 34,396 个技能的工业级技能路由器，首次系统揭示了在合成数据上微调会诱发严重的“灾难性遗忘 (Catastrophic Forgetting)”，导致模型在真实业务数据和分布外 (OOD) 场景下的表现骤降。为此，研究团队引入了嵌入锚点正则化、无遗忘学习 (LwF) 与弹性权重整合 (EWC) 等持续学习机制，不仅有效稳固了真实场景的泛化表现，还将轻量级 Qwen 模型的分布内检索精度提升了 13.98% ，为构建稳定可靠的智能体生态提供了关键参考。
当合成数据带来负面效应：大模型智能体技能检索中的灾难性遗忘研究
When Synthetic Data Hurts: On Catastrophic Forgetting in Skill Retrieval for LLM Agents
核心概述
Summary
随着大语言模型 (Large Language Model, LLM) 智能体越来越依赖在运行时动态检索外部技能，如何从海量技能库中挑选出最为契合的技能，已成为当前智能化落地的一大核心挑战。本文提出了一个能够支持高达 34,396 个技能的生产级技能路由器，并开展了一项大规模实证研究，深入评估了在有限真实监督数据与合成数据驱动下的技能检索表现。
As Large Language Model (LLM) agents increasingly rely on external skills retrieved at runtime, selecting the right skills from massive repositories has become a critical challenge. This paper presents a production-grade skill router capable of handling 34,396 skills, alongside a large-scale study evaluating skill retrieval using limited real supervision and synthetic data.
作者团队在实验中发现：虽然在合成数据上微调可以有效提升同分布测试集上的检索表现，但这往往会诱发严重的灾难性遗忘 (Catastrophic Forgetting)，大幅削弱模型在真实世界及分布外 (Out-of-Distribution, OOD) 数据上的检索能力。为了有效化解这一矛盾，本研究评测了多种源自持续学习 (Continual Learning) 的缓解策略，包括嵌入锚点正则化 (Embedding-Anchor Regularization)、无遗忘学习 (Learning without Forgetting, LwF)、弹性权重整合 (Elastic Weight Consolidation, EWC) 以及 \(L_2\) 初始化方法。实验结果表明，这些方法不仅成功稳固了分布外技能检索的性能底线，还将基于 0.6B Qwen 的检索器与重排器在合成数据分布内的技能检索准确率额外提升了 13.98% 。
The authors discover that while fine-tuning on synthetic data improves in-distribution retrieval, it simultaneously triggers catastrophic forgetting on real and out-of-distribution (OOD) data. To counter this, the study evaluates several continual-learning-inspired mitigation strategies, including embedding-anchor regularization, Learning without Forgetting (LwF), Elastic Weight Consolidation (EWC), and \(L_2\)-initialization. Results demonstrate that these approaches not only preserve OOD skill retrieval performance but also boost synthetic in-distribution skill retrieval by 13.98% for a 0.6B Qwen retriever and reranker.
论文元数据
Document Metadata
| 元数据字段 | 详细信息 |
|---|---|
| arXiv 编号 | arXiv:2609.10750 [cs.IR] |
| 作者 | Syed Shariyar Murtaza, Yifan Nie, Utkarsh Soni, Eugene Wen, Arvid Frydenlund |
| 主分类 | 信息检索 (cs.IR) |
| 次分类 | 人工智能 (cs.AI), 机器学习 (cs.LG) |
| ACM 分类号 | H.3.3 |
| 提交日期 | 2026年9月9日 |
| 备注信息 | 正文 8 页，全文共 15 页；已被 EMNLP 2026 产业界赛道 (Industry Track) 录用 |
| DOI | 10.48550/arXiv.2609.10750 |
| 开源许可协议 | 知识共享署名 4.0 国际许可 (Creative Commons Attribution 4.0 International) |
Metadata Field Details arXiv ID arXiv:2609.10750[cs.IR]Authors Syed Shariyar Murtaza, Yifan Nie, Utkarsh Soni, Eugene Wen, Arvid Frydenlund Primary Subject Information Retrieval ( cs.IR)Secondary Subjects Artificial Intelligence ( cs.AI), Machine Learning (cs.LG)ACM Classification H.3.3 Submission Date September 9, 2026 Comments 8 main pages, 15 pages total; accepted in EMNLP Industry Track 2026 DOI 10.48550/arXiv.2609.10750 License Creative Commons Attribution 4.0 International
全文获取与访问链接
Full-Text & Access Links
- PDF 版本： 查看 PDF
- HTML 版本： 实验性在线 HTML
- TeX 源码： arXiv 原生源码
- 音频解读： 收听音频概要
- PDF Version: View PDF
- HTML Version: HTML (Experimental)
- TeX Source: arXiv e-Print Source
- Audio Summary: Listen to Audio Summary
外部资源与关联工具
External Resources & References
- 学术引用与指标： Google 学术搜索 (Google Scholar) | Semantic Scholar | NASA ADS
- 代码与关联工具： Hugging Face | CatalyzeX 论文代码检索 | alphaXiv 论文讨论区
- Citations & Metrics: Google Scholar | Semantic Scholar | NASA ADS
- Code & Associated Tools: Hugging Face | CatalyzeX Code Finder | alphaXiv Discussion
(注：根据规范保留许可协议图标)
