跳转至

SkillSight：校准技能检索中的通用内容偏差

文章背景与核心概要

随着大语言模型（LLM）智能体日益依赖庞大的技能库，准确检索出正确的技能变得至关重要。然而，现有的检索器在处理技能文档时常常面临“通用内容偏差”问题，因为技能描述中往往包含大量重复、缺乏区分度的模式，这会在稠密相关性得分中引入“噪声”，掩盖真正的能力信号。

为了解决这一痛点，本文推出了 SkillSight——一个创新且无需训练的检索框架。通过在语义空间和词汇空间中对这些共享的背景信息进行校准，SkillSight 有效克服了结构相似的难负样本带来的干扰，在大幅提升检索准确率的同时保持了极高的计算效率。

核心特性与方法论

问题所在：共享的描述性背景

  • 排序干扰： 现有的检索器将技能视为标准文档，未能考虑到技能库具有高度规则化的结构。
  • 能量鸿沟： 共享的描述性模式在查询和文档之间引发了明显的能量鸿沟（energy gap），从而掩盖了具有区分度的信号。

The Problem: Shared Descriptive Background

  • Ranking Interference: Existing retrievers treat skills as standard documents, failing to account for the highly regular structure of skill libraries.
  • Energy Gaps: Shared descriptive patterns induce a pronounced energy gap between queries and documents, which masks discriminative signals.

解决方案：SkillSight

SkillSight 通过两个主要的校准机制来运作： 1. 语义背景 Calibration（Semantic Background Calibration）： 利用 IDF 识别出的通用词元（tokens）来估计背景子空间，从而减少由共享描述性模式引起的相似度。 2. 词汇证据 Calibration（Lexical Evidence Calibration）： 对共享的背景词元进行降权处理，以恢复并突显具有区分度的、词元级别的证据。

The Solution: SkillSight

SkillSight operates through two primary calibration mechanisms: 1. Semantic Background Calibration: Estimates a background subspace using IDF-identified generic tokens to reduce similarity caused by shared descriptive patterns. 2. Lexical Evidence Calibration: Downweights shared background tokens to recover and highlight discriminative, token-level evidence.

性能亮点

  • 准确率提升： 相比标准稠密检索器，其 Recall@10 提升了高达 20.21 个百分点。
  • 运行高效： 运行速度比传统的“稠密检索 + 重排器（Dense + Reranker）”基线快达 1,248 倍。
  • 智能体性能： 在端到端评估中，在三个不同的智能体模型上，SkillSight 的表现比标准的 LLM 选择方法高出最多 4.97 个百分点。

Performance Highlights

  • Improved Accuracy: Achieved a Recall@10 improvement of up to 20.21 percentage points over standard dense retrievers.
  • Efficiency: Operates up to 1,248 times faster than traditional "Dense + Reranker" baselines.
  • Agent Performance: In end-to-end evaluations, SkillSight outperformed standard LLM Selection methods by up to 4.97 percentage points across three different agent models.

相关资源

Resources

元数据：9页，4张图表。主要学科：人工智能 (cs.AI)。

Metadata: 9 pages, 4 figures. Primary Subject: Artificial Intelligence (cs.AI).