跳转至

pro-team 在 LLMs4OL 2026 的表现：用于本体学习的检索增强生成与词汇约束过滤

文章背景与核心概要

本文介绍了“pro-team”团队在 LLMs4OL 2026 挑战赛中的参赛方案，该方案主要针对端到端旗舰任务（任务 A）和本体扩展重用任务（任务 B）。针对大语言模型（LLM）常见的幻觉、格式不一致以及对层级关系偏见等问题，作者团队实现了一套离线检索增强的少样本提示（few-shot prompting）流水线。

该系统采用 Qwen2.5-14B-Instruct 模型，并结合 all-MiniLM-L6-v2 进行演示检索，通过左截断窗口策略有效管理长上下文提示。在任务 B 中，团队引入了确定性的词汇约束过滤机制，确保了输出的高质量，并在语义图相似度和分类学发现指标上取得了优异表现。

方法论

系统架构依赖于检索增强生成（RAG）框架： * 模型： Qwen2.5-14B-Instruct。 * 检索： 使用 all-MiniLM-L6-v2 为任务 A 选择前 5 个示例，为任务 B 选择前 2 个示例。 * 上下文管理： 采用左截断上下文窗口策略，以确保关键任务指令保留在长提示中。 * 过滤（任务 B）： 对生成的元组应用了确定性的、词汇约束的过滤过程。只有当至少一个端点存在于封闭的术语/类型词汇表中时，元组才会被保留，从而有效地从初始本体中去除了重复项和噪声。

The system architecture relies on a retrieval-augmented generation (RAG) framework: * Model: Qwen2.5-14B-Instruct. * Retrieval: all-MiniLM-L6-v2 is used to select the top-5 examples for Task A and top-2 for Task B. * Context Management: A left-truncated context-windowing strategy is employed to maintain critical task instructions within long prompts. * Filtering (Task B): A deterministic, vocabulary-constrained filtering process was applied to generated triples. Triples are retained only if at least one endpoint exists within the closed term/type vocabulary, effectively removing duplicates and noise from the initial ontology.

性能结果

所提出的方法在挑战赛任务中展现了极高的效能：

指标 任务 B 表现
语义图相似度 0.8692
术语类型 F1 分数 0.9200
分类学发现 F1 分数 0.8540
  • 任务 A 表现： 语义图相似度达到 0.7416。
  • 主要局限性： 研究指出完全缺乏非分类学关系抽取，作者将其归因于所使用的面向分类学的关系词汇表的限制。

The proposed approach demonstrated high efficacy in the challenge tasks:

Metric Task B Performance
Semantic Graph Similarity 0.8692
Term-Typing F1 0.9200
Taxonomy Discovery F1 0.8540
  • Task A Performance: Achieved 0.7416 in Semantic Graph Similarity.
  • Key Limitation: The study noted a complete absence of non-taxonomic relation extraction, which the authors attribute to the constraints of the taxonomy-oriented relation vocabularies used.

访问与资源