跳转至

pro-team 参加 LLMs4OL 2026：基于检索增强生成与词汇受限过滤 本体学习方法

文章背景与核心概要

本文介绍了“pro-team”团队针对 LLMs4OL 2026 挑战赛（LLMs for Ontology Learning Challenge）的参赛方案，该方案主要聚焦于两个核心任务：端到端旗舰任务（任务 A）和本体扩展复用任务（任务 B）。作者通过实现离线的、检索增强的少样本提示词流水线，有效解决了大语言模型（LLM）常见的局限性，例如幻觉、格式不一致以及对层次关系的偏见。

系统采用了 Qwen2.5-14B-Instruct 模型，并结合 all-MiniLM-L6-v2 模型进行示例检索，同时通过左截断窗口策略高效处理长文本提示词。针对任务 B，该团队引入了一种确定性的词汇受限过滤机制以确保高质量的输出，在语义图相似度和分类体系（Taxonomy）发现方面取得了优异的性能指标。

pro-team 参加 LLMs4OL 2026：基于检索增强生成与词汇受限过滤 本体学习方法

作者： Shivam Mishra, Dhannu Ram Meena, Muneendra Ojha, Krishna Pratap Singh, Kuldeep Singh
日期： 2026年8月27日
arXiv: 2608.27101 [cs.AI]

Authors: Shivam Mishra, Dhannu Ram Meena, Muneendra Ojha, Krishna Pratap Singh, Kuldeep Singh
Date: August 27, 2026
arXiv: 2608.27101 [cs.AI]

摘要

本文介绍了针对 LLMs4OL 2026 挑战赛的 "pro-team" 提交方案，重点关注两个主要目标：端到端旗舰任务（任务 A）和本体扩展复用任务（任务 B）。作者通过实现离线、检索增强的少样本提示词流水线，解决了大语言模型（LLM）的常见局限性——例如幻觉、格式不一致以及对层次关系的偏见。

This paper presents the "pro-team" submission for the LLMs4OL 2026 Challenge, focusing on two primary objectives: the End-to-End Flagship Task (Task A) and the Ontology Extension Reuse Task (Task B). The authors address common LLM limitations—such as hallucinations, formatting inconsistencies, and a bias toward hierarchical relations—by implementing an offline, retrieval-augmented few-shot prompting pipeline.

通过利用 Qwen2.5-14B-Instruct 模型并结合 all-MiniLM-L6-v2 进行示范检索，该系统通过左截断窗口策略有效地管理了长上下文提示词。对于任务 B，团队引入了一种确定性的、受词汇约束的过滤机制以确保高质量输出，在语义图相似度和分类体系发现方面实现了强劲的性能指标。

By utilizing the Qwen2.5-14B-Instruct model combined with all-MiniLM-L6-v2 for demonstration retrieval, the system effectively manages long-context prompts through a left-truncated windowing strategy. For Task B, the team introduced a deterministic vocabulary-constrained filtering mechanism to ensure high-quality output, achieving strong performance metrics in semantic graph similarity and taxonomy discovery.

方法论

系统架构依赖于检索增强生成（RAG）框架： * 模型： Qwen2.5-14B-Instruct。 * 检索： 使用 all-MiniLM-L6-v2 为任务 A 选择前 5 个示例，为任务 B 选择前 2 个示例。 * 上下文管理： 采用左截断的上下文窗口策略，在长提示词中保持关键的任务指令。 * 过滤（任务 B）： 对生成的元组应用了确定性的、受词汇约束的过滤过程。只有当至少一个端点存在于封闭的术语/类型词汇表中时，才会保留元组，从而有效地从初始本体中消除重复项和噪声。

The system architecture relies on a retrieval-augmented generation (RAG) framework: * Model: Qwen2.5-14B-Instruct. * Retrieval: all-MiniLM-L6-v2 is used to select the top-5 examples for Task A and top-2 for Task B. * Context Management: A left-truncated context-windowing strategy is employed to maintain critical task instructions within long prompts. * Filtering (Task B): A deterministic, vocabulary-constrained filtering process was applied to generated triples. Triples are retained only if at least one endpoint exists within the closed term/type vocabulary, effectively removing duplicates and noise from the initial ontology.

性能结果

所提出的方法在挑战赛任务中表现出高度的有效性：

指标 任务 B 性能
语义图相似度 (Semantic Graph Similarity) 0.8692
术语类型化 F1 (Term-Typing F1) 0.9200
分类体系发现 F1 (Taxonomy Discovery F1) 0.8540

The proposed approach demonstrated high efficacy in the challenge tasks:

Metric Task B Performance
Semantic Graph Similarity 0.8692
Term-Typing F1 0.9200
Taxonomy Discovery F1 0.8540
  • 任务 A 性能： 语义图相似度达到 0.7416。
  • 核心局限性： 研究注意到完全缺乏非分类关系提取，作者将其归因于所使用的以分类为导向的关系词汇表的局限性。
  • Task A Performance: Achieved 0.7416 in Semantic Graph Similarity.
  • Key Limitation: The study noted a complete absence of non-taxonomic relation extraction, which the authors attribute to the constraints of the taxonomy-oriented relation vocabularies used.

访问与资源