跳转至

关系线性度是大模型幻觉的预测指标

文章背景与核心概要

大语言模型（LLM）中的幻觉现象一直是制约其可靠性的根本缺陷之一。本文探讨了当大模型面对关于合成、未知实体的事实性问题时（例如查询并不存在的未知主体的晦涩关系），其反应机制如何。作者验证了一个核心假设：关系线性度是驱动这些幻觉的关键因素。首先，由于抽象的线性关系嵌入，模型在面对线性关系时，可以轻而易举地为并不存在的实体生成听起来合理的客体，从而导致幻觉而非拒绝回答；其次，对于非线性关系，这种生成机制无法施展，因此模型更容易避免幻觉。

为了验证这一理论，作者推出了名为 SynthHal 的基准测试，涵盖了针对未知合成实体的 15 种关系。通过对四款经过指令微调的模型进行评估，研究人员发现模型的幻觉倾向（即倾向于编造答案而非拒绝）与关系线性度之间存在着极强的正相关性（相关系数 \(r \in [.58, .84]\)）。

概览与总结

Authors: Yuetian Lu, Yihong Liu, Sebastian Gerstner, Lea Hirlimann, Jonas Rohweder, Hinrich Schütze
Primary Subject: Computation and Language (cs.CL)
Secondary Subject: Artificial Intelligence (cs.AI)
arXiv ID: arXiv:2601.11429
Publication History: * Submitted: January 16, 2026 * Last Revised: September 3, 2026 (v3)

摘要总结

大语言模型（LMs）中的幻觉依然是一个根本性的失效模式。本研究调查了大模型对有关合成、未知实体的事实性问题的反应（例如，查询不存在的主体的晦涩关系）。作者测试了关系线性度驱动这些幻觉的假设： 1. 由于抽象的线性关系嵌入，大模型在线性关系下可以轻松为不存在的主体生成听听起来合理的客体，从而导致幻觉而非拒绝。 2. 对于非线性关系，这种生成机制不可用，使得幻觉更容易被避免。

为了检验这一点，作者引入了 SynthHal，这是一个涵盖未知合成实体上 15 种关系的基准。通过评估四个经过指令微调的模型，他们发现关系线性度与模型倾向于幻觉回答而不是拒绝回答之间存在强相关性（\(r \in [.58, .84]\)）。

元数据与资源链接