跳转至

CulTrace：追踪大语言模型内部的文化推理过程

文章背景与核心概要

随着大语言模型（LLM）在全球多元文化背景下的广泛应用，深入理解模型如何表征和处理不同文化变得至关重要。传统的评估方法主要关注模型的输出结果，却难以解释模型为何会生成错误或文化敏感度不足的回答。

本文介绍了一种名为 CulTrace 的方法，该方法基于机械可解释性（mechanistic interpretability），旨在探测大语言模型内部的文化知识表征。研究发现，模型在进行文化问答时遵循一套一致的阶段性推理轨迹：首先是领域介入（Domain Engagement），接着是文化解析（Culture Resolution），最后是答案收敛（Answer Convergence）。此外，研究还揭示了模型在文化推理上存在显著的不平衡性，特别是在处理代表性较低的文化时，模型往往表现出解析延迟和更高的混淆度。

CulTrace：追踪大语言模型内部的文化推理过程

摘要

随着大语言模型（LLM）在不同文化背景下的广泛部署，我们需要更深入地理解模型对不同文化的隐藏表征。以往的研究通过分析输出结果来评估 LLM 的文化意识，但这种方法忽略了文化在模型参数内部是如何表征的，从而无法解释模型为何会生成错误的回答。为了弥补这一差距，我们提出了 CulTrace，这是一种基于机械可解释性的方法，用于探测 LLM 内部的文化知识表征。通过 CulTrace，我们检查了文化知识如何在各层中被处理，以及在文化问答过程中如何被整合。我们发现模型遵循一致的阶段性文化推理轨迹：模型首先介入问题的领域，然后解析相关文化，最后收敛到答案。我们还证明了模型的文化推理是不平衡的，在处理代表性较低的文化时，表现出相关文化解析的延迟和更多的混淆。

The growing deployment of large language models (LLMs) across diverse cultural contexts necessitates a deeper understanding of models' hidden representations of different cultures. Prior work has evaluated cultural awareness in LLMs by analysing their outputs. This approach overlooks how cultures are represented within the model parameters, missing why models generate incorrect responses. To bridge this gap, we propose CulTrace, a mechanistic interpretability-based method that probes the internal representations of LLMs for cultural knowledge. With CulTrace, we inspect how cultural knowledge is processed across layers and how it is integrated during cultural QA. We find a consistent staged trajectory of cultural reasoning. Models first engage with the question's domain, then resolve the relevant culture, and finally narrow in on an answer. We also demonstrate that models' cultural reasoning is imbalanced, showing delayed relevant culture resolution and more confusion with less-represented cultures.

论文元数据

作者

  • Haeun Yu
  • Arnav Arora
  • Seogyeong Jeong
  • Nadav Borenstein
  • Siddhesh Pawar
  • Jisu Shin
  • Jiho Jin
  • Junho Myung
  • Alice Oh
  • Isabelle Augenstein
  • Haeun Yu
  • Arnav Arora
  • Seogyeong Jeong
  • Nadav Borenstein
  • Siddhesh Pawar
  • Jisu Shin
  • Jiho Jin
  • Junho Myung
  • Alice Oh
  • Isabelle Augenstein

获取资源