跳转至

从语言模型嵌入中恢复时间与地理信号

文章背景与核心概要

本文探讨了语言模型的输出嵌入（Embeddings）是否编码了关于时间和空间的结构化真实世界信息。作者引入了一种简单、完全黑盒且与模型无关的投影方法，该方法纯粹依赖于输出嵌入和少量种子示例，而无需模型权重、内部激活或辅助训练。将其应用于时间和地理数据集后，该方法成功恢复了有意义的时间顺序和空间结构。

这项研究为输出嵌入固有地捕获时空信号提供了强有力的证据，为模型可解释性以及时间排序、地理排序和标签化等下游任务提供了一个轻量级的工具。

摘要 (Abstract)

理解语言模型的嵌入是否编码了结构化的真实世界信息，对于表示分析和信息检索都至关重要。我们使用一种直接作用于输出嵌入的简单的基于投影的方法，对时间和地理信号的这一问题进行了研究。给定一组少量的种子示例，该方法在嵌入空间中定义一个轴，并通过文本或实体在该轴上的投影来进行排序。

Understanding whether language-model embeddings encode structured real-world information is important for both representation analysis and information retrieval. We study this question for temporal and geographic signals using a simple projection-based method that operates directly on output embeddings. Given a small set of seed examples, the method defines an axis in embedding space and ranks texts or entities by their projection onto that axis.

我们的方法完全是黑盒且与模型无关的：它仅需要嵌入，无需访问模型权重、内部激活、辅助探针或额外训练。这使得它适用于仅通过 API 提供的现代嵌入模型，并为分析其表示空间中是否存在时间和空间维度提供了一种轻量级的方法。我们将该方法应用于时间和地理数据集，发现嵌入投影恢复了有意义的时间和空间结构。这些结果证明了输出嵌入编码了与时间和空间相关的信号，同时也为可解释性以及下游的时间与地理信息检索任务（如时间排序、地理排序和标签化）提供了一个实用的工具。

Our approach is fully black-box and model-agnostic: it requires only embeddings, without access to model weights, internal activations, auxiliary probes, or additional training. This makes it applicable to modern embedding models available only through APIs and provides a lightweight way to analyze whether temporal and spatial dimensions are present in their representation spaces. We apply the method to temporal and geographic datasets and find that embedding projections recover meaningful chronological and spatial structure. These results provide evidence that output embeddings encode signals relevant to time and space, while also offering a practical tool for interpretability and for downstream temporal and geographic information retrieval tasks, such as temporal ordering, geographic ranking, and tagging.

文章详情 (Article Details)

  • arXiv ID: 2609.05721 [cs.AI]
  • Primary Subject: Artificial Intelligence (cs.AI)
  • Secondary Subject: Information Retrieval (cs.IR)
  • Submission Date: September 4, 2026
  • DOI: 10.48550/arXiv.2609.05721

作者 (Authors)

  • Esteban Feuerstein
  • Victoria Klimkowski
  • Juan Manuel Ortiz de Zarate
  • Federico Hernán Suaiter
  • Esteban Feuerstein
  • Victoria Klimkowski
  • Juan Manuel Ortiz de Zarate
  • Federico Hernán Suaiter

全文与资源 (Full-Text & Resources)

引用与参考 (Citation & References)