大语言多模态模型模态转换：自主地理信息系统（GIS）代理的先决条件

文章背景与核心概要

本文探讨了大语言多模态模型（LMMs）在执行“模态转换”方面的能力——即在文本与视觉格式之间转换和保留空间信息的能力。尽管基于文本的空间推理已被广泛研究，但现实世界中的地理信息系统（GIS）工作流需要流畅地集成这两种模态，以模拟人类的空间分析过程。

为了测试这一能力，作者提出了一项模态转换任务：由一个 LMM 描述彩色网格图像，另一个 LMM 实例仅根据该描述尝试重建原始图像。研究结果表明，当前最先进的 LMM（例如 OpenAI 的模型）在该任务上仍然面临困难，这暴露了多模态对齐中的一个关键瓶颈，必须解决这一问题才能实现稳健、自主的 GIS 代理。

LMM Modality Transfer: A Pre-requisite for Autonomous GIS Agents

大语言多模态模型模态转换：自主地理信息系统（GIS）代理的先决条件

Summary

This paper examines the capacity of Large Multimodal Models (LMMs) to perform modality transfer—the ability to seamlessly translate and retain spatial information when moving between textual and visual formats. While text-based spatial reasoning has been heavily studied, real-world Geographic Information Systems (GIS) workflows require the fluid integration of both modalities, mimicking human spatial analysis.

To test this capability, the authors propose a modality transfer task where one LMM describes an image of a colored grid, and a second LMM instance attempts to reconstruct the original image solely from that description. The findings reveal that current state-of-the-art LMMs (such as OpenAI's models) still struggle with this task, exposing a critical bottleneck in multi-modal alignment that must be resolved to achieve robust, autonomous GIS agents.

本文考察了大语言多模态模型（LMM）执行模态转换的能力，即在文本和视觉格式之间转换时无缝翻译和保留空间信息的能力。虽然基于文本的空间推理已被广泛研究，但现实世界的地理信息系统（GIS）工作流需要流畅地集成这两种模态，从而模仿人类的空间分析。

为了测试这一能力，作者提出了一项模态转换任务：其中一个 LMM 描述一张彩色网格图像，第二个 LMM 实例则仅根据该描述尝试重建原始图像。研究结果表明，当前最先进的 LMM（例如 OpenAI 的模型）在该任务上仍然举步维艰，这暴露了多模态对齐中的一个关键瓶颈，而要实现强大且自主的 GIS 代理，就必须解决这一瓶颈。

Document Metadata

文档元数据

元数据字段	详情
arXiv ID	arXiv:2608.06948 [cs.AI]
相关 DOI	10.4230/LIPIcs.COSIT.2026.14
主要学科	人工智能 (cs.AI)
提交日期	2026年8月7日
作者	Ivan Majic, Zexian Huang, Franziska Hübl, Krzysztof Janowicz, Meilin Shi, Mina Karimi, Zilong Liu, Alexandra Fortacz-Lazan
许可证	知识共享署名 4.0

Abstract

AI models are becoming increasingly adept at understanding and processing spatial information, thereby facilitating agentic problem-solving in spatial tasks and workflows. However, most of the research on their spatial capabilities (e.g., spatial reasoning) has focused on the textual modality as input and output. This contrasts with the human approach to GIS workflows, where text and visual modalities are often used together, interchangeably, and in a complementary manner.

Thus, to truly achieve an automated GIS analysis pipeline or carry out human-designed GIS workflows, AI models—Large Multimodal Models (LMMs) in particular—need to be able to seamlessly transition between image- and text-based modalities that are traditionally used in such workflows. We present a modality transfer task that: 1. Asks an LMM to first describe an input image of colored squares in a regular grid, and 2. Asks a new LMM instance to re-generate an image of the original spatial scene using the textual description output by the former model.

This task quantifies the ability of LMMs to transfer spatial information between image and text modalities. Ultimately, by examining the modality transfer capability of LMMs through the lens of spatial information theory, this work highlights a critical bottleneck: achieving strong and robust geospatial understanding in LMMs requires rigorous, multi-modal alignment. Our results indicate that recent LMMs (here from OpenAI) still struggle with modality transfer, when tasked with re-generating an image of a simple spatial grid of color squares.

人工智能模型在理解和处理空间信息方面正变得越来越熟练，从而促进了空间任务和工作流中的智能体问题解决。然而，大部分关于其空间能力（如空间推理）的研究都集中在以文本模态作为输入和输出上。这与人类处理 GIS 工作流的方法形成了鲜明对比，在人类的工作流中，文本和视觉模态经常被结合、交替且互补地使用。

因此，为了真正实现自动化的 GIS 分析管道或执行人工设计的 GIS 工作流，人工智能模型——尤其是大语言多模态模型（LMM）——需要能够在传统上用于此类工作流的基于图像和基于文本的模态之间进行无缝过渡。我们提出了一项模态任务转换，该任务： 1. 要求 LMM 首先描述规则网格中彩色方块的输入图像，以及 2. 要求一个新的 LMM 实例使用前一个模型输出的文本描述来重新生成原始空间场景的图像。

这项任务量化了 LMM 在图像和文本模态之间传输空间信息的能力。最终，通过空间信息理论的视角审视 LMM 的模态转换能力，本工作强调了一个关键瓶颈：在 LMM 中实现强大且稳健的地理空间理解需要严格的多模态对齐。我们的结果表明，当被指派重新生成简单彩色方块空间网格的图像时，近期的 LMM（此处来自 OpenAI）在模态转换方面仍然举步维艰。

Access & Resources

• Full-Text Options:
• View PDF
• HTML Version (Experimental)
• TeX Source
• External Bibliographic Tools:
• Google Scholar
• Semantic Scholar
• NASA ADS

访问与资源

• 全文选项：
• 查看 PDF
• HTML 版本（实验性）
• TeX 源码
• 外部书目工具：
• Google Scholar
• Semantic Scholar
• NASA ADS