跳转至

SLED：通过知识蒸馏实现可扩展的位置编码

文章背景与核心概要

地球观测（EO）数据为全球表征学习提供了巨大的机遇，但现有的最先进模型严重依赖高昂计算成本的 CLIP 风格框架，这些框架需要极大的批次大小（16K–32K），存在假阴性样本问题，且在扩展新模态时表现较差。

为了克服这些局限性，本文提出了 SLED（基于蒸馏的可扩展位置编码器）。该方法将地理位置作为绑定模态，在无需时空配准的情况下，实现跨多种地理空间数据的位置编码器预训练。SLED 能够在小至 128 的批次大小下高效运行，大幅降低了计算成本与运行时间。在涵盖 Sentinel-1、Sentinel-2 和 Landsat 影像的 19 项以人为本的基准任务评估中，SLED 展现出了轻量化、模块化的设计，其性能与现有方法相当甚至更胜一筹。

摘要 (Summary)

本文介绍了 SLED（基于蒸馏的可扩展位置编码器），这是一种用于地理空间位置编码的新型基于蒸馏的框架。虽然地球观测（EO）数据为全球表征学习提供了广阔的机遇，但现有的最先进模型依赖于高成本的 CLIP 风格框架，这些框架需要极大的批次大小（16K–32K）、容易受到假阴性样本的困扰，并且难以随着新模态的增加而进行有效扩展。

SLED 通过将地理位置作为绑定模态来克服这些局限性，使得无需时空配准即可跨各种类型的地理空间数据预训练位置编码器。它在小至 128 的批次大小下即可高效运行，显著降低了计算成本和运行时间。通过使用 Sentinel-1、Sentinel-2 和 Landsat 影像在 19 项以人为本的基准任务上进行评估，SLED 在提供轻量化、模块化设计的同时，匹配或超越了现有方法。

The paper introduces SLED (Scalable Location Encoder via Distillation), a novel distillation-based framework for geospatial location encoding. While Earth Observation (EO) data provides vast opportunities for global representation learning, existing state-of-the-art models rely on costly CLIP-style frameworks that require massive batch sizes (16K–32K), struggle with false negatives, and scale poorly with new modalities.

SLED overcomes these limitations by using geographic location as a binding modality, enabling the pretraining of location encoders across various types of geospatial data without requiring spatiotemporal coregistration. It functions efficiently with batch sizes as small as 128, significantly reducing compute costs and runtime. Evaluated on 19 human-centric benchmark tasks using Sentinel-1, Sentinel-2, and Landsat imagery, SLED matches or outperforms existing methods while offering a lightweight, modular design.

文档元数据 (Document Metadata)

元数据字段 详情
arXiv ID arXiv:2608.06612 [cs.CV]
学科分类 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)
ACM 类别 I.2.4; I.2.6
DOI 10.48550/arXiv.2608.06612
提交日期 2026年8月6日
许可协议 知识共享署名 4.0 国际版 license icon

Document Metadata

Metadata Field Details
arXiv ID arXiv:2608.06612 [cs.CV]
Subjects Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI)
ACM Classes I.2.4; I.2.6
DOI 10.48550/arXiv.2608.06612
Submission Date August 6, 2026
License Creative Commons Attribution 4.0 International license icon

作者 (Authors)

  • Kevin Lane
  • Zhongying Wang
  • Esther Rolf
  • Morteza Karimzadeh

Authors

  • Kevin Lane
  • Zhongying Wang
  • Esther Rolf
  • Morteza Karimzadeh

摘要正文 (Abstract)

大量现成的地理空间数据为学习地球的高质量表征提供了令人兴奋的机会，但地球观测（EO）数据的庞大规模、不同的模态以及不同的传感器类型在这样做的过程中构成了重大的挑战。位置编码器已经成为将 EO 压缩为特定位置嵌入的高效方法。然而，当前最先进的位置编码器依赖于计算成本高昂的 CLIP 风格框架，这些框架需要 16K–32K 范围的大批次大小，遭受假阴性样本的困扰，并且随着附加模态的增加而难以有效扩展。我们引入了基于蒸馏的可扩展位置编码器（SLED），这是一种基于蒸馏的位置编码器，它使用地理空间位置作为绑定模态，利用任何模态的地理空间数据来预训练位置编码器。由此产生的位置编码器框架轻量、模块化，并且可以灵活地结合多种模式，同时消除了对样本进行时空配准的需求。SLED 在小至 128 的批次大小下也能高效运行，从而以当前最先进模型的一小部分运行时间和计算成本进行预训练。我们通过在 Sentinel-1、Sentinel-2 和 Landsat 影像上预训练单模态和多模态 SLED 模型来展示我们的方法。我们表明，单模态和多模态 SLED 模型在 19 项多样化的以人为本的基准任务上均保持或优于现有方法，并探讨了在预训练中使用附加模式的好处。

The plethora of readily available geospatial data offers exciting opportunities to learn high quality representations of the planet, but the sheer size of the Earth Observations (EO), differing modalities, and different sensor types pose significant challenges in doing so. Location encoders have emerged as an efficient way of compressing EOs into location-specific embeddings. However, current state-of-the-art location encoders rely on computationally expensive CLIP-style frameworks that require large batch sizes in the 16K–32K range, suffer from false negative samples, and scale poorly with additional modalities. We introduce the Scalable Location Encoder via Distillation (SLED), a distillation-based location encoder that uses geospatial location as a binding modality to pretrain location encoders with any modality of geospatial data. The resulting location encoder framework is lightweight, modular, and can flexibly incorporate multiple modes, while eliminating the need for spatiotemporal coregistration of samples. SLED is performant with batch sizes as small as 128, enabling pretraining at a fraction of the runtime and compute costs of current state-of-the-art models. We demonstrate our approach by pretraining unimodal and multimodal SLED models on Sentinel-1, Sentinel-2, and Landsat imagery. We show that both unimodal and multimodal SLED models keep pace with or outperform existing approaches on a diverse set of 19 human-centric benchmark tasks and explore the benefits of using additional modes in pretraining.

访问与资源 (Access & Resources)

Access & Resources