跳转至

前沿大语言模型能否匹敌原生多模态嵌入？硬负例文本到图像检索的对比研究

文章背景与核心概要

本文评估了前沿大语言模型（LLM）作为零样本排序器时，与最先进的原生多模态嵌入模型相比表现如何。传统的多模态检索依赖于双编码器对比模型。然而，随着谷歌 Gemini Embedding 2 等模型的发布（它将文本、图像、视频、音频和文档统一到一个共享的向量空间中）以及前沿LLM视觉能力的不断提升，作者在 Flickr30k 数据集上使用硬负例（hard-negative）文本到图像检索进行了直接对比。

主要研究发现表明： * GPT-4.1 和 Claude Sonnet 4.6 等前沿大语言模型表现出极强的竞争力，其检索性能与 Gemini Embedding 2 不相上下。 * 一旦嵌入完成预计算，多模态嵌入模型显然更适合低延迟的生产环境应用。

Summary

This paper evaluates whether frontier Large Language Models (LLMs) can function effectively as zero-shot rankers compared to state-of-the-art natively multimodal embedding models. Traditionally, multimodal retrieval relies on dual-encoder contrastive models. However, with the release of models like Google's Gemini Embedding 2—which unifies text, images, video, audio, and documents into a shared vector space—and the rising visual capabilities of frontier LLMs, the authors present a direct comparison on the Flickr30k dataset using hard-negative text-to-image retrieval.

Key findings indicate that: * Frontier LLMs like GPT-4.1 and Claude Sonnet 4.6 perform competitively, matching the retrieval performance of Gemini Embedding 2. * Once embeddings are precomputed, multimodal embedding models are significantly better suited for low-latency production applications.

本文评估了前沿大语言模型（LLM）作为零样本排序器时，与最先进的原生多模态嵌入模型相比表现如何。传统的多模态检索依赖于双编码器对比模型。然而，随着谷歌 Gemini Embedding 2 等模型的发布（它将文本、图像、视频、音频和文档统一到一个共享的向量空间中）以及前沿LLM视觉能力的不断提升，作者在 Flickr30k 数据集上使用硬负例文本到图像检索进行了直接对比。

主要研究发现表明： * GPT-4.1 和 Claude Sonnet 4.6 等前沿大语言模型表现出极强的竞争力，其检索性能与 Gemini Embedding 2 不相上下。 * 一旦嵌入完成预计算，多模态嵌入模型显然更适合低延迟的生产环境应用。

Abstract

Multimodal retrieval and classification across different types of media, spanning text, images, video and audio, has traditionally relied on dual-encoder models that align visual and textual representations through contrastive learning. The March 2026 release of Gemini Embedding 2, Google's first natively multimodal embedding model to map text, images, video, audio, and documents into a single shared space, raises competition among multimodal retrieval systems.

Simultaneously, frontier Large language models (LLMs) have also demonstrated strong visual understanding, raising the question of whether they can serve as effective zero-shot rankers. Our study provides the first direct comparison of native multimodal embeddings against LLM-based visual ranking on Flickr30k. We observe that GPT-4.1 and Claude Sonnet 4.6 perform on par with Gemini Embedding 2. Additionally, once embeddings are precomputed, multimodal embeddings are better suited for low-latency applications.

跨文本、图像、视频和音频等不同媒体类型的多模态检索和分类，传统上一直依赖于通过对比学习来对齐视觉和文本表示的双编码器模型。谷歌于 2026 年 3 月发布的 Gemini Embedding 2 是其首个将文本、图像、视频、音频和文档映射到单一共享空间的原生多模态嵌入模型，这加剧了多模态检索系统之间的竞争。

与此同时，前沿大语言模型（LLM）也展现出了强大的视觉理解能力，这引发了一个问题：它们能否作为有效的零样本排序器？我们的研究在 Flickr30k 上首次直接对比了原生多模态嵌入与基于 LLM 的视觉排序。我们发现，GPT-4.1 和 Claude Sonnet 4.6 的表现与 Gemini Embedding 2 不相上下。此外，一旦预先计算好嵌入，多模态嵌入将更适合低延迟的应用场景。

Metadata & References