视觉语言模型内部伪装视觉上下文的隐藏演化
文章背景与核心概要
随着视觉语言模型（VLM）的飞速发展，视觉标记（Visual Tokens）如何被输入大语言模型（LLM）并与之融合，一直是多模态架构设计中的核心问题。目前主流的融合方案主要分为两类：一是“上下文提示”（In-context Prompting），将视觉标记作为输入序列提示处理；二是“逐层注入”（Layer-wise Injection），将视觉标记直接注入到LLM的中间层中。然而，在相同训练条件下对这两种架构进行严格控制和公平对比的研究仍然相对匮乏。
本文深入探讨了VLM处理视觉标记并将其融入LLM的内在机制。研究发现了一个令人瞩目的“隐藏演化”过程：视觉标记最初作为缺乏语言结构的原始外部信号（即伪装的视觉上下文）进入LLM，随后在特定的融合范式下被逐步重塑，并捕获到截然不同的频率特征。该研究证明，模型在各项任务中的最终性能取决于每一层视觉表示的质量，而不仅仅是注意力机制的分配。这一发现为未来更高效、更具鲁棒性的多模态大模型架构设计提供了重要的理论支撑。
隐藏在VLM内部伪装视觉上下文的隐藏演化
arXiv ID: [arXiv:2606.20077 [cs.CV]]
DOI: 10.48550/arXiv.2606.20077
主学科: 计算机视觉与模式识别 (cs.CV)
次学科: 人工智能 (cs.AI)
提交历史:
[v1] 2026年6月18日（星期四）
[v2] 2026年8月13日（星期四）(当前版本)
作者
- Wish Suharitdamrong
- Tony Alex
- Xiatian Zhu
- Muhammad Awais
- Sara Atito
📌 总结
本文研究了视觉语言模型（VLM）如何处理视觉标记并将其整合到大语言模型（LLM）中。通过在相同的训练条件下，对上下文提示（将视觉标记视作输入序列提示）与逐层注入（将视觉标记直接注入LLM中间层）进行对照和公平比较，作者在单图、多图以及视频基准测试中对模型性能进行了评估。
研究揭示了一个“隐藏演化”过程：视觉标记最初以缺乏语言结构的原始、外部信号（即伪装的视觉上下文）进入LLM。在经过处理后，它们会根据特定的融合范式被逐步重塑，从而捕获根本不同的频率特征。最终，这种内部演化决定了特征的利用率、与语言空间的对齐程度以及特定任务的性能，这证明了性能的高低是由各层视觉表示的质量驱动的，而不仅仅取决于注意力分配。
This paper investigates how Vision-Language Models (VLMs) process visual tokens and integrate them into Large Language Models (LLMs). By conducting a controlled, fair comparison between in-context prompting (treating visual tokens as input sequence prompts) and layer-wise injection (injecting visual tokens directly into intermediate LLM layers) under identical training conditions, the authors evaluate performance across single-image, multi-image, and video benchmarks.
The study reveals a "hidden evolution": visual tokens initially enter the LLM as raw, foreign signals lacking linguistic structure (disguised visual context). As they are processed, they are progressively reshaped by their specific integration paradigm, capturing fundamentally different frequency characteristics. Ultimately, this internal evolution dictates feature utilization, alignment with the language space, and task-specific performance, proving that performance is driven by the quality of visual representations at each layer rather than mere attention allocation.
📄 摘要
视觉标记以原始、外部信号的形式进入大语言模型（LLM）。它们如何被转化为有意义的表示并与语言空间交互，完全取决于融合架构——无论是将视觉标记作为输入序列内的上下文提示，还是将其直接注入LLM的中间层。目前，对于这些架构选择如何影响视觉信息及其内部转化以融入LLM的过程，缺乏对照比较和深入理解。我们在相同的训练条件下，通过在单图、多图和视频基准上对上下文提示和逐层注入这两种VLM融合范式进行评估，提供了一次公平的比较。在此过程中，我们揭示了一个隐藏的演化过程：视觉标记以缺乏语言结构的原始表示（即伪装的视觉上下文）进入LLM，但会根据融合范式被逐步重塑，每种范式都捕获了视觉信号根本不同的频率特征。我们表明，LLM内部的这种演化决定了VLM可以有效利用哪些视觉特征、视觉表示如何与语言空间对齐，并最终决定了各个范式在不同任务中的表现。我们进一步证明，仅靠注意力分配是不够的，性能是由每一层视觉表示的质量所驱动的。
Visual tokens enter Large Language Models (LLMs) as raw, foreign signals. How they are transformed into meaningful representations and interact with the language space depends entirely on the integration architecture. Whether by treating visual tokens as in-context prompts within the input sequence or injecting them directly into the LLM's intermediate layers. A controlled comparison and understanding of how these architectural choices affect visual information and its internal transformation to integrate with the LLM remains underexplored. We provide a fair comparison by evaluating in-context and layer-wise injection VLM integration paradigms under identical training conditions across single image, multi-image, and video benchmarks. In doing so, we uncover a hidden evolution where visual tokens enter the LLM as disguised visual context, raw representations lacking linguistic structure, but are progressively reshaped depending on the integration paradigm, each capturing fundamentally different frequency characteristics of the visual signal. We show that this evolution inside the LLM determines what visual features the VLM can utilize effectively, how visual representations align with the language space, and ultimately how each paradigm performs across different tasks. We further demonstrate that attention allocation alone is insufficient, and that performance is driven by the quality of visual representations at each layer.