跳转至

阅读不等于推理：弥合视觉-文本压缩中的智能体策略鸿沟

文章背景与核心概要

随着多步语言模型智能体在复杂任务中的应用日益广泛，交互历史记录的不断累积导致了巨大的上下文成本。为了缓解这一问题，研究人员引入了“视觉-文本压缩”技术，通过将历史记录渲染为图像来降低存储开销。然而，这种模态转换导致了显著的能力下降，即所谓的“智能体策略鸿沟”（Agentic Policy Gap）。

本文指出，这种性能退化并非仅仅源于光学字符识别（OCR）的局限性，而是智能体在动作选择、查询构建、停止准则及证据利用等方面出现了系统性的策略漂移。为此，作者提出了 CAPS（跨模态智能体策略自蒸馏）框架，通过离线轨迹自蒸馏和在线策略自蒸馏，利用模型在文本历史下的优越策略来指导视觉历史策略，从而在大幅降低上下文成本的同时，显著提升了智能体的推理性能。

阅读不等于推理：弥合视觉-文本压缩中的智能体策略鸿沟

license icon

  • arXiv ID: arXiv:2608.08960 [cs.AI]
  • 提交日期: 2026年8月9日
  • 作者: Cheng Fan, Junyi Zhou, Tingzhang Luo, RongJian Xu, Qiyanhui Lu, Mingjian Zhu, Hanting Chen, Jianyuan Guo

摘要

Multi-step language-model agents often suffer from significant context costs as interaction histories accumulate over time. While vision-text compression reduces these expenses by rendering the history as images, this modality shift introduces a notable capability gap.

多步语言模型智能体在交互历史随时间累积时，往往会面临巨大的上下文成本。虽然视觉-文本压缩通过将历史记录渲染为图像来降低这些开销，但这种模态转换引入了显著的能力差距。

The authors demonstrate that this degradation cannot be solely attributed to Optical Character Recognition (OCR) limitations. Instead, visual-history agents experience systematic policy drift across action selection, query formulation, stopping criteria, and evidence utilization—a phenomenon termed the agentic policy gap.

作者证明，这种性能退化不能仅仅归因于光学字符识别（OCR）的局限性。相反，视觉历史智能体在动作选择、查询构建、停止准则和证据利用方面经历了系统性的策略漂移——这一现象被称为智能体策略鸿沟。

To resolve this issue, the paper introduces CAPS (Cross-modal Agentic Policy Self-distillation), a two-stage framework that leverages a model's superior text-history policy to supervise its visual-history counterpart: 1. Offline Trajectory Self-Distillation: Transfers successful text-policy behaviors directly to visual-history inputs. 2. Online Policy Self-Distillation: Delivers dense supervision on states explored by the visual-history policy during reinforcement learning.

为了解决这一问题，本文引入了 CAPS（Cross-modal Agentic Policy Self-distillation，跨模态智能体策略自蒸馏），这是一个两阶段框架，利用模型在文本历史下的优越策略来监督其视觉历史对应策略： 1. 离线轨迹自蒸馏： 将成功的文本策略行为直接迁移到视觉历史输入中。 2. 在线策略自蒸馏： 在强化学习过程中，对视觉历史策略所探索的状态提供密集监督。

关键结果

  • Performance Gains: On SearchQA, CAPS outperforms AgentOCR by 5.0% (3B model) and 3.4% (7B model). On full-history ALFWorld, improvements reach 15.6% and 14.5%, respectively.
  • Cost Reduction: CAPS reduces average memory-context costs by up to 63.3% and peak costs by up to 83.4% compared to standard text-history policies.
  • 性能提升： 在 SearchQA 上，CAPS 比 AgentOCR 分别提升了 5.0%（3B 模型）和 3.4%（7B 模型）。在 full-history ALFWorld 上，提升幅度分别达到了 15.6% 和 14.5%。
  • 成本降低： 与标准文本历史策略相比，CAPS 将平均内存上下文成本降低了高达 63.3%，峰值成本降低了高达 83.4%。

元数据与参考信息

引用工具与资源