跳转至

见红则思恶：视觉语言模型中的色彩偏见

文章背景与核心概要

随着视觉语言模型（VLM）在招聘支持、推荐系统等高风险工业场景中的应用日益广泛，深入理解其潜在的脆弱性显得尤为重要。本文探讨了视觉样式偏见（如文本颜色和对比度）如何干扰模型对渲染文本的解读，揭示了模型在处理视觉信息时存在的非预期行为。

研究团队提出了“隐形视觉提示”（Stealth Visual Prompts）方法，在保持文本语义不变的前提下，微调其视觉样式。实验发现，将正面词汇标为绿色会诱导模型产生积极的情感偏差，从而忽略文本中的负面含义；同时，降低对比度会导致模型过度依赖显著视觉特征，进而引发视觉问答（VQA）错误。这些发现表明，视觉样式能够误导VLM，使其解读结果偏离人类的语义认知。

论文元数据 (Paper Metadata)

  • arXiv ID: arXiv:2608.14286 [cs.CV]
  • 提交日期: 2026年8月14日
  • 作者: Kohsuke Ide, Ryousuke Yamada, Yoshihiro Fukuhara, Hirokatsu Kataoka, Yutaka Satoh
  • 主要学科: 计算机视觉与模式识别 (cs.CV)
  • 次要学科: 人工智能 (cs.AI), 计算与语言 (cs.CL)
  • 会议/期刊参考: Pattern Recognition, ICPR 2026. Lecture Notes in Computer Science, Springer, Cham, pp. 261–275
  • 相关 DOI: 10.1007/978-3-032-31583-0_18
  • 项目仓库: GitHub - color-bias-vlm

摘要 (Abstract)

视觉语言模型（VLM）正越来越多地应用于招聘支持和推荐系统等工业决策场景中。这促使我们需要仔细分析 VLM 如何处理视觉和文本信息。

Vision language models (VLMs) are increasingly used in industrial decision-making systems, such as recruitment support and recommendation. This motivates careful analysis of how VLMs process visual and textual information.

在这项工作中，我们研究了 VLM 如何解读渲染为图像的文本，并调查了视觉样式偏见的影响。为此，我们引入了“隐形视觉提示”（Stealth Visual Prompts），在保持语义内容不变的情况下，微妙地改变文本的视觉样式（如颜色和对比度）。利用这些提示，我们系统地控制了文本中单词的视觉样式，并测量了它们对 VLM 执行分析的影响。我们进一步分析了此类视觉扰动如何影响视觉编码器的潜在表征。

In this work, we study how VLMs interpret text rendered as an image, and investigate the influence of visual styling biases. To this end, we introduce Stealth Visual Prompts, which subtly change visual styling of text, such as color and contrast, while preserving semantic content. Using these prompts, we systematically control the visual styling of words in text and measure their impact on the analysis performed by VLMs. We further analyze how such visual perturbations affect the latent representations of the vision encoder.

根据我们的实验观察： * 色彩偏见： 将正面词汇标为绿色会持续将情感预测推向积极方向。因此，VLM 往往无法正确考量文本中存在的负面词汇。这种行为与颜色变化引起的视觉编码器潜在表征的变化相关。 * 对比度偏见： 降低文本与背景的对比度会增加模型对视觉显著线索的依赖，并导致更多的视觉问答（VQA）错误输出。

From our experiments, we observed that: * Color Bias: Coloring positive words in green consistently shifts sentiment predictions toward a positive direction. As a result, VLMs often fail to properly account for negative words present in the text. This behavior correlates with changes in the latent representations of the vision encoder induced by color variations. * Contrast Bias: Reducing text-background contrast increases reliance on visually salient cues and leads to more incorrect Visual Question Answering (VQA) outputs.

这些结果表明，渲染文本的视觉样式可以引导 VLM 的解读，使其偏离人类的语义理解。

These results suggest that the visual styling of rendered text can guide VLMs' interpretation in ways that diverge from human semantic understanding.