跳转至

迁移安全意识：多模态大语言模型中的跨模态安全漂移

文章背景与核心概要

本文探讨了多模态大语言模型（MLLM）中的“跨模态安全漂移”（Cross-Modal Safety Drift）现象，即原本无害的文本查询在与特定图像结合时，可能会传达出有害意图。作者发现，与显式的不安全文本相比，MLLM对这类跨模态风险的拒绝响应率显著偏低。通过实证分析和模型表征解释，该研究揭示了视觉风险线索往往未能获得足够的注意力，从而无法触发适当的拒绝机制。

为了解决这一问题，作者提出了安全意识表征迁移（Safety-Awareness Representation Transfer, SRT）——这是一种轻量级的方向精炼方法，旨在缓解跨模态安全漂移，同时保持 MLLM 主干网络冻结。在多个基准测试和模型上的实验表明，SRT 在保持模型实用性的同时，有效提升了各种跨模态场景下的安全性。

📋 摘要 (Summary)

本文研究了多模态大语言模型（MLLMs）中的跨模态安全漂移（cross-modal safety drift）现象。在此现象中，良性文本查询在与特定视觉图像配对时会传达出有害意图。作者通过观察发现，相比于显式的不安全文本，MLLM 对此类跨模态风险的安全响应率明显更低。通过实证分析与模型表征解释，研究表明视觉风险线索往往接收到不足的注意力，且难以有效触发拒绝机制。为了解决这一问题，作者引入了安全意识表征迁移（SRT）——这是一种轻量级的方向精炼方法，旨在缓解跨模态安全漂移，同时保持 MLLM 主干网络冻结。

This paper investigates cross-modal safety drift in Multimodal Large Language Models (MLLMs), where benign textual queries convey harmful intent when paired with specific visual images. The authors observe that MLLMs exhibit a significantly lower safety response rate to these cross-modal risks compared to explicitly unsafe text. Through empirical analysis and model representation interpretation, the study reveals that visually risky cues often receive insufficient attention and fail to trigger proper refusal mechanisms. To solve this, the authors introduce Safety-Awareness Representation Transfer (SRT)—a lightweight direction-refinement method designed to mitigate cross-modal safety drift while keeping the MLLM backbone frozen.

📄 文章详情 (Article Details)

元数据 详情
arXiv 标识符 arXiv:2609.02082 [cs.MM]
主要学科 多媒体 (cs.MM)
其他学科 人工智能 (cs.AI)、计算与语言 (cs.CL)、密码学与安全 (cs.CR)
作者 Tianqi Xiao, Shiyao Cui, Minghao Zhang, Junxiao Yang, Renmiao Chen
发表状态 已被 EMNLP 2026 Findings 录用
提交日期 2026年9月2日 (修订于：2026年9月3日)
Metadata Details
arXiv Identifier arXiv:2609.02082 [cs.MM]
Primary Subject Multimedia (cs.MM)
Other Subjects Artificial Intelligence (cs.AI), Computation and Language (cs.CL), Cryptography and Security (cs.CR)
Authors Tianqi Xiao, Shiyao Cui, Minghao Zhang, Junxiao Yang, Renmiao Chen
Publication Status Accepted to Findings of EMNLP 2026
Submitted Date September 2, 2026 (Revised: September 3, 2026)

🔍 摘要详述 (Abstract)

视觉模态增强了多模态大语言模型（MLLMs）的能力，但也带来了安全隐患：一个良性的文本查询在以视觉图像为基础时，可能会传达有害意图。我们将此称为跨模态安全漂移，且我们的初步研究表明，此类请求的安全响应率远低于包含显式不安全文本的请求。

本文旨在系统性地研究这一问题： 1. 实证分析： 我们识别出了具有代表性的不安全响应模式。 2. 表征与注意力解释： 我们揭示了视觉风险线索受到的关注有限，并且对拒绝机制的触发较弱。 3. 安全意识表征迁移（SRT）： 基于“来自不安全文本处理的安全信号可以被迁移”这一观察，我们提出了 SRT——一种轻量级的方向精炼方法，能够在冻结 MLLM 主干网络的同时缓解跨模态安全漂移。

在多个基准测试和模型上的实验证明，SRT 有效提升了各类跨模态设置下的安全性，同时保留了模型原有的实用性。

Visual modality enhances the capabilities of multimodal large language models (MLLMs) but also introduces a safety concern: a benign textual query may convey harmful intent when grounded in a visual image. We term this cross-modal safety drift and our pilot studies show that the safety response rate for such requests is substantially lower than that for requests containing explicitly unsafe text.

This paper aims to systematically study this issue: 1. Empirical Analysis: We identify representative unsafe response patterns. 2. Representation & Attention Interpretation: We reveal that visually risky cues receive limited attention and weakly trigger refusal. 3. Safety-Awareness Representation Transfer (SRT): Motivated by the observation that safety signals from unsafe text processing can be transferred, we propose SRT—a lightweight direction-refinement method that mitigates cross-modal safety drift with a frozen MLLM backbone.

Experiments across multiple benchmarks and models demonstrate that SRT effectively improves safety in diverse cross-modal settings while preserving utility.