跳转至

文章背景与核心概要

在现实世界的应用中，大型视频-语言模型（LVLMs）进行多模态情感识别（ER）时，常常会遇到输入模态（如音频、视频、生物信号等）缺失或带有噪声的挑战，导致模型性能显著下降。为了解决这一分布偏移问题，本文提出了一种名为 TTSD-FAR 的全新框架。

该方法采用了测试时自蒸馏（TTSD）策略，即利用在完整数据上训练的冻结教师模型来指导自适应的低秩学生模型。为了防止连续自适应过程中常见的“模型漂移”现象，作者引入了费雪锚定恢复（FAR）机制。该机制通过监控费雪信息（Fisher Information）的稳定性来检测模型是否偏离了可靠的解，并在必要时触发恢复过程，将学生模型重新锚定回教师模型。实验表明，TTSD-FAR 在长周期的自适应过程中能够保持稳定的性能，表现优于标准的基于熵的自适应方法和检索增强生成（RAG）方法。

TTSD-FAR: 面向大型视频-语言模型中缺失模态情感识别的带有费雪锚定恢复的测试时自蒸馏方法 (TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs)

arXiv ID: 2608.18386
日期: 2026年8月18日
作者: Muhammad Haseeb Aslam, Alessandro Koerich, Marco Pedersoli, Ali Etemad, Eric Granger

arXiv ID: 2608.18386
Date: August 18, 2026
Authors: Muhammad Haseeb Aslam, Alessandro Koerich, Marco Pedersoli, Ali Etemad, Eric Granger

摘要 (Summary)

大型视频-语言模型（LVLMs）中的多模态情感识别（ER）在输入模态（如音频、视频、生物信号）缺失或嘈杂的现实场景中，往往表现不佳。本文引入了 TTSD-FAR，这是一个旨在处理测试时这些分布偏移的新颖框架。

Multimodal emotion recognition (ER) in Large Video-Language Models (LVLMs) often struggles in real-world scenarios where input modalities (e.g., audio, video, biosignals) are missing or noisy. This paper introduces TTSD-FAR, a novel framework designed to handle these distribution shifts during test time.

该方法采用了测试时自蒸馏（TTSD），其中在完整数据上训练的冻结教师模型指导自适应的低秩学生模型。为了防止通常与持续自适应相关的“漂移”，作者集成了费雪锚定恢复（FAR）。该机制监控费雪信息的稳定性，以检测模型何时偏离可靠的解决方案，从而触发将学生重新锚定回教师的恢复过程。实验证明，TTSD-FAR 在漫长的自适应视野中保持了一致的性能，优于标准的基于熵的自适应和检索增强生成（RAG）方法。

The method employs Test-Time Self-Distillation (TTSD), where a frozen teacher model (trained on complete data) guides an adaptive low-rank student model. To prevent the "drift" typically associated with continuous adaptation, the authors integrate Fisher-Anchored Restoration (FAR). This mechanism monitors Fisher information stability to detect when the model is diverging from reliable solutions, triggering a restoration process that anchors the student back to the teacher. Experiments demonstrate that TTSD-FAR maintains consistent performance over long adaptation horizons, outperforming standard entropy-based adaptation and retrieval-augmented generation (RAG) methods.

核心特性 (Key Features)

  • 对缺失模态的鲁棒性： 有效处理 0%–50% 的缺失模态模式。
  • 参数高效： 在测试时自适应期间仅更新微不足道的参数量。
  • 防止漂移： 使用费雪信息来区分必要的自适应和有害的模型漂移。
  • 经过验证的性能： 在 MELD、DFEW 和 BAH 数据集上进行了验证，显示出相比现有基线优越的稳定性。
  • Robustness to Missing Modalities: Effectively handles 0%–50% missing-modality patterns.
  • Parameter-Efficient: Updates only a negligible number of parameters during test-time adaptation.
  • Drift Prevention: Uses Fisher information to distinguish between necessary adaptation and harmful model drift.
  • Proven Performance: Validated on MELD, DFEW, and BAH datasets, showing superior stability compared to existing baselines.

元数据 (Metadata)

字段 详情
主要学科 计算机视觉与模式识别 (cs.CV)
次要学科 人工智能 (cs.AI)
DOI 10.48550/arXiv.2608.18386
许可协议 知识共享署名 4.0 国际版
Field Details
Primary Subject Computer Vision and Pattern Recognition (cs.CV)
Secondary Subject Artificial Intelligence (cs.AI)
DOI 10.48550/arXiv.2608.18386
License Creative Commons Attribution 4.0 International

获取与资源 (Access & Resources)

license icon