MLLM引导的文本转视频生成语义纠错

文章背景与核心概要

近年来，扩散模型和Transformer架构的突破极大地推动了文本转视频（T2V）生成技术的发展。然而，现有模型经常产生语义错误，例如物体遗漏、属性错误或动作不匹配。尽管现有方法在采样前或采样后应用了优化手段，但在视频生成过程中直接纠正语义偏差的研究仍然相对匮乏。

本文介绍了一种无需训练、具可解释性的生成中期纠错框架，该框架将多模态大模型（MLLM）的反馈直接整合到扩散采样循环中。通过将语义评估信号注入视频合成过程，该框架实现了持续的自我反思与优化。

核心组件包括： * 语义评估监督器（Semantic Assessment Supervisor）： 生成中间预览帧，以进行实时的语义评估并诊断偏差。 * 语义修改助手（Semantic Modification Assistant）： 利用可控的潜在轨迹干预，在推理过程中纠正语义漂移。

在不修改底层模型参数的情况下，该方法在多个标准基准测试中成功提升了语义对齐度、视觉保真度和时间一致性。

元数据与参考信息

• arXiv ID: arXiv:2608.16513 [cs.CV]
• DOI: 10.48550/arXiv.2608.16513
• 主要学科: 计算机视觉与模式识别 (cs.CV)
• 次要学科: 人工智能 (cs.AI)
• 提交日期: 2026年8月17日

作者

• Junhao Chen
• Zheqi Lv
• Keting Yin
• Shengyu Zhang
• Zhou Zhao
• Feiyang Chen
• Xinyu Duan
• Baoxing Huai
• Fei Wu

访问与全文资源

• PDF 版本: 查看 PDF
• HTML 版本: HTML (实验性)
• TeX 源码: 下载源码
• 许可证: 非独占分发许可证

外部参考与引用工具

• Google Scholar
• Semantic Scholar
• NASA ADS

摘要

Recent breakthroughs in diffusion models and Transformer architectures have significantly advanced text-to-video (T2V) generation. However, models frequently produce semantic errors, such as missing objects, incorrect attributes, or mismatched actions. While existing methods apply optimization before or after sampling, addressing semantic deviations during the video generation process remains under-explored.

This paper introduces a training-free, interpretable mid-generation correction framework that integrates multimodal large language model (MLLM) feedback directly into the diffusion sampling loop. By injecting semantic evaluation signals into video synthesis, the framework enables continuous self-reflection and optimization.

Key components include: * Semantic Assessment Supervisor: Generates intermediate preview frames to conduct real-time semantic evaluations and diagnose deviations. * Semantic Modification Assistant: Corrects semantic drift during inference using controllable latent trajectory interventions.

Without modifying underlying model parameters, this method successfully enhances semantic alignment, visual fidelity, and temporal consistency across multiple standard benchmarks.