跳转至

文章背景与核心概要

语义视频查询允许用户通过自然语言提示词和多模态大语言模型（MLLM）来解释视频内容。然而，由于 MLLM 需要处理长达数小时的媒体数据才能返回仅几秒钟的有效结果，直接执行这些查询不仅速度慢、成本高，而且往往不够准确。为了解决这一痛点，本文介绍了 Concord 系统，它旨在通过视频关系代数（VRA）和近似优化技术来表达和优化语义视频查询。

Concord 的核心贡献包括三个方面：首先是提出了视频关系代数（VRA），这是一种针对视频、转录文本、帧和对象轨迹的嵌套代数，能够形式化常见的语义视频操作；其次是推导出一套近似优化规则，通过用转录文本过滤或轨迹级关系连接来替代全视频 MLLM 处理，从而在减少 MLLM 使用的同时提升结果质量；最后，真实世界评估表明，Concord 在广播和讲座视频中可节省高达 87% 的 MLLM 成本，并在跨摄像头查询中将 \(F_1\) 分数从 \(0.364\) 提升至 \(0.813\)，同时实现零 MLLM 调用。

Concord: A Video Relational Algebra for Cross-Modal Query Optimization

arXiv: 2609.05756 [cs.DB]
Authors: Sultan Muratbek, Charisse Ivana Yeung, Chanwut Kittivorawong, Alvin Cheung
Submitted: September 4, 2026
Project Page: Concord Project Website

📋 Executive Summary

语义视频查询允许用户使用自然语言提示和多模态大语言模型 (MLLM) 来解释视频内容。尽管功能强大，但这些查询的朴素执行速度慢、成本高，而且通常不准确，因为 MLLM 必须处理数小时的媒体才能返回仅仅几秒钟的相关输出。

Semantic video queries allow users to employ natural language prompts and Multimodal Large Language Models (MLLMs) to interpret video content. While powerful, naive execution of these queries is slow, expensive, and often inaccurate because MLLMs must process hours of media to return mere seconds of relevant output.

Concord 是一个新颖的系统，旨在通过三个主要贡献来表达和优化语义视频查询： 1. 视频关系代数 (VRA)： 一种跨视频、转录文本、帧和对象轨迹的嵌套代数，它将常见的语义视频操作形式化。 2. 近似优化： 基于规则的查询重写，在最大限度地减少 MLLM 使用的同时提高结果质量（例如，将全视频 MLLM 连接替换为转录文本到视频的过滤或轨迹级关系连接）。 3. 真实世界评估： 大幅减少了 MLLM 的处理时间和成本（在广播和讲座中节省高达 87%），同时提高了跨摄像头查询的检测准确率（\(F_1\) 分数从 \(0.364\) 提升至 \(0.813\)，且零 MLLM 调用）。

Concord is a novel system designed to express and optimize semantic video queries through three main contributions: 1. Video Relational Algebra (VRA): A nested algebra over videos, transcripts, frames, and object tracks that formalizes common semantic video operations. 2. Approximate Optimizations: Rule-based query rewrites that minimize MLLM usage while enhancing result quality (e.g., swapping full-video MLLM joins for transcript-to-video filtering or track-level relational joins). 3. Real-World Evaluations: Substantial reductions in MLLM processing duration and cost (up to 87% savings on broadcasts and lectures) alongside improved detection accuracy (\(F_1\) score boosted from \(0.364\) to \(0.813\) with zero MLLM calls) for cross-camera queries.

📑 Abstract

语义视频查询允许用户嵌入自然语言提示并使用多模态大语言模型 (MLLM) 来解释视频。此类查询在视频数据查询中日益流行。然而，它们的表达能力伴随着沉重的代价：MLLM 可能会处理数小时的媒体，却只返回几秒钟的相关输出，这使得朴素执行变得缓慢、昂贵且不准确。

Semantic video queries let users embed natural language prompts and use multimodal large language models (MLLMs) to interpret the video. Such queries are increasingly popular for querying video data. However, their expressiveness comes at a steep cost: an MLLM may process hours of media to return only seconds of relevant output, making naive execution slow, expensive, and inaccurate.

我们提出了 Concord，一个用于表达和优化语义视频查询的系统。我们作出了三项贡献： * 首先，我们引入了视频关系代数 (VRA)，这是一种针对视频、转录文本、帧和对象轨迹的嵌套代数，能够捕获常见的语义视频操作。 * 其次，我们推导出一套近似优化方法，通过重写 VRA 查询来减少 MLLM 的使用，同时提高结果质量。对于有旁白的视频，Concord 或者是处理转录文本而不是视频，或者是利用转录文本来识别用于 MLLM 处理的视频片段。对于没有旁白的跨摄像头查询，检测和跟踪用轨迹级关系连接取代了全视频 MLLM 连接。 * 第三，我们在真实世界的视频上评估了 Concord。在 4.59 小时的足球转录视频和 3.92 小时的讲座视频中，转录到视频的查询仅将源视频时长的 5.32% 和 2.47% 发送给 MLLM，并将 MLLM 成本降低了高达 87%。在包含 18 辆由人工裁决的跨摄像头车辆的两个五秒高速公路片段中，Detect-Track-Join 查询在不进行任何 MLLM 调用的情况下，将 \(F_1\) 从 \(0.364\) 提高到了 \(0.813\)。

We propose Concord, a system for expressing and optimizing semantic video queries. We make three contributions: * First, we introduce Video Relational Algebra (VRA), a nested algebra over videos, transcripts, frames, and object tracks that captures common semantic video operations. * Second, we derive a set of approximate optimizations that rewrite VRA queries to reduce MLLM usage while improving result quality. For narrated video, Concord either processes transcripts instead of video or uses them to identify video clips for MLLM processing. For cross-camera queries without narration, detection and tracking replace a whole-video MLLM join with a track-level relational join. * Third, we evaluate Concord on real-world videos. Across 4.59 hours of soccer broadcasts and 3.92 hours of lectures, transcript-to-video queries send only 5.32% and 2.47% of source-video duration to the MLLM and reduce MLLM cost by up to 87%. In two five-second highway clips with 18 manually adjudicated cross-camera vehicles, a Detect-Track-Join query improves \(F_1\) from \(0.364\) to \(0.813\) while making no MLLM calls.

🛠️ Additional Metadata & Access