跳转至

文章背景与核心概要

随着视觉-语言-动作（VLA）模型在自动驾驶领域的应用日益广泛，由于高推理延迟和过高的 GPU 内存需求，其部署面临着重大障碍。传统的车载平台专为模块化流水线设计，往往难以容纳这些统一的模型，从而导致 CPU 资源未充分利用以及 GPU 瓶颈。

本文引入了一种混合 CPU-GPU 推理框架，用于优化自动驾驶中的资源调度。通过在块级（block-layer）对 VLA 主干网络进行分区，作者将视觉编码器和大语言模型（LLM）前缀放在 GPU 上执行，同时通过跨帧异步流水线将 LLM 后缀卸载到 CPU。这种方法成功重新分配了计算和内存压力，使得复杂的 VLA 模型能够在资源受限的车载硬件上成功部署。

Efficient Block-Layer Parallel Inference for Vision-Language-Action on Hybrid Architectures

Authors: Haibo HU, Lianming Huang, Qiao Li, Nan Guan, Chun Jason Xue
Date: 19 June 2026
Subject: Distributed, Parallel, and Cluster Computing (cs.DC); Artificial Intelligence (cs.AI)
DOI: 10.48550/arXiv.2608.14586

Summary

As Vision-Language-Action (VLA) models become integral to autonomous driving, their deployment faces significant hurdles due to high inference latency and excessive GPU memory demands. Traditional vehicle platforms, designed for modular pipelines, often struggle to accommodate these unified models, leading to underutilized CPU resources and GPU bottlenecks.

随着视觉-语言-动作（VLA）模型成为自动驾驶不可或缺的一部分，由于高推理延迟和过多的 GPU 内存需求，它们的部署面临着重大障碍。传统的车载平台专为模块化流水线设计，往往难以容纳这些统一的模型，从而导致 CPU 资源未充分利用以及 GPU 瓶颈。

This paper introduces a hybrid CPU-GPU inference framework that optimizes resource scheduling for autonomous driving. By partitioning the VLA backbone at the block-layer, the authors execute the visual encoder and LLM prefix on the GPU while offloading the LLM suffix to the CPU via a cross-frame asynchronous pipeline. This approach successfully redistributes compute and memory pressure, enabling the deployment of complex VLA models on resource-constrained vehicle hardware.

本文引入了一种混合 CPU-GPU 推理框架，可优化自动驾驶的资源调度。通过在块级对 VLA 主干网络进行分区，作者在 GPU 上执行视觉编码器和 LLM 前缀，同时通过跨帧异步流水线将 LLM 后缀卸载到 CPU。这种方法成功重新分配了计算和内存压力，使复杂的 VLA 模型能够在资源受限的车载硬件上部署。

Key Contributions

  • Block-Layer Partitioning: A novel design that splits the VLA backbone to allow for flexible, heterogeneous processing.
  • Asynchronous Pipeline: Implements a cross-frame asynchronous execution strategy to bridge the gap between GPU and CPU processing.
  • Performance Gains:
    • Orion Model: Reduced average latency by 21.7% (521ms to 408.0ms) and peak GPU memory usage from 45GB to 29GB.
    • MindDrive Model: Reduced average latency by 30.9% (443ms to 306.2ms).
  • Real-World Viability: Demonstrated successful deployment of the Orion model within a full vehicle stack where native deployment previously failed due to memory constraints.
  • 块级分区： 一项创新设计，可拆分 VLA 主干网络以实现灵活的异构处理。
  • 异步流水线： 实现了跨帧异步执行策略，以弥合 GPU 和 CPU 处理之间的差距。
  • 性能提升：
    • Orion 模型： 平均延迟降低 21.7%（从 521ms 降至 408.0ms），峰值 GPU 内存使用量从 45GB 降至 29GB。
    • MindDrive 模型： 平均延迟降低 30.9%（从 443ms 降至 306.2ms）。
  • 真实世界的可用性： 证明了 Orion 模型在完整车载软件栈中的成功部署，此前由于内存限制，原生部署宣告失败。

Access & Resources

Citation

If you use this work, please cite it via the following: * arXiv: arXiv:2608.14586 [cs.DC] * Google Scholar: Lookup * Semantic Scholar: View

如果您使用本工作，请通过以下方式进行引用： * arXiv： arXiv:2608.14586 [cs.DC] * Google Scholar： 查找 * Semantic Scholar： 查看