跳转至

RadarGen：基于摄像头的车载雷达点云生成技术

文章背景与核心概要

在自动驾驶研发与仿真测试中，获取高质量、多模态的传感器数据（如雷达与摄像头的融合数据）至关重要，但真实世界中雷达数据的采集与标注成本高昂。传统的自动驾驶仿真往往侧重于视觉或激光雷达（LiDAR），而对能够穿透恶劣天气并在全天候下工作的毫米波雷达的物理特性仿真相对滞后。

为此，ECCV 2026 录用论文 RadarGen 提出了一种基于扩散模型的新方法，能够直接从多视角相机图像中合成逼真的车载雷达点云。该技术将高效的图像潜空间扩散（image-latent diffusion）适配至雷达领域，并通过鸟瞰图（BEV）对齐的深度、语义和运动线索，引导生成过程使其契合物理世界的规律。这一框架不仅缩小了合成数据与真实世界感知模型之间的性能差距，也为构建统一的多模态自动驾驶生成式仿真系统提供了可扩展的解决方案。

RadarGen：基于摄像头的车载雷达点云生成

总结

RadarGen is a diffusion-based model designed to synthesize realistic automotive radar point clouds directly from multi-view camera imagery. By adapting efficient image-latent diffusion to the radar domain—and leveraging bird's-eye-view (BEV) aligned depth, semantic, and motion cues from pretrained foundation models—RadarGen bridges the gap between visual scenes and physically plausible radar measurements. Accepted at ECCV 2026, this framework provides a scalable, multimodal approach to generative driving simulation and improves perception model performance on real-world data distributions.

RadarGen 是一个基于扩散模型的框架，旨在直接从多视角相机图像中合成逼真的车载雷达点云。通过将高效的图像潜空间扩散技术适配到雷达领域，并借助来自预训练基础模型的鸟瞰图（BEV）对齐深度、语义和运动线索，RadarGen 弥合了视觉场景与符合物理规律的雷达测量数据之间的鸿沟。该框架已被 ECCV 2026 录用，为生成式驾驶仿真提供了一种可扩展的多模态方法，并提升了感知模型在真实世界数据分布上的性能。

论文概览

  • Title: RadarGen: Automotive Radar Point Cloud Generation from Cameras
  • Authors: Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany
  • Venue: ECCV 2026
  • Primary Subject: Computer Vision and Pattern Recognition (cs.CV)
  • Other Subjects: Artificial Intelligence (cs.AI), Machine Learning (cs.LG), Robotics (cs.RO)
  • arXiv ID: 2512.17897 (v2)
  • DOI: 10.48550/arXiv.2512.17897

摘要

We present RadarGen, a diffusion model for synthesizing realistic automotive radar point clouds from multi-view camera imagery. RadarGen adapts efficient image-latent diffusion to the radar domain by representing radar measurements in bird's-eye-view form that encodes spatial structure together with radar cross section (RCS) and Doppler attributes. A lightweight recovery step reconstructs point clouds from the generated maps. To better align generation with the visual scene, RadarGen incorporates BEV-aligned depth, semantic, and motion cues extracted from pretrained foundation models, which guide the stochastic generation process toward physically plausible radar patterns. Conditioning on images makes the approach broadly compatible, in principle, with existing visual datasets and simulation frameworks, offering a scalable direction for multimodal generative simulation. Evaluations on large-scale driving data show that RadarGen captures characteristic radar measurement distributions and reduces the gap to perception models trained on real data, marking a step toward unified generative simulation across sensing modalities.

我们提出了 RadarGen，这是一个用于从多视角相机图像中合成逼真车载雷达点云的扩散模型。RadarGen 通过将雷达测量数据表示为鸟瞰图（BEV）形式（其中编码了空间结构以及雷达散射截面积（RCS）和多普勒属性），将高效的图像潜空间扩散算法适配到了雷达领域。一个轻量级的恢复步骤随后从生成的地图中重建出点云。为了使生成过程更好地与视觉场景保持一致，RadarGen 引入了从预训练基础模型中提取的、与 BEV 对齐的深度、语义和运动线索，这些线索引导随机生成过程朝着符合物理规律的雷达模式发展。通过以图像为条件输入，该方法在原则上能够与现有的视觉数据集和仿真框架广泛兼容，从而为多模态生成式仿真提供了一条可扩展的发展方向。在大规模驾驶数据集上的评估表明，RadarGen 能够捕捉到特征性的雷达测量分布，并缩小了与在真实数据上训练的感知模型之间的差距，标志着向跨感知模态的统一生成式仿真迈出了重要一步。

核心特性与方法论

  • Bird's-Eye-View (BEV) Representation: Encodes spatial radar measurements alongside crucial attributes like Radar Cross Section (RCS) and Doppler values.
  • Diffusion-Based Generation: Adapts efficient image-latent diffusion techniques to synthesize realistic radar data distributions.
  • Foundation Model Guidance: Utilizes pretrained foundation models to extract BEV-aligned depth, semantic, and motion cues, ensuring physical plausibility relative to the visual scene.
  • Lightweight Recovery: Employs an efficient post-processing step to map generated BEV features back into precise point clouds.

  • Cross-Modal Compatibility: Compatible with existing visual datasets and simulation pipelines, advancing unified multi-sensor autonomous driving simulation.

  • 鸟瞰图（BEV）表示： 将空间雷达测量数据与雷达散射截面积（RCS）和多普勒值等关键属性进行编码结合。

  • 基于扩散的生成： 采用并改造高效的图像潜空间扩散技术，以合成逼真的雷达数据分布。
  • 基础模型引导： 利用预训练的基础模型提取 BEV 对齐的深度、语义和运动线索，确保相对于视觉场景的物理合理性。
  • 轻量级恢复： 采用高效的后处理步骤，将生成的 BEV 特征映射回精确的点云。
  • 跨模态兼容性： 与现有视觉数据集和仿真管线兼容，推动了统一的多传感器自动驾驶仿真发展。

链接与资源