DyRAD: 面向动态驾驶场景的雷达新视角合成

TL;DR **DyRAD** 提出动态驾驶场景雷达新视角合成，通过运动跟踪反射体渲染完整 RAD 张量，并用解析 PSF 解耦传感器影响，在 RADIal 上将目标恢复率从 26.9% 提升至 90.7%。

问题

问题背景

动态驾驶场景重建是新视角合成（NVS）在自动驾驶闭环评估中的关键任务。雷达传感器能直接测量径向速度（Doppler），但现有方法尚未同时处理动态场景与 Doppler 渲染。

现有方法局限

• 处理动态场景的雷达 NVS 方法仅重建 range-azimuth 张量，丢失 Doppler 维度。
• 渲染 Doppler 的方法假设场景静态，无法处理运动目标。
• 雷达信号处理使单个反射扩散到多个 bin，现有表示将扩散吸收进场景几何，视点移动时几何错误导致渲染失败。

为什么这个问题难/重要

• 技术挑战：需解耦传感器自身运动与目标运动，从数据中推断动态反射器的运动轨迹并投影到视线方向。
• 必须显式建模雷达点扩散函数（PSF），避免传感器伪影污染场景表示。
• 业界关注：雷达在恶劣天气下稳健，Doppler 信息对运动估计和分割有重要价值，但仿真数据稀缺，高效动态场景雷达 NVS 可支撑闭环测试。

行业类比

类似 NeRF 动态场景中的变形场建模，需将运动与几何分离；PSF 显式建模可类比相机去模糊中的模糊核估计，避免将传感器模糊误认为场景结构。

核心洞察

• 显式建模雷达点扩散函数（PSF），将传感器引起的信号扩散与场景几何解耦。**PSF 渲染** 使用固定解析函数，避免将 spread 烘焙进场景表示，从而在视点移动时保持渲染正确性。现有方法将扩散混入几何，导致新视角失真；该分离还带来**零样本传感器配置迁移**能力，同一重建场景可在不同雷达规格下渲染，无需重新拟合。
• 利用 Doppler 径向速度作为运动轨迹的监督信号，并渲染完整 range-azimuth-Doppler 张量。通过将物体轨迹速度投影到视线方向，使 Doppler 同时成为渲染输出和轨迹监督。现有方法要么只重建 range-azimuth 而忽略 Doppler，要么仅假设静态场景才能渲染 Doppler；DyRAD 首次在动态场景中联合渲染完整 RAD 张量，并用 Doppler 约束运动估计，提升动态物体重建准确性。
• 混合静态背景反射器与运动跟踪的动态点反射器表示，实现动态驾驶场景的雷达新视角合成。每个动态反射器关联运动轨迹，通过投影生成 Doppler 和位置。在 RADIal 数据集上，DyRAD 在参考检测物体中的恢复率达到 90.7%，而最强 baseline 仅为 26.9%，证明该表示对运动目标的高保真重建能力。

方法

输入与场景表征

DyRAD 以多帧雷达量测与对象跟踪轨迹为输入，将动态驾驶场景分解为 静态背景反射体 与 动态点反射体。每个反射体包含 3D 位置、雷达散射截面积等属性；动态反射体额外绑定跟踪速度，并通过视线方向投影得到径向速度，用于渲染 Doppler 维度。

关键渲染模块

1. 物理级传感器响应建模：通过固定解析 点扩散函数 (PSF) 描述雷达信号处理链造成的能量扩散，避免将传感器模糊吸收进场景几何。
2. RAD 张量渲染：对每个反射体先投影到雷达坐标系，再应用 PSF 对 range / azimuth / Doppler 三个维度进行栅格化，生成完整 range–azimuth–Doppler (RAD) 张量。
3. Doppler 监督：渲染出的 Doppler 与输入雷达测量的 Doppler 共同作为动态反射体速度的监督信号，使轨迹速度与雷达回波相互校验。

优化与输出

初始化阶段从目标跟踪与峰值提取获得反射体初值，随后以 重建损失 优化位置、RCS、速度等参数，并按需进行 反射体稠密化。输出为对应任意视点的 RAD 张量，支持 零样本传感器配置迁移 —— 同一重建场景可直接在不同雷达参数下渲染，无需重新拟合。

与同类动态场景 NVS 方法只重建 RA 张量或仅在静态假设下渲染 Doppler 不同，DyRAD 通过显式 PSF 与运动建模统一处理动态场景下的完整 RAD 合成。

实验

实验设计

• 在 RADIal、Boreas 以及合成基准上评估，覆盖 on-path 位姿与 displaced viewpoints（先前工作未测试的偏离视角）。
• 基线包括处理动态场景但只重建 range–azimuth 张量的方法，以及能渲染 Doppler 但假设静态场景的方法。

关键发现

• 在 RADIal 数据集上，DyRAD 恢复了 90.7% 的参考检测对象，而最强基线仅达 26.9%。
• 通过将传感器点扩散函数 (PSF) 与场景表示解耦，DyRAD 支持 零样本传感器配置迁移，同一重建场景可在不同雷达参数下渲染而无需重新拟合。

与基线对比解读

• 现有方法未能利用 Doppler 处理动态场景，或只能重建不含 Doppler 的 range–azimuth 张量；DyRAD 同时渲染完整 RAD 张量。
• 关键差异在于反射体运动建模：DyRAD 从目标跟踪推导速度并投影到视线方向，使 Doppler 成为渲染输出和跟踪监督信号。
• 传感器扩散吸收问题：基线将雷达处理产生的反射扩散烘焙进场景几何，导致视角移动时渲染错误；DyRAD 通过固定解析 PSF 渲染反射体，避免了这一偏差。

行业影响

落地场景

DyRAD 可直接用于 自动驾驶仿真与数据闭环。在虚拟环境中生成任意视角、任意传感器配置下的 RAD 张量，支持感知模型训练、回归测试与闭环评估。具体场景包括：自动驾驶数据增强、传感器配置预研（如更换雷达型号前评估性能）、以及 危险场景复现。

商业价值

核心价值在于 降低数据采集与标注成本。传统实车采集雷达数据成本高、覆盖场景有限，DyRAD 可从已有记录中合成新视角与多普勒信息，减少真实里程需求。同时支持 传感器配置零样本迁移，避免为新雷达重新采集数据，加速产品迭代。对仿真服务商而言，可提供高保真雷达模拟能力，形成差异化竞争力。

与现有工作流接口

DyRAD 可作为 雷达传感器模型 集成进 CARLA、AirSim 等仿真平台，替代简单的几何投影模型。也可作为离线数据生成工具，读取 ROS bag 或数据集（如 RADIal、Boreas），输出增强后的训练样本。与现有感知模型（如 CenterPoint、RadarNet）无缝对接，直接用于训练或测试。

具体落地 use case：自动驾驶公司利用 DyRAD 在虚拟环境中生成不同天气、不同雷达参数下的数据，训练跨传感器配置的检测模型；传感器供应商在投标前模拟自家雷达性能，减少样机测试成本。

局限

• **动态点反射器表示** 对复杂目标近似不足。DyRAD 使用静态背景反射器和运动跟踪的动态点反射器来建模场景，但实际车辆、行人等动态物体具有扩展形状、遮挡和角度依赖的雷达散射特性，点集无法刻画这些特征，可能造成渲染 RAD 张量中目标边缘模糊或 Doppler 展宽失真，特别是在近距离或大目标上，影响下游感知模型的仿真真实性。
• **依赖目标检测与跟踪初始化**，鲁棒性受上游感知制约。方法需要从参考雷达点云或检测结果提取动态反射器并关联物体轨迹，若检测器漏检小目标、跟踪 ID 切换或速度估计不准，会直接传入错误几何和速度先验，导致渲染失败或错误监督。对于未检测物体（如非标准形状或极端天气回波），无法建模动态分量，限制了在开放场景的泛化能力。
• **解析 PSF 与真实传感器存在偏差**，且零样本迁移需人工适配。论文固定解析 PSF 从雷达信号处理链推导，虽阻止传感器扩散入库，但实际硬件存在旁瓣、多径、ADC 非线性等非理想因素，解析模型可能低估噪声与角度相关响应，在离轴视角或远距离处误差会放大。传感器配置迁移虽避免 refitting，但面对新型雷达需重新推导 PSF 并验证有效性，通用性仍受限于可参数化的硬件假设。