小米轿车首曝无人驾驭研讨：相机和LiDAR联合重建结构Uni-Gaussians

　　小米轿车等研讨团队宣布了关于无人驾驭研讨的论文，提出了一种根据一致高斯表征的分治烘托结构Uni-Gaussians。

　　2.该结构完成了动态驾驭场景的高斯基元一致表征与分治烘托，提高了核算功率和仿线.

　　论文的首要作者来自香港科技大学、小米轿车和华中科技大学。论文的一起榜首作者为香港科技大学博士后研讨员袁子康、小米轿车算法工程师蒲粤川、罗鸿城。论文作者还包括小米轿车国际模型负责人孙海洋。通讯作者是华中科技大学的教授杨欣。

　　在无人驾驭技能商业化落地的要害阶段，高质量仿真体系成为行车安全验证的中心基础设施。针对动态驾驭场景中相机与 LiDAR 联合仿真难题，Uni-Gaussians 提出一种根据一致高斯表征的分治烘托结构，完成精确性与核算功率的协同优化。

　　根据 NeRF 的办法虽能经过接连场景表征一致烘托相机图画与 LiDAR 点云，但其依靠密布采样的体烘托机制导致核算功率低下；

　　根据高斯溅射（Gaussian Splatting）的办法运用高斯基元完成场景表征，并经过光栅化（Rasterization）达到实时烘托，但其根据线性光学假定的烘托管线难以精确建模非线性光学传感器特性，导致该办法在针孔相机之外的传感器类型中运用受限。

　　为霸占上述应战，来自香港科技大学、小米轿车和华中科技大学的研讨团队提出了 Uni-Gaussians，完成了动态驾驭场景的高斯基元一致表征与分治烘托的架构。运用动态高斯场景图（Gaussian scene graph），建模静态布景与动态实体（如刚性车辆、非刚性行人）。图画数据选用光栅化（Rasterization）进行烘托，保证高帧率输出。LiDAR 数据则引进高斯光线追寻（Gaussian Ray-Tracing），精确模仿激光脉冲传达特性。该作业为自动驾驭场景下的相机与 LiDAR 数据供给的仿真办法，在质量与核算功率方面都取得了重大进展。

　　提出了一种一致、高效的仿真体系，能运用高斯基元完成相机和激光雷达数据的联合重建。

　　完成了包括车辆、行人和骑车人在内的一切交通参与者的高质量 LiDAR 仿真。

　　图一展现了最新 SOTA 办法 LiDAR4D 和该办法仿真成果的比照。比较之前办法，该办法可以精确地重建出各种可移动物体，包括行人和车辆。一起该办法对图画也可以直接进行高质量的重建。

　　如图二所示，关于一个动态驾驭场景，该办法树立一个高斯场景图来进行解耦建模，其间包括静态布景和各种运动物体，例如刚性的车辆和非刚性的行人、骑车人。办法对整个场景进行相机和激光雷达一起的模仿。关于相机图画数据，办法选用 2D 高斯基元（2D Gaussian primitives）的栅格化烘托。关于激光雷达数据，核算高斯球和射线的交点并构建光线追寻来进行模仿，结合反射强度（SH intensity）与射线丢掉概率（SH ray-drop probability）建模 LiDAR 的自动感知机制。

　　Uni-Gaussians 在 Waymo 揭露数据集进步行了评价。针对激光雷达数据，该作业选用 Chamfer Distance 和 F-score 来进行点云几许精度评价。并运用 RMSE、MedAE、LPIPS、SSIM 和 PSNR 来评价雷达测距功能和反射强度质量。一起实验报告了烘托的耗时和存储占用量。关于相机图画烘托质量，则选用了 SSIM 和 PSNR 进行评价。

　　表一，展现该办法和 lidar 仿真 SOTA 办法的定量比较。加粗为最优成果，加下划线为次优成果。和之前的 SOTA 办法比较，该办法在一切目标上均表现出杰出的功能。证明了这种联合仿真的优势。与 DyNFL 和 LiDAR4D 比较，该办法的 CD 目标别离下降了 40.9% 和 46.7%，一起烘托耗时和核算内存耗费也大幅度下降。下面图 3 和图 4 展现可视化作用，该办法可以精确而精细地模仿动态驾驭场景中的许多类型的可移动实体，展现出显着优势。

　　如表二所示，关于图画，该办法能坚持高质量的烘托质量。此外该办法在新视角下也能表现出优胜的泛化功能。

　　综上所述，Uni-Gaussians 经过一致的高斯表征和分治烘托的办法，完成了一套视觉和雷达点云的联合仿真结构。该作业在点云和图画上均展现出强壮的仿真功能，统筹高功率和高质量，为职业供给了一套优异的解决方案。