综述!用于自动驾驶的全景鱼眼感知:概述、调查和挑战

发布网友发布时间：2024-05-01 13:51

共1个回答

热心网友时间：2024-11-23 02:23

摘要：

在自动驾驶的前沿领域，全景鱼眼摄像机扮演着至关重要的角色，它们提供了360°无死角的感知，尤其在近距任务中，如自动泊车。然而，数据集的局限性*了更深入的研究，目标检测的高精度要求（精度达到厘米级）和大径向畸变带来的算法扩展挑战是亟待解决的问题。本文详尽探讨了鱼眼相机模型，如针孔、经典几何（如等距和Stereographic投影）、扩展正交和代数模型，如多项式模型，以及它们在目标检测中的复杂性和应对径向失真和目标形变的策略。

全景视图系统由四只广角相机构成，对计算机视觉技术提出了严峻的挑战，特别是如何处理显著的鱼眼失真。研究重点围绕鱼眼摄像头的模型选择、精确标定以及当前领域的核心问题展开。

论文深入剖析了各种鱼眼模型，从针孔模型的简单几何到DS模型的复杂建模，包括Brown-Conrady模型的变体，以及多项式模型在MATLAB和NVIDIA工具中的应用。这些模型的选择不仅考虑了径向畸变的纠正，如Division模型的扩展，还包括球形、视场和UCM/Enhanced UCM模型的探讨。

标定鱼眼相机是一项关键任务，需要内外参数的精确匹配，通过特征检测和重投影误差的最小化。OpenCV和Kalibr等工具支持离线标定，而在线校准则依赖于车道标记或里程计信息，以应对摄像机姿态的变化。

文章进一步深入讨论了鱼眼图像的特性，如空间关系和深度估计的挑战。FisheyeDet[87]强调了模拟数据集的重要性，如失真版Pascal VOC[88]，以提升模型的准确性。SphereNet[89]和FisheyeYOLO[14]则探索了定向边界框和曲线bbox等表示法，以优化检测精度。此外，如何处理污垢检测和恢复也是研究热点，如DirtyGAN[96]和Das等人[97]的工作。

深度估计在鱼眼和普通相机间存在差异，FisheyeDistanceNet[110]在图像到3D曲面映射的研究中面临着独特挑战。在自动驾驶场景中，图像到深度的转换、视觉里程计、多摄像机测距技术、运动分割、目标跟踪以及SLAM技术，如FisheyeSuperpoint，都在文中有所涉及，并提出了多任务模型，如Sist等，以整合不同任务的处理能力。

例如，u等人联合开发的MTL模型，集目标检测和语义分割于一体，利用共享编码器和解码器如YOLO v2和FCN8。Leang等人针对鱼眼摄像机任务的权重分配进行了深入研究。FisheyeMultiNet设计了实时多任务深度学习网络，专为自动泊车设计，速度可达15fps，涵盖物体检测、语义分割和污垢检测。OmniDet则专注于场景理解，以60帧/秒的速度执行几何和语义任务，展示了鱼眼技术的广泛应用。

未来的研究方向将聚焦于失真感知CNN等前沿技术，同时，我们的资源库autodriving-heart/Awesome-Autonomous-Driving提供了丰富的自动驾驶技术综述，包括BEV/多模态融合等，为深入探索提供了宝贵的参考。