紧耦合激光雷达视觉惯性里程计统一的多

来源

同济智能汽车研究所

知圈

进“滑板底盘群”请加微yanzhi-6,备注底盘

编者按：在定位导航与实时建图问题中，多源信息的融合是目前流行的解决方案，即综合不同传感器的信息进行处理，并得到融合定位结果，常用有全球卫星导航系统、惯性里程计、激光雷达、摄像头等。而因子图（FactorGraph）优化是近年来使用频繁的后端优化方法。因子图是种用于描述事物关系的有效模型，基于该模型的优化方法能够从全局的定位结果进行优化。本篇文章基于激光雷达、视觉信息以及惯性里程计，运用因子图进行信息融合，实现高效精准的SLAM算法，同时提出“点、线、面”等不同的地标追踪因子，提升SLAM算法的精度，具有极高的现代性与前瞻性。摘要：我们提出了一个有效的多传感器里程测量系统的移动平台，联合优化视觉，激光雷达和惯性信息在一个单一的综合因子图。这将使用固定的延迟平滑以全帧率实时运行。为了实现这种紧密集成，提出了一种从激光雷达点云中提取三维线段、平面基元的新方法。该方法克服了典型的帧对帧跟踪方法的缺点，将基元视为地标并通过多次扫描跟踪它们。通过对激光雷达和相机帧进行微妙的被动同步，实现了激光雷达特征与标准视觉特征和IMU的真正集成。3D功能的轻量级形式允许在单个CPU上实时执行。我们提出的系统已经在多种平台和场景中进行了测试，包括使用有腿机器人进行地下勘探和使用动态移动手持设备进行户外扫描，总持续时间为96分钟，行走距离为2.公里。在这些测试序列中，仅使用一个外部传感器就会导致失败，原因要么是几何约束不足(影响激光雷达)，要么是过度光照变化导致的无纹理区域(影响视觉)。在这些条件下，我们的因子图自然地使用了从每个传感器模态获得的最佳信息，而没有任何外部干预与硬性条件判断。关键词：传感器融合，视觉惯性SLAM，定位引言多源传感器融合是自动导航系统在现实场景中成功部署的关键能力。可能的应用范围很广，从自主地下探测到室外动态测绘(见图1)。激光雷达硬件的最新进展促进了激光雷达-惯性导航融合[1]-[]的研究。激光雷达传感器广泛的视场、密度、范围和精度使得它们适合于导航、定位和测绘任务。然而，在复杂的环境中，如长隧道或开阔空间，光雷达方法可能会失败。由于单独的IMU积分递推不能提供超过几秒钟的可靠姿态估计，系统故障通常是不可恢复的。为了应付这些情况，还需要与更多的传感器，特别是照相机进行融合。虽然过去已经通过松耦合方法[5]实现了视觉-惯性-激光雷达的融合，但像增量平滑这样的紧耦合方法由于其优越的鲁棒性而更受欢迎。在平滑方法方面，视觉惯性导航系统(VINS)的研究已经成熟，激光惯性导航系统的研究也越来越普遍。然而，三种传感器模式的紧密融合仍然是一个有待解决的研究问题。A.出发点IMU、激光雷达和相机传感融合的两个主要挑战是:1)在移动平台有限的计算预算下实现实时性;2)在不同频率和采集方法下实现三种信号的适当同步。先前的工作通过采用松散耦合的方法[5]，[8]，[9]或运行两个独立的系统(一个用于激光雷达惯性，另一个用于视觉惯性测程)[10]来解决这两个问题。相反，我们通过以下方法来解决这些问题:1)提取和跟踪稀疏轻量级基元，2)开发一个相干因子图，利用IMU预积分来动态地将去变形的点云转换为附近摄像机帧的时间戳。前者避免匹配整个点云(如ICP)或跟踪数百个特征点(如LOAM[1])。后者使所有传感器的实时平滑成为可能。B.贡献本篇论文的主要贡献如下：一种新的因子图公式，紧密融合视觉，激光雷达和IMU测量在一个单一的一致的优化过程;一种有效的提取激光雷达特征的方法，然后优化为地标。激光雷达和视觉特征共享一个统一的表示，因为所有的地标都被处理为三维参数流形(即点、线、面)。这种紧凑的表现方式允许我们以名义帧率处理所有的激光雷达扫描;在一系列场景中进行的广泛实验评估表明，与在单个传感器模式失败时困难的更典型的方法相比，该方法具有更好的鲁棒性。我们的工作建立在我们之前的工作[11]，[12]中引入的VILENS估计系统的基础上，增加了激光雷达特征跟踪和激光雷达辅助视觉跟踪。摄像头和激光雷达的结合使便携式设备即使在快速移动时也能使用，因为它可以自然地处理场景中的退化(由于缺乏激光雷达或视觉特征)。图1：我们使用DARPASubT挑战赛中的ANYmal四足机器人[6](上图，由苏黎世联邦理工学院提供)和一个位于牛津新学院的手持绘图设备[7](下图)的数据测试了我们的多传感器里程表算法。相关工作先前的多模态传感器融合工作使用了激光雷达、相机和IMU传感的组合，可以被描述为松散或紧密耦合，如表I所示。松散耦合系统分别处理来自每个传感器的测量数据，并将其融合到一个滤波器中。在那里他们被边缘化以得到当前的状态估计。另外，紧密耦合系统可以联合优化过去和当前的测量数据，以获得完整的轨迹估计。另一个重要的区别是里程计系统和SLAM系统之间的区别。在后者中，执行回环检测以在访问同一地点两次后保持估计的全局一致性。尽管表格中的一些工作也包括姿态图SLAM后端，但我们在这里主要对高频里程计感兴趣。A.松耦合激光雷达-惯性里程计基于激光雷达的里程测量技术得到了广泛的应用，这要归功于Zhang等人[1]提出的LOAM算法。他们的关键贡献之一是定义边界和平面三维特征点，跟踪帧到帧。两帧之间的运动是线性插值使用IMU运行在高频。该运动先验用于特征的精细匹配和配准，以实现高精度的测程。Shan等人[2]提出了LeGO-LOAM，通过优化地面平面的估计，进一步提高了地面车辆LOAM的实时性。然而，这些算法在无结构环境或退化场景[20](由于激光雷达的范围和分辨率有限，如长高速公路、隧道和开放空间，无法找到约束条件)中将难以稳定运行。B.松耦合视觉-惯性-激光雷达里程计在最近的许多工作中，[5]，[8]，[9]，[15]视觉与激光雷达和IMU以一种松散耦合的方式结合，用于里程估计，以提供互补的传感器模态，既避免退化，又在激光雷达-惯性系统上获得更平滑的估计轨迹。LOAM的作者扩展了他们的算法，将V-LOAM[8]中的单目摄像机的特征跟踪与IMU相结合，从而为激光雷达扫描匹配生成视觉惯性测程先验。然而，操作仍然是逐帧执行，并没有保持全局一致性。为了提高一致性，Wang等人引入了视觉-惯性-激光雷达SLAM系统。[9]使用基于V-LOAM的方法进行里程估计，并通过维护关键帧数据库实现全局位姿图优化。Khattak等人[15]提出了另一种类似于V-LOAM的松散耦合方法，利用视觉/热红外惯性先验进行激光雷达扫描匹配。为了克服简并，作者使用视觉和热红外惯性里程计，以便在没有照明的长隧道中操作。在Pronto[5]中，作者使用视觉-惯性腿里程计作为激光雷达里程计系统的运动先验，并将视觉和激光雷达里程计的姿态修正集成在一起，以一种松散耦合的方式纠正姿态漂移。C.紧耦合惯性雷达里程计早期的激光雷达和IMU紧密融合方法之一是在LIPS[3]中提出的，这是一种基于图的优化框架，它优化了由最近点到平面表示和预集成IMU测量得到的三维平面因子。Y等人[]以类似的方式提出了LIOM，一种联合最小化激光雷达特征损失方程和预积分IMU测量的方法，在快速移动的情况下，这导致了比LOAM更好的里程表估计。Shan等人提出了LIO-SAM,LIO-SAM通过引入局部尺度而不是全局尺度的扫描匹配来适应LOAM框架。这允许新的关键帧被注册到先前“子关键帧”的滑动窗口合并成一个体素贴图。该系统在手持设备、地面和漂浮车辆上进行了广泛的测试，突出了SLAM系统重建的质量。对于长时间航行，他们还使用了闭环因子和GPS因子来消除漂移。但是，由于缺乏视觉，上述算法可能难以在退化场景下稳健执行。D.紧耦合视觉雷达里程计为了避免退化和使系统更鲁棒，多模态传感能力(视觉、激光雷达和IMU)的紧密集成在最近的一些工作[10]，[16]-[19]中进行了探索。在LIMO[16]中，作者提出了一种基于束调整的视觉里程表系统。他们通过将激光雷达测量的深度重新投射到图像空间，并将其与视觉特征联系起来，从而帮助保持精确的尺度。Shao等人引入了VIL-SLAM，他们将VIO和基于激光雷达的里程表作为单独的子系统来组合不同的传感器模式，而不是进行联合优化。为了进行联合状态优化，许多方法[17]-[19]使用了多状态约束卡尔曼滤波(MSCKF)框架[21]。[17]将3.5m范围内RGB-D传感器的平面特征与使用MSCKF的视觉和IMU测量的点特征紧密结合。为了限制状态向量的大小，大部分点特征被视为MSCKF特征并被线性边缘化，而只有少数强制平面点约束的点特征被保留在状态向量中作为SLAM特征。Zuo等人提出的LIC-Fusion[18]将IMU测量数据紧密结合，利用MSCKF融合框架提取激光雷达边缘特征，以及稀疏的视觉特征。然而，在最近的一项后续工作LIC-Fusion2.0[19]中，作者引入了一种基于滑动窗口的平面特征跟踪方法，用于高效处理三维激光雷达点云。与之前的工作相比，我们在一个单一的、一致的因子图优化框架中联合优化了上述三种传感器模式。为了实时处理激光雷达数据，我们直接从激光雷达点云中提取并跟踪线、面等三维基元，而不是执行“点对面”或“点对线”的成本函数。这允许以类似于视觉跟踪的方式在多帧上进行自然跟踪，并在退化场景中限制运动。问题描述我们的目标是估计一个移动平台(在我们的实验中，一个腿式机器人或一个手持传感器负载)的位置、方向和线速度，该平台装备有IMU、激光雷达和一个具有低延迟和全传感器率的单目或立体声摄像机。图2：ANYmal平台和手持设备的参考框架约定。世界坐标系W为固定架，底座坐标系B、光学相机坐标系C、IMU坐标系、I、激光雷达坐标系L分别安装在移动机器人的底盘或设备上。为简单起见，C和B在手持设备上是一致的。相关的参考坐标系在图2中指定，并且包括机器人固定的基准坐标系B、左摄像机坐标系C、IMU坐标系I和激光雷达坐标系L。我们希望估计相对于固定的世界坐标系W的基准帧的位置。除非另有说明，否则基础的位置wPWB方向RWB(以为对应的齐次变换)以世界坐标表示；速度、以基础坐标系表示，IMU偏移bg和ba以IMU坐标系表示。A.状态量定义在时间的移动平台状态定义如下：其中：Ri是方位，pi是位置，vi是线速度，最后两个元素是通常的IMU陀螺仪和加速度计偏差。除了状态之外，我们还

转载请注明：http://www.abuoumao.com/hyfw/94.html