点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

标题：Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments

作者：Chongjian Yuan, Xiyuan Liu, Xiaoping Hong, and Fu Zhang

来源：arXiv:2102.12400v1

编译：段逸凡

审核：方川，wyc

摘要

大家好，今天为大家带来的文章是 Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments. 在本文中，我们提出了一种高分辨率雷达和相机之间外参自动标定的方法。我们的方法不需要标定板，而且可以通过对齐两种传感器中的边特征的方法从而达到像素级准确度。在理论层面，我们分析了边特征带来的约束，以及标定准确度对环境中边特征分布的敏感度。在实现层面，我们研究了雷达测距的规律，提出了一个基于体素化以及平面拟合的高效准确的提取雷达边特征的方法。由于在自然环境中，边特征十分丰富，所以我们在室内外均进行实验，得到了高准确性，鲁棒性和一致性的实验结果。这可以促进相机和雷达融合应用的研究，并且我们开源了我们的代码。

图1 标定效果展示，根据标定的结果将三个激光雷达产生的点云上色后的效果图。

主要工作与贡献

对通过边特征匹配所产生的约束数量进行了理论分析，并且分析了边特征分布对标定结果的影响；

研究了激光雷达的测量原理，发现常用的深度不连续的边缘特征不准确，在本文中提出了一种新的更可靠的边特征提取方法；

我们评估了我们的方法在室内外环境中的收敛性，准确性和一致性，并且与其他SOTA方法进行了对比。我们的方法与基于目标（如标定板）的方法效果相当（有时甚至更好）；

开发了一个标定程序，并进行了开源。

算法核心

概述

坐标系的定义如图2所示: 雷达坐标系， 相机坐标系, 成像平面的坐标系.雷达与相机之间的需要被标定的外参记为：. 由于边缘特征在室内外场景均分布广泛， 所以我们的方法通过对其来自不同传感器的边特征进行外参的标定。

图2还展示了单个边特征可产生的约束的数量。如图中所示，以下自由度不能被区分：

1. 沿着边的平移（红色箭头D）2. 垂直于边的平移（绿色箭头C）3. 绕相机焦点和边构成平面的法向量的旋转（蓝色箭头B）4. 以边为轴的旋转（紫色箭头A）

所以，单条边特征只能对产生两个自由度的约束。为了获得对外参的充分约束，我们提取了不同方向和位置的边特征，如下节所示。

图2 单条边带来的约束。A，B，C，D四个方向的移动或旋转均不会改变该边在成像平面的投影。

边提取和匹配

边特征提取

图3 多值映射（B）（multi-valued mapping）和零值映射（A）（zero-valued mapping）。

现有的工作一般将点云投影到成像平面上，从而提取边特征。

这种投影法的主要问题是，会因为遮挡的原因导致多值映射和零值映射。如图3（a），A区域由于前景物体的遮挡，仅被相机观测到，而没有被雷达观测到。这导致没有点云投影到该区域，此区域的深度信息缺失，这种情况被称作零值映射。另一方面，B区域只被激光雷达观测，而没有被相机观测，前景的激光点（图3（a）中的黑色点）和背景的激光点（红色点），将会被投影在同一个图像区域，导致深度值发生冲突，这种情况被成为多值映射。

这种现象，在雷达分辨率较低的时候可能并不显著，但随着分辨率的增加，这种情况会越来越明显。

为了避免零值和多值问题，我们不采用投影法提取边特征，而是直接在点云中提取。边缘分为两个种类：深度不连续的边特征和深度连续的边特征。如图4（a）所示：

深度不连续的边指由于前景物体遮挡背景物体而产生的边，这样的边通常会有深度突变发生。

深度连续的边指两个平面的交线，深度连续变化。

图4 深度不连续的边和深度连续的边特征

现有的方法通常使用深度不连续的边，因为它们通常很好提取出来。但是我们通过研究激光雷达的测距规则，发现当激光雷达分辨率很高时，这种深度不连续的边通常是不可靠而且不准确的。如图5所示，一个激光脉冲并不是一个理想中的点，而是有一定发散角（Beam divergence angle）的光束。当这样的光束一部分被前景物体反射，另一部分被背景物体反射时，激光接收器会收到两个反射脉冲。

当前景物体反射率较高的时候，第一个脉冲信号将占主导地位，即使光束的中心线不在前景物体上，这会导致一些假点超出实际边缘（如图5（a）中左侧的黄色的点）。另外一种情况，当前景物体与背景物体很近的时候，两个脉冲的信号将被混在一起，导致一组连接前景和背景物体的点（称之为bleeding points，图5（a）中的黄色点）。这两种现象将会导致前景物体膨胀，并且在边缘提取中带来巨大的误差。

图5 前景物体膨胀（b）和bleeding points（a）

为了避免上述的两种问题（前景膨胀和bleeding points），我们提出了提取深度连续的边缘。过程如图6所示我们首先将点云划分为固定大小的体素（室外为1m，室内为0.5m）。对每一个体素，我们使用RANSAC对其中的点进行平面拟合。随后，我们保留了夹角在之间的平面对，取其交线，作为边特征。如图6所示，我们的方法可以提取出或平行或垂直的边缘。更进一步，选择适当的体素大小，我们的方法甚至可以提取曲线边缘。

图6 深度连续的边特征提取。不同颜色代表不同的voxel；在每一个voxel里，不同颜色代表不同的平面，白色的线代表两平面的交线。

对于图像中的边缘提取，我们采用了Canny算法，边缘的像素被保存到了k-D tree中，进行匹配。

边特征匹配

提取到的点云边，需要在图像中找到其对应的边。对于每一个点云边，我们采样若干点，并将其转变为相机坐标系下（使用外参）：

其中表示从激光坐标系到相机坐标系的刚性变换。变换后的点被投影到相机的成像平面，获得一个像素坐标

其中为针孔相机的投影函数,为去畸变函数。

我们通过图像边缘像素建立的kD tree，寻找的个最近点，记为集合,又设：

这样，由组成的线，就被和两个参数所描述，是最小特征值对应的特征向量。

除了将点云投影到成像平面外，我们还将边的方向也投影过去，并且验证了其与的正交性。这个做法可以有效地消除两条非平行线接近时的伪匹配。匹配的效果如图7所示。

图7 雷达的边（红线）与图像的边（蓝线）进行匹配（绿线代表对应关系）。

外参标定

测量噪音

上述过程中提取到的（边缘的点云）和对应的线特征会存在测量噪音。设为计算时产生的噪音，其协方差为， 其中表示一个像素的误差。

另设为的测量噪音。在实际过程中，激光雷达通过扫描电机的编码器来计算方向，通过光的飞行时间计算深度。

方向噪音 设为方向，为切平面上的误差(如图8所示)。使用在中封闭的运算符,我们获得了真实方向与测量值之间的关系：

这里$\mathbf{N}\left(\boldsymbol{\omega}_{i}\right) = [\mathbf{N}_1,\mathbf{N}_2] \in \mathbb{R}^{3\times2}$为切平面的正交基，$\left\lfloor\space \times\right\rfloor$代表将斜对角矩阵映射到叉乘。$\boxplus_{\mathbb{S}^{2}}$运算符表示将单位向量$\omega_i$旋转$\boldsymbol{\delta}_{\boldsymbol{\omega}_{i}}$，旋转后的结果仍然为单位向量。

深度噪音 相似的，设为测量的深度，为测量误差，所以真实的深度可表示为：

由(1),(2)两式可得点云真实的位置和测量值之间的关系为：

所以，这个误差模型可以用于产生一致性的外参标定，具体如下。

图8 a为方向的扰动，b为雷达点云在成像平面的投影，和残差的计算

标定的形式化和优化

如上文所描述的，为从激光点云中提取的边缘点，对应的图像中的边使用法向量和点表示。

上式描述了，一个雷达点只能给外参带来一个约束，这与之前提到的一条雷达边只能给外参带来两个约束一致，因为一条边是由两个点组成的。此外，上式为一个关于外参的一个非线性方程，可以用迭代的方式进行求解：设为当前的外参估计，使用运算符在的切平面参数化

其中：

将4式带入3式，使用一阶项逼近，如下所示：

其中：

的计算在图8（b）中进行了说明。式5描述了一条边的对应关系带来的约束，将N条边叠加在一起则如下所示：

其中：根据式7，可得：

根据式8，我们提出了极大似然的外参估计（也是最小化差值）如下：

这个式子优化的方向为：

对目前的迭代值进行更新，则为：

使用式10和式11不断进行迭代，直到收敛（），收敛后的就为标定好的外参。

估计的不确定度

除了对外参进行估计，计算真实值与估计值之间误差的协方差也很有必要。为了达到这个目的，我们在7式的两边同乘,然后解得为：

这代表着外参的真值与估计值之间的误差，在估计值的切平面上的表示服从高斯分布。这又意味着和协方差等于式9的Hessian矩阵的逆。当收敛时，趋近于0，此时的协方差为：

我们使用这个协方差矩阵来刻画外参标定的不确定度。

边缘分布对标定结果的影响的分析

6式中的Jacobian表示残差对外参变化的敏感度。当边缘特征很少或分布不好时，会非常小，从而导致较大的估计的不确定度（13式）。这样，数据质量可以由13式进行自动编码。在实际应用中，在数据采集前，对标定场景进行粗略的评估很有用，这可以通过解析求导来实现。忽略相机的畸变模型，将针孔相机的投影模型带入，可得：

其中

为雷达点转到相机坐标系后的坐标。可以看到，投影后接近图像中心的点，会带来比较小的Jacobian。所以边缘特征在图像中分布均匀比较好。另外由于雷达噪声会随着距离的增加而增加，所以标定的场景应是中等的深度。

实验

实验的器材如下：激光雷达为Livox AVIA（固态，高分辨率），相机为Intel Realsense-D435i。传感器套件如图9所示。

图9 传感器套件，黄框为相机，红框为雷达。

图10 标定的场景，室内和室外

图12 优化前和优化后的结果。

图13 对标定后的点云上色，AC为点云，BD为相机所得图片。

点击阅读原文， 即可获取本文下载链接。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉+ 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~