(12)发明专利申请
(10)申请公布号 CN 112001926 A(43)申请公布日 2020.11.27
(21)申请号 202010634136.3(22)申请日 2020.07.04
(71)申请人 西安电子科技大学
地址 710071 陕西省西安市太白南路2号西
安电子科技大学(72)发明人 李静 谢宇光 陈硕 李聪聪
卢朝阳 (74)专利代理机构 西安长和专利代理有限公司
61227
代理人 何畏(51)Int.Cl.
G06T 7/11(2017.01)G06T 7/13(2017.01)G06T 7/70(2017.01)G06T 7/80(2017.01)
权利要求书3页 说明书8页 附图5页
G06F 17/16(2006.01)
CN 112001926 A(54)发明名称
基于多维语义映射RGBD多相机标定方法、系统及应用(57)摘要
本发明属于图像处理和计算机视觉技术领域，公开了一种基于多维语义映射RGBD多相机标定方法、系统及应用，采用硬同步触发机制同步获取多路RGBD相机同一时钟下彩色图像数据和深度图像数据；基于RGBD多相机初始标定，在所有RGBD相机共视区域拍摄一张二维码标定板图
然后，关联像，获取RGBD多相机之间的初始位姿；
二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；最后，采用ICP算法得到RGBD多相机之间的精确位姿。本发明具有较高的标定精度，能够在复杂场景下实现RGBD多相机的精确标定。
CN 112001926 A
权 利 要 求 书
1/3页
1.一种基于多维语义映射RGBD多相机标定方法，其特征在于，所述基于多维语义映射RGBD多相机标定方法包括：
采用硬同步触发机制同步获取多路RGBD相机同一时钟下彩色图像数据和深度图像数据；
基于二维码与光束平差法的RGBD多相机初始标定，在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法来得到RGBD多相机之间的初始位姿；
基于多维语义映射的迭代最近点ICP算法，在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；在相邻相机之间重叠区域的基础上，采用ICP算法得到RGBD多相机之间的精确位姿。
2.如权利要求1所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述基于多维语义映射RGBD多相机标定方法还包括：
步骤一，使用同步触发线来同步RGBD多相机的时钟，同步拍摄放置在相机共视区域的标定板彩色图像，将获取的彩色图像做灰度变换处理，并利用自适应阈值方式对图像进行分割，利用Suzuki算法对分割后的图像进行轮廓提取，并通过Douglas-Peucker算法选取轮廓近似为四边形的最外围四边形；对提取后的四边形做仿射变换，并根据其信息得到彩色图像中二维码的角点位置以及ID信息；
步骤二，求解RGBD多相机之间的初始位姿，二维码标定在世界坐标系下的位置为点pi(i＝1，…，N)，对应在彩色图像上像素坐标系中的位置为(ui，vi)(i＝1，…，N)，使用DLT算法构建方程来求解相机的位姿；
步骤三，全局优化求解RGBD多相机之间的位姿关系，在步骤二得到的相机之间位姿基础，并结合世界坐标系下的三维点Pi(i＝1，…，N)以及对应的像素坐标
旋转和平移的增广矩阵的李代数表示为ξ，对应的世界坐标到像
素标定的表达式为h，使用光束平差法构建代价函数，全局优化RGBD多相机之间的位姿；
步骤四，根据二维语义信息和三维空间信息构建相邻相机之间空间重叠点云；步骤五，对步骤四得到的重叠点云做预处理操作；步骤六，对相邻相机点云做配准处理来精确求解出RGBD多相机之间位姿关系。3.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤二使用DLT算法构建方程来求解相机的位姿，其中方程的表示形式为：
在求解相机之间位姿过程中，求解旋转和变换矩阵构成的增广矩阵，总共包含12个未知数；采集至少6对三维点与二维点的对应点，使用SVD法来对方程求解，得到RGBD相机之间的位姿关系。
4.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤
2
CN 112001926 A
权 利 要 求 书
2/3页
三构建的代价函数为：
5.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤四首先使用目标检测算法或者语义分割算法，获取二维彩色图像中感兴趣区域的位置Mc(c＝1，…，C)，其中Mc表示感兴趣区域在第c个相机获取的彩色图像中对应的行xc、列yc、宽wc、高hc信息；然后，根据彩色相机和深度相机之间的变换矩阵，将二维彩色图语义信息与三维深度空间数据关联，从而得到图像中感兴趣区域对应的深度信息Dc(c＝1，…，C)；接着，利用步骤三求解得到的RGBD相机到世界坐标系变换矩阵得到世界坐标系到图像坐标系的变换矩阵
并结合相机的内参
将RGBD多相机中第c个相机得
到的二维彩色图像感兴区域变换到相邻第c+1相机所在的像素坐标系下；判断变换到相机c+1后的像素(ui，vi)是否在该相机的感兴区域Mc+1内，如果在Mc+1内则两边相机同时保留该点信息；反之，则相邻相机去除该点信息；遍历第c个相机感兴趣区域内的所有像素，确定出相邻相机之间空间点云重叠区域；最后，按照上述方法直到确定出所有相邻相机的空间点云重叠区域：
6.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤五首先使用体素化网格的方法来对点云做下采样处理，将精细化的点云放入到三维坐标系中，并计算出在坐标系每个方向的最大值，得到包围点云的立方体；将点云数据空间划分来得到一定数量相同大小的立方体栅格，并检测每个立方体中存在的数据，如果存在点云数据，则计算出立体空间中的中心点，反之则删除该立方体；设置固定大小的阈值，选择以立方体中心点小于设定阈值范围内的空间点，反之则去除立体空间中的点云；然后使用Kd-Tree方法来构建下采样后点云的拓扑结构，寻找下采样后点云最稀疏的维度，并在选择的维度上寻找切分点；在切分后的两个子平面上继续寻找最稀疏的维度；按照此方法一直寻找，最终构建出由k维数据表示的点云数据节点，最后，使用局部表面拟合的方法来求解点云的法向量；在空间点(xi，yi，zi)处法向量的余弦分别为(a，b，c)，得到法向量计算的约束方程，计算出点云的法向量；其中，点云法向量的约束方程为：
7.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤六包括选取步骤五中相邻相机的两组点云集，分别设为源点云集H和目标点云集Q，并引入步骤三得到的相机之间位姿关系；计算目标数据点集与源数据点集的重心，对两个点集进行重心平移化处理；在经过初始变换矩阵变换后，设H中一点Hi，使用距离度量方法在目标
3
CN 112001926 A
权 利 要 求 书
3/3页
数据点集中寻找距离Hi距离最近的点Qi作为匹配点，构成匹配点集；对匹配上的点对计算对应的欧氏距离平方和，并将结果作为误差目标函数：根据已知误差目标函数，通过四元数法来计算误差函数最小值；构造两个点云的协方差矩阵，求解出两组点云的变换矩阵，并将结果到更新待匹配点集H；重新寻找源点集与目标点集的对应点，重复上述步骤，直到误差目标函数变化小于设定的阈值或者超过设定的最大迭代次数。
8.一种运行权利要求1～7任意一项所述基于多维语义映射RGBD多相机标定方法的基于多维语义映射RGBD多相机标定系统，其特征在于，所述基于多维语义映射RGBD多相机标定系统包括：
图像数据获取模块，采用硬同步触发机制同步获取多路RGBD相机同一时钟下的彩色图像数据和深度图像数据；
初始位姿处理模块，用于在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法来得到RGBD多相机之间的初始位姿；
空间点重叠区域获取模块，用于在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；
精确位姿处理模块，用于采用ICP算法来得到RGBD多相机之间的精确位姿。9.一种RGBD相机，其特征在于，所述RGBD相机安装有权利要求8所述的基于多维语义映射RGBD多相机标定系统。
10.一种机器人，其特征在于，所述机器人安装有权利要求8所述的基于多维语义映射RGBD多相机标定系统。
4
CN 112001926 A
说 明 书
基于多维语义映射RGBD多相机标定方法、系统及应用
1/8页
技术领域
[0001]本发明属于图像处理和计算机视觉技术领域，尤其涉及一种基于多维语义映射RGBD多相机标定方法、系统及应用。背景技术
[0002]随着小型化、低成本以及高性能的视觉设备出现及发展，给生活带来极大的便捷。其中，最具代表的一类视觉设备是RGBD相机(如：微软的Kinect、Intel的RealSense以及Asus Xtion Pro Live)。RGBD相机不仅能提供彩色图像，还能提供对应场景的深度图像，并且深度精度范围从几毫米到几厘米。因此，吸引了越来越多研究员使用RGBD相机来解决特定视觉问题并取得了不错成果。当前主要的应用场景包括：利用RGBD相机实时重建静态场景以及动态场景来生成全息交互视频；将其深度测距传感器应用到机器人导航领域，来帮助机器人感知环境；结合深度传感器应用到运动捕捉，来避免从彩色图像中获取运动信息难问题等等。由于RGBD相机成本低，以及RGBD多相机能够填补遮挡区域、增大相机的空间覆盖范围等特性，越来越多的研究使用RGBD多相机来解决上述问题。使用RGBD多相机解决视觉问题，前提需要能够精确标定出相机之间的位姿关系。因此，RGBD多相机之间位姿的精确标定，成为了计算机视觉和模式识别领域研究的热点技术之一。
[0003]尽管RGBD多相机标定长期以来受到了学业界和产业界的广泛关注，但精确标定RGBD多相机之间位姿仍然是一个非常具有挑战性的问题。根据RGBD多相机标定方法的不同，当前研究主要分为两类方法：第一类基于不同场景特征的RGBD多相机标定方法。基于不同场景特征的方法主要是选取便于鲁棒提取标志物的特征来对RGBD多相机进行标定。2014年Li等人提出了基于人体关节点的RGBD多相机标定方法。该方法首先通过关节点提取算法获得每个RGBD相机视角下人体的三维关节点，然后根据骨架特性进行每个相机的数据关联，最后求解出RGBD多相机到的内参。2015年Aaron等人提出基于移动单个球体的RGBD多相机内参和外参标定方法。该方法通过在深度图和彩色图使用目标检测和跟踪算法来得到球体的3D中心点坐标以及彩色图像上的像素坐标，根据提取得到的3D点和彩色图2D点来标定出RGBD多相机的内参和外参。这类基于不同场景的RGBD多相机标定方法，虽然可以得到RGBD相机的位姿，但是由于受到环境噪声的影响。该方法容易导致RGBD多相机关键点匹配错误问题，从而影响RGBD多相机的标定结果。第二类基于算法优化和改进的RGBD多相机标定方法。基于算法优化和改进的方法主要是对现有RGBD多相机算法进行改进和优化，来进一步提升标定的效果。2014年Afzal等人提出基于光束平差法和迭代最近点的联合算法BAICP+来求解RGBD多相机位姿。该方法通过结合二维视觉和三维形状信息，来联合最小化目标函数，从而得到RGBD多相机之间的位姿关系。BAICP+算法虽然可以标定出RGBD多相机之间位姿，但是算法在求解过程需要人为调整二维视觉和三维形状信息的权重。因此，该方法不便于在实际场景下对RGBD多相机进行标定。因此，当前存在的方法不能很有效、精确求解出RGBD多相机位姿关系。[0004]通过上述分析，现有技术存在的问题及缺陷为：现有RGBD相机之间距离相差较大
5
CN 112001926 A
说 明 书
2/8页
以及视角相差较大情况下RGBD多相机标定精度差。[0005]解决以上问题及缺陷的难度为：
[0006]解决上述问题的难度在于通过结合RGBD相机能够同时获取彩色图和深度图的特性，以较小的计算复杂度来得到较鲁棒和准确的RGBD多相机标定结果。本文专利提出的基于多维语义映射的RGBD多相机标定方法，充分结合了RGBD相机的彩色图语义信息以及三维空间的深度信息，在较小的计算量情况下，得到较鲁棒和准确的RGBD多相机标定结果。[0007]解决以上问题及缺陷的意义为：
[0008]本文提出的基于多维语义映射的RGBD多相机标定方法，解决了RGBD多相机在距离相差较大以及视角相差较大情况下，RGBD多相机难精确、鲁棒标定问题。该方法对于学术界和工业界都有着比较重大的意义和价值。本文提出的方法为解决RGBD多相机精确、鲁棒标定提供了新思路；同时，利用本文提出的方法，较鲁棒、精确标定出RGBD多相机的位姿，并在此精确标定的基础上来进一步研究相关RGBD多相机视觉问题，加快了RGBD多相机视觉问题的研究。同时，进一步推进RGBD多相机相关应用产品的落地，包括：全息技术、辅助人体治疗、体感游戏等等。发明内容
[0009]针对现有技术存在的问题，本发明提供了一种基于多维语义映射RGBD多相机标定方法、系统及应用。
[0010]本发明是这样实现的，一种基于多维语义映射RGBD多相机标定方法，所述基于多维语义映射RGBD多相机标定方法包括：
[0011]采用硬同步触发机制同步获取多路RGBD相机同一时钟下彩色图像数据和深度图像数据；
[0012]基于二维码与光束平差法的RGBD多相机初始标定，在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法得到RGBD多相机之间的初始位姿；
[0013]基于多维语义映射的迭代最近点ICP算法，在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；在相邻相机之间重叠区域的基础上，采用ICP算法得到RGBD多相机之间的精确位姿。[0014]进一步，所述基于多维语义映射RGBD多相机标定方法还包括：[0015]步骤一，使用同步触发线来同步RGBD多相机的时钟，同步拍摄放置在相机共视区域的标定板彩色图像，将获取的彩色图像做灰度变换处理，并利用自适应阈值方式对图像进行分割，利用Suzuki算法对分割后的图像进行轮廓提取，并通过Douglas-Peucker算法选取轮廓近似为四边形的最外围四边形；对提取后的四边形做仿射变换，并根据其信息得到彩色图像中二维码的角点位置以及ID信息；[0016]步骤二，求解RGBD多相机之间的初始位姿，二维码标定在世界坐标系下的位置为点pi(i＝1，…，N)，对应在彩色图像上像素坐标系中的位置为(ui，vi)(i＝1，…，N)，使用DLT算法构建方程来求解相机的位姿；[0017]步骤三，全局优化求解RGBD多相机之间的位姿关系，在步骤二得到的相机之间位姿基础，并结合世界坐标系下的三维点Pi(i＝1，…，N)以及对应的像素坐标
6
CN 112001926 A
说 明 书
3/8页
旋转和平移的增广矩阵的李代数表示为ξ，对应的世界坐标到像
素标定的表达式为h，使用光束平差法构建代价函数，全局优化RGBD多相机之间的位姿；
[0018]步骤四，根据二维语义信息和三维空间信息构建相邻相机之间空间重叠点云；[0019]步骤五，对步骤四得到的重叠点云做预处理操作；[0020]步骤六，对相邻相机点云做配准处理来精确求解出RGBD多相机之间位姿关系。[0021]进一步，所述步骤二使用DLT算法构建方程来求解相机的位姿，其中方程的表示形式为：
[0022]
[0023]
在求解相机之间位姿过程中，求解旋转和变换矩阵构成的增广矩阵，总共包含12
个未知数；采集至少6对三维点与二维点的对应点，使用SVD法来对方程求解，得到RGBD相机之间的位姿关系。[0024]进一步，所述步骤三构建的代价函数为：
[0025]
[0026]
进一步，所述步骤四首先使用目标检测算法或者语义分割算法，获取二维彩色图像中感兴趣区域的位置Mc(c＝1，…，C)，其中Mc表示感兴趣区域在第c个相机获取的彩色图像中对应的行xc、列yc、宽wc、高hc信息；然后，根据彩色相机和深度相机之间的变换矩阵，将二维彩色图语义信息与三维深度空间数据关联，从而得到图像中感兴趣区域对应的深度信息Dc(c＝1，…，C)；接着，利用步骤三求解得到的RGBD相机到世界坐标系变换矩阵
并结合相机的内参得到世界坐标系到图像坐标系的变换矩阵将RGBD多相机中第c个相机得到的二维彩色图像感兴区域变换到相邻第c
+1相机所在的像素坐标系下；判断变换到相机c+1后的像素(ui，vi)是否在该相机的感兴区域Mc+1内，如果在Mc+1内则两边相机同时保留该点信息；反之，则相邻相机去除该点信息；遍历第c个相机感兴趣区域内的所有像素，确定出相邻相机之间空间点云重叠区域；最后，按照上述方法直到确定出所有相邻相机的空间点云重叠区域：
[0027]
[0028]
进一步，所述步骤五首先使用体素化网格的方法来对点云做下采样处理，将精细
化的点云放入到三维坐标系中，并计算出在坐标系每个方向的最大值，得到包围点云的立方体；将点云数据空间划分来得到一定数量相同大小的立方体栅格，并检测每个立方体中存在的数据，如果存在点云数据，则计算出立体空间中的中心点，反之则删除该立方体；设
7
CN 112001926 A
说 明 书
4/8页
置固定大小的阈值，选择以立方体中心点小于设定阈值范围内的空间点，反之则去除立体空间中的点云；然后使用Kd-Tree方法来构建下采样后点云的拓扑结构，寻找下采样后点云最稀疏的维度，并在选择的维度上寻找切分点；在切分后的两个子平面上继续寻找最稀疏的维度；按照此方法一直寻找，最终构建出由k维数据表示的点云数据节点，最后，使用局部表面拟合的方法来求解点云的法向量；在空间点(xi，yi，zi)处法向量的余弦分别为(a，b，c)，得到法向量计算的约束方程，计算出点云的法向量；其中，点云法向量的约束方程为：
[0029]
进一步，所述步骤六包括选取步骤五中相邻相机的两组点云集，分别设为源点云集H和目标点云集Q，并引入步骤三得到的相机之间位姿关系；计算目标数据点集与源数据点集的重心，对两个点集进行重心平移化处理；在经过初始变换矩阵变换后，设H中一点Hi，使用距离度量方法在目标数据点集中寻找距离Hi距离最近的点Qi作为匹配点，构成匹配点集；对匹配上的点对计算对应的欧氏距离平方和，并将结果作为误差目标函数：根据已知误差目标函数，通过四元数法来计算误差函数最小值；构造两个点云的协方差矩阵，求解出两组点云的变换矩阵，并将结果到更新待匹配点集H；重新寻找源点集与目标点集的对应点，重复上述步骤，直到误差目标函数变化小于设定的阈值或者超过设定的最大迭代次数。[0031]本发明的另一目的在于提供一种运行所述基于多维语义映射RGBD多相机标定系统，所述基于多维语义映射RGBD多相机标定系统包括：[0032]图像数据获取模块，采用硬同步触发机制同步获取多路RGBD相机同一时钟下的彩色图像数据和深度图像数据；[0033]初始位姿处理模块，用于在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法来得到RGBD多相机之间的初始位姿；
[0034]空间点重叠区域获取模块，用于在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；[0035]精确位姿处理模块，用于采用ICP算法来得到RGBD多相机之间的精确位姿。[0036]本发明的另一目的在于提供给RGBD相机，所述RGBD相机安装有所述的基于多维语义映射RGBD多相机标定系统。
[0037]本发明的另一目的在于提供给机器人，所述机器人安装有所述的基于多维语义映射RGBD多相机标定系统。
[0038]结合上述的所有技术方案，本发明所具备的优点及积极效果为：但本发明提出的方法，在初始RGBD相机位姿基础上，结合二维彩色图语义信息和三维深度空间信息可以精确求解出RGBD多相机之间的位姿关系。本发明能够有效得到相邻相机之间空间点云的重叠区域，实现了相邻相机点云的精细化。经过实验验证和分析，该发明的算法能够得到较高的RGBD多相机标定精度，并在复杂场景下取得较好的效果。[0039]与现有的技术相比，本发明在RGBD多相机初始位姿的基础上，结合二维彩色图语义信息以及三维深度空间信息，提高了RGBD多相机在复杂环境下标定精度；并且基于多维语义映射的RGBD多相机标定，实现了相邻RGBD相机空间点云的精细化处理。本发明基于多
8
[0030]
CN 112001926 A
说 明 书
5/8页
维语义映射的RGBD多相机标定，通过结合RGBD相机的彩色图语义信息和深度空间图像，解决了RGBD多相机在相距较远以及视角相差较大情况下难精确配准问题；该多维语义映射方法根据彩色图语义信息和深度空间信息，实现了相邻RGBD相机之间空间重叠区域的精细化；基于多维语义映射方法，设计并完成了一个RGBD多相机标定系统，并且经过实验评估该系统能较好地实现RGBD多相机之间的标定。该发明具有较高的标定精度，能够在复杂场景下实现RGBD多相机的精确标定。
附图说明
[0040]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0041]图1是本发明实施例提供的基于多维语义映射RGBD多相机标定方法流程图。
[0042]图2是本发明实施例提供的基于多维语义映射RGBD多相机标定系统的结构示意图；
[0043]图2中：1、图像数据获取模块；2、初始位姿处理模块；3、空间点重叠区域获取模块；4、精确位姿处理模块。
[0044]图3是本发明实施例提供的基于多维语义映射RGBD多相机标定方法实现流程图。[0045]图4是本发明实施例提供的二维码标定板检测示意图。[0046]图5是本发明实施例提供的多维语义映射算法的示意图。[0047]图6是本发明实施例提供的点云配准算法示意图。
[0048]图7是本发明实施例提供的应用到三个RGBD相机的标定合成结果示意图。具体实施方式
[0049]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0050]针对现有技术存在的问题，本发明提供了一种基于多维语义映射RGBD多相机标定方法、系统及应用，下面结合附图对本发明作详细的描述。[0051]如图1所示，本发明提供的基于多维语义映射RGBD多相机标定方法包括以下步骤：[0052]S101：同步获取多路RGBD相机彩色图像和深度图像的数据；采用硬同步触发机制，使所有的相机在同一时钟下采集数据；[0053]S102：基于二维码与光束平差法的RGBD多相机初始标定，在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换(Direct Linear Transform，DLT)、光束平差算法来得到RGBD多相机之间的初始位姿；[0054]S103：基于多维语义映射的迭代最近点ICP(Iterative Closest Point，ICP)算法，在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；在相邻相机之间重叠区域的基础上，采用ICP算法来得到RGBD多相机之间的精确位姿。
9
CN 112001926 A[0055]
说 明 书
6/8页
本发明提供的基于多维语义映射RGBD多相机标定方法业内的普通技术人员还可
以采用其他的步骤实施，图1的本发明提供的基于多维语义映射RGBD多相机标定方法仅仅是一个具体实施例而已。[0056]如图2所示，本发明提供的基于多维语义映射RGBD多相机标定系统包括：[0057]图像数据获取模块1，采用硬同步触发机制同步获取多路RGBD相机同一时钟下的彩色图像数据和深度图像数据；[0058]初始位姿处理模块2，用于在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法来得到RGBD多相机之间的初始位姿；
[0059]空间点重叠区域获取模块3，用于在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；[0060]精确位姿处理模块4，用于采用ICP算法来得到RGBD多相机之间的精确位姿。[0061]下面结合附图对本发明的技术方案作进一步的描述。[0062]如图3所示，本发明提供的基于多维语义映射RGBD多相机标定方法具体包括以下步骤：
[0063]步骤一，使用同步触发线来同步RGBD多相机的时钟，同步拍摄放置在相机共视区域的标定板彩色图像。将获取的彩色图像做灰度变换处理，并利用自适应阈值方式对图像进行分割。利用Suzuki算法对分割后的图像进行轮廓提取，并通过Douglas-Peucker算法选取轮廓近似为四边形的最外围四边形。对提取后的四边形做仿射变换，并根据其信息得到彩色图像中二维码的角点位置以及ID信息。其中，二维码标定板检测算法流程如图4所示。[0064]步骤二，求解RGBD多相机之间的初始位姿。这里假定二维码标定在世界坐标系下的位置为点pi(i＝1，…，N)，对应在彩色图像上像素坐标系中的位置为(ui，vi)(i＝1，…，N)。使用DLT算法构建方程来求解相机的位姿，其中方程的表示形式为：
[0065]
在求解相机之间位姿过程中，主要是求解旋转和变换矩阵构成的增广矩阵，总共包含12个未知数。因此，这个需要采集至少6对三维点与二维点的对应点。使用SVD法来对方程求解，得到RGBD相机之间的位姿关系。[0067]步骤三，全局优化求解RGBD多相机之间的位姿关系。在步骤二得到的相机之间位姿基础，并结合世界坐标系下的三维点Pi(i＝1，…，N)以及对应的像素坐标
[0066]
这里假定旋转和平移的增广矩阵的李代数表示为ξ，对应的世界
坐标到像素标定的表达式为h。使用光束平差法来构建代价函数，全局优化RGBD多相机之间的位姿。其中，构建的代价函数为：
[0068]
10
CN 112001926 A[0069]
说 明 书
7/8页
步骤四，根据二维语义信息和三维空间信息构建相邻相机之间空间重叠点云，如
图5所示。首先使用目标检测算法或者语义分割算法，来获取二维彩色图像中感兴趣区域的位置Mc(c＝1，…，C)，其中Mc表示感兴趣区域在第c个相机获取的彩色图像中对应的行xc、列yc、宽wc、高hc信息。然后，根据彩色相机和深度相机之间的变换矩阵，来将二维彩色图语义信息与三维深度空间数据关联，从而得到图像中感兴趣区域对应的深度信息Dc(c＝1，…，C)。接着，利用步骤三求解得到的RGBD相机到世界坐标系变换矩阵相机的内参得到世界坐标系到图像坐标系的变换矩阵
并结合
将RGBD多相机中
第c个相机得到的二维彩色图像感兴区域变换到相邻第c+1相机所在的像素坐标系下。判断变换到相机c+1后的像素(ui，vi)是否在该相机的感兴区域Mc+1内，如果在Mc+1内则两边相机同时保留该点信息。反之，则相邻相机去除该点信息。遍历第c个相机感兴趣区域内的所有像素，来确定出相邻相机之间空间点云重叠区域。最后，按照上述方法直到确定出所有相邻相机的空间点云重叠区域：
[0070]
步骤五，对步骤四得到的重叠点云做预处理操作。首先使用体素化网格的方法来
对点云做下采样处理。将精细化的点云放入到三维坐标系中，并计算出在坐标系每个方向的最大值，从而得到包围点云的立方体；将点云数据空间划分来得到一定数量相同大小的立方体栅格，并检测每个立方体中存在的数据，如果存在点云数据，则计算出立体空间中的中心点，反之则删除该立方体；设置固定大小的阈值，选择以立方体中心点小于设定阈值范围内的空间点，反之则去除立体空间中的点云。然后使用Kd-Tree方法来构建下采样后点云的拓扑结构。寻找下采样后点云最稀疏的维度，并在选择的维度上寻找切分点；在切分后的两个子平面上继续寻找最稀疏的维度；按照此方法一直寻找，最终构建出由k维数据表示的点云数据节点。最后，使用局部表面拟合的方法来求解点云的法向量。假定在空间点(xi，yi，zi)处法向量的余弦分别为(a，b，c)，可以得到法向量计算的约束方程，从而计算出点云的法向量。其中，点云法向量的约束方程为：
[0072]
[0071]
步骤六，对相邻相机点云做配准处理来精确求解出RGBD多相机之间位姿关系，如图6所示。选取步骤五中相邻相机的两组点云集，分别设为源点云集H和目标点云集Q，并引入步骤三得到的相机之间位姿关系；计算目标数据点集与源数据点集的重心，对两个点集进行重心平移化处理；在经过初始变换矩阵变换后，设H中一点Hi，使用距离度量方法在目标数据点集中寻找距离Hi距离最近的点Qi作为匹配点，构成匹配点集；对匹配上的点对计算对应的欧氏距离平方和，并将结果作为误差目标函数：根据已知误差目标函数，通过四元数法来计算误差函数最小值；构造两个点云的协方差矩阵，来求解出两组点云的变换矩阵，并将结果到更新待匹配点集H；重新寻找源点集与目标点集的对应点，重复上述步骤，直到误差目标函数变化小于设定的阈值或者超过设定的最大迭代次数。[0074]下面结合实验对本发明的技术效果作详细的描述。
11
[0073]
CN 112001926 A[0075]
说 明 书
8/8页
本发明针对不同场景下RGBD相机的标定任务进行了性能评估，我们对该发明的性
能进行了定性分析，实验效果如图7所示(图中展示了标定结束后，点云合并在一起的效果)。可以直观地看到该发明的算法在不同环境下能标定出RGBD多相机之间位姿关系，而且从效果可看出图像可以做到无缝衔接。总体上看，该算法对不同环境下的RGBD多相机能取得较好的标定效果。[0076]以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
12
CN 112001926 A
说 明 书 附 图
1/5页
图1
图2
13
CN 112001926 A
说 明 书 附 图
2/5页
图3
图4
14
CN 112001926 A
说 明 书 附 图
3/5页
图5
15
CN 112001926 A
说 明 书 附 图
4/5页
图6
16
CN 112001926 A
说 明 书 附 图
5/5页
图7
17
因篇幅问题不能全部显示，请点此查看更多更全内容