一种彩色微光多目立体视觉相机及其数据融合方法

技术领域

本发明涉及多目立体视觉相机，具体涉及一种彩色微光多目立体视觉相机及其数据融合方法。

背景技术

立体视觉已经广泛应用于工业测量，辅助驾驶，三维建模等领域，但是普通的立体视觉系统通常由彩色或灰度的可见光相机组成，仅能在光照充足的环境下工作。此外，立体视觉系统在光照复杂的场景中容易受到光斑、阴影等的影响，应用在无人驾驶、辅助驾驶等领域时，难以应对夜间、隧道、强光等困难环境。现有的无人驾驶系统通常依靠激光雷达或者夜间补光的方式应对上述困难，但是在一些特殊的应用场合，要求系统自身不能发出主动光照。因此，现亟需一种多目立体视觉相机进行环境感知，并采用自适应测距结果融合的方式来实现动态融合。

发明内容

本发明旨在解决现有技术中存在立体视觉系统在光照复杂的场景中容易受到光斑、阴影等的影响，应用在无人驾驶、辅助驾驶等领域时，难以应对夜间、隧道、强光等困难环境的技术问题，而提供一种彩色微光多目立体视觉相机及其数据融合方法。

为达到上述目的，本发明所采用的技术方案为：

一种彩色微光多目立体视觉相机及其数据融合方法，包括支架、外触发器、信号处理器以及两组相机组件；

两组所述相机组件均设置于支架上；

每组所述相机组件包括一台微光相机和一台彩色相机，所述微光相机的光轴与彩色相机的光轴平行，并且两组相机组件中微光相机的光轴平行；

所述微光相机和彩色相机分别通过触发线与外触发器连接，且二者还分别通过数据线与信号处理器连接。

进一步地，所述微光相机为非制冷型相机。

进一步地，所述外触发器采用方波发生模块。

本发明还提供了一种彩色微光多目立体视觉相机的数据融合方法，其采用上述的一种彩色微光多目立体视觉相机，其特殊之处在于，包括以下步骤：

步骤1：搭建立体视觉相机

步骤1.1以一台彩色相机和一台微光相机为一组相机组件，将两组相机组件分别安装在支架的左方和右方；两个微光相机形成微光双目相机，两个彩色相机形成彩色双目相机；

步骤1.2将两组相机组件的数据线连接至信号处理器、触发线连接到外触发器；

步骤2：标定

2.1将标定板置于立体视觉相机的视场内，左右移动标定板并使其多角度变化，立体视觉相机中的两个彩色相机和两个微光相机分别同步采集多组标定图像；

2.2以左侧的彩色相机为基准，分别获取彩色双目相机和微光双目相机的标定参数；

2.3基于获取的标定参数以及同一时刻采集的其中一组标定图像中同一个特征点的位置，计算彩色双目相机和微光双目相机对同一特征点的测距结果；

2.4根据测距结果的差异，计算彩色双目相机和微光双目相机间的平移关系；

2.5对其他每一组标定图像，重复步骤2.3和步骤2.4，分别计算相应的平移关系，将计算的所有平移关系进行平均，获得彩色双目相机和微光双目相机的平均平移关系；

2.6基于获取的平均平移关系以及标定参数，将微光双目相机的外参数转换到彩色双目相机的坐标系中，并以该坐标系为全局坐标系，该全局坐标系以左侧的彩色相机为基准；

步骤3：动态判断工作环境；

3.1按照默认白天曝光时间分别设置彩色双目相机和微光双目相机的曝光时间；

3.2分别通过彩色双目相机和微光双目相机拍摄彩色图像和微光图像，将每一幅彩色图像和微光图像分为N×M个网格进行测试，N≥8，M≥8；

3.3在其中任意一幅彩色图像中，若有占比超过60％网格的平均DN值小于该图像中最大DN值的1/5，则判断为夜间场景，否则判断为白天场景；

3.3若判断为夜间场景，仅对微光双目相机的图像进行立体匹配，然后根据所述标定参数将匹配结果转换为最终的测距结果并输出；

若判断为白天场景，分别对微光双目相机和彩色双目相机的图像进行立体匹配，然后进行步骤4；

步骤4：融合

4.1将彩色双目相机和微光双目相机的立体匹配结果转换为在全局坐标系下的测距结果；

4.2选取其中一幅彩色图像，使用三通道平均法将其转化为灰度图像，并使用阈值法寻找饱和点和黑暗点，饱和点定义为图像中灰度值高于最大灰度值90％的点，黑暗点定义为图像中灰度值低于最大灰度值20％的点；

4.3取一个与步骤4.2中彩色图像大小相同的二值图像，将步骤4.3中寻找到的饱和点和黑暗点设置为1，其他设置为0；

4.4使用半径为k的圆形或边长为2k的方形算子对二值图像进行闭运算操作，得到彩色双目相机的不可靠区域图J1，k为二值图像宽度的1‰至3‰；

4.5对于微光图像，同样重复步骤4.2至步骤4.4相同程序的操作，得到不可靠区域图J2；

4.6对于J1和J2，分别利用步骤3.2中划分的N×M个网格计算DN值为0的像素比例，作为可信度；

4.7对于同一个网格，判断彩色图像和微光图像的可信度，若彩色图像的可信度达到90％以上，则选择彩色相机的测距结果作为该网格的测距结果；否则，选择彩色图像和微光图像中可信度较高一个的测距结果作为该网格的测距结果；

4.8根据步骤4.7得到所有网格的测距结果，输出整个场景的测距结果。

进一步地，步骤2.1中的标定板选用棋盘格标定板。

进一步地，步骤2.1中采集的标定图像数量至少为十组。

本发明的有益效果是：

1.本发明能够解决传统立体视觉系统无法夜间工作以及在复杂光照环境下测距效果不佳的问题，降低其在光照复杂的场景中受到光斑、阴影等的影响，应用在无人驾驶、辅助驾驶等领域时，可以应对夜间、隧道、强光等困难环境。

2.本发明利用两种相机动态调整曝光时间的方式，实现对复杂光照环境中不同区域的同时清晰成像。

3.本发明通过自动判断强光、阴影的方法，将彩色和微光双目点云结果进行动态融合，克服了由于原始数据具有一定视差而难以直接融合的问题。

附图说明

图1是本发明一种彩色微光多目立体视觉相机的结构示意图；

图2是本发明中一对彩色相机白天采集的图像；

图3是本发明中一对微光相机夜间采集的图像；

图4是本发明中多目立体视觉相机联合标定的方案示意图；

图5是本发明中网格划分和测距结果融合示意图。

附图标记：

1-支架，2-外触发器，3-信号处理器，4-微光相机，5-彩色相机，6-触发线，7-数据线。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明提出的一种彩色微光多目立体视觉相机及其数据融合方法作进一步详细说明。根据下面具体实施方式，本发明的优点和特征将更清楚。需要说明的是：附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的；其次，附图所展示的结构往往是实际结构的一部分。

本发明的发明构思：

微光相机能够在夜间获取环境图像，可以用来搭建立体视觉系统。但是仅由一对微光相机组成的立体视觉系统存在两个缺点：首先微光相机在白天工作时不能获取彩色信息，这对于立体匹配的准确性和场景信息获取的丰富性都是不利的；其次微光相机由于灵敏度很高，白天更容易受到强光的影响。因此，将彩色和微光立体相机进行结合能够有效弥补二者的缺陷。在白天光照充分的情况下，利用彩色相机和微光相机两种相机进行环境感知时，需要对二者的数据进行融合以更好实现强光、阴影区域的测距。考虑到两台相机的视场差异，需要采用自适应测距结果融合的方式来实现动态融合。

为了满足全天时、复杂光照下立·体测距的需求，针对复杂光照环境问题，本发明提供一种彩色微光多目立体视觉相机，如图1所示，该彩色微光多目立体视觉相机的硬件系统由两台彩色相机5、两台微光相机4、四套可见光镜头、支架1、外触发器2、信号处理器3组成。相机探测器通常选择usb接口，也可以选择网口等其他类型；微光相机4通常选择非制冷型的；支架1用于固定两台彩色相机5和两台微光相机4，确保两台彩色相机5和两台微光相机4的光轴平行；外触发器2可以选择适应于一般探测器的方波发生模块，例如NE555模块；信号处理器3为迷你工控机或者TX2等高集成化处理单元，根据具体情况适配usb3.0集线器或者千兆网交换机。

将一对彩色相机5和一对微光相机4固定于支架1上，四台相机的布局方式为：一台彩色相机5和一台微光相机4紧靠形成一组相机组件，两组相机自检分别安装在支架1的左方和右方，两组相机组件的间距可以根据测距精度要求以及支架1的尺寸进行调整，每一组相机组件中两台相机的左右顺序无特殊要求。将两组相机组件的数据线7连接至信号处理器3，触发线6连接到外触发器2。利用信号处理器3采集、存储和处理图像数据。

本发明一种彩色微光多目立体视觉相机的数据融合构思如下：

利用彩色微光多目立体视觉相机采集标定数据，采集环境为正常光照环境，标定板使用普通的棋盘格标定板。在外参标定数据采集的过程中，标定板置于四台相机的公共视场内，两个微光相机形成微光双目相机，两个彩色相机形成彩色双目相机；同步采集彩色双目相机和微光双目相机的图像。在外参标定过程中，通过对同步采集的标定板位置进行计算，将彩色双目相机和微光双目相机的外参统一到同一个坐标系下。在彩色相机中根据局部亮度检测高亮和阴影区域，动态判断工作环境并控制彩色双目相机和微光双目相机曝光时间调整。将彩色双目相机和微光双目相机的测距结果转换到全局坐标系中形成视差计算结果。根据彩色相机和微光相机的局部图像纹理丰富程度动态判断局部测距结果的可信度，将两组视差计算结果数据进行动态融合。

具体可按照如下步骤进行实现：

步骤1：搭建立体视觉相机

步骤1.1以一台彩色相机和一台微光相机为一组相机组件，将两组相机组件分别安装在支架的左方和右方；两个微光相机形成微光双目相机，两个彩色相机形成彩色双目相机；微光相机通常选择非制冷型的；支架用于固定四台相机确保四台相机光轴平行；

步骤1.2将两组相机组件的数据线连接至信号处理器、触发线连接到外触发器；将外触发器设置为适当的脉冲频率(对应相机帧频)，设置彩色相机和微光相机的光圈和曝光时间，彩色相机的光圈一般设置在中等大小，微光相机的光圈一般设置为最大。通过软件调节曝光时间，使彩色相机能够在晴天室外环境清晰成像，无明显饱和区域，将此曝光时间定为默认曝光时间t1；将微光相机夜晚室外清晰成像的曝光时间设置为默认曝光时间t2；微光相机白天室外清晰成像的曝光时间设为默认曝光时间t3。曝光时间设置一般不超过30ms，以避免动态视频拖尾现象。

步骤2：利用所搭建的系统采集标定数据，采集环境为正常光照环境，

2.1：将标定板置于四台相机的公共视场(如图4所示)内，左右移动标定板并变化多种角度，采集不少于10组标定图像；其中一对彩色相机和一对微光相机的图像同步采集；

2.2：利用常规标定方法分别对彩色双目相机和微光双目相机的内参数和外参数进行标定，获得两套标定参数。

2.3：基于各自的标定参数，分别计算同一时刻标定板上同一个特征点的位置，得到彩色双目相机和微光双目相机对同一特征点的测距结果。

2.4：基于测距结果的差异，计算彩色双目相机和微光双目相机的平移关系。

2.5：基于多个时刻标定板以及多个特征点(建议共计不少于10个点)重复步骤2.3和步骤2.4，别计算相应的平移关系，将计算的所有平移关系进行平均，获得彩色双目相机和微光双目相机测距结果的平均平移关系。

2.6基于获取的平均平移关系以及标定参数，将微光双目相机的外参数转换到彩色双目相机的坐标系中，并以该坐标系为全局坐标系，该全局坐标系以左侧的彩色相机为基准；

步骤3：结合图2、图3所示，实际场景三维测量中，在彩色相机中根据局部亮度检测高亮和阴影区域，动态判断工作环境：

3.1：按照默认白天曝光时间分别设置每个彩色相机和每个微光相机的曝光时间，即步骤1.5中的t1和t3。

3.2：分别通过彩色双目相机和微光双目相机拍摄彩色图像和微光图像，将每一幅彩色图像和微光图像分为10x10共计100个网格进行测试；

3.3：在其中一幅彩色图像中，若100个网格中超过60个网格的平均DN值(三个通道平均计算)小于该图像中最大值得1/5(以8位量化最大值255的情况为例，该值可以取50)，则判断为夜间场景，否则判断为白天场景。(上述网格数量阈值60可以根据具体环境调整，城市环境取值60可以排除路灯等干扰，如果是野外光照均匀环境，该值可以提升值80或90)。

3.4：根据步骤3.3，若判断为夜间场景，则不处理彩色相机图像。仅对微光双目相机的图像进行立体匹配，然后根据所述标定参数将匹配结果转换为最终的测距结果并输出；将微光相机曝光时间设置为默认曝光时间t2，并在此基础上使用常见的自动曝光算法进行调整，使图像质量达到最优。

根据步骤3.3，若判断为白天场景，在每一帧中，则同时处理彩色相机和微光相机图像，即分别对微光双目相机和彩色双目相机的图像进行立体匹配；彩色双目匹配可以采用SGM等常用方法，微光双目匹配可以使用同样的方法，或者使用其他针对微光双目图像特殊设计的抗噪声立体匹配算法。并利用常见的自动曝光算法调整彩色相机和微光相机曝光时间，使图像纹理丰富。然后进行步骤4；

上述图像亮度判断以及曝光时间调整不需要逐帧进行，可以每隔1-3秒进行一次。

步骤4：融合

4.1将彩色双目相机和微光双目相机的立体匹配结果转换到全局坐标系中形成视差计算结果。根据步骤2.5中计算出测距结果的平均平移关系，将彩色相机计算的视差计算结果平移到微光相机的坐标系中。

4.2选取其中一幅彩色图像，使用三通道平均法将其转化为灰度图像，并使用阈值法寻找饱和点和黑暗点，饱和点定义为图像中灰度值高于最大灰度值90％的点，黑暗点定义为图像中灰度值低于最大灰度值20％的点，对于8位量化的情况，最大值为255，上述两个阈值可以分别取230和50。

4.3取一个与步骤4.2中彩色图像大小相同的二值图像，将步骤4.3中寻找到的饱和点和黑暗点设置为1，其他设置为0；

4.4使用半径为5的圆形或边长为10至20的方形算子对二值图像进行闭运算操作，得到彩色双目相机的不可靠区域图J1，

4.5对于微光图像，同样重复步骤4.2至步骤4.4相同程序的操作，得到不可靠区域图J2；

4.6对于J1和J2，分别利用步骤3.2中划分的100个网格计算DN值为0的像素比例，作为可信度；

4.7对于同一个网格，判断彩色图像和微光图像的可信度，若彩色图像的可信度达到90％以上，则选择彩色相机的测距结果作为该网格的测距结果；否则，选择彩色图像和微光图像中可信度较高一个的测距结果作为该网格的测距结果，如图5所示；

4.8根据步骤4.7得到所有网格的测距结果，输出整个场景的测距结果。

本发明能够在昼夜全天时成像和测距，所提出的数据融合方法能够提升所设计的多目立体视觉相机在复杂光照环境下的测距精度。可以在夜间和复杂光照场景下的获得较高的测距精度，能够应用在全天时车载环境感知领域，例如汽车、装甲车等的辅助驾驶、无人驾驶，车载三维场景建模等。

其核心技术在于使用彩色相机和微光相机同时构成立体视觉系统实现全天时和复杂光照环境测距。本发明的彩色微光多目立体视觉相机的组成和结构，联合测距结果融合方法，能够解决传统立体视觉系统无法夜间工作以及在复杂光照环境下测距效果不佳的问题；利用两种相机动态调整曝光时间的方式，实现对复杂光照环境中不同区域的同时清晰成像；通过自动判断强光、阴影的方法，将彩色和微光双目点云结果进行动态融合，克服了由于原始数据具有一定视差而难以直接融合的问题。