一种基于可见光与激光雷达融合的仿生三维成像系统及方法

技术领域

本发明涉及光电成像技术领域，具体来说，涉及一种基于可见光与激光雷达融合的仿生三维成像系统及方法。

背景技术

统光学成像技术，尤其在可见光波段，可以通过对目标表面反射光线的高效捕获从而重构目标二维平面信息。但是，在不借助多视角成像或其他辅助成像方式的情况下，比如双目视觉成像，传统的光学成像无法获取目标的深度信息或距离信息，所以无法对目标进行立体三维成像。而激光雷达是一种获取目标三维深度信息的常见方式，其核心是通过对从目标三维空间内反射回来的激光回波信号的变化进行分析，获取目标的三维信息。因此，将传统光学二维成像与激光雷达深度信息进行成像融合，是一种高精度、高质量的三维目标成像方法。目前，该技术已应用于多种场合，例如：在机器人领域，通过激光雷达获取的三维信息，赋予了机器人完成如避障、跟踪等复杂行为的能力；同时通过可见光的成像，机器人可完成目标识别、匹配等精密任务。因此，通过可见光与激光雷达融合，机器人可在复杂场景下完成多种任务。在辅助驾驶方面，通过激光雷达对道路信息的获取，可以实时的对汽车行驶状态、交通情况、汽车所处位置等进行感知，从而及时的对可能发生的驾驶问题进行反馈；同时，通过对汽车四周进行可见光成像，为驾驶员对汽车行驶情况的掌控提供便利，减小视觉盲区，保障行驶安全。

可见光与激光雷达的融合方法需要大量的数据计算量，并且随着视场的增大，数据的计算量越来越大，这对数据处理器的内存及高效的算法有着很高的需求，但目前没有一个很好的用于平衡视场和数据量的解决办法，这也导致数据处理时间增加，意味着实时性更难满足，因此解决大视场和实时性的问题成为了可见光与激光雷达融合感知的难点问题。以上表明，尽管可见光与激光雷达的融合为感知外界信息带来了充足的信息，但存在大视场、高分辨、实时性难以兼顾的问题。

检索中国发明专利CN108803228B仿生摄像头三维立体成像系统，包括成像单元，所述成像单元由透镜、感光器和光纤按照预设规则组成；所述成像单元用于提供至少两层成像面以实现三维立体成像；所述成像单元可以提供多个成像面，同时在多个平面上采集数据，多个成像面的图像在立体空间进行组合从而实现三维立体成像；解决现有的成像系统只可以在一个平面上成像，不可以实现三维立体成像的问题。但其存在一定局限性，且存在难以支持大视场、以及高分辨、实时性难以兼顾的问题。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于可见光与激光雷达融合的仿生三维成像系统及方法，解决目前存在大视场、高分辨、实时性难以兼顾的技术问题。

本发明的技术方案是这样实现的：

本发明一方面，提供了：

一种基于可见光与激光雷达融合的仿生三维成像系统，包括采集模块、处理模块和显示模块，所述显示模块和所述采集模块分别与所述处理模块连接，其中；

所述采集模块包括高分辨率可见光成像模组、低分辨率可见光成像模组和激光雷达成像模组；

进一步的，所述高分辨率可见光成像模组至少为两组，所述低分辨率可见光成像模组至少为两组。

进一步的，所述高分辨率可见光成像模组排布于所述激光雷达成像模组两侧，且所述低分辨率可见光成像模组位于所述高分辨率可见光成像模组两侧，

进一步的，所述高分辨率可见光成像模组、所述低分辨率可见光成像模组和所述激光雷达成像模组排布呈曲面形式排列。

进一步的，所述高分辨率可见光成像模组与所述激光雷达成像模组夹角α

本发明另一方面，提供了：

一种基于可见光与激光雷达融合的仿生三维成像方法，用于基于可见光与激光雷达融合的仿生三维成像系统的成像方法，包括以下步骤：

预先基于目标场景与实际需求，标定成像模组参数；

基于成像模组参数进行仿生结构模型设计；

匹配激光雷达成像参数并设计相应的激光雷达系统；

变分辨率大视场二维成像并获取大视场内的深度信息；

通过FPGA进行数据处理，以进行视场范围内的图像二维和三维信息融合；

将最终获得的图像数据传输至输出设备，进行实时三维场景显示。

其中，所述基于成像模组参数进行仿生结构模型设计，包括以下步骤：

预先将高分辨率相机对称放置于中央激光雷达系统两侧，同时将低分辨率相机放置于高分辨率相机两侧；

标定高分辨率相机与中央激光雷达系统之间的排布夹角α

标定高分辨率相机与低分辨率相机之间的夹角α

其中，所述变分辨率大视场二维成像并获取大视场内的深度信息，包括以下步骤：

获取视场内的目标二维图像信息，其中包括获取存留有一定的重叠区域的高分辨率图像两幅和低分变率图像两幅；

通过计算四幅图像的相对位置以进行图像拼接，在两幅高分辨率图像的重叠部分，通过双线性插值方法对该区域进行超分辨率计算，达到超分辨率成像效果；

获得满足视场范围要求的变分辨率二维成像图像，并基于完成的激光雷达成像系统，获取视场内的三维深度信息；

其中，所述进行视场范围内的图像二维和三维信息融合，包括以下步骤：

获取具有空间变分辨率的二维图像和满足视场需求的三维图像；

获取两幅图像之间的相对位置关系，找到二维图像中各点的三维深度信息；

通过仿生视觉机理的环形采样方式，对空间变分辨率的大视场二维图像进行采样，并赋予各点相应的三位深度信息，达到二维和三维信息融合的目的，获取具有二维颜色信息的变分辨率大视场三维图像。

本发明的有益效果：

1、本发明基于可见光与激光雷达融合的仿生三维成像系统及方法，通过复合仿生结构设计的空间变分辨率成像方式，实现了中央超分辨率、边缘低分辨率成像，在保证对中央凹目标清晰成像的同时，压缩了周边区域的数据冗余，具有大视场、高分辨、实时性兼顾的特性，可以实时、准确的对成像范围进行全面感知；

2、本发明基于可见光与激光雷达融合的仿生三维成像系统及方法，通过仿生视觉机理的环形成像特点，将可见光波段的二维彩色信息和激光雷达的深度信息利用空间变分辨率采样的方式融合，迅速、准确地对成像范围内的目标进行感知，实现了对成像目标信息的全面获取；

3、本发明基于可见光与激光雷达融合的仿生三维成像系统及方法，通过曲面阵列排布，相比于传统的平面相机排布方式，具有体积小、视场大的优势，可灵活的应用于多种复杂场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于可见光与激光雷达融合的仿生三维成像系统的原理框图；

图中：1、采集模块；2、处理模块；3、显示模块；4、高分辨率可见光成像模组；5、低分辨率可见光成像模组；6、激光雷达成像模组。

图2是根据本发明实施例的一种基于可见光与激光雷达融合的仿生三维成像方法的流程示意图；

图3是根据本发明实施例的一种基于可见光与激光雷达融合的仿生三维成像方法的场景示意图一；

图中：a、d为低分辨率可见光成像模组采集到的背景图像；b、c为高分辨率可见光成像模组采集到的目标图像；e为可见光成像模组融合图像；f为激光雷达采集到的图像经过初步处理后的深度图。

图4是根据本发明实施例的一种基于可见光与激光雷达融合的仿生三维成像方法的场景示意图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的一个实施例，提供了一种基于可见光与激光雷达融合的仿生三维成像系统。

如图1所示，根据本发明实施例的基于可见光与激光雷达融合的仿生三维成像系统，包括采集模块1、处理模块2和显示模块3，显示模块3和采集模块1分别与处理模块2连接，其中；

采集模块1包括高分辨率可见光成像模组4、低分辨率可见光成像模组5和激光雷达成像模组6；

其中，高分辨率可见光成像模组4至少为两组，低分辨率可见光成像模组5至少为两组。

其中，高分辨率可见光成像模组4排布于激光雷达成像模组6两侧，且低分辨率可见光成像模组5位于高分辨率可见光成像模组6两侧，

其中，高分辨率可见光成像模组4、低分辨率可见光成像模组5和激光雷达成像模组6排布呈曲面形式排列。

其中，高分辨率可见光成像模组4与激光雷达成像模组6夹角α

另外，其处理模块2为以FPGA为核心的计算单元，将通过采集模块1采集到的数据通过计算整合，及时传输到显示模块3部分，显示模块3的主要目的便是实时的显示整理完成的图像信息，以方便于操作者观测。

此外，上述采集模块1为成像重点部分，根据仿生视觉机理，高分辨率可见光成像模组4排布于激光雷达成像模组6两侧，且低分辨率可见光成像模组5位于高分辨率可见光成像模组6两侧，以曲面形式排列。同时针对激光雷达成像模组6视场重合的中央凹部分，进行超分辨率成像，以达到具有多种分辨率的空间变分辨率成像效果。同时激光雷达成像系统位于整个曲面中央位置，以获得目标场景的三维信息。系统整体呈现出一种对称式分布的曲面阵列形式。

此外，考虑到当α

借助于上述技术方案，通过曲面阵列排布，相比于传统的平面相机排布方式，具有体积小、视场大的优势，可灵活的应用于多种复杂场景；通过复合仿生结构设计的空间变分辨率成像方式，实现了中央超分辨率、边缘低分辨率成像，在保证对中央凹目标清晰成像的同时，压缩了周边区域的数据冗余，具有大视场、高分辨、实时性兼顾的特性，可以实时、准确的对成像范围进行全面感知。

根据本发明的另一个实施例，提供了一种基于可见光与激光雷达融合的仿生三维成像方法。

如图2所示，根据本发明实施例的基于可见光与激光雷达融合的仿生三维成像方法，用于基于可见光与激光雷达融合的仿生三维成像系统的成像方法，包括以下步骤：

预先基于目标场景与实际需求，标定成像模组参数；

基于成像模组参数进行仿生结构模型设计；

匹配激光雷达成像参数并设计相应的激光雷达系统；

变分辨率大视场二维成像并获取大视场内的深度信息；

通过FPGA进行数据处理，以进行视场范围内的图像二维和三维信息融合；

将最终获得的图像数据传输至输出设备，进行实时三维场景显示。

其中，基于成像模组参数进行仿生结构模型设计，包括以下步骤：

预先将高分辨率相机对称放置于中央激光雷达系统两侧，同时将低分辨率相机放置于高分辨率相机两侧；

标定高分辨率相机与中央激光雷达系统之间的排布夹角α

标定高分辨率相机与低分辨率相机之间的夹角α

其中，变分辨率大视场二维成像并获取大视场内的深度信息，包括以下步骤：

获取视场内的目标二维图像信息，其中包括获取存留有一定的重叠区域的高分辨率图像两幅和低分变率图像两幅；

通过计算四幅图像的相对位置以进行图像拼接，在两幅高分辨率图像的重叠部分，通过双线性插值方法对该区域进行超分辨率计算，达到超分辨率成像效果；

获得满足视场范围要求的变分辨率二维成像图像，并基于完成的激光雷达成像系统，获取视场内的三维深度信息；

其中，进行视场范围内的图像二维和三维信息融合，包括以下步骤：

获取具有空间变分辨率的二维图像和满足视场需求的三维图像；

获取两幅图像之间的相对位置关系，找到二维图像中各点的三维深度信息；

通过仿生视觉机理的环形采样方式，对空间变分辨率的大视场二维图像进行采样，并赋予各点相应的三位深度信息，达到二维和三维信息融合的目的，获取具有二维颜色信息的变分辨率大视场三维图像。

具体的，如图2-图4所示，在应用时，包括以下步骤：

步骤一：根据目标场景与实际需求，选定成像模组参数，以保证信息传输、数据处理及时、稳定。其可采用的高分辨率成像模组分辨率为1280*960焦距2.96mm，体积为25×24×20mm3；低分辨率成像模组分辨率为800*600，焦距4.2mm，体积为32×32×30mm3；通过千兆网线进行数据传输。

步骤二：根据选定的成像模组进行仿生结构模型设计。首先将高分辨率相机对称放置于中央位置，同时将低分辨率相机放置于两侧，以保证中间部分的成像分辨率高于两侧。由于两侧相机对称排布，此时高分辨率相机与中央激光雷达系统之间的排布夹角α1，高分辨率相机与低分辨率相机之间的夹角α2可设置为30°和30°，以达到成像视场为120°的实际需求。

步骤三：匹配激光雷达成像参数并设计相应的激光雷达系统。根据整体结构系统的尺寸要求，设计体积为50×50×40mm3的4×4面阵激光雷达，并放置于整个成像系统的中央部分。同时，根据成像要求的三维成像参数，采用线性扫描的方式对所需的120°×40°视场范围进行线性扫描。

步骤四：变分辨率大视场二维成像并获取大视场内的深度信息；通过步骤二中设计完成的可见光成像模组，获取视场内的目标二维图像信息。此时共获取到存留有一定的重叠区域的高分辨率图像两幅和低分变率图像两幅。通过计算四幅图像的相对位置以进行图像拼接。在两幅高分辨率图像的重叠部分，通过双线性插值方法对该区域进行超分辨率计算，达到超分辨率成像效果。至此，通过四个可见光相机成像模组，获得满足视场范围要求的变分辨率二维成像图像。同时，通过步骤三中设计完成的激光雷达成像系统，获取视场内的三维深度信息；

步骤五：通过FPGA进行数据处理，以进行视场范围内的图像二、三维信息融合。在步骤四中获取到了具有空间变分辨率的二维图像和满足视场需求的三维图像。利用其显著性特征可以计算处两幅图像之间的相对位置关系，找到二维图像中各点的三维深度信息；通过仿生视觉机理的环形采样方式，对空间变分辨率的大视场二维图像进行采样，并赋予各点相应的三位深度信息，达到二、三维信息融合的目的，形成一副具有二维颜色信息的变分辨率大视场三维图像。

步骤六：将最终获得的图像数据传输至输出设备，进行实时三维场景显示。

借助于上述方案，采用多相机曲面阵列的方式，获取包含有目标场景二、三维融合信息的图像，能够在保证对中央凹目标清晰成像的同时，压缩了周边区域的数据冗余，具有大视场、高分辨、实时性兼顾的特性，可以实时、准确的对成像范围进行全面感知；且该装置体积小、视场大的优势，可灵活的应用于多种复杂场景。

综上所述，借助于本发明的上述技术方案，可实现如下效果：

1、本发明基于可见光与激光雷达融合的仿生三维成像系统及方法，通过复合仿生结构设计的空间变分辨率成像方式，实现了中央超分辨率、边缘低分辨率成像，在保证对中央凹目标清晰成像的同时，压缩了周边区域的数据冗余，具有大视场、高分辨、实时性兼顾的特性，可以实时、准确的对成像范围进行全面感知；

2、本发明基于可见光与激光雷达融合的仿生三维成像系统及方法，通过仿生视觉机理的环形成像特点，将可见光波段的二维彩色信息和激光雷达的深度信息利用空间变分辨率采样的方式融合，迅速、准确地对成像范围内的目标进行感知，实现了对成像目标信息的全面获取；

3、本发明基于可见光与激光雷达融合的仿生三维成像系统及方法，通过曲面阵列排布，相比于传统的平面相机排布方式，具有体积小、视场大的优势，可灵活的应用于多种复杂场景。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。