一种水下三维场景实时重建装置及方法

技术领域

本发明涉及水下图像采集技术领域，特别涉及一种水下三维场景实时重建装置及方法。

背景技术

激光雷达具有捕获目标物体及其周围场景三维数据的能力，已被广泛应用于多个领域，包括无人自动驾驶汽车、大气环境探测、生物诊断等。激光雷达的另一个潜在应用领域是水下目标三维成像，将其安装在水下自主航行器上，可以提供一种以厘米分辨率进行水下探测。

目前，大多数激光雷达系统采取单点/扫描的方式，使用共轴对齐的激光二极管探测器，由激光器发射激光，探测器接收经目标场景反射回来的回波信息。扫描式激光雷达系统虽然能够获取较为准确的深度信息，但采集速度慢。此外，在水下环境中，激光雷达发射的激光受到水中颗粒物的散射和吸收作用，穿透能力有限。在此需求之下，单光子雪崩二极管(Single-Photon Avalanche Diode,SPAD)阵列应运而生。通过同时采集多个回波光子，即使在水下极低的光照条件下，SPAD阵列可以捕获准确快速的场景深度信息。

然而，使用单光子激光雷达成像进行水下目标探测时，受限于探测器数目固定的影响，难以做到较高分辨率探测。被动式光学成像是一种接收目标自身辐射或者接收目标反射的外来辐射来获取目标像的方式，它的探测器集成化程度较高，具有较高的成像分辨率和图像纹理信息。所以本发明将单光子成像激光雷达与可见光图像相融合，可以更好地解决成像激光雷达分辨率低的问题，能够同时获得目标的三维空间信息，为提高单光子成像激光雷达的分辨率与提升传统水下激光雷达或光学成像在高浑浊等强散射环境中的探测距离，提供了一种新的思路，对于水下环境中的目标检测具有重要意义。

发明内容

本发明提供了一种水下三维场景实时重建装置及方法，能够解决现有单光子激光雷达成像分辨率低、水下高浑浊强散射环境中探测距离受限的问题。

本发明实施例提供了一种水下三维场景实时重建装置，包括：

密闭箱体；

光路发射单元，设置于所述密闭箱体中，用于向待测目标发射激光，所述光路发射单元包括沿光路行进方向依次设置的激光光源、激光准直器、光束扩散器和第一光学透镜；

光路接收单元，设置于所述密闭箱体中，用于接收经所述待测目标的表面漫反射后的回波信号，所述光路接收单元包括沿光路行进方向依次设置的第二光学透镜、滤光片、分束器、单光子成像探测器和数据处理模块，所述分束器和所述数据处理模块之间还设置有可见光相机，所述分束器用于将所述回波信号平分给所述单光子成像探测器和所述可见光相机，所述可见光相机用于根据所述回波信号生成可见光图像。

在一种可能的设计中，所述数据处理模块，用于执行如下操作：

对单光子成像数据的背景环境光和暗电流噪声进行去除；其中，所述单光子成像数据是所述单光子成像探测器接收所述回收信号产生的；

对所述可见光图像进行去散射；

对处理后的所述单光子成像数据和所述可见光图像进行配准处理，得到目标图像；

对所述目标图像进行重构，得到水下三维场景图。

在一种可能的设计中，所述激光光源发射的激光波长为532nm。

在一种可能的设计中，所述滤光片为单通滤光片，所述单通滤光片的中心波长为532nm。

在一种可能的设计中，所述分束器的光轴与所述可见光相机的光线入射处光轴之间的夹角为45度。

在一种可能的设计中，所述单光子成像探测器和所述可见光相机均设置有信号同步控制单元，所述信号同步控制单元用于对所述单光子成像探测器和所述可见光相机进行信号同步控制。

在一种可能的设计中，所述单光子成像探测器采用硅基CMOS单光子探测器阵列，所述单光子成像探测器的帧频至少为45帧/秒。

在一种可能的设计中，所述光路发射单元和所述光路接收单元采用共轴式设计。

在一种可能的设计中，所述密闭箱体的前面板设置有发射单元窗口和接收单元窗口；所述发射单元窗口和所述接收单元窗口均为独立部件；所述发射单元窗口直径小于所述接收单元窗口。

第二方面、本发明实施例提供了一种水下三维场景实时重建方法，其特征在于，应用于上述任一项实施例所述的水下三维场景实时重建装置，包括：

利用所述单光子成像探测器采集待测目标的单光子成像数据；

利用所述可见光相机采集待测目标的可见光图像；

利用所述数据处理模块对所述单光子成像数据的背景环境光和暗电流噪声进行去除；

利用所述数据处理模块对所述可见光图像进行去散射处理；

利用所述数据处理模块对处理后的所述单光子成像数据和所述可见光图像进行配准处理，得到目标图像；

利用所述数据处理模块对所述目标图像进行重构，得到所述待测目标的水下三维场景图。

本发明中，单光子成像探测器和可见光相机同时接收回波信号，依次对应生成同位单光子成像数据和可见光图像，对单光子成像数据进行扣除背景环境光和自身暗电流噪声处理，对可见光图像数据进行去散射清晰成像算法处理，再将处理后的单光子成像数据与处理后的可见光图像进行配准处理，最后利用图像融合算法将进行配准处理后的图像重构生成待测目标的水下三维场景图。通过将单光子成像激光雷达与可见光图像相融合，可以更好地解决成像激光雷达采集速度慢，成像分辨率低的问题，同时能够获得目标的三维空间信息，为提高单光子成像激光雷达的分辨率与提升传统水下激光雷达或光学成像在高浑浊等强散射环境中的探测距离，提供了一种新的思路，对于水下环境中的目标检测具有重要意义，同时装置整体机构简洁易安装，方便本领域技术人员进行快速调整。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种水下三维场景实时重建装置的结构示意图；

图2是本发明一实施例提供的密闭箱体的前面板的结构示意图；

图3是本发明一实施例提供的一种水下三维场景实时重建方法的流程示意图。

附图标记：

1-光路发射单元、11-激光光源、12-激光准直器、13-光束扩散器、14-第一光学透镜；

2-光路接收单元、21-第二光学透镜、22-滤光片、23-分束器、24-可见光相机、25-单光子成像探测器、26-数据处理模块；

3-密闭箱体、31-发射单元窗口、32-接收单元窗口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中，单光子成像探测器和可见光相机同时接收回波信号，依次对应生成同位单光子成像数据和可见光图像，对单光子成像数据进行扣除背景环境光和自身暗电流噪声处理，对可见光图像数据进行去散射清晰成像算法处理，再将处理后的单光子成像数据与处理后的可见光图像进行配准处理，最后利用图像融合算法将进行配准处理后的图像重构生成待测目标的水下三维场景图。通过将单光子成像激光雷达与可见光图像相融合，可以更好地解决成像激光雷达采集速度慢，成像分辨率低的问题，同时能够获得目标的三维空间信息，为提高单光子成像激光雷达的分辨率与提升传统水下激光雷达或光学成像在高浑浊等强散射环境中的探测距离，提供了一种新的思路，对于水下环境中的目标检测具有重要意义，同时装置整体机构简洁易安装，方便本领域技术人员进行快速调整。

下面结合附图对本发明实施例提供的水下三维场景实时重建装置进行说明。

如图1至图2所示，本发明实施例提供了一种水下三维场景实时重建装置，该装置包括：光路发射单元1、光路接收单元2和密闭箱体3；其中，光路发射单元1和光路接收单元2采用共轴式设计。

如图1所示，本发明实施例中，光路发射单元1包括沿光路行进方向依次设置的激光光源11,、激光准直器12、光束扩散器13和第一光学透镜14；光路接收单元2包括沿光路进行方向依次设置的第二光学透镜21、滤光片22、分束器23、单光子成像探测器25和数据处理模块26，可见光相机24设置在分束器23和数据处理模块26之间。

其中，激光光源11产生的激光光束，首先经过激光准直器12进行准直，然后经过光束扩散器13对激光光束进行扩散，最后经过第一光学透镜14发射向待测目标，激光光束经过目标表面漫反射后的回波信号依次经过第二光学透镜21、滤光片22和分束器23后，一部分回波信号汇聚到单光子成像探测器25中，同时另一部分回波信号到达可见光相机24中，数据处理模块26处理从可见光相机24中生成的可见光图像和从单光子成像探测器25中发出的单光子成像数据。

本发明实施例中，为了提高成像激光雷达的分辨率，需要将待测目标的单光子成像数据和待测目标的可见光图像进行处理融合，得到重构后待测目标的水下三维场景图像，这一功能是通过数据处理模块26实现的，数据处理模块26的处理过程包括以下操作：

首先，为了得到待测目标更准确的单光子成像数据，单光子成像探测器25发出的待测目标原始单光子成像数据需要去除掉，在相同条件下、无激光照射时单光子成像探测器25所获取的背景环境光与暗电流噪声之和，通过上述方法得到处理后的待测目标单光子成像数据；

其次，利用Reinex去散射清晰成像算法对可见光相机24生成的待测目标可见光图像进行预处理，得到去散射清晰成像的待测目标可见光图像；

接着，利用MSER-SURF特征融合的配准算法对处理后的待测目标单光子成像数据和去散射清晰成像的待测目标可见光图像进行配准处理，得到处理后的目标图像；

最后，利用图像融合算法将处理后的目标图像进行重构，生成待测目标的水下三维场景图。

本发明实施例中，激光光源11的中心波长为532nm，相比于其他波长的激光，该波长的激光在水下环境中具有更好的穿透能力，能够发送到更远的距离；与此相对应的，滤光片22需要选取单通滤光片，该单通滤光片的波长为532nm。

此外，光束扩散器13选用鲍威尔棱镜，该棱镜可以将激光圆斑转变成直线均匀的激光，单光子成像探测器25选用192×128像素的硅基CMOS SPAD单光子探测器阵列，帧频至少为45帧/秒，可见光相机24选用1280×1024像元，单个像元尺寸为6.8μm的高动态CMOS面阵图像传感器，其帧频为60Hz。

本发明实施例中，将分束器23的光轴和可见光相机24的光线入射处光轴之间的夹角设置为45度，可以实现分束器23将待测目标反射回来的回波信号同时且均等的分发给可见光相机24和单光子成像探测器25，同时，45度的安装角度也方便分束器23的安装和拆卸，避免繁琐的操作。

本发明实施例中，为了得到清晰准确的水下场景三维图像，需要单光子成像探测器25生成单光子成像数据和可见光相机24生成可见光图像同步进行，因此本实施例中在单光子成像探测器25上和可见光相机24上均设置有信号同步控制单元，该信号同步控制单元可以控制单光子成像探测器25和可见光相机24同步生成对应的数据和图像。

本发明实施例中，光路发射单元1和光路接收单元2均设置在密闭箱体3中，同时为了满足光路发射单元1和光路接收单元2的安装定位需要和工作需要，本实施例在密闭箱体3的前面板上设置有发射单元窗口31和接收单元窗口32，如图2所示。

发射单元窗口31和接收单元窗口32均为独立于密闭箱体的部件，可以单独进行安装和拆卸，方便后续维修和更换。同时为了保证对待测目标测量的过程中光路发射单元1发射的激光可以被光路接收单元2全部接收，减少因激光散射导致对测量结果产生的影响，本实施例中将发射单元窗口31的直径设置为小于接收单元窗口32的直径。

此外，如图3所示，本说明书实施例还提供了一种水下三维场景实时重建方法，采用上述任一项实施例提及的水下三维场景实时重建装置，该方法包括：

步骤300、利用所述单光子成像探测器采集待测目标的单光子成像数据；

步骤302、利用所述可见光相机采集待测目标的可见光图像；

步骤304、利用所述数据处理模块对所述单光子成像数据的背景环境光和暗电流噪声进行去除；

步骤306、利用所述数据处理模块对所述可见光图像进行去散射处理；

步骤308、利用所述数据处理模块对处理后的所述单光子成像数据和所述可见光图像进行配准处理，得到目标图像；

步骤310、利用所述数据处理模块对所述目标图像进行重构，得到所述待测目标的水下三维场景图。

具体来说，单光子成像探测器接收到分束器发送的回波信号，根据回波信号生成待测目标的单光子成像数据，将该单光子成像数据发送给数据处理模块；可见光相机接收到分束器发送的回波信号，根据回波信号生成待测目标的可见光图像，将该可见光图像发送给数据处理模块。

数据处理模块在接收到单光子成像数据和可见光图像后，为了得到待测目标更准确的单光子成像数据，单光子成像探测器25发出的待测目标原始单光子成像数据需要去除掉在相同条件下、无激光照射时单光子成像探测器25所获取的背景环境光与暗电流噪声之和，通过上述方法得到处理后的待测目标单光子成像数据；

通过传统的Reinex去散射清晰成像算法对可见光相机24生成的待测目标可见光图像进行预处理，得到去散射清晰成像的待测目标可见光图像；

利用MSER-SURF特征融合的配准算法对处理后的待测目标单光子成像数据和去散射清晰成像的待测目标可见光图像进行配准处理，得到处理后的目标图像；

最后利用图像融合算法将处理后的目标图像进行重构，生成待测目标的水下三维场景图。

需要说明的是，该实施例提供的水下三维场景实时重建方法与上述实施例提供的水下三维场景实时重建装置是基于同一发明构思，因此二者具有相同的有益效果，在此不进行赘述。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。