对准方法、装置、水下航行器以及存储介质

技术领域

本发明涉及水下定位领域，特别涉及一种对准方法、装置、水下航行器以及计算机可读存储介质。

背景技术

水下激光通信具有距离远、精度高和实时性好的特点，而激光束动态精确对准和精确跟踪是实现水下稳定通信的基本保障。

目前，为了实现水下精确对准，现有的对准方法中，通常采用在水下布局固定参照物，利用移动节点(如水下航行器)与固定参照物的位置关系，对移动节点进行控制，以实现移动节点的对准。

但是，采用现有的对准方法，利用移动节点的运动范围较小。

发明内容

本发明的主要目的是提供一种对准方法、装置、水下航行器以及计算机可读存储介质，旨在解决现有技术中采用现有的对准方法，利用移动节点的运动范围较小的技术问题。

为实现上述目的，本发明提出一种对准方法，用于水下航行器，所述方法包括以下步骤：

获取目标区域的目标图像，所述目标区域包括发光的激光光源；

在所述目标图像中提取所述激光光源对应的感兴趣区域；

对所述感兴趣区域进行形状识别，以获得所述感兴趣区域的形状识别结果；

基于所述形状识别结果和所述感兴趣区域，控制所述水下航行器与所述激光光源对准。

可选的，所述在所述目标图像中提取所述激光光源对应的感兴趣区域的步骤包括：

获取所述目标图像的灰度值；

将目标图像中灰度值大于或等于预设灰度阈值的区域确定为初始感兴趣区域；

在所述初始感兴趣区域中确定出连通域边界；

将所述连通域边界内的区域确定为所述感兴趣区域。

可选的，所述在所述目标图像中提取所述激光光源对应的感兴趣区域的步骤包括：

在所述目标图像中所述激光光源对应的光斑区域中确定出生长像素点；

利用预设区域生长规则，对所述生长像素点进行扩张，以获得所述感兴趣区域。

可选的，所述对所述感兴趣区域进行形状识别，以获得所述感兴趣区域的形状识别结果的步骤包括：

对所述感兴趣区域进行外接圆的绘制，以获得参照外接圆；

确定所述感兴趣区域的面积与所述参照外接圆的面积的面积比；

基于预设比值和所述面积比的比对结果，获得所述感兴趣区域的形状识别结果。

可选的，所述基于所述形状识别结果和所述感兴趣区域，控制所述水下航行器与所述激光光源对准的步骤之前，所述方法还包括：

对所述感兴趣区域进行光晕和背景剔除，以获得最终光斑区域；

所述基于所述形状识别结果和所述感兴趣区域，控制所述水下航行器与所述激光光源对准的步骤包括：

基于所述形状识别结果和所述最终光斑区域，控制所述水下航行器与所述激光光源对准。

可选的，所述基于所述形状识别结果和所述最终光斑区域，控制所述水下航行器与所述激光光源对准的步骤包括：

在所述形状识别结果为所述感兴趣区域为圆形时，对所述最终光斑区域进行滤波处理，以获得滤波后的最终光斑区域；在所述滤波后的最终光斑区域中确定出光斑质心；基于所述光斑质心，确定所述激光光源与所述水下航行器的第一位置信息；以及基于所述第一位置信息，控制所述水下航行器与所述激光光源对准；或，

在所述形状识别结果为所述感兴趣区域为带状时，对所述最终光斑区域进行拟合处理，以获得拟合椭圆；将所述拟合椭圆的长轴确定为光束中线；在所述最终光斑区域中确定出与所述光束中线对应的选定像素点；并基于所述选定像素点的灰度值，确定所述激光光源与所述水下航行器的第二位置信息；以及基于所述第二位置信息，控制所述水下航行器与所述激光光源对准。

可选的，所述获取目标区域的目标图像的步骤之前，所述方法还包括：

拍摄所述目标区域的实时视频；

所述获取目标区域的目标图像的步骤包括：

在所述实时视频中获取满足预设条件的所述目标图像。

此外，为实现上述目的，本发明还提出了一种对准装置，用于水下航行器，所装置包括：

获取模块，用于获取目标区域的目标图像，所述目标区域包括发光的激光光源；

提取模块，用于在所述目标图像中提取所述激光光源对应的感兴趣区域；

识别模块，用于对所述感兴趣区域进行形状识别，以获得所述感兴趣区域的形状识别结果；

控制模块，用于基于所述形状识别结果和所述感兴趣区域，控制所述水下航行器与所述激光光源对准。

此外，为实现上述目的，本发明还提出了一种水下航行器，所述水下航行器包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行对准程序，所述对准程序被所述处理器执行时实现如上述任一项所述的对准方法的步骤。

此外，为实现上述目的，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质上存储有对准程序，所述对准程序被处理器执行时实现如上述任一项所述的对准方法的步骤。

本发明技术方案提出了一种对准方法，通过获取目标区域的目标图像，所述目标区域包括发光的激光光源；在所述目标图像中提取所述激光光源对应的感兴趣区域；对所述感兴趣区域进行形状识别，以获得所述感兴趣区域的形状识别结果；基于所述形状识别结果和所述感兴趣区域，控制所述水下航行器与所述激光光源对准。

由于，现有的对准方法中，为了能准确获取到水下航行器与固定参照物的位置关系，水下航行器只能在固定参照物的周围航行，使得水下航行器运动范围较小。而本法发明中，通过对激光光源对应的目标图像中的感兴趣区域进行识别，以获得形状识别结果，并基于所述形状识别结果和所述感兴趣区域，控制所述水下航行器与所述激光光源对准，激光发射的方向和位置不会被限制，使得水下航行器利用本发明的方法进行对准时，水下航行器的航行区域不被限制，所以，利用本发明的对准方法，水下航行器的运动范围较大。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例方案涉及的硬件运行环境的水下航行器结构示意图；

图2为本发明对准方法第一实施例的流程示意图；

图3a和图3b均为本发明感兴趣区域的示意图；

图4a和图4b均为本发明感兴趣区域与参照外接圆关系的示意图；

图5为本发明最终光斑区域的示意图；

图6为本发明水下航行系统结构的示意图；

图7为本发明对准装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的水下航行器结构示意图。

通常，水下航行器包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的对准程序，所述对准程序配置为实现如前所述的对准方法的步骤。

处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关对准方法操作，使得对准方法模型可以自主训练学习，提高效率和准确度。

存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备

在一些实施例中，水下航行器还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。

通信接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。

显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。

电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

本领域技术人员可以理解，图1中示出的结构并不构成对水下航行器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有对准程序，所述对准程序被处理器执行时实现如上文所述的对准方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。确定为示例，程序指令可被部署为在一个水下航行器上执行，或者在位于一个地点的多个水下航行器上执行，又或者，在分布在多个地点且通过通信网络互连的多个水下航行器备上执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

基于上述硬件结构，提出本发明对准方法的实施例。

参照图2，图2为本发明对准方法第一实施例的流程示意图，所述方法用于水下航行器，所述方法还包括以下步骤：

步骤S11：获取目标区域的目标图像，所述目标区域包括发光的激光光源。

需要说明的是，本发明的执行主体为水下航行器，水下航行器安装有对准程序，水下航行器执行对准程序时，实现本发明的对准方法。在另一实施例中，可以由水下航行器将目标图像发送至终端设备，终端设备执行步骤S11-S14，并基于形状识别结果获得控制指令，并通过有线网络、无线网络或蓝牙等，将控制指令发送至水下航行器，由水下航行器基于控制指令，控制所述水下航行器与所述激光光源对准。激光光源发射的激光对应的区域即为对准区域，水下航行器与激光光源对准，即为水下航行器航行于对准区域；水下航行器基于形状识别结果，确定是水下航行器是否处于对准区域内，进而确定水下航行器的控制动作。

目标区域可以是指设置激光光源的区域，激光光源发射激光，由水下航行器的摄像头(例如单目相机)拍摄目标区域，以获得目标区域的目标图像，目标图像具有光斑，目标图像中的光斑为目标区域中的激光光源发射的激光对应的图像。可以理解的是，目标区域的目标图像是包括激光光源发出激光对应的部分图像，也包括激光光源以外的区域对应的部分图像。其中，水下航行器的摄像头可以是外接摄像头，即，将水下航行器与摄像头组合成水下航行器组。

进一步的，步骤S11之前，所述方法还包括：拍摄所述目标区域的实时视频，相应的，步骤S11包括：在所述实时视频中获取满足预设条件的所述目标图像。

需要说明的是，水下航行器通过摄像机拍摄实时的视频，并在实时的视频中提取目标图像。实时视频包括的每一帧图像都需要进行本发明的对准方法的步骤，但是，实时视频中的部分视频帧中激光光源的图像可能不清晰，包含的信息为无效信息，不需要对其进行本发明的对准方法的步骤。

其中，预设条件可以是视频帧中具有完整的激光光源图像。例如，某一视频帧中，只有1/2激光光源图像(激光光源可能被遮挡了)，则该视频帧不可用，不能将其确定为目标图像。对于满足预设条件的视频帧，均可以执行本发明的对准方法。

步骤S12：在所述目标图像中提取所述激光光源对应的感兴趣区域。

具体的，步骤S12包括：获取所述目标图像的灰度值；将目标图像中灰度值大于或等于预设灰度阈值的区域确定为初始感兴趣区域；在所述初始感兴趣区域中确定出连通域边界；将所述连通域边界内的区域确定为所述感兴趣区域；或，

在所述目标图像中所述激光光源对应的光斑区域中确定出生长像素点；利用预设区域生长规则，对所述生长像素点进行扩张，以获得所述感兴趣区域。

需要说明的是，目标图像中包括激光光源发射的激光对应的感兴趣区域(ROI区域，在目标图像上体现为光斑区域)，还包括非激光光源对应的区域(该区域没有激光光源发射的激光，在目标图像上体现为非光斑区域)，此时，需要在目标图像中提取激光光源发射的激光对应的感兴趣区域，并将其命名为感兴趣区域。具体提取方式有两种，参照上文描述的。

其中，第一种方法为阈值分割法，由于，光斑区域亮度明显比周围环境高，采用固定阈值(所述预设灰度阈值)即可粗定位到光斑所在的大致区域，即所述初始感兴趣区域，再通过连通域寻找边界生成感兴趣区域，即所述感兴趣区域。具体的，预设灰度阈值可以是用户根据需求设定的，本发明不做限制。将所述目标图像中灰度值大于或等于预设灰度阈值对应的区域确定为所述初始区域。

另外一种方法为区域生长法，首先在所述目标图像中所述激光光源对应的光斑区域中确定出生长像素点，可以选取灰度值最高的像素点为所述生长像素点，根据制定预设区域生长规则对所述生长像素点进行扩张，最终停止生长，获得所述感兴趣区域。其中，预设区域生长规则以及预设区域生长规则中的各项参数可以是用户根据需求设定的，本发明不做限制。

参照图3a和图3b，图3a和图3b均为本发明感兴趣区域的示意图，图3a为通过阈值分割法获得的感兴趣区域(或称为ROI区域)示意图，图3b为通过区域生长法获得的感兴趣区域(或称为ROI区域)示意图，其中，图3a和图3b的左侧为在目标图像中提取出的感兴趣区域示意图，右侧为感兴趣区域对应的灰度图。可见，经过上述两种方法，均可以定位到感兴趣区域，从而丢弃了大面积的背景区域，有助于光斑的高效提取。

步骤S13：对所述感兴趣区域进行形状识别，以获得所述感兴趣区域的形状识别结果。

具体的，步骤S13包括：对所述感兴趣区域进行外接圆的绘制，以获得参照外接圆；确定所述感兴趣区域的面积与所述参照外接圆的面积的面积比；基于预设比值和所述面积比的比对结果，获得所述感兴趣区域的形状识别结果。

需要说明的是，预设比值可以是用户根据需求设定的，本发明不做限制。当比对结果为面积比达到预设比值，则感兴趣区域可以近似为圆形光斑，当比对结果为面积比未达到预设比值，感兴趣区域近似为带状光斑。

参照图4a和图4b，图4a和图4b均为本发明感兴趣区域与参照外接圆关系的示意图；图4a为圆形光斑示意图，图4b为带状光斑示意图，可见，圆形光斑的光斑实际面积与参照外接圆的面积相近，相差较少，达到预设比值，而带状光斑的光斑实际面积与参照外接圆的面积相差较大，未达到预设比值。

步骤S14：基于所述形状识别结果和所述感兴趣区域，控制所述水下航行器与所述激光光源对准。

进一步的，步骤S14之前，所述方法还包括：对所述感兴趣区域进行光晕和背景剔除，以获得最终光斑区域；相应的，步骤S14包括：基于所述形状识别结果和所述最终光斑区域，控制所述水下航行器与所述激光光源对准。

具体的，步骤S14包括：在所述形状识别结果为所述感兴趣区域为圆形时，对所述最终光斑区域进行滤波处理，以获得滤波后的最终光斑区域；在所述滤波后的最终光斑区域中确定出光斑质心；基于所述光斑质心，确定所述激光光源与所述水下航行器的第一位置信息；以及基于所述第一位置信息，控制所述水下航行器与所述激光光源对准；或，

在所述形状识别结果为所述感兴趣区域为带状时，对所述最终光斑区域进行拟合处理，以获得拟合椭圆；将所述拟合椭圆的长轴确定为光束中线；在所述最终光斑区域中确定出与所述光束中线对应的选定像素点；并基于所述选定像素点的灰度值，确定所述激光光源与所述水下航行器的第二位置信息；以及基于所述第二位置信息，控制所述水下航行器与所述激光光源对准。

需要说明的是，由于光斑周围的光晕和背景易与光斑混淆，需要在感兴趣区域中提取最终光斑区域，即感兴趣区域中不包括光晕和背景的区域。本发明采用高斯混合模型(GMM)，该模型的核心思想为聚类，提前设定合理的聚类区域数，通过最大化概率密度函数获取参数最优解，最优解对应的区域即为所述最终光斑区域。对于概率密度函数的参数估计，采用EM算法反复迭代，该算法具有收敛性，当迭代次数足够时可以找到最优解。

参照图5，图5为本发明最终光斑区域的示意图，图5中左侧为目标图像中感兴趣区域对应灰度图，右侧为最终光斑区域的示意图，深色的光斑即为所述最终光斑区域。

对于近似圆形光斑，即所述感兴趣区域的识别结果为圆形光斑，以最终光斑区域的质心为特征，为了减少最终光斑区域周围的散射光对质心提取的影响，采用有效的滤波策略(如开运算或中值滤波等)滤除散射光，以获得滤波后的最终光斑区域，并进一步对滤波后的最终光斑区域的轮廓进行圆拟合，从而提取圆中心作为滤波后的最终光斑区域的质心，即所述光斑质心。同时，感兴趣区域的形状检测结果为圆形时，说明水下航行器在对准区域附近(即第一位置信息为水下航行器处于对准区域内)，此时，控制所述水下航行器与所述激光光源对准时，仅需微调位置使其动态稳定于对准区域内即可。

对于带光束光斑，即所述感兴趣区域的识别结果为带状光斑，根据最终光斑区域沿光束方向呈锥形发散的特性，通过对最终光斑区域拟合椭圆寻找椭圆长轴，椭圆长轴即为光束中线，根据亮度越集中越靠近质心的原理，从椭圆中心沿光束中线两侧取相邻的若干像素点，这些像素点即为选定像素点，根据选定像素点的灰度均值判断激光光源发射的光的发射方向。进而基于发射方向，确定第二位置信息(即水下航行器偏离对准区域的具体偏离方向)。同时，所述感兴趣区域的识别结果为带状光斑时，表示水下航行器明显偏离对准区域，此时，控制所述水下航行器与所述激光光源对准时，水下航行器需要基于所述发射方向，沿光束方向运动回到对准区域。

在一实施例中，利用高机动性水下敏捷机器人(BlueROV)作为所述水下航行器，BlueROV中集成了用于感知外部环境的单目相机。BlueROV与上位机(可以是个人计算机等)通信连接，上位机用于执行本发明中的大部分步骤，BlueROV只用于获取目标图像，并执行对准动作，其他数据分析过程均由上位机执行，并获得控制指令(控制指令可以包括上文所述的控制动作：微调位置使其动态稳定于对准区域内，或沿光束方向运动回到对准区域等)，由BlueROV执行控制指令。

具体应用中，水下航行器通过gstreamer模块(一种多媒体开发框架，用于视频处理)将单目相机的实时视频传递给上位机，上位机执行本发明的数据分析的步骤，并发布“\vision\pose”消息，消息中包含位置偏差信息，控制模块在获取到该信息后，就能向水下航行器的推进器发送控制输入信号，同时，水下航行器会通过内部的深度传感器向控制模块反馈此时的深度信息“\vfr_hud”，以实现水下航行器的的稳定控制。

另外，本发明的水下航行器可以包括BlueROV和激光发射接收机，BlueROV可以通过固定框架与激光发射机和接收机连接，激光接收机用于接收激光光源发射的激光，激光发射机用于发射激光。激光光源可以是安装有激光发射机的BlueROV，其固定于目标区域，用于作为本发明的激光光源。

可以理解的是，在其它实施例中，可以由水下航行器完成本发明全部的对准方法的步骤，并不需要与上位机进行通信。

参照图6，图6为本发明水下航行系统结构的示意图，水下航行系统包括水下航行器和激光光源，图6中最大的框为水池(或湖泊等)，水池右侧固定悬挂激光光源(可以是安装有激光发射机的BlueROV)，激光光源对应的虚线为射出的激光光线，左侧为可移动的水下航行器(可以包括BlueROV和激光接收机)。水下航行器与激光光源具有一定距离，Xw、Yw和Zw分别为世界坐标系的横坐标、纵坐标和竖坐标，Xb、Yb和Zb分别为本体坐标系(水下航行器的坐标系)的横坐标、纵坐标和竖坐标。同时，利用本发明的方法，在水下航行器与激光光源距离为15m时，经过本发明的方法获得的最终光斑区域的精度可达到＜±0.5m，精度较高。

本发明技术方案提出了一种对准方法，通过获取目标区域的目标图像，所述目标区域包括发光的激光光源；在所述目标图像中提取所述激光光源对应的感兴趣区域；对所述感兴趣区域进行形状识别，以获得所述感兴趣区域的形状识别结果；基于所述形状识别结果和所述感兴趣区域，控制所述水下航行器与所述激光光源对准。

由于，现有的对准方法中，为了能准确获取到水下航行器与固定参照物的位置关系，水下航行器只能在固定参照物的周围航行，使得水下航行器运动范围较小。而本法发明中，通过对激光光源对应的目标图像中的感兴趣区域进行识别，以获得形状识别结果，并基于所述形状识别结果和所述感兴趣区域，控制所述水下航行器与所述激光光源对准，激光发射的方向和位置不会被限制，使得水下航行器利用本发明的方法进行对准时，水下航行器的航行区域不被限制，所以，利用本发明的对准方法，水下航行器的运动范围较大。

同时，通过在目标图像中提取感兴趣区域，只对感兴趣区域进行分析，提高图像处理的效率；通过粗提取(感兴趣区域确定)和精定位(最终光斑区域确定)分步处理，可以精确出提取最终光斑区域。另外，制定光斑形状分类策略，根据光斑的形状类别，提取相应的特征参数，并控制节点进行运动，最终实现稳定对准。

另外，利用本发明的对准方法，水下航行器的航行区域并不需要设置固定参照物，水下航行器不仅适用于已知水下区域，还可以适用于未知水下区域，水下航行器的适用环境更加多样，适应性更好。

参照图7，图7为本发明对准装置第一实施例的结构框图，所述装置用于水下航行器，所述装置包括：

获取模块10，用于获取目标区域的目标图像，所述目标区域包括发光的激光光源；

提取模块20，用于在所述目标图像中提取所述激光光源对应的感兴趣区域；

识别模块30，用于对所述感兴趣区域进行形状识别，以获得所述感兴趣区域的形状识别结果；

控制模块40，用于基于所述形状识别结果和所述感兴趣区域，控制所述水下航行器与所述激光光源对准。

以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。