水下交互控制器与潜水员辅助系统

技术领域

本发明涉及潜水员在水下搜救、探查作业中采用的辅助系统。

背景技术

为了安全地自由移动并充分探索水下环境，潜水员需要能够在各种具有挑战性的条件下清楚地看到水下的情况。现有技术中，已经存在一种特殊构造的电子潜水面罩(EDM)系统，其将透明电子显示屏结合到潜水员面罩的观察窗中，然后潜水员能够选择普通视图或增强视图或两者的组合以增加视觉清晰度。潜水员能够选择将正常视图与增强视图组合的混合视图，以创建周围环境的增强视图以改善态势感知。

水下潜水员在水下打捞作业包括三类任务：广域搜索、抵近查证和伴随行进。

广域搜索是潜水员在水下通过转动头部实现成像声呐的大视场监测和远距离搜索，需要多次调整多波束声呐的频率、探测距离和增益，潜水员以观察多波束声呐的图像为主。

抵近查证是潜水员到了目标海域附近通过照明灯、水下摄像头进行近距离小视场目标跟踪与识别，需要调整摄像头、声呐和照明灯开关，潜水员以观察摄像头的图像为主。

伴随行进是潜水员在水下行进过程中实时告诉潜水员行进的方向、目标(队友)的位置、氧气量和电池电量等信息，无需进行交互操作，以观察界面显示为主，需要减少增强现实显示界面亮度、增加透明度，让潜水员通过眼镜更多关注外景。

由此可知，水下潜水员在水下打捞作业时，需要在具有不同交互需求的上述三类任务中来回切换，且在每种任务时，需要与摄像头、声呐和照明灯等进行多次交互，并且相应地对摄像头、声呐和照明灯进行细致的多参数调节。

发明内容

为解决上述需求，本发明提出一种水下交互控制器与潜水员辅助系统。

本发明第一方面涉及一种水下交互控制器，潜水员使用该水下交互控制器对在水下作业时所需的环境采集系统进行控制，该水下交互控制器可通信地连接至交互输入子系统、交互输出子系统和该环境采集系统；其中该水下交互控制器从该交互输入子系统接收用户操作信息，并根据该用户操作信息生成采集装置控制信息或显示输出控制信息；该水下交互控制器向该环境采集系统发送该采集装置控制信息，以使得该环境采集系统根据该采集装置控制信息采集环境状态信息，并将该环境状态信息传输至该水下交互控制器；该水下交互控制器根据该环境状态信息和该显示输出控制信息生成待显示信息，并且将该待显示信息传输至该交互输出子系统，该交互输出子系统以可视化视图显示该待显示信息并向用户显示输出。

优选地，该交互输入子系统包括多个防水按键，根据用户对该防水按键的按压操作，生成对应的用户操作信息。

优选地，该多个防水按键包括选择键和确认键，该可视化视图包括虚拟控制器区域，该虚拟控制器区域包括多个虚拟按键，当用户对该选择键进行按压时，选中该多个虚拟按键中的一个虚拟按键，当该对该确认键进行按压时，被选中的该一个虚拟按键在该可视化视图上被按压以执行该一个虚拟按键的预设功能。

优选地，该可视化区域还包括与该虚拟控制器区域并列设置的显示区域，该显示区域用于显示该待显示信息，该待显示信息包括声呐采集的视觉图像和/或水下摄像头采集的视觉图像。

优选地，该水下交互控制器能够根据三个该防水按键组成的按键组对应的操作信息生成该采集装置控制信息，该采集装置控制信息选自多种模式切换指令和多种参数调节指令构成的集合，其中模式切换指令用于切换该环境采集系统中的采集装置的工作模式；参数调节指令用于调节该环境采集系统中的采集装置的单一参数。

优选地，该单一参数为声纳探测距离、声纳增益、音量或照明灯亮度；该工作模式为声纳开关模式、摄像头开关模式或照明灯开关模式。

优选地，该环境采集系统包括声纳传感器、水下摄像头、用户姿态传感器、氧气量传感器、深度传感器、氧气量传感器、电量传感器、照明灯、温度传感器中的一个或多个。

优选地，该交互输出子系统包括半透明显示屏，该半透明显示屏用作显示该多种可视化视图的增强显示透视眼镜。

本发明第二方面涉及一种潜水员辅助系统，包括：交互输入子系统；交互输出子系统；环境采集系统；及本发明第一方面的水下交互控制器；交互输出子系统安装至潜水头盔。

本发明采用了金属接近开关与软件控制相结合的图形化界面交互系统。通过金属开关按键，模拟鼠标操作，具备快捷操作方式，紧急形况下可以快速操作，反应更加迅捷。同时，采用图形化界面进行交互式操作，界面简洁、友好，操作直接明了。

附图说明

本发明的以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记代表相同或类似的元素。

图1示出了包括本发明的水下交互控制器的本发明的潜水员辅助系统的系统组成示意图；

图2示出了本发明的交互输出子系统。

具体实施方式

以下在具体实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。

如图1所示，本发明提供一种水下交互控制器10，潜水员使用水下交互控制器10对在水下作业时所需的环境采集系统30进行控制，水下交互控制器10可通信地连接至交互输入子系统20、交互输出子系统40和环境采集系统30。

水下交互控制器10从交互输入子系统20接收用户操作信息，并根据用户操作信息生成采集装置控制信息或显示输出控制信息。

交互输入子系统20例如包括设置于潜水员佩戴的腰间控制盒上的的五个防水按键，即选择键上up、下down、左left、右right和确认键enter。根据用户对防水按键的操作，生成对应的用户操作信息UMS，并向水下交互控制器10发送用户操作信息UMS。

水下交互控制器10根据用户操作信息UMS生成采集装置控制信息CMS或显示输出控制信息PMS。

水下交互控制器10向环境采集系统30发送采集装置控制信息CMS，以使得环境采集系统30根据采集装置控制信息CMS采集环境状态信息，并将环境状态信息EMS传输至水下交互控制器10。

即，采集装置控制信息CMS承载了用户期望以何种方式操作环境采集系统30中的采集装置，而环境状态信息EMS用于使得用户以期望的方式了解用户周围环境。

具体地，环境采集系统30包括多个采集系统，采集系统例如为声纳传感器31、水下摄像头32和由用户姿态传感器、氧气量传感器、深度传感器、氧气量传感器、电量传感器、照明灯、温度传感器等组成的潜水员状态传感器组33，以收集声呐、摄像头和潜水员状态三类数据。

声纳传感器31以千兆网络与水下交互控制器10连接，以将采集的声纳数据传输至水下交互控制器10，声纳传感器31采集的声纳数据包括探测距离、增益、频率、图像的长度和宽度、背景线的数量、bearing表、图像原始数据、图像的RGB数据等维度，采用数据扇入的方式读取。

水下摄像头32采集的摄像头数据通过USB接口输入，按照640*480的分辨率和2997的帧率采集数据。

声呐数据和摄像头数据是实时传送给软件系统处理的，支持图像和视频文件的保存。

潜水员状态传感器组33采集的潜水员数据包括温度、姿态、深度、氧气量和电量等，以指令帧形式通过串口传递给软件系统，1秒钟采集4组数据，在设置串口波特率、数据位数、流控制和缓冲区大小后接收串口数据，同样声呐、摄像头和照明灯的控制指令也通过串口发送给相应的传感器。

此处声呐数据、摄像头数据、潜水员数据都是本发明的环境状态信息EMS的示例。

水下交互控制器10接收来自交互输入子系统20的用户操作指令和来自环境采集系统30的环境状态信息EMS的过程如下所述。

水下交互控制器10对用户操作指令和环境状态信息EMS多次传输的片段数据按照有起始标记有结束标记、起始标记无结束标记、无起始标记有结束标记和无起始标记无结束标记四种情况分别处理，并将串口接收的片段数据拼接成完整的指令帧；而在数据加载之后则格式解析对完整的指令帧数据按照6种状态指令(方位、深度、漏水告警、内温、外温、电量)和13种控制指令(声呐开关、摄像头开关、照明灯开关、频率选择、探测距离、增益控制、音量控制、亮度调整、左右旋转、上下旋转、快照采集、连续采集、电脑关机)的数据分别解析。此处13种控制指令中的声呐开关、摄像头开关、照明灯开关、频率选择、探测距离、增益控制、音量控制等控制指令信息即是本发明采集装置控制信息CMS的示例，而亮度调整、左右旋转、上下旋转、快照采集、连续采集、电脑关机等控制指令信息是本发明显示输出控制信息PMS的示例。

水下交互控制器10根据环境状态信息EMS和显示输出控制信息PMS生成待显示信息，显示输出控制信息PMS承载了用户期望环境状态信息EMS以何种方式显示输出。而后，水下交互控制器10并且将待显示信息传输至交互输出子系统40，交互输出子系统40以可视化视图显示待显示信息并向用户显示输出。

换言之，用户可以通过操作防水按键、产生显示输出控制信息PMS，改变待显示信息DMS，从而改变可视化视图的显示输出内容。

在水下交互控制器10已得出待显示信息DMS后，交互输出子系统40用于获取待显示信息DMS，并将待显示信息DMS转化成多种可视化视图向用户显示输出。

交互输出子系统40包括半透明显示屏41，半透明显示屏41用作显示多种可视化视图的增强显示透视眼镜。

可视化视图包括多个虚拟按键。当潜水员对交互输入子系统20的五个防水按键即选择键上up、下down、左left、右right进行按压时，选中多个虚拟按键中的一个虚拟按键，例如图2中的“探测距离”、“声呐开关”、“数据回放”等按键，使命对比度大的互补色指示选中的虚拟按键。当对确认键enter进行按压时，被选中的虚拟按键在可视化视图上被按压以执行一个虚拟按键的预设功能。

在本发明的实施例中，使用虚拟按键需要完成的信息深度是14级，每层还有“左”、“右”选项，用户对界面进行一项控制，需要操作的步骤众多。优选地，为了构建合理信息路径，将常用操作设置为如下的快捷键，方便用户使用。

开关快捷键4组，包括：

整机开关：确认键enter+左left+右right；

照明灯开关：确认键enter+上up+下down；

声呐开关：左left+上up+下down；

摄像头开关：右right+上up+下down。

大小调整快捷键6组，包括：

增益增大：确认键enter+左left+上up；

增益减少：确认键enter+左left+下down；

距离增大：确认键enter+右right+上up；

距离减少：确认键enter+右right+下down；

亮度加大：左left+右right+上up；

亮度减少：左left+右right+下down。

即，水下交互控制器10能够根据三个防水按键组成的按键组对应的操作信息生成采集装置控制信息CMS。其中，这样的采集装置控制信息CMS选自多种模式切换指令和多种参数调节指令构成的集合，其中模式切换指令用于切换环境采集系统30中的采集装置的工作模式，例如将整机、照明灯、声呐、摄像头在开关模式之间切换，或者使得频率在750kHz和1.2MHz之间切换。参数调节指令用于调节环境采集系统30中的采集装置的单一参数，例如声纳探测距离、声纳增益、音量或照明灯亮度。

下面将介绍潜水员应用本发明的水下交互控制器进行水下作业的过程。

水下交互控制器10运行在潜水头盔的嵌入式计算机上，交互输出子系统40的半透明显示屏41为单目透视型硅基镜片，构成头戴式显示器HMDs。HMDs界面显示涉及的要素众多，包括界面显示方式、出射光瞳、眼距、视场、符号式样、颜色、显示空间分辨率、界面对比度/亮度等。

用于在半透明显示屏41上显示的可视化视图包括中间显示区域411、虚拟控制器视图区域413和潜水员状态视图区域412，其中左侧为虚拟控制器视图区域413，右侧为潜水员状态视图区域412，中间的中间显示区域411用于显示声呐实时视图或摄像头实时视图，即，为声呐和摄像头共用图像显示区域。此处潜水员状态视图区域412和中间显示区域411都是本发明的显示区域的示例。

潜水员佩戴潜水头盔，利用环境采集系统30通过多波束声呐和水下摄像头等外部采集装置产生数据，声呐、摄像头、水温、姿态、深度、氧气量和电量的多传感器数据经串口通信协议进入到水下交互控制器10。潜水员状态视图区域412使用可视化仪表盘代替传统数字，将上述信息显示在潜水员状态视图中。为使得潜水员快速获取主要信息，主要使用了方向计、温度计和电池三类可视化图标进行表征。

一旦声呐实时视图或摄像头实时视图的数据经过加载和预处理之后，潜水员可通过交互输入子系统20的防水按钮与多波束声呐31和水下摄像头32等进行交互，与声呐设备的交互即是通过潜水员腰间控制盒上的上up、下down、左left、右right、确认键enter五个键构成的键盘完成，同时使命对比度大的互补色指示交互输出子系统40的半透明显示屏41上的选中位置，如图2的“探测距离”。

声呐实时视图在中间显示区域411进行声呐图像的实时显示，支持界面设置探测频率、探测距离和增益来调整声呐的成像内容，同时支持声呐进行上下、左右旋转，改变声呐背景和鼠标在图像上选取点进行测量。

水下摄像头实时视图在中间显示区域411进行摄像头图像的实时显示，与声呐数据一样，支持数据快照保存、实时保存和数据回放。虚拟控制器区域分为传感器开关按钮区、传感器参数调节区和传感器动作控制区。

这里基于的术语和表述方式只是用于描述，本发明并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。

同样，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。