一种智能海洋牧场管理水下机器人

技术领域

本发明涉及水下机器人领域，具体为一种智能海洋牧场管理水下机器人。

背景技术

现代化海洋牧场的运营管理中,科学投喂可以尽量避免造成饲料浪费或饵料不足鱼类吃不不饱的现象，根据日投饲量与鱼类存塘数相关性，如果能准确测量评估鱼类的存塘数，再乘以不同水温下的日投饲率，即能知道日投饲量。因此，需要监测鱼群类型、大小、数量等生长特征信息，为智慧投饵提供科学依据，

海洋牧场科学规划建设，首先规划设计需要选址勘察和环境调查，获取海洋牧场地形、水文和环境等数据；施工竣工需要海洋牧场建设跟踪监测与评价，收集海洋牧场中人工鱼礁或网箱设施以及水下植物生长等信息数据。

①机器人功能需求：

目前，水产养殖中的机器人和智能装备面临的最大问题就是环境，水下机器人需要在受到风、浪、水压、酸碱度等复杂因素的干扰下实现高精度、高稳定性作业，同时，要求水下机器人能够精确稳定地控制本体，在作业过程中实现自主行走、达到目标点、末端执行器自主动作的有机协调。

②观测传感器功能需求：

图像采集设备抖动的情况下拍摄到的图像同样会较大幅度的失真，影响目标识别的精度，所以既要满足对游动的鱼类进行连续图像采集的同时也要保证图像采集设备的稳定性；再加上海洋环境及导电性质，电磁波、光波会被海水吸收，而声波传播性能佳，共同决定了声呐是最适合的观测传感器。

③图像处理需求：

目前水下摄像机采集图像的质量受海水浊度和能见度影响很大，总体成像距离较短，由于水下成像环境较为复杂，在浑水、目标遮挡、光线不足的环境对水下成像造成的不利影响；在成像过程中水体对光散射和吸收效应等影响，导致一般成像设备的作用距离有限且图像质量具有对比度低、边缘模糊、色彩丢失、噪声严重等不足，极大影响了水下目标的精准识别与定位，因此，利用水下图像恢复算法和智能机器学习识别算法是提高水下目标识别准确性的关键；为此提供了一种智能海洋牧场管理水下机器人。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种智能海洋牧场管理水下机器人，以解决上述背景技术提出的问题。

为实现上述目的，本发明提供如下技术方案：一种智能海洋牧场管理水下机器人，包括机架，所述机架的底部两端均固接有支撑架，所述机架的中部安装有竖向推进器，所述竖向推进器的一侧安装有电池舱，所述电池舱的一端安装有观察舱，所述竖向推进器的另一侧安装有控制舱，所述控制舱的一端安装有压力传感器及超短基线定位传感器，所述机架的一端两侧均安装有水平推进器，所述机架1的另一端底部安装有侧扫声呐及换能器，所述控制舱的一端安装有通信接口，所述通信接口与控制电脑相连。

作为本发明的一种优选技术方案，所述电池舱的内部安装有锂电池及充电接口，所述控制舱的内部安装有主控制器、数据采集器和通信接口，所述观察舱的内部安装有前置摄像头和LED照明灯。

作为本发明的一种优选技术方案，所述竖向推进器通过螺栓固定安装在机架的中部上，所述水平推进器通过螺栓固定安装在机架的两侧，所述水平推进器和竖向推进器的内部均安装有矢量变频电机和螺旋桨。

作为本发明的一种优选技术方案，所述电池舱和控制舱均通过螺栓安装在机架上，所述观察舱通过螺栓安装在电池舱的前端，所述电池舱、控制舱、观察舱均通过防水处理，所述电池舱、控制舱和观察舱均采用全透明亚克力材料制成，所述电池舱和控制舱和观察舱均为密封舱，所述电池舱和控制舱上的接线孔处使用水密胶水灌封,在接口处采用密封圈密封。

作为本发明的一种优选技术方案，所述侧扫声呐及换能器通过螺栓安装在机架的底部上，所述压力传感器及超短基线定位传感器通过螺栓安装在控制舱的一端上。

作为本发明的一种优选技术方案，所述控制舱内的主控制器通过凯芙拉电缆与控制电脑相连，所述主控制器分别与侧扫声呐及换能器、压力传感器及超短基线定位传感器、水平推进器、竖向推进器、前置摄像头、照明灯和存储器电性连接，所述电池舱上连接有充电接口。

作为本发明的一种优选技术方案，所述控制舱内的主控制器选用RaspberryPi4B，实时采集传输前置摄像头拍摄的图片和视频图像至控制电脑。

作为本发明的一种优选技术方案，所述侧扫声呐及换能器由主动声呐发射模块、水下回波接收模块、信号控制模块和水下换能器等构成。实时采集传输水下扫侧声图数据至控制电脑。

作为本发明的一种优选技术方案，所述控制电脑内安装有水下机器人智能海洋牧场管理系统，建立了海洋牧场养殖鱼类和人工鱼礁训练集，采用水下图像恢复算法和卷积神经网络等深度学习算法对前置摄像头拍摄的图片、视频图像进行目标识别及分类统计等处理；采用水下地形地貌三维重构和水下目标识别深度学习算法对水下扫侧声图数据处理，获得海洋牧场水下人工鱼礁等环境信息。

本发明的有益效果是：本水下机器人具有可视化、智能化、虚拟化的特点，可以监测海洋牧场鱼情动态、水下网箱设施与人工鱼礁建设情况，并通过声呐实时回传的图像数据及深度学习模型对海洋牧场进行养殖生产评估与养殖环境评估，对海洋牧场生产运营和生态环境实时预报预警，进行智能化管理。

结构仿生优化设计；

1、本水下机器采用轻型材料等技术工艺，机身外形线条流畅，低功耗无污染，外观设计贴近真实鱼类，对鱼类无任何威胁与伤害，能更好地贴近鱼类近距离观测。

2、机身下侧配有支撑脚架，方便机器人于海底静止定点用摄像头拍摄照片且静止观测时无推进器及机器本身噪声，推进器不会带动泥沙和水流，吓跑鱼类，便于获得最真实的数据。

3、机器人配置安全稳定固态锂电池轻巧便携，而常规机器人多配备发电机或者大型铅酸蓄电池，在海上使用不安全、不便利。

实时动态AI目标识别；

1、声学技术与光学技术共同作用，前视高清摄像头实时呈现清晰的画质和图像，侧扫声呐获取水下广域鱼群、网箱、鱼礁等状态信息，满足不同海洋牧场管理实时监测需求。

2、由于水下环境较为复杂且存在噪声等影响，使用水下图像恢复算法有助于水下目标识别的准确性。

3、使用卷积神经网络等深度学习算法建立模型库，对水下鱼群、鱼礁进行识别，获得海洋牧场环境等信息，从而对海洋牧场养殖生产与养殖环境科学评估，为后期开展智慧投饵等工作提供依据。

附图说明

图1为本发明的结构示意图；

图2为本发明智能水下机器人技术方法模块图；

图3为本发明观测传感器技术方法模块图；

图4为本发明数据处理技术方法流程图；

图5为本发明水下机器人应用流程图；

图6为本发明推进器工作流程图；

图7为本发明改进的MSRCR算法增强图像对比度图；

图8为本发明基于图像增强的目标识别算法流程图；

图9为本发明礁体信息提取流程图；

图10为本发明礁体信息提取流程图；

图11为本发明人工鱼礁数量识别图。

图中：机架1、支撑架2、电池舱3、观察舱4、控制舱5、水平推进器6、竖向推进器7、侧扫声呐及换能器8、压力传感器及超短基线定位传感器9、控制电脑10。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

实施例：请参阅图1，本发明提供一种技术方案：一种智能海洋牧场管理水下机器人，包括机架1，机架1的底部两端均固接有支撑架2，机架1的中部安装有竖向推进器7，竖向推进器7的一侧安装有电池舱3，电池舱3的一端安装有观察舱4，竖向推进器7的另一侧安装有控制舱5，控制舱5的一端安装有压力传感器及超短基线定位传感器9，机架1的一端两侧均安装有水平推进器6，机架1的另一端底部安装有侧扫声呐及换能器8，所述控制舱5的一端安装有通信接口，连接有控制电脑10。

电池舱3的内部安装有锂电池及充电接口，控制舱5的内部安装有主控制器、数据采集器和通信接口，所述观察舱4的内部安装有前置摄像头和LED照明灯。

竖向推进器7通过螺栓固定安装在机架1的中部上，水平推进器6通过螺栓固定安装在机架1的两侧上，水平推进器6和竖向推进器7的内部均安装有矢量变频电机和螺旋桨。

电池舱3和控制舱5均通过螺栓安装在机架1上，观察舱4通过螺栓安装在电池舱3的前端上，电池舱3、控制舱5和观察舱4均通过防水处理，电池舱3、控制舱5和观察舱4均采用全透明亚克力材料制成，电池舱3、控制舱5和观察舱4均为密封舱，电池舱3和控制舱5上的接线孔处使用胶水灌封,在接口处采用密封圈密封。

控制舱5内的主控制器通过凯芙拉电缆电缆与控制电脑相连，主控制器分别与侧扫声呐及换能器8、压力传感器及超短基线定位传感器9、水平推进器6、竖向推进器7、前置摄像头4、照明灯和存储器电性连接，电池舱3上连接有充电接口。

控制舱5内的主控制器选用RaspberryPi4B，实时采集传输前置摄像头4拍摄的图片和视频图像至控制电脑10。

侧扫声呐及换能器8由主动声呐发射模块、水下回波接收模块、信号控制模块和水下换能器等构成。实时采集传输水下扫侧声图数据至控制电脑10。

控制电脑10内安装有水下机器人智能海洋牧场管理系统，建立了海洋牧场养殖鱼类和人工鱼礁训练集，采用水下图像恢复算法和卷积神经网络等深度学习算法对前置摄像头4拍摄的图片、视频图像进行目标识别及分类统计等处理，实现对海洋牧场养殖生产评估与决策支撑。采用水下地形地貌三维重构和水下目标识别深度学习算法对水下扫侧声图数据处理，获得海洋牧场水下人工鱼礁等环境信息。实现对海洋牧场养殖环境评估与监测预警。

工作原理：一种智能海洋牧场管理水下机器人，将水下机器人带入调查海区后，工作人员单人操作并使用遥控手柄即可布设机器人至合适位置。使用摄像头及侧扫声呐对水下地形地貌进行拍摄扫描，将所得图像、声图信息传输至控制电脑，确定投放饵饲量,海洋牧场选址，布放人工鱼礁；由于海底存在噪声等影响，需要对图像进行增强、去噪等处理。对采集的图像智能化处理，基于人工智能技术进行目标识别，分析海洋牧场环境情况以及鱼类生长健康情况，实时估算鱼群生长数据，制定养殖计划。同时近距离静止观察人工鱼礁附近鱼量及生物附着量，评估区域内鱼礁是否达到预期的投放效果；如图5所示；

根据需求，为确保水下机器人和电脑端软件能实现实时通信，获取海洋牧场生境图像，并且防止水下机器人在调试或者工作过程中失控导致丢失，采用有缆水下机器人机结构。密封舱选用全透明的亚克力材质呈圆筒形，保证内部空间利用率高，水下运动阻力小，透明材质的密闭舱便于调试和测试时能观察到舱内情况，当舱内出现故障灯光闪烁时能第一时间观察到。同时密封舱还是主要的浮力材料,为保证气密性和安全性,在水密接线插孔处采用密封圈密封和硅胶灌封,以实现接口防水效果。

基础运动模块的任务为将总控制量(力、转矩)根据机械结构模型、机器人动力需要和水阻状态等分配到每个推进器，计算出每个推进器所需提供的推力，然后根据推进器电机模型计算该推进器的PWM波，最后将PWM波通过串口下发至MCU，实现对推进器的控制。

主控板选用RaspberryPi4B,它能通过SSH、远程桌面或者显示器连接显示界面,能直接在界面进行编程,对GPIO口进行操作,还可调用强大的WringPi库函数,其输出稳定、调试方便、扩展性强,满足本设计需求。将机器人计算模块和运动模块分开，机器人的运动控制智能化、操控简单化，使其适应水下环境的能力大大增加，为海洋牧场养殖生产管理提供作业便捷、适用性强的水下机器人。采用树莓派充当高性能的机载指挥和决策平台，可读取水下航行控制器的状态信息，运行机器学习、图像识别等程序，给航行控制器发送指令，控制水下机器人的航线。Pixhawk航行控制器保证了机器人具有较高的运动平稳性、灵活性和可靠性。

光学摄像头协同侧扫声呐，实时呈现海洋牧场清晰的声图和视频图像。通过机器人下方安装的StarFish侧扫声纳远距离观察水下目标，凯芙拉电缆连接控制电脑，获取海底数字声学图像。水下机器人走航工作时，侧扫声纳通过向侧方发射声波来探测水体、海底结构。连续发射出的声波脉冲投射在海底区域呈长条形，换能器阵接收来自声波照射区各脉冲点的反向、散射信号，经信号放大和滤波处理，传输到控制电脑上显示出海底的声图。声图上回波信号较强的目标灰度图像较深，声波照射不到的阴影区灰度图像色调较淡，根据影区的长度可以估算目标的高度。

通过机器人观察舱内安装的单目相机远距离观察识别目标，并计算目标中心位置与图像中心位置的偏差，通过PID控制器得到控制量。单目相机接在树莓派的USB接口上，将图像以标准的ROS图片压缩格式发布。岸上控制电脑可以直接进行目标识别。考虑到海洋牧场中鱼类活动，可通过单目相机SLAM水下同步定位与建图算法模块实现机器人在未知环境中自主定位和导航，防止航行过程中与海底岩石、海草等障碍物碰撞而磨损。

由于水下图像与普通光学图像相比往往存在一系列问题，例如照明不均匀，对比度低，图像纯度差，细节损失以及蓝绿色调，再加上传统模型的低泛化能力，很难获得令人满意的水下多目标多类别识别率。因此，图像增强部分主要针对水下图像的颜色、清晰度、饱和度、对比度和细节问题，提出了一种改进的MSRCR算法增强图像对比度；然后采用全卷积GAN网络实现图像颜色校正和细节恢复。首先将水下图像的红、绿、蓝三通道分解，采用改进的带颜色恢复的多尺度视网膜增强算法，增强图像的对比度；然后将增强的图像使用全卷积GAN实现图像细节恢复和颜色校正。

实现原理：基础的卷积神经网络CNN由卷积,激活和池化三种结构组成。CNN输出的结果是每幅图像的特定特征空间。当处理图像分类任务时，特设计把CNN输出的特征空间作为全连接层或全连接神经网络的输入，用全连接层来完成从输入图像到标签集的映射，即分类。当然，整个过程最重要的工作就是在构建一定数量的海洋牧场目标识别训练样本集基础上，如何通过训练数据迭代调整网络权重，也就是后向传播算法。目前主流的卷积神经网络，比如VGG,ResNet都是由简单的CNN调整、组合而来；

1.卷积层；卷积层会对输入的特征图(或原始数据)进行卷积操作，输出卷积后产生的特征图。卷积层是卷积神经网络的核心部分。输入到卷积层的特征图是一个三维数据，不仅有宽、高两个维度，还有通道维度上的数据，因此输入特征图和卷积核可用三维特征图表示。如图7所示，对于一个(3，6，6)的输入特征图，卷积核大小为(3，3，3)，输出大小为(1，4，4)，当卷积核窗口滑过输入时，卷积核与窗口内的输入元素作乘加运算，并将结果保存到输出相应的位置。

如图7中卷积操作输出了一张特征图，即通道数为1的特征图，而一张特征图包含的特征数太少，在大多数计算机视觉任务中是不够的，所以需要构造多张特征图，而输入特征图的通道数又与卷积核通道数相等，一个卷积核只能产生一张特征图，因此需要构造多个卷积核。在RGB彩色图像上使用多个卷积核进行多个不同特征的提取。

2.激活层；如果输入变化很小，导致输出结构发生截然不同的结果，输入和输出数值不只是0到1，可以是0和1之间的任何数，激活函数是用来加入非线性因素的，因为线性模型的表达力不够，所以激活层的作用可以理解为把卷积层的结果做非线性映射。

3.池化层；池化层的作用是对网络中的特征进行选择，降低特征数量，从而减少参数数量和计算开销。池化层降低了特征维的宽度和高度，也能起到防止过拟合的作用。

4.批归一化层；批归一化层是在深度网络各层之间进行数据批量归一化的算法,以解决深度神经网络内部协方差偏移问题,使用网络训练过程中各层梯度的变化趋于稳定,并使网络在训练时能更快地收敛。①鱼类目标识别：对不同种类的鱼种进行子类识别，该问题具有重要的现实意义，如对种群进行统计，渔场产量控制，或是根据体态特征识别疾病等。但因为同物种的大体形状一般比较相像，尤其是同属的物种，往往通过纹理，颜色，鱼鳍等一些细节进行区分。

基于深度学习的鱼类识别方法最大优势在于能够自动区分和提取特征，并直接给出最终结果，使得整个过程简单化。

设计专门数据提供器，即用于训练的数据提供器和用于测试的数据提供器，BATCH_SIZE是一个批次的大小，设定为64。使用光流和高斯混合模型与YOLO深层神经网络相结合的方法在Fish4Knowledge数据集和UWA收集的数据集上，获得的鱼类物种分类的准确度分别为91.64％和79.8％。使用YOLO的鱼类检测和分类，在829幅图像上训练了YOLO网络，在100幅图像上实现了93％的鱼类物种分类精度。为提取鱼类特征，将YOLOv3和MobileNetv1相结合来确定特征图的目标尺寸和感受野，提高鱼类检测模型的性能；通过观察训练过程中误差和准确率随迭代次数的变化趋势，可以对网络训练结果进行评估，如图8所示。

通过图9可以观察到，在训练和验证过程中平均误差是在逐步降低的，与此同时，训练与验证的准确率逐步趋近于100％。

人工鱼礁识别；

由于不同的海洋底质对声波的反射强度不一样，所以通过侧扫声纳扫测的回波强度信息,制作灰度或假彩色声图就可以从颜色的深浅和纹理中显示出特征信息,从而可以进行海底底质分类和人工鱼礁识别。通过侧扫声呐图像分析,可以鉴别礁体结构是否完整,是否存在礁体倾倒破碎。观测投礁时是否投放方式不当,或投放后有无受海流冲击或起锚、拖网等外部作用力导致礁体损坏情况。

观察礁体特征总结为：后向散射强度特征、形状特征、尺度特征等。基于上述特征结合数字图像处理方法，对预处理后的图像进行礁体信息的提取，流程见图10；

侧扫声呐平面内的二维尺寸由超短基线定位传感器提供的相对位置坐标数据和声呐反射时间共同决定,分别决定了沿测线方向和垂直于测线方向的距离,目标物的礁体高度可通过测量其阴影长度和水深等参数计算。根据阴影长度计算目标物高度依据的是相似三角形原理，即可计算出目标物的高度。

对每个侧扫目标物的前、中、后3个部位进行长度测定，取3个数值的平均值(L,),以降低船只摆动等对目标物测量造成的误差,每种礁体随机取15个礁体进行测算。将随机选取礁区内15个方形礁体与15个“十”字形礁体的侧扫声呐数据,计算礁体高度,对2种礁体的沉降度计算结果使用SPSS23.0进行单因素方差分析(One-WayANOVA),P≤0.05表示差异显著；如图11所示。

本发明的水下机器人将人工智能、探测识别、信息融合、智能控制等技术应用于同一载体上，完成海洋牧场选址，智能投饵等工作。运用声学技术结合光学技术进行水下探索和监测，能够实时呈现清晰的画质和图像，获取水下广域鱼群、鱼礁等状态信息，满足不同海洋牧场管理实时监测需求；利用搭载摄像头及侧扫声呐，对海洋牧场鱼群进行拍摄，通过软件scanline获取图像。由于海底存在噪声，泥沙等对图片质量造成影响，需要对获得的图像进行增强均衡等数据处理。再利用目标识别算法，分析图像，得到海底地形地貌以及鱼群种类数量等信息。

智能投饵；将获取的光学图像和声图数据，实时传输到终端，利用人工智能机器学习目标识别等技术将获取海洋牧场鱼群类别、大小、数量信息为智慧投饵提供科学依据，尽量避免饲料浪费或饵料不足的情况；

牧场选址；在海洋牧场规划建设预选区布放水下机器人，设计选址勘察路线，通过搭载的侧扫声呐扫测此片区域海底的地形地貌，规划人员在电脑上依据海底的坡度、底质等情况，确定该区域是否符合养殖环境的要求；

绩效评价；采用水下机器人搭载的侧扫声呐实时图像数据信息，在控制电脑上开发基于深度学习的人工鱼礁目标识别算法，辅助工作人员快速定位鱼礁体，统计鱼礁数量，量测水生植种类、面积等数据；

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。