一种基于深度学习的深海网箱智能化目标检测系统

技术领域

本发明涉及目标检测技术领域，具体为一种基于深度学习的深海网箱智能化目标检测系统。

背景技术

智能化目标检测技术是农业领域的关键基础技术的共性问题，如深海网箱养殖的死鱼检测、网箱养殖设备状态的完整性检测、鱼群生长的目标检测等是深海网箱养殖成鱼率的关键因素；

现有技术中公开号为CN109215047B的基于深海视频的运动目标检测方法和装置，提取背景图像及当前图像在前景运动图像的区域边界，并判定背景图像区域边界及当前图像区域边界与前景运动图像区域边界的相似度，若背景图像区域边界与前景运动图像区域边界的相似度高于当前图像区域边界与前景运动图像区域边界的相似度，则用当前图像在前景运动图像中前景像素位置点的颜色值代替背景图像对应位置的颜色值，对背景图像进行更新，反之，则不更新；以更新后的背景图像作为纯背景图像进行运动目标检测；

引用的文件可以对水面进行监控，但是不能对水面漂浮的物体进行识别，深海网箱养殖过程中，不可避免的会出现死鱼，一旦深海网箱中出现死鱼，如果不及时的检测到，则会引起更大范围死鱼且死鱼的数量会剧增，造成海水养殖环境严重污染和巨大的经济损失，目前市场上设备可以提取出目标鱼的轮廓，但是不能适用于深海的大范围、小目标检测识别。

所以我们提出了一种基于深度学习的深海网箱智能化目标检测系统，以便于解决上述中提出的问题。

发明内容

本发明的目的在于提供一种基于深度学习的深海网箱智能化目标检测系统，以解决上述背景技术提出的目前市场上不能很好对深海养殖对于大范围、小目标进行识别的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的深海网箱智能化目标检测系统，包括以下步骤：

S1:收集深海网箱图像数据库，将所述图像数据库中的图像划分为训练集和测试集，将所述深海网箱图像数据生成表格文件进行存储；

S2:构建深海网箱图像识别模型，对深海网箱的欲检测物体进行标注名称和位置(训练集和测试集)；

S3:应用应用xml_to_csv.py工具生成标注后的Excel文件，应用generate_TFR.py工具，生成目标检测的record文件，选取AI训练需要用的Config文件，设置深海养殖检测的标签目录pbtxt，启动模型训练，等待训练，直到globalstep结束，准备导出应用的目标检测模型，应用object_detection验证，AI检测模型的精准度；

S4:将所述目标检测识别结果与所述表格文件中存储的目标检测数据进行对比验证AI目标检测模型精准度，若精准度大于或等于预设的精准度阈值时，则执行S5步骤，否则跳转执行S1步骤；

S5：采用摄像头采集水面情况，将水面图像输入完成训练的目标检测识别模型中，输出得到目标检测识别结果。

优选的，当准备好训练的数据集后进行训练，最终生成深海网箱目标检测模型frozen_inference_graph.pb，通过对frozen_inference_graph.pb的测试可知是否达到目标检测的精度要求。

优选的，如果达不到深海网箱目标检测的要求，需要从三个方面做调整，一是增加训练时间；二是收集更多的深海网箱养殖环境的图像数据集；三是优化或者更换深度学习的目标检测模型算法，及时的发现问题所在，通过加大数据来提高检测的准确性。

优选的，所述目标检测的算法采用YOLOv5-STD系列，YOLOv5-STD具有兼具速度和精度的优点，适合于对检测速度的实时性要求高的场景，更适合小目标检测，YOLOv5-STD是在原有YOLOv5的基础上本文增加了阴影部分，目的是使得金子塔结构的YOLOv5检测网络增加深度从而更适合检测占据像素更小的小目标，使目标检测模型可以识别到小体积的鱼类，避免小体积的鱼类没有被识别出来。

优选的，采集水下鱼网图像的设备包括摄像头和笔记本，可以实时对水面死鱼检测，且检测结果可以在检测系统中实时的框出死鱼位置，可以实时对水面进行监控。

优选的，目标检测采用GIoU进行度量的性能指标，具有以下优点，GIoU作为距离时，损失函数L＝1-GIoUGIoU非负性，确定性，对称性，以及三角不等性，尺度不变形，GIoU始终是IoU的下限，即GIoU(A，B)≤IoU(A，B)，-1≤GIoU(A，B)≤1，A和B完全重合时，GIoU(A，B)＝IoU(A，B)＝1，(A∪B)/C→0时，也就是A∪B的面积相对于C很小很小时GIoU收敛于-1，GIoU考虑了IoU没有考虑到的非重叠区域，即能够准确的反映出A和B的重叠方式，通过上述方法可以快速识别出漂浮的鱼类。

优选的，所述摄像头的输出端与笔记本的输入端连接，基于深度学习目标检测技术实现了对水面死鱼检测的系统搭建，通过摄像头对水面的状态进行监控。

优选的，所述A和B的重叠方式有3种，用两个长方形进行重合，第一种是两者横向重合，第二种对角重合，第三种是对角转动重合。

与现有技术相比，本发明的有益效果是：通过深海网箱图像识别模型对水面的鱼类进行识别，通过添加的阴影部分，使检测装置可以对小目标进行识别，可以实时对水面死鱼检测，且检测结果可以在检测系统中实时的框出死鱼位置，可以大大增加检测算法模型的使用范围，避免死鱼且死鱼的数量会剧增，减少海水殖环境严重污染和巨大的经济损失，养殖人员可以及时的对水面漂浮的死鱼进行处理，避免死鱼产生的细菌影响海水内部其他的鱼类，为鱼类提供一个安全的环境，具体内容如下：

(1)针对海洋环境提出的水面死鱼检测和盗渔船检测可以部署到湛江附近的深海网箱养殖区域，通过及时的检测死鱼提高成鱼率，通过盗船的检测减少经济损失，本项目基于深度学习技术，针对深海网箱养殖提出的小目标的检测算法模型，可以进一步应用到深海网箱养殖其他场景需求中，实现更进一步的产业化应用：比如与AUV/ROV的结合，可以实现深海网箱网衣破损的检测；与自动化投料机相结合，通过智能化检测残饵，可以实现精准的自动化投喂策略；与成鱼收集和分类相结合，可以实现自动化、智能化的成鱼分级等等

(2)基于深度学习提出的优化的小目标检测算法模型，也适用于农业领域有小目标检测需求的其他领域应用中，可以对死鱼及时检测，避免死鱼且死鱼的数量会剧增，减少海水殖环境严重污染和巨大的经济损失，可以对深海养殖对于大范围、小目标检测识别。

具体实施方式

下面将结合本发明实施例中的步骤，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种技术方案：一种基于深度学习的深海网箱智能化目标检测系统，包括以下步骤：

S1:收集深海网箱图像数据库，将所述图像数据库中的图像划分为训练集和测试集，将所述深海网箱图像数据生成表格文件进行存储；

S2:构建深海网箱图像识别模型，对深海网箱的欲检测物体进行标注名称和位置(训练集和测试集)；

S3:应用应用xml_to_csv.py工具生成标注后的Excel文件，应用generate_TFR.py工具，生成目标检测的record文件，选取AI训练需要用的Config文件，设置深海养殖检测的标签目录pbtxt，启动模型训练，等待训练，直到globalstep结束，准备导出应用的目标检测模型，应用object_detection验证，AI检测模型的精准度；

S4:将所述目标检测识别结果与所述表格文件中存储的目标检测数据进行对比验证AI目标检测模型精准度，若精准度大于或等于预设的精准度阈值时，则执行S5步骤，否则跳转执行S1步骤；

S5：采用摄像头采集水面情况，将水面图像输入完成训练的目标检测识别模型中，输出得到目标检测识别结果。

当准备好训练的数据集后进行训练，最终生成深海网箱目标检测模型frozen_inference_graph.pb，通过对frozen_inference_graph.pb的测试可知是否达到目标检测的精度要求。

如果达不到深海网箱目标检测的要求，需要从三个方面做调整，一是增加训练时间；二是收集更多的深海网箱养殖环境的图像数据集；三是优化或者更换深度学习的目标检测模型算法。

所述目标检测的算法采用YOLOv5-STD系列，YOLOv5-STD具有兼具速度和精度的优点，适合于对检测速度的实时性要求高的场景，更适合小目标检测，YOLOv5-STD是在原有YOLOv5的基础上本文增加了阴影部分，目的是使得金子塔结构的YOLOv5检测网络增加深度从而更适合检测占据像素更小的小目标。

采集水下鱼网图像的设备包括摄像头和笔记本，可以实时对水面死鱼检测，且检测结果可以在检测系统中实时的框出死鱼位置。

目标检测采用GIoU进行度量的性能指标，具有以下优点，GIoU作为距离时，损失函数L＝1-GIoUGIoU非负性，确定性，对称性，以及三角不等性，尺度不变形，GIoU始终是IoU的下限，即GIoU(A，B)≤IoU(A，B)，-1≤GIoU(A，B)≤1，A和B完全重合时，GIoU(A，B)＝IoU(A，B)＝1，(A∪B)/C→0时，也就是A∪B的面积相对于C很小很小时GIoU收敛于-1，GIoU考虑了IoU没有考虑到的非重叠区域，即能够准确的反映出A和B的重叠方式。

所述摄像头的输出端与笔记本的输入端连接，基于深度学习目标检测技术实现了对水面死鱼检测的系统搭建；

所述A和B的重叠方式有3种，用两个长方形进行重合，第一种是两者横向重合，第二种对角重合，第三种是对角转动重合。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。