基于区域超分辨率的南美白对虾苗计数定位方法

技术领域

本发明涉及虾苗计数技术领域，具体为一种基于区域超分辨率的南美白对虾苗计数定位方法。

背景技术

南美白对虾是世界上重要的经济虾类之一，需求量大且市场前景十分广阔，在水产售卖放养、分池投放控制饲养密度等过程中，对南美白对虾苗进行准确计数是不可或缺的环节。

传统为采用人工计数或者计数器计数等实现虾苗的计数，然而，人工计数不仅费时费力，而且在计数时苗种脱水时间过长会导致苗种产生应激反应；计数器计数包括利用光电技术计数、虾苗计数装置进行计数等，计数装置设备价格高昂且不容易携带。

随着计算机视觉技术的发展，基于图像处理的方法和基于深度学习的方法也逐步应用于水产计数上。基于图像处理的方法大多是图像进行分割处理后再对虾苗进行计数，采用了对图像进行连通域自适应分割的方法，然后对平均面积进行计数；通过图像连通域分割出虾苗,主要分割出虾苗的最外边缘；对图像进行灰度转换，利用膨胀卷积处理图像；通过对图像进行归一化并使用分水岭切割法对其进行处理后再使用面积分割法；通过修改颜色空间对图像进行分割，再使用聚类方法对单只和多只虾苗进行分组，然后再通过面积计数。然而，基于图像处理的方法受限于固定的阈值和特定的环境且通过连通域面积计数只能应用在稀疏区域，对于虾苗图像上的高密度区域的识别错误率较高，从而影响虾苗的计数结果。

此外，基于深度学习的方法包括有目标检测方法等，在目标检测方法中，例如采用一种基于改进的YOLOv4的虾苗智能识别算法，在原有方法的基础上，其通过聚类方法对虾苗大小进行统计，从而得到虾苗大小的分布特征。目标检测主要把虾苗的两只外眼睛以及尾巴尖端作为目标检测框的最外矩形。然而，目标检测的方法标注时候需要耗费大量人力物力，且结果图中密集区域目标框过于接近无法区分，会出现一个目标框多个目标的情况，即对于虾苗图像上的高密度区域的识别错误率同样较高。另外，现有技术没有在虾苗图像上标记出各个虾苗的位置点，即虾苗图像上缺少直观的展示，从而影响了虾苗计数的可信度。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于区域超分辨率的南美白对虾苗计数定位方法，能够解决上述技术问题。

(二)技术方案

为解决上述技术问题，本发明提供如下技术方案：基于区域超分辨率的南美白对虾苗计数定位方法，包括以下步骤：

S1：利用手机采集虾苗图像；

S2：将虾苗图像输入网络模型；

S3：网络模型生成虾苗图像对应的密度图；

S4：网络模型将密度图进行区域划分，以得到低密度区域以及高密度区域；

S5：网络模型对高密度区域进行超分辨率处理，以得到增强的高密度区域；

S6：网络模型对低密度区域、增强的高密度区域进行虾苗点的计数定位，以得到虾苗图像的虾苗点计数结果、各个虾苗点的位置；

S7：网络模型在虾苗图像上标记各个虾苗点的位置。

优选的，基于区域超分辨率的南美白对虾苗计数定位方法还包括：创建虾苗数据集，利用虾苗数据集对网络模型进行训练。

优选的，创建虾苗数据集的步骤具体包括：利用手机采集多张虾苗图像，对多张虾苗图像进行预处理操作以构建完整数据集，进一步对虾苗图像进行虾苗的点标注。

优选的，完整数据集采用8：2的比例方式随机挑选虾苗图像划分训练集以及测试集。

优选的，步骤S1具体为：利用手机的微信小程序启动手机的摄像头，通过手机的摄像头对容器中的虾苗进行拍摄以得到虾苗图像。

优选的，步骤S2具体为：通过微信小程序将虾苗图像传输到远程服务器，进一步在远程服务器内运行网络模型。

优选的，步骤S4具体为：网络模型提取密度图上灰度值大于预设阈值的图像区域，以得到高密度区域，密度图上除高密度区域之外的其他图像区域即为低密度区域。

优选的，步骤S5具体为：网络模型对高密度区域的外围矩形的四个方向进行拓展，进一步对拓展后的高密度区域进行超分辨率处理，以得到增强的高密度区域。

优选的，在步骤S5中，具体为利用FSRCNN的超分辨率模型对拓展后的高密度区域进行超分辨率处理。

优选的，在步骤S6中，虾苗图像的虾苗点计数结果为低密度区域的虾苗点计数结果加上高密度区域的虾苗点计数结果。

(三)有益效果

与现有技术相比，本发明提供了一种基于区域超分辨率的南美白对虾苗计数定位方法，具备以下有益效果：(1)本发明通过将手机采集的虾苗图像输入网络模型进行虾苗点的计数定位，相比于现有技术可能需要多次转移容器或者对虾苗进行脱水的人工计数方法，本发明实现虾苗计数的省时省力，避免虾苗因多次转移或者脱水而产生应激反应；(2)本发明只需利用手机采集虾苗图片信息即可实现虾苗的计数，而无需其他额外的设备机器以降低设备成本且容易携带，操作简单；(3)本发明通过对密度图进行区域划分以得到低密度区域以及高密度区域，进一步对高密度区域进行超分辨率处理以达到增强图像的目的，实现图像上更明显的细节补充以提高对于高密度区域的虾苗识别准确率，从而提高虾苗的计数结果；(4)本发明还进行虾苗点的定位，进一步在虾苗图像上标记各个虾苗点的位置，实现在虾苗图像上进行直观的虾苗位置展示，从而提高虾苗计数的可信度，以更有利于虾苗双方交易达成。

附图说明

图1为本发明基于区域超分辨率的南美白对虾苗计数定位方法的步骤流程图；

图2为本发明的DLANet-34的网络结构图；

图3为本发明的超分辨率模型的网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于区域超分辨率的南美白对虾苗计数定位方法，包括以下步骤：

S1：利用手机采集虾苗图像。

优选的，步骤S1具体为：利用手机的微信小程序启动手机的摄像头，通过手机的摄像头对容器中的虾苗进行拍摄以得到虾苗图像。具体可利用虾苗养殖场中常见的瓢、盘、泡沫箱等容器对南美白对虾苗进行舀取，使用手机对舀取的虾苗进行图片拍摄，拍摄时无需额外设备，拍摄的图像信息可包含背景信息而不是周边完全纯白色，尽量在垂直角度拍摄以防止大面积反光。

S2：将虾苗图像输入网络模型。

优选的，步骤S2具体为：通过微信小程序将虾苗图像传输到远程服务器，进一步在远程服务器内运行网络模型。

优选的，本发明的网络模型具体可采用Center-net中的DLANet-34作为主干(骨干)网络，通过多尺度特征跨度，实现了阶段性的特征融合；其中，网络模型的通道方向的聚合提取更丰富、更具语义意义的特征；而在分辨率和尺度方向进行的聚合捕捉空间信息；在融合过程中，使用两个步长的特征来保留更多的空间信息；在最后的蓝色融合层只结合前三层。DLANet-34的网络结构如图2所示。

此外，在将虾苗图像输入网络模型之前，可将虾苗图像缩放为1600*1600，对图像进行随机裁剪和水平翻转后，通过归一化输入网络模型。

S3：网络模型生成虾苗图像对应的密度图。应理解，网络模型通过对虾苗图像进行特征，以生成包括有多个关键点的密度图。

S4：网络模型将密度图进行区域划分，以得到低密度区域以及高密度区域。

优选的，步骤S4具体为：网络模型提取密度图上灰度值大于预设阈值的图像区域，以得到高密度区域，密度图上除高密度区域之外的其他图像区域即为低密度区域。

具体的，上述步骤S3网络模型所生成的密度图为密度图掩码(0-1范围的密度图)，将0-1范围的密度图转换成灰度值0-255范围的密度图，通过使用cv2.threshold方法设置上述预设阈值(例如可为96)来提取密度图上灰度值大于预设阈值的图像区域，即对密度图进行二值化处理，把大于某个临界灰度值(预设阈值)的像素灰度设为灰度极大值，把小于临界灰度值的像素灰度设为灰度极小值，实现将密度图划分为低密度区域以及高密度区域。密度图上灰度值大于预设阈值的图像区域可对应为单只虾苗即虾苗胰脏区域的位置，能基本剔除掉错误识别虾苗眼睛的点集，在这个位置有可能为虾苗重叠或者聚集而得到的密度区域，可能让网络模型错误识别为体型较大的虾苗。

S5：网络模型对高密度区域进行超分辨率处理，以得到增强的高密度区域。

优选的，步骤S5具体为：网络模型对高密度区域的外围矩形的四个方向进行拓展，进一步对拓展后的高密度区域进行超分辨率处理，以得到增强的高密度区域。应理解，高密度区域的轮廓最外围为矩阵，通过对该外围矩形的上下左右四个方向进行拓展，让检测目标的上下文信息增加，以更有利于后续对该高密度区域的检测识别。

在步骤S5中，具体可利用现有技术的FSRCNN(快速超分辨率重建卷积网络)的超分辨率模型对拓展后的高密度区域进行超分辨率处理，达到实时重建图片；上述超分辨率模型的网络结构如图3所示。

S6：网络模型对低密度区域、增强的高密度区域进行虾苗点的计数定位，以得到虾苗图像的虾苗点计数结果、各个虾苗点的位置。

具体的，在步骤S6中，虾苗图像的虾苗点计数结果为低密度区域的虾苗点计数结果加上高密度区域的虾苗点计数结果。应理解，通过对低密度区域进行虾苗点的计数定位可得到对应的虾苗点计数结果以及各个虾苗点的位置，以及对增强的高密度区域进行虾苗点的计数定位可得到对应的虾苗点计数结果以及各个虾苗点的位置，进一步将低密度区域、增强的高密度区域两者的计数结果进行相加结合即可得到虾苗图像最终的虾苗点计数结果。

S7：网络模型在虾苗图像上标记各个虾苗点的位置。具体可在虾苗图像上用红点标记各个虾苗点的位置，即生成虾苗图像的识别结果图，进一步通过远程服务器将上述虾苗点计数结果以及识别结果图回传至手机的微信小程序供用户查看。此外，在虾苗点数统计中，用户可以勾选历史记录以获取总数和平均数，这样方便用户记录和查看各项数据。

此外，本发明基于区域超分辨率的南美白对虾苗计数定位方法还包括：创建虾苗数据集，利用虾苗数据集对网络模型进行训练。应理解，上述步骤S2为将虾苗图像输入已训练完毕的网络模型中。

上述创建虾苗数据集的步骤具体包括：利用手机采集多张虾苗图像，对多张虾苗图像进行预处理操作(例如筛选掉过度模糊、大面积反光无法看清图片、像素低于200k等)以构建完整数据集，进一步利用标注软件对完整数据集中的虾苗图像进行虾苗的点标注。完整数据集具体可采用8：2的比例方式随机挑选虾苗图像划分训练集以及测试集；当然也可采用比例大小对完整数据集进行划分，此处不作过多限制。

此外，网络模型可通过SSIM(结构相似性指数)、mAP(平均精度均值)、MAE(平均绝对误差)和RMSE(均方根误差)作为评价标准。通过SSIM指标来比较网络模型所预测生成的关键点图(GT)和原始关键点图(Y)之间的相似性，以避免仅依靠数量评估指标可能导致的虚假结果。通过对比两个图像的亮度(luminance)l(GT,Y)、对比度(contrast)c(GT,Y)和结构(structure)s(GT,Y)，最终相似性是这三者的函数。其中，较小的MAE和RMSE值表示计数精度越高，计数效果越好；接近1的mAP值表示越接近真实数值；较大的SSIM值表示生成的图像越接近原始图像。上述SSIM、mAP、MAE以及RMSE的计算公式分别如下式(1)、(2)、(3)、(4)所示：

SSIM(GT

与现有技术相比，本发明提供了一种基于区域超分辨率的南美白对虾苗计数定位方法，具备以下有益效果：(1)本发明通过将手机采集的虾苗图像输入网络模型进行虾苗点的计数定位，相比于现有技术可能需要多次转移容器或者对虾苗进行脱水的人工计数方法，本发明实现虾苗计数的省时省力，避免虾苗因多次转移或者脱水而产生应激反应；(2)本发明只需利用手机采集虾苗图片信息即可实现虾苗的计数，而无需其他额外的设备机器以降低设备成本且容易携带，操作简单；(3)本发明通过对密度图进行区域划分以得到低密度区域以及高密度区域，进一步对高密度区域进行超分辨率处理以达到增强图像的目的，实现图像上更明显的细节补充以提高对于高密度区域的虾苗识别准确率，从而提高虾苗的计数结果，防止在高密度区域因错误识别其他物质而导致的准确率虚假升高，经试验，本发明采用超分辨率方法处理结果后得到的虾苗计数在准确率上达到98.47％，点定位的相似性达到98.20％；(4)本发明还进行虾苗点的定位，进一步在虾苗图像上标记各个虾苗点的位置，实现在虾苗图像上进行直观的虾苗位置展示，从而提高虾苗计数的可信度，以更有利于虾苗双方交易达成；(5)现有技术图像处理的方法虽然快捷，但其准确率的高低依赖于拍摄环境；而本发明可以不受限于固定的阈值和特定的环境，且虾苗的大小无需相近才能进行计数；(6)本发明在识别结果图中生成点标注，即便密集区域也区分明显，能观察到是否为错误的结果，不仅给出准确定位计数而且计数耗时短，同时标注的时候由于本发明使用点标注对比现有技术的标注框以及标注完整的轮廓要更加节省时间和人力；(7)本发明可通过微信小程序实现，使得用户无需下载专用的手机APP，不占用手机过多内存且无需受限于不同手机操作系统，方便实用、操作简单。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。