基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质

技术领域

本发明涉及目标检测技术领域，特别是涉及一种基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质。

背景技术

鱼类养殖在水产养殖中占据主导地位。为了保证鱼类的产量，有必要对养殖的鱼类的数量进行估算，或者监测其生长状态。另外，为了预防鱼的突然死亡对其他鱼的生长造成严重影响，有必要对出现异常状况的目标鱼类进行个体跟踪。

目前主要根据水下视频或图像，采用机器学习算法对鱼类进行目标检测，以对水下鱼类生长状态进行监控和计数，以及对鱼类个体进行追踪。其中，在机器学习算法中，主干网络为目标检测网络中最为重要的部分。主干网络是目标检测网络中用来负责特征提取的网络，一般用于前端提取不同层次、不同尺度的图像特征，并生成特征图以供后面的网络使用。

目前常用的主干网络多为卷积神经网络。然而，卷积神经网络仅能获得图像的局部信息，且浅层网络感受野小，对于高度集约化养殖的水下鱼类检测目标而言，尺度较小的鱼类目标在检测过程中易被丢失，尺度较大的鱼类目标会因为特征信息不全而无法检测，导致检测准确率较低。

发明内容

有鉴于此，本发明提供了一种基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质，以提高水下鱼类目标检测的准确率。

为此，本发明提供了以下技术方案：

一方面，本发明提供了一种基于卷积神经网络的水下鱼类目标检测方法，所述方法包括：

获取待检测水下图像；

将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括第一卷积神经网络和所述第二卷积神经网络，所述第一卷积神经网络在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；所述第二卷积神经网络在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作；

基于所述特征提取结果，得到水下鱼类目标检测结果。

进一步地，将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果，包括：

所述主干网络的第一卷积神经网络对所述待检测水下图像进行特征提取，得到局部特征图；

所述主干网络的第二卷积神经网络对所述待检测水下图像进行特征提取，得到全局特征图；

将所述局部特征图和所述全局特征图按照通道进行逐像素相加。

进一步地，所述第一卷积神经网络在空间维度采用的卷积核大小为3x3 尺寸。

进一步地，所述第二卷积神经网络在通道维度采用的卷积核大小为3x3 尺寸。

又一方面，本发明还提供了一种基于卷积神经网络的水下鱼类目标检测装置，包括：

图像获取单元，用于获取待检测水下图像；

特征提取单元，用于将所述图像获取单元获取的待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括第一卷积神经网络和所述第二卷积神经网络，所述第一卷积神经网络在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；所述第二卷积神经网络在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作；

目标检测单元，用于基于所述特征提取单元得到的特征提取结果，得到水下鱼类目标检测结果。

进一步地，所述特征提取单元包括：

局部特征提取子单元，用于利用所述主干网络的第一卷积神经网络对所述待检测水下图像进行特征提取，得到局部特征图；

全局特征提取子单元，用于利用所述主干网络的第二卷积神经网络对所述待检测水下图像进行特征提取，得到全局特征图；

特征融合子单元，用于将所述局部特征提取子单元得到的局部特征图和所述全局特征提取子单元得到的全局特征图按照通道进行逐像素相加，得到特征提取结果。

进一步地，所述第一卷积神经网络在空间维度采用的卷积核大小为3x3 尺寸。

进一步地，所述第二卷积神经网络在通道维度采用的卷积核大小为3x3 尺寸。

又一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现上述基于卷积神经网络的水下鱼类目标检测方法。

本发明的优点和积极效果：本发明中，对水下鱼类目标检测模型中的主干网络进行了改进，改进后的主干网络包括卷积及其对偶操作的两个卷积神经网络，分别得到待检测水下图像的局部特征图和全局特征图，然后调整输出特征图维度，将具有相同维度的各个通道特征图进行融合，以保证所得各通道不同特征图，且每个特征图均学习到全局信息，从而获取更优质图像特征，为下游目标检测提供可靠数据基础，进而提高水下鱼类目标的检测准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中水下鱼类目标检测模型的网络结构示意图；

图2为本发明实施例中第一卷积神经网络的结构示意图；

图3为本发明实施例中第二卷积神经网络的结构示意图；

图4为本发明实施例中一种基于卷积神经网络的水下鱼类目标检测方法的流程图；

图5为本发明实施例中一种基于卷积神经网络的水下鱼类目标检测装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

卷积神经网络以卷积算子为基础，卷积(Convolution)算子具有2个重要特征：空间不变性(Spatial-agnostic)和通道各异性(Channel-specific)，单个通道特征图的卷积核参数是共享的，不同通道使用的采用不同的卷积核，这两个特征也带来了两点不足：1、获得的是图像的局部信息，若想获得更多信息(即增大感受野)，需要增加网络深度，也就增加了模型的规模。2、很多通道之间存在着大量冗余，即使设计初衷是想使每个通道的卷积核参数不同，从而获得丰富的特征信息，然而事实证明，各通道学习所得各个通道特征图很多是相近的。

为了解决上述卷积神经网络提取特征时存在的不足，本发明提出一种新的网络模型，如图1所示，该网络模型包括第一卷积神经网络和第二卷积神经网络，第一卷积神经网络包括1*1卷积层、3*3卷积层、1*1卷积层，第二卷积神经网络包括1*1卷积层、3*3内卷层、1*1卷积层，其中，两个卷积神经网络中的1*1卷积层可共用，两个卷积神经网络中3*3卷积层和3*3内卷层的卷积操作对偶，即卷积层在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；内卷层在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作。将第一卷积神经网络各通道不同特征的多样性和第二卷积神经网络获取特征图空间全局信息相结合，从而提高模型特征提取能力。在实际应用中，第一卷积神经网络和第二卷积神经网络的结构不限于图1中的结构，如第一卷积神经网络可以包括若干个1*1卷积层、3*3卷积层、1*1卷积层形成的卷积模块；第二卷积神经网络可以包括若干个1*1卷积层、3*3内卷层、1*1卷积层形成的卷积模块，甚至更大尺寸的卷积模块如 7*7卷积层，又如，第一卷积神经网络可以包括2个3*3卷积层，第二卷积神经网络可以包括2个3*3内卷层。只要两个卷积神经网络的卷积特性呈对偶，都在本发明保护范围内。

本发明将输入的待检测水下图像分别利用第一卷积神经网络和第二卷积神经网络进行卷积，然后调整输出特征图维度，将具有相同维度的各个通道特征图进行融合，以保证所得各通道不同特征图，且每个特征图均学习到全局信息，从而获取更优质图像特征，为下游视觉任务(目标检测，实例分割等) 提供可靠数据基础。具体地：

首先，利用第一卷积神经网络对输入图像进行特征提取，操作示意图如图2所示。从图2中可以看出，第一卷积神经网络在单个通道使用相同卷积核进行卷积，且获取信息能力与卷积核大小有关(常采用3x3尺寸)，小尺寸卷积核获取局部信息能力弱，大尺寸卷积核增加模型规模，计算量大，目前多采用增加模型网络深度的办法增大感受野，从而提高模型性能。同时，各个通道间采用不同卷积核，可保证通道特征多样性。

然后，利用第二卷积神经网络对输入图像进行特征提取，操作示意图如图3所示。从图3中可以看出，第二卷积神经网络与第一卷积神经网络的卷积操作对偶，所有通道采用相同卷积核，所有通道特征图相同，特征多样性大幅度降低。但单通道特征图每个位置具有特征各异性，可以获得考虑输入图像全局信息的特征图。

可以理解的是，利用第一卷积神经网络对输入图像进行特征提取的步骤和利用第二卷积神经网络对输入图像进行特征提取的步骤的执行顺序对结果没有影响，可以是任意的，在具体实施中，可以先利用第一卷积神经网络进行特征提取，再利用第二卷积神经网络进行特征提取；也可以先利用第二卷积神经网络进行特征提取，再利用第一卷积神经网络进行特征提取；还可以同时利用两个卷积神经网络进行特征提取。

最后，将第一卷积神经网络和第二卷积神经网络所得特征图按照通道进行逐像素相加，融合上述两个算子的特征提取结果，进而获得既考虑单通道空间全局信息又保证各通道多样性特征提取结果，从而提高模型性能。

参见图4，其示出了本发明实施例中一种基于卷积神经网络的水下鱼类目标检测方法的流程图，该方法包括：

S1、获取待检测水下图像；

S2、将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括第一卷积神经网络和所述第二卷积神经网络，所述第一卷积神经网络在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；所述第二卷积神经网络在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作；

水下鱼类目标检测模型包括前端负责特征提取的主干网络以及后端负责根据提取出的特征进行目标检测的检测网络，本发明中主要对主干网络进行改进，后端检测网络的网络结构此处不做限定。

在具体实施中，S2具体包括以下步骤：

S21、所述主干网络的第一卷积神经网络对所述待检测水下图像进行特征提取，得到最终局部特征图；

第一卷积神经网络在特征图通道维度获得不同特征图，在空间维度采用相同卷积操作，在空间维度采用的卷积核大小为3x3尺寸。

S22、所述主干网络的第二卷积神经网络对所述待检测水下图像进行特征提取，得到全局特征图；

第二卷积神经网络在特征图空间维度采用不同卷积核，大小为3x3尺寸，在通道维度获得相同特征值。

例如，待检测水下图像的尺寸为640*640像素，经过第一卷积神经网络提取特征之后，最终得到20*20像素的局部特征图；经过第二卷积神经网络提取特征之后，最终得到20*20像素的全局特征图。

S23、将所述第一特征图和所述第二特征图按照通道进行逐像素相加，得到特征提取结果。

S3、基于所述特征提取结果，得到水下鱼类目标检测结果。

在具体实施中，可以将得到的特征提取结果输入至水下鱼类目标检测模型中的后端目标检测网络，进而得到水下鱼类目标检测结果。

上述实施例中基于卷积神经网络的水下鱼类目标检测方法，水下鱼类目标检测模型的主干网络包括卷积及其对偶操作的两个卷积神经网络，分别得到待检测水下图像的局部特征图和全局特征图，然后调整输出特征图维度，将具有相同维度的各个通道特征图进行融合，以保证所得各通道不同特征图，且每个特征图均学习到全局信息，从而获取更优质图像特征，为下游目标检测提供可靠数据基础，进而提高水下鱼类目标的检测准确率。

对应本发明中的基于卷积神经网络的水下鱼类目标检测方法，本发明还提供了一种基于卷积神经网络的水下鱼类目标检测装置。如图5所示，其示出了本发明实施例中一种基于卷积神经网络的水下鱼类目标检测装置的结构示意图，该装置包括：

图像获取单元100，用于获取待检测水下图像；

特征提取单元200，用于将所述图像获取单元获取的待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括第一卷积神经网络和所述第二卷积神经网络，所述第一卷积神经网络在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；所述第二卷积神经网络在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作；

目标检测单元300，用于基于所述特征提取单元得到的特征提取结果，得到水下鱼类目标检测结果。

进一步地，所述特征提取单元200包括：

局部特征提取子单元201，用于利用所述主干网络的第一卷积神经网络对所述待检测水下图像进行特征提取，得到局部特征图；可选地，所述第一卷积神经网络在空间维度采用的卷积核大小为3x3尺寸；

全局特征提取子单元202，用于利用所述主干网络的第二卷积神经网络对所述待检测水下图像进行特征提取，得到全局特征图；可选地，所述第二卷积神经网络在通道维度采用的卷积核大小为3x3尺寸；

特征融合子单元203，用于将所述局部特征提取子单元201得到的局部特征图和所述全局特征提取子单元202得到的全局特征图按照通道进行逐像素相加，得到特征提取结果。

上述实施例中的基于卷积神经网络的水下鱼类目标检测装置，水下鱼类目标检测模型的主干网络包括卷积及其对偶操作的两个卷积神经网络，分别得到待检测水下图像的局部特征图和全局特征图，然后调整输出特征图维度，将具有相同维度的各个通道特征图进行融合，以保证所得各通道不同特征图，且每个特征图均学习到全局信息，从而获取更优质图像特征，为下游目标检测提供可靠数据基础，进而提高水下鱼类目标的检测准确率。

对于本发明实施例的基于卷积神经网络的水下鱼类目标检测装置而言，由于其与上面实施例中的基于卷积神经网络的水下鱼类目标检测方法方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。

本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的基于卷积神经网络的水下鱼类目标检测方法。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。