鱼体姿态的识别方法、装置、电子设备和存储介质

技术领域

本发明涉及机器学习和水产养殖技术领域，尤其涉及一种鱼体姿态的识别方法、装置、电子设备和存储介质。

背景技术

水产养殖是人利用可供养殖的水域，按照养殖对象的生态习性和对水域环境条件的要求，运用水产养殖技术和设施，从事水生经济的养殖。

水产养殖场中对养殖鱼的生活状态观测和疾病预防通常是靠人工观察来完成，很容易受到个人经验的影响。鱼游泳时的行为状态跟其所处的环境有着密切关系，检测和识别鱼的行为姿态有助于判断其健康情况。比如，当鱼浮头的时候，可能是因上下水层温差产生的急剧对流而引起的浮头，或者因水质过肥或败坏而引起的浮头等。

相关技术采用了目标识别方法识别鱼的姿态，但是目前的目标识别方法识别精度较低，无法准确识别鱼的姿态，进而无法为养殖人员提供合理有效的决策依据。

发明内容

本发明提供一种鱼体姿态的识别方法、装置、电子设备和存储介质，用以解决现有技术中通过人工观察或现有的目标识别方法无法准确识别鱼体姿态的缺陷，实现鱼体姿态的准确识别，为水产养殖场的养殖人员提供合理有效的决策依据。

本发明提供一种鱼体姿态的识别方法，包括：获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，所述特征向量提取模型为复合卷积神经网络(Convolutional Neural Networks,CNN)模型；通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；根据所述融合特征向量训练支持向量机(Support Vector Machine,SVM)；根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。

根据本发明提供的一种鱼体姿态的识别方法，获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，包括：获取鱼体视频样本图像，所述鱼体视频样本图像具有鱼体姿态的标注信息；搭建具有不同卷积核的多个卷积神经网络；通过全局平均池化(Global average Pooling，GAP)代替所述多个卷积神经网络的全连接层；将所述鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。

根据本发明提供的一种鱼体姿态的识别方法，将所述鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型，包括：对所述鱼体视频样本图像进行灰度化和归一化处理；将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。

根据本发明提供的一种鱼体姿态的识别方法，所述复合卷积神经网络模型包括第一卷积神经网络模型、第二卷积神经网络模型和第三卷积神经网络模型，所述第一卷积神经网络模型采用3*3卷积核，所述第二卷积神经网络模型采用5*5卷积核，所述第三卷积神经网络模型采用7*7卷积核，所述第一卷积神经网络模型、所述第二卷积神经网络模型和所述第三卷积神经网络模型的卷积核的个数相同。

根据本发明提供的一种鱼体姿态的识别方法，将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练时，使用反向传播算法(BackPropagation，BP)更新特征图的权值，并根据灵敏度和更新后的权值求取单个鱼体视频样本图像的误差代价函数对所述灵敏度的偏导，且使用优化器对梯度一阶和二阶矩对学习率进行动态调整。

根据本发明提供的一种鱼体姿态的识别方法，通过所述特征向量提取模型提取所述鱼体视频样本图像的特征向量，并提取的特征向量进行融合得到融合特征向量，包括：通过所述特征向量提取模型对所述鱼体视频样本图像进行特征向量提取得到多个特征向量；对所述多个特征向量的每一维取平均值得到所述融合特征向量。

根据本发明提供的一种鱼体姿态的识别方法，所述支持向量机采用高斯径向基(Radial Basis Function，RBF)函数作为核函数，用网格搜索和交叉验证来对所述核函数的参数和错误代价系数进行优化。

本发明还提供一种鱼体姿态的识别装置，包括：获取模块，用于获取鱼体视频样本图像；控制处理模块，用于根据所述鱼体视频样本图像生成特征向量提取模型，所述特征向量提取模型为复合卷积神经网络模型；所述控制处理模块还用于通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；所述控制处理模块还用于根据所述融合特征向量训练支持向量机；识别模块，用于根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。

根据本发明提供的一种鱼体姿态的识别装置，所述鱼体视频样本图像具有鱼体姿态的标注信息；所述控制处理模块用于搭建具有不同卷积核的多个卷积神经网络，并通过全局平均池化代替所述多个卷积神经网络的全连接层；所述控制处理模块还用于将所述鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。

根据本发明提供的一种鱼体姿态的识别装置，所述控制处理模块用于对所述鱼体视频样本图像进行灰度化和归一化处理，进而将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。

根据本发明提供的一种鱼体姿态的识别装置，所述复合卷积神经网络模型包括第一卷积神经网络模型、第二卷积神经网络模型和第三卷积神经网络模型，所述第一卷积神经网络模型采用3*3卷积核，所述第二卷积神经网络模型采用5*5卷积核，所述第三卷积神经网络模型采用7*7卷积核，所述第一卷积神经网络模型、所述第二卷积神经网络模型和所述第三卷积神经网络模型的卷积核的个数相同。

根据本发明提供的一种鱼体姿态的识别装置，所述控制处理模块用于将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练时，使用反向传播算法更新特征图的权值，并根据灵敏度和更新后的权值求取单个鱼体视频样本图像的误差代价函数对所述灵敏度的偏导，且使用优化器对梯度一阶和二阶矩对学习率进行动态调整。

根据本发明提供的一种鱼体姿态的识别装置，所述控制处理模块用于通过所述特征向量提取模型对所述鱼体视频样本图像进行特征向量提取得到多个特征向量，进而对所述多个特征向量的每一维取平均值得到所述融合特征向量。

根据本发明提供的一种鱼体姿态的识别装置，所述支持向量机采用高斯径向基函数作为核函数，用网格搜索和交叉验证来对所述核函数的参数和错误代价系数进行优化。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述鱼体姿态的识别方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述鱼体姿态的识别方法的步骤。

本发明提供的鱼体姿态的识别方法、装置、电子设备和存储介质，通过鱼体视频样本图像训练复合CNN模型，基于复合CNN模型提取鱼行为姿态的特征向量，并用GAP来替代每个卷积神经网络模型的全连接层，将每个GAP取得的特征向量进行融合，经过分类器得到鱼的姿态，通过鱼的姿态进而判断鱼所处水环境。本发明有效地处理目标识别精度低、遮挡时分类性不准确的问题，以便为水产养殖场的养殖人员提供合理有效的决策依据，降低养殖成本，提高养殖效益。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的鱼体姿态的识别方法的流程示意图；

图2是本发明提供的鱼体姿态的识别装置的结构框图；

图3是本发明一个示例中电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应理解，说明书通篇中提到的“实施例”或“一个实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“实施例中”或“在一个实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明的描述中，需要理解的是，术语“第一”和“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合图1描述本发明的鱼体姿态的识别方法。

图1是本发明提供的鱼体姿态的识别方法的流程示意图。如图1所示，本发明提供的鱼体姿态的识别方法，包括：

S1：获取鱼体视频样本图像，根据鱼体视频样本图像生成特征向量提取模型，特征向量提取模型为复合卷积神经网络模型。

在本发明的一个实施例中，步骤S1包括：

S1-1：获取鱼体视频样本图像，鱼体视频样本图像具有鱼体姿态的标注信息。

具体地，在采集视频图像时，删除一些不需要的图像，比如鱼体缺失，模糊不清的图像。为了提取更多的特征，对原始数据进行水平、垂直镜像翻转；裁剪；调节原图片的亮度、对比度等来扩充数据集。对最后部分样本进行手工标注，标注出鱼的行为姿态类别。将鱼的姿态大体分为浮头、鱼摆尾、鱼侧游、鱼肚朝上、鱼向上游、鱼向下游这六种姿态。

S1-2：搭建具有不同卷积核的多个卷积神经网络。在本实施例中，为三个不同卷积核CNN网络。

S1-3：通过全局平均池化代替多个卷积神经网络的全连接层。

具体地，每个CNN模型的倒数第二个全连接层用GAP来代替，GAP对整个网络在结构上做正则化防止过拟合，实现降维，减少网络参数，鲁棒性更强。

S1-4：将鱼体视频样本图像输入到多个卷积神经网络模型中进行训练，得到复合卷积神经网络模型。

具体地，首先对鱼体视频样本图像进行灰度化和归一化处理，然后将灰度化和归一化处理后的鱼体视频样本图像输入到多个卷积神经网络模型中进行训练，得到复合卷积神经网络模型。

具体地，将灰度化、归一化后的鱼体视频样本图像，输入模型当中，来训练和测试复合CNN模型，由于每个CNN卷积核大小不同，可得三种特征向量。

其中，搭建三个不同卷积核的CNN，第一CNN模型采用3*3卷积核，第二CNN模型采用5*5卷积核，第三CNN模型采用7*7卷积核，且每个CNN的卷积核的个数相同。其中卷积层的计算公式如下：

其中，I

然后将卷积层得到的结果输入到一个非线性激励函数f(I

f(I

其次，对卷积层输出的特征图进行池化，池化层可以有效降低特征图的维度，在一定程度上可以保持尺度和平移的不变性。池化层公式如下：

P

式中：P

对于每张特征图来说，若为矩形，则其尺寸计算公式如下所示：

若为正方形，则其尺寸计算公式如下所示：

式中：L

对于最后一层卷积层来说，对输出特征图进行全局平均池化，其公式如下所示：

式中：L

训练复合CNN模型，将灰度化、归一化等处理之后的图像输入CNN中进行训练。在训练每个CNN时，前向传播会产生误差。误差公式为：

式中E是总误差，

为了使上述的误差更小，采用BP算法使用梯度下降来更新特征图的权值，梯度下降法主要利用误差代价函数对灵敏度参数的梯度。梯度下降法的更新公式如下：

式中

用灵敏度δ来表示对输出的变化率，进而求取单个样本的误差代价函数对参数的偏导：

u

式中δ

在训练网络的过程中，使用Adam优化器对梯度一阶和二阶矩对学习率进行动态调整。

S2：通过特征向量提取模型提取鱼体视频样本图像的特征向量，将提取的特征向量进行融合得到融合特征向量。

在本发明的一个实施例中，步骤S2包括：

S2-1：通过特征向量提取模型对鱼体视频样本图像进行特征向量提取得到多个特征向量。

具体地，在训练好复合CNN模型之后，再次把训练样本输入网络中，得到特征向量z

S2-2：对多个特征向量的每一维取平均值得到融合特征向量。

具体地，将这三个特征向量每一维取平均值，公式如下：

其中，z'就是融合特征向量。

S3：根据融合特征向量训练支持向量机。

具体地，一对一投票策略设计多分类SVM，用融合特征向量训练SVM。其中，持向量机选取高斯RBF作为其核函数，用网格搜索和交叉验证来对RBF核的参数λ和错误代价系数C进行优化。本发明将鱼的姿态分为浮头、鱼摆尾、鱼侧游、鱼肚朝上、鱼向上游、鱼向下游这六种姿态，依次标记为A，B，C，D，E，F。采用一对一投票策略将这六类姿态样本两个两个组合，即(A，B)、(A，C)、(A，D)、(A，E)、(A，F)；(B，C)、(B、D)、(B，E)、(B，F)；(C、D)、(C，E)、(C，F)；(D，E)、(D，F)；(E，F)由此可得到15个SVM二分类器。

将新的特征向量z'作为SVM的输入，来训练SVM分类器。

S4：根据支持向量机对目标鱼体图像进行鱼体姿态识别。

下面对本发明提供的鱼体姿态的识别装置进行描述，下文描述的鱼体姿态的识别装置与上文描述的鱼体姿态的识别方法可相互对应参照。

图2是本发明提供的鱼体姿态的识别装置的结构框图。如图2所示，本发明提供的鱼体姿态的识别装置，包括：获取模块210、控制处理模块220和识别模块230。

其中，获取模块210用于获取鱼体视频样本图像。控制处理模块220用于根据鱼体视频样本图像生成特征向量提取模型，特征向量提取模型为复合卷积神经网络模型。控制处理模块220还用于复合卷积神经网络模型对鱼体视频样本图像进行特征提取得到多个特征向量，对多个特征向量进行融合得到融合特征向量。控制处理模块220还用于根据融合特征向量训练支持向量机。识别模块230用于根据支持向量机对目标鱼体图像进行鱼体姿态识别。

在本发明的一个实施例中，鱼体视频样本图像具有鱼体姿态的标注信息。控制处理模块220用于搭建具有不同卷积核的多个卷积神经网络，并通过全局平均池化代替多个卷积神经网络的全连接层。控制处理模块220还用于将鱼体视频样本图像输入到多个卷积神经网络模型中进行训练，得到复合卷积神经网络模型。

在本发明的一个实施例中，控制处理模块220用于对鱼体视频样本图像进行灰度化和归一化处理，进而将灰度化和归一化处理后的鱼体视频样本图像输入到多个卷积神经网络模型中进行训练，得到复合卷积神经网络模型。

在本发明的一个实施例中，复合卷积神经网络模型包括第一卷积神经网络模型、第二卷积神经网络模型和第三卷积神经网络模型。第一卷积神经网络模型采用3*3卷积核，第二卷积神经网络模型采用5*5卷积核，第三卷积神经网络模型采用7*7卷积核。第一卷积神经网络模型、第二卷积神经网络模型和第三卷积神经网络模型的卷积核的个数相同。

在本发明的一个实施例中，控制处理模块220用于将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练时，使用反向传播算法更新特征图的权值，并根据灵敏度和更新后的权值求取单个鱼体视频样本图像的误差代价函数对灵敏度的偏导，且使用优化器对梯度一阶和二阶矩对学习率进行动态调整。

在本发明的一个实施例中，控制处理模块220用于通过特征向量提取模型对鱼体视频样本图像进行特征向量提取得到多个特征向量，进而对多个特征向量的每一维取平均值得到融合特征向量。

在本发明的一个实施例中，支持向量机采用高斯径向基函数作为核函数，用网格搜索和交叉验证来对核函数的参数和错误代价系数进行优化。

需要说明的是，本发明实施例的鱼体姿态的识别装置的具体实施方式与本发明实施例的鱼体姿态的识别方法的具体实施方式类似，具体参见鱼体姿态的识别方法部分的描述，为了减少冗余，不做赘述。

另外，本发明实施例的鱼体姿态的识别装置的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。

图3是本发明一个示例中电子设备的结构示意图。如图3所示，该电子设备可以包括：处理器310、通信接口320、存储器330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行鱼体姿态的识别方法，该方法包括：获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，所述征向量提取模型为复合卷积神经网络模型；通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；根据所述融合特征向量训练支持向量机；根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的鱼体姿态的识别方法，该方法包括：获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，所述征向量提取模型为复合卷积神经网络模型；通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；根据所述融合特征向量训练支持向量机；根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。