一种鱼姿态识别方法

技术领域

本发明属于图像处理领域，更具体地，涉及一种鱼姿态识别方法。

背景技术

鱼类姿态识别主要是指鱼类的目标识别、位姿识别等，在鱼类的观察研究、生产加工等方面具有重要的应用，尤其是体型较小的鱼类。由于体型较小的原因，在鱼类的加工生产线上，通常需要生产线工人将鱼调整为一种固定的姿态进行半自动化的加工生产，这种方式的加工效率通常也比较低。因此，实现鱼类姿态的自动识别与调整，对于实现鱼类的加工生产线全自动化具有重要的意义。

以鲐鱼为例，鲐鱼是一种常见的可食用鱼类，具有很高的营养价值，是我国重要的中上层经济鱼类之一。鲐鱼在我国近海分布广、生长快、产量高，具有广大的市场。由于鲐鱼体积较小、形态狭长，传统鱼类加工机器对于鲐鱼的姿态、下刀点等存在较大的误差导致鲐鱼得肉率不高，因此，目前的鲐鱼生产加工产业仍以手工解剖为主。在手工作业环境中，工人的工作效率严重依赖于作业工人的熟练度，而且长时间的工作也会导致工人的工作效率较低。

随着深度学习的广泛运用，卷积神经网络在图像识别、检测等方面发挥越来越重要的作用。将基于深度学习的方法引入到鲐鱼加工生产线，实现鲐鱼的自动姿态分类及调整，进而实现鲐鱼的全自动化生产线。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种鱼姿态识别方法，其目的在于对鱼姿态进行智能识别，为实现鱼加工生产线的自动提供基础。

为实现上述目的，按照本发明的一个方面，提供了一种鱼姿态识别方法，包括：

S1.制作训练集和测试集：

S1.1.对采集到的鱼图像进行预处理；

S1.2.对预处理后的鱼图像进行旋转，使鱼身体在图像中处于水平状态；

S1.3.对旋转后图像中的鱼进行裁剪，并缩放至设定大小；

S1.4.根据图像中的鱼姿态制作对应标签，作为训练集和测试集；

S2.利用所述训练集和测试集训练卷积神经网络，得到鱼姿态识别模型；

S3.利用鱼姿态识别模型对输入图像中的鱼进行姿态识别。

进一步地，步骤S1.1具体为，对采集的鱼类图像进行直方图灰度拉伸。

进一步地，步骤S1.2包括：

基于阈值分割原理，对鱼图像进行二值化处理；

在二值图像中，通过主成分分析法计算鱼身体主轴的方向；

根据计算得到的主轴方向与图像坐标系夹角旋转预处理后的鱼图像，使得鱼身体处于水平状态。

进一步地，步骤S1.3包括：

提取鱼的最小外接矩形，将最小外接矩形扩大后进行裁剪；

将裁剪后的矩形补充为以长边为边长的正方形，填充数据为0；

将正方形图像的大小缩放至设定大小。

进一步地，将最小外接矩形扩大20％后进行裁剪。

进一步地，将正方形图像的大小缩放至224像素×224像素。

进一步地，S1.4中鱼姿态标签共四种，分别对应鱼头部左右朝向及腹部上下朝向。

进一步地，卷积神经网络包括6个卷积层、3个池化层和1个全连接层。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。

本发明采用卷积神经网络对体积小、体型狭长的鱼进行姿态识别，在制作训练集时，对鱼图像进行了姿态矫正、裁剪缩放等操作，能够很好的适应体积小、体型狭长的鱼类(如鲐鱼、小黄鱼、沙丁鱼等)自身形态特点，实现了鱼加工生产线自动化的早期处理，克服了以往人工加工耗时长、工作量大的不足，具有快速、准确、高效的优势。

附图说明

图1本发明提供的鱼姿态识别方法流程图；

图2本发明提供的卷积神经网络结构图；

图3本发明提供的交叉验证混淆矩阵图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施以鲐鱼为例对本发明提供的鱼姿态识别方法进行说明，包括以下步骤：

1)浏览所有获取的鲐鱼图像数据，并对图像进行预处理，以提高图像质量，减少不同数据灰度分布的差异；进行图像预处理的方法为直方图灰度拉伸。

2)旋转图像矫正姿态：通过阈值分割获得二值化图像，计算二值图像的主轴，将图像数据中的鲐鱼调整至接近水平状态；具体方法是对二值图像中的目标点进行主成分分析，计算目标(鲐鱼)的主轴，根据主轴与图像坐标系的夹角，旋转原始图像，使得鱼在旋转后的图像中接近水平状态，然后，计算鲐鱼在旋转图像中的外接矩形。

(3)对图像进行裁剪缩放等操作，以尽量减少冗余信息对于图像分类的影响；具体方法是提取鲐鱼最小外接矩形，将最小外接矩形扩大20％(即将最小外接矩形的长宽分别增加1/5倍)后进行裁减；将裁剪后的矩形填充为以长边为边长的正方形，填充数据为0；将所有正方形图像的大小缩放为224像素×224像素。

(4)浏览所有的鲐鱼图像数据。根据鲐鱼姿态，制作对应标签并划分数据集；标签共四种，分别对应鲐鱼头部左右朝向及腹部上下朝向；具体包括左上(鱼头朝左，背脊朝上)、左下(鱼头朝左，背脊朝下)、右上(鱼头朝右，背脊朝上)、右下(鱼头朝右，背脊朝下)。

(5)搭建卷积神经网络，训练得到用于鲐鱼分类的网络模型，并对结果进行8折交叉验证，具体步骤如下：

(5-1)搭建如图2所示的卷积神经网络，该网络由六个卷积层、三个池化层和两个全连接层连续堆叠组成，输出层的四个输出对应输入图像属于哪种标签的概率，使用softmax函数将输出概率值归一化到0-1；

(5-2)设置合适的训练参数并初始化网络参数，使用步骤(4)得到的样本对网络进行训练。实际训练两个二分类的网络，一个是对鱼的头尾朝向进行判断；另一个是对腹背朝向进行判断，鱼的姿态最后由两个分类器的结果综合确定。

本发明实施例将训练图像大小设置为224像素×224像素，测试图像大小设置为224像素×224像素，第一个卷积层的卷积核大小设置为32×3×3，第一个池化层尺寸为2，第二个卷积层的卷积核大小设置为64×3×3，第三个卷积层的卷积核大小设置为64×3×3，第二个池化层尺寸为2，第四、五和六个卷积层的卷积核大小设置为128×3×3，第三个池化层尺寸为2，全连接层特征维度为512，输出维度为4，激励采用ReLU，输出为输入图像鱼体姿态，采用随机梯度下降法来优化网络权重；设置学习率为0.01，学习动量为0，batch_size设置为32，迭代30次保存网络结构。

(5-3)使用(5-2)训练得到的网络对测试样本进行测试。

更具体地，在对待测图像进行检测时需要采用交叉验证的方式统计所有数据的分类情况，以进一步确定分类准确率的阈值。本发明实施例对所有数据进行8折交叉训练，并根据经验将分类阈值设置为66％，分类概率大于66％，认为分类正确，小于66％则认为不能确认，视为异常情况，转人工处理。图3是交叉验证的混淆矩阵，可以计算出本发明方法姿态识别的准确率为98.82％。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。