一种基于鱼体特征规划切割路径的方法及系统

技术领域

本申请涉及图像识别技术领域，具体而言，涉及一种基于鱼体特征规划切 割路径的方法及系统。

背景技术

切割处理是鱼类预处理加工中的关键工序。目前，现有的鱼体切割处理中， 因原材料不规则，实现自动化、智能化加工难度大。在鱼类加工过程中，因传 统机械切刀间距不可调，在对鱼体进行大距离等间距切割后，仍需人工对不同 尺寸鱼片进行切割修正，在处理大量原料鱼时，工人劳动强度大，且加工的鱼 片尺寸存在加大偏差，导致生产效率低以及产品合格率降低。

现有技术中存在因鱼体切割处理中自动化、智能化加工难度大，导致工人 劳动强度大、生产效率低、产品合格率降低的问题，目前尚未提出有效解决方 案。

发明内容

本申请的主要目的在于提供一种基于鱼体特征规划切割路径的方法及系 统，以解决现有技术中存在因鱼体切割处理中自动化、智能化加工难度大，导 致工人劳动强度大、生产效率低、产品合格率降低的问题。

为了实现上述目的，第一方面，本申请提供了一种基于鱼体特征规划切割 路径的方法，包括如下步骤：

一种基于鱼体特征规划切割路径的方法，其特征在于，包括如下步骤：

获取历史鱼体图像数据，并对鱼体待切割部分进行标注；

基于历史鱼体图像数据构建改进的深度学习模型以及分类模型；

获取待分割鱼体图像数据；

将待分割鱼体图像数据输入到所述的改进的深度学习模型以及分类模型 中，得到待分割鱼体图像数据的分割结果；

根据待分割鱼体图像数据的分割结果，规划切割路径；

根据所述切割路径对待分割鱼体进行切割。

所述构建改进的深度学习模型以及分类模型，过程如下：

利用卷积层、激活层、池化层、全连接层以及它们之间的组合，建立改进 的深度学习模型以及分类模型，并进行初始化；

将历史鱼体图像数据输入到初始化后的改进的深度学习模型以中，得到特 征图；

以所述特征图中的每个点为中心生成九个锚框，锚框中框选的即为选择的 特征数据；

将所述特征数据输入到分类模型中，得到历史鱼体图像数据预测后的分类 结果、检测框以及图像分割；

利用损失函数，将预测后的分类结果以及检测框与标注后的历史鱼体图像 数据做比较，若二者差距大于预设定阈值，则改变改进的深度学习模型的参数， 直到差距小于等于预设定阈值，则停止训练，输出已经创建完成的改进的深度 学习模型以及分类模型。

所述根据待分割鱼体图像数据的分割结果，规划切割路径，过程如下：

待分割鱼体图像数据的分割结果是覆盖了图像中鱼体待切割部分的多边 形，对所述多边形进行平滑处理；

对平滑处理后的多边形提取切割点；

设置世界坐标系原点，计算切割相机相对于世界坐标系的旋转矩阵和平移 矩阵，结合相机技术参数，计算所述切割点在世界坐标系中的位置；

按照切割顺序连接所述切割点得到规划切割路径。

所述相机技术参数至少包括：焦距、镜头畸变。

改进的深度学习模型包括：第一卷积层、第一激活层、第二卷积层、第二 激活层、第一池化层、第三卷积层、第三激活层、第四卷积层、第四激活层、 第二池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积 层、第七激活层、第八卷积层、第八激活层、第三池化层、第九卷积层、第九 激活层、第十卷积层、第十激活层、第四池化层、第十一卷积层、第十一激活 层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第五池化 层；

所述分类模型包括：第一全连接层、第十四激活层、第一softmax层、第 二全连接层、第十五激活层、第二softmax层、第三全连接层、第十六激活层、 第三softmax层；

所述第一全连接层、第十四激活层、第一softmax层用于特征数据的过滤；

第二全连接层、第十五激活层、第二softmax层用于将过滤后的特征数据 经过非极大值抑制，得到抑制后的特征数据；

第三全连接层、第十六激活层、第三softmax层用于得到历史鱼体图像数 据预测后的分类结果、检测框以及图像分割。

所述第一卷积层卷积核为3×3×96、所述第二卷积层卷积核为3×3× 128、所述第三卷积层卷积核为3×3×384、所述第四卷积层卷积核为3×3× 384、所述第五卷积层卷积核为3×3×256、所述第六卷积层卷积核为3×3× 256、所述第七卷积层卷积核为3×3×128、所述第八卷积层卷积核为3×3× 128、所述第九卷积层卷积核为3×3×128、所述第十卷积层卷积核为3×3× 64、所述第十一卷积层卷积核为3×3×128、所述第十二卷积层卷积核为3×3 ×256、所述第十三卷积层卷积核为3×3×128。

所述第一激活层～第十六激活层采用激活函数ReLU，公式如下：

通过激活层将所有负值去除，p表示任意输入值；

所述第一softmax层～第三softmax层采用softmax函数实现。

所述第一～第五池化层，其输入为分为M×N/4个小区域，每个区域为2× 2，即有4个元素，公式为：

即每个小区域中取数值最大的一个，经过池化层的输出层大小为：(M/2) ×(N/2)，其中，i，j表示任意自然数，Px表示池化层输入矩阵，Pool表示池 化层输出矩阵。

所述九个锚框的尺寸是固定的，长宽比为1：1、1：2和2：1，若锚框超 出特征图的边界，则去除掉超出边界的锚框，剩下的锚框继续参加训练。

第二方面，本申请还提供了一种基于鱼体特征规划切割路径的系统，采用 所述的基于鱼体特征规划切割路径的方法实现，包括：历史数据获取模块、深 度学习模型模块、实时数据获取模块、分割结果输出模块、切割路径规划模块；

所述历史数据获取模块、深度学习模型模块、实时数据获取模块、分割结 果输出模块、切割路径规划模块依次顺序相连接；

所述历史数据获取模块用于获取历史鱼体图像数据，并对鱼体待切割部分 进行标注；

所述深度学习模型模块用于基于历史鱼体图像数据构建改进的深度学习 模型以及分类模型；

所述实时数据获取模块用于获取待分割鱼体图像数据；

所述分割结果输出模块用于将待分割鱼体图像数据输入到所述的改进的 深度学习模型以及分类模型中，得到待分割鱼体图像数据的分割结果；

所述切割路径规划模块用于根据待分割鱼体图像数据的分割结果，规划切 割路径，根据所述切割路径对待分割鱼体进行切割。

有益技术效果：

本申请提出了一种基于鱼体特征规划切割路径的方法及系统，采用特征提 取技术，使用深度学习模型建立的图像分割算法，规划切割路径，对鱼体进行 切割，以替代人工从事的切割修正工作，降低了生产成本，提高了生产效率， 实现加工产品的标准化、规格化。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请 的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用 于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的一种基于鱼体特征规划切割路径的方法 流程图；

图2是根据本申请实施例提供的构建深度学习模型流程图；

图3是根据本申请实施例提供的规划切割路径流程图；

图4是根据本申请实施例提供的一种基于鱼体特征规划切割路径的系统 原理框图；

图5是根据本申请实施例提供的标注实例图；

图6是根据本申请实施例提供的卷积层示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施 例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申 请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次 序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请 的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆 盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品 或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的 或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、 “内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置 关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申 请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方 位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于 表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或 连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在 本申请中的具体含义。

另外，术语“多个”的含义应为两个以及两个以上。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征 可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

第一方面，本申请提供了一种基于鱼体特征规划切割路径的方法，如图1 所示，包括如下步骤：

步骤S1：获取历史鱼体图像数据，并对鱼体待切割部分进行标注；

在每一张历史鱼体图像数据中，由人工对鱼体待切割部分进行标注。

其中，待切割部分包括例如鱼鳍、鱼腩等，具体哪些部分会被标注由实际 情况决定。人工使用多边形将带切割部分在鱼体图像中画出，标注实例如图5

步骤S2：基于历史鱼体图像数据构建改进的深度学习模型以及分类模型；

步骤S3：获取待分割鱼体图像数据；

步骤S4：将待分割鱼体图像数据输入到所述的改进的深度学习模型以及 分类模型中，得到待分割鱼体图像数据的分割结果；

步骤S5：根据待分割鱼体图像数据的分割结果，规划切割路径；

步骤S6：根据所述切割路径对待分割鱼体进行切割。

所述构建深度学习模型，如图2所示，过程如下：

步骤S21：利用卷积层、激活层、池化层、全连接层以及它们之间的组合， 建立改进的深度学习模型以及分类模型，并进行初始化；

步骤S22：将历史鱼体图像数据输入到初始化后的改进的深度学习模型以 中，得到特征图；

步骤S23：以所述特征图中的每个点为中心生成九个锚框，锚框中框选的 即为选择的特征数据；

步骤S24：将所述特征数据输入到分类模型中，得到历史鱼体图像数据预 测后的分类结果、检测框以及图像分割；

步骤S25：利用损失函数，将预测后的分类结果以及检测框与标注后的历 史鱼体图像数据做比较，若二者差距大于预设定阈值，则改变改进的深度学习 模型的参数，直到差距小于等于预设定阈值，则停止训练，输出已经创建完成 的改进的深度学习模型以及分类模型。

传统的图像分割算法例如基于阈值、基于边缘提取等对环境噪声比较敏 感，鲁棒性不强。本申请中采用基于深度学习的图像分割算法，极大提高了对 环境的鲁棒性，而且在图像识别的基础上添加了图像分割的功能，可以更有针 对性的对鱼体进行切割。

例如当深度学习模型分割出三个部分，而实际只需要切割两个部分时，根 据识别结果可以明确切割目标，随着用户的需要调整切割路径。当有多个待切 割部分时，用户可根据自身需要或者经验调整切割顺序。

其中，在通过卷积层等计算后得到的特征图上找到生成检测框，并对检测 框进行分类、回归，使其更接近真实值并去除内部没有待切割部分的检测框。 剩余检测框区域再通过卷积层、激活层等的计算，输出识别结果和分割结果。

所述根据待分割鱼体图像数据的分割结果，规划切割路径，如图3所示， 过程如下：

步骤S51：待分割鱼体图像数据的分割结果是覆盖了图像中鱼体待切割部 分的多边形，对所述多边形进行平滑处理；

步骤S52：对平滑处理后的多边形提取切割点；

步骤S53：设置世界坐标系原点，计算切割相机相对于世界坐标系的旋转 矩阵和平移矩阵，结合相机技术参数，计算所述切割点在世界坐标系中的位置；

步骤S54：按照切割顺序连接所述切割点得到规划切割路径。

所述相机技术参数至少包括：焦距、镜头畸变。

改进的深度学习模型包括：第一卷积层、第一激活层、第二卷积层、第二 激活层、第一池化层、第三卷积层、第三激活层、第四卷积层、第四激活层、 第二池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积 层、第七激活层、第八卷积层、第八激活层、第三池化层、第九卷积层、第九 激活层、第十卷积层、第十激活层、第四池化层、第十一卷积层、第十一激活 层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第五池化 层；

所述分类模型包括：第一全连接层、第十四激活层、第一softmax层、第 二全连接层、第十五激活层、第二softmax层、第三全连接层、第十六激活层、 第三softmax层；

所述第一全连接层、第十四激活层、第一softmax层用于特征数据的过滤；

第二全连接层、第十五激活层、第二softmax层用于将过滤后的特征数据 经过非极大值抑制，得到抑制后的特征数据；

第三全连接层、第十六激活层、第三softmax层用于得到历史鱼体图像数 据预测后的分类结果、检测框以及图像分割。

所述第一卷积层卷积核为3×3×96、所述第二卷积层卷积核为3×3× 128、所述第三卷积层卷积核为3×3×384、所述第四卷积层卷积核为3×3× 384、所述第五卷积层卷积核为3×3×256、所述第六卷积层卷积核为3×3× 256、所述第七卷积层卷积核为3×3×128、所述第八卷积层卷积核为3×3× 128、所述第九卷积层卷积核为3×3×128、所述第十卷积层卷积核为3×3× 64、所述第十一卷积层卷积核为3×3×128、所述第十二卷积层卷积核为3×3 ×256、所述第十三卷积层卷积核为3×3×128。

所述第一激活层～第十六激活层采用激活函数ReLU，公式如下：

通过激活层将所有负值去除，p表示任意输入值；

所述第一softmax层～第三softmax层采用softmax函数实现。

所述第一～第五池化层，其输入为分为M×N/4个小区域，每个区域为2× 2，即有4个元素，公式为：

即每个小区域中取数值最大的一个，经过池化层的输出层大小为：(M/2) ×(N/2)，其中，i，j表示任意自然数，Px表示池化层输入矩阵，Pool表示池 化层输出矩阵。

所述九个锚框的尺寸是固定的，长宽比为1：1、1：2和2：1，若锚框超 出特征图的边界，则去除掉超出边界的锚框，剩下的锚框继续参加训练。

设输入网络的图像大小为M*N*3(也就是长有M个像素，宽有N个像素, 有3个通道)。使用大小为3*3*d的卷积核(长宽都为3，深度为d，d会变化， 后续会说明)(卷积核的权重随机初始化，并在网络训练的过程中不断优化，)。 以下以一个通道说明，在输入的图像上从左上角开始，从左至右从上到下进行 卷积计算，也就是相对应的元素相乘后相加，用公式表达如下：

上述式子中im表示输入的图像，h为卷积核，C为卷积层计算得的结果。 i，j表示任意自然数，m，n表示小于卷积核维度的任意自然数。

在进行卷积操作前，先将图像进行填充,也就是在图像的四周补一圈0，这 样图像就从原来的M*N变成了(M+1)*(N+1)。卷积核移动步长为s，这里s＝1， (原来是大写的S)，也就是逐像素移动。经过卷积层计算之后，得到的输出层 大小仍为M*N。

卷积核的深度为d，这里会每一层分别和输入层的3层做卷积计算，然后 对应的元素相加，得到一层输出层。这样卷积核深度为d，那么最终输出层深 度也为d，为了方便理解如图6所示。

损失函数的公式为：

其中t

得到的特征图上的每一个点会生成9个anchors，9个anchors的尺寸是 固定的，长宽比为1:1,1:2和2:1，最长的anchor的长和最宽的anchor的宽要 尽量接近与特征图的长和宽，也就是(M/32)和(N/32)。

这样每一个anchor都有参数需要在网络中学习，分别是positive，negative (是否包含目标，包含为positive，不包含为negative)，和目标的分别(一开 始标记了几种类别就有几个参数)。这里网络分成两个分支，一个用全连接层+ 激活层+softmax分类出positive和negative，一个分支用全连接层+激活层 +softmax分类出所属类别的概率。

全连接的计算方式类似于卷积层，只是全连接层的卷积核有4维，最后的 输出是一个向量。第一个分支中，输入为(M/32)*(N/32)*128，全连接 层的卷积核为(M/32)*(N/32)*128*18，这里的18表示每个点有9个anchors， 每个anchors有positive和negative两种分类。激活层同上。

Softmax公式为：

第二个分支全连接层的卷积核为(M/32)*(N/32)*128*(9*n)，这里 的n表示分类的数量。激活层，softmax同上。

去除掉超出边界的，为negative的，以及分类里概率低于阈值的anchors (阈值设为0.6)，剩下的anchors做非极大值抑制。(non-maximum suppression， 下面贴一张伪代码图，这个构建方式都一样的)。

最终选取的anchors会先映射回原图的尺寸，再通过全连接层+激活层 +softmax，得到每一个像素点是否属于目标物体。全连接激活以及softmax原 理同上。

这样就是全部深度学习网络的结构，最终得到的其实就是图中每一个像素 是属于哪一类，也就是网络会把图像中属于鱼头的像素和属于鱼尾的像素以及 属于其他类别的像素分别标记出来。这就是前文提到的图像分割的结果。

第二方面，本申请还提供了一种基于鱼体特征规划切割路径的系统，采用 所述的基于鱼体特征规划切割路径的方法实现，如图4所示，包括：历史数据 获取模块、深度学习模型模块、实时数据获取模块、分割结果输出模块、切割 路径规划模块；

所述历史数据获取模块、深度学习模型模块、实时数据获取模块、分割结 果输出模块、切割路径规划模块依次顺序相连接；

所述历史数据获取模块用于获取历史鱼体图像数据，并对鱼体待切割部分 进行标注；

所述深度学习模型模块用于根据已经标注的历史鱼体图像数据构建深度 学习模型，利用所述的深度学习模型分割出鱼体待切割部分；

所述实时数据获取模块用于获取待分割鱼体图像数据；

所述分割结果输出模块用于将待分割鱼体图像数据输入到所述的深度学 习模型中，得到待分割鱼体图像数据的分割结果；

所述切割路径规划模块用于根据待分割鱼体图像数据的分割结果，规划切 割路径，根据所述切割路径对待分割鱼体进行切割。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领 域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之 内。