基于Mask RCNN的饲料外包装缺陷分级检测方法

技术领域

本发明属于计算机领域，具体涉及一种基于Mask RCNN的饲料外包装缺陷分级检测方法。

背景技术

当前饲料生产工业中已基本实现了工业流水线自动化生产，饲料灌装速度不断加快，产量不断提高。在快速生产过程中，饲料成品外包装易出现脱色、撕裂、破损、字体印刷错误等缺陷，并且缺陷等级有较大差异，不同缺陷等级对应后续生产流程亦有较大不同。因此，需要设计出一种检测方法，在检测出饲料外包装缺陷类型的同时，能够对缺陷进行分级，以便于后续对不同等级的缺陷进行对应的处理。

发明内容

发明目的：针对现有技术中存在的问题，本发明公开了一种基于Mask RCNN的饲料外包装缺陷分级检测方法。

技术方案：为实现上述发明目的，本发明采用如下技术方案：

一种基于Mask RCNN的饲料外包装缺陷分级检测方法，包括如下步骤：

S1：采集饲料外包装图像，组建饲料外包装图像数据集；

S2：运用图像标注工具Labelme对数据集中的图像进行标注，在数据集的每一张图像中标注出不同种类的外包装缺陷及对应缺陷等级；

S3：将标注完成的数据集输入Mask RCNN网络中，采用交叉验证方法对Mask RCNN网络进行训练，训练时将batch_size设定为1，将epoch设定为120，Mask RCNN网络训练完后，保存Mask RCNN网络模型参数文件；

S4：工业相机采集饲料外包装图像后，将图像传输至工控机，由工控机中利用保存好的Mask RCNN网络模型参数文件加载Mask RCNN网络，按采样周期输入图像，对图像进行处理评判，若检测到缺陷，则输出检测出的缺陷类别及相应缺陷等级，控制声光报警装置发出警告信息，用以重新包装。

优选的，所述Mask RCNN网络包括RepVGG网络和FPN网络构成的backbone网络、RPN网络和图像预测网络，标注完成的数据集中的图像输入Mask RCNN网络后，由RepVGG网络对输入图像的特征进行提取，当RepVGG网络对输入图像的特征提取完成后，将提取的特征输入FPN网络进行特征金字塔特征提取，FPN网络输出输入图像的最终特征图后，将最终特征图输入RPN网络生成候选框，RPN网络输出各最终候选框对应的ROI区域后，图像预测网络通过多任务损失函数计算RPN网络输出的各候选框的损失。

优选的，图像预测网络通过多任务损失函数计算RPN网络输出的各候选框的损失包括：

总损失函数L

L

L

其中，t

L

L

其中p＝(p

L

其中M

L

其中N

优选的，计算L

有益效果：与现有技术相比，本发明具有如下显著的有益效果：

本发明基于工业相机采集到的饲料外包装图像，利用改进的Mask RCNN网络进行实时图像处理评判分析，在线给出缺陷类型及缺陷分级检测结果，便于根据不同缺陷等级，采取不同后续生产流程，进而优化生产流水线结构，提升生产效率，提高饲料成品的良品率，提升经济效益；

所述改进的Mask RCNN网络中的特征提取网络层采用RepVGG网络，能够进一步提升网络对于输入图像的特征提取精度，提升缺陷分级检测效果；在多任务损失函数的计算中增加了衡量缺陷等级的损失函数，在检测出缺陷类型的同时，还可同时给出检测出的缺陷等级。

附图说明

图1为本发明所述基于Mask RCNN的饲料外包装缺陷分级检测方法的流程示意图；

图2为本发明中所述改进的Mask RCNN网络的结构示意图；

图3为本发明中所述backbone网络的结构示意图；

图4位本发明中所述计算L

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明公开了一种基于Mask RCNN的饲料外包装缺陷分级检测方法，如图1所示，包括如下步骤：

步骤S1：采集饲料外包装图像，组建饲料外包装图像数据集。

步骤S2：运用图像标注工具Labelme对数据集中的图像进行标注，在数据集的每一张图像中标注出不同种类的外包装缺陷及对应缺陷等级。

步骤S3：将标注完成的数据集输入神经网络中，采用交叉验证方法对神经网络进行训练，训练时将batch_size设定为1，将epoch设定为120。神经网络训练完后，保存神经网络模型参数文件。

采用交叉验证方法训练神经网络时，将标注完成的数据集分为5等份，每次训练时取其中1份作为测试集，其余4份作为训练集，在分为5等份的数据集中依次选取测试集，进而完成神经网络训练。

本发明中的神经网络采用改进的Mask RCNN网络，所述改进的Mask RCNN网络框架结构如图2所示，包括RepVGG网络和FPN(特征图像金字塔层，Feature Pyramid Networks)网络构成的backbone网络、RPN(提取候选框网络，Region Proposal Network)网络和图像预测网络，其中backbone网络用来提取一些低级的通用特征，具体包括颜色、形状和纹理等，RPN网络用来对这些通用的特征进行进一步的加工，图像预测网络输出不同形式的结果，例缺陷类型概率、缺陷等级概率等。

首先，标注完成的数据集中的图像输入改进的Mask RCNN网络后，由backbone网络中的特征提取网络层对输入图像的特征进行提取，为了提高特征提取效率及精度，提升网络整体训练速度，经典Mask RCNN网络中的特征提取网络层为ResNet网络，为进一步提升网络对于输入图像的特征提取精度，提升缺陷分级检测效果，本发明中backbone网络中的特征提取网络层为RepVGG网络，结构如下表1所示：

表1

根据表1，整个RepVGG网络包含5个Stage，Stage 1仅仅包含一个残差块，输出的特征大小为1024×1024，残差块的通道个数取min(64,64a)，min(64,64a)表示64和64a之间的较小值；Stage 2包含2个残差块，输出的特征大小为512×512，残差块的通道个数为64a；Stage 3包含4个残差块，输出的特征大小为256×256，残差块的通道个数为128a；Stage 4包含14个残差块，输出的特征大小为128×128，残差块的通道个数为256a；Stage 5包含1个残差块，输出的特征大小为64×64，残差块的通道个数为512b。整个RepVGG网络通过参数a和参数b来形成不同版本的变种，参数a和参数b用来控制残差块的通道个数，参数a用来控制stage 1～stage 4阶段中残差块的通道个数，参数b用来控制stage 5阶段中残差块的通道个数，一般情况下a

当RepVGG网络对输入图像的特征提取完成后，将提取的特征输入FPN网络进行特征金字塔特征提取，从而将不同尺度的RoI(感兴趣区域)映射到对应的特征层上。通过对不同层级的特征图分别进行上采样，并与底层特征进行融合，得到高分辨率、强语义的最终特征。

合并RepVGG网络与FPN网络后的backbone网络结构如图3所示。RepVGG网络包括stage 1～stage 5，FPN网络包括卷积块Conv2d_1～Conv2d_8和最大池化层MaxPool。具体的：

RepVGG网络中的Stage 2输出特征到FPN网络中的卷积块Conv2d_1，卷积块Conv2d_1输出特征大小为512×512；RepVGG网络中的Stage 3输出特征到FPN网络中的卷积块Conv2d_2，卷积块Conv2d_2输出特征大小为256×256；RepVGG网络中的Stage 4输出特征到FPN网络中的卷积块Conv2d_3，卷积块Conv2d_3输出特征大小为128×128；RepVGG网络中的Stage,5输出特征到FPN网络中的卷积块Conv2d_4，卷积块Conv2d_4输出特征大小为64×64。卷积块Conv2d_4输出特征到卷积块Conv2d_8，卷积块Conv2d_8输出特征大小为64×64，卷积块Conv2d_8输出特征到最大池化层MaxPool，最大池化层MaxPool输出特征大小为32×32；卷积块Conv2d_4输出的特征经过上采样后再与卷积块Conv2d_3输出的特征叠加，叠加后的特征输入到卷积块Conv2d_7，卷积块Conv2d_7输出特征大小为128×128；卷积块Conv2d_3输出的特征经过上采样后再与卷积块Conv2d_2输出的特征叠加，叠加后的特征输入到卷积块Conv2d_6，卷积块Conv2d_6输出特征大小为256×256；卷积块Conv2d_2输出的特征经过上采样后再与卷积块Conv2d_1输出的特征叠加，叠加后的特征输入到卷积块Conv2d_5，卷积块Conv2d_5输出特征大小为512×512。卷积块Conv2d_5～Conv2d_8以及最大池化层MaxPool输出特征到后续的RPN网络。

FPN网络输出输入图像的最终特征图后，将最终特征图输入RPN网络进行候选框的进一步生成。通过RPN网络将特征图划分为m×n个区域，并通过anchor机制，在每个像素点生成k个可能存在目标的候选框，并对每个候选框进行判断，通过NMS(非极大抑制)给出最终候选框的位置。

RPN网络输出各最终候选框对应的ROI区域后，图像预测网络通过如下多任务损失函数计算RPN网络输出的各候选框的损失：

L

其中L

L

其中，t

L

L

其中p＝(p

L

其中M

L

其中N

计算L

训练所述改进的Mask RCNN网络过程中，根据最终计算出的损失L

步骤S4：实际应用过程中，工业相机采集饲料外包装图像后，将图像传输至工控机，由工控机中利用保存好的Mask RCNN网络参数文件加载Mask RCNN网络，按采样周期输入图像，对图像进行处理评判，若检测到缺陷，则输出检测出的缺陷类别及相应缺陷等级，控制声光报警装置发出警告信息，用以重新包装。

本发明所提出的检测方法不仅可同时检测出多种饲料外包装缺陷类型，还可同时给出各检测出的缺陷等级(I级、II级、III级、Ⅳ级等)，便于根据缺陷等级选择不同后续生产流程。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。