一种基于图神经网络的包装缺陷检测方法

技术领域

本发明涉及计算机视觉、深度学习、缺陷检测领域，具体涉及一种基于图神经网络的包装缺陷检测方法。

背景技术

包装缺陷检测对工业生产具有重要意义。有效的包装缺陷自动检测技术可以保证产品质量、减少客户投诉和召回成本、提高生产效率和降低成本，并增强企业的市场竞争力。香烟作为一种消费品，其包装质量对于产品的市场竞争力和消费者体验至关重要。因此，对香烟包装缺陷进行高效、准确的智能检测具有重要意义。

香烟生产中，经历了不同阶段的包装过程。针对包装过程不同阶段的不同缺陷，产业界和学界提出了大量检测方法。现有技术包括：使用胶点检测传感器检测包装上胶缺陷，针对烟包封条缺陷，使用基于图像识别技术的检测系统，识别烟包封条的歪斜、折角、缺失等缺陷，针对隐形喷码缺陷，使用基于图像分析的喷码完整性检测装置，针对烟包包装缺陷，运用姿态估计、角点检测等方法提高检测准确率，或运用深度学习技术提取烟盒彩色图像特征，识别烟盒上的外形、四周封口等信息，剔除不合格的烟盒。

本发明针对成品件香烟封箱之前的检测阶段，旨在发现箱内是否存在香烟条数量不够、倒置、翻转以及系列杂糅等缺陷。目前，罕见针对这一阶段的智能化检测方法，传统方法的检测效率和准确度均有待提高，设计针对封箱前检测阶段的缺陷检测方法具有迫切性和现实意义。

发明内容

本发明目的：在于提供一种基于图神经网络的包装缺陷检测方法，解决香烟成品件封箱前的条烟倒置、翻转、品牌杂糅、数量不够等缺陷的智能检测，提升包装流水线智能化程度，提高香烟包装系统准确度和可靠性。

为实现以上功能，本发明设计一种基于图神经网络的包装缺陷检测方法，执行如下步骤S1-步骤S3，构建并训练基于图神经网络的香烟包装缺陷检测算法模型PDIGCN，并应用训练好的模型，完成卷烟包装流水线上成品件箱体中条烟的缺陷检测：

步骤S1：针对卷烟包装流水线，在条烟装箱之后成品件封箱之前的阶段设置检测点，使用工业相机俯拍成品件箱体内条烟图像，采集成品件香烟封箱前的条烟图像I；

步骤S2：构建基于图神经网络的香烟包装缺陷检测算法模型PDIGCN，用于检测条烟图像I中各条烟的缺陷，该模型包括目标检测算法模块、图分类模块，以步骤S1所采集的条烟图像I为输入，目标检测算法模块识别条烟图像I中的各条烟端面目标，图分类模块进一步推理各条烟端面目标中是否存在缺陷，并对缺陷进行分类，输出检测结果P，其中检测结果P为条烟正常或缺陷，以及缺陷的具体种类；

对香烟包装缺陷检测算法模型PDIGCN进行训练，直至达到预设的收敛条件，获得训练好的香烟包装缺陷检测算法模型PDIGCN；

步骤S3：应用训练好的香烟包装缺陷检测算法模型PDIGCN，对卷烟包装流水线上成品件箱体中的条烟进行缺陷检测，存储并显示检测结果P，同时向分拣系统发送命令，存储检测结果P供信息系统查询，显示在液晶屏上用于人机交互；而向分拣系统发送的命令仅包含正常和异常。

有益效果：相对于现有技术，本发明的优点包括：

本发明设计了一种基于图神经网络的包装缺陷检测方法，针对条烟成品件封箱前的缺陷问题，提出智能检测方法，显著提高了流水线自动化程度和效率；结合人工智能技术和图计算理论提出新型缺陷检测方法，具有抗几何形变，兼顾定性和定量缺陷，准确度高和鲁棒性强等优势。

附图说明

图1是根据本发明实施例提供的一种基于图神经网络的包装缺陷检测方法的流程图；

图2是根据本发明实施例提供的香烟包装缺陷检测算法模型PDIGCN的基本框架图；

图3是根据本发明实施例提供的输入条烟图像裁剪结果示例图；

图4是根据本发明实施例提供的条烟端面目标检测的示例图；

图5是根据本发明实施例提供的构图模块BG的处理流程图；

图6是根据本发明实施例提供的图表示模块GP的处理流程图；

图7是根据本发明实施例提供的图分类模块GC的处理流程图；

图8是根据本发明实施例提供的针对香烟包装缺陷检测算法模型PDIGCN的训练流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明实施例提供的一种基于图神经网络的包装缺陷检测方法，本方法依托包装流水线及分拣系统，参照图1，执行如下步骤S1-步骤S3，构建并训练基于图神经网络的香烟包装缺陷检测算法模型PDIGCN，并应用训练好的模型，完成卷烟包装流水线上成品件箱体中条烟的缺陷检测：

步骤S1：针对卷烟包装流水线，在条烟装箱之后成品件封箱之前的阶段设置检测点，使用工业相机俯拍成品件箱体内条烟图像，采集成品件香烟封箱前的条烟图像I；

步骤S2：构建基于图神经网络的香烟包装缺陷检测算法模型PDIGCN，用于检测条烟图像I中各条烟的缺陷，该模型包括目标检测算法模块、图分类模块，以步骤S1所采集的条烟图像I为输入，目标检测算法模块识别条烟图像I中的各条烟端面目标，图分类模块进一步推理各条烟端面目标中是否存在缺陷，并对缺陷进行分类，输出检测结果P，其中检测结果P包括正常、数量不够、品牌杂糅、端面翻转、条烟上下端面倒置中的一个或多个；

香烟包装缺陷检测算法模型PDIGCN的基本框架参照图2，执行如下步骤S201对条烟图像I进行预处理，目标检测算法模块执行如下步骤S202识别条烟端面目标，图分类模块执行如下步骤S203-步骤S205推理成品件箱体中条烟是否存在缺陷，并对缺陷进行分类，输出检测结果P：

步骤S201：根据目标检测模块对输入图像分辨率的要求，对条烟图像I进行裁剪和降采样，获得条烟图像I

步骤S202：目标检测算法模块基于目标检测算法检测条烟图像I

步骤S203：参照图5，构建构图模块BG，输入目标结果张量TO，输出图G＝及其邻接矩阵A；构图模块BG的功能是解析目标检测算法的目标结果张量TO，构建图结构。

所构建的构图模块BG输入目标结果张量TO，获得图G＝及其邻接矩阵A的具体步骤如下：

步骤2031：从目标结果张量TO分解出条烟端面目标的信息，包括：检测框中心点坐标(x

步骤2032：根据分解出的条烟端面目标信息，构建图G的顶点集V＝{v

步骤2033：分别计算所有检测框中心点横坐标最小值x

步骤2034：构建每个顶点v

|x

|y

式中，x

步骤2035：构建图G的边集

步骤2036：由图G＝生成邻接矩阵A＝{a

步骤S204：参照图6，构建图表示模块GP，输入图G和邻接矩阵A，输出图表示张量H

构建图表示模块GP，输入图G和邻接矩阵A，输出图表示张量H

步骤S2041：由邻接矩阵A计算正则化邻接矩阵

步骤S2042：由图G计算图特性矩阵X；具体计算方法是：确定图特性矩阵X的维度，行数等于图G的顶点个数nv，列数等于条烟端面目标检测框的分类向量C

步骤S2043：使用图卷积层GL1处理图G的图特性矩阵X和正则化邻接矩阵

H

式中，Θ

步骤S2044：使用图卷积层GL2处理矩阵H

式中，Θ

步骤S205：参照图7，构建图分类模块GC，输入图表示张量H

构建图分类模块GC，输入图表示张量H

步骤S2051：规范化图表示矩阵H

步骤S2052：输入列向量H

步骤S2053：产生包装缺陷的检测结果P：使用全连接层FC3将全连接层FC2的10个特征转换为5个，然后使用Sigmoid激活函数输出检测结果P。

参照图8，对香烟包装缺陷检测算法模型PDIGCN进行训练，直至达到预设的收敛条件，获得训练好的香烟包装缺陷检测算法模型PDIGCN；

步骤S2中对香烟包装缺陷检测算法模型PDIGCN进行训练的步骤如下：

步骤S211：构建条烟图像数据集：为保证正负样本的相对均衡，设置正常条烟图像样本和各种类缺陷条烟图像样本(数量不够、品牌杂糅、端面翻转、条烟上下端面倒置等)，内含同品牌不同系列的各类条烟，俯拍成品件封箱前图像，共计10000张，其中，正常条烟图像样本和各种类缺陷条烟图像样本数量相同，在缺陷样本中，各种类缺陷条烟图像样本数量也相同。其次，使用开源图像标注工具(例如，LabelImg)为条烟图像数据集每幅条烟图像上标注一类标签，一类标签是条烟端面目标分类的集合，包括品牌类别和上下端面类别和方向的组合；为条烟图像数据集每幅条烟图像分配二类标签，二类标签是指整幅条烟图像的缺陷分类；根据样本实际，一幅图像可以标注多种分类；

步骤S212：将条烟图像数据集打乱，按8:1:1的比例划分为训练集、测试集和验证集；

步骤S213：使用一类标签监督训练香烟包装缺陷检测算法模型PDIGCN的目标检测算法模块，验证测试后保存最优参数文件；

本步骤是在步骤S211所述数据集上训练目标检测算法模块，实施例中选用yolov5目标检测网络的精简版本，首先修改数据配置文件，结合自建数据，将分类数修改为40类，类别名设置为品牌名、上下端面和端面方向的组合式。然后，修改模型配置文件，主要将分类数修改为40，锚框不做修改。最后，以公开的yolov5s参数文件为初始参数，在自建数据集上训练并测试，保存最优参数文件；

步骤S214：加载目标检测模块的参数并冻结，使用二类标签监督训练香烟包装缺陷检测算法模型PDIGCN的图分类模块，验证测试后保存整个香烟包装缺陷检测算法模型PDIGCN的最优参数文件；

实施例中，将训练后的yolov5s参数文件加载到香烟包装缺陷检测算法模型PDIGCN的目标检测模块并冻结，随机初始化香烟包装缺陷检测算法模型PDIGCN的其他模块的参数，然后使用所述数据集的二类标签监督训练，损失函数选用交叉熵。

步骤S3：应用训练好的香烟包装缺陷检测算法模型PDIGCN，对卷烟包装流水线上成品件箱体中的条烟进行缺陷检测，存储并显示检测结果P，同时向分拣系统发送命令，存储检测结果P供信息系统查询，显示在液晶屏上用于人机交互；而向分拣系统发送的命令仅包含正常和异常。

为了验证本发明基于图神经网络的缺陷检测方法的有效性，还与将整个箱体作为目标检测对象的分类网络进行了实验对比。本发明所公开的方法在准确率、召回率和F值等指标上均显著优于后者方案。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。