一种布匹缺陷检测方法、系统、介质及计算机

技术领域

本发明涉及纺织缺陷检测技术领域，更具体地说，它涉及一种布匹缺陷检测方法、系统、介质及计算机。

背景技术

布匹缺陷检测是指在纺织品制造过程中，利用各种技术手段对布匹织物表面的缺陷进行检测和识别的过程。这些缺陷可能包括但不限于断裂、污渍、拉伤、破洞、色差等。布匹缺陷检测的目的是在生产过程中及早发现并定位这些瑕疵，以确保最终生产出的纺织品达到预期的质量标准。

传统的布匹缺陷检测方法包含人工目视检测，这种方法存在许多缺点，受到人的主观判断和疲劳程度的影响，效率低、成本高、难以应对大规模生产。随着计算机视觉、图像处理和深度学习等技术的不断发展，现代布匹缺陷检测得以实现更高水平的自动化和准确性。现有的检测方法在速度和精度方面不够理想，并且缺陷通常具有多样的尺寸和不同的形状，难以应用在实际工业布匹生产中。因此，开发一种更快速、精准的检测算法对于布匹图像缺陷检测具有重要意义。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种布匹缺陷检测方法、系统、介质及计算机，以克服现有的技术中存在的人工检测布匹缺陷存在的主观性影响大、效率低下、容易漏检的缺点。

本发明的上述技术目的是通过以下技术方案得以实现的：一种布匹缺陷检测方法，包括：

S1、获取若干用于训练的第一布匹图像；将若干所述第一布匹图像输入到预先设立的第一缺陷检测模型中进行训练，得到训练后的第二缺陷检测模型；

S2、获取待预测的第二布匹图像；将第二布匹图像输入到第二缺陷检测模型中进行预测，得到包含有若干第一目标框的第一预测图、包含有第二目标框的第二预测图以及包含有第三目标框的第三预测图；

S3、将所述第一预测图、第二预测图以及第三预测图在通道维度上进行拼接，得到第四预测图；对第四预测图所包含的第一目标框、第二目标框以及第三目标框进行非极大值抑制，得到至少一个第四目标框；

S4、对所述第四目标框进行后处理，得到框选有布匹缺陷的第五目标框。

可选的，所述获取待预测的第二布匹图像；将第二布匹图像输入到第二缺陷检测模型中进行预测，得到包含有若干第一目标框的第一预测图、包含有第二目标框的第二预测图以及包含有第三目标框的第三预测图，包括：

将所述第二布匹图像输入到第二缺陷检测模型的主干网络中进行处理，得到第一特征图A

将所述第一特征图A

将所述第三特征图A

将所述第六特征图B

将所述第六特征图B

可选的，所述获取待预测的第二布匹图像，包括：获取尺度为n×h×w的RGB第二布匹图像，其中，n为第二布匹图像的通道数，h为第二布匹图像的图像高度，w为第二布匹图像的图像宽度；

所述将所述第二布匹图像输入到第二缺陷检测模型的主干网络中进行处理，得到第一特征图A

所述将所述第一特征图A

所述将所述第三特征图A

所述将所述第六特征图B

所述将所述第六特征图B

可选的，所述将所述第二布匹图像输入到第二缺陷检测模型的主干网络中进行处理，得到第一特征图A

控制尺度为n×h×w的RGB第二布匹图像依次经过第一卷积层、第二卷积层、第一C3层、第三卷积层以及第二C3层后，得到尺度为

控制尺度为

控制尺度为尺度为

可选的，所述将所述第三特征图A

将所述第四特征图A

控制所述第三特征图A

控制所述第六特征图B

控制所述第三特征图A

控制所述第七特征图B

可选的，所述将所述第一特征图A

对所述第一特征图A

对所述水平特征图进行编码，得到水平注意力图；对垂直特征图进行编码，得到垂直注意力图；

将所述水平注意力图、垂直注意力图以及第一特征图进行相乘，得到第四特征图A

可选的，所述对所述第四目标框进行后处理，得到框选有布匹缺陷的第五目标框，包括：

获取第二布匹图像与第四预测图的尺度比例，根据所述尺度比例，对所述第四预测图上的第四目标框对应的第一坐标(x

对所述第二坐标(x

一种布匹缺陷检测方系统，包括：

模型训练模块：用于获取若干用于训练的第一布匹图像；将若干所述第一布匹图像输入到预先设立的第一缺陷检测模型中进行训练，得到训练后的第二缺陷检测模型；

缺陷检测模块：用于获取待预测的第二布匹图像；将第二布匹图像输入到第二缺陷检测模型中进行预测，得到包含有若干第一目标框的第一预测图、包含有第二目标框的第二预测图以及包含有第三目标框的第三预测图；

目标框消除模块：用于将所述第一预测图、第二预测图以及第三预测图在通道维度上进行拼接，得到第四预测图；对第四预测图所包含的第一目标框、第二目标框以及第三目标框进行非极大值抑制，得到至少一个第四目标框；

目标框变换模块：用于对所述第四目标框进行后处理，得到框选有布匹缺陷的第五目标框。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

综上所述，本发明具有以下有益效果：本申请提供了一种基于深度学习的布匹图像缺陷检测方法，通过引入多尺度注意力机制和协调注意力机制有效捕捉布匹图像缺陷目标的细节特征，提升检测的准确性和鲁棒性。方法具有快速、轻量化和准确性的优势，适用于疵布检测的实时应用和各类场景。在工业的缺陷检测领域中具有广泛的应用前景。

附图说明

图1为本发明的一种布匹缺陷检测方法流程图；

图2为本发明的一种布匹缺陷检测系统结构图；

图3为本发明实施例中计算机设备的内部结构图；

图4为实施方式中检测网络整体架构示意图。

图5为实施方式中图1中协调注意力机制网络架构示意图。

图6为实施方式中图1中多尺度注意力机制网络架构示意图。

图中：1、模型训练模块；2、缺陷检测模块；3、目标框消除模块；4、目标框变换模块。

具体实施方式

为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。术语“垂直的”、“水平的”、“左”、“右”、“上”、“下”以及类似的表述只是为了说明的目的，而不是指示或暗示所指装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

下面结合附图和实施例，对本发明进行详细描述。

本发明提供了一种布匹缺陷检测方法,如图1所示，包括：

S1、获取若干用于训练的第一布匹图像；将若干所述第一布匹图像输入到预先设立的第一缺陷检测模型中进行训练，得到训练后的第二缺陷检测模型；

S2、获取待预测的第二布匹图像；将第二布匹图像输入到第二缺陷检测模型中进行预测，得到包含有若干第一目标框的第一预测图、包含有第二目标框的第二预测图以及包含有第三目标框的第三预测图；

S3、将所述第一预测图、第二预测图以及第三预测图在通道维度上进行拼接，得到第四预测图；对第四预测图所包含的第一目标框、第二目标框以及第三目标框进行非极大值抑制，得到至少一个第四目标框；

S4、对所述第四目标框进行后处理，得到框选有布匹缺陷的第五目标框。

在实际应用中，针对布匹图像缺陷检测算法存在着速度慢、精度低和鲁棒性差等问题，本发明提供了一种基于深度学习的布匹图像缺陷检测方法。采用了多尺度注意力机制和协调注意力机制，结合yolov5算法，提高了检测精度和速度，有望在布匹图像检测领域得到广泛应用。

其中，获取若干用于训练的第一布匹图像；将若干所述第一布匹图像输入到预先设立的第一缺陷检测模型中进行训练，得到训练后的第二缺陷检测模型，包括：第一缺陷检测模型所使用的损失函数和原始yolov8中的损失函数一致，通过设置网络训练参数：学习率lr、batchsize、训练集验证集划分、优化器和训练周期，学习率逐渐增加到lr1，进而使模型能够学习到训练样本中所包含的内在逻辑。

使用训练好的网络进行预测，输入测试图像，输出布匹图像预测目标框。首先将待测图片输入到网络中，图像尺寸大小为n×h×w，经过网络推理，得到输出。输出的特征图尺寸为

具体来说，由于本申请所采用的技术方案，是在不同的尺度上对照片进行缺陷检测，且输出不同尺寸的检测结果，因此很可能会存在多个目标框框选中一个缺陷的情况，为了避免缺陷框重复框选同一个缺陷，需要计算缺陷框之间的交并比(iou)，剔除掉IOU大于预设的IOU阈值的目标框，仅保留一个置信度最大的目标框，以保证每一个缺陷仅用一个置信度最大的目标框进行框选。

在步骤S3中，对第四预测图所包含的第一目标框、第二目标框以及第三目标框进行非极大值抑制，得到至少一个第四目标框，具体来说，对目标框进行非极大值抑制，既可以得到置信度大于阈值的目标框，也可以没有获取到目标框，在没有获取到目标框的情况下，则说明布匹上没有缺陷，这个目标框的获取可以通过设置置信度的阈值来决定。在本申请中，其目的就是获取布匹上的目标框，也就是预先假定了布匹图像上存在缺陷。因此一定会获取至少一第四目标框，同样的，如果输入不包括缺陷的布匹照片，本领域技术人员可以理解的，则不会获得第四目标框。

进一步的，如图4所示，所述获取待预测的第二布匹图像；将第二布匹图像输入到第二缺陷检测模型中进行预测，得到包含有若干第一目标框的第一预测图、包含有第二目标框的第二预测图以及包含有第三目标框的第三预测图，包括：

将所述第二布匹图像输入到第二缺陷检测模型的主干网络中进行处理，得到第一特征图A

将所述第一特征图A

将所述第三特征图A

将所述第六特征图B

将所述第六特征图B

进一步的，所述获取待预测的第二布匹图像，包括：获取尺度为n×h×w的RGB第二布匹图像，其中，n为第二布匹图像的通道数，h为第二布匹图像的图像高度，w为第二布匹图像的图像宽度；

所述将所述第二布匹图像输入到第二缺陷检测模型的主干网络中进行处理，得到第一特征图A

所述将所述第一特征图A

所述将所述第三特征图A

所述将所述第六特征图B

所述将所述第六特征图B

进一步的，所述将所述第二布匹图像输入到第二缺陷检测模型的主干网络中进行处理，得到第一特征图A

控制尺度为n×h×w的RGB第二布匹图像依次经过第一卷积层、第二卷积层、第一C3层、第三卷积层以及第二C3层后，得到尺度为

控制尺度为

控制尺度为尺度为

进一步的，所述将所述第三特征图A

将所述第四特征图A

控制所述第三特征图A

控制所述第六特征图B

控制所述第三特征图A

控制所述第七特征图B

在实际应用中，使用尺寸为n×h×w的RGB布匹图像(n为通道数，h为图像高度，w为图像宽度)作为网络模型主干部分的输入，分别通过卷积层、C3层和SPPF层，输出了三个不同尺度的特征图第一特征图A

在颈部特征提取网络模型中，将在主干特征提取网络得到的第三特征图A

最后，在头部预测网络中设计了三个不同尺度的检测层，尺度大小分别为

对所述第一特征图A

对所述水平特征图进行编码，得到水平注意力图；对垂直特征图进行编码，得到垂直注意力图；

将所述水平注意力图、垂直注意力图以及第一特征图进行相乘，得到第四特征图A

在实际应用中，协调注意力机制如图5所示，这一机制通过将位置信息融入通道注意力，使得移动网络能够获取更广泛的区域信息，同时避免引入过多的计算开销，达到一个轻量化的效果。具体操作如下：首先，使用两个一维全局池化操作，将垂直和水平方向上的特征分别聚合为两个独立的特征图，每个特征图都感知特定方向。将这两个具有嵌入方向信息的特征图分别编码为两个注意力图。每个注意力图都沿着一个空间方向捕捉输入特征图的远距离依赖关系，从而将位置信息保存在生成的注意力图中。最后，通过将这两个注意力图与输入特征图相乘，强调注意力区域的表示。假设输入为x∈R

第n个通道在高度为h处的输出为：

第c个通道在宽度为w处的输出为：

为利用一个全局的接受域和编码精确的位置信息，使用了第二种转换。它可以充分利用所捕获的位置信息，以便能够准确地突出显示感兴趣的区域，也能够有效地捕获通道间的关系。就是将上述得到的两个输出连接起来然后将它们发送到一个共享的1×1卷积变换函数Y

y＝σ(Y

其中，[·,·]表示沿空间维度的串联操作，σ(·)为非线性激活函数，

q

q

然后将输出的q

在本实施例中，多尺度注意力机制如图6所示，其目标是构建更高效和可扩展的体系结构，是一个轻量化，有效的特征提取结构。一个输入特征X随着通道维度被分割成N个部分，对于每一个分割部分，具有公共通道的C

假设原始输入为D，根据原始特征D∈R

上式中，X和D的转置之间进行矩阵乘法，并且将他们的结果重塑为R

在空间注意力机制中，将一个由D∈R

接下来，将特征D输入到卷积层，生成一个新的特征图G∈R

最后将空间注意力和通道注意力机制在通道维度上进行拼接，最终得到输出：

Out＝Concat(P

其中，Concat(·)表示通道拼接函数。

进一步的，所述对所述第四目标框进行后处理，得到框选有布匹缺陷的第五目标框，包括：

获取第二布匹图像与第四预测图的尺度比例，根据所述尺度比例，对所述第四预测图上的第四目标框对应的第一坐标(x

对所述第二坐标(x

在实际应用中，根据第三坐标，在第二布匹图像上绘制用于框选缺陷的边界框，使人们能够知晓缺陷所在的位置。

如图2所示，本发明还提供了一种布匹缺陷检测系统，包括：

模型训练模块：用于获取若干用于训练的第一布匹图像；将若干所述第一布匹图像输入到预先设立的第一缺陷检测模型中进行训练，得到训练后的第二缺陷检测模型；

缺陷检测模块：用于获取待预测的第二布匹图像；将第二布匹图像输入到第二缺陷检测模型中进行预测，得到包含有若干第一目标框的第一预测图、包含有第二目标框的第二预测图以及包含有第三目标框的第三预测图；

目标框消除模块：用于将所述第一预测图、第二预测图以及第三预测图在通道维度上进行拼接，得到第四预测图；对第四预测图所包含的第一目标框、第二目标框以及第三目标框进行非极大值抑制，得到至少一个第四目标框；

目标框变换模块：用于对所述第四目标框进行后处理，得到框选有布匹缺陷的第五目标框。

关于一种布匹缺陷检测系统的具体限定可以参见上文中对于一种布匹缺陷检测方法的限定，在此不再赘述。上述一种布匹缺陷检测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种布匹缺陷检测方法。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：包括：

S1、获取若干用于训练的第一布匹图像；将若干所述第一布匹图像输入到预先设立的第一缺陷检测模型中进行训练，得到训练后的第二缺陷检测模型；

S2、获取待预测的第二布匹图像；将第二布匹图像输入到第二缺陷检测模型中进行预测，得到包含有若干第一目标框的第一预测图、包含有第二目标框的第二预测图以及包含有第三目标框的第三预测图；

S3、将所述第一预测图、第二预测图以及第三预测图在通道维度上进行拼接，得到第四预测图；对第四预测图所包含的第一目标框、第二目标框以及第三目标框进行非极大值抑制，得到至少一个第四目标框；

S4、对所述第四目标框进行后处理，得到框选有布匹缺陷的第五目标框。

在一个实施例中，所述获取待预测的第二布匹图像；将第二布匹图像输入到第二缺陷检测模型中进行预测，得到包含有若干第一目标框的第一预测图、包含有第二目标框的第二预测图以及包含有第三目标框的第三预测图，包括：

将所述第二布匹图像输入到第二缺陷检测模型的主干网络中进行处理，得到第一特征图A

将所述第一特征图A

将所述第三特征图A

将所述第六特征图B

将所述第六特征图B

在一个实施例中，所述获取待预测的第二布匹图像，包括：获取尺度为n×h×w的RGB第二布匹图像，其中，n为第二布匹图像的通道数，h为第二布匹图像的图像高度，w为第二布匹图像的图像宽度；

所述将所述第二布匹图像输入到第二缺陷检测模型的主干网络中进行处理，得到第一特征图A

所述将所述第一特征图A

所述将所述第三特征图A

所述将所述第六特征图B

所述将所述第六特征图B

在一个实施例中，所述将所述第二布匹图像输入到第二缺陷检测模型的主干网络中进行处理，得到第一特征图A

控制尺度为n×h×w的RGB第二布匹图像依次经过第一卷积层、第二卷积层、第一C3层、第三卷积层以及第二C3层后，得到尺度为

控制尺度为

控制尺度为尺度为

在一个实施例中，所述将所述第三特征图A

将所述第四特征图A

控制所述第三特征图A

控制所述第六特征图B

控制所述第三特征图A

控制所述第七特征图B

在一个实施例中，所述将所述第一特征图A

对所述第一特征图A

对所述水平特征图进行编码，得到水平注意力图；对垂直特征图进行编码，得到垂直注意力图；

将所述水平注意力图、垂直注意力图以及第一特征图进行相乘，得到第四特征图A

在一个实施例中，所述对所述第四目标框进行后处理，得到框选有布匹缺陷的第五目标框，包括：

获取第二布匹图像与第四预测图的尺度比例，根据所述尺度比例，对所述第四预测图上的第四目标框对应的第一坐标(x

对所述第二坐标(x

实施例2

构建如图4、5、6所示网络模型，所述深度学习网络模型包含主干、颈部特征提取网络和多尺度注意力机制、协调注意力机制和头部预测网络结构。

使用尺寸为3×640×640的RGB图像作为网络模型主干部分的输入，分别通过卷积层、C3层和SPPF层，输出了三个不同尺度的特征图A

在颈部特征提取网络模型中，我们将在主干特征提取网络得到的A

最后，我们在头部预测网络中设计了三个不同尺度的检测层，尺度大小分别为80×80、40×40以及20×20，实现对不同大小的缺陷进行精确的检测，提高系统的鲁棒性。

使用训练好的网络进行预测，输入测试图像，输出布匹图像预测目标框。首先将待测图片img输入到网络中，图像尺寸大小为3×640×640，经过网络推理，得到输出。输出的特征图尺寸为80×80、40×40以及20×20。将分类和回归预测结果从不同尺度的特征图中提取出来，通过卷积层对每个特征图进行处理，然后将它们的输出在通道的维度上拼接在一起。最后，对拼接后的输出进行维度变换，使得模型能够同时处理不同任务，并更好地捕获输入图像的多层次表示。然后从高到低逐一计算同一个目标在其他不同尺度特征图预测的IOU大小，剔除IOU大于某个阈值(iou)的预测，这确保了在最终的输出结果中，每个物体只被一个置信度最高的框所代表，避免了冗余的检测框。随后，根据前面的预处理过程，将剩余的检测框还原到网络输出之前的原始图像尺度，获得最终的目标检测结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。