编织物的缺陷检测方法、装置、设备及存储介质

技术领域

本申请涉及质量检测技术领域，具体涉及一种编织物的缺陷检测方法、装置、设备及存储介质。

背景技术

目前，有很多数据线的外层为编织材料，例如耳机线或者通用串行总线（USB，Universal Serial Bus）等。为了判断此类数据线的外层的密度是否合格，目前大部分都是基于人工进行筛查，费时费力。而且数据线越细，肉眼对于密度的判断不够精确。

发明内容

有鉴于此，本申请提供一种编织物的缺陷检测方法、装置、设备及存储介质，能够自动识别编织物的密度，判断是否符合要求。

本申请提供一种编织物的缺陷检测方法，包括：

获得编织物的图像；编织物包括多股编织线；

获得图像中编织物的中心线方程和图像中多股编织线形成的交叉点的坐标；

根据交叉点的坐标，统计与中心线方程的距离小于设定阈值的中心交叉点的数量；

根据中心交叉点的数量与预设区间的比较结果来判断编织物是否存在缺陷。

本申请还提供一种编织物的缺陷检测装置，包括：

图像获得模块，用于获得编织物的图像；编织物包括多股编织线；

交叉点获得模块，用于获得图像中编织物的中心线方程和图像中多股编织线形成的交叉点的坐标；

中心交叉点数量获得模块，用于根据交叉点的坐标，统计与中心线方程的距离小于设定阈值的中心交叉点的数量；

判断模块，用于根据中心交叉点的数量与预设区间的比较结果来判断编织物是否存在缺陷。

本申请还提供一种计算机设备，计算机设备包括处理器和存储器，存储器中存储有计算机程序指令，处理器执行计算机程序指令时实现如以上介绍的方法中的步骤。

本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被处理器执行时实现如以上介绍的方法中的步骤。

由此可见，本申请具有如下有益效果：

本申请提供的编织物的缺陷检测方法，先获得编织物图像中多股编织线交叉形成的交叉点和图像中编织物的中心线方程，筛选出满足中心线方程的中心交叉点，统计满足要求的中心交叉点的数量，从而反应编织物的密度，判断编织物的密度是否过疏或过密，来判断编织物是否存在缺陷。该方法可以自动实现对于编织物密度的检测，进而判断编织物是否存在缺陷，并且检测结果精确，因为图像可以放大或缩小，仅影响像素，不影响交叉点的数量，该方案可以避免人工检测的费时费力。

附图说明

图1A为本申请实施例提供的一种编织数据线的图像示意图；

图1B为本申请实施例提供的一种编织物的缺陷检测方法的场景示意图；

图2为本申请实施例提供的一种编织物的缺陷检测方法的流程图；

图3为本申请实施例提供的一种编织物的缺陷检测的示意图；

图4为本申请实施例提供的一种编织物的缺陷检测装置的示意图；

图5本申请实施例提供的一种计算机设备的结构示意图；

图6为本申请实施例提供的另一种计算机设备的结构示意图；

图7为本申请实施例提供的一种计算机可读存储介质的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了使本领域技术人员更好地理解和实施本申请实施例提供的技术方案，下面先结合附图介绍该技术方案的应用场景。

参见图1A，该图为一种编织数据线的图像示意图。

目前，很多数据线的外层为编织材料，编织材料的数据线耐磨性更高，外部抗拉能力增强，回弹性较好，不容易缠结或出现折痕，而且可以增加数据线的美感，可以任意设置编织数据线的颜色。

在编织数据线出厂之前，需要对其进行质量检验，其中一项为检测编织数据线的密度是否达标，如果编织线的密度过疏或者过密，都认为编织数据线存在缺陷。

但是，目前除了人工并没有自动实现编织数据线的密度检测的方式。

因此，本申请为了实现自动检测编织数据线的密度，提供了一种技术方案，通过图像中编织数据线的交叉点的数量来判断密度是否合格。

应该理解，本申请实施例提供的技术方案不仅适用于编织数据线，可以适用于其他编织物，只要是多股编织线编织在一起的都可以来判断其密度，本申请实施例不具体限定编织物的具体形式，也不具体限定编织物的形状，只要可以截取其中一定长度内的图像，可以显示多股编织线交叉在一起即可。

为了方便理解，下面实施例中以编织数据线为例进行介绍。该技术方案可以应用于编织数据线生产制程自动光学检查（AOI，Automated Optical Inspection）。为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

本申请实施例提供的编织物的缺陷检测方法，可以应用于如图1B所示的应用环境中。其中，终端102通过通信网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

参见图2，该图为本申请实施例提供的一种编织物的缺陷检测方法的流程图，以该方法应用于图1B中的终端102或服务器104为例进行说明。可以理解的是，计算机设备可以包括终端和服务器中的至少一种。该方法包括：

S201：获得编织物的图像；编织物包括多股编织线。

本申请实施例不具体限定获得编织物的长度，只要可以表征编织物的密度即可，图像可以获取编织物的一段长度，即仅拍摄一段长度的编织物的图像，例如编织数据线，从长度方向上来获取，将编织数据线平放，且尽量是直线，不要弯曲。

图像坐标系一般为图像的左上角为坐标原点。

由于图像可以放大或缩小，无论编织物的大小，图像均可以实现清楚反应多股编织线。

S202：获得图像中编织物的中心线方程和图像中多股编织线形成的交叉点的坐标。

图像放大或缩小不影响交叉点的数量，因此，该方案相对于人工检测要更加精确。

编织物的中心线方程即图像中编织物作为一条直线的方程表达式，具体可以取图像中编织物的中心线的方程表达式。

具体地，可以将待检测图像输入深度学习模型进行处理，通过分割算法检测多股编织线形成的交叉点。从图像中分割交叉点的算法有很多，在此不再赘述。

交叉点在图像中的体现为孔，即从图像中分割出多股编织线交叉形成的所有孔。孔的像素与编织线的像素不同。

应该理解，首先获得图像中所有的交叉点，然后从交叉点中挑选位于中心线所在的直线上的交叉点，即能体现编织线密度的交叉点。

S203：根据交叉点的坐标，统计与中心线方程的距离小于设定阈值的中心交叉点的数量。

应该理解，交叉点与中心线方程的距离是指交叉点与中心线方程的垂直距离，即点与直线之间的最短距离。

与中心线方程的距离大于等于设定阈值的交叉点不表征编织物的密度，因此这些点应该被剔除，不统计在内。

设定阈值为可以允许的误差范围，可以根据实际编织物的粗细以及每股编织线的粗细等参数来设定，不做具体限制。即在中心线方程上或下一定范围内的交叉点默认满足该中心线方程的表达式。

S204：根据中心交叉点的数量与预设区间的比较结果来判断编织物是否存在缺陷。例如，可以判断编织物的密度是否存在缺陷。

预设区间可以设置一个数值区间范围，即包括最大值和最小值，当中心交叉点的数量大于预设区间的最大值时，说明编织物的密度过密；当中心交叉点的数量小于预设区间的最小值时，说明编织物的密度过疏。即密度过大或过小都不满足要求，均属于产品存在缺陷。

当编织物存在缺陷时可以及时反馈给生产线，及时调整设备参数，使再生产的编织物的密度满足要求。

本申请实施例提供的编织物的缺陷检测方法，先获得编织物图像中多股编织线交叉形成的交叉点和图像中编织物的中心线方程，筛选出满足中心线方程的交叉点，统计满足要求的交叉点的数量，从而反应编织物的密度，判断编织物的密度是否过疏或过密，来判断编织物是否存在缺陷。该方法可以自动实现对于编织物密度的检测，进而判断编织物是否存在缺陷，并且检测结果精确，因为图像可以放大或缩小，仅影响像素，不影响交叉点的数量。

下面以编织物为编织数据线为例进行介绍，编织数据线为长条形。

参见图3，该图为本申请实施例提供的一种编织物的缺陷检测的示意图。

图像中编织物的背景为黑色，从像素上可以获得编织物的上边缘和下边缘，因为编织物的边缘部分与背景之间出现了像素突变。

从图3可以看出，图像中编织物的上边缘的直线和下边缘的直线均可以获得其表达式。

获得图像中编织物的中心线方程，具体包括：通过边缘检测算法获得图像中编织物的上边缘的第一直线方程y1=k1x+b1和下边缘的第二直线方程y2=k2x+b2。

根据第一直线方程y1=k1x+b1和第二直线方程y2=k2x+b2，获得位于上边缘和下边缘中心的中心线方程y=kx+b。

其中，k=(k1+k2)/2，b=(b1+b2)/2。

由于图像的坐标以图像的左上角为原点，为了防止图像左边缘残缺的交叉点被统计在内，从图像左端到图像右端依次统计。

根据交叉点的坐标，统计与中心线方程的距离小于设定阈值的中心交叉点的数量，具体包括：根据交叉点的坐标，剔除距离图像左侧边缘预设距离内的交叉点，从剔除后的交叉点中统计与中心线方程的距离小于设定阈值的中心交叉点的数量。

应该理解，交叉点的坐标均是以交叉点对应的孔的质心的坐标来表示。

例如，设定阈值用像素表示可以取值为30，即设定在图像左侧交叉点的质心的x轴坐标小于30像素的交叉点不计入在内。

由于仅由第一直线方程和第二直线方程获得中心线方程可能使k和b不够精确，因此，为了获得更为精确的中心线方程的表达式，可以不断利用统计的中心交叉点的坐标来修正中心线方程。

下面介绍修正中心线方程的具体实现方式。

先介绍修正中心线方程中的常数b。

利用统计的中心交叉点的坐标来修正中心线方程，具体包括：利用满足中心线方程的第一个中心交叉点的坐标修正中心线方程中的常数，第一个中心交叉点为满足中心线方程的左侧第一个中心交叉点。

即，将第一个中心交叉点的坐标（x1,y1）带入中心线方程，获得修正后的b1，系数k先保持不变。

由于坐标原点在图像的左上角，因此，从左侧开始，向右侧遍历筛选出中心交叉点。

从满足中心线方程的第二个中心交叉点开始，利用所有中心交叉点的坐标不断修正中心线方程中的系数和常数；利用修正后的中心线方程来获得下一个与修正后的中心线方程距离小于设定阈值的中心交叉点。

以新的中心方程为基准再去找第二个符合条件的中心交叉点(x2，y2）此时找到的中心交叉点的数量为2，再根据这两个中心交叉点的坐标[(x1，y1)，(x2，y2)]结合最小二乘法公式去继续修正中心线方程y=kx+b1，得到修正后的中心线方程。

利用所有中心交叉点的坐标不断修正中心线方程中的系数和常数，具体包括：利用所有中心交叉点的坐标，通过最小二乘法不断修正中心线方程中的系数和常数。

下面结合公式具体介绍最小二乘法修正中心线方程中的k和b的方式。

表示n个的/>

表示第i个中心交叉点的x轴坐标，/>

k

通过以下最小二乘法的公式可以根据所有中心交叉点的坐标来获得新的中心线方程的表达式，用修正后的中心线方程的表达式去筛选下一个中心交叉点。

基于本申请以上提供的不断修正中心线方程的方式，可以获得准确的中心线方程的表达式，避免将中心线上排或者下排的交叉点计入统计数量，这样可以准确统计位于中心线方程上的中心交叉点，进而统计正确的数目，更加准确地表征编织物的密度。

另外，本申请实施例提供的方法，统计完所有中心交叉点以后，还可以将统计的所有中心交叉点在编织物的图像上进行标记，即进行图像渲染，在图像上可以直观观测到中心交叉点，这样便于检测人员直观观测。同时还可以在图像上显示统计的中心交叉点的数量。

本申请以上实施例介绍的方法，均是以一定长度内来统计中心交叉点的数量，例如，工程实现时，可以统计20mm长度的中心交叉点的数量，例如20mm内24个中心交叉点说明编织数据线的密度合适，即1cm内12个中心交叉点，超过12个则认为密度过大，低于12个则认为密度过小，或者低于11个认为密度过小，可以将检测结果反馈给生产线，及时进行参数调整，使编织数据线的规格符合要求。

本申请实施例提供的方法，基于深度学习及最小二乘法的结合可以准确的检测出编织数据线中心一排的中心交叉点个数，进而得到编织线的密度是过疏或者过密或者合格，从而提高编织数据线的缺陷检测结果的准确性。

本申请实施例提供的方法的检测速度可以达到很快，对于显卡型号为3080，像素1920*600大小的图像，从相机采集图像直到得到中心交叉点数量的结果，耗时大概在15ms以内，可以应用于编织物出厂前的质量检测，即在生产流水线上，可以实现很快地流水式检测。

利用本申请实施例提供的编织物的缺陷检测方法，可以根据市场需求生产指定待检测编织物的密度，而不需要采集图片重新训练模型去判断新的编织物的密度是否存在缺陷，因此适用的灵活性更高。

应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种编织物的缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个编织物的缺陷检测装置实施例中的具体限定可以参见上文中对于编织物的缺陷检测方法的限定，在此不再赘述。

如图4所示，本申请实施例提供了一种编织物的缺陷检测装置，包括：

图像获得模块401，用于获得编织物的图像；编织物包括多股编织线；

交叉点获得模块402，用于获得图像中编织物的中心线方程和图像中多股编织线形成的交叉点的坐标。

中心交叉点数量获得模块403，用于根据交叉点的坐标，统计与中心线方程的距离小于设定阈值的中心交叉点的数量。

判断模块404，用于根据中心交叉点的数量与预设区间的比较结果来判断编织物的密度是否存在缺陷。

在一些实施例中，在获得图像中编织物的中心线方程方面，交叉点获得模块402具体用于：通过边缘检测算法获得图像中编织物的上边缘的第一直线方程和下边缘的第二直线方程；根据第一直线方程和第二直线方程，获得位于上边缘和下边缘中心的中心线方程。

在一些实施例中，在根据交叉点的坐标，统计与中心线方程的距离小于设定阈值的中心交叉点的数量方面，中心交叉点数量获得模块403具体用于：根据交叉点的坐标，剔除距离图像左侧边缘预设距离内的交叉点，从剔除后的交叉点中统计与中心线方程的距离小于设定阈值的中心交叉点的数量。

在一些实施例中，在利用所有中心交叉点的坐标不断修正中心线方程中的系数和常数方面，交叉点获得模块402具体用于：利用所有中心交叉点的坐标，通过最小二乘法不断修正中心线方程中的系数和常数。

本申请实施例提供的编织物的缺陷检测装置，还包括：修正模块，利用统计的中心交叉点的坐标来修正中心线方程。

在一些实施例中，在利用统计的中心交叉点的坐标来修正中心线方程方面，修正模块具体用于：利用满足中心线方程的第一个中心交叉点的坐标修正中心线方程中的常数，第一个中心交叉点为满足中心线方程的左侧第一个中心交叉点。

从满足中心线方程的第二个中心交叉点开始，利用所有中心交叉点的坐标不断修正中心线方程中的系数和常数。

利用修正后的中心线方程来获得下一个与修正后的中心线方程距离小于设定阈值的中心交叉点。

修正模块的作用是为了获得准确的中心线方程的表达式，避免将中心线上排或者下排的交叉点计入统计数量，这样可以准确统计位于中心线方程上的中心交叉点，进而统计正确的数目，更加准确地表征编织物的密度。

本申请实施例提供的编织物的缺陷检测装置，还包括：标记模块，用于将统计的所有中心交叉点在编织物的图像上进行标记。即进行图像渲染，在图像上可以直观观测到中心交叉点，这样便于检测人员直观观测。同时还可以在图像上显示统计的中心交叉点的数量。

上述编织物的缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）及通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储编织物的图像。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的编织物的缺陷检测方法中的步骤。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的编织物的缺陷检测方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5或图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，如图7所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（FerroelectricRandom Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（StaticRandom Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。