形变缺陷的检测方法及装置

技术领域

本发明涉及缺陷检测技术领域，具体涉及一种形变缺陷的检测方法及装置。

背景技术

传统缺陷检测技术如自动光学检测通过结合电子影像以及算法对电子影像判断输出缺陷的检测结果。

但是自动光学检测的检测覆盖范围较小，检测目标大多数只能是明显且标准易识别的缺陷，其余缺陷尤其是低对比度的形变缺陷，由于对比度低会导致缺陷特征不明显，而缺陷形变会导致缺陷难以确认识别，从而容易存在误检的问题，因此在现有技术中针对形变缺陷只能人工检测，且检测标准容易因人而异；另外，算法的可移植能力差，针对不同产品需要重新调试算法进行缺陷的检测，此外，自动光学检测设备的维护成本高，无法应对突发的新缺陷。

综上所述，现有技术中亟需一种提高低对比度形变缺陷检测准确率的方法。

发明内容

本发明提供一种形变缺陷的检测方法及装置，用以解决现有技术中对低对比度形变缺陷的检测准确率低的问题。

为了解决上述技术问题，本发明提供一种形变缺陷的检测方法，应用于工业缺陷检测，该方法包括：

获取具有形变缺陷图像的目标图片；

将所述目标图片输入预设的形变缺陷检测模型中；

通过所述形变缺陷检测模型输出所述形变缺陷图像在所述目标图片中的目标位置和/或所述形变缺陷图像对应的目标缺陷类型；

其中，所述目标位置及所述目标缺陷类型通过所述形变缺陷检测模型输出的预测框显示，所述目标缺陷类型为预设的至少一个缺陷类型中的一个，所述形变缺陷检测模型的损失函数包括形变约束，所述形变约束用于约束所述预测框的形变。

可选地，在所述将所述目标图片输入预设的形变缺陷检测模型中之前，还包括：

将样本图像输入至预设的深度学习模型中进行训练，其中，所述样本图像具有形变缺陷图像，所述样本图像中通过标注框标注有所述形变缺陷图像在所述样本图像中的位置以及所述形变缺陷图像对应的缺陷类型；

更新所述深度学习模型的权重，直至所述深度学习模型的损失函数输出最小值；

确定使得所述损失函数输出最小值的目标权重；

将所述目标权重对应的所述深度学习模型确定为形变缺陷检测模型。

可选地，所述将样本图像输入至预设的深度学习模型中进行训练，包括：

将样本图像输入复合主干网络，通过所述复合主干网络提取所述样本图像的图像特征；

将所述图像特征输入特征金字塔网络，通过所述特征金字塔网络提取所述图像特征不同尺度的特征表示；

将所述图像特征不同尺度的特征表示输入检测头部，通过所述检测头部输出的所述预测框输出所预测的所述形变缺陷图像在所述样本图像中的位置以及所述形变缺陷图像对应的缺陷类型。

可选地，在所述更新所述深度学习模型的权重，直至所述深度学习模型的损失函数输出最小值之前，还包括：

通过第一预设公式确定所述形变约束；

所述第一预设公式为：

其中，所述β为形变约束，所述w为所述预测框的第一宽度，所述h为所述预测框的第一高度，所述w

可选地，所述通过复合主干网络提取所述样本图像的图像特征，包括：

通过主骨干网络提取大于第一预设尺度的第一图像特征；

通过辅助骨干网络提取小于第二预设尺度的第二图像特征。

可选地，所述通过辅助骨干网络提取小于第二预设尺度的图像特征，包括：

通过至少一个ShuffleNet模块轻量化网络提取小于第二预设尺度的图像特征。

可选地，在所述通过辅助骨干网络提取小于第二预设尺度的图像特征之后，还包括：

通过增强感受野模块融合所述第一图像特征和所述第二图像特征，得到所述样本图像的图像特征。

可选地，在所述将样本图像输入所述复合主干网络之前，还包括：

针对所述复合主干网络的每个卷积层，融合卷积通道注意力增强机制。

可选地，在所述将所述目标图片输入预设的形变缺陷检测模型中之前，还包括：

通过直方图均衡化算法增强所述目标图片的对比度；

在所述将所述图像特征不同尺度的特征表示输入所述检测头部之前，还包括：

通过k-means算法更新所述检测头部的锚框，其中，所述预测框为所述锚框中的一者。

第二方面，本发明提供一种形变缺陷的检测装置，该装置包括：

获取模块，用于获取具有形变缺陷图像的目标图片；

输入模块，用于将所述目标图片输入预设的形变缺陷检测模型中；

输出模块，用于通过所述形变缺陷检测模型输出所述形变缺陷图像在所述目标图片中的目标位置和/或所述形变缺陷图像对应的目标缺陷类型；

其中，所述目标位置及所述目标缺陷类型通过所述形变缺陷检测模型输出的预测框显示，所述目标缺陷类型为预设的至少一个缺陷类型中的一个，所述形变缺陷检测模型的损失函数包括形变约束，所述形变约束用于约束所述预测框的形变。

与现有技术相比，本发明提供的一种形变缺陷的检测方法，具有以下有益效果：

通过在形变缺陷检测模型的损失函数中添加用于约束预测框形变的约束，可以在损失函数输出较小值时约束预测框的形变，可以理解缺陷图像的形变会导致用于预测缺陷图像的预测框的形变，而预测框的形变会导致预测框对形变缺陷图像的位置预测不准确，因此通过约束预测框的形变可以提高对低对比度形变缺陷的检测的准确性，从而解决现有技术中对低对比度形变缺陷的检测准确率低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一部分实施例，而不是全部的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，根据这些附图获得的其他的附图，都属于本申请保护的范围。

图1是本申请实施例提供的一种形变缺陷的检测方法的流程图；

图2是本申请实施例提供的另一种形变缺陷的检测方法的流程图；

图3是本申请实施例提供的又一种形变缺陷的检测方法的流程图；

图4是本申请实施例提供的又一种形变缺陷的检测方法的流程图；

图5是本申请实施例提供的又一种形变缺陷的检测方法的流程图；

图6是本申请实施例提供的形变缺陷检测模型的输出的一种缺陷检测结果图；

图7是本申请实施例提供的本申请实施例提供的形变缺陷检测模型的输出的又一种缺陷检测结果图；

图8是本申请实施例提供的一种形变缺陷的检测装置的结构示意图；

图9是本申请实施例提供的一种形变缺陷的检测设备的结构示意图；

图10是本申请实施例提供的一种计算机可读存储介质的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

在本发明实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个，其它量词与之类似应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

实施例1

如图1所述，为本发明实施例提供的一种形变缺陷的检测方法的流程图，包括以下步骤。

步骤S102，获取具有形变缺陷图像的目标图片。

具体地，目标图片所具有的形变缺陷图像可以是发生形变的缺陷。

进一步具体地，获取目标图片的方式可以是任意能够获取图片的方式，例如，可以对缺陷处进行拍照，获取目标图片，也可以对缺陷处进行摄影获取视频，通过对视频帧的截取获取目标图片。作为一个具体的示例，可以通过工业摄像机拍摄目标图片。

步骤S103，将所述目标图片输入预设的形变缺陷检测模型中。

需要说明地是，本步骤中预设的形变缺陷检测模型可以是任意能够用于缺陷检测的算法模型，例如，该形变缺陷检测模型可以是用于目标检测的YOLO系列的深度学习模型，也可以是用于目标检测的基于区域的卷积神经网络(Region-based ConvolutionalNetwork，RCNN)系列的深度学习模型。

可选地，在将目标图片输入预设的形变缺陷检测模型中之前，可以对目标图片进行预处理，例如，可以对目标图片进行归一化处理，还可以对目标图片的尺寸进行调整，以使得目标图片的尺寸适合形变缺陷检测模型进行处理。

步骤S104，通过所述形变缺陷检测模型输出所述形变缺陷图像在所述目标图片中的目标位置和/或所述形变缺陷图像对应的目标缺陷类型。

其中，所述目标位置及所述目标缺陷类型通过所述形变缺陷检测模型输出的预测框显示，所述目标缺陷类型为预设的至少一个缺陷类型中的一个，所述形变缺陷检测模型的损失函数包括形变约束，所述形变约束用于约束所述预测框的形变。

可以理解地是，形变缺陷检测模型的预测框可以附带有所预测出的形变缺陷图像在目标图片中的位置信息及形变缺陷图像的缺陷类型。

具体地，形变缺陷图像在目标图片中的位置信息可以为任何能够表示形变缺陷图像位置的信息，例如可以基于一定的规则在目标图片中建立坐标系，进而可以获得形变缺陷图像各顶点的坐标，可以将这些顶点的坐标作为形变缺陷图像在目标图片中的位置信息；也可以基于建立的坐标系，获取形变缺陷图像对角顶点的坐标以及形变缺陷图像的宽和高，可以将形变缺陷图像对角顶点的坐标、宽以及高作为形变缺陷图像在目标图片中的位置信息。

进一步具体地，预设的至少一个缺陷类型可以根据本实施例应用的工业领域进行设置，例如，本实施例应用于移动终端领域，则本步骤中缺陷类型的设置可以基于移动终端可能存在的缺陷进行设置，例如摄像头缺陷、电池缺陷以及显示屏缺陷等。另外可以理解地是，预设的至少一个缺陷类型意味着预设的缺陷类型可以为一个或多个，当预设的缺陷类型为一个时，目标缺陷类型即为该预设的缺陷类型，当预设的缺陷类型为多个时，目标缺陷类型为该预设的多个缺陷类型中的一个。

可以理解地是，深度学习模型中的损失函数可以包括若干约束，通过控制损失函数输出较小的值，可以使得损失函数中的约束所对应的参数被约束。在此基础上可以理解地是，通过添加约束预测框形变的约束，可以在损失函数输出较小值时约束预测框的形变，可以理解缺陷图像的形变会导致预测其的预测框的形变，而预测框的形变会导致预测框对形变缺陷图像的位置预测不准确，因此通过约束预测框的形变可以提高对形变缺陷的检测的准确性。

在一种可选的实现方式中，如图2所示为本发明实施例提供的另一种形变缺陷的检测方法的流程图，在步骤S102之前，还包括：

步骤S1011，将样本图像输入至预设的深度学习模型中进行训练；

其中，所述样本图像具有形变缺陷图像，所述样本图像中通过标注框标注有所述形变缺陷图像在所述样本图像中的位置以及所述形变缺陷图像对应的缺陷类型；

步骤S1012，更新所述深度学习模型的权重，直至所述深度学习模型的损失函数输出最小值；

步骤S1013，确定使得所述损失函数输出最小值的目标权重；

步骤S1014，将所述目标权重对应的所述深度学习模型确定为形变缺陷检测模型。

需要说明地是，通过标注框对缺陷进行标注的方式可以是任意能够进行图像标注的方式，例如可以通过CVAT、VOTT或者labelimg等图像标注工具进行标注。

具体地，本步骤中的深度学习模型可以是用于目标检测的深度学习模型，例如YOLO系列的模型以及RCNN深度学习模型等。

需要说明地是，本步骤中缺陷位置以及缺陷类别的设置可以参考步骤S103，此处不再进行赘述。

具体地，本步骤中的损失函数可以包括分类损失、边框损失以及置信度损失等，为了保证深度学习模型输出的损失函数的值最小，可以不断对深度模型的权重进行试探更改，直至达到目的。

可选地，对于确定目标权重的深度学习模型，可以将对应权重为目标权重的深度模型嵌入工厂的设备中，进一步向该设备中输入具有缺陷的产品，通过输出的缺陷检测结果确定该目标权重对应的深度学习模型的可靠性，若该目标权重对应的深度学习模型的可靠性较高，可以将该深度学习模型作为最终投入使用的缺陷检测模型，若该目标权重对应的深度学习模型的可靠性较低，则进一步优化更新深度学习模型的权重，重新对深度学习模型进行训练，直至深度学习模型达到可靠性要求。

可以理解地是，通过本实现方式对深度学习模型进行训练，得到缺陷检测模型，可以得到可靠性较高的缺陷检测模型，从而实现缺陷检测的自动化。

在一种可选的实现方式中，如图3所示为本发明实施例提供的又一种形变缺陷的检测方法的流程图，步骤S1011，包括：

步骤S10111，将样本图像输入复合主干网络，通过所述复合主干网络提取所述样本图像的图像特征；

步骤S10112，将所述图像特征输入特征金字塔网络，通过所述特征金字塔网络提取所述图像特征不同尺度的特征表示；

步骤S10113，将所述图像特征不同尺度的特征表示输入检测头部，通过所述检测头部输出的预测框输出所预测的所述形变缺陷图像在所述样本图像中的位置以及所述形变缺陷图像对应的缺陷类型。

需要说明地是，预设的深度学习模型可以包括复合主干网络、特征金字塔网络以及检测头部，其中，复合主干网络可以用于提取样本图像的图像特征，特征金字塔网络可以包括若干层，可以用于输入复合主干网络输出的图像特征，并提取图像特征不同尺度的特征表示，每个尺度的特征表示通过特征金字塔网络的一层提取，检测头部用于输入图像特征不同尺度的特征表示，并通过其所包括的预测框预测每个尺度的特征表示所对应的形变缺陷图像的位置及缺陷类型。

需要说明地是，复合主干网络可以是任意能够提取样本图像的图像特征的网络结构，例如SqueezeNet系列网络、ShuffleNet系列网络以及Resnet网络等；特征金字塔网络可以是任意能够提取不同尺度的特征表示的网络结构，例如单次多边框检测(Single ShotMultiBox Detector，SSD)网络、空洞金字塔池化(Atrous spatial pyramid pooling，ASPP)网络以及递归特征金字塔网络(recursive feature pyramid，RFP)网络等；检测头部可以是任意能够通过预测框预测形变缺陷图像的位置及缺陷类型的网络结构，例如YOLO网络、RetinaNet网络以及Mask RCNN网络等。

可以理解地是，通过复合主干网络可以提取图像的特征图，进而可以使得特征金字塔网络对特征图进行处理，提取特征图对应的不同尺度的特征表示，进而可以通过检测头部检测特征图不同尺度的特征表示中对应的缺陷图像。进一步可以理解对特征图不同尺度的特征表示中的缺陷进行检测可以使得缺陷的轮廓特征及细节特征均可以被检测到，从而提高了形变缺陷检测模型对形变缺陷的检测的准确性。

在一种可选的实现方式中，在步骤S1013之前，还包括：

通过第一预设公式确定所述形变约束；

所述第一预设公式为：

其中，所述β为形变约束，所述w为所述预测框的第一宽度，所述h为所述预测框的第一高度，所述w

需要说明地是，本实现方式中的预测框是形变缺陷检测模型中所设置的锚框的其中一个，形变缺陷检测模型中可以设置有若干个不同尺度或者相同尺度的锚框，其中每个锚框用于对其所覆盖的检测区域的形变缺陷图像进行缺陷检测，并作为预测框输出缺陷检测结果。

可选地，损失函数还可以包括其他约束，例如覆盖面积约束、中心点距离约束以及宽高比约束等，上述约束的计算方式在本领域已经是较为熟知的技术，此处不进行详细描述。

可以理解地是，本实现方式中关于形变约束的第一预设公式可以根据第二预设公式确定，其中第二预设公式为:

可以理解地是，损失函数越小，形变约束越小，对应于第一预设公式也即标注框的面积越大，预测框的面积越小，而标注框的面积越大意味着缺陷形变的可能性更大，此时将预测框的面积缩小，可以有效避免预测框随着缺陷的形变而形变，进而可以避免由于预测框的形变所导致其对形变缺陷图像的位置预测不准确的问题，因此通过第一约束公式得到的形变约束可以通过约束预测框的形变提高对形变缺陷的检测的准确性。

在一种可选的实现方式中，如图4所示为本发明实施例提供的又一种形变缺陷的检测方法的流程图，步骤S10111包括：

步骤S101111，通过主骨干网络提取大于第一预设尺度的第一图像特征；

步骤S101112，通过辅助骨干网络提取小于第二预设尺度的第二图像特征。

具体地，第一预设尺度以及第二预设尺度可以在应用时根据具体需要进行设置，例如第一预设尺度与第二预设尺度可以相等，第一预设尺度也可以大于第二预设尺度。

需要说明地是，主骨干网络可以为任意能够提取大于第一预设尺度的图像特征的网络，例如具有较大感受野的SqueezeNet系列网络、ShuffleNet系列网络以及Resnet网络等；辅助骨干网络可以为任意能够提取小于第二预设尺度的图像特征的网络，例如具有较小感受野的SqueezeNet系列网络、ShuffleNet系列网络以及Resnet网络等。

可以理解地是，通过主骨干网络可以提取样本图像尺度较大的第一图像特征，也即通过主骨干网络可以提取样本图像中较大的特征，通过辅助骨干网络可以提取小于第二预设尺度的第二图像特征，也即通过辅助骨干网络可以提取样本图像中较小的细节特征，所以通过主骨干网络以及辅助骨干网络可以使得所提取的特征图更全面。

在一种可选的实现方式中，步骤S101112，包括：

通过至少一个ShuffleNet模块轻量化网络提取小于第二预设尺度的图像特征。

具体地，ShuffleNet模块轻量化网络可以是任意ShuffleNet模块轻量化网络，例如ShuffleNetv1网络以及ShuffleNetv2网络等。

可以理解地是，ShuffleNet模块轻量化网络相较于其他主干网络而言，结构更加轻量，从而可以使得主干网络的计算速度更快，以使得形变缺陷检测模型的计算速度更快。

在一种可选的实现方式中，如图5所示为本发明实施例提供的又一种形变缺陷的检测方法的流程图，在步骤S101112之后，还包括：

步骤S101113，通过增强感受野模块融合所述第一图像特征和所述第二图像特征，得到所述样本图像的图像特征。

可以理解地是，增强感受野模块可以对不同尺度的图像特征进行融合，以得到融合之后的特征，从而使得主干网络输出至特征金字塔网络的特征更全面。

具体地，本实现方式中的增强感受野模块可以是任意一种增强感受野模块，例如ASPP以及径向基函数(Radial Basis Function，RBF)等。

可以理解地是，通过增强感受野模块，还可以增加某个骨干网络的感受野，从而使得该骨干网络可以提取更多的特征，有效增加该骨干网络输出的特征图的尺度。可选地，可以通过增强感受野模块使得主骨干网络提取大于第一预设尺度的第一图像特征，进一步地，可以通过增强感受野模块将第一图像特征和第二图像特征融合，得到样本图像的图像特征。

可选地，增强感受野模块可以是RBF-s网络，而RBF-s神经网络有很强的非线性拟合能力，可映射任意复杂的非线性关系，而且学习规则简单，便于计算机实现，其也具有很强的鲁棒性、记忆能力、非线性映射能力以及强大的自学习能力。

在一种可选的实现方式中，在步骤S10111之前，还包括：

针对所述复合主干网络的每个卷积层，融合卷积通道注意力增强机制。

可以理解地是，主干网络通常具有多个卷积层。

需要说明地是，卷积通道注意力机制是一种用于增强卷积神经网络性能的注意力机制。它被用于提取输入特征图中最具有表征性的通道信息，以便更好地捕捉图像或特定任务中的重要特征。

传统的卷积神经网络在进行特征提取时，对每个通道的特征权重是相同的，忽略了通道之间的相关性。然而，在某些情况下，一些通道可能包含具有更高表征性的信息，而其他通道则可能包含更多噪声或无关信息。卷积通道注意力机制通过学习每个通道的权重，使得网络能够自动地选择最有用的通道进行特征提取。

具体来说，卷积通道注意力机制一般由两个关键组件组成：通道注意力模块和特征融合模块。

通道注意力模块负责计算每个通道的权重，这可以通过使用全局平均池化操作将特征图降维为一个向量，然后通过全连接层和激活函数来获取每个通道的权重，这些权重可视为该通道的重要性指标。

特征融合模块将原始特征图与计算得到的通道权重相乘，以对不同通道的特征进行加权融合，这可以通过简单的逐元素乘法来实现。

通过引入卷积通道注意力机制，网络可以自动地学习每个通道的重要性，并有选择地增强具有表征性的通道。这有助于提高模型的表达能力和泛化性能，从而在各种计算机视觉任务中取得更好的性能表现。

在一种可选的实现方式中，在步骤S102之前，还包括：

通过直方图均衡化算法增强所述目标图片的对比度。

具体地，直方图均衡化算法通过对图像中像素个数多的灰度值(即对画面起主要作用的灰度值)进行展宽，而对像素个数少的灰度值(即对画面不起主要作用的灰度值)进行归并，从而增大对比度，进而增加图片的清晰度，以便对图像进行下一步处理。

可选地，也可以利用其他增强图像对比度的方法对目标图片的对比度进行增强，例如，增强图像对比度的方法可以是线性变换、直方图正规化以及伽马变换等。

在一种可选的实现方式中，在步骤S10113之前，还包括：

通过k-means算法更新所述检测头部的锚框，其中，预测框为所述锚框中的一者。

需要说明地是，K-means算法对锚框进行聚类的具体过程为：第一步，对样本点(即用于表示形变缺陷图像的信息)进行聚类，得到初始化的k个簇中心作为锚框；第二步，使用相似性度量(例如欧式距离)，将各样本点分配给与其距离最近的簇中心；第三步，计算每个簇中样本点的均值(即距离该簇中每个样本点最近的一个样本点)，将该样本点均值更新为该簇的簇中心，循环第二步及第三步，直至每个簇的簇中心不再变化，或者循环次数达到了预设的最大循环次数。因此可以理解通过k-means算法更新所述检测头部的锚框也即上述第三步中的将样本点均值更新为样本簇的簇中心(即锚框)。

需要说明地是，锚框的数量K可以根据应用时的具体需要进行设置，此处并不进行详细限定。

需要说明地是，用于表示形变缺陷图像的信息可以是标注形变缺陷图像的标注框，也可以是形变缺陷图像的中心点、宽及高等，此处不进行具体限定，通过该形变缺陷图像的信息可以确定聚类之后得到的锚框的信息，进而基于锚框信息可以得到锚框。

可以理解地是，通过不断更新锚框，可以使得每个锚框周围分布的样本点更加均匀，从而使得锚框对样本点进行检测时，检测速度越快且检测能力更强。

作为一个具体的示例，一种形变缺陷的检测方法包括以下步骤。

步骤S201，针对所述复合主干网络的每个卷积层，融合卷积通道注意力增强机制；

步骤S202，通过主骨干网络提取大于第一预设尺度的第一图像特征；

步骤S203，通过至少一个ShuffleNet模块轻量化网络提取小于第二预设尺度的图像特征；

步骤S204，通过增强感受野模块融合所述第一图像特征和所述第二图像特征，得到所述样本图像的图像特征；

步骤S205，将所述图像特征输入特征金字塔网络，通过所述特征金字塔网络提取所述图像特征不同尺度的特征表示；

步骤S206，将所述图像特征不同尺度的特征表示输入检测头部，通过所述检测头部输出的所述预测框输出所预测的所述形变缺陷图像在所述样本图像中的位置以及所述形变缺陷图像对应的缺陷类型；

步骤S207，更新所述深度学习模型的权重，直至所述深度学习模型的损失函数输出最小值；

步骤S208，确定使得所述损失函数输出最小值的目标权重；

步骤S209，将所述目标权重对应的所述深度学习模型确定为形变缺陷检测模型；

步骤S210，获取具有形变缺陷图像的目标图片；

步骤S211，将所述目标图片输入预设的形变缺陷检测模型中；

步骤S212，通过所述形变缺陷检测模型输出所述形变缺陷图像在所述目标图片中的目标位置和/或所述形变缺陷图像对应的目标缺陷类型；

所述目标位置及所述目标缺陷类型通过所述形变缺陷检测模型输出的预测框显示，所述目标缺陷类型为预设的至少一个缺陷类型中的一个，所述形变缺陷检测模型的损失函数包括形变约束，所述形变约束用于约束所述预测框的形变。

需要说明地是，通过执行步骤S201至步骤S212得到表1中第3列所示的检测结果，此时损失函数中并未包括形变约束；

需要说明地是，通过执行步骤S210至步骤S212，可以得到表1中第4列所示的检测结果，此时损失函数中包括形变约束；

需要说明地是，执行全部步骤，可以得到表1中第5列所示的检测结果。如图6和图7所示为输入目标图像所输出的缺陷检测结果，其中图6中的缺陷检测结果为缺陷类型为刀线，图7中的缺陷检测结果为缺陷类型为碰伤。

表1

需要说明的是，基于表1可以看出，模型与损失函数未优化时：缺陷检出率2.38％，误检率为0。而仅优化模型时，投入有低对比度多形变缺陷的产品42片，检出25片，检出率为59.42％；投入没有低对比度多形变缺陷的产品4302片，误检20片，误检率0.46％。仅优化损失函数时，投入有低对比度多形变缺陷的产品42片，检出30片，检出率为71.43％；投入没有低对比度多形变缺陷的产品4302片，误检15片，误检率为0.35％。同时优化模型和损失函数时投入低对比度多形变缺陷的产品42片，检出36片，检出率为85.71％；投入没有低对比度多形变缺陷的产品4302片，误检5片，检出率为0.12％。

由实验结果可得到，所提出的针对低对比度多形变缺陷的模型与损失函数有效，在误检率和漏检率上都有良好的表现。

实施例2

基于上述形变缺陷的检测方法，本发明实施例提供形变缺陷的检测装置，如图8所示，形变缺陷的检测装置包括获取模块810、输入模块820以及输出模块830。

获取模块810，用于获取具有形变缺陷图像的目标图片；

输入模块820，用于将所述目标图片输入预设的形变缺陷检测模型中；

输出模块830，用于通过所述形变缺陷检测模型输出所述形变缺陷图像在所述目标图片中的目标位置和/或所述形变缺陷图像对应的目标缺陷类型；

其中，所述目标位置及所述目标缺陷类型通过所述形变缺陷检测模型输出的预测框显示，所述目标缺陷类型为预设的至少一个缺陷类型中的一个，所述形变缺陷检测模型的损失函数包括形变约束，所述形变约束用于约束所述预测框的形变。

关于上述形变缺陷的检测装置中各模块实现上述技术方案的其他细节，可参见上述发明实施例中提供的形变缺陷的检测方法中的描述，此处不再赘述。

基于上述形变缺陷的检测方法，如图9所示，本发明实施例还提供了一种形变缺陷的检测设备的结构示意图，该识别设备包括处理器91和与该处理器91耦合的存储器92。存储器92存储有计算机程序，计算机程序被处理器91执行时，使得处理器91执行上述实施例中的形变缺陷的检测方法的步骤。

关于上述形变缺陷的检测设备中处理器91实现上述技术方案的其他细节，可参见上述发明实施例中提供的形变缺陷的检测方法中的描述，此处不再赘述。

其中，处理器91还可以称为CPU(CentralProcessingUnit，中央处理单元)，处理器91可能是一种集成电路芯片，具有信号的处理能力；处理器91还可以是通用处理器、DSP(Digital Signal Process，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field Programmable Gata Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，其中通用处理器可以是微处理器或者该处理器31也可以是任何常规的处理器等。

如图10所示，本发明实施例还提供了一种计算机可读存储介质的结构示意图，该存储介质上存储有可读的计算机程序101；其中，该计算机程序101可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、磁碟或者光盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。