一种图像缺陷拟合方法、系统和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像缺陷拟合方法、系统和存储介质。

背景技术

在工业生产中，产品的缺陷不仅会影响产品的外观，而且可能会影响产品的性能和使用寿命。因此，在生产过程中，需要对产品进行表面缺陷检测。随着计算机技术的快速发展，基于自动化设备的产品外观质量检测技术逐步替代人工检测，在稳定性、一致性及检测效率方面发挥着显著优势，最大程度上帮助制造商改善产品品质，杜绝次品流入终端市场，最终达到提高企业的质量管理水平。

现有的缺陷检测方法一般为：将产品图像进行预处理，利用深度学习技术对图像进行识别，从而判断图像是否具有缺陷，例如将图像和预设的缺陷图像模板库进行对比，判断图像中是否具有缺陷；再对具有缺陷的图像进行缺陷提取，从而区分缺陷的类别，以实现缺陷检测。

然而本申请的发明人发现，在对显示屏进行缺陷检测时，显示屏的种类较多，表面可能具有特殊纹理，而缺陷图像模板库中并没有这些特殊纹理对应的图像或者对应的图像模板较少，导致无法检测出缺陷。即现有技术在对显示屏进行缺陷检测时准确率较低。

发明内容

本申请提供了一种图像缺陷拟合方法、系统和存储介质，以解决现有技术存在的上述问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

第一方面，本申请提供了一种图像缺陷拟合方法，该方法包括：

获取待检测样本图像；

对所述待检测样本图像进行缺陷特征检测处理；当所述待检测样本图像中存在缺陷特征时，提取所述缺陷特征，得到缺陷图像；

在预设的背景图像库中选取若干个背景图像；

将所述缺陷图像分别与每个背景图像进行拟合处理，得到若干个缺陷拟合图像。

可选的，所述对所述待检测样本图像进行缺陷特征检测处理，包括：

基于深度学习技术对所述待检测样本图像进行识别，判断所述待检测样本图像中是否包含缺陷特征。

可选的，所述提取所述缺陷特征，得到缺陷图像，包括：

当所述待检测样本图像中存在缺陷特征时，基于MASK图像生成工具对所述待检测样本图像进行处理，得到所述待检测样本图像对应的MASK图像，所述MASK图像即为缺陷图像。

可选的，所述将所述缺陷图像分别与每个背景图像进行拟合处理，得到若干个缺陷拟合图像，包括：

预先设定所述背景图像的缺陷替换区域；

计算所述缺陷图像的第一梯度场和所述背景图像的第二梯度场；

将所述背景图像中所述缺陷替换区域的梯度场替换为所述第一梯度场，并计算替换后的图像的第三梯度场；所述第三梯度场即为缺陷拟合图像的梯度场；

基于所述第三梯度场计算散度；

基于所述散度获取缺陷拟合图像中每个点的像素值，以得到缺陷拟合图像。

可选的，所述将所述缺陷图像分别与每个背景图像进行拟合处理，得到若干个缺陷拟合图像，包括：

获取所述缺陷图像在所述待检测样本图像中的坐标信息；

计算所述缺陷图像的第一梯度场和所述背景图像的第二梯度场；

将所述背景图像中所述坐标信息对应区域的梯度场替换为所述第一梯度场，并计算替换后的图像的第三梯度场；所述第三梯度场即为缺陷拟合图像的梯度场；

基于所述第三梯度场计算散度；

基于所述散度获取缺陷拟合图像中每个点的像素值，以得到缺陷拟合图像。

可选的，所述计算所述缺陷图像的第一梯度场和所述背景图像的第二梯度场，包括：

其中：

V

其中：

V

可选的，所述计算替换后的图像的第三梯度场，包括：

其中：

V

V

可选的，所述基于所述第三梯度场计算散度，包括：

其中：

D

(Σ

第二方面，本申请提供了一种图像缺陷拟合系统，该系统包括：

样本获取模块，被配置为获取待检测样本图像；

缺陷图像获取模块，被配置为对所述待检测样本图像进行缺陷特征检测处理；当所述待检测样本图像中存在缺陷特征时，提取所述缺陷特征，得到缺陷图像；

背景图像获取模块，被配置为在预设的背景图像库中选取若干个背景图像；

图像拟合模块，被配置为将所述缺陷图像分别与每个背景图像进行拟合处理，得到若干个缺陷拟合图像。

第三方面，本申请提供了一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的图像缺陷拟合方法的步骤。

与现有技术相比，本申请的有益效果为：

本申请提供了一种图像缺陷拟合方法、系统和存储介质，包括：获取待检测样本图像；对待检测样本图像进行缺陷特征检测处理；当待检测样本图像中存在缺陷特征时，提取缺陷特征，得到缺陷图像；在预设的背景图像库中选取若干个背景图像；将缺陷图像分别与每个背景图像进行拟合处理，得到若干个缺陷拟合图像。本申请能够将缺陷特征和多个背景图像进行拟合，从而得到缺陷特征在不同背景下的多个缺陷图像模板，以提高对显示屏进行缺陷检测时的准确率，同时扩充了缺陷图像模板还可以实现缺陷的快速检测。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像缺陷拟合方法的整体流程图；

图2为本申请实施例提供的图像缺陷拟合系统的结构框图；

图3为本申请实施例提供的图像缺陷拟合方法的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

参见图1，为本申请实施例提供的图像缺陷拟合方法的整体流程图。如图1所示，该方法包括以下步骤：

S1、获取待检测样本图像；

S2、对所述待检测样本图像进行缺陷特征检测处理；当所述待检测样本图像中存在缺陷特征时，提取所述缺陷特征，得到缺陷图像；

S3、在预设的背景图像库中选取若干个背景图像；

S4、将所述缺陷图像分别与每个背景图像进行拟合处理，得到若干个缺陷拟合图像。

下面对各个步骤进行详细描述：

在步骤S1中，获取待检测样本图像。

具体的，待检测样本图像可以为包括待检测显示屏的成像图像。这些待检测样本图像中可以具有缺陷，以使本发明实施例对图像中的缺陷进行提取。也可以不具有缺陷，本申请实施例对于不具有缺陷的待检测样本图像背景下后续处理。

由于会频发各种特殊成像的机种，这些机种表面带有特殊纹理，例如：图像表面带有不规则的Oncell线路。对于这些特殊成像的机种，样本库中没有对应特征的样本，导致缺陷样本难以收集完全。

待检测样本图像存在的缺陷可以为常规缺陷，也可以为具有特殊纹理的缺陷，本申请实施例不做过多限定。

在步骤S2，对所述待检测样本图像进行缺陷特征检测处理；当所述待检测样本图像中存在缺陷特征时，提取所述缺陷特征，得到缺陷图像。

在一些实施例中，可以利用深度学习技术对待检测样本图像进行识别，从而确定每个待检测样本图像中是否具有缺陷。

当待检测样本图像中存在缺陷特征时，对缺陷特征进行提取，从而得到缺陷特征对应的缺陷图像。

具体的缺陷特征提取方法可以包括：

当待检测样本图像中存在缺陷特征时，基于MASK图像生成工具对所述待检测样本图像进行处理，得到所述待检测样本图像对应的MASK图像，所述MASK图像即为缺陷图像。

其中，MASK图像的生成方法为现有技术，因此本申请实施例可采用现有的MASK图像生成工具。

MASK图像生成工具具备以下功能：自由形状，可以跟随鼠标的位置自由圈图；样条曲线，可以通过给定一组控制点而得到一条曲线；多边形，可以通过多点连接得到一个多边形，且完成多边形后，可以在曲线上任意位置再增加点集进行曲线形状的调整；固定形状，包括圆形、椭圆形、正方形、矩形等等。

在步骤S3中，在预设的背景图像库中选取若干个背景图像。

具体的，预设的背景图像库可以由用户自行设定，包括显示屏的各种背景图像，可以为灰度图像或者彩色图像。

在步骤S4中，将所述缺陷图像分别与每个背景图像进行拟合处理，得到若干个缺陷拟合图像。

在一些实施例中，缺陷拟合图像的获取方法可以包括：

S401、预先设定所述背景图像的缺陷替换区域。

具体的，缺陷替换区域指的是背景图像中待替换的区域，即为缺陷图像的替换区域。缺陷替换区域可以是背景图像中的任意一个区域，可由用户自行设定，本申请实施例中不做具体限定。

S402、计算所述缺陷图像的第一梯度场和所述背景图像的第二梯度场。

梯度场的计算方法可以采用现有的方法，例如：对于图像中的某个点(x,y)来说，其梯度值为：

因此，该图像梯度的矢量表示为

在一些实施例中，第一梯度场的计算方法包括：

其中：

V

在一些实施例中，第二梯度场的计算方法包括：

其中：

V

S403、将所述背景图像中所述缺陷替换区域的梯度场替换为所述第一梯度场，并计算替换后的图像的第三梯度场；所述第三梯度场即为缺陷拟合图像的梯度场。

具体的，替换方法包括：

首先将背景图像的缺陷替换区域通过mask图像置0，再将梯度场与缺陷图像的第一梯度场相加，并计算替换后的图像的第三梯度场。

在一些实施例中，第三梯度场的计算方法包括：

其中：

V

V

S404、基于所述第三梯度场计算散度。

在一些实施例中，第三梯度场的散度表示图像中某点的多维偏导数之和，并且，为了使图像过度的更自然，本申请以第三梯度场进行二阶偏导作为散度。散度的计算方法包括：

其中：

D

(Σ

S405、基于所述散度获取缺陷拟合图像中每个点的像素值，以得到缺陷拟合图像。

本申请实施例中，根据散度求取像素值可以采用现有的方法。

具体的，当给定一张图像时，可以求解每个像素点的散度。如果反推之，通过给定每个像素点的散度，同样可以通过方程得到图像中每个像素的值。该方程可以构建为：

AX＝B

其中，矩阵A表示拉普拉斯卷积核，X表示像素值，B为散度。

通过求解这个方程可以得到每个像素点的值，便可以重建图像，从而获取整体的拟合后图像。

在一些实施例中，可以设定为缺陷图像在背景图像中的位置与缺陷图像在待检测样本图像中的位置相同，从而更好地将缺陷拟合图像和待检测样本图像进行对比。缺陷拟合图像的获取方法具体可以包括以下步骤：

S401、获取所述缺陷图像在所述待检测样本图像中的坐标信息。

具体的，本发明实施例中以图像左下角的底点为坐标原点，获取缺陷图像对应的坐标信息，从而得到缺陷图像位于待检测样本图像中的位置。

S402、计算所述缺陷图像的第一梯度场和所述背景图像的第二梯度场；

S403、将所述背景图像中所述坐标信息对应区域的梯度场替换为所述第一梯度场，并计算替换后的图像的第三梯度场；所述第三梯度场即为缺陷拟合图像的梯度场；

S404、基于所述第三梯度场计算散度；

S405、基于所述散度获取缺陷拟合图像中每个点的像素值，以得到缺陷拟合图像。

本申请实施例中，通过将提取的缺陷特征分别与多个背景图像进行拟合，可以模拟出多种显示屏的缺陷图像，从而扩充了缺陷图像模板，可以提高缺陷检测的准确率。同时本申请实施例中利用梯度场替换的方式进行处理，得到的缺陷拟合图像更加自然，使得缺陷图像的边界和背景图像能够完全拟合，达到人眼不可辩的程度，提高了图像拟合的效果。

本申请实施例还包括：S5、将所有的缺陷拟合图像构建缺陷图像模板库。

图2为本发明实施例提供的图像缺陷拟合系统的一种结构框图。参见图2，本申请实施例提供的一种图像缺陷拟合系统，用于执行图1所示的图像缺陷拟合方法的相关步骤，该系统包括：

样本获取模块110，被配置为获取待检测样本图像；

缺陷图像获取模块120，被配置为对所述待检测样本图像进行缺陷特征检测处理；当所述待检测样本图像中存在缺陷特征时，提取所述缺陷特征，得到缺陷图像；

背景图像获取模块130，被配置为在预设的背景图像库中选取若干个背景图像；

图像拟合模块140，被配置为将所述缺陷图像分别与每个背景图像进行拟合处理，得到若干个缺陷拟合图像。

由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。

图3是本发明实施例提供的一种存储介质的结构示意图。计算机可读存储介质30中存储有至少一个计算机程序31，计算机程序31用于被处理器执行以实现如图1所示的方法，详细的方法可参见上述，在此不再赘述。在一个实施例中，计算机可读存储介质30可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等。

通过上述描述可知，本申请实施例提供的一种图像缺陷拟合方法，包括：获取待检测样本图像；对待检测样本图像进行缺陷特征检测处理；当待检测样本图像中存在缺陷特征时，提取缺陷特征，得到缺陷图像；在预设的背景图像库中选取若干个背景图像；将缺陷图像分别与每个背景图像进行拟合处理，得到若干个缺陷拟合图像。本申请能够将缺陷特征和多个背景图像进行拟合，从而得到缺陷特征在不同背景下的多个缺陷图像模板，以提高对显示屏进行缺陷检测时的准确率，同时扩充了缺陷图像模板还可以实现缺陷的快速检测。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，在本说明书中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个......”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。以上所述的本申请实施方式并不构成对本申请保护范围的限定。