图像数据的处理方法、装置、设备及存储介质

技术领域

本申请属于工业检测技术领域，尤其涉及一种图像数据的处理、装置、设备及存储介质。

背景技术

在工业产品的生产过程中会随机产生大量的缺陷产品，为了保证产品的品质和节约生产成本，缺陷产品在产生后需要立即通过工业检测手段剔除。随着人工智能技术的日益成熟，深度学习技术被广泛应用于工业检测，以对产品图像中的缺陷进行检测、识别和分割，该技术需要有足够多的缺陷图像样本支撑。

然而，在工业场景中，存在很多样本难以收集的场景，细分场景如下：1、制造业的核心指标是产能和良率，企业通过保持高良率来降低废品率，进而持续盈利，但过高的良率会导致无法收集到足够多的样本；2、在小批量多品种生产产品时，存在缺陷样本还未收集完成，而产品已换型的情况；3、缺陷形态多样且具有长尾效应，无法遍历所有缺陷种类。

因此，在工业场景中如何增加产品的缺陷图像样本是亟需解决的问题。

发明内容

本申请的实施例提供了一种图像数据的处理方法、装置、设备及存储介质，可以实现工业场景中缺陷图像样本的自动生成，便于工业检测项目的快速启动。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的第一方面，提供了一种图像数据的处理方法，包括：

获取目标类别缺陷对应的产品缺陷图像，以及目标产品的产品背景图像；

获取预先构建的语义模型，其中，所述语义模型具有确定各种类别缺陷在所述产品背景图像中的发生区域的能力；

利用所述语义模型在所述产品背景图像中确定所述目标类别缺陷对应的目标区域；

将所述产品缺陷图像融合至所述目标区域，得到所述目标产品的与所述目标类别缺陷对应的缺陷图像样本。

在本申请的一些实施例中，基于前述方案，所述语义模型通过以下步骤构建得到：

获取待训练图像样本，并确定所述待训练图像样本中的目标对象的边界信息和类别信息；

根据所述边界信息，在所述待训练图像样本中确定所述目标对象对应的外接图形区域；

获取包含有所述外接图形区域的第一图像；

将所述第一图像中的外接图形区域的各个像素的RGB值设置为第一预设值，以得到第二图像；

基于所述类别信息和所述第二图像，对初始模型进行训练，以得到所述语义模型。

在本申请的一些实施例中，基于前述方案，所述获取包含有所述外接图形区域的第一图像，包括：

对所述待训练图像样本中的外接图形区域进行膨胀处理，得到膨胀区域；

从所述待训练图像样本中的所述膨胀区域提取图像，得到所述第一图像。

在本申请的一些实施例中，基于前述方案，所述膨胀区域的面积小于第二预设值。

在本申请的一些实施例中，基于前述方案，所述待训练图像样本的获取数量与目标语义关系的复杂程度正相关，其中，所述目标语义关系为第三图像与第四图像之间的语义关系，所述第三图像为所述待训练图像样本中的目标对象对应的图像，所述第四图像为所述待训练图像样本中除所述第三图像之外的图像。

在本申请的一些实施例中，基于前述方案，所述利用所述语义模型在所述产品背景图像中确定所述目标类别缺陷对应的目标区域，包括：

在所述产品背景图像中确定多个候选区域以及与每个所述候选区域对应的膨胀区域，其中，所述候选区域的各个像素的RGB值被设置为所述第一预设值；

通过所述语义模型对每个所述候选区域对应的膨胀区域进行打分，得到第一得分；

根据每个所述候选区域对应的膨胀区域的第一得分，从多个所述候选区域中确定所述目标类别缺陷对应的目标区域。

在本申请的一些实施例中，基于前述方案，每个所述候选区域对应的膨胀区域的数量有多个，所述第一得分用于表征在对应候选区域发生所述目标类别缺陷的概率，所述根据每个所述候选区域对应的膨胀区域的第一得分，从多个所述候选区域中确定所述目标类别缺陷对应的目标区域，包括：

将每个所述候选区域对应的多个膨胀区域的第一得分的平均值，作为每个所述候选区域对应的第二得分；

将第二得分最高的候选区域确定为所述目标类别缺陷对应的目标区域。

在本申请的一些实施例中，基于前述方案，每个所述候选区域对应的膨胀区域的数量有多个，每个膨胀区域对应的第一得分有多个，其中，每个第一得分用于表征在对应候选区域发生对应候选类别缺陷的概率，所述根据每个所述候选区域对应的膨胀区域的第一得分，从多个所述候选区域中确定所述目标类别缺陷对应的目标区域，包括：

将每个所述候选区域对应的多个膨胀区域在各个候选类别缺陷上的第一得分的平均值，作为每个所述候选区域发生各个候选类别缺陷的第二得分；

根据每个所述候选区域发生各个候选类别缺陷的第二得分，将所述第二得分最高的候选类别缺陷确定每个所述候选区域对应的目标类别缺陷；

将所述目标类别缺陷对应的候选区域，确定为所述目标类别缺陷对应的目标区域。

在本申请的一些实施例中，基于前述方案，所述获取目标类别缺陷对应的产品缺陷图像，包括：

获取包含有所述目标类别缺陷的产品原始图像，以及包含所述目标类别缺陷的掩模图像；

将所述产品原始图像与所述掩模图像进行融合，得到所述产品缺陷图像。

在本申请的一些实施例中，基于前述方案，所述获取目标类别缺陷对应的产品缺陷图像，包括：

获取包含有所述目标类别缺陷的产品原始图像；

从所述产品原始图像中提取所述目标类别缺陷对应的图像，得到所述产品缺陷图像。

在本申请的一些实施例中，基于前述方案，所述将所述产品缺陷图像融合至所述目标区域，得到所述目标产品的与所述目标类别缺陷对应的缺陷图像样本，包括：

确定所述产品缺陷图像的第一梯度场以及所述产品背景图像的第二梯度场；

将所述第二梯度场中的所述目标区域对应的梯度场替换为所述第一梯度场，以得到初始融合图像的第三梯度场；

根据所述第三梯度场确定变换矩阵系数；

根据所述变换矩阵系数，构建所述目标产品的与所述目标类别缺陷对应的缺陷图像样本。

在本申请的一些实施例中，基于前述方案，所述图像数据的处理方法还包括：

对所述产品缺陷图像进行多次变形处理，得到多个第五图像；

将多个所述第五图像分别融合到所述目标区域，得到所述目标产品的与所述目标类别缺陷对应的多个缺陷图像样本。

在本申请的一些实施例中，基于前述方案，所述图像数据的处理方法还包括：

获取用户基于第一控件选择的包含有所述目标类别缺陷的产品原始图像；

响应于所述用户对第二控件的操作，基于所述产品原始图像，生成包含有所述目标类别缺陷的掩模图像；

将所述产品原始图像与所述掩模图像进行融合，得到所述产品缺陷图像；

响应于所述用户对第三控件的操作，执行所述对所述产品缺陷图像进行多次变形处理的步骤。

在本申请的一些实施例中，基于前述方案，所述响应于所述用户对第三控件的操作，执行所述对所述产品缺陷图像进行多次变形处理的步骤，包括：

响应于所述用户对所述第三控件的操作，显示批量形变界面；

根据所述用户在所述批量形变界面输入的形变强度和形变数量，执行所述对所述产品缺陷图像进行多次变形处理的步骤。

在本申请的一些实施例中，基于前述方案，所述图像数据的处理方法还包括：

在所述产品缺陷图像的色彩与所述产品背景图像的色彩不一致的情况下，根据所述产品背景图像的色彩修改所述产品缺陷图像的色彩。

在本申请的一些实施例中，基于前述方案，所述缺陷图像样本用于所述目标产品的缺陷检测。

根据本申请实施例的第二方面，提供了一种图像数据的处理装置，包括：

图像获取单元，用于获取目标类别缺陷对应的产品缺陷图像，以及目标产品的产品背景图像；

模型获取单元，用于获取预先构建的语义模型，其中，所述语义模型具有确定各种类别缺陷在所述产品背景图像中的发生区域的能力；

目标区域确定单元，用于利用所述语义模型在所述产品背景图像中确定所述目标类别缺陷对应的目标区域；

图像融合单元，用于将所述产品缺陷图像融合至所述目标区域，得到所述目标产品的与所述目标类别缺陷对应的缺陷图像样本。

根据本申请实施例的第三方面，提供了一种图像数据的处理设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序指令，所述处理器执行所述计算机程序指令时，实现如上述第一方面任一项所述的方法的步骤。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，促使所述处理器实现如上述第一方面任一项所述的方法的步骤。

在本申请中，通过获取目标类别缺陷对应的产品缺陷图像，以及目标产品的产品背景图像；获取预先构建的语义模型，其中，所述语义模型具有确定各种类别缺陷在所述产品背景图像中的发生区域的能力；利用所述语义模型在所述产品背景图像中确定所述目标类别缺陷对应的目标区域；将所述产品缺陷图像融合至所述目标区域，得到所述目标产品的与所述目标类别缺陷对应的缺陷图像样本。通过本申请提供的技术方案，可以实现工业场景中缺陷图像样本的自动生成，便于工业检测项目的快速启动。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了一个实施例中图像数据的处理方法的流程示意图；

图2示出了图1中缺陷图像样本的生成过程的一种演示图；

图3示出了图1中缺陷图像样本的生成过程的另一种演示图；

图4示出了利用图1中语义模型生成图像样本和随机生成图像样本的效果对比示意图；

图5示出了图1中语义模型的构建过程中的膨胀区域的一种示意图；

图6示出了图1中语义模型的一种应用场景示意图；

图7示出了另一个实施例中图像数据的处理方法的流程示意图；

图8示出了用于生成图7中多个缺陷图像样本的一种操作界面示意图；

图9示出了图8中批量形变的一种操作界面示意图；

图10示出了图8中批量融合的一种操作界面示意图；

图11示出了用于生成图1中缺陷图像样本的一种操作界面示意图；

图12示出了用于生成图1中缺陷图像样本的另一种操作界面示意图；

图13示出了用于生成图1中缺陷图像样本的又一种操作界面示意图；

图14示出了用于生成图1中缺陷图像样本的又一种操作界面示意图；

图15示出了一个实施例中图像数据的处理装置的框图；

图16示出了一个实施例中图像数据的处理设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

还需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在图示或描述的那些以外的顺序实施。

为了使本领域技术人员更好的理解本申请，首先对本申请所涉及的应用场景进行简单说明。

随着人工智能技术的日益成熟，工业检测对工业场景中的缺陷图像样本的要求越来越高，而市场瞬息万变、产品迭代频繁，导致在工业场景中存在缺陷图像样本难以收集的问题。基于此，本申请提出一种图像数据的处理方法，可以自动生成工业场景中的缺陷图像样本，并且可以根据极少量的缺陷图像样本快速进行大批量的缺陷图像样本制备，使得在缺陷图像样本数量少或者没有的情况下，工业检测项目仍然能快速启动，加快了产品品质的收敛周期。针对良品数量相对较多、缺陷信息相对较少、工业检测项目需要快速启动且交付周期短的场景，该图像数据的处理方法能够获得不错的收益。

图1示出了一个实施例中图像数据的处理方法的流程示意图，如图1所示，该图像数据的处理方法可以包括以下步骤101至步骤104。

在步骤101中，获取目标类别缺陷对应的产品缺陷图像，以及目标产品的产品背景图像。

可以理解的是，不同的产品往往存在不同类别的外观缺陷，不同类别的外观缺陷对应的产品缺陷图像也不相同。以显示面板为例，其可能会存在破片、气泡、划伤、缺角、裂痕等缺陷，这些缺陷对应的产品缺陷图像也有所差异。

在实现过程中，可以通过多种方式得到目标类别缺陷对应的产品缺陷图。

在一些实施例中，可以获取包含有目标类别缺陷的产品原始图像；从产品原始图像中提取目标类别缺陷对应的图像，得到产品缺陷图像。

一并参照图2，图2示出了图1中缺陷图像样本的生成过程的一种演示图。如图2所示，图中从左至右依次为产品原始图像、产品缺陷图像和缺陷图像样本，通过从产品原始图像中提取目标类别缺陷对应的产品缺陷图像，再将其增广至产品背景图像，可以得到较为真实的缺陷图像样本。

在另一些实施例中，还可以获取包含有目标类别缺陷的产品原始图像，以及包含目标类别缺陷的掩模图像，将产品原始图像与掩模图像进行融合，得到产品缺陷图像。

一并参照图3，图3示出了图1中缺陷图像样本的生成过程的另一种演示图。如图3所示，图中从左至右依次为产品原始图像、掩模图像、产品背景图像和缺陷图像样本，通过将产品原始图像与掩模图像进行融合，得到产品缺陷图像，再将其增广至产品背景图像，可以得到较为真实的缺陷图像样本。

在一些实施例中，还可以预先将各种类别缺陷对应的产品缺陷图像保存至缺陷数据库中，再从缺陷数据库中获取目标类别缺陷对应的产品缺陷图像。

可以理解的是，产品背景图像是包含有产品信息的图像，可以是良品图像或者其他图像，本申请实施例对此不加以限制。

在实现过程中，可以预先将需要进行工业检测的目标产品的多个产品背景图像保存至存储器中，再从存储器中获取目标产品的产品背景图像。

在步骤102中，获取预先构建的语义模型，其中，语义模型具有确定各种类别缺陷在产品背景图像中的发生区域的能力。

可以理解的是，发生区域指产品背景图像中发生各种类别缺陷的区域。以上述目标产品为例，假设第I类缺陷通常会在产品背景图像中的区域A和区域B中发生，则第I类缺陷在产品背景图像中的发生区域可以是区域A和区域B。

本申请的发明人发现，典型的产品外观缺陷通常与其背景存在空间关系，在使用这类缺陷增广缺陷图像样本时可以先建立产品外观缺陷与背景之间的空间关系。本申请实施例可以基于目标对象与周围环境的语义关系进行建模，得到语义模型，再基于语义模型确定目标类别缺陷对应的产品缺陷图像在产品背景图像中的相对位置，最终得到符合要求的缺陷图像样本。

一并参照图4，图4示出了利用两种不同方式生成图像样本的效果图。由图4可知，随机生成图像样本的方案是将目标对象随机粘贴在背景图像中，显然，该方案并不适用于背景图像内容复杂，且目标对象出现在背景图像某个特定位置的场景，在该场景下随机生成的图像样本在应用于基于深度学习网络的工业检测中时，不仅不会起到提升深度学习能力的作用，甚至会起到反作用，即降低该网络的深度学习能力。而利用语义模型生成图像样本的方案，则可以根据目标对象与背景图像的语义关系，将目标对象放在背景图像中的合适位置。

在一些实施例中，语义模型可以通过以下步骤构建得到：获取待训练图像样本，并确定待训练图像样本中的目标对象的边界信息和类别信息；根据边界信息，在待训练图像样本中确定目标对象对应的外接图形区域；获取包含有外接图形区域的第一图像；将第一图像中的外接图形区域的各个像素的RGB值设置为第一预设值，以得到第二图像；基于类别信息和第二图像，对初始模型进行训练，以得到语义模型。

在实现过程中，待训练图像样本可以是通过对产品线上生产的具有各种类别缺陷的产品的图像进行处理得到的，也可以是通过对从缺陷数据库中筛选出的与目标产品可能出现的缺陷类似的产品缺陷图像进行处理得到的，甚至可以是通过不包含缺陷和产品的图像进行处理得到的。

对产品线上生产的具有各种类别缺陷的产品的图像进行处理时，需要人工对图像中的目标对象(该场景下的目标对象为各种类别缺陷)进行分割标注，得到产品缺陷图像，再将产品缺陷图像增广到其他图像中，得到待训练图像样本。

对从缺陷数据库中筛选出的与目标产品可能出现的缺陷类似的产品缺陷图像进行处理时，可以将筛选出的产品缺陷图像直接增广到其他图像中，得到待训练图像样本。

对不包含缺陷和产品的图像进行处理时，需要人工对图像中的目标对象进行分割标注，得到目标对象图像，再将目标对象图像增广到其他图像中，得到待训练图像样本。

标注是指利用自由形、多边形、样条曲线或者其他常见几何形状的边框，对目标对象的外轮廓进行标示，待训练图像样本中的目标对象的边界信息可以是用于标注目标对象的边框。

外接图形区域可以是外接矩形区域、外接圆形区域等，为了获得更好的训练效果，外接图形区域可以是最小外接矩形区域。

在实现过程中，第一预设值可以是0、255或其他数值，即可以将第一图像中的外接图形区域的各个像素的RGB值设置为黑色、白色或者其他颜色，得到第二图像，再将类别信息和第二图像输入到初始模型进行训练，在模型收敛时，得到语义模型。

需要说明的是，上述初始模型可以是基于上下文的卷积神经网络。

在一些实施例中，待训练图像样本的获取数量可以与目标语义关系的复杂程度正相关，其中，目标语义关系为第三图像与第四图像之间的语义关系，第三图像为待训练图像样本中的目标对象对应的图像，第四图像为待训练图像样本中除第三图像之外的图像。

可以理解的是，对于目标语义关系简单的图像，待训练图像样本的获取数量可以少一些，例如获取100个左右的待训练图像样本即可，而对于目标语义关系复杂的图像，为了获得足够多的图像信息，待训练图像样本的获取数量需要多一些，例如获取1000个左右的待训练图像样本。

在一些实施例中，可以对待训练图像样本中的外接图形区域进行膨胀处理，得到膨胀区域；从待训练图像样本中的膨胀区域提取图像，得到第一图像。

可以理解的是，膨胀区域是比外接图形区域更大的区域，通过从待训练图像样本中的膨胀区域提取图像，可以从待训练图像样本中获得更多的关于目标对象的环境信息。

在实现过程中，可以对外接图形区域进行随机膨胀处理，也可以对外接图形区域的长度和宽度进行等比例放大，或者基于其他算法对外接图形区域进行膨胀处理，对于膨胀处理的方式本申请实施例不加以限制。

一并参照图5，图5示出了图1中语义模型的构建过程中的膨胀区域的一种示意图，如图5所示，在外接图形区域为最小外接矩形区域的情况下，膨胀区域为虚线框限定的区域，膨胀区域所限定的图像实际上可以是一个类似“回”字形的第二图像。在一些实施例中，膨胀区域的面积小于第二预设值，以避免因膨胀区域的面积过大导致环境信息过多，进而影响语义模型的精度。

基于上述步骤构建的语义模型，可以确定不同类别的目标对象在不同背景图像中的发生区域，进而也具有确定各类别缺陷在产品背景图像中的发生区域的能力。

在步骤103中，利用语义模型在产品背景图像中确定目标类别缺陷对应的目标区域。

在实现过程中，可以基于与语义模型的构建过程相似的处理步骤，对产品背景图像进行处理，并将处理后的图像输入至语义模型中进行语义关系推理，以确定目标类别缺陷对应的目标区域。

在一些实施例中，可以在产品背景图像中确定多个候选区域以及与每个候选区域对应的膨胀区域，其中，候选区域的各个像素的RGB值被设置为第一预设值；通过语义模型对每个候选区域对应的膨胀区域进行打分，得到第一得分；根据每个候选区域对应的膨胀区域的第一得分，从多个候选区域中确定目标类别缺陷对应的目标区域。

在实现过程中，可以在产品背景图像中生成多个候选框，将候选框限定的区域作为候选区域，相对应地，膨胀区域是候选框对应的外部框限定的区域，候选区域的数量可以是100、200或其他值，一个候选区域对应一个膨胀区域，也可以对应多个膨胀区域。

需要说明的是，在语义模型的训练过程中，会将第一图像中的外接图形区域的各个像素的RGB值设置为第一预设值，在利用语义模型进行推理时，相应地也需要将候选区域的各个像素的RGB值设置为第一预设值。

可以理解的是，在对产品背景图像进行上述处理后，可以将其输入至语义模型，得到语义模型输出的每个候选区域对应的膨胀区域的第一得分。

在一些实施例中，每个候选区域对应的膨胀区域的数量可以有多个，第一得分用于表征在对应候选区域发生目标类别缺陷的概率，根据每个候选区域对应的膨胀区域的第一得分，从多个候选区域中确定目标类别缺陷对应的目标区域，可以包括：将每个候选区域对应的多个膨胀区域的第一得分的平均值，作为每个候选区域对应的第二得分；将第二得分最高的候选区域确定为目标类别缺陷对应的目标区域。

以候选区域有区域A、区域B和区域C，每个候选区域对应的膨胀区域的数量是3个为例，如果语义模型输出的区域A对应的膨胀区域的第一得分分别是：0.4、0.5和0.6，语义模型输出的区域B对应的膨胀区域的第一得分分别是：0.45、0.55和0.68，语义模型输出的区域A对应的膨胀区域的第一得分分别是：0.60、0.51和0.60，则区域A对应的3个膨胀区域的第一得分的平均值是0.50，即区域A对应的第二得分是0.50，区域B对应的3个膨胀区域的第一得分的平均值是0.56，即区域B对应的第二得分是0.56，区域C对应的3个膨胀区域的第一得分的平均值是0.57，即区域C对应的第二得分是0.57。由于区域C对应的第二得分最高，因此将区域C作为目标类别缺陷对应的目标区域。

在另一些实施例中，每个候选区域对应的膨胀区域的数量可以有多个，每个膨胀区域对应的第一得分有多个，其中，每个第一得分用于表征在对应候选区域发生对应候选类别缺陷的概率，根据每个候选区域对应的膨胀区域的第一得分，从多个候选区域中确定目标类别缺陷对应的目标区域，包括：将每个候选区域对应的多个膨胀区域在每个候选类别缺陷上的第一得分的平均值，作为每个候选区域发生对应候选类别缺陷的第二得分；确定每个候选区域对应的第二得分最高的候选类别缺陷；在第二得分最高的候选类别缺陷为目标类别缺陷的情况下，将第二得分最高的候选类别缺陷对应的候选区域，确定为目标类别缺陷对应的目标区域。

可以理解的是，如果每个膨胀区域在每个候选类别缺陷上对应一个第一得分，则同一候选区域对应的n个膨胀区域在该候选类别缺陷上会对应n个第一得分，此时需要计算这n个第一得分的平均值，并将计算出的平均值作为该候选区域发生该候选类别缺陷的第二得分。

以候选区域有候选区域A和候选区域B，每个候选区域对应的膨胀区域的数量是2个，目标类别缺陷是划伤为例，如果语义模型输出的候选区域A对应的膨胀区域A1在候选类别缺陷为划伤上的第一得分是0.4，在候选类别缺陷为裂痕上的第一得分是0.5，语义模型输出的候选区域A对应的膨胀区域A2在候选类别缺陷为划伤上的第一得分是0.3，在候选类别缺陷为裂痕上的第一得分是0.6，则计算膨胀区域A1在候选类别缺陷为划伤上的第一得分的平均值，得到0.35，并将其作为候选区域A发生候选类别缺陷划为划伤的第二得分；计算膨胀区域A1在候选类别缺陷为裂痕上的第一得分的平均值，得到0.56，并将其作为候选区域A发生候选类别缺陷划为裂痕的第二得分。

由于候选区域A发生候选类别缺陷划为裂痕的第二得分大于候选区域A发生候选类别缺陷划为划伤的第二得分，所以候选区域A对应的第二得分最高的候选类别缺陷确定为裂痕。

按照相同的方法确定出候选区域B对应的第二得分最高的候选类别缺陷，如果候选区域B对应的第二得分最高的候选类别缺陷为划伤，则将候选区域B确定为目标区域。

一并参照图6，图6示出了图1中语义模型的一种应用场景示意图。如图5所示，首先对原始图像样本中的目标对象进行标注，得到目标对象的边界框，得到待训练图像样本，并确定目标对象的类别信息；其次根据边界框，在待训练图像样本中确定目标对象对应的最小外接矩形区域，对最小外接矩形区域进行随机膨胀处理，得到膨胀区域，从待训练图像样本中的膨胀区域提取图像，得到包含有最小外接矩形区域的第一图像，并将第一图像中的最小外接矩形区域的各个像素的RGB值设置为0，以得到“回”字形的第二图像；再次基于类别信息和第二图像，对初始模型进行训练，以得到语义模型。

在得到语义模型之后，可以在背景图像中确定多个候选区域，利用语义模型从多个候选区域中确定不同类别的目标对象对应的目标区域，并将不同类别的目标对象对应的图像融合至该目标对象对应的目标区域，得到图像样本，以用于后期工业检测场景。

在步骤104中，将产品缺陷图像融合至目标区域，得到目标产品的与目标类别缺陷对应的缺陷图像样本。

在实现过程中，可以通过多种方式进行图像的融合，以使最终得到的缺陷图像样本更加平滑。

在一些实施例中，可以采用泊松融合的思想，确定产品缺陷图像的第一梯度场以及产品背景图像的第二梯度场；将第二梯度场中的目标区域对应的梯度场替换为第一梯度场，以得到初始融合图像的第三梯度场；根据第三梯度场确定变换矩阵系数；根据变换矩阵系数，构建目标产品的与目标类别缺陷对应的缺陷图像样本。

在实现过程中，可以利用中值差分方法，计算得到产品缺陷图像的水平梯度场和垂直梯度场，再利用这两个梯度场之和对产品缺陷图像的像素的RGB值进行卷积运算，得到产品缺陷图像的第一梯度场。利用相同的方法，可以计算得到产品背景图像的第二梯度场。

通过梯度场的替换，可以得到初始融合图像P’的第三梯度场，对第三梯度场求偏导，可以得到初始融合图像P’的散度Dori。构建方程M×Y＝Dori，其中，Y是待求解的变换矩阵系数，M可以是中心为-4、对角线为1且大小与图像大小相同的矩阵，Dori为初始融合图像P’的散度。通过上述方程可以求得变换矩阵系数Y，再利用变换矩阵系数Y乘以初始融合图像P’中每个像素点的像素的RGB值，得到目标融合图像P(即缺陷图像样本)的像素的RGB值，进而得到缺陷图像样本。

上述图像数据的处理方法中，通过利用语义模型确定目标类别缺陷对应的产品缺陷图像在目标产品的产品背景图像中的目标区域，不仅实现了工业场景中缺陷图像样本的自动生成，而且生成的缺陷图像样本可以满足后期使用要求，在用于神经网络学习时，可以提高该网络的深度学习能力。

图7示出了另一个实施例中图像数据的处理方法的流程示意图。如图7所示，图像数据的处理方法还可以包括以下步骤：

步骤701，对产品缺陷图像进行多次变形处理，得到多个第五图像；

步骤702，将多个第五图像分别融合到目标区域，得到目标产品的与目标类别缺陷对应的多个缺陷图像样本。

可以理解的是，为了增加缺陷图像样本的多样性，可以通过对产品缺陷图像进行变形处理，实现缺陷图像样本的批量制备。其中，变形指旋转、拉伸、放缩等几何变换。

在一些实施例中，目标产品的产品背景图像的数量为1，对产品缺陷图像进行N

在一些实施例中，图像数据的处理方法还可以包括以下步骤：获取用户基于第一控件选择的包含有目标类别缺陷的产品原始图像；响应于用户对第二控件的操作，基于产品原始图像，生成包含有目标类别缺陷的掩模图像；将产品原始图像与掩模图像进行融合，得到产品缺陷图像；响应于用户对第三控件的操作，执行对产品缺陷图像进行多次变形处理的步骤。

图8示出了用于生成图7中多个缺陷图像样本的一种操作界面示意图。如图8所示，用户可以点击第一控件(即打开图像控件)选择包含有目标类别缺陷的产品原始图像，再点击第二控件(即生成MASK控件)生成包含目标类别缺陷的掩模图像，之后再点击第三控件(即批量形变控件)，以实现目标类别缺陷对应的产品缺陷图像的N次变形处理。

在一些实施例中，响应于用户对第三控件的操作，还可以显示批量形变界面；根据用户在批量形变界面输入的形变强度和形变数量，对产品缺陷图像进行多次变形处理。

图9示出了图8中批量形变的一种操作界面示意图。如图9所示，用户可以选择保存路径、形变强度以及形变数量，形变数量决定了最终生成的缺陷图像样本的数量，选择完之后点击批量形变控件，通过进度条可以实时查看批量形变执行的进度。在批量形变完成之后，软件可以创建image目录，用于存放变形后的产品缺陷图像，点击结果筛选控件，会打开image文件夹，用户可以在该文件夹查看变形的效果，并删除变形效果不理想的图像。在另一些实施例中，在批量形变完成之后，软件也可以创建image和mask两个目录，分别用于存放包含有变形后的产品缺陷图像的产品图像和变形后的产品缺陷图像对应的掩模图像，点击结果筛选控件，会打开image文件夹，用户可以在该文件夹查看变形的效果，并删除变形效果不理想的图像，随后根据筛选后的image文件夹，去清理对应的mask文件夹，确保image文件夹和mask文件夹内的图像一一对应。

图10示出了图8中批量融合的一种操作界面示意图。用户可以在图8所示的操作界面点击批量拟合控件，并在弹出的如图10所示的操作界面中选择良品路径、结果路径和/或融合位置。良品路径为产品背景图像的存储路径，结果路径为缺陷图像样本的保存路径，融合位置可以基于语义模型自动确定，也可以由用户选择确定。融合生成的缺陷图像样本的数量等于形变数量和产品背景图像的数量的乘积。

在一些实施例中，目标产品的产品背景图像的数量为M

在一些实施例中，目标类别缺陷对应的产品缺陷图像的数量为N

在实现过程中，用户可以提前准备缺陷图像样本以及缺陷图像样本中的产品缺陷图像对应的掩模图像，分别存放在image文件夹和mask文件夹下，且缺陷图像样本和掩模图像一一对应。

用户可以基于与图9相同或相似的操作界面选择保存路径、形变强度以及形变数量，得到变形之后的产品缺陷图像。

用户还可以基于与图10相同或相似的操作界面选择瑕疵路径、良品路径、结果路径和/或融合位置。融合位置可以基于语义模型自动确定，也可以由用户选择确定。融合生成的缺陷图像样本的数量等于缺陷图像样本数量、形变数量和产品背景图像的数量的乘积。用户还可以查看融合生成的缺陷图像样本，并对其进行筛选和整理。

通过缺陷图像样本的批量制备，增加了缺陷图像样本的多样性，提高了缺陷图像样本的制备效率。

在一些实施例中，图像数据的处理方法还可以包括步骤：在产品缺陷图像的色彩与产品背景图像的色彩不一致的情况下，根据产品背景图像的色彩修改产品缺陷图像的色彩。

可以理解的是，产品缺陷图像的色彩与产品背景图像的色彩可能并不相同，当产品缺陷图像的色彩是灰度时，产品背景图像的色彩可能是灰度也可能是彩色，反之亦然。为了使产品缺陷图像更好地融合至产品背景图像的目标区域，可以对产品缺陷图像的色彩进行修改。

图11示出了用于生成图1中缺陷图像样本的一种操作界面示意图，如图11所示，在产品背景图像的色彩和产品缺陷图像的色彩均为灰度时，可以不对产品缺陷图像的色彩进行修改。

图12示出了用于生成图1中缺陷图像样本的另一种操作界面示意图，如图12所示，在产品缺陷图像的色彩为灰度，而产品背景图像的色彩为彩色时，可以将产品缺陷图像的色彩修改为彩色。

图13示出了用于生成图1中缺陷图像样本的又一种操作界面示意图，如图13所示，在产品缺陷图像的色彩为彩色，而产品背景图像的色彩为灰度时，可以将产品缺陷图像的色彩修改为灰度。

图14示出了用于生成图1中缺陷图像样本的又一种操作界面示意图，如图14所示，在产品背景图像的色彩和产品缺陷图像的色彩均为彩色时，可以不对产品缺陷图像的色彩进行修改。

通过根据产品背景图像的色彩自适应修改产品缺陷图像的色彩，使得产品缺陷图像可以更好地融合至产品背景图像的目标区域。

在一些实施例中，缺陷图像样本可以用于目标产品的缺陷检测。

可以理解的是，在工业检测行业，对目标产品进行缺陷检测的方式有多种，较常用的方式是利用深度学习网络进行缺陷检测。在得到缺陷图像样本后，可以将其应用于深度学习网络。由于缺陷图像样本中各种类别缺陷在合适位置，缺陷图像样本符合深度学习网络对训练数据的要求，所以该缺陷图像样本可以提高该网络的深度学习能力。

需要说明的是，目前工业场景下存在的工业场景缺陷图像样本难以收集的问题，可以通过本申请提出的图像数据的处理方法解决，本申请可以自动生成目标产品的各个种类缺陷对应的缺陷图像样本，并且可以快速且大批量的实现缺陷图像样本制备。如此可以基于生成的缺陷图像样本启动对目标产品的工业检测，达到了加快工业检测项目上线的目的。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的图像数据的处理方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的图像数据的处理方法的实施例。

参见图15，示出了本申请实施例中的图像数据的处理装置的框图。

如图15所示，本申请实施例的图像数据的处理装置，包括：图像获取单元1501、模型获取单元1502、目标区域确定单元1503和图像融合单元1504，其中，图像获取单元1501，用于获取目标类别缺陷对应的产品缺陷图像，以及目标产品的产品背景图像；模型获取单元1502，用于获取预先构建的语义模型，其中，语义模型具有确定各种类别缺陷在产品背景图像中的发生区域的能力；目标区域确定单元1503，用于利用语义模型在产品背景图像中确定目标类别缺陷对应的目标区域；图像融合单元1504，用于将产品缺陷图像融合至目标区域，得到目标产品的与目标类别缺陷对应的缺陷图像样本。

在一些实施例中，模型获取单元1502，还用于获取待训练图像样本，并确定待训练图像样本中的目标对象的边界信息和类别信息；根据边界信息，在待训练图像样本中确定目标对象对应的外接图形区域；获取包含有外接图形区域的第一图像；将第一图像中的外接图形区域的各个像素的RGB值设置为第一预设值，以得到第二图像；基于类别信息和第二图像，对初始模型进行训练，以得到语义模型。

在一些实施例中，模型获取单元1502，还用于获取包含有外接图形区域的第一图像，包括：对待训练图像样本中的外接图形区域进行膨胀处理，得到膨胀区域；从待训练图像样本中的膨胀区域提取图像，得到第一图像。

在一些实施例中，膨胀区域的面积小于第二预设值。

在一些实施例中，待训练图像样本的获取数量与目标语义关系的复杂程度正相关，其中，目标语义关系为第三图像与第四图像之间的语义关系，第三图像为待训练图像样本中的目标对象对应的图像，第四图像为待训练图像样本中除第三图像之外的图像。

在一些实施例中，目标区域确定单元1503，还用于在产品背景图像中确定多个候选区域以及与每个候选区域对应的膨胀区域，其中，候选区域的各个像素的RGB值被设置为第一预设值；通过语义模型对每个候选区域对应的膨胀区域进行打分，得到第一得分；根据每个候选区域对应的膨胀区域的第一得分，从多个候选区域中确定目标类别缺陷对应的目标区域。

在一些实施例中，每个候选区域对应的膨胀区域的数量有多个，第一得分用于表征在对应候选区域发生目标类别缺陷的概率，目标区域确定单元1503，还用于将每个候选区域对应的多个膨胀区域的第一得分的平均值，作为每个候选区域对应的第二得分；将第二得分最高的候选区域确定为目标类别缺陷对应的目标区域。

在一些实施例中，每个候选区域对应的膨胀区域的数量有多个，每个膨胀区域对应的第一得分有多个，其中，每个第一得分用于表征在对应候选区域发生对应候选类别缺陷的概率，目标区域确定单元1503，还用于将每个候选区域对应的多个膨胀区域在各个候选类别缺陷上的第一得分的平均值，作为每个候选区域发生各个候选类别缺陷的第二得分；根据每个候选区域发生各个候选类别缺陷的第二得分，将第二得分最高的候选类别缺陷确定每个候选区域对应的目标类别缺陷；将目标类别缺陷对应的候选区域，确定为目标类别缺陷对应的目标区域。

在一些实施例中，图像获取单元1501，还用于获取包含有目标类别缺陷的产品原始图像，以及包含目标类别缺陷的掩模图像；将产品原始图像与掩模图像进行融合，得到产品缺陷图像。

在一些实施例中，图像获取单元1501，还用于获取包含有目标类别缺陷的产品原始图像；从产品原始图像中提取目标类别缺陷对应的图像，得到产品缺陷图像。

在一些实施例中，图像融合单元1504，还用于确定产品缺陷图像的第一梯度场以及产品背景图像的第二梯度场；将第二梯度场中的目标区域对应的梯度场替换为第一梯度场，以得到初始融合图像的第三梯度场；根据第三梯度场确定变换矩阵系数；根据变换矩阵系数，构建目标产品的与目标类别缺陷对应的缺陷图像样本。

在一些实施例中，图像数据的处理装置还包括批量制备单元(图未示)，用于对产品缺陷图像进行多次变形处理，得到多个第五图像；将多个第五图像分别融合到目标区域，得到目标产品的与目标类别缺陷对应的多个缺陷图像样本。

在一些实施例中，批量制备单元还用于获取用户基于第一控件选择的包含有目标类别缺陷的产品原始图像；响应于用户对第二控件的操作，基于产品原始图像，生成包含有目标类别缺陷的掩模图像；将产品原始图像与掩模图像进行融合，得到产品缺陷图像；响应于用户对第三控件的操作，执行对产品缺陷图像进行多次变形处理的步骤。

在一些实施例中，批量制备单元还用于响应于用户对第三控件的操作，显示批量形变界面；根据用户在批量形变界面输入的形变强度和形变数量，执行对产品缺陷图像进行多次变形处理的步骤。

在一些实施例中，图像数据的处理装置还包括图像拟合单元(图未示)，用于在产品缺陷图像的色彩与产品背景图像的色彩不一致的情况下，根据产品背景图像的色彩修改产品缺陷图像的色彩。

在一些实施例中，缺陷图像样本用于目标产品的缺陷检测。

基于同一发明构思，本申请实施例还提供了一种图像数据的处理设备，参考图16，示出了本申请实施例中的图像数据的处理设备的结构示意图，所述图像数据的处理设备包括一个或多个存储器1604、一个或多个处理器1602及存储在存储器1604上并可在处理器1602上运行的至少一条计算机程序(计算机程序指令)，处理器1602执行所述计算机程序时实现如前所述的方法。

其中，在图16中，总线架构(用总线1600来代表)，总线1600可以包括任意数量的互联的总线和桥，总线1600将包括由处理器1602代表的一个或多个处理器和存储器1604代表的存储器的各种电路链接在一起。总线1600还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口1605在总线1600和接收器1601和发送器1603之间提供接口。接收器1601和发送器1603可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器1602负责管理总线1600和通常的处理，而存储器1604可以被用于存储处理器1602在执行操作时所使用的数据。

基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，促使所述处理器实现如前所述的方法的步骤。

本文中所描述的功能可在硬件、由处理器执行的软件、固件或其任何组合中实施。如果在由处理器执行的软件中实施，那么可将功能作为一或多个指令或代码存储于计算机可读媒体上或经由计算机可读媒体予以传输。其它实例及实施方案在本申请及所附权利要求书的范围及精神内。举例来说，归因于软件的性质，上文所描述的功能可使用由处理器、硬件、固件、硬连线或这些中的任何者的组合执行的软件实施。此外，各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为控制装置的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序指令的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。