应用于工业表面检测的模型训练方法及装置

技术领域

本申请属于计算机视觉技术领域，尤其涉及一种应用于工业表面检测的模型训练方法及装置。

背景技术

在工业检测中，目前常通过深度学习算法训练用于工业表面检测的模型。在此基础上，可以通过工业表面检测的模型，对在多种光场下获得的图像数据进行分析。

但使用多种光场下获得的图像数据，增加了训练用于工业表面检测的模型的复杂性。当前的深度学习算法主要针对单光场的RGB图像，在需要使用多种光场下获得的图像数据，则需要分别获取每个光场下的图像数据，一方面需要获取大量标注的数据，另一方面不同光场条件下的光照和反射等因素引入了额外的噪声和变化。综上，现有技术训练应用于工业表面检测的模型的效率较低，模型的性能也较差。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种应用于工业表面检测的模型训练方法及装置，能提高训练应用于工业表面检测的模型的效率。

第一方面，本申请提供了一种应用于工业表面检测的模型训练方法，该方法包括：

获取每一目标光场下无缺陷的目标工业表面的第一图像，以及每一所述目标光场下的每一缺陷的第二图像；所述目标光场的数量为多个；

分别针对每一所述目标光场，从所述目标光场下的全部所述第二图像中，任意选择不超过目标数量的所述第二图像作为缺陷区域，分别添加在所述目标光场下的所述第一图像中的随机位置，获取样本图像，并确定所述样本图像对应的标签；

基于各所述样本图像和各所述样本图像对应的标签，对用于工业表面检测的模型进行训练。

根据本申请的应用于工业表面检测的模型训练方法，通过数据增强操作，使用缺陷贴图技术，将多种光场下的缺陷信息叠加到无缺陷的工业表面的图像中，生成对应多种光场和多种缺陷等场景的样本图像，能实现利用少量的缺陷图像，生成大量的包含缺陷的训练样本，解决缺乏高质量标注数据的问题，能在减少构建用于训练模型的样本集的时间和成本的情况下，保证训练样本的多样性，样本集能够涵盖多种类型的光场和多种类型的缺陷，从而能实现既提高模型训练的效率又提高模型的准确率，能通过更好的利用多种光场下图像数据，使得深度学习算法可以适配多种光场之间不同的组合方式，能提高模型和使用该模型的工业表面检测算法的鲁棒性。

根据本申请的一个实施例，所述基于各所述样本图像和各所述样本图像对应的标签，对用于工业表面检测的模型进行训练，包括：

针对每一所述样本图像，基于第一目标概率确定所述样本图像对应的目标光场是否参与所述模型的训练；

在所述样本图像对应的目标光场不参与所述模型的训练的情况下，对所述样本图像和所述样本图像对应的标签进行置零操作。

根据本申请的应用于工业表面检测的模型训练方法，通过分光场进行掩膜，进行适配各种光场通道不存在的情况的数据增强，具体通过基于第一目标概率确定样本图像对应的目标光场是否参与模型的训练，在样本图像对应的目标光场不参与模型的训练的情况下，对样本图像和样本图像对应的标签进行置零操作，使得模型能够适应于新的、之前未学习过的光场的情况，从而能提高模型的适用性。

根据本申请的一个实施例，所述第一目标概率是所述样本图像对应的目标光场对应的概率。

根据本申请的一个实施例，所述针对每一所述样本图像，基于概率确定所述样本图像对应的目标光场是否参与所述模型的训练之后，还包括：

在所述样本图像对应的目标光场参与所述模型的训练的情况下，将所述样本图像输入所述模型，以根据所述模型的输出和所述样本图像对应的标签，调整所述模型的参数。

根据本申请的一个实施例，所述基于各所述样本图像和各所述样本图像对应的标签，对用于工业表面检测的模型进行训练，包括：

针对每一所述样本图像，基于缺陷的类型对应的第二目标概率，确定所述样本图像中的每一所述缺陷区域是否参与所述模型的训练；

在所述缺陷区域不参与所述模型的训练的情况下，从所述样本图像中去掉不参与所述模型的训练的所述缺陷区域并对应修改所述样本图像对应的标签。

根据本申请的一个实施例，所述基于各所述样本图像和各所述样本图像对应的标签，对用于工业表面检测的模型进行训练，包括：

基于各所述样本图像，获取多组所述样本图像；每组所述样本图像包括的所述样本图像数量与所述目标光场的数量相同，且每组所述样本图像包括的所述样本图像与所述目标光场一一对应；

分别将每组所述样本图像融合成多光场通道的叠加图像，并将每组所述样本图像对应的标签合并为所述叠加图像对应的标签；

基于各所述叠加图像和各所述叠加图像对应的标签，对所述模型进行训练。

第二方面，本申请提供了一种应用于工业表面检测的模型训练装置，该装置包括：

获取模块，用于获取每一目标光场下无缺陷的目标工业表面的第一图像，以及每一所述目标光场下的每一缺陷的第二图像；所述目标光场的数量为多个；

贴图模块，用于分别针对每一所述目标光场，从所述目标光场下的全部所述第二图像中，任意选择不超过目标数量的所述第二图像作为缺陷区域，分别添加在所述目标光场下的所述第一图像中的随机位置，获取样本图像，并确定所述样本图像对应的标签；

训练模块，用于基于各所述样本图像和各所述样本图像对应的标签，对用于工业表面检测的模型进行训练。

根据本申请的应用于工业表面检测的模型训练装置，通过数据增强操作，使用缺陷贴图技术，将多种光场下的缺陷信息叠加到无缺陷的工业表面的图像中，生成对应多种光场和多种缺陷等场景的样本图像，能实现利用少量的缺陷图像，生成大量的包含缺陷的训练样本，解决缺乏高质量标注数据的问题，能在减少构建用于训练模型的样本集的时间和成本的情况下，保证训练样本的多样性，样本集能够涵盖多种类型的光场和多种类型的缺陷，从而能实现既提高模型训练的效率又提高模型的准确率，能通过更好的利用多种光场下图像数据，使得深度学习算法可以适配多种光场之间不同的组合方式，能提高模型和使用该模型的工业表面检测算法的鲁棒性。

第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的应用于工业表面检测的模型训练方法。

第四方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的应用于工业表面检测的模型训练方法。

第五方面，本申请提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的应用于工业表面检测的模型训练方法。

第六方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的应用于工业表面检测的模型训练方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例提供的应用于工业表面检测的模型训练方法的流程示意图；

图2是本申请实施例提供的应用于工业表面检测的模型训练方法的实施过程的示意图；

图3是本申请实施例提供的应用于工业表面检测的模型训练装置的结构示意图；

图4是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

相关技术中，图像分割算法等用于工业表面检测的算法通常基于单光场的RGB图像实施，因而算法的应用场景受到限制，难以对各种场景实现全面适用。

与此不同的是，在多种光场下获得的图像数据，可以提供不同角度和频率的信息，从而增强对目标的理解和检测的准确性。

在多种光场下获得的图像数据用于工业表面检测的优势主要在于，能够捕捉到更多细节和特征，使得用于工业表面检测的模型及使用该模型的工业表面检测算法更具有鲁棒性和适应性。这种技术的进步可以为工业领域提供更精确、可靠的检测和分析手段，推动自动化和质量控制方面涉及的技术的发展。

但传统的深度学习算法主要针对单光场的RGB图像，而多光场场景具有复杂性，传统的深度学习算法在多光场场景下的应用面临巨大挑战。多光场场景指使用多种光场下获得的图像数据的场景。传统的深度学习算法在处理输入的在多种光场下获得的图像数据，需要克服的问题可以包括：如何有效融合不同光场的信息、如何处理不同光场下的图像数据之间的不一致性以及如何应对更高维度的输入。

传统的深度学习算法在面对各种光场任意组合的场景时，无法适配，主要存在以下缺点。

首先，深度学习模型通常需要大量标注的数据进行训练，但在实际工业环境中，获取充足而准确的各种光场下的数据是一项挑战。缺乏充足而准确的训练数据，会导致模型在面对未学习过的光场组合的情况下，可能表现不佳，缺乏泛化能力。

其次，多种光场下图像数据的复杂性会增加模型训练和调整的难度。不同光场条件下的光照和反射等因素会引入额外的噪声和变化，使得模型更容易受到干扰。调整深度学习模型以适应各种光场组合，一般需要通过更复杂的架构和/或更多的参数调优来解决，会增加算法设计和调试的复杂性。

第三，多光场场景下，数据融合和特征提取也变得更为复杂。如何选择合适的融合策略和注意力机制等对于提取关键信息至关重要，但传统的深度学习算法在处理各种光场组合时存在局限性，导致模型无法有效地捕捉不同光场下目标的准确特征，影响检测和分割的性能。

综上所述，传统的深度学习算法无法适配各种光场任意组合的场景，面对各种光场任意组合的场景仍存在数据获取、泛化能力、模型复杂性和特征提取等方面的挑战。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的应用于工业表面检测的模型训练方法、应用于工业表面检测的模型训练装置、电子设备和可读存储介质进行详细地说明。

其中，应用于工业表面检测的模型训练方法可应用于终端，具体可由，终端中的硬件或软件执行。

该终端包括但不限于具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话或平板电脑等便携式通信设备。还应当理解的是，在某些实施例中，该终端可以不是便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

以下各个实施例中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和控制杆的一个或多个其它物理用户接口设备。

本申请实施例提供的应用于工业表面检测的模型训练方法，该应用于工业表面检测的模型训练方法的执行主体可以为电子设备或者电子设备中能够实现该应用于工业表面检测的模型训练方法的功能模块或功能实体，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机和可穿戴设备等，下面以电子设备作为执行主体为例对本申请实施例提供的应用于工业表面检测的模型训练方法进行说明。

如图1所示，该应用于工业表面检测的模型训练方法包括：步骤110、步骤120和步骤130。

步骤110、获取每一目标光场下无缺陷的目标工业表面的第一图像，以及每一目标光场下的每一缺陷的第二图像；目标光场的数量为多个。

在实际的执行中，可以分别在每一目标光场下，通过控制摄像头等获取无缺陷的目标工业表面的第一图像。

并且，还可以分别在每一目标光场下，通过控制摄像头等，分别获取目标工业表面在该目标光场下的每一种缺陷的第二图像。该目标光场下的缺陷是该目标光场对应的二缺陷，相应地，该缺陷是该目标光场对应的缺陷。

在一些实施例中，目标光场可以包括多种光场：明场、暗场、低反场和亮反场等多种光场中的至少两种。低反场可以是反光率低于第一阈值的光场。亮反场可以是反光率高于第二阈值的光场。在同一场景中，第二阈值大于第一阈值。

需要说明的是，多种光场下有缺陷的目标工业表面的图像数据比较难以获取，但是在多种光场下获得没有缺陷的目标工业表面的图像数据容易获取，不同光场下的缺陷的图像数据也容易获取。

获取每一第二图像之后，可以通过人工标注或自动标注等方式，标注出该第二图像中缺陷的形态。

步骤120、分别针对每一目标光场，从目标光场下的全部第二图像中，任意选择不超过目标数量的第二图像作为缺陷区域，分别添加在目标光场下的第一图像中的随机位置，获取样本图像，并确定样本图像对应的标签。

在实际的执行中，步骤120为分光场进行缺陷贴图的步骤。可以通过使用随机贴图策略，在不同目标光场的第一图像中的随机位置，随机贴上该目标光场对应的一个缺陷，得到一个样本图像。

在一些实施例中，贴上该目标光场对应的一个缺陷，可以通过将第二图像作为缺陷区域添加在第一图像中实现。

如图2所示，该场景下存在N中目标光场(目标光场1至目标光场N)，通过分光场进行贴图，可以将目标光场1对应的缺陷随机贴在目标光场1的第一图像中，将目标光场2对应的缺陷随机贴在目标光场2的第一图像中，……，以及将目标光场N对应的缺陷随机贴在目标光场N的第一图像中。其中，N为正整数。

可以理解的是，缺陷贴图结束之后，每个目标光场对应的样本图像中都存在若干缺陷。

在一些实施例中，随机位置的数量可以为至少一个。但随机位置的数量不宜过大，否则会与实际的工业表面检测场景相差过大，影响检测的准确性。

获取样本图像之后，可以基于前述已标注出的、添加的缺陷的第二图像中缺陷的形态，在样本图像中该缺陷对应的缺陷区域赋值，以指示该区域为缺陷，从而得到该样本图像对应的标签。

在一些实施例中，在样本图像中该缺陷对应的缺陷区域赋值，可以为对该缺陷区域赋予与样本图像对应的目标光场相对应的值，以将缺陷与目标光场之间的对应关系体现在标签中，使得训练好的用于工业表面检测的模型不仅可以检测出缺陷，还可以输出缺陷对应的目标光场的信息，提高检测的效率。

步骤130、基于各样本图像和各样本图像对应的标签，对用于工业表面检测的模型进行训练。

在实际的执行中，获取各样本图像和各样本图像对应的标签之后，可以分别将每一样本图像输入待训练的模型，该模型的输出与该样本图像对应的标签之间的偏差，调整该模型的内部参数，直至该模型的输出满足精度要求或收敛，从而得到训练好的用于工业表面检测的模型。

需要说明的是，对于训练好的用于工业表面检测的模型具体可以执行的工业表面检测任务的类型，本申请实施例不进行限定。例如，该模型可以用于但不限于对光伏玻璃表面、手机中框表面或软包印刷品表面等进行检测。

根据本申请实施例提供的应用于工业表面检测的模型训练方法，通过数据增强操作，使用缺陷贴图技术，将多种光场下的缺陷信息叠加到无缺陷的工业表面的图像中，生成对应多种光场和多种缺陷等场景的样本图像，能实现利用少量的缺陷图像，生成大量的包含缺陷的训练样本，能解决缺乏高质量标注数据的问题，能在减少构建用于训练模型的样本集的时间和成本的情况下，保证训练样本的多样性，样本集能够涵盖多种类型的光场和多种类型的缺陷，从而能实现既提高模型训练的效率又提高模型的准确率，能通过更好的利用多种光场下图像数据，使得深度学习算法可以适配多种光场之间不同的组合方式，能提高模型和使用该模型的工业表面检测算法的鲁棒性。

在一些实施例中，基于各样本图像和各样本图像对应的标签，对用于工业表面检测的模型进行训练，包括：针对每一样本图像，基于第一目标概率确定样本图像对应的目标光场是否参与模型的训练。

在实际的执行中，针对每一样本图像，以一定概率判断该样本图像对应的目标光场是否参与该用于工业表面检测模型的训练。

作为样本图像的底图的第一图像是在哪种目标光场下获取的，该目标光场是该样本图像对应的目标光场。

上述一定概率可以预先设定的第一目标概率。对于第一目标概率的具体值，本申请实施例不进行限定。对于任意两种目标光场，第一目标概率的值可以相同或不同。

在样本图像对应的目标光场不参与模型的训练的情况下，对样本图像和样本图像对应的标签进行置零操作。

在实际的执行中，若样本图像对应的目标光场是不参与该模型的训练的目标光场，该目标光场将被替换为全为零的光场通道，即对该样本图像进行置零操作。

相应地，由于该目标光场不参与该模型的训练，该样本图像对应的标签也会被赋值为零。

需要说明的是，如图2所示，本申请实施例实施的过程，是一种分光场进行掩膜的处理过程。

可以理解的是，由于是以一定概率判断该样本图像对应的目标光场是否参与该用于工业表面检测模型的训练，因而对于同一目标光场的任意两幅样本图像(样本图像A和样本图像B)，可能出现两幅样本图像都被置零、样本图像A被置零且样本图像B未被置零、样本图像B未被置零且样本图像B被置零和两幅样本图像都未被置零等四种情况。但在每一目标光场的样本图像的数量足够大的情况下，一般不会出现该目标光场的所有样本图像都被置零的情况。

根据本申请实施例提供的应用于工业表面检测的模型训练方法，通过分光场进行掩膜，进行适配各种光场通道不存在的情况的数据增强，具体通过基于第一目标概率确定样本图像对应的目标光场是否参与模型的训练，在样本图像对应的目标光场不参与模型的训练的情况下，对样本图像和样本图像对应的标签进行置零操作，使得模型能够适应于新的、之前未学习过的光场的情况，从而能提高模型的适用性。

在一些实施例中，第一目标概率是样本图像对应的目标光场对应的概率。

在实际的执行中，每一种目标光场可以分别对应一个第一目标概率。每一种目标光场对应的第一目标概率的值可以相同或不同。

在一些实施例中，可以基于各种目标光场在实际的工业表面检测中应用的比例，确定每种目标光场对应的第一目标概率。示例性地，可以直接将该比例作为目标光场对应的第一目标概率，或者，也可以在该比例的基础上，进行基于运算(例如乘以修正系数等)，得到目标光场对应的第一目标概率。

根据本申请实施例提供的应用于工业表面检测的模型训练方法，通过将目标光场与第一目标概率对应，目标光场是否参与模型的训练的概率与该目标光场自身的情况相关，能更加准确的模拟实际的工业表面检测场景中光场的情况，训练好的模型能够更适应实际情况，实用性更强。

在一些实施例中，针对每一样本图像，基于概率确定样本图像对应的目标光场是否参与模型的训练之后，还包括：在样本图像对应的目标光场参与模型的训练的情况下，将样本图像输入模型，以根据模型的输出和样本图像对应的标签，调整模型的参数。

在实际的执行中，若样本图像对应的目标光场是参与该模型的训练的目标光场，则可以将该样本图像输入待训练的模型，该模型的输出与该样本图像对应的标签之间的偏差，调整该模型的内部参数，直至该模型的输出满足精度要求或收敛，从而得到训练好的用于工业表面检测的模型。

根据本申请实施例提供的应用于工业表面检测的模型训练方法，通过在样本图像对应的目标光场参与模型的训练的情况下，将样本图像输入模型，以根据模型的输出和样本图像对应的标签，调整模型的参数，能实现利用多样性好的样本图像对模型进行训练，能提高模型训练的效果，得到准确率更高的模型。

在一些实施例中，基于各样本图像和各样本图像对应的标签，对用于工业表面检测的模型进行训练，包括：针对每一样本图像，基于缺陷的类型对应的第二目标概率，确定样本图像中的每一缺陷区域是否参与模型的训练。

在实际的执行中，还可以针对每一样本图像，以一定的概率判断该样本图像中的每一缺陷区域是否参与模型的训练，以进行分光场对缺陷进行随机掩膜。

上述一定概率可以预先设定的第二目标概率。对于第二目标概率的具体值，本申请实施例不进行限定。对于同一目标光场对应的任意两种缺陷的类型，第二目标概率的值可以相同或不同。

在一些实施例中，可以基于在实际的工业表面检测中，该目标光场下各种类型的缺陷出现的比例，确定每种缺陷的类型对应的第二目标概率。示例性地，可以直接将该比例作为缺陷的类型对应的第二目标概率，或者，也可以在该比例的基础上，进行基于运算(例如加上修正系数等)，得到缺陷的类型对应的第二目标概率。

在缺陷区域不参与模型的训练的情况下，从样本图像中去掉不参与模型的训练的缺陷区域并对应修改样本图像对应的标签。

在实际的执行中，若该样本图像中的任意一个缺陷区域不参与模型的训练的情况下，可以通过将该缺陷区域回复为与作为该样本图像的第一图像相同的方式，去掉该缺陷区域并对应修改样本图像对应的标签。

在一些实施例中，对应修改样本图像对应的标签是在样本图像对应的标签中将该缺陷区域赋值为与非缺陷区域相同或者赋值为零。

可以理解的是，对于任意一个缺陷区域，在缺陷区域参与模型的训练的情况下，保留该样本图像中的该缺陷区域；在对该样本图像中的所有缺陷区域进行保留或去掉操作之后，可以将进行上述操作得到的新的图像及该图像对应的标签输入模型，以对该模型进行训练。

根据本申请实施例提供的应用于工业表面检测的模型训练方法，通过基于缺陷的类型对应的第二目标概率，确定样本图像中的每一缺陷区域是否参与模型的训练，在缺陷区域不参与模型的训练的情况下，从样本图像中去掉不参与模型的训练的缺陷区域并对应修改样本图像对应的标签，能进一步扩充训练数据，对样本集进行数据增强，能解决缺乏高质量标注数据的问题，能在减少构建用于训练模型的样本集的时间和成本的情况下，保证训练样本的多样性，样本集能够涵盖多种类型的光场和多种类型的缺陷，从而能实现既提高模型训练的效率又提高模型的准确率。

在一些实施例中，基于各样本图像和各样本图像对应的标签，对用于工业表面检测的模型进行训练，包括：基于各样本图像，获取多组样本图像；每组样本图像包括的样本图像数量与目标光场的数量相同，且每组样本图像包括的样本图像与目标光场一一对应。

在实际的执行中，可以随机从每种目标光场对应的样本图像随机选择一个，组成一组样本图像。可以理解的是，在目标光场的数量为正整数M的情况下，每组样本图像由M幅样本图像组成，且涵盖每种目标光场。

分别将每组样本图像融合成多光场通道的叠加图像，并将每组样本图像对应的标签合并为叠加图像对应的标签。

在实际的执行中，可以分别针对每组样本图像，将该组中的M幅样本图像进行堆叠，融合为一幅多光场通道的叠加图像。该叠加图像的每一通道与目标光场一一对应。叠加图像中每个通道提供了不同的视角和物理信息，有助于提高使用模型进行检测的准确性。

相应地，将该组中的M幅样本图像对应的标签，合并为该叠加图像对应的标签。

基于各叠加图像和各叠加图像对应的标签，对模型进行训练。

在实际的执行中，获取各叠加图像和各叠加图像对应的标签之后，可以分别将每一叠加图像输入待训练的模型，该模型的输出与该叠加图像对应的标签之间的偏差，调整该模型的内部参数，直至该模型的输出满足精度要求或收敛，从而得到训练好的用于工业表面检测的模型。

根据本申请实施例提供的应用于工业表面检测的模型训练方法，通过将包括各种目标光场的一种样本图像融合为多光场通道的叠加图像，将叠加图像用于模型的训练，能充分学习不同光场下的图像特征，从而能提模型的准确性和稳定性。并且，该模型能不受获取待检测图像的光场的制约，能提高使用模型进行检测的准确率和效率。

本申请实施例提供的应用于工业表面检测的模型训练方法，执行主体可以为应用于工业表面检测的模型训练装置。本申请实施例中以应用于工业表面检测的模型训练装置执行应用于工业表面检测的模型训练方法为例，说明本申请实施例提供的应用于工业表面检测的模型训练装置。

本申请实施例还提供一种应用于工业表面检测的模型训练装置。

如图3所示，该应用于工业表面检测的模型训练装置包括：获取模块310、贴图模块320和训练模块330。

获取模块310，用于获取每一目标光场下无缺陷的目标工业表面的第一图像，以及每一目标光场下的每一缺陷的第二图像；目标光场的数量为多个；

贴图模块320，用于分别针对每一目标光场，从目标光场下的全部第二图像中，任意选择不超过目标数量的第二图像作为缺陷区域，分别添加在目标光场下的第一图像中的随机位置，获取样本图像，并确定样本图像对应的标签；

训练模块330，用于基于各样本图像和各样本图像对应的标签，对用于工业表面检测的模型进行训练。

根据本申请实施例提供的应用于工业表面检测的模型训练装置，通过数据增强操作，使用缺陷贴图技术，将多种光场下的缺陷信息叠加到无缺陷的工业表面的图像中，生成对应多种光场和多种缺陷等场景的样本图像，能实现利用少量的缺陷图像，生成大量的包含缺陷的训练样本，解决缺乏高质量标注数据的问题，能在减少构建用于训练模型的样本集的时间和成本的情况下，保证训练样本的多样性，样本集能够涵盖多种类型的光场和多种类型的缺陷，从而能实现既提高模型训练的效率又提高模型的准确率，能通过更好的利用多种光场下图像数据，使得深度学习算法可以适配多种光场之间不同的组合方式，能提高模型和使用该模型的工业表面检测算法的鲁棒性。

在一些实施例中，训练模块330，可以包括：

第一确定单元，用于针对每一样本图像，基于第一目标概率确定样本图像对应的目标光场是否参与模型的训练；

置零单元，用于在样本图像对应的目标光场不参与模型的训练的情况下，对样本图像和样本图像对应的标签进行置零操作。

在一些实施例中，第一目标概率是样本图像对应的目标光场对应的概率。

在一些实施例中，训练模块330，可以还包括：

调整单元，用于在样本图像对应的目标光场参与模型的训练的情况下，将样本图像输入模型，以根据模型的输出和样本图像对应的标签，调整模型的参数。

在一些实施例中，训练模块330，可以包括：

第二确定单元，用于针对每一样本图像，基于缺陷的类型对应的第二目标概率，确定样本图像中的每一缺陷区域是否参与模型的训练；

图像处理单元，用于在缺陷区域不参与模型的训练的情况下，从样本图像中去掉不参与模型的训练的缺陷区域并对应修改样本图像对应的标签。

在一些实施例中，训练模块330，可以包括：

获取单元，用于基于各样本图像，获取多组样本图像；每组样本图像包括的样本图像数量与目标光场的数量相同，且每组样本图像包括的样本图像与目标光场一一对应；

叠加单元，用于分别将每组样本图像融合成多光场通道的叠加图像，并将每组样本图像对应的标签合并为叠加图像对应的标签；

调整单元，还可以用于基于各叠加图像和各叠加图像对应的标签，对模型进行训练。

本申请实施例中的应用于工业表面检测的模型训练装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digitalassistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的应用于工业表面检测的模型训练装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的应用于工业表面检测的模型训练装置能够实现图1至图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。

在一些实施例中，如图4所示，本申请实施例还提供一种电子设备400，包括处理器410、存储器420及存储在存储器420上并可在处理器410上运行的计算机程序，该程序被处理器410执行时实现上述应用于工业表面检测的模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

本申请实施例还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述应用于工业表面检测的模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述应用于工业表面检测的模型训练方法。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述应用于工业表面检测的模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。