模型训练设备

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种模型训练设备。

背景技术

随着移动通信技术的快速发展以及人民生活水平的提升，各种智能终端已广泛应用于人民的日常工作和生活，使得人们越来越习惯于使用终端应用程序，使得美颜自拍、拍照测肤此类功能的APP需求也变得越来越多，对脸部痘痘情况的分析也有很大的需求，可以根据痘痘类型，针对性地提出或查询皮肤改善方案。

然而痘痘面积小，不同类别之间可区分的特征不明显，导致目前对痘痘类型识别的准确度较低。

发明内容

本申请提供了一种模型训练设备，以解决现有技术中对痘痘类别识别不准确的技术问题。

本申请提供了一种模型训练设备，包括存储器以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序；所述一个或多个计算机程序被存储在所述存储器中；所述一个或多个处理器在执行所述一个或多个计算机程序时，执行如下步骤：

获取样本数据集，所述样本数据集包括多个属于不同痘痘类型的样本图像；

获取每个痘痘类型所对应的一个标准图像，所述一个标准图像用于代表一个痘痘类型的痘痘样式；

计算各个所述样本图像的类别概率标签，所述类别概率标签包括所述样本图像与每个所述标准图像之间的相似度概率；

基于所述各个样本图像和所述各个样本图像对应的类别概率标签训练分类网络模型，获得痘痘类型识别模型。

该技术方案具有如下有益效果：

通过获取样本数据集，上述样本数据集包括多个属于不同痘痘类型的样本图像，获取每个痘痘类型所对应的一个标准图像，上述一个标准图像用于代表一个痘痘类型的痘痘样式，计算各个上述样本图像的类别概率标签，上述类别概率标签包括上述样本图像与每个上述标准图像之间的相似度信息，再基于上述各个样本图像和上述各个样本图像对应的类别概率标签训练分类网络模型，获得痘痘类型识别模型，可以对痘痘类型进行较准确识别。传统的分类标签方式，分类的准确度不高，而本申请中在模型训练时采用样本图像与每个所述标准图像之间的相似度信息进行标注，可以从标签上体现出类别之间的相似程度，将痘痘类型标签概率化，使得模型能够学习痘痘类型之间的相似特征，从而提升痘痘类型识别的准确度。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1为本申请实施例提供的一种模型训练设备的硬件结构图；

图2为本申请实施例提供的一种痘痘类型识别模型训练方法的流程示意图；

图3为本申请实施例提供的一种痘痘类型识别模型训练方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例中涉及的神经网络(Neural Networks，NN)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。

卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。

下面结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图1所示，图1为本申请实施例提供的一种模型训练设备的硬件结构图，其中，所述模型训练设备100可以是任何类型，具有运算能力的电子设备，例如：智能手机、计算机、掌上电脑、平板电脑等。

具体地，如图1所示，所述模型训练设备100包括一个或多个处理器102以及存储器104。图1中以一个处理器102为例。处理器102和存储器104可以通过总线或者其他方式连接，图1中以通过总线连接为例。

存储器104作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如痘痘类型识别模型训练方法对应的程序、指令以及模块。处理器102通过运行存储在存储器104中的非易失性软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理。

存储器104可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据模型训练设备使用所创建的数据等。此外，存储器104可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器104可选包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至模型训练设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例中模型训练设备用于对痘痘类型识别模型进行训练，以得到用于检测图像中的痘痘类型的模型。存储器104用于存储痘痘类型识别模型训练方法的计算机实现程序，处理器102用于读取和执行计算机可读指令。具体的，处理器102可用于调用存储于存储器104中的痘痘类型识别模型训练方法的计算机实现程序，并执行该计算机实现程序中包含的指令，从而执行有关于痘痘类型识别模型训练方法的方法步骤。有关于处理器102执行的痘痘类型识别模型训练方法的方法步骤，可参见下述图2或图3对应的描述。

请参阅图2，图2是本申请实施例提供的一种痘痘类型识别模型训练方法的流程示意图。该方法可包括：

201、获取样本数据集，上述样本数据集包括多个属于不同痘痘类型的样本图像。

具体的，可以先构建样本数据集。上述样本数据集可以包括不同的应用场景、不同的拍摄质量以及不同痘痘类型的样本图像。其中痘痘类型可包括粉刺、逗后红斑、炎症性丘疹、脓包、结节和囊肿等。

在一种实施方式中，该方法包括：

获取多个包含痘痘的图像数据，上述痘痘属于不同类别；

对上述多个图像数据进行归一化处理，获得预设大小的多个上述样本图像，获得上述样本数据集。

由于痘痘图像较小，因此可以先对图像数据进行归一化操作，将图像大小设置为预设大小，以便准确进行后续处理。

202、获取每个痘痘类型所对应的一个标准图像，上述一个标准图像用于代表一个痘痘类型的痘痘样式。

具体的，可以预先设置每个痘痘类型对应的一个标准图像。可选的，可以从收集的痘痘类型数据集中，选择出上述标准图像，该标准图像可以作为对应痘痘类型的代表样式图像，作为其他处理图像分类时的对比参考图像。

举例来讲，痘痘类型可包括粉刺、逗后红斑、炎症性丘疹、脓包、结节和囊肿六类样本，则选择出标准的六种痘痘类型图像，可对应表示为：

203、计算各个上述样本图像的类别概率标签，上述类别概率标签包括上述样本图像与每个上述标准图像之间的相似度信息。

具体的，对任一样本图像，可以与标准图像进行相似度衡量，来生成样本图像的类别概率标签，其中的相似度信息可以考虑图像亮度、对比度、结构等特征的相似度，可以根据预设的计算规则计算各方面的相似度评价值，并整合为一个概率值，可以反映一个样本图像属于一个标准图像对应的痘痘类型的概率。

在一种实施方式中，上述步骤203可包括：

对任意一个上述样本图像，计算上述样本图像与上述每个标准图像之间的相似度概率；

获取上述样本图像的人工标签，上述人工标签用于标注上述样本图像所属的痘痘类型；

根据上述样本图像的人工标签和上述相似度概率，生成上述样本图像的上述类别概率标签。

上述样本图像的人工标签可以是人工标定的结果，人工标签中的概率值为1或0，表示是否属于某个痘痘类型：1表示属于，0表示不属于。比如，痘痘类型包括粉刺、逗后红斑、炎症性丘疹、脓包、结节和囊肿六类，在人工标签中的类别也按照如上顺序排列，假设样本图像x人工标签判定为炎症性丘疹，则人工标签可表示为Ta＝[0,0,1,0,0,0]。

本申请实施例中，由于痘痘类型之间存在许多相同的特征，因而在设定标签时，可以将上述人工标签和上述相似度概率进行结合，设定样本图像新的类别概率标签。

204、基于上述各个样本图像和上述各个样本图像对应的类别概率标签训练分类网络模型，获得痘痘类型识别模型。

在确定上述各个样本图像的类别概率标签之后，可以根据上述类别概率标签标注的样本数据集对构建的分类网络模型进行训练，直到预设的损失函数收敛，获得上述痘痘类型识别模型。

在一种可选的实施方式中，上述分类网络模型的构建可以如下所示：

模型中特征提取结构主要由卷积层、上采样层和一个全连接层和softmax层所构成，其网络结构如表1所示：

表1

上述表1中c表示输出的通道数，s表示步长，n表示为痘痘类型的数量。

上述网络结构1、2和4-10层的卷积层的作用都是提取特征；而其中第3层为上采样层，主要是扩展特征的大小，从而能够加深网络结构，使得网络能够进一步提取深层次的语义特征；第11层为全连接层，主要是将经过多个卷积层和池化层的图像特征图中的特征进行整合，获取图像特征具有的高层含义，之后用于图像分类。在卷积神经网络中，全连接层将卷积层产生的特征图映射成一个固定长度(一般为输入图像数据集中的图像类别数)的特征向量，这个特征向量包含了输入图像所有特征的组合信息，虽然丢失了图像的位置信息，但是该向量将图像中含有最具有特点的图像特征保留了下来，以此完成图像分类任务。通过上述卷积层、上采样层以及全连接层的组合，能够在训练过程和识别过程可以对图像特征进行充分且合理地提取，从而有助于得到准确识别痘痘的模型，有助于提升痘痘识别的精准度。

可选的，上述分类网络模型结构，可以采用已提出的特征提取结构进行替代，比如Mobilinet，VGG等结构，可以根据需要进行设置，本申请实施例对此不做限制。

进一步可选的，该方法还包括：

获取待处理痘痘图像；

采用上述痘痘类型识别模型对上述待处理痘痘图像进行处理，获得上述待处理痘痘图像属于上述不同痘痘类型的概率；根据上述概率确定上述待处理痘痘图像对应的痘痘类型；

输出上述待处理痘痘图像对应的痘痘类型。

其中，上述步骤可以在步骤204之后执行，通过前述步骤201-步骤204可以获得训练好的痘痘类型识别模型，再应用于上述处理步骤。即训练后获得的模型也可以在其他设备中执行上述处理步骤，此处不做限制。

上述待处理痘痘图像可以是拍摄的包含痘痘的图像，可以是包含痘痘的任意皮肤图像比如有痘痘的人脸图像。可以先对获取的图像进行裁剪等预处理，获得标准化的上述待处理痘痘图像，以识别痘痘类型。

本申请实施例中，可以采用前述获得的痘痘类型识别模型对待处理痘痘图像进行处理。具体的，可以预测获得待处理痘痘图像属于不同痘痘类型的概率，确定概率最大的痘痘类型为该待处理痘痘图像对应的痘痘类型，再输出上述待处理痘痘图像对应的痘痘类型。

本申请实施例通过获取样本数据集，上述样本数据集包括多个属于不同痘痘类型的样本图像，获取每个痘痘类型所对应的一个标准图像，上述一个标准图像用于代表一个痘痘类型的痘痘样式，计算各个上述样本图像的类别概率标签，上述类别概率标签包括上述样本图像与每个上述标准图像之间的相似度概率，再基于上述各个样本图像和上述各个样本图像对应的类别概率标签训练分类网络模型，获得痘痘类型识别模型，可以对痘痘类型进行较准确识别。传统的分类标签方式，分类的准确度不高，而本申请中在模型训练时采用样本图像与每个所述标准图像之间的相似度概率进行标注，可以从标签上体现出类别之间的相似程度，将痘痘类型标签概率化，使得模型能够学习痘痘类型之间的相似特征，从而提升痘痘类型识别的准确度。

请参阅图3，图3是本申请实施例提供的另一种痘痘类型识别模型训练方法的流程示意图。如图3所示，该方法可具体包括：

301、获取样本数据集，上述样本数据集包括多个属于不同痘痘类型的样本图像。

302、获取每个痘痘类型所对应的一个标准图像，上述一个标准图像用于代表一个痘痘类型的痘痘样式。

其中，上述步骤301和步骤302可以分别参见图1所示实施例中的步骤201和步骤202，此处不再赘述。

303、获取上述样本图像与任意一个上述标准图像之间的亮度评价值、对比度评价值和结构评价值。

具体的，对于任一样本图像x，可以分别计算出样本图像x与每个标准图像y之间的亮度评价值、对比度评价值和结构评价值，以获得一个表征两个图像间结构相似性的结构相似值。

本申请实施例中涉及的结构相似性(Structural SIMilarity，SSIM)，是一种衡量两幅图像相似度的指标。结构相似性的范围为0到1，当两张图像一模一样时，SSIM的值等于1。

作为结构相似性理论的实现，结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。可用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。

具体的，可以根据以下公式获得样本图像x与任意一个标准图像y之间的亮度评价值r、对比度评价值c和结构评价值s：

其中，μ

上述SSIM中涉及的亮度评价值、对比度评价值、结构评价值分别指示的是两个图像的亮度、对比度和纹理结构的差异，这些评价值越大对应的相似度越接近，SSIM越大相似度越接近。

304、根据上述亮度评价值、上述对比度评价值和上述结构评价值，获得上述样本图像与上述任意一个标准图像之间的结构相似值，以获得上述样本图像与上述每个标准图像之间的结构相似值。

在一种实施方式中，样本图像x与标准图像y之间的结构相似值SSIM可表示为：

SSIM(x,y)＝r(x,y)×c(x,y)×s(x,y)；

结构相似值可以在一定程度上表示样本图像x与标准图像之间的相似度。当SSIM值越大，图像x、y之间差异越小。

305、获取上述样本图像与上述每个标准图像之间的结构相似值在总结构相似值中的占比，作为上述样本图像与上述每个标准图像之间的相似度概率。

在分别计算出样本图片x与每个标准图像的结构相似值之后，可以计算出每一个类别对应的结构相似值在总结构相似值中的占比Tbi。

具体可以表示为：

其中n表示上述痘痘类型的数量。

可以将每个类别的占比Tbi作为类别概率标签中的概率分布，获得该样本图像对应的类别概率标签，比如有6个痘痘类型的情况下，n＝6，则可获得的类别概率标签Tb＝[Tb1,Tb2,Tb3,Tb4,Tb5,Tb6]。

由于传统的分类标签方式，不足以体现出不同痘痘类型的图像之间的相似程度，使得模型训练更多关注特征明显的信息，导致模型识别的准确度不高，因此本申请中通过上述SSIM结构相似度算法，将痘痘类别标签概率化，可以从标签上体现出图像与各类别之间的相似程度，再采用损失函数进行训练，则可以使得模型在训练的过程中能够更好的学习不同类别之间的相似特征，从而达到提升痘痘类别识别的准确度的目的。

306、获取上述样本图像的人工标签，上述人工标签用于标注上述样本图像所属的痘痘类型。

其中，上述样本图像的人工标签为人工标定的结果，可以是已有的样本数据集中携带的标签。上述人工标签中的概率值为1或0，表示是否属于某个痘痘类型：1表示属于，0表示不属于。比如，痘痘类型包括粉刺、逗后红斑、炎症性丘疹、脓包、结节和囊肿六类，在人工标签中的类别也按照如上顺序排列，假设样本图像x人工标签判定为炎症性丘疹，则人工标签可表示为Ta＝[0,0,1,0,0,0]。

307、根据上述样本图像的人工标签和上述相似度概率，生成上述样本图像的上述类别概率标签。

在一种可选的实施方式中，可以根据预设权重对上述样本图像的人工标签和上述相似度概率进行加权处理，获得上述样本图像的上述类别概率标签。

具体的，可以采用概率分布的方式设置样本图像的类别概率标签。其类别概率标签的概率分布可由两部分组成，一部分是人工标定的结果人工标签Ta，另一部则是采用结构相似值的相似度概率Tb，上述预设权重则可设置该两部分的权重分别为a和b(a、b均大于0小于1，可以相同)，则样本图像的类别概率标签中的概率分布为T＝a*Ta+b*Tb。比如设置Ta、Tb两部分的权重值均为0.5，则T＝0.5Ta+0.5Tb。假设Ta＝[0,0,1,0,0,0]，

Tb＝[0.12,0.2,0.48,0.1,0.1,0.1]，则：

T＝0.5*[0,0,1,0,0,0]+0.5*[0.12,0.2,0.48,0.1,0.1,0.1]

＝[0.06,0.1,0.74,0.05,0.05]。

通过上述步骤可以获得每个样本图像对应的类别概率标签。

308、基于上述各个样本图像和上述各个样本图像对应的类别概率标签训练分类网络模型，获得痘痘类型识别模型。

其中，上述步骤308可以分别参见图2所示实施例中的步骤204，此处不再赘述。

本申请实施例中，针对标签概率化，采用SSIM结构相似算法进行计算获得，在可选的实施方式中，可以采用能达到相同目的的其他计算方式，即上述相似度信息可以根据需要设置计算规则，本申请实施例对此不作限制。

具体的，上述步骤308包括：

将上述各个样本图像和上述各个样本图像对应的类别概率标签输入上述分类网络模型，输出上述样本图像的预测分类结果；

采用损失函数计算上述各个样本图像的预测分类结果和上述类别概率标签的损失值，根据上述损失值调整上述分类网络模型的网络参数，直到上述分类网络模型收敛，获得上述痘痘类型识别模型。

在一种实施方式中，可以上述损失函数可以采用KL散度损失函数。

本申请实施例中涉及的KL散度(Kullback-Leibler divergence)即相对熵(relative entropy)，又被称为信息散度(information divergence)，是两个概率分布间差异的非对称性度量。

具体的，本申请实施例中采用的上述KL散度损失函数可以为：

其中，上述T为上述类别概率标签，上述P为上述分类网络模型的softmax层的预测分类结果；上述Z表示上述样本图像的数量，上述n表示上述痘痘类型的数量。比如假设n＝6，softmax层输出的预测分类结果中概率分布可为表示为P＝[P

进一步可选的，上述分类网络模型可以根据需要选择模型的优化算法，比如采用Adam算法优化模型参数。可以设置迭代次数限制收敛条件，即可以根据预设的迭代次数、学习率、权重衰减等参数进行迭代训练，使损失函数收敛，训练完成后获得训练好的痘痘类型识别模型。比如，上述迭代次数设置可为500次，初始化学习率可设置为0.001,权重衰减可设置为0.0005，每50次迭代，学习率衰减为原来的1/10。

通过采用上述KL散度损失函数，能够更好利用标签概率化优势，使得模型能够更好的学习不同类别之间的相似特征。

本申请实施例中的痘痘类型识别模型训练方法，使用的痘痘类型识别模型结合了样本图像的类别概率标签和人工标注的信息作为标签，而类别概率标签是根据样本图像与每个标准图像的相似度概率生成的，可以从标签上体现出类别之间的相似程度，将痘痘类型标签概率化，而不是简单的判断是或不是哪个类别，使得模型能够学习痘痘类型之间的相似特征，在应用中能够更准确地识别图像对应的痘痘类型。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。