一种穿戴规范识别方法、装置、介质和电子设备

技术领域

本申请实施例涉及图像检测技术领域，尤其涉及一种穿戴规范识别方法、装置、介质和电子设备。

背景技术

近些年来，一些工作场所对于工作人员的穿戴要求严格，他们在特定的场所需要穿戴规范的工服，例如，生产车间、施工场地因安全等因素要求相关的工作人员穿戴相应的工服，穿戴不规范的工作人员会被警告，甚至不允许进入工作场所。

随着深度学习快速地发展，一些基于深度学习的技术也被用于工服穿戴规范检测领域。相关技术中，通常是采集特定工作场景下穿戴规范的工服图片，送入网络模型中训练，训练好的网络模型提取待识别工服图片以及注册工服图片的特征，计算两者之间的相似度，从而判断工作人员是否穿戴规范的工服。相关技术中训练的模型应用的工作场景变更时，识别准确率会下降，通用性差。因此，如何提高穿戴规范识别的准确率是亟需解决的问题。

发明内容

为解决现有存在的技术问题，本申请实施例提供了一种穿戴规范识别方法、装置、介质和电子设备，可以提高穿戴规范识别的准确率。

为达到上述目的，本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种穿戴规范识别方法，包括：

获取包含待处理人体的待识别人体图像；

将所述待识别人体图像输入已训练的服饰穿戴识别模型，得到所述待识别人体图像的第一特征向量；所述服饰穿戴识别模型是采用训练样本数据对特征提取模型进行训练得到的，所述训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，所述特征提取模型用于获取输入对象的特征向量，且特征提取模型的损失收敛至预设的目标条件时获得已训练的服饰穿戴识别模型；所述第一类标签表征人体身份；所述第二类标签表征服饰种类；

将所述第一特征向量和预设的基准特征向量进行相似度计算，得到相似度特征值；所述基准特征向量是将基准服饰图像输入所述已训练的服饰穿戴识别模型，得到的基准服饰的特征向量；

根据所述相似度特征值，确定所述待处理人体的服饰穿戴规范评估信息。

本申请实施例提供的穿戴规范识别方法，获取包含待处理人体的待识别人体图像；将所述待识别人体图像输入已训练的服饰穿戴识别模型，得到所述待识别人体图像的第一特征向量；所述服饰穿戴识别模型是采用训练样本数据对特征提取模型进行训练得到的，所述训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，所述特征提取模型用于获取输入对象的特征向量，且特征提取模型的损失收敛至预设的目标条件时获得已训练的服饰穿戴识别模型；所述第一类标签表征人体身份；所述第二类标签表征服饰种类；将所述第一特征向量和预设的基准特征向量进行相似度计算，得到相似度特征值；所述基准特征向量是将基准服饰图像输入所述已训练的服饰穿戴识别模型，得到的基准服饰的特征向量；根据所述相似度特征值，确定所述待处理人体的服饰穿戴规范评估信息。该方法在穿戴规范识别时，通过使训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，所述第一类标签表征人体身份，所述第二类标签表征服饰种类，并通过该训练样本数据对特征提取模型进行训练，得到已训练的服饰穿戴识别模型，能够提升服饰穿戴识别模型的泛化性，增强对未出现在训练样本数据中的新种类的服饰提取特征向量时的鲁棒性，可以提高穿戴规范识别的准确率。

在一种可选的实施例中，所述特征提取模型的输出包括整体全局特征、上半身局部特征和下半身局部特征；所述特征向量由所述整体全局特征、所述上半身局部特征和所述下半身局部特征拼接融合而得到。

在一种可选的实施例中，所述人体重识别图像为第一数量，所述服饰识别图像为第二数量；所述第一数量大于所述第二数量。

在一种可选的实施例中，得到已训练的所述服饰穿戴识别模型的过程中，所述训练包括如下步骤：

获得训练样本数据；所述训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像；所述第一类标签表征人体身份；所述第二类标签表征服饰种类；

基于所述训练样本数据，选取批次训练图料；所述批次训练图料由所述服饰识别图像和所述人体重识别图像构成；

将批次训练图料输入待训练的服饰穿戴识别模型进行训练，并确定所述待训练的服饰穿戴识别模型的识别损失值；

确定所述识别损失值是否收敛至预设的目标值，如果是，则结束训练得到已训练的服饰穿戴识别模型，否则根据确定的识别损失值对待训练的服饰穿戴识别模型的参数进行调整并进行再次训练。

在该实施例的方法，在穿戴规范识别时，通过使训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，所述第一类标签表征人体身份，所述第二类标签表征服饰种类，并通过该训练样本数据对特征提取模型进行训练，得到已训练的服饰穿戴识别模型，能够提升服饰穿戴识别模型的泛化性，增强对未出现在训练样本数据中的新种类的服饰提取特征向量时的鲁棒性，提高穿戴规范识别的准确率。

在一种可选的实施例中，所述服饰穿戴识别模型的训练样本数据包含N个颜色类别，N为大于2的整数。

在一种可选的实施例中，所述人体重识别图像和所述服饰识别图像均还带有颜色标签；所述颜色标签用于将训练数据集划分为多个颜色样本数据；所述基于所述训练样本数据，选取批次训练图料，包括：

逐一选取所述颜色样本数据，每选取一个颜色样本数据，通过当前的服饰穿戴识别模型，构建与当前选取的颜色样本数据对应的类别近邻关系图；所述类别近邻关系图包括同一颜色样本数据中的任意不同的两个类别的向量距离；

从所述颜色样本数据中随机选取一个，作为目标颜色样本数据；

从所述目标颜色样本数据中随机选取一个类别，作为基准类别；

根据所述类别近邻关系图，按照与基准类别的所述向量距离从小到大的顺序，从所述目标颜色样本数据中选取预设的第一数量个类别，作为所述基准类别的目标近邻类别；

从所述基准类别中任选预设的第二数量个图像，并从所述基准类别的每个所述目标近邻类别中任选所述第二数量个图像，得到所述批次训练图料。

在该实施例中，通过颜色标签将训练数据集划分为多个颜色样本数据；并基于颜色样本数据，构建类别近邻关系图，进而基于类别近邻关系图进行图像选取，得到批次训练图料。该方法，通过为每个颜色的颜色样本数据构建类别近邻关系图，每个批次训练图料由随机选择的类别及其相似的近邻类别组成，使得批次训练图料中的图像的颜色相同或相近，迭代训练后的网络模型对颜色相同或相近服饰的辨识能力更强，提高面对颜色相近的服饰时的区分度，提高穿戴规范识别的准确率。

在一种可选的实施例中，所述训练样本数据包括第一训练样本数据和第二训练样本数据；所述第一训练样本数据包括带有所述第一类标签的人体重识别图像，和带有所述第二类标签的服饰识别图像；所述第二训练样本数据是将所述第一训练样本数据去除满足预设条件的所述人体重识别图像后得到的；所述得到已训练的所述服饰穿戴识别模型的过程中，所述训练包括如下步骤：

根据所述第一训练样本数据对待训练的服饰穿戴识别模型进行一阶段训练，并确定所述待训练的服饰穿戴识别模型的第一识别损失值；

确定所述第一识别损失值是否收敛至预设的第一目标值，如果是，则结束训练得到服饰穿戴中间模型，否则根据确定的第一识别损失值对待训练的服饰穿戴识别模型的参数进行调整并通过所述第一训练样本数据进行再次一阶段训练；

根据所述第二训练样本数据对所述服饰穿戴中间模型进行二阶段训练，并确定所述服饰穿戴中间模型的第二识别损失值；其中，所述二阶段训练中，若从所述第二训练样本数据中选取到的服饰识别图像，则对选取到的所述服饰识别图像进行重采样处理；

确定所述第二识别损失值是否收敛至预设的第二目标值，如果是，则结束训练得到已训练的服饰穿戴识别模型，否则根据确定的识别损失值对所述服饰穿戴中间模型的参数进行微调并通过所述第二训练样本数据进行再次二阶段训练。

在该实施例的方法中，在第一阶段使用全部的行人重识别数据和服饰识别图像训练网络，在第二阶段，训练样本数据为部分行人重识别数据集和全部服饰识别图像，并重采样服饰识别图像，对第一阶段训练完的网络模型的参数进行微调，从而提高网络模型对于工服的辨识能力，提升穿戴规范识别的效率。

在一种可选的实施例中，所述服饰穿戴识别模型采用ResNet18作为骨干网络。

在一种可选的实施例中，所述服饰穿戴识别模型采用交叉熵损失函数进行训练。

第二方面，本申请实施例还提供了一种穿戴规范识别装置，包括：

图像获取模块，用于获取包含待处理人体的待识别人体图像；

向量生成模块，用于将所述待识别人体图像输入已训练的服饰穿戴识别模型，得到所述待识别人体图像的第一特征向量；所述服饰穿戴识别模型是采用训练样本数据对特征提取模型进行训练得到的，所述训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，所述特征提取模型用于获取输入对象的特征向量，且特征提取模型的损失收敛至预设的目标条件时获得已训练的服饰穿戴识别模型；所述第一类标签表征人体身份；所述第二类标签表征服饰种类；

相似度确定模块，用于将所述第一特征向量和预设的基准特征向量进行相似度计算，得到相似度特征值；所述基准特征向量是将基准服饰图像输入所述已训练的服饰穿戴识别模型，得到的基准服饰的特征向量；

对标识别模块，用于根据所述相似度特征值，确定所述待处理人体的服饰穿戴规范评估信息。

在一种可选的实施例中，所述特征提取模型的输出包括整体全局特征、上半身局部特征和下半身局部特征；所述特征向量由所述整体全局特征、所述上半身局部特征和所述下半身局部特征拼接融合而得到。

在一种可选的实施例中，所述人体重识别图像为第一数量，所述服饰识别图像为第二数量；所述第一数量大于所述第二数量。

在一种可选的实施例中，所述装置还包括第一模型训练单元；所述第一模型训练单元用于得到已训练的所述服饰穿戴识别模型；所述第一模型训练单元，具体用于：

获得训练样本数据；所述训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像；所述第一类标签表征人体身份；所述第二类标签表征服饰种类；

基于所述训练样本数据，选取批次训练图料；所述批次训练图料由所述服饰识别图像和所述人体重识别图像构成；

将批次训练图料输入待训练的服饰穿戴识别模型进行训练，并确定所述待训练的服饰穿戴识别模型的识别损失值；

确定所述识别损失值是否收敛至预设的目标值，如果是，则结束训练得到已训练的服饰穿戴识别模型，否则根据确定的识别损失值对待训练的服饰穿戴识别模型的参数进行调整并进行再次训练。

在一种可选的实施例中，所述服饰穿戴识别模型的训练样本数据包含N个颜色类别，N为大于2的整数。

在一种可选的实施例中，所述人体重识别图像和所述服饰识别图像均还带有颜色标签；所述颜色标签用于将训练数据集划分为多个颜色样本数据；所述第一模型训练单元，具体用于：

逐一选取所述颜色样本数据，每选取一个颜色样本数据，通过当前的服饰穿戴识别模型，构建与当前选取的颜色样本数据对应的类别近邻关系图；所述类别近邻关系图包括同一颜色样本数据中的任意不同的两个类别的向量距离；

从所述颜色样本数据中随机选取一个，作为目标颜色样本数据；

从所述目标颜色样本数据中随机选取一个类别，作为基准类别；

根据所述类别近邻关系图，按照与基准类别的所述向量距离从小到大的顺序，从所述目标颜色样本数据中选取预设的第一数量个类别，作为所述基准类别的目标近邻类别；

从所述基准类别中任选预设的第二数量个图像，并从所述基准类别的每个所述目标近邻类别中任选所述第二数量个图像，得到所述批次训练图料。

在一种可选的实施例中，所述训练样本数据包括第一训练样本数据和第二训练样本数据；所述第一训练样本数据包括带有所述第一类标签的人体重识别图像，和带有所述第二类标签的服饰识别图像；所述第二训练样本数据是将所述第一训练样本数据去除满足预设条件的所述人体重识别图像后得到的；所述装置还包括第二模型训练单元；所述第二模型训练单元，具体用于：

根据所述第一训练样本数据对待训练的服饰穿戴识别模型进行一阶段训练，并确定所述待训练的服饰穿戴识别模型的第一识别损失值；

确定所述第一识别损失值是否收敛至预设的第一目标值，如果是，则结束训练得到服饰穿戴中间模型，否则根据确定的第一识别损失值对待训练的服饰穿戴识别模型的参数进行调整并通过所述第一训练样本数据进行再次一阶段训练；

根据所述第二训练样本数据对所述服饰穿戴中间模型进行二阶段训练，并确定所述服饰穿戴中间模型的第二识别损失值；其中，所述二阶段训练中，若从所述第二训练样本数据中选取到的服饰识别图像，则对选取到的所述服饰识别图像进行重采样处理；

确定所述第二识别损失值是否收敛至预设的第二目标值，如果是，则结束训练得到已训练的服饰穿戴识别模型，否则根据确定的识别损失值对所述服饰穿戴中间模型的参数进行微调并通过所述第二训练样本数据进行再次二阶段训练。

在一种可选的实施例中，所述服饰穿戴识别模型采用ResNet18作为骨干网络。

在一种可选的实施例中，所述服饰穿戴识别模型采用交叉熵损失函数进行训练。

第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面的穿戴规范识别方法。

第四方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现第一方面的穿戴规范识别方法。

第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种穿戴规范识别方法的流程示意图；

图2为本申请实施例提供的一种穿戴规范识别方法的训练服饰穿戴识别模型的流程示意图之一；

图3为本申请实施例提供的一种穿戴规范识别方法的构建批次训练图料的流程示意图；

图4为本申请实施例提供的一种穿戴规范识别方法的训练服饰穿戴识别模型的流程示意图之二；

图5为本申请实施例提供的一种穿戴规范识别装置的结构示意图之一；

图6为本申请实施例提供的一种穿戴规范识别装置的结构示意图之二；

图7为本申请实施例提供的一种穿戴规范识别装置的结构示意图之三；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面对文中出现的一些词语进行解释：

(1)、行人重识别(Person Re-identification，ReID):行人重识别也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术；或者说，行人重识别是指在已有的可能来源与非重叠摄像机视域的视频序列中识别出目标行人。

(2)、欧氏距离(Euclidean Distance)：欧式距离也称欧几里得距离，是一种常见的距离度量，衡量的是多维空间中两个点之间的绝对距离。以古希腊数学家欧几里得命名的距离，也就是我们直观的两点之间直线最短的直线距离。

(3)Epoch：网络模型训练的过程通常为，首先初始化模型中各个神经元之间的权重、偏置等，之后对训练集进行预处理，将预处理的数据输入到模型中得到预测值，将得到的预测值和真值计算loss，通过反向传播，更新模型中各个神经元之间的权重等。一个Epoch就是将训练集中的所有的训练集的数据都训练一遍。

(4)、ResNet18网络模型：ResNet18的基本含义是，网络的基本架构是ResNet，网络的深度是18层。其中，网络的深度指的是网络的权重层，也就是包括池化，激活，线性层。网络的权重层不包括批量化归一层，池化层。

(5)、交叉熵损失函数：交叉熵损失函数也称交叉熵函数，是在处理分类问题中常用的一种损失函数。交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵损失函数来计算损失。

近些年来，一些工作场所对于工作人员的穿戴要求严格，他们在特定的场所需要穿戴规范的工服，例如，生产车间、施工场地因安全等因素要求相关的工作人员穿戴相应的工服，穿戴不规范的工作人员会被警告，甚至不允许进入工作场所。

随着深度学习快速地发展，一些基于深度学习的技术也被用于工服穿戴规范检测领域。相关技术中，通常是采集特定工作场景下穿戴规范的工服图片，送入网络模型中训练，训练好的网络模型提取待识别工服图片以及注册工服图片的特征，计算两者之间的相似度，从而判断工作人员是否穿戴规范的工服。相关技术中训练的模型应用的工作场景变更时，识别准确率会下降，通用性差。因此，如何提高穿戴规范识别的准确率是亟需解决的问题。

为解决现有存在的技术问题，本申请实施例提供了一种穿戴规范识别方法，获取包含待处理人体的待识别人体图像；将待识别人体图像输入已训练的服饰穿戴识别模型，得到待识别人体图像的第一特征向量；服饰穿戴识别模型是采用训练样本数据对特征提取模型进行训练得到的，训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，特征提取模型用于获取输入对象的特征向量，且特征提取模型的损失收敛至预设的目标条件时获得已训练的服饰穿戴识别模型；第一类标签表征人体身份；第二类标签表征服饰种类；将第一特征向量和预设的基准特征向量进行相似度计算，得到相似度特征值；基准特征向量是将基准服饰图像输入已训练的服饰穿戴识别模型，得到的基准服饰的特征向量；根据相似度特征值，确定待处理人体的服饰穿戴规范评估信息。该方法在穿戴规范识别时，通过使训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，第一类标签表征人体身份，第二类标签表征服饰种类，并通过该训练样本数据对特征提取模型进行训练，得到已训练的服饰穿戴识别模型，能够提升服饰穿戴识别模型的泛化性，增强对未出现在训练样本数据中的新种类的服饰提取特征向量时的鲁棒性，可以提高穿戴规范识别的准确率。

下面将结合附图，对本申请实施例提供的技术方案进行详细说明。

本申请实施例提供了一种穿戴规范识别方法，如图1所示，包括如下步骤：

步骤S101，获取包含待处理人体的待识别人体图像。

具体实施时，可以依次获取待识别监控视频的视频图像，基于视频图像可以提取待识别人体图像；待识别人体图像包括待处理人体。通过依次对获取的视频图像的穿戴规范识别，实现对待识别监控视频的穿戴规范识别。

示例性地，从获取的视频图像Video_P中提取待识别人体图像Tar_P；待识别人体图像Tar_P包括待处理人体R_People。

步骤S102，将待识别人体图像输入已训练的服饰穿戴识别模型，得到待识别人体图像的第一特征向量。

其中，服饰穿戴识别模型是采用训练样本数据对特征提取模型进行训练得到的，训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，特征提取模型用于获取输入对象的特征向量，且特征提取模型的损失收敛至预设的目标条件时获得已训练的服饰穿戴识别模型；第一类标签表征人体身份；第二类标签表征服饰种类。

在一种可选的实施例中，人体重识别图像为第一数量，服饰识别图像为第二数量；第一数量大于第二数量。

具体实施时，服饰穿戴识别模型是采用训练样本数据对特征提取模型进行训练得到的，训练样本数据包括第一数量的带有第一类标签的人体重识别图像和第二数量的带有第二类标签的服饰识别图像，特征提取模型用于获取输入对象的特征向量，且特征提取模型的损失收敛至预设的目标条件时获得已训练的服饰穿戴识别模型；第一类标签表征人体身份；第二类标签表征服饰种类；第一数量大于第二数量。

示例性地，将待识别人体图像Tar_P输入已训练的服饰穿戴识别模型Mold_trained，得到待识别人体图像Tar_P的第一特征向量Info_1。其中，服饰穿戴识别模型Mold_trained是采用训练样本数据Train_data对特征提取模型Mold_initial进行训练得到的，训练样本数据Train_data包括第一数量N_1的带有第一类标签Lable_1的人体重识别图像Person_pic和第二数量N_2的带有第二类标签Lable_2的服饰识别图像WorkClo_pic，特征提取模型Mold_initial用于获取输入对象的特征向量，且特征提取模型Mold_initial的损失收敛至预设的目标条件时获得已训练的服饰穿戴识别模型Mold_trained；第一类标签Lable_1表征人体身份；第二类标签Lable_2表征服饰种类；第一数量N_1大于第二数量N_2。

本申请的实施例中，将不同场景下采集到的不同种类工服作为服饰识别图像，同时加入数量高于服饰识别图像数倍的行人重识别数据集，将其送入特征提取模型中训练，提高服饰穿戴识别模型的泛化性，面对新种类的服饰，也能提取鲁棒性强的特征。

步骤S103，将第一特征向量和预设的基准特征向量进行相似度计算，得到相似度特征值；基准特征向量是将基准服饰图像输入已训练的服饰穿戴识别模型，得到的基准服饰的特征向量。

可选地，在本申请的一些实施例中，相似度特征值是通过对第一特征向量和预设的基准特征向量求余弦相似度得到的。

示例性地，将第一特征向量Info_1和预设的基准特征向量Info_Basic进行相似度计算，得到相似度特征值Similar_Score；基准特征向量Info_Basic是将基准服饰图像Work_Cloth_Pict输入已训练的服饰穿戴识别模型，Mold_trained得到的基准服饰Work_Cloth的特征向量。

步骤S104，根据相似度特征值，确定待处理人体的服饰穿戴规范评估信息。

本申请的实施例中，可以配置有与基准服饰对应的多个基准特征向量。将第一特征向量和预设的基准特征向量进行相似度计算，可以是第一特征向量和各个基准特征向量分别进行相似度计算，得到多个相似度特征值。

在一种可选的实施例中，根据相似度特征值，确定待处理人体的服饰穿戴规范评估信息，具体为若相似度特征值中的最大值达到预设的判断阈值，则确定待识别对象工服穿戴规范，也即待识别对象的基准服饰满足工服穿戴的规范。

本申请实施例提供的穿戴规范识别方法，获取包含待处理人体的待识别人体图像；将待识别人体图像输入已训练的服饰穿戴识别模型，得到待识别人体图像的第一特征向量；服饰穿戴识别模型是采用训练样本数据对特征提取模型进行训练得到的，训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，特征提取模型用于获取输入对象的特征向量，且特征提取模型的损失收敛至预设的目标条件时获得已训练的服饰穿戴识别模型；第一类标签表征人体身份；第二类标签表征服饰种类；将第一特征向量和预设的基准特征向量进行相似度计算，得到相似度特征值；基准特征向量是将基准服饰图像输入已训练的服饰穿戴识别模型，得到的基准服饰的特征向量；根据相似度特征值，确定待处理人体的服饰穿戴规范评估信息。该方法在穿戴规范识别时，通过使训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，第一类标签表征人体身份，第二类标签表征服饰种类，并通过该训练样本数据对特征提取模型进行训练，得到已训练的服饰穿戴识别模型，能够提升服饰穿戴识别模型的泛化性，增强对未出现在训练样本数据中的新种类的服饰提取特征向量时的鲁棒性，可以提高穿戴规范识别的准确率。

在一种可选的实施例中，得到已训练的服饰穿戴识别模型的过程中，该训练，如图2所示，包括如下步骤：

步骤S201，获得训练样本数据；训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像；第一类标签表征人体身份；第二类标签表征服饰种类。

具体实施时，将不同场景下采集到的不同种类工服作为服饰识别图像，同时加入数量高于服饰识别图像数倍的行人重识别数据集，将其送入特征提取模型中训练。例如，可以是，训练样本数据包括第一数量的带有第一类标签的人体重识别图像和第二数量的带有第二类标签的服饰识别图像；第一类标签表征人体身份；第二类标签表征服饰种类；第一数量大于第二数量。

示例性地，获得训练样本数据Train_data；训练样本数据Train_data包括第一数量N_1的带有第一类标签Lable_1的人体重识别图像Person_pic和第二数量N_2的带有第二类标签Lable_2的服饰识别图像WorkClo_pic；第一类标签Lable_1表征人体身份；第二类标签Lable_2表征服饰种类；第一数量N_1大于第二数量N_2。

步骤S202，基于训练样本数据，选取批次训练图料。

本申请的一种实施例中，批次训练图料由服饰识别图像和人体重识别图像构成。

在本申请的另一种实施例中，批次训练图料通过在服饰识别图像和人体重识别图像中随机选取得到。

示例性地，基于训练样本数据Train_data，选取批次训练图料Train_batch。

在一种可选的实施例中，服饰穿戴识别模型的训练样本数据包含N个颜色类别，N为大于2的整数。

本申请的一些实施例中，训练样本数据作为训练集，该训练集包含两部分，一部分为人体重识别图像，另一部分为不同场景下采集到的服饰识别图像。人体重识别图像中以行人身份表示类别，服饰识别图像中以服饰种类表示类别，训练集中的每张图片都带有类别标签。在此基础上，每个类别都标注颜色标签。在一些实施例中，对类别标注颜色标签时，一共含有九个颜色大类，为黑、白、红、黄、绿、蓝、紫、灰和其他，相当于训练集被分为九个颜色样本数据。

在一种可选的实施例中，人体重识别图像和服饰识别图像均还带有颜色标签；颜色标签用于将训练样本数据划分为多个颜色样本数据；基于训练样本数据，选取批次训练图料，如图3所示，可以通过以下步骤实现：

步骤S301，逐一选取颜色样本数据，每选取一个颜色样本数据，通过当前的服饰穿戴识别模型，构建与当前选取的颜色样本数据对应的类别近邻关系图；类别近邻关系图包括同一颜色样本数据中的任意不同的两个类别的向量距离。

示例性地，人体重识别图像Person_pic和服饰识别图像WorkClo_pic均还带有颜色标签color_lable；颜色标签color_lable用于将训练样本数据Train_data划分为多个颜色样本数据；在每个epoch训练开始之前，对于每个颜色样本数据，利用上一个epoch训练完成的服饰穿戴识别模型计算颜色样本数据中的每个类别间的距离，根据距离可构建一个类别近邻关系图。

本申请的实施例中，选取一个颜色样本数据，通过当前的服饰穿戴识别模型，构建与当前选取的颜色样本数据对应的类别近邻关系图的过程，可以通过执行以下过程实现：假定一个颜色样本数据中包含C个类别样本，从每个类别中抽取一张图片作为该类别的代表，通过上一轮训练的模型使用欧式距离计算两图片之间的距离，于是可得到C*C大小的距离矩阵，以此可构建一个类别近邻关系图G＝(V，E)，其中，V＝{c|1,2，…,C}，为顶点集，每个顶点代表一种类别；E＝{(c

步骤S302，从颜色样本数据中随机选取一个，作为目标颜色样本数据。

当颜色标签有N种，也即训练样本数据包含N种颜色时，则可以构建N个无向图。在任意一个无向图中，每个类别都可以找到p-1个近邻的类别，于是在每次迭代过程中，随机选取一种颜色，作为目标颜色样本数据。

步骤S303，从目标颜色样本数据中随机选取一个类别，作为基准类别。

具体实施时，在每次迭代过程中，随机选取一种颜色的颜色样本数据，作为目标颜色样本数据，再从其目标颜色样本数据中选取一个类别，作为基准类别。

步骤S304，根据类别近邻关系图，按照与基准类别的向量距离从小到大的顺序，从目标颜色样本数据中选取预设的第一数量个类别，作为基准类别的目标近邻类别。

具体实施时，假定设置每个批次训练图料由p个类别构成，则可以根据类别近邻关系图，检索类别近邻关系图，按照与基准类别的向量距离从小到大的顺序选取向量距离最小的p-1个的类别，作为基准类别的目标近邻类别。

步骤S305，从基准类别中任选预设的第二数量个图像，并从基准类别的每个目标近邻类别中任选第二数量个图像，得到批次训练图料。

具体实施时，基准类别和基准类别的目标近邻类别共计p个类别，从目标颜色样本数据的该p个类别里包括的每个类别中抽取k张图片，得到共有p*k张图片的批次训练图料，作为一个训练批次，送入网络中训练。其中，当一个类别中含有超过k张图片，则抽取的k张图片不重复，否则抽取的k张图片存在重复。

该实施例的方法，通过为每个颜色的颜色样本数据构建类别近邻关系图，每个批次训练图料由随机选择的类别及其相似的近邻类别组成，使得批次训练图料中的图像的颜色相同或相近，迭代训练后的网络模型对颜色相同或相近工服的辨识能力更强，提高面对颜色相近的服饰时的区分度，提高穿戴规范识别的准确率。

本申请的一些实施例中，为了进一步缩短构建类别近邻关系图的时间，当一个颜色样本数据中的类别数目超过一万时，对于迭代中选取的类别，从上一轮的类别近邻关系图中选取前三千个与该类别的距离近的类别，再从该颜色样本数据中剩下的类别中随机选取两千个类别，共五千个类别与该选取的类别计算距离，构建类别近邻关系图；在初始epoch中，五千个类别为随机挑选，之后与之前的步骤一样，选取p*k张图片组成一个训练批次，送入网络中训练。

步骤S203，将批次训练图料输入待训练的服饰穿戴识别模型进行训练，并确定待训练的服饰穿戴识别模型的识别损失值。

示例性地，将批次训练图料Train_batch输入待训练的服饰穿戴识别模型进行训练，并确定待训练的服饰穿戴识别模型的识别损失值。

在一种可选的实施例中，服饰穿戴识别模型采用ResNet18作为骨干网络。

在一种可选的实施例中，特征提取模型的输出包括整体全局特征、上半身局部特征和下半身局部特征；特征向量由整体全局特征、上半身局部特征和下半身局部特征拼接融合而得到。

在一些实施例中，本申请的特征提取模型在ResNet18网络模型的基础上做出细微改动，ResNet18网络模型通常包含17层卷积层和1层全连接层。本申请在ResNet18的第13层卷积层后面加入一个分支网络，该分支网络包括split模块，该split模块将卷积层的输出特征分成上下两部分特征，从而使本申请的特征提取模型可以输出三部分特征向量。当一张待识别人体图像输入该特征提取模型时，一共会得到三部分特征：整体工服的全局特征、上半身工服的第一局部特征和下半身工服的第二局部特征。特征提取模型通过将这三部分特征以拼接的形式进行融合，形成输入对象的特征向量。

在一种可选的实施例中，服饰穿戴识别模型采用交叉熵损失函数进行训练。

需要指出的是，服饰穿戴识别模型采用ResNet18作为骨干网络，仅仅是对本申请的服饰穿戴识别模型的示例性说明。在本申请的其他一些实施例中，服饰穿戴识别模型还可以采用其他的深度学习网络模型，例如GoogLeNet，本申请对服饰穿戴识别模型的网络模型不作具体限定。

步骤S204，确定识别损失值是否收敛至预设的目标值，如果是，则结束训练得到已训练的服饰穿戴识别模型，否则根据确定的识别损失值对待训练的服饰穿戴识别模型的参数进行调整并进行再次训练。

该实施例的方法，在穿戴规范识别时，通过使训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，第一类标签表征人体身份，第二类标签表征服饰种类，并通过该训练样本数据对特征提取模型进行训练，得到已训练的服饰穿戴识别模型，能够提升服饰穿戴识别模型的泛化性，增强对未出现在训练样本数据中的新种类的服饰提取特征向量时的鲁棒性，提高穿戴规范识别的准确率。

本申请的一些实施例中，还可以通过两阶段训练，对服饰穿戴识别模型的参数进行微调。

在一种可选的实施例中，训练样本数据包括第一训练样本数据和第二训练样本数据；第一训练样本数据包括带有第一类标签的人体重识别图像，和带有第二类标签的服饰识别图像；第二训练样本数据是将第一训练样本数据去除满足预设条件的人体重识别图像后得到的；得到已训练的服饰穿戴识别模型的过程中，该训练，如图4所示，包括如下步骤：

步骤S401，根据第一训练样本数据对待训练的服饰穿戴识别模型进行一阶段训练，并确定待训练的服饰穿戴识别模型的第一识别损失值。

步骤S402，确定第一识别损失值是否收敛至预设的第一目标值，如果是，则结束训练得到服饰穿戴中间模型，否则根据确定的第一识别损失值对待训练的服饰穿戴识别模型的参数进行调整并通过第一训练样本数据进行再次一阶段训练。

步骤S403，根据第二训练样本数据对服饰穿戴中间模型进行二阶段训练，并确定服饰穿戴中间模型的第二识别损失值；其中，二阶段训练中，若从第二训练样本数据中选取到的服饰识别图像，则对选取到的服饰识别图像进行重采样处理。

具体实施时，训练样本数据包括第一训练样本数据和第二训练样本数据；第一训练样本数据包括带有第一类标签的人体重识别图像，和带有第二类标签的服饰识别图像；第二训练样本数据是将第一训练样本数据去除满足预设条件的人体重识别图像后得到的。相比于一阶段训练中采用的第一训练样本数据，二阶段微调得到的第二训练样本数据，选择性地去除部分人体重识别图像，例如去除包含骑行非机动车的行人等特征的人体重识别图像，可以微调训练数据的质量。另外，在网络训练的每个epoch中，重复采样服饰识别图像数次，其相当于加大服饰识别图像在整体训练样本数据中的占比，在每次训练迭代过程中，从训练样本数据中抽取p个类别，该p个类别中可能包含重复的工服类别，再从每个类别中抽取k张图片，共有p*k张图片组成一个训练批次，送入网络训练。

步骤S404，确定第二识别损失值是否收敛至预设的第二目标值，如果是，则结束训练得到已训练的服饰穿戴识别模型，否则根据确定的识别损失值对服饰穿戴中间模型的参数进行微调并通过第二训练样本数据进行再次二阶段训练。

在一种可选的实施例中，在二阶段训练的过程中，将一阶段训练完成的模型的卷积层参数固定，使一阶段训练完成的模型的卷积层参数不参与梯度更新；一阶段训练完成的模型的卷积层参数之外的参数参与梯度更新，直至网络收敛。

上述实施例的方法中，在第一阶段使用全部的行人重识别数据和服饰识别图像训练网络，在第二阶段，训练样本数据为部分行人重识别数据集和全部服饰识别图像，并重采样服饰识别图像，对第一阶段训练完的网络模型的参数进行微调，从而提高网络模型对于工服的辨识能力，提升穿戴规范识别的效率。

与图1所示的穿戴规范识别方法基于同一发明构思，本申请实施例中还提供了一种穿戴规范识别装置。由于该装置是本申请穿戴规范识别方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。

图5示出了本申请实施例提供的一种穿戴规范识别装置的结构示意图，如图5所示，该穿戴规范识别装置包括图像获取模块501、向量生成模块502、相似度确定模块503和对标识别模块504。

其中，图像获取模块501，用于获取包含待处理人体的待识别人体图像；

向量生成模块502，用于将待识别人体图像输入已训练的服饰穿戴识别模型，得到待识别人体图像的第一特征向量；服饰穿戴识别模型是采用训练样本数据对特征提取模型进行训练得到的，训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像，特征提取模型用于获取输入对象的特征向量，且特征提取模型的损失收敛至预设的目标条件时获得已训练的服饰穿戴识别模型；第一类标签表征人体身份；第二类标签表征服饰种类；

相似度确定模块503，用于将第一特征向量和预设的基准特征向量进行相似度计算，得到相似度特征值；基准特征向量是将基准服饰图像输入已训练的服饰穿戴识别模型，得到的基准服饰的特征向量；

对标识别模块504，用于根据相似度特征值，确定待处理人体的服饰穿戴规范评估信息。

在一种可选的实施例中，特征提取模型的输出包括整体全局特征、上半身局部特征和下半身局部特征；特征向量由整体全局特征、上半身局部特征和下半身局部特征拼接融合而得到。

在一种可选的实施例中，人体重识别图像为第一数量，服饰识别图像为第二数量；第一数量大于第二数量。

在一种可选的实施例中，如图6所示，装置还包括第一模型训练单元601；第一模型训练单元601用于得到已训练的服饰穿戴识别模型；第一模型训练单元601，具体用于：

获得训练样本数据；训练样本数据包括带有第一类标签的人体重识别图像和带有第二类标签的服饰识别图像；第一类标签表征人体身份；第二类标签表征服饰种类；

基于训练样本数据，选取批次训练图料；批次训练图料由服饰识别图像和人体重识别图像构成；

将批次训练图料输入待训练的服饰穿戴识别模型进行训练，并确定待训练的服饰穿戴识别模型的识别损失值；

确定识别损失值是否收敛至预设的目标值，如果是，则结束训练得到已训练的服饰穿戴识别模型，否则根据确定的识别损失值对待训练的服饰穿戴识别模型的参数进行调整并进行再次训练。

在一种可选的实施例中，服饰穿戴识别模型的训练样本数据包含N个颜色类别，N为大于2的整数。

在一种可选的实施例中，人体重识别图像和服饰识别图像均还带有颜色标签；颜色标签用于将训练数据集划分为多个颜色样本数据；第一模型训练单元601，具体用于：

逐一选取颜色样本数据，每选取一个颜色样本数据，通过当前的服饰穿戴识别模型，构建与当前选取的颜色样本数据对应的类别近邻关系图；类别近邻关系图包括同一颜色样本数据中的任意不同的两个类别的向量距离；

从颜色样本数据中随机选取一个，作为目标颜色样本数据；

从目标颜色样本数据中随机选取一个类别，作为基准类别；

根据类别近邻关系图，按照与基准类别的向量距离从小到大的顺序，从目标颜色样本数据中选取预设的第一数量个类别，作为基准类别的目标近邻类别；

从基准类别中任选预设的第二数量个图像，并从基准类别的每个目标近邻类别中任选第二数量个图像，得到批次训练图料。

在一种可选的实施例中，训练样本数据包括第一训练样本数据和第二训练样本数据；第一训练样本数据包括带有第一类标签的人体重识别图像，和带有第二类标签的服饰识别图像；第二训练样本数据是将第一训练样本数据去除满足预设条件的人体重识别图像后得到的；如图7所示，装置还包括第二模型训练单元701；第二模型训练单元701，具体用于：

根据第一训练样本数据对待训练的服饰穿戴识别模型进行一阶段训练，并确定待训练的服饰穿戴识别模型的第一识别损失值；

确定第一识别损失值是否收敛至预设的第一目标值，如果是，则结束训练得到服饰穿戴中间模型，否则根据确定的第一识别损失值对待训练的服饰穿戴识别模型的参数进行调整并通过第一训练样本数据进行再次一阶段训练；

根据第二训练样本数据对服饰穿戴中间模型进行二阶段训练，并确定服饰穿戴中间模型的第二识别损失值；其中，二阶段训练中，若从第二训练样本数据中选取到的服饰识别图像，则对选取到的服饰识别图像进行重采样处理；

确定第二识别损失值是否收敛至预设的第二目标值，如果是，则结束训练得到已训练的服饰穿戴识别模型，否则根据确定的识别损失值对服饰穿戴中间模型的参数进行微调并通过第二训练样本数据进行再次二阶段训练。

在一种可选的实施例中，服饰穿戴识别模型采用ResNet18作为骨干网络。

在一种可选的实施例中，服饰穿戴识别模型采用交叉熵损失函数进行训练。

与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以用于穿戴规范识别。在一种实施例中，该电子设备可以是服务器，也可以是终端设备或其他电子设备。在该实施例中，电子设备的结构可以如图8所示，包括存储器101，通讯模块103以及一个或多个处理器102。

存储器101，用于存储处理器102执行的计算机程序。存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。

存储器101可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器101也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器101是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器101可以是上述存储器的组合。

处理器102，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器102，用于调用存储器101中存储的计算机程序时实现上述穿戴规范识别方法。

通讯模块103用于与终端设备和其他服务器进行通信。

本申请实施例中不限定上述存储器101、通讯模块103和处理器102之间的具体连接介质。本公开实施例在图8中以存储器101和处理器102之间通过总线104连接，总线104在图8中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线104可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的穿戴规范识别方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。