一种无监督域自适应行人重识别系统及方法

技术领域

本发明涉及行人重识别技术领域，尤其涉及一种无监督域自适应行人重识别系统及方法。

背景技术

在传统的无监督域自适应学习中，大多数方法都用于闭集场景下，在这种场景下源域以及目标域中样本类别是一致的。但是传统的无监督域自适应的算法并不能用于无监督域自适应行人重识别，这是因为由于图像采集的原因，源域以及目标域的行人类别几乎不同，当利用源域图像训练的网络迁移到目标域进行识别的时候会产生较大的迁移损失。而由网络迁移导致的较大的迁移损失会使得无监督域自适应行人重识别比大部分的无监督学习更加具有挑战性。

现有技术中，无监督域自适应行人重识别主要通过目标域的自身聚类来达到区分无标签数据集的目的。现有技术中提出了基于目标域的三种不变性损失来减少网络的迁移损失，但没有充分利用已标记数据，也没有充分的挖掘无标签图片的深层语义信息，因此未能高效的减少网络的迁移损失，对行人重识别的准确度也有待提高。

现有技术中至少存在以下缺陷，未能充分利用源域图片信息和目标域图片信息，以及未能根据源域图片和目标域图片间的相似度对不同相似度的负样本进行网络的区分学习，导致行人重识别网络的迁移损失大，对行人重识别的结果准确率低。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种无监督域自适应行人重识别系统及方法，用以解决现有技术中的行人重识别网络迁移损失大、对行人重识别的结果准确率低的问题。

一方面，本发明提供了一种无监督域自适应行人重识别系统，包括：

数据获取模块，用于获取包括多个源域样本子集的源域样本集和包括多个目标域样本子集的目标域样本集；

网络模型训练模块，用于获得行人重识别网络模型的分类损失函数和样本不变性损失函数，以及根据所述源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层，基于分层后的行人图片特征以及对应的层别权重获得分层损失函数；基于所述分类损失函数、样本不变性损失函数以及分层损失函数遍历每一源域样本子集和目标域样本子集对所述行人重识别网络模型进行迭代优化；

重识别模块，用于利用优化好的行人重识别网络模型对待识别行人图像进行识别，获得与所述待识别行人图像相同或相似的图像。

进一步的，所述行人重识别网络模型包括残差网络结构、与分类损失函数相对应的依次连接的全连接层和Softmax归一化层、与样本不变性损失函数对应的依次连接的目标域存储器、L

进一步的，所述网络模型训练模块具体通过下述方式获得分层损失函数：

将源域样本子集和目标域样本子集分别输入行人重识别网络模型的残差网络结构中提取图像特征，以获取源域样本子集中每一行人图片的特征和目标域样本子集中每一行人图片的特征，并分别进行存储，将源域样本子集中每一行人图片的特征与目标域样本子集中每一行人图片的特征相乘获得对应的相似度；

基于所述相似度将目标域样本子集中的行人图片进行降序排序，并按顺序依次选取第一预设数量的图片作为第一层图片，选取第二预设数量的图片作为第二层图片，其余图片作为第三层图片，并分别设置三层图片的层别权重；

基于目标域样本子集中每一行人图片的特征以及其所属层别对应的层别权重获得分层损失函数：

其中，L

进一步的，设置的所述三层图片的层别权重为：

其中，b表示第一层图片的数量，k

进一步的，所述网络模型训练模块，具体通过下述方式获得分类损失函数：

将所述源域样本子集输入行人重识别网络模型的残差网络结构中提取图像特征，以获取源域样本子集中每一行人图片的特征；

将该每一行人图片的特征依次输入行人重识别网络模型的全连接层和softmax回归层，进行特征维度转化和特征归一化；

基于维度转化和归一化后的每一行人图片的特征采用下述公式分类损失函数；

其中，L

进一步的，所述网络模型训练模块，具体通过下述方式获得样本不变性损失函数：

将所述目标域样本子集输入行人重识别网络模型的残差网络结构中提取图像特征，以获取目标域样本子集中每一行人图片的特征，并将该每一行人图片的特征进行L

根据标准化处理后的每一行人图片的特征通过下述公式获得样本不变性损失函数：

其中，L

进一步的，所述网络模型训练模块，具体通过下述方式对所述行人重识别网络模型进行迭代优化：

根据所述分类损失函数、样本不变性损失函数以及分层损失函数获得总损失函数：

L＝λ

其中，L表示总损失函数，L

遍历每一源域样本子集和每一目标域样本子集，迭代更新所述总损失函数，直至总损失函数值的变化量小于预设值，以完成对行人重识别网络模型的优化。

另一方面，本发明提出了一种无监督域自适应行人重识别方法，包括：

获取包括多个源域样本子集的源域样本集和包括多个目标域样本子集的目标域样本集；

基于所述源域样本子集和目标域样本子集分别获得行人重识别网络模型的分类损失函数和样本不变性损失函数，以及根据所述源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层，基于分层后的行人图片特征以及对应的层别权重获得分层损失函数；基于所述分类损失函数、样本不变性损失函数以及分层损失函数遍历每一源域样本子集和目标域样本子集对所述行人重识别网络模型进行迭代优化；

利用优化好的行人重识别网络模型对待识别行人图像进行识别，获得与所述待识别行人图像相同或相似的图像。

进一步的，具体通过下述方式获得分层损失函数：

将源域样本子集和目标域样本子集分别输入行人重识别网络模型的残差网络结构中提取图像特征，以获取源域样本子集中每一行人图片的特征和目标域样本子集中每一行人图片的特征，并分别进行存储，将源域样本子集中每一行人图片的特征与目标域样本子集中每一行人图片的特征相乘获得对应的相似度；

基于所述相似度将目标域样本子集中的行人图片进行降序排序，并按顺序依次选取第一预设数量的图片作为第一层图片，选取第二预设数量的图片作为第二层图片，其余图片作为第三层图片，并分别设置三层图片的层别权重；

基于目标域样本子集中每一行人图片的特征以及其所属层别对应的层别权重获得分层损失函数：

其中，L

进一步的，设置的所述三层图片的层别权重为：

其中，b表示第一层图片的数量，k

与现有技术相比，本发明至少可实现如下有益效果之一：

1、本发明提出的无监督域自适应行人重识别系统及方法，通过带标签的源域样本和不带标签的目标域样本的结合有效的将监督行人重识别和无监督行人重识别结合在一起，首次提出通过源域样本与目标域样本间的相似度将目标域样本进行分层，从而提高行人重识别网络对目标域样本的区分度，减少网络的迁移损失，进而提高行人重识别网络对行人重识别结果的准确度。

2、本发明提出的无监督域自适应行人重识别系统及方法，利用源域样本和目标域样本特征的相似度对负样本进行分层、加权以得到分层损失函数，该损失函数在行人重识别网络模型的训练中使网络自适应减少对负样本特特征的学习，从而减少网络的迁移损失，在此基础上，结合分类损失函数和样本不变性损失函数对行人重识别网络进行迭代优化，能够大幅提高行人重识别网络对行人重识别结果的精度。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例无监督域自适应行人重识别系统的示意图；

图2为本发明实施例行人重识别网络模型的示意图；

图3为本发明实施例无监督域自适应行人重识别方法的流程图。

附图标记：

110-数据获取模块；120-网络模型训练模块；130-重识别模块。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

系统实施例

本发明的一个具体实施例，公开了一种无监督域自适应行人重识别系统。如图1所示，该系统包括：

数据获取模块110，用于获取包括多个源域样本子集的源域样本集和包括多个目标域样本子集的目标域样本集。具体的，从不同角度随机采集大量行人的图片，每一张图片包含一个行人，将采集的图片分为训练集和测试集，训练集用于对行人重识别网络模型进行训练，测试集用于对训练好的行人重识别网络模型进行测试，以保证行人重识别网络模型的识别精度。在训练集中随机选取部分图片，并为其中每一张图片添加标签，具体的，为同一个行人的多张图片添加同一标签，不同的标签表示不同的行人，将添加标签后的图片分为多个源域样本子集，将训练集中未添加标签的其他图片作为目标域样本集，并为每一图片添加编号，并将添加编号后的图片随机分为多个目标域样本子集。

网络模型训练模块120，用于获得行人重识别网络模型的分类损失函数和样本不变性损失函数，以及根据所述源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层，基于分层后的行人图片特征以及对应的层别权重获得分层损失函数。基于分类损失函数、样本不变性损失函数以及分层损失函数遍历每一源域样本子集和目标域样本子集对所述行人重识别网络模型进行迭代优化。

重识别模块，用于利用优化好的行人重识别网络模型对待识别行人图像进行识别，获得与待识别行人图像相同或相似的图像。具体的，将待识别行人图片输入至训练好的行人重识别网络模型中，该模型能够输出与该待识别行人图片最相似的图片，示例性的，设置该模型输出与待识别行人图片相似度最高的前三张图片的编号，该前三张图片为目标域样本集中的图片，再人工比对待识别行人图片和该前三张图片，以确定待识别行人图片的类别。

优选的，如图2所示，行人重识别网络模型包括残差网络结构、与分类损失函数相对应的依次连接的全连接层和Softmax归一化层、与样本不变性损失函数对应的依次连接的目标域存储器、L

优选，网络模型训练模块，具体通过下述方式获得分类损失函数、样本不变性损失函数和分层损失函数：

步骤1、将源域样本子集、目标域样本子集分别输入行人重识别网络模型的残差网络结构中提取图像特征，以获取源域样本子集中每一行人图片的特征以及目标域样本子集中每一行人图片的特征。

将目标域样本子集中每一行人图片的特征存储于目标域存储器中，将源域样本子集中每一行人图片的特征存储于源域存储器中。

步骤2、具体的，通过下述方式获得分类损失函数：

将源域样本子集中每一行人图片的特征依次输入行人重识别网络模型的全连接层和softmax回归层，进行特征维度转化和特征归一化，以强化行人重识别网络模型在学习中的非线性。

基于维度转化和归一化后的每一行人图片的特征采用下述公式分类损失函数；

其中，L

步骤3、具体的，通过下述方式获得样本不变性损失函数：

将目标域存储器中存储的当前目标域样本子集中每一行人图片的特征进行L

根据标准化处理后的每一行人图片的特征通过下述公式获得样本不变性损失函数：

其中，L

步骤4，具体通过下述方式获得分层损失函数：

基于相似度衡量轴网络结构将当前源域样本子集中每一行人图片的特征与当前目标域样本子集中每一行人图片的特征相乘以获得对应的相似度；

基于该相似度将目标域样本子集中的行人图片进行降序排序，并按顺序依次选取第一预设数量的图片作为第一层图片，选取第二预设数量的图片作为第二层图片，其余图片作为第三层图片，并分别设置三层图片的层别权重。示例性的，第一层图片的数量为3，第二层图片数量为147。

基于目标域样本子集中每一行人图片的特征以及其所属层别对应的层别权重获得分层损失函数：

其中，L

优选的，设置三层图片的层别权重为：

其中，b表示第一层图片的数量，k

具体的，步骤2至步骤4不分前后顺序，可同时进行。

步骤5、具体通过下述方式对所述行人重识别网络模型进行迭代优化：

根据分类损失函数、样本不变性损失函数以及分层损失函数获得总损失函数：

L＝λ

其中，L表示总损失函数，L

遍历每一源域样本子集和每一目标域样本子集，重复步骤1至步骤5迭代更新该总损失函数，直至总损失函数值的变化量小于预设值，以完成对行人重识别网络模型的优化。

具体的，在迭代更新过程中，目标域存储器中存储的目标域样本子集行人图片特征通过下述方式进行实时更新：

x

方法实施例

本发明的另一个实施例公开了一种无监督域自适应行人重识别方法，由于该方法实施例与上述系统实施例基于相同的原理，因此在此不再赘述，重复之处可以参考上市系统实施例。

具体的，如图3所示，该方法包括：

S110、获取包括多个源域样本子集的源域样本集和包括多个目标域样本子集的目标域样本集。

S120、基于所述源域样本子集和目标域样本子集分别获得行人重识别网络模型的分类损失函数和样本不变性损失函数，以及根据所述源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层，基于分层后的行人图片特征以及对应的层别权重获得分层损失函数；基于所述分类损失函数、样本不变性损失函数以及分层损失函数遍历每一源域样本子集和目标域样本子集对所述行人重识别网络模型进行迭代优化。

S130、利用优化好的行人重识别网络模型对待识别行人图像进行识别，获得与所述待识别行人图像相同或相似的图像。

优选的，具体通过下述方式获得分层损失函数：

将源域样本子集和目标域样本子集分别输入行人重识别网络模型的残差网络结构中提取图像特征，以获取源域样本子集中每一行人图片的特征和目标域样本子集中每一行人图片的特征，并分别进行存储，将源域样本子集中每一行人图片的特征与目标域样本子集中每一行人图片的特征相乘获得对应的相似度；

基于所述相似度将目标域样本子集中的行人图片进行降序排序，并按顺序依次选取第一预设数量的图片作为第一层图片，选取第二预设数量的图片作为第二层图片，其余图片作为第三层图片，并分别设置三层图片的层别权重；

基于目标域样本子集中每一行人图片的特征以及其所属层别对应的层别权重获得分层损失函数：

其中，L

优选的，设置的所述三层图片的层别权重为：

其中，b表示第一层图片的数量，k

与现有技术相比，本实施例提供的的无监督域自适应行人重识别系统及方法，一方面，通过带标签的源域样本和不带标签的目标域样本的结合有效的将监督行人重识别和无监督行人重识别结合在一起，即首次通过源域样本与目标域样本间的相似度将目标域样本进行分层，从而提高行人重识别网络对目标域样本的区分度，减少网络的迁移损失，进而提高行人重识别网络对行人重识别结果的准确度；另一方面，利用源域样本和目标域样本特征的相似度对负样本进行分层、加权以得到分层损失函数，该损失函数在行人重识别网络模型的训练中使网络自适应减少对负样本特特征的学习，从而减少网络的迁移损失，在此基础上，结合分类损失函数和样本不变性损失函数对行人重识别网络进行迭代优化，能够大幅提高行人重识别网络对行人重识别结果的精度。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。