一种应用于无监督行人重识别的一致性距离度量方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种应用于无监督行人重识别的一致性距离度量方法。

背景技术

行人重识别旨在完成跨视角(摄像头)行人检索的任务。现行的无监督行人重识别方法通常包含两个阶段：1)在源域带标注训练集上预训练模型；2)在目标域无标签训练集上进行伪标签估计和模型微调。其中伪标签估计是关键，当前主流方法是基于深度神经网络提取的特征进行聚类进而生成伪标签。然而，不同摄像头之间由于位置、参数等差异，使得同一行人跨摄像头变化明显，可能导致同一行人在特征空间的距离大于不同行人之间的距离，无法准确聚类。因此，设计合理的跨视角距离度量方法至关重要。

现有方法主要通过对抗学习提取相机无关的特征。一些学者提出利用GAN生成相机风格转移的样本，然后利用相机不变性的约束来缩小样本之间的跨相机差异。同样，另一些学者提出采用相机风格迁移模型生成不同相机风格下的样本，以减小相机方差。还有一些提出采用了一种带有梯度反向层的分类器，对不同摄像机拍摄的同一身份的行人样本学习跨视角不变特征。然而，该类方法在抑制相机间差异的同时，也可能抑制了模型对视觉特征的敏感性，降低了模型的识别能力，同时过度抑制视角信息可能会减弱模型对视觉细节的区分能力。因此，在不减弱模型对视觉特征的识别能力的前提下，提高跨相机匹配的一致性，是一个值得探索的方向。

经查询，一些学者在论文《Adaptive Camera Margin for Mask-guided DomainAdaptive Person Re-identification》中提出的自适应相机域度的方法，可以减少相机域间差异。但是，该方法将由视角差异引起的距离变化量建模成一个固定的数值，而现实世界不同相机之间的差异是不固定的(例如分辨率，部署位置，视角等都可能存在不同的差异)，因此该方法的可扩展性有限。为此，提出一种应用于无监督行人重识别的一致性距离度量方法。

发明内容

本发明所要解决的技术问题在于：如何解决现有技术中存在可扩展性有限等问题，提供了一种应用于无监督行人重识别的一致性距离度量方法，该度量方法可以确保行人图像在特征空间的距离度量不受视角差异的影响，进而得到更好的聚类结果和更可靠的伪标签。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

S1：对于目标域无标签数据，利用样本在特征空间的原始距离进行聚类，得到初始的伪标签；

S2：基于原始距离和初始伪标签，计算视角相关的全局相机修正项和局部相机修正项；

S3：利用步骤S2中构造的修正项来重新计算修正后样本间相机无关的距离，并以此重新进行聚类，得到优化后的伪标签；

S4：利用优化后的伪标签对模型进行微调。

更进一步地，在所述步骤S1中，具体处理过程如下：

S11：利用带标签的源域数据，通过预训练得到一个模型ψ(·)；

S12：将目标域无标签训练集表示为

S13：针对目标域样本的特征

S14：使用聚类算法，基于距离矩阵

更进一步地，在所述步骤S2中，具体处理过程如下：

S21：计算全局相机矩阵

S22：计算全局相机修正项μ

S23：计算局部相机矩阵

S24：计算局部相机修正项M

更进一步地，在所述步骤S21中，

更进一步地，在所述步骤S22中，具体计算过程如下：

S221：将μ

S222：逐一遍历初步聚类结果

更进一步地，在所述步骤S222中，对于每一个类簇

S2221：将记录该类簇中来自相同相机样本对的数目n

S2222：逐一遍历类簇

n

否则，x

n

S2223：如果n

μ

同时通过以下公式记录实际参与计算全局相机修正项的类簇的数量，公式如下：

S2224：最后将全部有效类簇产生的修正量利用以下公式求均值得到最终的全局相机修正项：

更进一步地，在所述步骤S23中，局部相机矩阵

更进一步地，在所述步骤S24中，具体计算过程如下：

S241：将M

S242：逐一遍历初步聚类结果

更进一步地，在所述步骤S242中，具体计算过程如下：

S2421：将记录该类簇中来自相同相机样本对的数目n

S2422：逐一遍历类簇

n

否则，x

N

S2423：如果N

同时通过以下公式记录实际参与计算局部相机修正项的类簇的数量，公式如下：

S2424：最后对于特定的两个不同视角，将全部有效类簇产生的修正量利用以下公式求均值得到最终的局部相机修正项：

更进一步地，在所述步骤S3中，具体处理过程如下：

S31：利用全局相机修正项补全缺失的局部相机修正项；

S32：利用全局相机修正项和局部相机修正项同时计算修正后相机无关的距离矩阵：

其中，

S33：利用修正后的距离矩阵

本发明相比现有技术具有以下优点：

1)不降低模型对行人表观信息的判别性

现行消除视角差异的方法一般通过对抗学习来得到一个对于视角信息不敏感的模型，该过程不可避免地会降低模型原有的判别性。而本方法通过对视角相关的信息进行显式建模，进而消除视角差异对于距离度量的负面影响，可以不损害模型原有的判别能力。

2)使得模型的部署更加便捷，模型的可扩展性更强

当前基于对抗学习或者基于固定值相机裕度的方法在应用场景发生变化时，场景的差异将会导致视角差异的不同，从而使得原本精心设计的对抗模型和相机裕度失效。而本方法在模型部署至新的目标场景后，将会以极低的时间成本重新计算并更新相机差异，从而保证模型的稳定性和有效性。

3)计算量更小，实现更高效

当前基于对抗学习来消除视角差异的方法需要海量数据来训练一个对视角变化具有鲁棒性的模型，而本方法可以大幅度降低对数据规模的依赖，同时无需针对视角差异对模型进行专门的训练优化，从而可以节省时间。

4)结果更具可解释性

基于对抗学习来消除视角差异的方法将对视角差异的鲁棒性以一种隐式的方式建模在深度学习模型中，该方法可解释性差。本方法将与视角差异有关的信息以一种显式的方式直接计算出来，因此，该方法所得到的一致性距离度量结果更具可解释性，方便在原理层面进行更为深入的分析和研究。

附图说明

图1是本发明实施例二中应用于无监督行人重识别的一致性距离度量方法的流程示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例一

本实施例提供一种技术方案：一种应用于无监督行人重识别的一致性距离度量方法，具体通过构造两个视角相关的修正项来对原始特征空间中样本对间的距离进行修正，以获取与视角无关的，具有一致性的距离度量；以此为基础进行聚类可以得到更好的聚类结果和伪标签估计结果，最终提升无监督行人重识别的性能，其核心步骤如下：

步骤1、对于目标域无标签数据，利用样本在特征空间的原始距离进行聚类，得到初始的伪标签。

步骤2、基于原始距离和初始伪标签，计算视角相关的全局相机修正项(仅仅区分样本对是否来自同一视角，不关注样本具体来自哪一个视角)和局部相机修正项(关注样本具体来自哪一个视角)。在此过程中，计算是以伪标签所对应的每一个类别为单位进行的，该操作可以消除行人身份的差异，从而保证得到的修正项更好地反映视角相关的信息。

步骤3、利用构造的修正项来重新计算修正后样本间相机无关的距离，并以此重新进行聚类，得到优化后的伪标签。

步骤4、利用优化后的伪标签对模型进行微调，以提升模型的性能。

实施例二

如图1所示，本实施例对实施例一中应用于无监督行人重识别的一致性距离度量方法进行更进一步地说明，其具体步骤为：

步骤1、利用带标签的源域数据，通过预训练得到一个模型ψ(·)；

步骤2、将目标域无标签训练集表示为

步骤3、针对目标域样本的特征

步骤4、使用聚类算法，基于距离矩阵

步骤5、计算全局相机矩阵

步骤6、计算全局相机修正项μ

首先将μ

然后逐一遍历初步聚类结果

将记录该类簇中来自相同相机样本对的数目n

逐一遍历类簇

n

否则，x

n

如果n

μ

最后将全部有效类簇产生的修正量利用公式(9)求均值得到最终的全局相机修正项：

步骤7、计算局部相机矩阵

步骤8、计算局部相机修正项M

首先将M

然后逐一遍历初步聚类结果

将记录该类簇中来自相同相机样本对的数目n

逐一遍历类簇

n

否则，x

N

如果N

最后对于特定的两个不同视角，将全部有效类簇产生的修正量利用公式(17)求均值得到最终的局部相机修正项：

步骤9、利用全局相机修正项补全缺失的局部相机修正项。鉴于数据集中可能不存在跨特定视角的数据，因此该视角所对应的局部修正项是空缺的，为了保证局部修正信息的完备性，采用全部修正项来填补缺失的局部修正项。

步骤10、利用全局相机修正项和局部相机修正项同时计算修正后相机无关的距离矩阵：

其中

步骤11、利用修正后的距离矩阵

步骤12、利用目标域无标签数据和步骤11得到的伪标签对模型ψ(·)进行微调。

步骤13、重复进行步骤2-12，直至模型收敛。

综上所述，上述实施例的应用于无监督行人重识别的一致性距离度量方法，通过在聚类和距离度量过程中考虑相机之间的差异，有效地解决了现有技术中同一行人在不同相机视角下的特征距离存在明显差异的问题，可以更有效地度量行人图像之间的相似性，使得跨相机匹配的准确性明显提高；采用了无监督学习的方法，无需依赖人工标注的数据可以大大降低数据标注的人工成本和时间成本，这对于在实际应用中大规模部署行人重识别系统具有重要价值；将与视角差异有关的信息以一种显式的方式直接计算出来，所得到的一致性距离度量结果更具可解释性，模型可解释性的提升对于模型落地应用的推广有着积极的作用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。