一种行人重识别匹配边界阈值设置方法、装置及相关组件

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种行人重识别匹配边界阈值设置方法、装置及相关组件。

背景技术

物体分类识别任务，比如行人重识别、车辆重识别、人脸识别、物体分类等，一直是计算机视觉热点研究问题之一。当前对于物体分类识别任务研究，常常致力于训练数据、模型结构、目标函数研究。为了提高分类任务性能，可以采用更加丰富、质量更高的训练数据，并且海量高质量数据可以快速提高模型性能。此外，还可以挖掘、设计更有效的网络结构以提高分类任务性能。另外，采用更有效的目标函数训练模型，也能进一步提高模型性能，比如softmax、center loss(中心损失)等模型，采用不同的目标函数训练可以得到不同的网络性能。当前主要从这三方面(即训练数据、网络结构、目标函数)进行了大量研究，极大的提高分类任务性能。但是，对于一个物体分类应用，除了从以上三方面的改进以提升性能以外，阈值的选择和设置对物体分类系统的性能影响非常大。而当前对于阈值设置往往是根据经验设置，而且设置的阈值会受到应用环境的影响，当应用环境改变时，比如光照条件、天气变化、摄像头参数改变时，阈值需要不断地进行相应的调整，但是每次调整都需要大量人力物力和经验，在生产过程中带来极大麻烦和不便。

对于分类任务，特别是行人重识别任务，在现实场景应用过程中，需要跨越多个摄像头进行行人分析识别，判断不同摄像头的行人是否是同一个人。行人重识别任务包括两种，一种是识别任务，即对于一个行人probe(查询)，需要在gallery(行人全身图数据库)中找到对应的行人。如果probe是陌生人，也就是gallery中不包含probe这个身份，这时不需要返回行人结果。另一个是验证任务，即对于两个不同摄像头的行人，判断这两个跨摄像头的行人是相同行人(正样本对)还是不同行人(负样本对)。对于识别和验证这两个不同任务，在现实场景应用中，均需要结合阈值做判断。对于识别任务，probe对gallery进行匹配，找到rank-1(排序为1)对应的行人，但这时还不能判定该gallery中的rank-1行人与probe是同一个身份，因为probe很可能是陌生人，其身份ID不在gallery中。此时便要结合阈值边界值进行判断，如果相似度得分大于阈值，则判定为同一个人；如果相似度得分小于阈值，则判定为陌生人。因此阈值的设置在行人重识别应用中是非常重要的。阈值设置过大，会导致检出率过低，即系统模型容易把正样本判定为负样本，或者probe经常被误判为陌生人。阈值设置过小，会导致误检出率过大，即系统模型容易把负样本判定为正样本，或者probe中的陌生人经常被误判。

目前，对于阈值，通常依靠人工经验设置，且设置的阈值往往不是最优的。随着环境条件变化，比如光照条件、天气条件、摄像头参数等，设置的阈值随着环境条件变化而不再适用，从而导致现实场景应用效果变差，这时又要大量的人力物力投入到阈值的研究和设置。不能便捷智能的调节分类任务的阈值，经常需要阈值的维护和修订，导致生产过程成本过高。

发明内容

本发明实施例提供了一种行人重识别匹配边界阈值设置方法、装置、计算机设备及存储介质，旨在提供一种准确、稳定的阈值设置方法。

第一方面，本发明实施例提供了一种行人重识别匹配边界阈值设置方法，包括：

获取多个待设定匹配边界阈值的场景，并对每一场景分别随机采集多张行人数据；

利用预设的卷积神经网络模型对每一场景中的多张行人数据进行特征提取，得到每一场景中的多个行人特征；

对每一场景中的多个行人特征进行两两之间的相似度计算，得到对应的多个相似度得分，然后对每一场景中的多个相似度得分按照数值大小进行排序，并对排序后的每一相似度得分设置对应的相似度索引号；

针对每一场景，根据预设的负样本错误率以及相似度得分的个数确定一目标相似度索引号，然后将与所述目标相似度索引号对应的相似度得分作为对应场景的匹配边界阈值。

第二方面，本发明实施例提供了一种行人重识别匹配边界阈值设置装置，包括：

采集单元，用于获取多个待设定匹配边界阈值的场景，并对每一场景分别随机采集多张行人数据；

第一提取单元，用于利用预设的卷积神经网络模型对每一场景中的多张行人数据进行特征提取，得到每一场景中的多个行人特征；

相似度单元，用于对每一场景中的多个行人特征进行两两之间的相似度计算，得到对应的多个相似度得分，然后对每一场景中的多个相似度得分按照数值大小进行排序，并对排序后的每一相似度得分设置对应的相似度索引号；

第一确定单元，用于针对每一场景，根据预设的负样本错误率以及相似度得分的个数确定一目标相似度索引号，然后将与所述目标相似度索引号对应的相似度得分作为对应场景的匹配边界阈值。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的行人重识别匹配边界阈值的设置方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的行人重识别匹配边界阈值的设置方法。

本发明实施例提供了一种行人重识别匹配边界阈值设置方法、装置、计算机设备及存储介质，该方法包括：获取多个待设定匹配边界阈值的场景，并对每一场景分别随机采集多张行人数据；利用预设的卷积神经网络模型对每一场景中的多张行人数据进行特征提取，得到每一场景中的多个行人特征；对每一场景中的多个行人特征进行两两之间的相似度计算，得到对应的多个相似度得分，然后对每一场景中的多个相似度得分按照数值大小进行排序，并对排序后的每一相似度得分设置对应的相似度索引号；针对每一场景，根据预设的负样本错误率以及相似度得分的个数确定一目标相似度索引号，然后将与所述目标相似度索引号对应的相似度得分作为对应场景的匹配边界阈值。本发明实施例在无需对样本进行标注的情况下，仅根据预设的负样本错误率即可确定最终的匹配边界阈值，并且可以有效保证该匹配边界阈值的准确性和稳定性。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种行人重识别匹配边界阈值设置方法的流程示意图；

图2为本发明实施例提供的一种行人重识别匹配边界阈值设置方法中的具体示例图；

图3为本发明实施例提供的一种行人重识别匹配边界阈值设置装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

下面请参见图1，图1为本发明实施例提供的一种行人重识别匹配边界阈值的设置方法的流程示意图，具体包括：步骤S101～S104。

S101、获取多个待设定匹配边界阈值的场景，并对每一场景分别随机采集多张行人数据；

S102、利用预设的卷积神经网络模型对每一场景中的多张行人数据进行特征提取，得到每一场景中的多个行人特征；

S103、对每一场景中的多个行人特征进行两两之间的相似度计算，得到对应的多个相似度得分，然后对每一场景中的多个相似度得分按照数值大小进行排序，并对排序后的每一相似度得分设置对应的相似度索引号；

S104、针对每一场景，根据预设的负样本错误率以及相似度得分的个数确定一目标相似度索引号，然后将与所述目标相似度索引号对应的相似度得分作为对应场景的匹配边界阈值。

本实施例中，首先确定需要设定匹配边界阈值的场景1、2、…、k，对于每个场景，分别随机采集N

本实施例基于场景自适应阈值法，对行人重识别匹配阈值进行场景自适应的设定，能够在不对获取的样本进行标定的情况下，仅仅根据预设的负样本错误率即可达到对不同的场景自动设置合理的阈值的效果，并且在该阈值下对获取的样本进行识别判断，得到的系统负样本错误率小于本实施例预设的负样本错误率，如此，既可以有效保证该匹配边界阈值的准确性和稳定性，又可以极大提高不同场景中行人重识别识别率。需要说明的是，本实施例所述的预设的负样本错误率可以根据不同场景而灵活设定。还需注意的是，本实施例提供的行人重识别匹配边界阈值的设置方法，不仅可以用于行人重识别任务，还可以用于其他分类任务中，比如车辆重识别、人脸识别、人脸表情识别、动作识别等等。

在一实施例中，所述步骤S101之前，包括：

利用包含不同图像类别的图像库对预设的卷积神经网络模型进行预训练，直至所述卷积神经网络模型中的目标函数损失收敛或者所述卷积神经网络模型输出的分类效果符合预期值。

本实施例中，在获取多个待设定匹配边界阈值的场景之前，先设置一用于提取行人重识别特征的卷积神经网络模型。并且采用包含不同图像类别的图像库对所述卷积神经网络模型进行预训练，使所述卷积神经网络模型具备图像特征提取和图像分类等功能。在一具体应用场景中，利用ImageNet图像库(一种用于视觉对象识别软件研究的大型可视化数据库)对所述卷积神经网络模型进行预训练，ImageNet图像库中包含1000个图像类别，可以对所述卷积神经网络模型进行充足的预训练。

在一实施例中，所述步骤S101之前，还包括：

利用行人重识别数据库中的数据对经过预训练的卷积神经网络模型进行优化更新。

本实施例中，在使所述卷积神经网络模型具备图像特征提取和图像分类等功能后，进一步地所述卷积神经网络模型进行微调优化，以提高所述卷积神经网络模型的性能。具体的，采用行人重识别数据库对所述卷积神经模型进行微调优化，其中，所述的行人重识别数据库可以采用CUHK03数据库、Market-1501数据库、MSMT17数据库或者DukeMTMC-reID数据库等等。优选的，采用多个不同的行人重识别数据库所述卷积神经网络模型进行微调优化，使所述卷积神经网络模型能够获取更鲁邦的行人表征，提高行人重识别泛化能力。

在一实施例中，所述步骤S102包括：

将每一场景中的每一张行人数据输入至所述卷积神经网络模型中；

利用所述卷积神经网络模型中的第一卷积层对每一张行人数据进行初步特征提取，得到每一张行人数据的第一特征矩阵；

利用第一池化层对所述第一特征矩阵进行池化处理，得到每一张行人数据的第一目标矩阵；

将所述第一目标矩阵输入至第二卷积层中，并由所述第二卷积层输出第二特征矩阵；

利用第二池化层对所述第二特征矩阵进行池化处理，得到第二目标矩阵；

依次利用第一全连接层和第二全连接层对所述第二目标矩阵分类处理，得到每一场景中的每一张行人数据对应的行人特征。

本实施例中，利用经过微调优化后的卷积神经网络模型对每一场景中的行人数据进行行人特征提取。具体的，首先通过所述第一卷积层对所述行人数据进行初步特征提取，然后通过所述第一池化层对所述卷积层输出的特征矩阵进行池化，再使所述第一池化层输出的第一目标矩阵依次经过所述第二卷积层和第二池化层后得到所述第二目标矩阵，然后依次通过所述第一全连接层和第二连接层对所述第二目标矩阵进行分类，从而得到对应的行人特征。需要说明的是，在获取行人特征的过程中，可以由全连接层输出所述行人特征，也可以由卷积层或者池化层输出所述行人特征，本实施例对此并不限定。当然，在其他实施例中，还可以采用更加复杂的卷积神经网络模型对行人数据进行行人特征提取。

在一实施例中，所述步骤S103包括：

对每一场景中的任意两个行人特征之间进行余弦相似度计算，得到对应的相似度得分；

通过等差数列求和公式确定每一场景中相似度得分的个数为(N

对(N

本实施例中，针对每一场景，首先对所有的行人特征进行两两配对组合，并且使每一行人特征均可以和其余所有行人特征进行配对组合，然后对所有组合内的两个行人特征之间计算相似度，得到对应的相似度得分。本实施例采用余弦相似度的方法计算相似度得分，在其他实施例中，还可以采用其他相似度计算方法计算相似度得分，例如采用欧式距离计算相似度得分等。

在每一场景中，根据等差数列求和公式可以确定所有行人特征在进行任意两两配对组合后得到的组合数，也就是最终计算得到的相似度得分的个数，即(N

对每一场景中的相似度得分进行排序，例如按照从大至小或者从小至大的顺序进行排序，并在排序后按照顺序为每一相似度得分设置一相似度索引号，根据该相似度索引号，即可确定对应的相似度得分。

在一实施例中，所述对(N

利用排序算法对(N

本实施例中，使用排序算法对所有的相似度得分按照数值从大至小的顺序进行排序，并依次为各相似度得分设置相似度索引号。本实施例所述的排序算法可以是插入排序算法，也可以是选择排序算法，还可以是其他适用于本实施例的排序算法等。

在一实施例中，所述步骤S105包括：

按照下列公式确定每一场景中的目标相似度索引号：

idx＝(err％*(N

式中，idx为每一场景中的目标相似度索引号，err％为每一场景中预设的负样本错误率，(N

本实施例中，按照上述目标相似度索引号的计算公式即可快速得到每一场景中的目标相似度索引号，然后在经过排序的相似度得分中找到与该目标相似度索引号相同的相似度索引号，该相似度索引号对应的相似度得分即为对应场景的匹配边界阈值。

例如，假设一场景中的相似度得分有5个，依次为A、B、C、D、E，对应的相似度索引号依次为1001、1002、1003、1004、1005，在按照上述公式计算得到该场景的目标相似度索引号为1003时，即可确定该场景的匹配边界阈值为C。

优选的，当确定每一场景的匹配边界阈值后，还可以根据该匹配边界阈值对场景中的行人数据的样本对(行人特征两两组合后的样本数据)进行判断，即当样本对的相似度大于该匹配边界阈值时，则将该样本对判定为正样本，当样本对的相似度小于该匹配边界阈值时，则将该样本对判定为负样本。另外，本实施例中所述负样本的含义为：所述行人数据中的两个行人不属于同一个人，所述正样本的含义为：所述行人数据中的两个行人属于同一个人。

在一具体实施例中，假设在一场景中，该场景的系统负样本错误率可以按照下列公式进行计算：

err％＝FP/(FP+TN)

式中，err％为系统负样本错误率，TN为被预先判定为负样本的数量，FP为被预先误判为正样本的负样本的数量。

同时，该场景包含c个行人，每个行人包含h张图片，由等差数列求和公式计算得到其中的正样本数量为c(h^2-h)/2，负样本数量为((c*h)^2-(c*h))/2-c(h^2-h)/2，那么，负样本的数量与正样本的数量之间的比值为：

可见，负样本数量与正样本数量的比值大于c-1倍，其中c是类别数(通常大于1)，所以负样本数量远大于正样本。

因此，在计算负样本错误率时，仅采用负样本集合计算得到的负样本错误率结果，与同时将正样本和负样本均当做负样本去计算负样本错误率，这两种结果计算得到的负样本错误率是近似相同的，即FP/(FP+TN)与FP/(FP+TN+TP+FP)的值相近，其中，TP指被模型预测为正样本的正样本数量，TN指被模型预测为负样本的负样本数量，FP指被模型预测为正样本的负样本数量，FN指被模型预测为负样本的正样本数量。

为了不失一般性，给定识别系统允许的负样本错误率为err％，假设此时在对应阈值T下得到了FN、TN、TP和FP，则大于阈值T的样本数量为TP+FP(因为大于阈值T，故认为是正样本，那么就包含预测正确的正样本TP和将负样本预测为正样本的样本FP)，则根据FP/(FN+TN+TP+FP)进行计算可得：FP＝err％*(FN+TN+TP+FP)＝err％*(N^2-N)/2，将计算结果作为目标相似度索引号，即可得到该场景下的估计阈值t。进一步的，假设在阈值t下得到FN1、TN1、TP1、FP1，则TP1+FP1＝FP

在另一具体实施例中，如图2所示，基于行人重识别数据库CUHK03验证集，设定系统允许负样本错误率为0.2％。根据本实施例提供的行人重识别匹配边界阈值设置方法得到的阈值0.73，当系统真实负样本错误率为0.2％时对应的阈值为0.72，因此本实施例提供的行人重识别匹配边界阈值设置方法最终得到的阈值满足负样本错误率小于0.2％的要求。

图3为本发明实施例提供的一种行人重识别匹配边界阈值的设置装置300的示意性框图，该装置300包括：

采集单元301，用于获取多个待设定匹配边界阈值的场景，并对每一场景分别随机采集多张行人数据；

第一提取单元302，用于利用预设的卷积神经网络模型对每一场景中的多张行人数据进行特征提取，得到每一场景中的多个行人特征；

相似度单元303，用于对每一场景中的多个行人特征进行两两之间的相似度计算，得到对应的多个相似度得分，然后对每一场景中的多个相似度得分按照数值大小进行排序，并对排序后的每一相似度得分设置对应的相似度索引号；

第一确定单元305，用于针对每一场景，根据预设的负样本错误率以及相似度得分的个数确定一目标相似度索引号，然后将与所述目标相似度索引号对应的相似度得分作为对应场景的匹配边界阈值。

在一实施例中，所述采集单元301之前包括：

预训练单元，用于利用包含不同图像类别的图像库对预设的卷积神经网络模型进行预训练，直至所述卷积神经网络模型中的目标函数损失收敛或者所述卷积神经网络模型输出的分类效果符合预期值；

在一实施例中，所述采集单元301之前还包括：

优化更新单元，用于利用行人重识别数据库中的数据对经过预训练的卷积神经网络模型进行优化更新。

在一实施例中，所述第一提取单元302包括：

输入单元，用于将每一场景中的每一张行人数据输入至所述卷积神经网络模型中；

第一卷积单元，用于利用所述卷积神经网络模型中的第一卷积层对每一张行人数据进行初步特征提取，得到每一张行人数据的第一特征矩阵；

第一池化单元，用于利用第一池化层对所述第一特征矩阵进行池化处理，得到每一张行人数据的第一目标矩阵；

第二卷积单元，用于将所述第一目标矩阵输入至第二卷积层中，并由所述第二卷积层输出第二特征矩阵；

第二池化单元，用于利用第二池化层对所述第二特征矩阵进行池化处理，得到第二目标矩阵；

分类处理单元，用于依次利用第一全连接层和第二全连接层对所述第二目标矩阵分类处理，得到每一场景中的每一张行人数据对应的行人特征。

在一实施例中，所述相似度单元303包括：

余弦计算单元，用于对每一场景中的任意两个行人特征之间进行余弦相似度计算，得到对应的相似度得分；

等差求和单元，用于通过等差数列求和公式确定每一场景中相似度得分的个数为(N

设置单元，用于对(N

在一实施例中，所述设置单元包括：

排序单元，用于利用排序算法对(N

在一实施例中，所述第一确定单元305包括：

第二确定单元，用于按照下列公式确定每一场景中的目标相似度索引号：

idx＝(err％*(N

式中，idx为每一场景中的目标相似度索引号，err％为每一场景中的负样本错误率，(N

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。