一种社区监控场景下基于关键点特征对齐的行人重识别方法

技术领域

本发明涉及图像检索、人工智能、深度学习技术领域，特别涉及一种社区监控场景下基于关键点特征对齐的行人重识别方法。

背景技术

行人重识别技术是图像检索中的一个重要研究领域，且在社区监控场景下适用于对行人进行关键点特征分析并识别，由各个特征的分析结果逐渐上升到全局的人体特征匹配结果，以完成对特殊人群的精确识别。行人重识别技术是行人识别的优化方向之一，突破摄像机分辨率、摄影角度以及行人状态的限制，能够从复杂的环境中针对行人得出有效的识别结果。

行人重识别是一项复杂的工作，仅仅靠某一部位的识别(如人脸识别)无法精确地判断出特殊人群，并且仅仅靠宽泛的外部特征(如帽子颜色、鞋子型号等)也无法对判断结果进行细化。

一般来讲，主要以部位匹配的方式实现行人重识别技术。针对来自于视频或者图像序列的数据源，可以根据人体在现实生活中的三维结构进行切割。其中，水平切割和矩形领域切割将行人图像分割为不同的部分以进行特征匹配，然而这种切割方式所产生的“部位”无法准确反映人体的现实特征。而根据部位(手、脚、头部等)进行分割可以减少位置误差，但是部位匹配时所产生的误差依赖于具体算法的设计。本发明以该匹配方式为基础，针对行人重识别技术的局限性以及部位匹配准确率的问题进行优化，提出了一种社区监控场景下的行人重识别方法，该方法由块及面，基于关键点特征对齐的方式，逐步上升到全局特征的匹配。其中与关键点特征对齐有关的技术优化和度量学习相关的内容为本专利的重点。

发明内容

为了解决对以往的行人重识别方法的局限性的分析与研究的问题，本发明的目的是提供一种社区监控场景下基于关键点特征对齐的行人重识别方法。该方法对局部特征识别的过程进行优化，提出基于人体部位关键点特征对齐和活动形状模型(active shapemodels，简称ASM)的人体特征识别算法，本发明将该方法命名为基于人体部位特征的ASM匹配模型(对应英文名称为Body features based active shape models，又称BF-ASM)，提高了行人重识别方法的识别准确率、精度以及效率。另外本发明在前人的方法上进行改进，提出了一种精细化分布式SILTP方法以进行局部特征的整合。并且，本发明还参考了度量学习的原理优化特征向量的距离函数，使行人重识别有更高的区分度。

为了解决上述技术问题，本发明的技术方案是：

一种社区监控场景下基于关键点特征对齐的行人重识别方法，包括以下步骤：

步骤1：提取来自于监控视频的行人图像数据，作为关键点特征点对齐模型的训练数据集；

步骤2：对训练集中的所有行人图像进行HSV直方图均衡化，并且经过两次下采样，以扩充原有训练集；

步骤3：对训练集中的所有行人图像标定其关键特征点，要求这些点能够以人体部位为单位形成轮廓；

步骤4：将标记好的训练集经由BF-ASM方法进行处理，生成针对该训练集的平均人体匹配模型；

步骤5：输入待检测行人图像，以步骤4中的平均人体匹配模型自动进行特征点标注，该模型能够调整其偏移量、角度、大小以标记待检测图像中的行人部位；

步骤6：将经过步骤5标记的待检测行人图像和经由步骤3标记的训练集图像按照特征点轮廓分为多个人体部位图像；

步骤7：对于每个图，使用SILTP方法对人体各部位图像进行处理；

步骤8：经由步骤7得到各部位图像所对应的特征值向量，并且将每个特征值向量融合为一个特征值向量，作为整个图像的全局特征表示；

步骤9：自定义全局特征向量的距离函数，该函数以度量学习的方式得出；

步骤10：将待检测行人图像的全局特征向量与训练集中的每个图像所对应的全局特征向量以步骤9中的距离函数进行距离计算，并且按照距离升序排序输出对比结果。

优选地，在所述步骤2中，所提到的HSV直方图均衡化方法，旨在对复杂场景(如背景过暗或过亮的背景)下行人与背景像素的对比度。首先对行人图像求出HSV直方图，随后按照所求直方图，将不同灰度级下的像素数量进行重新分配，使像素尽可能的往更大的灰度范围中扩散。经由该步骤所得图像中的行人轮廓更加鲜明。

优选地，在所述步骤2中，所提到的两次图像下采样，即池化操作，主要目的是对图像进行成比例的放缩，放缩后的两种大小的图像扩充了之前的训练集，为BF-ASM模型的训练作准备。经由不同大小的图像对模型进行训练，能够使模型的尺寸敏感度变高，能够更好地对齐不同尺寸中的行人人体部位。

优选地，在所述步骤4中，所提到的BF-ASM方法，参考了人脸匹配中的ASM方法，使其能够应用于人体部位轮廓的对齐。首先对于每个图，根据所标注的特征点生成特征点向量。其次，进行形状归一化，使用Procrustes方法将图像进行对齐操作，以获得平均人体部位形状模型，该模型概括了训练集中行人部位轮廓的大概情况，并且为每个特征点建立局部纹理特征。

优选地，在所述步骤5中，依据步骤4中所生成的特征点对应局部纹理特征，平均形状模型在新的待检测的图像中进行偏移量、旋转角度、缩放量上的修正，以自动地对人体部位特征进行精确标注。

优选地，在所述步骤7中，SILTP方法，即尺度不变局部三值模式方法，能够通过特定的SILTP算子对图像像素进行三值(00、01、10)编码，以达到对人体部位的特征提取，该算子对检测范围内的噪声具有更高的鲁棒性。同时，所形成的局部特征向量为(x,y,z),分别代表图中包含的三个编码值的数量。并且，每个特征所对应的权重组成了权重向量，通过与权重向量进行点乘，能够使识别效果具有倾向性(即部位的重要程度)。

优选地，进一步的，在所述步骤9中，度量学习的目的是使相同行人的全局特征向量之间距离更小，而不同行人的全局特征向量之间距离更大。对训练集做好标签，并且将训练集按照标签分为相似对集合S和不同对集合D，假设集合所对应的向量对(pic1,pic2)在马氏距离函数中的表示为

将集合S和集合D中的向量对在上式中不断进行迭代，以S间距离最小化和D间距离在规定范围c之外为目标，对变换半正定矩阵A进行学习，从而确定距离变换函数。

采用上述技术方案，本发明提供的一种社区监控场景下基于关键点特征对齐的行人重识别方法，具有以下有益效果：通过将人体各部位进行高精度分块，能够对不同姿势和角度变化下的行人进行特征点对齐并提取特征，由局部到全局，并且能够大幅度规避复杂环境所造成的识别度影响，使行人重识别的准确度得到提高。另外，还运用了度量学习的原理使相同行人的距离缩小，同时使不同行人的距离增大，提高识别效果的区分程度。

附图说明

本发明附有相关的附图说明，以对行人重识别方法的具体实施流程进行详细说明。另外，本发明所涉及到的实施例仅用于参考和理解，并不构成对本发明的不当限定。

图1为本发明实施例中行人重识别方法的总体流程图；

图2为本发明所提到的BF-ASM方法的具体建模流程图；

图3为本发明所提到的BF-ASM方法的关键点对齐过程图；

图4为本发明所改进的精细化分布式SILTP方法的原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面对社区监控场景下基于人体部位特征对齐的行人重识别方法进行详细说明，图1是本发明实施例中行人重识别方法的总体流程，对图中的各个步骤进行分解，与本例相关的主要示例性实施方法概括如下：使用BF-ASM方法进行人体部位特征精确选取和对齐，以及使用改进的精细化分布式SILTP方法进行人体部位局部特征的提取以及行人全局特征的整合：步骤1：提取来自于监控视频的行人图像数据，作为关键点特征点对齐模型的训练数据集；步骤2：对训练集中的所有行人图像进行HSV直方图均衡化，并且经过两次下采样，以扩充原有训练集；步骤3：对训练集中的所有行人图像标定其关键特征点，要求这些点能够以人体部位为单位形成轮廓；步骤4：将标记好的训练集经由BF-ASM方法进行处理，生成针对该训练集的平均人体匹配模型；步骤5：输入待检测行人图像，以步骤4中的平均人体匹配模型自动进行特征点标注，该模型能够调整其偏移量、角度、大小以标记待检测图像中的行人部位；步骤6：将经过步骤5标记的待检测行人图像和经由步骤3标记的训练集图像按照特征点轮廓分为多个人体部位图像；步骤7：对于每个图，使用SILTP方法对人体各部位图像进行处理；步骤8：经由步骤7得到各部位图像所对应的特征值向量，并且将每个特征值向量融合为一个特征值向量，作为整个图像的全局特征表示；步骤9：自定义全局特征向量的距离函数，该函数以度量学习的方式得出；步骤10：将待检测行人图像的全局特征向量与训练集中的每个图像所对应的全局特征向量以步骤9中的距离函数进行距离计算，并且按照距离升序排序输出对比结果。首先提取来自于监控视频的行人图像数据，作为关键点特征点对齐模型的训练数据集；监控视频一般来自于不同角度的摄像头，且行人的姿态也不尽相同，所处环境复杂度较高，需要进行特殊处理。该方法在社区场景下对行人图像或视频进行多角度分析，对人体躯干在现实生活中的三维特征进行关键点标记对齐，以提高局部识别效果的准确性和精确度。其中，BF-ASM对多姿态下的行人图像进行了精细化的特征选择以及对齐，而精细化分布式SILTP方法对细化的局部特征建立特征向量，并且经由加权计算整合出全局特征向量的特征表示，对建立的全局特征向量集合进行度量学习，自动地得出使识别差异度明显的马氏距离判断函数。经由该方法的以上技术步骤，对人体的局部识别效果达到了细粒度的优化，在以往的行人重识别方法之上能够高效识别社区复杂场景下的行人，并且能够识别出特定的人群。

可以理解的，经过两次池化操作，在不影响原训练集主要特征的情况下对图像进行成比例的压缩，以扩充原有的训练集。上述训练集包含了不同大小的图像，经过上述训练集建立的BF-ASM平均人体部位形状模型能够在不同大小的图像中正确并且准确地对关键人体部位特征进行标注；相比于以往的行人重识别方法对局部特征的选取方式，本专利所提出的BF-ASM方法能够更加精细地选取人体部位，BF-ASM所产生的关键特征点能够在关键人体部位周围形成轮廓；本发明所提出的BF-ASM方法能够根据训练集的总体情况进行平均人体部位形状模型建模，该平均人体部位形状模型又称平均人体部位关键点对齐模型，该模型的每个关键点具有相应的纹理特征值。纹理特征值主要用于在新的未标记关键特征点的图像中，在上述模型对其进行自动标注的过程中，计算关键特征点的正确偏移方向，以使上述模型能够正确的对该行人图像进行关键特征点的对齐与标注；本发明在原有的局部特征切割与提取方法上作出改进，提出一种精细化分布式SILTP方法。其中，使用SILTP方法的目的在于使对于不同大小的部位特征提取保持较高的鲁棒性。并且，局部特征切割的方式基于BF-ASM方法中生成的平均人体部位形状模型，经过该模型自动标注并对齐后的关键点所成人体部位区域范围更加精细。另外精细化分布式SILTP方法中引入了各部位所对应的权重，令识别过程具有倾向性，使主要特征和全局特征的匹配更加精确。经过精细化分布式SILTP方法，每个图像包括待匹配图像得到一个全局特征的向量表示，通过适当的距离判断函数可对相似程度进行计算。运用度量学习的原理，将相同行人的全局特征对和不同行人的局部特征对进行分组，分别称集合S与集合D。将集合S与集合D迭代至马氏距离函数并进行训练，以集合S中每个特征对的平均距离为目标函数进行最小化，从而得到适当的马氏距离函数表示。该距离函数使行人识别的区分效果更加明显。经由该距离函数，在待匹配行人图像与训练集图像之间进行距离计算，并且按照距离升序输出匹配结果，具有最小距离的匹配结果所对应的训练集图像即为最相似的行人图像。

如图1中行人图像预处理部分所述，为了使复杂环境下行人图像的对比程度和锐度增强，使行人轮廓能够得到更好的表现，对所有的行人图像进行HSV直方图均衡化，直方图均衡化的目的主要是使各灰度级下的像素点尽可能在保持原分布情况的条件下向更大的灰度级范围中进行扩散，使行人部分在苛刻的光照环境下仍能保持较高的辨识度。随后，经过两次下采样操作，在保证主特征不发生较大变化的情况下生成两组不同大小的行人缩略图，将这两种缩略图同原训练集整合为新的训练集对BF-ASM方法进行训练，能够使BF-ASM方法所生成的平均人体部位特征对齐模型(即平均人体形状模型)在图像大小不一的情况下仍然能够准确按照模型特征点对齐待匹配图像中的人体部位特征。

BF-ASM方法需要以标记好特征点的训练集为基础，经过不断地迭代与自我对齐，从而生成代表训练集人体部位轮廓情况的平均人体形状模型。其中，特征点应该能够按顺序对关键部位(胳膊、脚、头等)形成轮廓，以便对齐后的图像能够在相应特征位置进行纹理特征提取。以上一步所述的扩展后的训练集为基础，经过如图2所详细描述的BF-ASM建模过程，生成平均人体形状模型。首先，对每一个图，将该图所有的特征点坐标整合以形成特征点向量。其次多次经历如下的迭代过程：

1、通过Procrustes方法调整旋转角度、缩放尺度、水平方向偏移量、竖直方向偏移量使每个行人躯干模型(特征点集)对齐到第一个行人躯干模型(特征点集)。

2、对齐后的模型或多或少有一些偏差，此时取所有图像的特征点向量并且求出平均特征点向量(即平均模型)。

3、再次令每个行人躯干的各个特征点调整旋转角度、缩放尺度、水平方向偏移量、竖直方向偏移量，并且对应至平均特征点向量中。

4、判断偏差值，偏差值若小于一定范围则停止循环，否则回到1。

综上，便得到了一个误差率较小的，能够反映训练集行人人体部位分布情况的平均人体部位形状模型。最后，还需对每一个特征点进行纹理值计算，如图2所述的建立局部特征的过程中所述。以训练数据集中的某个图(以下称图j)中的第i个特征点为例：首先选择其前后两个点，即第i-1个和第i+1个特征点，并且连成一条线，称线段FL；然后通过第i个特征点，作FL的垂线FQ；在第i个特征点的FQ方向前后选择m个像素点，算上特征点i所占像素共2m+1个像素点；对这2m+1像素点进行灰度值求导，得到图j中第i个特征点的纹理gij；对其它的图也经过上述步骤，得i在其它图的纹理gi1,gi2,…,gin，并且据此求其平均avg(gi)和方差S(gi)。并且构造偏移判断用距离函数：

d(i)＝√((g-avg(g))〖〖S(gi)〗^(-1)(g-avg(g))〗^T)

该函数表示，新图中对于特征点i，在当前所对准的位置上与正确的特征点位置之间的偏差量。

如图3所述，待检测图像作为没有特征标记点的新图，使用建立好的BF-ASM平均模型进行对齐并生成人体部位轮廓点标注。根据上述公式算出偏差量，并据此对平均模型的旋转角度、缩放尺度、水平方向偏移量、竖直方向偏移量进行调整。参见图3的变化方向描述部分。

对于每个图，使用SILTP方法对人体各部位图像进行处理。经过一个各部位所对应的权重向量的点乘运算，得到各部位图像所对应的特征值向量，并且将每个特征值向量融合为一个特征值向量，作为整个图像的全局特征表示。该方法较以往的粗略分割并合并特征的方法相比，局部特征的划分更加细致，权重向量的设置更加体现了局部特征在识别中的重要程度，是专利的创新点之一。本方法又称精细化分布式SILTP方法，详细过程见图4。

自定义全局特征向量的距离函数，该函数以度量学习的方式得出。对训练集做好标签，并且将训练集按照标签分为相似对集合S和不同对集合D，假设集合所对应的向量对(pic1,pic2)在马氏距离函数中的表示为

d(pic1,pic2)＝√((pic1-pic2)^T A(pic1-pic2))

将集合S和集合D中的向量对在上式中不断进行迭代，以S间距离最小化和D间距离在规定范围c之外为目标，对变换半正定矩阵A进行学习，从而确定距离变换函数。

最终，将待检测行人图像的全局特征向量同训练集中每一个图像的全局特征向量，以上述d(pic1,pic2)距离函数进行判断，按照所计算出的距离进行升序排序，排在第一的匹配结果所对应标签即为匹配结果，且相似度与其距离成反比。

综上，BF-ASM方法通过训练集生成的平均形状模型能够精确地对齐并提取新图像中的人体部位，并且每一块的人体部位经过SILTP方法形成三维向量，由精确块组成精确面，各部位的SILTP三维向量组成表示整个行人特征的全局特征向量，相较于以前的粗略切割提取方法，特征提取与匹配效果在准确度和精确度方面得到了提高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。