一种基于行人分割的行人重识别方法和装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于行人分割的行人重识别方法和装置。

背景技术

行人重识别是一种可以对目标行人进行跨场景、跨摄像头检索的技术。行人重识别技术可以直接根据行人的穿着、姿态等信息，实现对监控图像或监控视频中的特定行人进行检索，而无需借助清晰的人脸信息，因此该技术可以提高行人检索效率，极大地节省时间成本和人工成本。

但是在实际应用中，行人重识别算法均是先通过目标检测算法提取图片中的行人，然后使用行人重识别模型提取特征，这些算法均存在一个问题，即当场景比较复杂，检测到的行人框会存在大量背景，这些背景特征会对行人重识别任务产生较大的影响。如何克服上述技术缺陷，充分利用行人特征改善复杂场景下的行人重识别效果，是需要解决的技术问题。

发明内容

有鉴于此，本申请实施例提供了一种基于行人分割的行人重识别方法、装置、电子设备和存储介质，以解决现有技术在进行行人重识别时准确度不高的问题。

本申请实施例的第一方面，提供了一种基于行人分割的行人重识别方法，包括：

获取目标图片样本集；

构建行人重识别模型，所述行人重识别模型包括行人分割分支和行人特征提取分支；

将所述目标图片输入至所述行人重识别模型的所述行人分割分支，获得所述目标图片的行人分割掩码；

将所述目标图片输入至所述行人重识别模型的所述行人特征提取分支，获得所述目标图片的多尺度特征向量；

依据所述行人分割掩码和所述多尺度特征向量，获得行人重识别结果。

本申请实施例的第二方面，提供了一种基于行人分割的行人重识别装置，包括：

目标图片样本集获取模块，被配置为获取目标图片样本集；

行人重识别模型构建模块，被配置为构建行人重识别模型，所述行人重识别模型包括行人分割分支和行人特征提取分支；

行人分割掩码获取模块，被配置为将所述目标图片输入至所述行人重识别模型的所述行人分割分支，获得所述目标图片的行人分割掩码；

多尺度特征向量获取模块，被配置为将所述目标图片输入至所述行人重识别模型的所述行人特征提取分支，获得所述目标图片的多尺度特征向量；

行人重识别结果获取模块，被配置为依据所述行人分割掩码和所述多尺度特征向量，获得行人重识别结果。

本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现第一方面所述方法的步骤。

本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。

本申请实施例与现有技术相比存在的有益效果至少包括：本申请实施例通过获取目标图片样本集；构建行人重识别模型，行人重识别模型包括行人分割分支和行人特征提取分支；将目标图片输入至行人重识别模型的行人分割分支，获得目标图片的行人分割掩码；将目标图片输入至行人重识别模型的行人特征提取分支，获得目标图片的多尺度特征向量；依据行人分割掩码和多尺度特征向量，获得行人重识别结果。本申请基于行人分割算法，结合分割掩码、高尺度特征、低尺度特征，可以有效去除了环境背景对识别的影响，显著提升行人重识别算法精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的一种基于行人分割的行人重识别方法流程示意图之一；

图2是本申请实施例提供的一种基于行人分割的行人重识别方法流程示意图之二；

图3是本申请实施例提供的一种基于行人分割的行人重识别方法流程示意图之三；

图4是本申请实施例提供的一种基于行人分割的行人重识别方法流程示意图之四；

图5是本申请实施例提供的一种基于行人分割的行人重识别方法流程示意图之五；

图6是本申请实施例提供的一种基于行人分割的行人重识别方法流程示意图之六；

图7是本申请实施例提供的一种基于行人分割的行人重识别装置的结构示意图之一；

图8是本申请实施例提供的一种基于行人分割的行人重识别装置的结构示意图之二；

图9是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

下面将结合附图详细说明根据本申请实施例的一种基于行人分割的行人重识别方法、装置、电子设备和存储介质。

如背景技术所述，行人重识别是一个独立的计算机视觉任务，目前行人重识别的技术难题主要包括：(1)现有的行人重识别数据集较小，数据集采集相对较困难。常用的行人重识别数据集包含的行人图片数量都在几万张左右，行人类别数量在千人左右，和成熟的人脸识别数据集相比，行人重识别数据量依旧很小。行人重识别公开数据集的采集难点主要有以下几个方面：拍摄或搜集大量监控视频可能会涉及隐私问题；保证一个行人在大于两个摄像头出现，以满足跨摄像头的要求；需要在拍摄好的行人视频中剪切出行人图像，并通过人工核验行人是否为同一个行人。(2)行人姿态是非刚性的，行人在运动过程中可能存在多个状态。当同一行人的多张图像出现不同姿态时，识别难度会大大增加。此外，不同视角拍摄的行人图像会造成行人外观信息不匹配，进而降低行人重识别的正确率。(3)行人图像色彩差异明显、行人部分遮挡、图像分辨率差异较大。光照变化对于行人图像影响较大，导致行人外观在不同时段、不同地点呈现的颜色会产生差异。行人遮挡问题也普遍存在，警示牌、汽车、树木等会对行人造成遮挡，进而增大重识别的难度。采集时所用的摄像头可能具有不同的分辨率，行人距离镜头的远近会造成视频中截取到的行人大小有明显差异。

行人重识别技术研究和应用的早期，用于行人重识别的数据集比较简单，主要使用基于特征表示和距离度量的行人重识别方法，随着深度学习的快速发展，深度神经网络在计算机视觉领域得到了广泛的应用，目前已逐渐使用深度神经网络来解决行人重识别问题。

根据发明人对现有技术的检索，传统行人重识别方法的最大挑战是如何设计有效的特征表示，其设计过程过分依赖于人的经验。相比传统方法，基于深度学习的行人重识别方法可以适应行人数据集扩增和复杂场景的问题，并且可以自动学习提取更有效的行人特征，识别结果普遍优于传统方法得到的结果。基于深度学习的行人重识别技术主要涉及到两方面的基础技术，包括背景消除和区域分割。

对于背景消除，主要是去掉背景信息或者使用行人前景分割得到的掩码来引导行人重识别。现有技术包括选择包含前景掩码的RGB-Mask图像作为输入，设计了Mask-GuidedContrastive Attention Model网络模型分别学习RGB图像的行人特征表示和Mask图像行人前景的位置信息；同时通过拉近前景图像和原图像特征的距离，增大背景图像和原图像特征的距离，对三元组损失函数(Triplet loss)进行改进，从而抑制行人背景对识别结果的影响。还有现有技术设计了双支路的深度学习网络模型，上支路提取行人特征，下支路对行人前景进行分割，通过下支路得到的行人前景分割结果可以指导上支路网络更有效地提取行人前景特征，避免了图像背景带来的识别误差。但该方法的计算量较大、训练时间较长。对于一种利用多尺度人体局部掩码来引导注意力模型的网络框架，在训练时分别使用全身掩码、上半身掩码和下半身掩码指导注意力模型关注行人的全身特征、上半身特征和下半身特征，该方法能准确定位人体重要部位，抑制背景对识别结果的影响。一种基于显著性和语义分析信息的框架用于行人重识别框架，由两个子网络组成，显著性引导子网络用于学习行人图像中的显著性特征，语义分割引导子网络用于消除背景信息、解决物体遮挡等问题。

对于区域分割，可以有效地提取局部细粒度特征，改善行人重识别任务性能。现有技术包括一种对特征图进行均匀分割的网络结构Part-based Convolutional Baseline，其将主干网络得到的特征图进行等分得到若干个局部特征图，然后对局部特征图进行池化操作得到若干个特征向量，最后将特征向量与行人真实标签计算分类误差并进行反向传播。这种将整个特征图分割为若干个局部特征图的策略达到了当时最好的识别性能。还有现有技术先利用空洞卷积进行多尺度的特征提取，减少传统卷积特征提取方法带来的信息损失；同时使用空间变换网络对局部身体区域提取特征，最后将全局特征和局部特征进行融合。还有方案提出融合行人的全局信息和具有辨识力的多粒度局部信息的方案，实现了端到端的学习，没有增加额外的训练流程，同时使得模型将注意力集中到能够显著区别行人的核心信息上面。

基于以上问题，对于行人重识别的实际场景应用需求，如何综合全局特征与局部特征是改善行人重识别任务性能的有效方案，但全局特征与局部特征的有效融合尚需进一步研究，同时低尺度特征和高尺度特征的融合效果也是需要解决的技术问题。通常，融合不同尺度的特征是提高分割性能的一个重要手段段。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息息，但是分辨率很低，对细节的感知能力较差。

为此，本申请提出了一种基于行人分割的行人重识别方案，通过构建包括行人分割分支和行人特征提取分支的行人重识别模型，获得目标图片的行人分割掩码和目标图片的多尺度特征向量，然后依据行人分割掩码和多尺度特征向量，获得行人重识别结果。本申请基于行人分割算法，结合分割掩码、高尺度特征、低尺度特征，可以有效去除了环境背景对识别的影响，显著提升行人重识别算法精度。

如图1所示，为本申请的一种基于行人分割的行人重识别方法流程示意图，上述方法包括：

S101：获取目标图片样本集。

S102：构建行人重识别模型，上述行人重识别模型包括行人分割分支和行人特征提取分支。具体地，如图2所示为本实施例的行人重识别模型的结构示意图。

S103：将上述目标图片输入至上述行人重识别模型的上述行人分割分支，获得上述目标图片的行人分割掩码。

S104：将上述目标图片输入至上述行人重识别模型的上述行人特征提取分支，获得上述目标图片的多尺度特征向量。

S105：依据上述行人分割掩码和上述多尺度特征向量，获得行人重识别结果。

在一些实施例中，上述行人分割分支基于卷积神经网络进行构建；和/或，上述行人分割分支还包括卷积层和Softmax层。

在一些实施例中，将上述目标图片输入至上述行人重识别模型的上述行人分割分支，获得上述目标图片的行人分割掩码，如图3所示，包括：

S311：将上述目标图片输入至上述卷积神经网络，获取上述目标图片的行人目标特征向量；其中，上述卷积神经网络包括ResNet50网络。

S312：将上述行人目标特征向量输入至卷积层进行卷积变换；其中上述卷积层的卷积核大小为1×1。

S313：将经过卷积变换的上述行人目标特征向量输入至上述Softmax层，获得上述行人分割掩码。

在一些实施例中，上述行人特征提取分支基于特征提取网络进行构建；和/或，上述行人分割分支还包括全局平均池化层和至少2个上采样层。

在一些实施例中，上述多尺度特征向量包括低尺度特征向量和高尺度特征向量。

在一些实施例中，将上述目标图片输入至上述行人重识别模型的上述行人特征提取分支，获得上述目标图片的多尺度特征，如图4所示，包括：

S411：将上述目标图片输入至第一上采样层，获得对应的高分辨率目标图片。

S412：将上述高分辨率目标图片输入至上述特征提取网络，获得高分辨率图片特征向量。

S413：将上述高分辨率图片特征向量输入至第二上采样层，获得上述高尺度特征向量。

S414：将上述高分辨率图片特征向量输入至上述全局平均池化层，获得上述低尺度特征向量。

在一些实施例中，上述行人重识别模型还包括全局平均池化层和分类层。

在一些实施例中，依据上述行人分割掩码和上述多尺度特征向量，获得行人重识别结果，如图5所示，包括：

S511：将上述分割掩码与低尺度特征向量相乘计算后，输入至全局平均池化层，并将全局平均池化层的计算结果与高尺度特征向量相加，获得第一融合特征向量。

S512：将第一融合特征向量输入至分类层，获得上述行人重识别结果。

如图6所示，为本申请的一种基于行人分割的行人重识别方法的另一种实现方式的流程示意图，上述方法包括：

S106：依据上述行人重识别结果，选定目标损失函数，以迭代更新上述行人重识别模型的模型参数，直至达到预设的迭代终止条件。

本申请实施例通过获取目标图片样本集；构建行人重识别模型，行人重识别模型包括行人分割分支和行人特征提取分支；将目标图片输入至行人重识别模型的行人分割分支，获得目标图片的行人分割掩码；将目标图片输入至行人重识别模型的行人特征提取分支，获得目标图片的多尺度特征向量；依据行人分割掩码和多尺度特征向量，获得行人重识别结果。本申请基于行人分割算法，结合分割掩码、高尺度特征、低尺度特征，可以有效去除了环境背景对识别的影响，显著提升行人重识别算法精度。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节，请参照本申请方法实施例。

图7是本申请实施例提供的一种基于行人分割的行人重识别装置的示意图。如图7所示，该基于行人分割的行人重识别装置包括：

目标图片样本集获取模块701，被配置为获取目标图片样本集；

行人重识别模型构建模块702，被配置为构建行人重识别模型，上述行人重识别模型包括行人分割分支和行人特征提取分支；

行人分割掩码获取模块703，被配置为将上述目标图片输入至上述行人重识别模型的上述行人分割分支，获得上述目标图片的行人分割掩码；

多尺度特征向量获取模块704，被配置为将上述目标图片输入至上述行人重识别模型的上述行人特征提取分支，获得上述目标图片的多尺度特征向量；

行人重识别结果获取模块705，被配置为依据上述行人分割掩码和上述多尺度特征向量，获得行人重识别结果。

图8是本申请实施例提供的一种基于行人分割的行人重识别装置另一种实现方式示意图。如图8所示，该基于行人分割的行人重识别装置还包括：

模型训练模块706，被配置为依据上述行人重识别结果，选定目标损失函数，以迭代更新上述行人重识别模型的模型参数，直至达到预设的迭代终止条件。

应理解，本说明书实施例的一种基于行人分割的行人重识别装置还可执行图1至图6中基于行人分割的行人重识别装置执行的方法，并实现基于行人分割的行人重识别装置在图1至图6所示实例的功能，在此不再赘述。同时，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图9是本申请实施例提供的电子设备9的示意图。如图9所示，该实施例的电子设备9包括：处理器901、存储器902以及存储在该存储器902中并且可在处理器901上运行的计算机程序903。处理器901执行计算机程序903时实现上述各个方法实施例中的步骤。或者，处理器901执行计算机程序903时实现上述各装置实施例中各模块/单元的功能。

电子设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备9可以包括但不仅限于处理器901和存储器902。本领域技术人员可以理解，图9仅仅是电子设备9的示例，并不构成对电子设备9的限定，可以包括比图示更多或更少的部件，或者不同的部件。

存储器902可以是电子设备9的内部存储单元，例如，电子设备9的硬盘或内存。存储器902也可以是电子设备9的外部存储设备，例如，电子设备9上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器902还可以既包括电子设备9的内部存储单元也包括外部存储设备。存储器902用于存储计算机程序以及电子设备所需的其它程序和数据。

处理器901可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器901从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成共享资源访问控制装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取目标图片样本集；

构建行人重识别模型，上述行人重识别模型包括行人分割分支和行人特征提取分支；

将上述目标图片输入至上述行人重识别模型的上述行人分割分支，获得上述目标图片的行人分割掩码；

将上述目标图片输入至上述行人重识别模型的上述行人特征提取分支，获得上述目标图片的多尺度特征向量；

依据上述行人分割掩码和上述多尺度特征向量，获得行人重识别结果。

上述如本说明书图1至图6所示实施例的方法可以应用于处理器901中，或者由处理器901实现。处理器901可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以实现或者执行本说明书实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的分割进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构分割成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1至图6所示实施例的方法，并具体用于执行以下方法：

获取目标图片样本集；

构建行人重识别模型，上述行人重识别模型包括行人分割分支和行人特征提取分支；

将上述目标图片输入至上述行人重识别模型的上述行人分割分支，获得上述目标图片的行人分割掩码；

将上述目标图片输入至上述行人重识别模型的上述行人特征提取分支，获得上述目标图片的多尺度特征向量；

依据上述行人分割掩码和上述多尺度特征向量，获得行人重识别结果。

总之，以上该仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。