一种识别方法、系统、设备及存储介质

技术领域

本申请涉及室内定位技术领域，特别是涉及一种识别方法、系统、设备、存储介质。

背景技术

行人重识别技术旨在跨摄像头下对特定行人进行识别，在银行中的应用具有重要的意义，例如，能够帮助银行在多个监控摄像头之间识别客户，从而可以为客户提供更具个性化的服务。然而在现实场景中，由于摄像头所拍摄的行人图像可能存在分辨率低、光照有差异、行人身体受遮挡等问题，这给行人重识别带来了很大挑战。

传统的行人识别对行人的整体进行特征提取以获得行人图像的全局特征。在一些情况下只使用行人图像的全局特征行人重识别任务可能无法达到更高的准确率，网络提取行人图像的全局特征往往会忽略行人图像背景对提取特征时的影响以及在无法获取行人完整图像情况下对识别准确率的影响。

因此，传统的行人重识别无法满足现实生活中复杂多变场景的行人重识别。

发明内容

基于上述问题，本申请提供了一种识别方法、系统、设备及存储介质，用以提高行人识别的准确性。

为解决上述问题，本申请实施例提供的技术方案如下：

本申请第一方面提供了一种识别方法，包括：

获取输入图片；

基于第一阶段、第二阶段、第三阶段和第四阶段对输入图片进行处理，得到将四个阶段的特征融合得到的融合特征；所述第一阶段、第二阶段和第三阶段后分别布置空间注意力，所述第一阶段的每个块中均布置有通道注意力；

基于全局特征提取网络对融合特征进行处理，基于局部特征提取网络对融合特征进行处理，将全局特征提取网络对应的全局特征分支结果和局部特征提取网络对应的局部特征分支结果进行融合，得到行人特征。

可选的，所述基于第一阶段、第二阶段、第三阶段和第四阶段对输入图片进行处理，得到将四个阶段的特征融合得到的融合特征，包括：

基于第一阶段对输入图片进行处理，得到第一阶段结果；

将所述第一阶段结果输送至第二阶段；

对第二阶段和第三阶段对输入内容进行处理得到的特征进行调整，直至得到与第四阶段特征尺寸一致的第二阶段特征和第三阶段特征；

对所述第二阶段特征、第三阶段特征和第四阶段特征进行拼接得到融合特征。

可选的，所述对第二阶段和第三阶段对输入内容进行处理得到的特征进行调整，直至得到与第四阶段特征尺寸一致的第二阶段特征和第三阶段特征，包括：

对第二阶段所获得的特征依次进行池化和卷积处理得到第二阶段特征，对第三阶段所获得的特征经过卷积处理得到第三阶段特征，所述第二阶段特征和所述第三阶段特征的尺寸与所述第四阶段特征一致。

可选的，所述基于全局特征提取网络对融合特征进行处理，包括：

基于全局平均池化对所述融合特征进行处理，得到第一结果；

基于分布在提取的图片特征和分类层之间的批量归一化层对所述第一结果进行处理，得到所述全局特征提取网络对应的全局特征分支结果。

可选的，所述基于局部特征提取网络对融合特征进行处理，包括：

对所述融合特征进行水平分块，得到分块结果，对所述分块结果进行特征协同处理，得到第二结果；对所述融合特征进行特征扩张，得到扩张结果；

对所述扩张结果和所述第二结果进行全局平均池化处理，得到局部特征提取网络对应的局部特征分支结果。

可选的，所述方法还包括：

基于总损失函数进行训练，所述总损失函数是局部特征损失函数和全局特征损失函数的和确定的。

本申请第二方面提供了一种行人识别系统，包括：

获取单元，用于获取输入图片；

第一处理单元，用于基于第一阶段、第二阶段、第三阶段和第四阶段对输入图片进行处理，得到将四个阶段的特征融合得到的融合特征；所述第一阶段、第二阶段和第三阶段后分别布置空间注意力，所述第一阶段的每个块中均布置有通道注意力；

第二处理单元，用于基于全局特征提取网络对融合特征进行处理，基于局部特征提取网络对融合特征进行处理，将全局特征提取网络对应的全局特征分支结果和局部特征提取网络对应的局部特征分支结果进行融合，得到行人特征。

可选的，所述系统还包括：

训练单元，用于基于总损失函数进行训练，所述总损失函数是局部特征损失函数和全局特征损失函数的和确定的。

本申请第三方面提供了一种电子设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现前述第一方面中任一项所述的识别方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如前述第一方面中任意一项所述的识别方法。

相较于现有技术，本申请具有以下有益效果：

通过获取输入图片；基于第一阶段、第二阶段、第三阶段和第四阶段对输入图片进行处理，得到将四个阶段的特征融合得到的融合特征；基于全局特征提取网络对融合特征进行处理，基于局部特征提取网络对融合特征进行处理，将全局特征提取网络对应的全局特征分支结果和局部特征提取网络对应的局部特征分支结果进行融合，得到行人特征。所述第一阶段、第二阶段和第三阶段后分别布置空间注意力，所述第一阶段的每个块中均布置有通道注意力。即网络中融合了空间注意力和通道注意力，增强模型对于有效信息的关注，改善网络对代表性特征的提取能力。同时对网络中不同层级的特征进行融合，增强了网络对于细节和语义等特征的获取性能，提高了行人识别的准确性。

附图说明

为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种识别方法流程图；

图2为本申请实施例提供的ResNet50改进算法示意图；

图3为本申请实施例提供的多级特征融合示意图；

图4为本申请实施例提供的融合全局与局部特征的行人重识别算法框架；

图5为本申请实施例所提供的一种行人识别系统结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于理解本申请实施例提供的技术方案，下面将先对本申请实施例涉及的背景技术进行说明。

正如前文所述，传统的行人重识别所提取的特征主要是通过手工设计来提取，这种特征具有容易操作和便于实现的优点。但是手工设计特征的特征表述能力比较差，而且特征的提取受设计者的影响，与其经验度有关，不具有普适性，而且无法解决受光照变化、视角变化、姿态差异、遮挡所带来的影响。现有的行人识别中一般会选择对行人的整体进行特征提取以获得行人图像的全局特征。随着深度学习的发展以及研究人员的深度研究，发现在一些情况下只使用行人图像的全局特征行人重识别任务可能无法达到更高的准确率。网络提取行人图像的全局特征往往会忽略行人图像背景对提取特征时的影响以及在无法获取行人完整图像情况下对识别准确率的影响。

因此，传统的行人重识别无法满足现实生活中复杂多变场景的行人重识别，主要具备以下两个缺点：(1)手工设计提取特征的表述能力差，在耗费大量人力成本的基础上，提取得到的特征不具有普适性，难以应对复杂的现实场景。(2)在应对复杂场景时，基于深度学习的行人重识别技术难以获得更具代表性的行人特征，识别过程也受到较大影响，以至于识别效果较差。

为了解决这一问题，在本申请实施例提供了识别方法、系统、设备及存储介质。提出了融合全局与局部特征的改进ResNet50行人重识别算法，对行人特征提取和特征融合进行了改进和优化，提升识别效果。

需要说明的是，本申请提供的识别方法、系统、设备及存储介质，可应用于网络安全领域或金融领域。上述仅为示例，并不对本申请提供的识别方法、系统、设备及存储介质的应用领域进行限定。另外，本申请实施例亦可不限定数字签名生成方法的执行主体，例如，本申请实施例的数字签名生成方法可以应用于终端设备或服务器等数据处理设备。其中，终端设备可以为智能手机、计算机、个人数字助理(Personal DigitalAssistant，PDA)、平板电脑等电子设备。服务器可以为独立服务器、云服务器或者由多台服务器组成的集群服务器。

为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下通过一个实施例，对本申请提供的一种识别方法进行说明。参见图1，该图为本申请实施例提供的一种识别方法的流程图，该方法流程的执行主体为服务器，进一步的，主体可以为服务器中的定位系统，该方法包括：

S101、获取输入图片。

S102、基于第一阶段、第二阶段、第三阶段和第四阶段对输入图片进行处理，得到将四个阶段的特征融合得到的融合特征。

所述第一阶段、第二阶段和第三阶段后分别布置空间注意力，所述第一阶段的每个块中均布置有通道注意力。将通道注意力FcaNet、空间注意力RGA-S和多级特征融合到主干网络ResNet50来对其进行改进，并调节ResNet50的Stage4中的stride由2变为1。

本实施中将空间注意力和通道注意力融合到ResNet50网络中，可以充分获取空间和通道之间的有用信息。融入FcaNet后网络能够根据语义相似度和关联度对特征通道进行分组聚合，使模型更加关注对行人重识别更有帮助的特征通道，并抑制无效信息。RGA-S放置在第一阶段Stage1、第二阶段Stage2、第三阶段Stage3后面，经过试验也发现加在此位置的效果比较理想，提取了更加丰富的特征，给网络的准确率提升带来了帮助。在原始的ResNet50模型中的第一阶段Stage1的每一个block中引入FcaNet，在Stage1-Stage3的后面引入RGA-S，在Stage2-Stage4之间进行多级特征融合，关于布置过程可以参见图2，图2为本申请实施例提供的ResNet50改进算法示意图。其中，最左侧为关于人像的输入图片。

卷积神经网络通过多个卷积操作来逐步获得输入图像的特征，每个阶段的输出尺寸不同。一般情况下，选择网络最后阶段所获得的特征作为行人重识别的依据，此特征在整个网络中语义信息表征能力最强，但其内缺乏低层级特征所拥有的细节信息；低层级特征有更多的细节信息，但语义信息表征能力差。基于此，本文使用多级特征融合方法来解决上述问题。将模型中不同阶段的特征融合在一起，从而最终所获取的特征可以既有低层级特征的细节信息也可包含高层级特征的语义信息。

在一种可能的实现方式中，所述基于第一阶段、第二阶段、第三阶段和第四阶段对输入图片进行处理，得到将四个阶段的特征融合得到的融合特征，包括步骤A1-步骤A4：

步骤A1、基于第一阶段对输入图片进行处理，得到第一阶段结果。

关于各个阶段对于输入图片的处理可以参见图3，图3为本申请实施例提供的多级特征融合示意图。

步骤A2、将所述第一阶段结果输送至第二阶段。

即图3中stage1处理得到的内容继续有stage2进行处理。

步骤A3、对第二阶段和第三阶段对输入内容进行处理得到的特征进行调整，直至得到与第四阶段特征尺寸一致的第二阶段特征和第三阶段特征。

在一种可能的实现方式中，所述对第二阶段和第三阶段对输入内容进行处理得到的特征进行调整，直至得到尺寸一致的第二阶段特征、第三阶段特征和第四阶段特征，包括：

对第二阶段所获得的特征依次进行池化和卷积处理得到第二阶段特征，对第三阶段所获得的特征经过卷积处理得到第三阶段特征。直至所述第二阶段对应的第二阶段特征、第三阶段对应的第三阶段特征和第四阶段对应的第四阶段特征的尺寸一致。

步骤A4、对所述第二阶段特征、第三阶段特征和第四阶段特征进行拼接得到融合特征。

原始的输入图像经过网络模型进行特征提取，本申请选择将Stage2，Stage3及Stage4所获取的特征进行相应的特征融合，特征结构如图2所示。由于这三个阶段所获取的特征对应的尺寸是不一样的，采用如下方法使尺寸一致。对Stage2所获得的特征经过池化和卷积操作得到特征F

S103、基于全局特征提取网络对融合特征进行处理，基于局部特征提取网络对融合特征进行处理，将全局特征提取网络对应的全局特征分支结果和局部特征提取网络对应的局部特征分支结果进行融合，得到行人特征。

在全局特征部分融入了BNNeck，BNNeck是指在提取的图片特征和分类层之间的BN层，在局部特征提取网络中提出了原始特征监督下的多粒度协同局部特征提取网络架构设计，此局部特征提取方法不需要额外的预测模型以及可以应对行人特征不对齐及区域之间缺乏关联性的问题。

由此将全局特征提取网络与局部特征提取网络相结合，融合后的特征既有全局特征的整体性，又包含局部特征的细节信息，有效地提高行人重识别的准确率。具体流程过程可以参见图4，图4为本申请实施例提供的融合全局与局部特征的行人重识别算法框架。

在一种可能的实现方式中，所述基于全局特征提取网络对融合特征进行处理，包括：

步骤B1、基于全局平均池化对所述融合特征进行处理，得到第一结果。

即对应图4对于融合特征F进行GAP(Global average pooling，全局平均池化)处理，得到第一结果f

步骤B2、基于分布在提取的图片特征和分类层之间的批量归一化层对所述第一结果进行处理，得到所述全局特征提取网络对应的全局特征分支结果。

即对应图4中对第一结果f

在一种可能的实现方式中，所述基于局部特征提取网络对融合特征进行处理，包括：

步骤C1、对所述融合特征进行水平分块，得到分块结果，对所述分块结果进行特征协同处理，得到第二结果；对所述融合特征进行特征扩张，得到扩张结果。

即对应图4中对于融合特征F进行水平分块，而后对水平分块得到的结果进行特征协同，得到处理得到的第二结果。另一支路，对融合特征F进行特征扩张，得到扩张处理得到的扩张结果。

步骤C2、对所述扩张结果和所述第二结果进行全局平均池化处理，得到局部特征提取网络对应的局部特征分支结果。

即对于上述步骤中获取到的扩张结果和协同处理得到的第二结果进行GAP处理，得到处理结果，给予处理结果确定局部特征分支结果。

在一种可能的实现方式中，所述方法还包括：

S104、基于总损失函数进行训练，所述总损失函数是局部特征损失函数和全局特征损失函数的和确定的。

在训练过程中，总的损失函数由两部分构成：局部特征损失函数，全局特征损失函数。最终的损失函数为两个损失函数之和，如以下式(1)所示：

Loss＝λL

式中，λ是平衡全局特征和局部特征贡献的系数，L

在推理阶段，为了能够加快特征的提取速度，只使用全局特征分支。当网络处理全身人行人图像，全局特征分支能够提取到全身人行人图像的全局特征；当网络处理受物体遮挡等非全身人行人图像时，因网络中的全局特征分支在训练阶段已经与局部特征相互监督学习，从而全局特征能够提取到行人身体局部区域的特征。

因此，一方面本申请对行人重识别的基础网络ResNet50进行多点改进，以解决该领域中目标遮挡识别难的问题。网络中融合了空间注意力和通道注意力，增强模型对于有效信息的关注，改善网络对代表性特征的提取能力。同时对ResNet50网络中不同层级的特征进行融合，增强了网络对于细节和语义等特征的获取性能，行人重识别的识别精度得到了一定程度的提高。另一方面，将全局与局部特征相融合的方法应用于改进的ResNet50行人重识别算法中，利用多粒度协同与原始特征相监督得到的局部特征与采用BNNeck的全局特征相结合，本申请提供的优化处理后的网络能够处理全身人和局部人行人重识别，网络能够充分提取行人全局特征；当提取局部行人特征时不仅能够提取各局部行人特征且各局部行人特征能够拥有全局特征的上下文信息，充分避免特征不对齐问题，融合后的行人特征不但局部细节信息丰富且全局代表性特征兼具，提高了行人重识别的准确率。

以上为本申请实施例所提供的识别方法的一些具体实现方式，基于此，本申请还提供了对应的用于行人识别的系统。下面将从功能模块化的角度对本申请实施例所提供的系统进行介绍。图5为本申请实施例所提供的一种行人识别系统结构图。

所述系统包括：

获取单元110，用于获取输入图片；

第一处理单元111，用于基于第一阶段、第二阶段、第三阶段和第四阶段对输入图片进行处理，得到将四个阶段的特征融合得到的融合特征；所述第一阶段、第二阶段和第三阶段后分别布置空间注意力，所述第一阶段的每个块中均布置有通道注意力；

第二处理单元112，用于基于全局特征提取网络对融合特征进行处理，基于局部特征提取网络对融合特征进行处理，将全局特征提取网络对应的全局特征分支结果和局部特征提取网络对应的局部特征分支结果进行融合，得到行人特征。

可选的，所述系统还包括：

训练单元，用于基于总损失函数进行训练，所述总损失函数是局部特征损失函数和全局特征损失函数的和确定的。

本申请实施例还提供了对应的设备以及计算机存储介质，用于实现本申请实施例所提供的识别方法方案。

其中，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行本申请任一实施例所述的识别方法。

所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现本申请任一实施例所述的识别方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。