基于双流分块网络的行人重识别方法、电子设备和介质

技术领域

本发明涉及计算机视觉图像处理技术领域，尤其是涉及基于双流分块网络的行人重识别方法、电子设备和介质。

背景技术

进入新世纪以来，社会公共安全问题越来越受到人们的重视。视觉系统被广泛应用于各种公共场所，而监控视频里面最重要的关注对象就是行人，识别特定行人对于违章判断、刑事侦查、智慧城市以及相册分类等都有着非常重要的意义。

行人重识别(ReID)近几年在学界受到了非常广泛的关注,但是由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性，外观易受穿着、遮挡、姿态和视角等不确定因素影响，使得行人重识别问题成为一个十分有挑战性的课题。为了尽可能地提高准确度，一些研究者做了很多工作，这些工作基本上可以分为基于姿态变换的、基于属性网络的、基于分块的。利用姿态估计和属性网络来提取行人特征，这种方法需要额外训练网络，并且需要占用大量GPU内存，其效率往往比较低下。基于水平分块来提取局部特征，虽然这种方式比较高效，但是这种简单的分块往往不能解决那些姿态错位和不对齐的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供基于双流分块网络的行人重识别方法、电子设备和介质，该发明能够高效、准确地进行行人重识别。

本发明的目的可以通过以下技术方案来实现：

根据本发明提供的一个方面，本发明提供一种基于双流分块网络的行人重识别方法，包括：将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，所述网络模型包括特征提取模块、双流分块模块和损失连接模块，所述特征提取模块对行人图像进行特征提取，生成全局特征图；

所述双流分块模块包括四个网络分支，第一网络分支用以生成全局特征图中每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支包括全连接层，用以生成全局特征图经全连接层处理后的交叉熵损失，第四网络分支用以生成全局特征图中每个水平分块特征经全连接层处理后的交叉熵损失；

损失连接模块用以将四个网络分支生成的损失相加。

优选地，所述第一网络分支包括依次连接的池化层、BN层、ReLU激活函数层、分块层和动态匹配层；

所述全局特征图依次经过池化层池化、BN层归一化、ReLU激活函数层修正线性后和分块层分块后，生成多个局部特征图，所有局部特征图经所述动态匹配层自动对齐后，计算Triplet loss。

优选地，描述动态匹配方法的公式为：

式中，S

d

式中，a和b分别为第一幅图像和第二幅图像，d

优选地，描述所述第一网络分支生成的Triplet loss的公式如下所示：

式中，L

优选地，描述所述第二网络分支生成的交叉熵损失的公式如下所示：

式中，p代表行人的数量，k代表每个行人拥有k张照片，d

优选地，描述第三网络分支生成的交叉熵损失的公式如下所示：

式中，L

优选地，所述第四网络分支包括依次连接的池化层、dropout层、BN层、ReLU激活函数层、水平分块层和全连接层；

参考图3所示，所述全局特征图依次经过池化层池化、dropout层正则化、BN层归一化、ReLU激活函数层修正线性后和水平分块层分块后，生成多个水平局部特征图，所有水平局部特征图经全连接层连接后，计算交叉熵损失。

优选地，描述所述第四网络分支生成的交叉熵损失的公式如下所示：

式中，L

根据本发明的第二个方面，本发明提供一种电子设备，包括：

一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。

根据本发明的第三个方面，本发明提供一种计算机可读介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。

与现有技术相比，本发明具有以如下有益效果：

(1)本发明提供的一种基于双流分块网络的行人重识别方法通过采用双流分块网络，联合多个损失优化网络，使其网络模型的鲁棒性更好，实验准确度大幅提升。

(2)本发明提供的一种基于双流分块网络的行人重识别方法通过融合动态匹配的思想，使得结合有效缓解了行人姿态差异较大的难题。

(3)本发明提供的一种基于双流分块网络的行人重识别方法在基本不改变原始结构的情况下又不额外训练其他的辅助网络，识别精度又得到提升，使得本发明确保省时的同时还保证了精度。

附图说明

图1为本实施例提供的一种基于双流分块网络的行人重识别方法的流程示意图。

图2为图1所示实施例中特征的动态匹配的流程示意图；

图3为图1所示实施例中水平分块分支流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

根据本发明的第一个方面，参考图1所示，本实施例提供一种基于双流分块网络的行人重识别方法，包括：将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，该网络模型包括特征提取模块、双流分块模块和损失连接模块，特征提取模块对行人图像进行特征提取，生成全局特征图；

双流分块模块包括四个网络分支，第一网络分支用以生成全局特征图中每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支包括全连接层，用以生成全局特征图经全连接层处理后的交叉熵损失(ID loss)，第四网络分支用以生成全局特征图中每个水平分块特征经全连接层处理后的交叉熵损失(ID loss)；

损失连接模块用以将四个网络分支生成的损失相加。

作为一种可选的实施方式，特征提取模块为卷积神经网络(CNN)。

作为一种可选的实施方式，第一网络分支包括依次连接的池化层、BN层、ReLU激活函数层、分块层和动态匹配层；

所述全局特征图依次经过池化层池化、BN层归一化、ReLU激活函数层修正线性后和分块层分块后，生成多个局部特征图，所有局部特征图经动态匹配层自动对齐后，计算Triplet loss。

作为一种可选的实施方式，局部特征图的个数为8个。

具体地，参考图2所示，动态匹配方法是一种以图像水平切块特征为基础的自动对齐算法。

假设f

d

将图像a和b的局部特征表示为

其中，d

其中，S

d

其值越小表示两幅图像的相似度就越高。

作为一种可选的实施方式，描述第一网络分支生成的Triplet loss的公式如下所示：

式中，

作为一种可选的实施方式，描述第二网络分支生成的交叉熵损失的公式如下所示：

其中p代表行人的数量，k代表每个行人拥有k张照片，d

作为一种可选的实施方式，描述第三网络分支生成的交叉熵损失的公式如下所示：

式中，L

作为一种可选的实施方式，第四网络分支包括依次连接的池化层、dropout层、BN层、ReLU激活函数层、水平分块层和全连接层；

参考图3所示，所述全局特征图依次经过池化层池化、dropout层正则化、BN层归一化、ReLU激活函数层修正线性后和水平分块层分块后，生成多个水平局部特征图，所有水平局部特征图经全连接层连接后，计算交叉熵损失。

作为一种可选的实施方式，描述第四网络分支生成的交叉熵损失的公式如下所示：

式中，L

作为一种可选的实施方式，描述四个网络分支损失相加的公式如下：

将各个损失函数相加一起优化网络。

综上所述，本发明通过采用双流分块网络，联合多个损失优化网络，使其网络模型的鲁棒性更好，实验准确度大幅提升。本发明通过融合动态匹配的思想，使得结合有效缓解了行人姿态差异较大的难题。本发明在基本不改变原始结构的情况下又不额外训练其他的辅助网络，识别精度又得到提升，使得本发明确保省时的同时还保证了精度。

根据本发明的第二个方面，本实施例提供一种电子设备，包括：

一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。

根据本实施例的第三个方面，本实施例提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。