基于三模态一致性约束的跨模态行人再识别方法和系统

技术领域

本发明属于模式识别、人工智能领域，具体涉及基于异构增强样本一致性约束的跨模态行人再识别方法及计算系统。

背景技术

行人再识别(Person Re-Identification)目的是在不同的监控摄像头中搜索相同的行人，其在监控视频、安防等领域具有重大的应用价值。然而一般的单模态行人再识别方法只研究白天拍摄的彩色图像，探索在彩色图像中提取鲁棒性的行人特征，存在的很多单模态方法已经实现超过人眼的性能。但是，这些单模态方法不能在夜晚拍摄的红外图像中提取有效的行人信息，从而不能在夜晚进一步应用，这限制了行人再识别的应用价值。跨模态的行人再识别方法可以同时学习白天拍摄的彩色图像和夜晚拍摄的红外图像的行人特征，具有在夜晚进行行人识别的价值，拥有重要的实际意义。

目前，一些存在的跨模态行人再识别方法利用对抗网络产生从一个模态到另一个模态的行人图像。Wang等人设计对抗模型产生跨模态成对的行人图像，然后在特征空间约束成对的跨模态图像以减少模态间的差异。Choi等人构建保存身份的生成模型，以产生具有不同光照、姿态的跨模态行人图像，显著提高了样本的多样性，促进了行人检索的精度。此外，一些工作提出有效的损失函数约束特征分布，以同时消除模态间和模态内的特征差异。Zhu等人提出异构中心损失限制不同模态的特征分布，以学习模态不变性特征。Ye等人提出具有排序损失的双流网络去减少彩色和红外图像之间的差异，其显著提高了跨模态行人再识别的性能。然而，基于生成模型产生新图像的方法很难从红外图像获得有效的彩色信息，其产生的彩色图像质量较低，影响了跨模态行人再识别的行能。对于存在的约束损失，无法考虑像素水平的差异，很难同时消除模态内和模态间的不同，造成差的泛化性能。

发明内容

本发明的目的是要解决彩色图像和红外图像差异过大，不能充分挖掘模态不变性特征的问题，实施消除模态间和模态内特征差异大的技术问题，为此，本发明提供一种基于异构增强样本一致性约束的跨模态行人再识别方法及计算系统。

为了实现所述目的，本发明提出的基于异构增强样本一致性约束的跨模态行人再识别方法及计算系统包括以下步骤：

步骤S1，基于卷积神经网络，构建行人识别模型；

步骤S2，基于图像融合技术，融合彩色图像和红外图像，产生异构增强的行人图像；

步骤S3，将彩色图像、红外图像和异构增强的图像进行预处理之后输入构建的行人识别模型，提取行人图像的特征图；

步骤S4，基于提取的特征图，进行池化操作获取图像的整体和局部特征，将这些特征输入分类器完成分类任务，并利用交叉熵计算损失；

步骤S5，基于提取的整体和局部特征，构建三元中心损失，减少模态间的特征差异；

步骤S6，基于提取的整体和局部特征，构建紧致的模态内约束，减少模态内的特征差异；

步骤S7，联合交叉熵损失、三元中心损失和紧致的模态内约束损失，共同优化构建的行人识别模型；

步骤S8，基于所述优化的行人识别模型，提取行人图像的整体与局部特征，并将其串联进行行人匹配，得到行人识别结果。

可选地，所述步骤S1包括以下步骤：

步骤S11，获取预训练的ResNet-50深度学习模型，并对其进行参数初始化；

步骤S12，将ResNet-50中的Block3之前的模型结构重复构建三次以分别处理三种不同类型的数据，并将ResNet-50中的Block3和Block4作为共享模块处理三种不同类型数据。

可选地，所述步骤S2中，利用现有的图像融合技术FusionDN融合彩色图像和红外图像，产生异构增强的图像，其中FusionDN输入的图像对分别在彩色模态和红外模态中随机选取一个具有相同标签的行人图像。

可选地，所述步骤S3包括以下步骤：

步骤S31，对数据进行预处理操作，其中对彩色图像和红外图像的预处理包括：对行人图像进行随机水平翻转、随机裁剪、随机擦除，并对行人图像进行归一化操作；对异构增强图像的预处理包括：对行人图像进行随机水平翻转、随机裁剪，并对行人图像进行归一化操作。

步骤S32，将预处理之后的彩色图像、红外图像和异构增强图像输入构建的行人识别模型，在模型后提取彩色图像、红外图像和异构增强图像所对应的特征图。

可选地，所述步骤S4包括以下步骤：

步骤S41，对所述提取的彩色图像特征图、红外图像特征图和异构增强图像的特征图实施池化操作，获得三种图像对应的整体特征。

步骤S42，对所述提取的彩色图像特征图和红外图像特征图水平划分为均匀的三块，并对每块实施池化操作，获得对应的局部特征。

步骤S43，基于提取的所述整体和局部特征，将每个特征输入分类器，利用交叉熵函数计算预测损失，其中所述彩色图像、红外图像和异构增强图像所对应的损失值分别表示为L

其中，t是该特征对应的真实标签，

步骤S44，利用交叉熵函数计算的所述三种图像特征的预测损失总值表示为：

其中P表示每次输入网络的行人图像身份类别总数，K表示每个行人类别中的图像总数。

可选地，所述步骤S5包括以下步骤：

步骤S51，基于所述提取的彩色图像的整体和局部特征，所述构建的三元中心损失表示为：

其中D()表示计算欧式距离，ρ表示超参数以控制不同特征中心的差距，

步骤S52，基于所述提取的红外图像的整体和局部特征，所述构建的三元中心损失表示为：

其中D()表示计算欧式距离，ρ表示超参数以控制不同特征中心的差距，

步骤S53，基于所述提取的异构增强图像的整体特征，所述构建的三元中心损失表示为：

其中D()表示计算欧式距离，ρ表示超参数以控制不同特征中心的差距，

步骤S54，基于所述计算的三种损失，最后所述构建的三元中心损失的总损失值表示为：

可选地，所述步骤S6包括以下步骤：

步骤S61，基于所述提取的彩色图像的整体和局部特征，所述构建的紧致模态内约束表示为：

I

其中

步骤S62，基于所述提取的红外图像的整体和局部特征，所述构建的紧致模态内约束表示为：

I

其中

步骤S63，基于所述提取的异构增强图像的整体特征，所述构建的紧致模态内约束表示为：

I

其中

步骤S64，基于所述计算的三种类型的损失，最后所述构建的紧致模态内约束总损失值表示为：

可选地，所述步骤S7中，联合交叉熵损失、三元中心损失和紧致模态内约束损失，共同优化构建的行人识别模型的最后约束函数表示为：

L＝L

其中α和β表示控制其重要性的超参数。

本发明的有益效果为：本发明通过图像融合技术有效融合彩色图像和红外图像产生异构增强的图像，其可以有效地减小模态间的差异。此外，构建异构三元损失和紧致模态内约束损失对多模态特征实施一致性约束，充分地减小模态间和模态内的特征差异，促进模型学习鲁棒性的行人特征，提高了跨模态行人再识别搜索的正确率。

附图说明

图1是根据本发明一实施例的一种基于异构增强样本一致性约束的跨模态行人再识别方法及计算系统的流程图；

图2是根据本发明一实施例的基于异构增强样本一致性约束的跨模态行人再识别方法及计算系统的结构框架示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例的一种基于异构增强样本一致性约束的跨模态行人再识别方法及计算系统的流程图，下面以图1为例来说明本发明的一些具体实现流程，如图1所示，所述基于异构增强样本一致性约束的跨模态行人再识别方法及计算系统包括以下步骤：

步骤S1，基于卷积神经网络，构建行人识别模型；

进一步地，所述步骤S1包括以下步骤：

步骤S11，获取预训练的ResNet-50深度学习模型，并对其进行参数初始化；

步骤S12，将ResNet-50中的Block3之前的模型结构重复构建三次以分别处理三种不同类型的数据，并将ResNet-50中的Block3和Block4作为共享模块处理三种不同类型数据。

步骤S2，基于图像融合技术，融合彩色图像和红外图像，产生异构增强的行人图像；

进一步地，述步骤S2中，利用现有的图像融合技术FusionDN融合彩色图像和红外图像，产生异构增强的图像，其中FusionDN输入的图像对分别在彩色模态和红外模态中随机选取一个具有相同标签的行人图像。

在本发明一实施例中，假设在SYSU-MM01数据库上进行图像融合时，首先随机选取一幅彩色图像，之后在红外模态中随机选取一幅和彩色图像具有相同身份的行人，之后将选取的彩色和红外图像输入FusionDN模型，从而产生异构增强的图像。

步骤S3，将彩色图像、红外图像和异构增强的图像进行预处理之后输入构建的行人识别模型，提取行人图像的特征图；

进一步地，所述步骤S3包括以下步骤：

步骤S31，对数据进行预处理操作，其中对彩色图像和红外图像的预处理包括：对行人图像进行随机水平翻转、随机裁剪、随机擦除，并对行人图像进行归一化操作；对异构增强图像的预处理包括：对行人图像进行随机水平翻转、随机裁剪，并对行人图像进行归一化操作。

步骤S32，将预处理之后的彩色图像、红外图像和异构增强图像输入构建的行人识别模型，在模型后提取彩色图像、红外图像和异构增强图像所对应的特征图。

步骤S4，基于提取的特征图，进行池化操作获取图像的整体和局部特征，将这些特征输入分类器完成分类任务，并利用交叉熵计算损失；

在本发明一实施例中，每个特征的维度为2048。

进一步地，所述步骤S4包括以下步骤：

步骤S41，对所述提取的彩色图像特征图、红外图像特征图和异构增强图像的特征图实施池化操作，获得三种图像对应的整体特征。

步骤S42，对所述提取的彩色图像特征图和红外图像特征图水平划分为均匀的三块，并对每块实施池化操作，获得对应的局部特征。

步骤S43，基于提取的所述整体和局部特征，将每个特征输入分类器，利用交叉熵函数计算预测损失，其中所述彩色图像、红外图像和异构增强图像所对应的损失值分别表示为L

其中，t是该特征对应的真实标签，

步骤S44，利用交叉熵函数计算的所述三种图像特征的预测损失总值表示为：

其中P表示每次输入网络的行人图像身份类别总数，K表示每个行人类别中的图像总数。

在本发明一实施例中，P可设置为8，K可设置为4。

步骤S5，基于提取的整体和局部特征，构建三元中心损失，减少模态间的特征差异；

进一步地，所述步骤S5包括以下步骤：

步骤S51，基于所述提取的彩色图像的整体和局部特征，所述构建的三元中心损失表示为：

其中D()表示计算欧式距离，ρ表示超参数以控制不同特征中心的差距，

步骤S52，基于所述提取的红外图像的整体和局部特征，所述构建的三元中心损失表示为：

其中D()表示计算欧式距离，ρ表示超参数以控制不同特征中心的差距，

步骤S53，基于所述提取的异构增强图像的整体特征，所述构建的三元中心损失表示为：

其中D()表示计算欧式距离，ρ表示超参数以控制不同特征中心的差距，

步骤S54，基于所述计算的三种损失，最后所述构建的三元中心损失的总损失值表示为：

在本发明一实施例中，P可设置为8。

步骤S6，基于提取的整体和局部特征，构建紧致的模态内约束，减少模态内的特征差异；

进一步地，所述步骤S6包括以下步骤：

步骤S61，基于所述提取的彩色图像的整体和局部特征，所述构建的紧致模态内约束表示为：

I

其中

步骤S62，基于所述提取的红外图像的整体和局部特征，所述构建的紧致模态内约束表示为：

I

其中

步骤S63，基于所述提取的异构增强图像的整体特征，所述构建的紧致模态内约束表示为：

I

其中

步骤S64，基于所述计算的三种类型的损失，最后所述构建的紧致模态内约束总损失值表示为：

步骤S7，联合交叉熵损失、三元中心损失和紧致的模态内约束损失，共同优化构建的行人识别模型；

进一步地，所述步骤S7中，联合交叉熵损失、三元中心损失和紧致模态内约束损失，共同优化构建的行人识别模型的最后约束函数表示为：

L＝L

其中α和β表示控制其重要性的超参数。

在本发明一实施例中，α和β可分别设置为0.1和1.0。

步骤S8，基于所述优化的行人识别模型，提取行人图像的整体与局部特征，并将其串联进行行人匹配，得到行人识别结果。

在本发明一实施例中，在测试过程中，将每幅图像的整体和局部特征串联作为每幅图像最后的特征，最后的每幅图像特征为8192维。

最后，还可根据搜索的正确率来评估所述基于异构增强样本一致性约束模型的性能。

以网上公开的跨模态行人再识别大型数据库作为测试对象，比如在SYSU-MM01数据库上测试时，本发明行人再识别正确搜索率达到71.83％。本发明跨模态行人再识别方法有效地消除了模态间和模态内的特征差异，学习模态不变性特征，维持不同模态的特征具有一致性分布，很大程度地提高了跨模态行人再识别正确搜索率，由此可见本发明方法的有效性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。