基于图卷积网络的行人重识别高效标注方法及装置

技术领域

本发明属于行人重识别领域、主动学习领域和深度学习领域。

背景技术

行人重识别是图像检索问题的一个子问题，该问题描述为：给定一张行人图片，在候选图片集中检索出与该行人身份相同的行人图片。在实际应用中，候选图片集一般采集自多个不同拍摄条件下的摄像头，它们在光照、色彩、对比度、分辨率、视角等方面存在很大差异。

随着监控技术的快速发展，天网监控系统每时每刻都在产生着海量的监控视频数据，与此同时，从这些海量数据中获取信息，满足诸如人流控制、异常行为检测、嫌犯追捕、失踪人员查找等公共安全领域的迫切需求，也越来越成为建设智慧城市、平安城市的关键环节。传统的人工审查和分析视频的方案已经无法适应大数据情形下监控视频结构化分析与检索的需要，随着人工智能和深度学习技术的发展，行人重识别技术逐渐成为了智能视频监控系统的重要组成部分。

然而，行人重识别技术在实际应用过程中，不可避免地会遇到场景迁移的问题，即在某一场景下训练好的模型，换到另一场景下就无法正常工作。这是因为深度模型大多依赖于训练数据集，而针对不同的场景，所部署的摄像头网络采集到的训练数据集的分布具有相当大的差异，这样的差异使得训练好的模型在完全没有见过的全新数据集上测试时，会损失很多精度。将训练模型的数据集称为源域，使用模型的全新数据集称为目标域，如果不能很好地解决从源域跨到目标域模型效果严重退化的问题，行人重识别技术将不能很好地推广与大规模应用。

解决这一问题的方式之一是对新场景的数据重新标注并将已经训练好的模型在新数据上做微调。但是人工标注需要很高的成本，如果每换一个场景就要重新制作一遍数据集并完成全部标注，这一问题从根本上来说仍然没有很好地解决。主动学习是一种在允许标注数量受限情形下的机器学习技术，通过主动选择数量尽可能少而又具有代表性的样本并获得其标签，达到与已知全部数据标签情况下接近甚至更好的学习效果。已有的主动学习方法多用于分类问题，待标注的对象为样本，标注内容为样本所属的类别，而行人重识别数据的标注方式与此不同，虽然不同身份的行人可视作不同的类别，但即使是人工标注者也不可能直接指认出图片中的行人是哪一人，因为行人数量过于庞大，无法完全记忆。所以行人重识别数据的标注方式为：待标注的对象为给定的两张行人图片的关系，标注内容为两张图片中的行人是否为同一人。在有限的标注条件下，可以考虑运用主动学习的思想和方法，高效地选择少量的样本对进行标注和模型训练。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于图卷积网络的行人重识别高效标注的方法，用于低成本高效率地对行人图像数据之间的关系进行标注。

本发明的第二个目的在于提出一种基于图卷积网络的行人重识别高效标注装置。

为达上述目的，本发明第一方面实施例提出了一种基于图卷积网络的行人重识别高效标注的方法，包括：S1：获取行人图像数据集，并对所述行人图像数据集中预设数量的图像样本进行标注，根据标注后的图像样本生成标注数据集；S2：根据所述标注数据集中的图像样本对预设特征提取网络进行训练，并利用训练后的特征提取网络对所述行人图像数据集中的图像样本进行特征提取，获取所述行人图像数据集中的图像样本对应的图像特征；

S3：根据所述图像特征计算图卷积网络的邻接矩阵，以训练所述图卷积网络，并利用所述图卷积网络输出的图像样本对之间的关系扩充所述标注数据集；S4：重复执行所述步骤S2和S3，直至所述标注数据集中图像样本的数量超过预设阈值，以得到神经网络模型。

本发明实施例提出的基于图卷积网络的行人重识别高效标注的方法，在允许标注数量有限的条件下，选择出最有代表性的样本对标注它们是否是同一人，使模型学习到的参数在未曾见过的数据集上有非常好的泛化性能，大大节约了标注成本；引入图卷积网络，图上的信息传递有利于学习到节点更高阶的特征表示，从而有利于更准确地判定节点之间的关系，同时，图卷积网络还作为标注样本对的分类器，决定哪些样本对之间的边要被标注；将样本对的选择和模型的学习过程整合于一个端到端的框架中，分别使用图卷积网络和卷积神经网络实现这两项功能，进行交替循环训练，不针对特定任务做优化，从而可以普适地推广到各种任务。

另外，根据本发明上述实施例的基于图卷积网络的行人重识别高效标注的方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述步骤S1，包括：

收集特定场景中的摄像头网络拍摄到的原始监控视频，利用已有的行人检测与追踪算法，截取各帧视频中的行人，制作行人图像数据集；

随机选取少量的样本对进行预标注，将标注数据放入有标数据集合中，作为特征提取骨干网络的输入。

进一步地，在本发明的一个实施例中，所述步骤S2，包括：

所述特征提取骨干网络为卷积神经网络，包括残差网络，输入数据为当前已有标注的样本对，损失函数为行人身份损失函数和三元组损失函数，对特征提取网络进行有监督方式的训练，再让所有图片通过训练好的网络，抽取出它们的特征。

进一步地，在本发明的一个实施例中，所述步骤S3，包括：

将图的每个节点的特征从骨干网络中抽取，并进行归一化，其中，在所述图卷积网络中，图的每个节点代表一张行人图片，节点之间的边代表节点之间的关系，使用归一化的图拉普拉斯矩阵加上单位矩阵作为图的邻接矩阵。

其中，所述图卷积网络只有两层，最后一层需要完成对每条边是否标注的分类任务，具体包括：

将尚未标注的每条边关联的两个节点特征做內积计算相似度，再将两个节点特征与相似度值进行连接，作为边的特征，输入到全连接层中，使用Sigmoid激活函数得到值位于0、1之间的输出，作为边的得分，得分越接近0表示越倾向于不标注这条边，越接近1表示越倾向于标注这条边。

为达上述目的，本发明另一方面实施例提出了一种基于图卷积网络的行人重识别高效标注装置，包括：采集模块，用于获取行人图像数据集，并对所述行人图像数据集中预设数量的图像样本进行标注，根据标注后的图像样本生成标注数据集；特征提取模块，用于根据所述标注数据集中的图像样本对预设特征提取网络进行训练，并利用训练后的特征提取网络对所述行人图像数据集中的图像样本进行特征提取，获取所述行人图像数据集中的图像样本对应的图像特征；训练模块，用于根据所述图像特征计算图卷积网络的邻接矩阵，以训练所述图卷积网络，并利用所述图卷积网络输出的图像样本对之间的关系扩充所述标注数据集；迭代模块，用于交替循环训练所述特征提取网络和所述图卷积网络、扩充所述标注数据集，直到标注数据量达到允许标注数量的上限，经过多次迭代后，得到一个泛化性好的特征提取网络。

本发明实施例提出的基于图卷积网络的行人重识别高效标注的装置，在允许标注数量有限的条件下，选择出最有代表性的样本对标注它们是否是同一人，使模型学习到的参数在未曾见过的数据集上有非常好的泛化性能，大大节约了标注成本；引入图卷积网络，图上的信息传递有利于学习到节点更高阶的特征表示，从而有利于更准确地判定节点之间的关系，同时，图卷积网络还作为标注样本对的分类器，决定哪些样本对之间的边要被标注；将样本对的选择和模型的学习过程整合于一个端到端的框架中，分别使用图卷积网络和卷积神经网络实现这两项功能，进行交替循环训练，不针对特定任务做优化，从而可以普适地推广到各种任务。

进一步地，在本发明的一个实施例中，所述采集模块，包括：

收集特定场景中的摄像头网络拍摄到的原始监控视频，利用已有的行人检测与追踪算法，截取各帧视频中的行人，制作行人图像数据集；

随机选取少量的样本对进行预标注，将标注数据放入有标数据集合中，作为特征提取骨干网络的输入。

进一步地，在本发明的一个实施例中，所述特征提取模块，包括：

所述特征提取骨干网络为卷积神经网络，包括残差网络，输入数据为当前已有标注的样本对，损失函数为行人身份损失函数和三元组损失函数，对特征提取网络进行有监督方式的训练，再让所有图片通过训练好的网络，抽取出它们的特征。

进一步地，在本发明的一个实施例中，所述训练模块，包括：

将图的每个节点的特征从骨干网络中抽取，并进行归一化，其中，在所述图卷积网络中，图的每个节点代表一张行人图片，节点之间的边代表节点之间的关系，使用归一化的图拉普拉斯矩阵加上单位矩阵作为图的邻接矩阵。

其中，所述图卷积网络只有两层，最后一层需要完成对每条边是否标注的分类任务，具体包括：

将尚未标注的每条边关联的两个节点特征做內积计算相似度，再将两个节点特征与相似度值进行连接，作为边的特征，输入到全连接层中，使用Sigmoid激活函数得到值位于0、1之间的输出，作为边的得分，得分越接近0表示越倾向于不标注这条边，越接近1表示越倾向于标注这条边。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种基于图卷积网络的行人重识别高效标注方法的流程示意图。

图2为本发明实施例所提供的一种基于图卷积网络的行人重识别高效标注装置的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于图卷积网络的行人重识别高效标注方法和装置。

图1为本发明实施例所提供的一种基于图卷积网络的行人重识别高效标注方法的流程示意图。

如图1所示，该基于图卷积网络的行人重识别高效标注方法包括以下步骤：

步骤S1：获取行人图像数据集，并对行人图像数据集中预设数量的图像样本进行标注，根据标注后的图像样本生成标注数据集。

进一步地，在本发明的一个实施例中，步骤S1，包括：

收集特定场景中的摄像头网络拍摄到的原始监控视频，利用已有的行人检测与追踪算法，截取各帧视频中的行人，制作行人图像数据集；

随机选取少量的样本对进行预标注，将标注数据放入有标数据集合中，作为特征提取骨干网络的输入。

步骤S2：根据标注数据集中的图像样本对预设特征提取网络进行训练，并利用训练后的特征提取网络对行人图像数据集中的图像样本进行特征提取，获取行人图像数据集中的图像样本对应的图像特征。

其中，模型中使用的特征提取骨干网络为卷积神经网络，可以基于任何有监督的行人重识别骨干网络，包括残差网络，输入数据为当前已有标注的样本对，损失函数为行人身份损失函数和三元组损失函数，对特征提取网络进行有监督方式的训练，再让所有图片通过训练好的网络，抽取出它们的特征。

步骤S3：根据图像特征计算图卷积网络的邻接矩阵，以训练图卷积网络，并利用图卷积网络输出的图像样本对之间的关系扩充标注数据集。

进一步地，在本发明的一个实施例中，步骤S3，包括：

将图的每个节点的特征从骨干网络中抽取，并进行归一化；其中，在图卷积网络中，图的每个节点代表一张行人图片，节点之间的边代表节点之间的关系，每个节点的特征从骨干网络中抽取，并进行归一化，整个过程中，新标注的样本对关系会不断加入，从而骨干网络参数会不断更新，各节点的特征也在不断更新。使用归一化的图拉普拉斯矩阵加上单位矩阵作为图的邻接矩阵，其中单位矩阵起到自连接的功能，因为每个节点离自己是最近的。

进一步地，在本发明的一个实施例中，为了避免图卷积网络可能产生的过平滑问题，还包括：

设计的图卷积网络只有两层，最后一层需要完成对每条边是否标注的分类任务，做法是将尚未标注的每条边关联的两个节点特征做內积计算相似度，再将两个节点特征与相似度值进行连接，作为边的特征，输入到全连接层中，使用Sigmoid激活函数得到值位于0、1之间的输出，作为边的得分，得分越接近0表示越倾向于不标注这条边，越接近1表示越倾向于标注这条边。在允许标注的数量上限内，选择得分高于某一阈值的所有边进行标注。

图卷积网络的损失函数定义为：

其中θ表示图卷积网络的参数，f

步骤S4：重复执行步骤S2和S3，直至标注数据集中图像样本的数量超过预设阈值，以得到神经网络模型。

其中，每次迭代都重复进行特征提取网络和图卷积网络的训练，图卷积网络的输入依赖于特征提取网络学习出的特征，特征提取网络的参数更新依赖于图卷积网络选择出的新标注数据。两个网络互为补充，形成良性循环，低成本高效率地选择到高质量的样本对并获得标注信息，不断完善特征提取能力，经过多次循环迭代后，得到的模型可以对未曾见过的数据集有非常好的泛化性能，而且整个过程只标注了很小比例的数据，大大节省了标注的时间、金钱、人力成本。

根据本发明实施例提出的基于图卷积网络的行人重识别高效标注的方法，在允许标注数量有限的条件下，能选择出最有代表性的样本对标注它们是否是同一人，使模型学习到的参数在未曾见过的数据集上有非常好的泛化性能，同时大大节约了标注成本；引入图卷积网络，图上的信息传递有利于学习到节点更高阶的特征表示，从而有利于更准确地判定节点之间的关系，同时，图卷积网络还作为标注样本对的分类器，决定哪些样本对之间的边要被标注；将样本对的选择和模型的学习过程整合于一个端到端的框架中，分别使用图卷积网络和卷积神经网络实现这两项功能，进行交替循环训练，不针对特定任务做优化，从而可以普适地推广到各种任务。

为了实现上述实施例，本发明还提出一种基于图卷积网络的行人重识别高效标注装置。

图2为本发明实施例提供的一种基于图卷积网络的行人重识别高效标注装置的结构示意图。

如图2所示，该基于图卷积网络的行人重识别高效标注装置包括：采集模块10，特征提取模块20，训练模块30，迭代模块40。

其中，采集模块10，用于获取行人图像数据集，并对所述行人图像数据集中预设数量的图像样本进行标注，根据标注后的图像样本生成标注数据集；特征提取模块20，用于根据所述标注数据集中的图像样本对预设特征提取网络进行训练，并利用训练后的特征提取网络对所述行人图像数据集中的图像样本进行特征提取，获取所述行人图像数据集中的图像样本对应的图像特征；训练模块30，用于根据所述图像特征计算图卷积网络的邻接矩阵，以训练所述图卷积网络，并利用所述图卷积网络输出的图像样本对之间的关系扩充所述标注数据集；迭代模块40，用于交替循环训练所述特征提取网络和所述图卷积网络、扩充所述标注数据集，直到标注数据量达到允许标注数量的上限，经过多次迭代后，得到一个泛化性好的特征提取网络。

进一步地，在本发明的一个实施例中，采集模块10，还用于：

收集特定场景中的摄像头网络拍摄到的原始监控视频，利用已有的行人检测与追踪算法，截取各帧视频中的行人，制作行人图像数据集；

随机选取少量的样本对进行预标注，将标注数据放入有标数据集合中，作为特征提取骨干网络的输入。

进一步地，在本发明的一个实施例中，特征提取模块20，还用于：

特征提取骨干网络为卷积神经网络，包括残差网络，输入数据为当前已有标注的样本对，损失函数为行人身份损失函数和三元组损失函数，对特征提取网络进行有监督方式的训练，再让所有图片通过训练好的网络，抽取出它们的特征。

进一步地，在本发明的一个实施例中，训练模块30，还用于：

将图的每个节点的特征从骨干网络中抽取，并进行归一化，其中，在图卷积网络中，图的每个节点代表一张行人图片，节点之间的边代表节点之间的关系，使用归一化的图拉普拉斯矩阵加上单位矩阵作为图的邻接矩阵。

进一步地，在本发明的一个实施例中，图卷积网络只有两层，最后一层需要完成对每条边是否标注的分类任务，具体包括：

将尚未标注的每条边关联的两个节点特征做內积计算相似度，再将两个节点特征与相似度值进行连接，作为边的特征，输入到全连接层中，使用Sigmoid激活函数得到值位于0、1之间的输出，作为边的得分，得分越接近0表示越倾向于不标注这条边，越接近1表示越倾向于标注这条边。

根据本发明实施例提出的基于图卷积网络的行人重识别高效标注的装置，在允许标注数量有限的条件下，能选择出最有代表性的样本对标注它们是否是同一人，使模型学习到的参数在未曾见过的数据集上有非常好的泛化性能，同时大大节约了标注成本；引入图卷积网络，图上的信息传递有利于学习到节点更高阶的特征表示，从而有利于更准确地判定节点之间的关系，同时，图卷积网络还作为标注样本对的分类器，决定哪些样本对之间的边要被标注；将样本对的选择和模型的学习过程整合于一个端到端的框架中，分别使用图卷积网络和卷积神经网络实现这两项功能，进行交替循环训练，不针对特定任务做优化，从而可以普适地推广到各种任务。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。