基于动态视觉传感器的步态身份识别方法及系统

技术领域

本发明涉及计算机视觉领域，具体地，涉及基于动态视觉传感器的步态身份识别方法及系统。

背景技术

随着深度学习的快速发展，生物特征识别技术在各个领域得到了大量的普及与应用。以人脸识别为代表的生物识别技术大大简化了身份识别的流程，催生了诸如人脸解锁、刷脸支付等应用。但是，诸如人脸、指纹、虹膜等生物特征均需要待测对象配合才能进行识别，限制了其在一些场景下的应用。步态是人在行走中的姿态特征，易于捕捉同时难以伪造，以其为基础的步态识别以有着非接触、远距离、无需配合的特征，是唯一能够在无感知非受控情况下远程进行身份识别的生物识别方法，有着广泛的应用前景。

动态视觉传感器是一种新型的类视网膜的视觉传感器。在动态视觉传感器中，每个像素点通过产生异步的事件独立地对亮度变化进行响应和编码，其产生的事件流消除了传统摄像机输出的连续重复图像中的冗余，所以它的带宽远远低于标准视频的带宽；而且它具有极高的时间分辨率，可以捕获到超快速运动；另外，它具有非常高的动态范围，即在白天和黑夜都可以很好地工作。所以，动态视觉传感器适合被应用在监控系统中。

时空图卷积网络(ST-GCN)在行为识别任务中被提出，用于处理骨骼序列并提取特征。相对于传统的图卷积网络，其针对于人体骨骼序列进行了针对性的卷积操作设计，借鉴了残差网络搭建了网络结构，对于人体动作特征有着极高的建模能力。

专利文献CN107403154B(申请号：201710596920.8)公开了一种基于动态视觉传感器的步态识别方法。其使用动态视觉传感器采集行人步态事件流，将其分割并编码为脉冲流，训练一个脉冲神经网络进行步态识别，并输出固定类别的身份。与该方法相比，我们的方法选择将事件流处理后提取步态骨骼序列，使用了基于时空图卷积设计的网络提取特征，并且使用特征匹配而非输出固定类别的方法进行识别。

专利文献CN112949440A(申请号：202110198651.6)公开了一种提取行人的步态特征的方法、步态识别方法及系统该方法同样使用动态视觉传感器作为数据源，其将事件流处理为姿态轮廓图序列并使用卷积神经网络进行特征提取，进行身份识别。与该方法相比，我们的方法选择将事件流处理为步态骨骼序列，并且使用基于时空图卷积设计的网络结构对骨骼序列图进行特征提取。

专利文献CN112989889A(申请号：201911302215.8)公开了一种基于姿态指导的步态识别方法，其包括：步骤1：进行步态数据的采集以及预处理；步骤2：提取静态外观信息和姿态信息进行模型训练；步骤3：利用训练好的模型进行身份的识别与认证。

针对于此前工作与现有方法中存在的问题，我们提出了一个新的基于动态视觉传感器的步态身份识别方法。本发明采用动态视觉传感器作为数据源，能在高动态范围下采集到低带宽的数据；为了使模型能够更有效地提取步态特征，有别于此前方法，我们采用了步态骨骼图作为模型输入，并且基于时空卷积网络设计了特征提取网络；同时，为了从DVS数据中得到步态骨骼图，我们首次提出了对事件流数据进行处理并提取得到骨骼序列的方法流程。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于动态视觉传感器的步态身份识别方法及系统。

根据本发明提供的一种基于动态视觉传感器的步态身份识别方法，包括：

步骤S1：基于标注身份的步态序列图以及相应的步态特征构建训练集；

步骤S2：基于构建的训练集对步态识别网络模型进行训练，得到训练后的步态识别网络模型；

步骤S3：通过动态视觉传感器采集待分析数据并对采集到的待分析数据进行预处理，得到预处理后的待分析数据；

步骤S4：基于预处理后的待分析数据得到待分析数据相对应的步态序列图；

步骤S5：待分析数据相对应的步态序列图通过训练后的步态识别网络模型提取相应的步态特征；

步骤S6：提取的步态特征基于建立的步态样本库进行匹配实现身份识别；

所述步态识别网络模型是基于时空图卷积网络搭建的，以步态序列图作为输入从而得到步态特征，以用于特征匹配进行身份识别。

优选地，所述步态识别网络模型包括：利用十层时空卷积层以及归一层提取特征；每一层包括时域部分和空域部分，分别从步态序列图的时间结构和空间结构进行卷积，每一个时空卷积层都有残差网络，确保特征不会偏移。

优选地，所述步骤S2采用：采用Triplet Loss的方式将步态序列图构建成三元组训练方式对步态识别网络模型进行训练。

优选地，所述步骤S3采用：使用迭代条件模式采用去噪算法对采集到的待分析数据进行去噪处理。

优选地，所述步骤S4采用：

步骤S4.1：预处理后的待分析数据使用openpose估计人体姿态，提取骨骼点；

步骤S4.2：基于提取的骨骼点生成待分析数据相对应的步态序列图。

优选地，所述步骤S4.1采用：预处理后的待分析数据利用神经网络预测得到热力图，从热力图中提取关节的具体位置。

优选地，所述步骤S4.2采用：对提取的骨骼点进行包括去噪与归一化操作，并连接生成待分析数据相对应的步态序列图。

根据本发明提供的一种基于动态视觉传感器的步态身份识别系统，包括：

模块M1：基于标注身份的步态序列图以及相应的步态特征构建训练集；

模块M2：基于构建的训练集对步态识别网络模型进行训练，得到训练后的步态识别网络模型；

模块M3：通过动态视觉传感器采集待分析数据并对采集到的待分析数据进行预处理，得到预处理后的待分析数据；

模块M4：基于预处理后的待分析数据得到待分析数据相对应的步态序列图；

模块M5：待分析数据相对应的步态序列图通过训练后的步态识别网络模型提取相应的步态特征；

模块M6：提取的步态特征基于建立的步态样本库进行匹配实现身份识别；

所述步态识别网络模型是基于时空图卷积网络搭建的，以步态序列图作为输入从而得到步态特征，以用于特征匹配进行身份识别。

优选地，所述步态识别网络模型包括：利用十层时空卷积层以及归一层提取特征；每一层包括时域部分和空域部分，分别从步态序列图的时间结构和空间结构进行卷积，每一个时空卷积层都有残差网络，确保特征不会偏移；

所述模块M2采用：采用Triplet Loss的方式将步态序列图构建成三元组训练方式对步态识别网络模型进行训练；

所述模块M3采用：使用迭代条件模式采用去噪算法对采集到的待分析数据进行去噪处理。

优选地，所述模块M4采用：

模块M4.1：预处理后的待分析数据使用openpose估计人体姿态，提取骨骼点；

模块M4.2：基于提取的骨骼点生成待分析数据相对应的步态序列图；

所述模块M4.1采用：预处理后的待分析数据利用神经网络预测得到热力图，从热力图中提取关节的具体位置；

所述模块M4.2采用：对提取的骨骼点进行包括去噪与归一化操作，并连接生成待分析数据相对应的步态序列图。

与现有技术相比，本发明具有如下的有益效果：

1.传统方法基于视频数据进行，而我们使用动态视觉传感器作为数据源，其有着低带宽、高动态范围的优点，可以应用于更广泛的场景下。

2.首次提出了对事件流数据进行处理并提取得到骨骼序列的方法流程，作为输入数据学习步态特征。骨骼序列相比于步态轮廓图有低冗余、稳定性强的优点。

3.根据步态数据的特点，基于时空卷积网络设计了新的步态特征提取网络。使用该针对人体骨骼运动设计的网络进行特征提取，学习到的特征具有表达能力强、可泛化的优点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1所示为本发明方法的流程图。

图2所示为本发明方法的框架图。

图3所示为本发明所述的模型示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

针对当前步态识别方法限制多、不稳定的问题，本发明的目的是提出一种基于动态视觉传感器的步态身份识别方法。该方法使用动态视觉传感器采集数据，相比于传统的视频数据有着低带宽、高动态范围的优点，从事件流中提取骨骼序列进行识别，相比于步态轮廓图有着易泛化、更稳定的优点。

根据本发明提供的一种基于动态视觉传感器的步态身份识别方法，包括：

步骤S1：基于标注身份的步态序列图以及相应的步态特征构建训练集；

步骤S2：基于构建的训练集对步态识别网络模型进行训练，得到训练后的步态识别网络模型；

具体地，所述步态识别网络模型包括：利用十层时空卷积层以及归一层提取特征；每一层包括时域部分和空域部分，分别从步态序列图的时间结构和空间结构进行卷积，每一个时空卷积层都有残差网络，确保特征不会偏移。

具体地，所述步骤S2采用：采用Triplet Loss的方式将步态序列图构建成三元组训练方式对步态识别网络模型进行训练。

步骤S3：通过动态视觉传感器采集待分析数据并对采集到的待分析数据进行预处理，得到预处理后的待分析数据；

具体地，所述步骤S3采用：使用迭代条件模式采用去噪算法对采集到的待分析数据进行去噪处理。所述迭代条件模式是通过迭代最大化每个变量的概率来获取马尔可夫随机场的联合概率的局部最大值。

步骤S4：基于预处理后的待分析数据得到待分析数据相对应的步态序列图；

具体地，所述步骤S4采用：

步骤S4.1：预处理后的待分析数据使用openpose估计人体姿态，提取骨骼点；

具体地，所述步骤S4.1采用：预处理后的待分析数据利用神经网络预测得到热力图，从热力图中提取关节的具体位置。

步骤S4.2：基于提取的骨骼点生成待分析数据相对应的步态序列图。

具体地，所述步骤S4.2采用：对提取的骨骼点进行包括去噪与归一化操作，并连接生成待分析数据相对应的步态序列图。

步骤S5：待分析数据相对应的步态序列图通过训练后的步态识别网络模型提取相应的步态特征；

步骤S6：提取的步态特征基于建立的步态样本库进行匹配实现身份识别；

所述步态识别网络模型是基于时空图卷积网络搭建的，以步态序列图作为输入从而得到步态特征，以用于特征匹配进行身份识别。

本发明使用了动态视觉传感器(DVS)作为数据源进行步态识别，提出了通过DVS数据提取步态骨骼图的方法，基于时空图卷积网络设计了进行步态特征提取的模型，并采用了大规模数据集预训练，小数据集微调的方法来解决数据不足的问题。

根据本发明提供的一种基于动态视觉传感器的步态身份识别系统，包括：

模块M1：基于标注身份的步态序列图以及相应的步态特征构建训练集；

模块M2：基于构建的训练集对步态识别网络模型进行训练，得到训练后的步态识别网络模型；

具体地，所述步态识别网络模型包括：利用十层时空卷积层以及归一层提取特征；每一层包括时域部分和空域部分，分别从步态序列图的时间结构和空间结构进行卷积，每一个时空卷积层都有残差网络，确保特征不会偏移。

具体地，所述模块M2采用：采用Triplet Loss的方式将步态序列图构建成三元组训练方式对步态识别网络模型进行训练。

模块M3：通过动态视觉传感器采集待分析数据并对采集到的待分析数据进行预处理，得到预处理后的待分析数据；

具体地，所述模块M3采用：使用迭代条件模式采用去噪算法对采集到的待分析数据进行去噪处理。所述迭代条件模式是通过迭代最大化每个变量的概率来获取马尔可夫随机场的联合概率的局部最大值。

模块M4：基于预处理后的待分析数据得到待分析数据相对应的步态序列图；

具体地，所述模块M4采用：

模块M4.1：预处理后的待分析数据使用openpose估计人体姿态，提取骨骼点；

具体地，所述模块M4.1采用：预处理后的待分析数据利用神经网络预测得到热力图，从热力图中提取关节的具体位置。

模块M4.2：基于提取的骨骼点生成待分析数据相对应的步态序列图。

具体地，所述模块M4.2采用：对提取的骨骼点进行包括去噪与归一化操作，并连接生成待分析数据相对应的步态序列图。

模块M5：待分析数据相对应的步态序列图通过训练后的步态识别网络模型提取相应的步态特征；

模块M6：提取的步态特征基于建立的步态样本库进行匹配实现身份识别；

所述步态识别网络模型是基于时空图卷积网络搭建的，以步态序列图作为输入从而得到步态特征，以用于特征匹配进行身份识别。

本发明使用了动态视觉传感器(DVS)作为数据源进行步态识别，提出了通过DVS数据提取步态骨骼图的方法，基于时空图卷积网络设计了进行步态特征提取的模型，并采用了大规模数据集预训练，小数据集微调的方法来解决数据不足的问题。

实施例2是实施例1的优选例

本发明实例提供了一种基于动态视觉传感器的步态身份识别方法，其主要流程如图1所示，主要框架如图2所示，主要包括S1-S7七个步骤：

S1：使用DVS在光线充足的时间段拍摄数据集；

S2：对数据集使用迭代条件模式、腐蚀、膨胀等去噪算法对数据集进行去噪；

S3：使用openpose对人体姿态估计，提取骨骼；

S4：将得到的骨骼进行去噪与归一化操作，并连接生成步态序列图；

S5：将生成的步态序列图及配对的身份标签输入在大规模数据集上预训练后的步态识别网络进行训练；

S6：使用训练得到的模型对样本数据进行特征提取，建立步态样本库；

S7：通过S1-S4，采集DVS步态数据并得到步态序列图，输入模型进行步态特征提取，最后在步态样本库中进行匹配进行身份识别。

所述步骤S1包括在光线充足的房间内，21位行为能力正常的自然人，按不同的角度路线稳定地走过摄像头的正面，角度以摄像头的正方向为0度，每次递增45度，共计8个角度；

所述步骤S2包括两部分，首先对数据集使用迭代条件模式去除噪声，此后使用腐蚀、膨胀等图像操作进一步去噪。在迭代条件模式中，对生成的DVS数据集利用噪声事件之间的独立性，有效事件流和实际事件流之间的强关联性，通过三维坐标得到概率无向图的能量函数，期望找到概率最高的有效事件流即最低能量函数，在迭代更新数据后得到最低能量，完成初步去噪；在腐蚀、膨胀等图形操作中，选取合适的权重矩阵去除一些与人物行为相差较远的数据，对图像进一步去噪；

所述步骤S3包括对去噪后的图像使用openpose提取骨骼，openpose是自下而上的人体姿态估计算法，也就是先得到关键点位置，再获得骨架。主要流程是利用神经网络预测得到热力图，从热力图中提取关节的具体位置，再将关节连接成肢体，得到骨骼图；

所述步骤S4包括两部分，首先对得到的骨骼进行去噪和归一化操作，此后连接生成步态序列图。去噪操作中，利用关键点估计得到的置信度值，对于置信度低于某一阈值的关键点，使用其前帧与后帧的对应关键点进行估计重新计算当前关键点位置。归一化操作中，利用人体脊柱骨骼作为基准，基于置信度对两条基准骨骼进行加权求平均，使其长度被归一化为1。连接生成步态序列图操作中，空间维度上基于人体骨骼自然连接，时间维度上连接相邻帧的相同关键点。

所述步骤S5包括两部分，首先得对得到的骨骼图分类，N个人和K个样本，采用Triplet Loss的方式将骨骼图构建成三元组，分别为随机样本A，与A最接近的不同目标的序列B，以及与A最遥远的同一目标序列C。第二部分，训练目标是使得A与C尽量接近，A与B尽量遥远，距离的判定方式为L2范式对比输出的特征之间的空间距离。模型，见图3，采用的是调整过的时空图网络，通过十层时空卷积层以及归一层提取特征。其中每一层包括时域部分和空域部分，分别从骨骼图的时间结构和空间结构角度进行卷积，同时每一个时空卷积层都有残差网络，确保特征不会偏移。

所述步骤S5的训练过程包括两个步骤，由于DVS数据集数据量较小，因此先将网络在大规模步态数据集上进行预训练，本实施中采用CASIS-B数据集，从中提取骨骼序列并进行预训练。此后，使用预训练得到的网络在目标小规模DVS数据集上进行微调。

所述步骤S6包括将需要识别的样本库逐项输入训练好的模型输出对应特征，使用步态特征，步态身份的元组建立步态样本库。

所属步骤S7包括同时从DVS中获取的数据，将之输入模型，并将输出的结果与之前的样本库比对，找出其中最接近的步态序列，将其目标判定为待识别序列的目标，同设定一个阈值，如果与所有样本库中的样本均有较大差别，则认为带识别序列目标不属于样本库中合法目标。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。