目标对象步态处理方法及装置、非易失性存储介质

技术领域

本发明涉及步态识别处理领域，具体而言，涉及一种目标对象步态处理方法及装置、非易失性存储介质。

背景技术

步态识别技术目前被广泛关注的一种新兴生物识别技术，与其他生物识别技术相比，具有非接触远距离和不容易伪装的优点，在智能视频监控领域相比较图像识别更具优势。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种目标对象步态处理方法及装置、非易失性存储介质，以至少解决现有技术中无法采用步态识别技术进行身份信息识别的技术问题。

根据本发明实施例的一个方面，提供了一种目标对象步态处理方法，包括：在目标检测区域内获取目标对象的运动序列数据，其中，上述目标对象具有生命体征；基于上述运动序列数据确定上述目标对象的第一步态信息；将上述第一步态信息与预先存储的第二步态信息进行身份匹配处理；当上述第一步态信息与上述第二步态信息不相匹配时，发出告警信息。

可选的，基于上述运动序列数据确定上述目标对象的上述第一步态信息包括：对上述运动序列数据中的姿态数据进行轮廓提取处理，得到姿态轮廓序列；对上述姿态轮廓序列进行步态识别处理，得到上述第一步态信息。

可选的，对上述运动序列数据中的上述姿态数据进行轮廓提取处理，得到上述姿态轮廓序列包括：基于上述运动序列数据进行目标对象检测处理，得到目标对象检测结果；对上述目标对象检测结果进行图像分割处理，得到目标对象关联图像；基于上述运动序列数据进行前景图像与后景图像分离处理，得到后景初始图像；对上述后景初始图像进行归一化处理，得到后景归一化图像；对上述目标对象关联图像与上述后景归一化图像进行图像融合处理，得到上述姿态轮廓序列。

可选的，对上述姿态轮廓序列进行步态识别处理，得到上述第一步态信息包括：利用步态识别网络模型对上述姿态轮廓序列进行步态识别处理，得到上述目标对象的步态类别。

可选的，利用上述步态识别网络模型对上述姿态轮廓序列进行步态识别处理，得到上述步态类别包括：利用残差卷积神经网络模型对上述姿态轮廓序列进行步态特征提取处理，得到第一处理结果；利用门控循环神经网络对上述第一处理结果进行特征向量学习，得到第二处理结果；利用注意力机制根据上述第二处理结果调整网络权重，得到第三处理结果；利用分类器对上述第三处理结果进行运动步态判别处理，得到上述步态类别。

可选的，发出上述告警信息包括以下至少之一：控制智能家居设备的扬声组件发出上述告警信息；控制智能家居设备的通讯组件经由服务器向与上述智能家居设备关联的目标终端发送上述告警信息。

根据本发明实施例的另一方面，还提供了一种目标对象步态处理装置，包括：获取模块，用于在目标检测区域内获取目标对象的运动序列数据，其中，上述目标对象具有生命体征；确定模块，用于基于上述运动序列数据确定上述目标对象的第一步态信息；匹配模块，用于将上述第一步态信息与预先存储的第二步态信息进行身份匹配处理；处理模块，用于当上述第一步态信息与上述第二步态信息不相匹配时，发出告警信息。

根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述存储介质中存储有计算机程序，其中，上述计算机程序被设置为运行时执行任一项中上述的目标对象步态处理方法。

根据本发明实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序被设置为运行时执行任一项中上述的目标对象步态处理方法。

根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行任一项中上述的目标对象步态处理方法。

在本发明实施例中，通过在目标检测区域内获取目标对象的运动序列数据，其中，上述目标对象具有生命体征；基于上述运动序列数据确定上述目标对象的第一步态信息；将上述第一步态信息与预先存储的第二步态信息进行身份匹配处理；当上述第一步态信息与上述第二步态信息不相匹配时，发出告警信息，达到了采用步态识别技术进行身份信息识别的目的，从而实现了根据身份识别信息进行安防预警的技术效果，进而解决了现有技术中无法采用步态识别技术进行身份信息识别的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种目标对象步态处理方法的流程图；

图2是根据本发明实施例的一种可选的基于安防检测空调的目标对象步态处理系统的示意图；

图3是根据本发明实施例的一种可选的行人步态识别及告警流程的示意图；

图4是根据本发明实施例的一种可选的姿态轮廓提取流程的示意图；

图5是根据本发明实施例的一种可选的步态识别网络模型的结构示意图；

图6是根据本发明实施例的一种目标对象步态处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种目标对象步态处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种目标对象步态处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，在目标检测区域内获取目标对象的运动序列数据，其中，上述目标对象具有生命体征；

步骤S104，基于上述运动序列数据确定上述目标对象的第一步态信息；

步骤S106，将上述第一步态信息与预先存储的第二步态信息进行身份匹配处理；

步骤S108，当上述第一步态信息与上述第二步态信息不相匹配时，发出告警信息。

在本发明实施例中，通过在目标检测区域内获取目标对象的运动序列数据，其中，上述目标对象具有生命体征；基于上述运动序列数据确定上述目标对象的第一步态信息；将上述第一步态信息与预先存储的第二步态信息进行身份匹配处理；当上述第一步态信息与上述第二步态信息不相匹配时，发出告警信息，达到了采用步态识别技术进行身份信息识别的目的，从而实现了根据身份识别信息进行安防预警的技术效果，进而解决了现有技术中无法采用步态识别技术进行身份信息识别的技术问题。

可选的，本申请实施例所提供的目标对象步态处理方法可以但不限于应用在智能家居场景中，例如，应用在智能家居系统、智能安防检测系统等中。

可选的，上述目标检测区域可以为设置有智能家居设备的区域，例如，可以设置有空调器、冰箱等智能家居设备；上述目标对象为进入该目标检测区域的对象，例如，可以为人、动物具有生命体征的对象；上述运动序列数据用于提取该目标对象的第一步态信息；上述第二步态信息为用户的步态信息，即智能家居设备主人或者房屋主人预先录入至智能家居设备的步态信息。

需要说明的是，随着智能家居系统中安防检测技术的商业化需求，以及基于步态识别技术的理论基础和现阶段相关技术的研究成果，通过步态识别网络对检测区域范围内的目标对象进行身份信息认证，当检测到的步态信息与存储的用户的步态信息不匹配，则确定身份信息认证不通过时，可以采用空调器、冰箱、洗衣机等家电设备进行自动预警并向用户推送告警信息，实现采用智能家居实现安防检测的技术效果。

可选的，本申请实施例还提供一种基于步态识别的智能家居的安防检测空调，通过步态识别技术进行用户身份信息的识别和认证，在用户家中无人出现陌生人的情况时，根据对检测区域范围内的人员进行运动步态监测识别人员身份信息，当所识别的人员身份信息与存储的用户身份信息不匹配时，能够通过手机APP为用户推送告警信息。

本申请实施例中，以智能家居设备为空调为例，如图2所示的基于安防检测空调的目标对象步态处理系统的示意图，摄像头检测单元001对目标检测区域内的目标对象进行检测，获取目标对象的运动序列数据，并根据所获取的运动序列数据驱动控制单元002实现数据处理和控制指令传递，空调的扬声器单元003根据捕获指令实现警报声的播放，即输出告警信息，空调WIFI通讯单元004根据收到的信令实现发送告警信息，通过IOT物联网服务器005将空调端与用户手机APP端实现信息的互联互通，用户手机APP006接收物联网服务器发送的信令。

在一种可选的实施例中，基于上述运动序列数据确定上述目标对象的上述第一步态信息包括：

步骤S202，对上述运动序列数据中的姿态数据进行轮廓提取处理，得到姿态轮廓序列；

步骤S204，对上述姿态轮廓序列进行步态识别处理，得到上述第一步态信息。

作为一种可选的实施例，行人步态识别及告警流程如图3所示，以智能家居设备为空调为例，身份不确定的行人进入设置有安防检测空调的无人房间时，摄像头检测单元对检测区域内的行人进行检测获取行人的运动序列数据，根据所获得的运动序列数据驱动控制终端开启验证模型。

在控制终端进行模型验证的过程中，首先对运动序列数据中行人姿态的轮廓提取处理，得到姿态轮廓序列，之后将经过处理得到的姿态轮廓序列传输到步态识别网络中获取行人的第一步态信息。

在一种可选的实施例中，发出上述告警信息包括以下至少之一：控制智能家居设备的扬声组件发出上述告警信息；控制智能家居设备的通讯组件经由服务器向与上述智能家居设备关联的目标终端发送上述告警信息。

仍如图3所示，在将经过步态识别网络得到的第一步态信息与存储的用户的第二步态信息进行身份的匹配处理，若身份信息不相匹配，则空调传递控制指令驱动扬声器单元播放报警声，同时控制WIFI通讯单元发送预警信息，通过IOT物联网服务器将空调端与用户手机APP端进行连接，以实现信息的互联互通；若与用户的身份信息相匹配，空调不进行预警响应，用户可正常使用空调。

在一种可选的实施例中，对上述运动序列数据中的上述姿态数据进行轮廓提取处理，得到上述姿态轮廓序列包括：

步骤S302，基于上述运动序列数据进行目标对象检测处理，得到目标对象检测结果；

步骤S304，对上述目标对象检测结果进行图像分割处理，得到目标对象关联图像；

步骤S306，基于上述运动序列数据进行前景图像与后景图像分离处理，得到后景初始图像；

步骤S308，对上述后景初始图像进行归一化处理，得到后景归一化图像；

步骤S310，对上述目标对象关联图像与上述后景归一化图像进行图像融合处理，得到上述姿态轮廓序列。

本申请实施例中，姿态轮廓提取流程如图4所示，对于摄像头检测单元获取的行人运动序列数据，可以分为如下两个部分同时进行操作处理：

第一部分，将获取的行人运动序列数据，例如，行人视频，通过VGG16网络进行行人检测处理，并将获取的行人检测处理结果利用图像分割技术实现行人与背景的分离，仅保留行人关联图像；第二部分，将获取的行人运动序列数据划分为前景图像与后景图像的分离，仅保留行人部分的后景初始图像，并后景初始图像进行归一化处理，得到归一化处理结果，将第一部分保留得到的行人关联图像与第二部分的后景归一化图像进行融合处理，得到姿态轮廓序列。

在一种可选的实施例中，对上述姿态轮廓序列进行步态识别处理，得到上述第一步态信息包括：

步骤S402，利用步态识别网络模型对上述姿态轮廓序列进行步态识别处理，得到上述目标对象的步态类别。

在一种可选的实施例中，利用上述步态识别网络模型对上述姿态轮廓序列进行步态识别处理，得到上述步态类别包括：

步骤S502，利用残差卷积神经网络模型对上述姿态轮廓序列进行步态特征提取处理，得到第一处理结果；

步骤S504，利用门控循环神经网络对上述第一处理结果进行特征向量学习，得到第二处理结果；

步骤S506，利用注意力机制根据上述第二处理结果调整网络权重，得到第三处理结果；

步骤S508，利用分类器对上述第三处理结果进行运动步态判别处理，得到上述步态类别。

可选的，上述步态识别网络模型如图5所示，即对目标对象的姿态轮廓序列进行步态识别，将获取到的姿态轮廓序列逐帧进行图像的提取，例如，对于每幅图像首先利用ResNet-50残差卷积神经网络进行行人步态特征的提取，其中，上述ResNet-50残差卷积神经网络可以通过一系列重复的单元处理单帧图像，其中，每个单元包括卷积、池化及非线性激活函数等操作步骤构成，可以实现有效减少深层网络的梯度消失现象。

在本申请实施例中，考虑到GRU门控循环单元相比于长短时记忆网络LSTM和循环神经网络RNN具有结构简单及可以更好地捕捉时间序列中时间步距离较大的依赖关系的优点，在本申请实施例的步态识别网络模型中引入GRU门控循环单元，通过构建向前传播和向后传播GRU神经网络，利用视频帧图像中当前信息与未来信息的互联，实现对运动特征向量的学习，其中，GRU结构通过重置门和更新门实现信息的输入和输出，利用候选隐藏状态和隐藏状态完成对信息的遗忘与保留。

并且，在本申请实施例中，通过在步态识别网络模型中引入Attention注意力机制，自适应的感知对识别结果有较大影响的网络权重，并根据动作之间的关系调整权重的分配，使得整个模型能够根据运动步态的前后关系实现更精确的判别，最后通过全连接层连接Logistic分类器得到最终的步态类别，可以实现对对运动步态信息的精确判别。

实施例2

根据本发明实施例，还提供了一种用于实施上述目标对象步态处理方法的装置实施例，图6是根据本发明实施例的一种目标对象步态处理装置的结构示意图，如图6所示，上述目标对象步态处理装置，包括：获取模块600、确定模块602、匹配模块604和处理模块606，其中：

获取模块600，用于在目标检测区域内获取目标对象的运动序列数据，其中，上述目标对象具有生命体征；确定模块602，用于基于上述运动序列数据确定上述目标对象的第一步态信息；匹配模块604，用于将上述第一步态信息与预先存储的第二步态信息进行身份匹配处理；处理模块606，用于当上述第一步态信息与上述第二步态信息不相匹配时，发出告警信息。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。

此处需要说明的是，上述获取模块600、确定模块602、匹配模块604和处理模块606对应于实施例1中的步骤S102至步骤S108，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。

需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

上述的目标对象步态处理装置还可以包括处理器和存储器，上述获取模块600、确定模块602、匹配模块604和处理模块606等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元，上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

根据本申请实施例，还提供了一种非易失性存储介质的实施例。可选地，在本实施例中，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行上述任意一种目标对象步态处理方法。

可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中，上述非易失性存储介质包括存储的程序。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：在目标检测区域内获取目标对象的运动序列数据，其中，上述目标对象具有生命体征；基于上述运动序列数据确定上述目标对象的第一步态信息；将上述第一步态信息与预先存储的第二步态信息进行身份匹配处理；当上述第一步态信息与上述第二步态信息不相匹配时，发出告警信息。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：对上述运动序列数据中的姿态数据进行轮廓提取处理，得到姿态轮廓序列；对上述姿态轮廓序列进行步态识别处理，得到上述第一步态信息。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：基于上述运动序列数据进行目标对象检测处理，得到目标对象检测结果；对上述目标对象检测结果进行图像分割处理，得到目标对象关联图像；基于上述运动序列数据进行前景图像与后景图像分离处理，得到后景初始图像；对上述后景初始图像进行归一化处理，得到后景归一化图像；对上述目标对象关联图像与上述后景归一化图像进行图像融合处理，得到上述姿态轮廓序列。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：利用步态识别网络模型对上述姿态轮廓序列进行步态识别处理，得到上述目标对象的步态类别。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：利用残差卷积神经网络模型对上述姿态轮廓序列进行步态特征提取处理，得到第一处理结果；利用门控循环神经网络对上述第一处理结果进行特征向量学习，得到第二处理结果；利用注意力机制根据上述第二处理结果调整网络权重，得到第三处理结果；利用分类器对上述第三处理结果进行运动步态判别处理，得到上述步态类别。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：控制智能家居设备的扬声组件发出上述告警信息；控制智能家居设备的通讯组件经由服务器向与上述智能家居设备关联的目标终端发送上述告警信息。

根据本申请实施例，还提供了一种处理器的实施例。可选地，在本实施例中，上述处理器用于运行程序，其中，上述程序运行时执行上述任意一种目标对象步态处理方法。

根据本申请实施例，还提供了一种电子装置的实施例，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行所述计算机程序以执行上述任意一种的目标对象步态处理方法。

根据本申请实施例，还提供了一种计算机程序产品的实施例，当在数据处理设备上执行时，适于执行初始化有上述任意一种的目标对象步态处理方法步骤的程序。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。