一种异常人体行为的警报方法和装置

技术领域

本发明涉及智能安防技术领域，特别是涉及一种异常人体行为的警报方法和装置。

背景技术

智能安防系统是采用图像处理、模式识别和计算机视觉技术，通过在监控系统中增加智能视频分析模块，借助计算机强大的数据处理能力过滤掉视频画面无用的或干扰信息、自动识别不同物体，分析抽取视频源中关键有用信息。

目前市面上的智能安防摄像头主要包括的功能有：拍摄，缩放和远距离观测，物体移动检测与追踪，人脸识别等。然而，实时安防摄像头也仅仅起到对家中的情况进行实时监控，当家中出现盗窃等异常情况时，并不能实时地自动发出警报，不能及时地阻止财产损失的发生。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种异常人体行为的警报方法和相应的一种异常人体行为的警报装置。

为了解决上述问题，本发明实施例公开了一种异常人体行为的警报方法，所述方法包括：

获取监控视频流；

对所述监控视频流进行解码，得到多组监控图像；

对所述多组监控图像进行人体骨骼关键点识别，得到多组第一人体骨骼关键点坐标集；

根据所述多组第一人体骨骼关键点坐标集，判断人体行为是否异常，若是，则发出异常人体行为的警报。

可选的，所述对所述多组监控图像进行人体骨骼关键点识别，得到多组第一人体骨骼关键点坐标集的步骤包括：

搭建骨骼关键点识别神经网络模型；

将所述多组监控图像输入到所述骨骼关键点神经网络模型，输出多组所述第一人体骨骼关键点坐标集。

可选的，所述搭建骨骼关键点识别神经网络模型的步骤包括：

获取多组人体图像；

对所述多组人体图像的人体骨骼关键点进行标注，得到多组第二人体骨骼关键点坐标集；

将所述多组第二人体骨骼关键点坐标集制作成人体骨骼关键点训练集；

搭建初始神经网络模型；

采用所述人体骨骼关键点训练集对所述初始神经网络模型进行训练，得到骨骼关键点识别神经网络模型。

可选的，根据所述多组第一人体骨骼关键点坐标集，判断人体行为是否异常，若是，则发出异常人体行为的警报的步骤包括：

搭建异常人体行为判断回归网络模型；

将所述第一人体骨骼关键点坐标集输入到所述异常人体行为判断回归网络模型中，若输出结果为人体行为异常，则发出异常人体行为的警报。

可选的，搭建异常人体行为判断回归网络模型的步骤包括：

获取多组异常人体行为图像；

从所述多组异常人体行为图像中，提取多组第三人体骨骼关键点坐标集；

将所述多组第三人体骨骼关键点坐标集制作成异常动作训练集；

搭建初始回归网络模型；

采用初始回归网络模型提取所述异常动作训练集的坐标集特征；

当所述初始回归网络模型对异常动作训练集的坐标集特征趋于敏感时，将所述初始回归网络模型确定为异常人体行为判断回归网络模型。

本发明实施例还公开了一种异常人体行为的警报装置，所述装置包括：

监控视频流获取模块，用于获取监控视频流；

解码模块，用于对所述监控视频流进行解码，得到多组监控图像；

人体骨骼关键点识别模块，用于对所述多组监控图像进行人体骨骼关键点识别，得到多组第一人体骨骼关键点坐标集；

人体行为异常判断模块，用于根据所述多组第一人体骨骼关键点坐标集，判断人体行为是否异常，若是，则发出异常人体行为的警报。

可选的，所述人体骨骼关键点识别模块包括：

第一模型搭建子模块，用于搭建骨骼关键点识别神经网络模型；

第一坐标集获取子模块，用于将所述多组监控图像输入到所述骨骼关键点神经网络模型，输出多组所述第一人体骨骼关键点坐标集。

可选的，所述第一模型搭建子模块包括：

人体图像获取单元，用于获取多组人体图像；

第二坐标集获取单元，用于对所述多组人体图像的人体骨骼关键点进行标注，得到多组第二人体骨骼关键点坐标集；

训练集制作单元，用于将所述多组第二人体骨骼关键点坐标集制作成人体骨骼关键点训练集；

初始神经网络模型搭建单元，用于搭建初始神经网络模型；

神经网络训练单元，用于采用所述人体骨骼关键点训练集对所述初始神经网络模型进行训练，得到骨骼关键点识别神经网络模型。

可选的，所述人体行为异常判断模块包括：

第二模型搭建子模块，用于搭建异常人体行为判断回归网络模型；

警报子模块，将所述第一人体骨骼关键点坐标集输入到所述异常人体行为判断回归网络模型中，若输出结果为人体行为异常，则发出异常人体行为的警报。

本发明实施例包括以下优点：在本发明实施例中，获取监控视频流，对所述监控视频流进行解码，得到多组监控图像，对所述多组监控图像进行人体骨骼关键点识别，得到多组第一人体骨骼关键点坐标集，根据所述多组第一人体骨骼关键点坐标集，判断人体行为是否异常，若是，则发出异常人体行为的警报，能够实时监测室内的人员行为，当发现人员行为异常时，能够自动发出警报，大大保障了室内的财产安全。

附图说明

图1是本发明的一种异常人体行为的警报方法实施例一的步骤流程图。

图2是本发明的一种异常人体行为的警报装置实施例一的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种异常人体行为的警报方法实施例一的步骤流程图，具体可以包括如下步骤：

步骤101，获取监控视频流；

可以在监控区域设置监控摄像头进行拍摄，得到监控视频流，所述监控区域可以是卧室、客厅、饭厅，所述监控摄像头的数量可以为多个，能够减少监控区域的盲区，更好地保障人员安全。

步骤102，对所述监控视频流进行解码，得到多组监控图像；

在监控区域进行拍摄，获取监控视频流后，对所述监控视频流进行解码可以得到多组单帧的监控图像。

步骤103，对所述多组监控图像进行人体骨骼关键点识别，得到多组第一人体骨骼关键点坐标集；

得到多组监控图像后，为了减少计算量，降低计算机的性能消耗，需要对多组监控图像进行人体检测，识别出存在人体的监控图像，再对存在人体的监控图像进行人体骨骼关键点识别。

人体骨骼关键点一般位于人体骨骼的关节位置，例如，膝部关节点、头部关节点、肘部关节点等等。人体骨骼关节点可以由技术人员按照实际情况去定义。多个由上至下的人体骨骼关节点可以反映人体的行为，而人体骨骼关节点的数量越多，越能反映人体行为的细节。

在本发明的一种实施例中，所述对所述多组监控图像进行人体骨骼关键点识别，得到多组第一人体骨骼关键点坐标集的步骤包括：

子步骤1031，搭建骨骼关键点识别神经网络模型；

具体的，所述搭建骨骼关键点识别神经网络模型的步骤包括：

获取多组人体图像；

所述人体图像可以由技术人员预先采集，所述多组人体图像应包括人体各种行为的图像，例如，站立、下蹲、平躺等。

对所述多组人体图像的人体骨骼关键点进行标注，得到多组第二人体骨骼关键点坐标集；

在获取多组人体图像后，对每一组人体图像的所有人体骨骼关键点进行标注，得到多组第二人体骨骼关键点坐标集，所述第二人体骨骼关键点坐标集中的坐标为三维空间坐标。

将所述多组第二人体骨骼关键点坐标集制作成人体骨骼关键点训练集；

具体的，将所述多组第二人体骨骼关键点坐标集编上序号，制作成人体骨骼关键点训练集。

搭建初始神经网络模型；

在本发明的一种实施例中，建立初始神经网络模型来学习人体骨骼关键点位置的图像特征，为了增加模型学习的拟合程度，使用高斯分布将人体骨骼关键点训练集里的第二人体骨骼关键点坐标集转变成关键区域热图，同时在神经网络架构中将不同分辨率的神经层进行多尺度融合，得到丰富的高分辨率表征。

所述初始神经网络模型主要包括特征提取模块，转换模块以及连接模块。所述特征提取模块为残差基础网络。所述转换模块用于不同模块之间的连接，完成各模块的对应转换。所述连接模块用于将不同尺寸的特征矩阵进行拼接。

采用所述人体骨骼关键点训练集对所述初始神经网络模型进行训练，得到骨骼关键点识别神经网络模型。

将所述人体骨骼关键点训练集送入所述初始神经网络模型进行训练时，采用梯度下降调优参数，使得初始神经网络模型的损失函数被训练到逐渐收敛，网络层对人体骨骼的特征趋于敏感，得到骨骼关键点识别神经网络模型。

子步骤1032，将所述多组监控图像输入到所述骨骼关键点神经网络模型，输出多组所述第一人体骨骼关键点坐标集。

在完成骨骼关键点识别神经网络模型的搭建后，将存在人体的监控图像输入到所述骨骼关键点神经网络模型，所述骨骼关键点神经网络模型便能输出第一人体骨骼关键点坐标集。

步骤104，根据所述多组第一人体骨骼关键点坐标集，判断人体行为是否异常，若是，则发出异常人体行为的警报。

根据所述多组第一人体骨骼关键点坐标集，判断人体行为是否异常，若是，则发出异常人体行为的警报的步骤包括：

子步骤1041，搭建异常人体行为判断回归网络模型；

子步骤1042，将所述第一人体骨骼关键点坐标集输入到所述异常人体行为判断回归网络模型中，若输出结果为人体行为异常，则发出异常人体行为的警报。

在本发明实施例中，获取监控视频流，对所述监控视频流进行解码，得到多组监控图像，对所述多组监控图像进行人体骨骼关键点识别，得到多组第一人体骨骼关键点坐标集，根据所述多组第一人体骨骼关键点坐标集，判断人体行为是否异常，若是，则发出异常人体行为的警报，能够实时监测室内的人员行为，当发现人员行为异常时，能够自动发出警报，大大保障了室内的财产安全。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图2，示出了本发明的一种异常人体行为的警报装置实施例一的结构框图，具体可以包括如下模块：

监控视频流获取模块201，用于获取监控视频流；

解码模块202，用于对所述监控视频流进行解码，得到多组监控图像；

人体骨骼关键点识别模块203，用于对所述多组监控图像进行人体骨骼关键点识别，得到多组第一人体骨骼关键点坐标集；

人体行为异常判断模块204，用于根据所述多组第一人体骨骼关键点坐标集，判断人体行为是否异常，若是，则发出异常人体行为的警报。

在本发明实施例中，所述人体骨骼关键点识别模块包括：

第一模型搭建子模块，用于搭建骨骼关键点识别神经网络模型；

第一坐标集获取子模块，用于将所述多组监控图像输入到所述骨骼关键点神经网络模型，输出多组所述第一人体骨骼关键点坐标集。

在本发明实施例中，所述第一模型搭建子模块包括：

人体图像获取单元，用于获取多组人体图像；

第二坐标集获取单元，用于对所述多组人体图像的人体骨骼关键点进行标注，得到多组第二人体骨骼关键点坐标集；

训练集制作单元，用于将所述多组第二人体骨骼关键点坐标集制作成人体骨骼关键点训练集；

初始神经网络模型搭建单元，用于搭建初始神经网络模型；

神经网络训练单元，用于采用所述人体骨骼关键点训练集对所述初始神经网络模型进行训练，得到骨骼关键点识别神经网络模型。

在本发明实施例中，所述人体行为异常判断模块包括：

第二模型搭建子模块，用于搭建异常人体行为判断回归网络模型；

警报子模块，将所述第一人体骨骼关键点坐标集输入到所述异常人体行为判断回归网络模型中，若输出结果为人体行为异常，则发出异常人体行为的警报。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种装置，包括：

包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述一种异常人体行为的警报方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述一种异常人体行为的警报方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种异常人体行为的警报方法和一种异常人体行为的警报装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。