基于安防视频监控的增强识别方法和装置

技术领域

本申请涉及安防技术领域，尤其涉及一种基于安防视频监控的增强识别方法和装置。

背景技术

安防视频监控系统是利用视频技术探测、监视设防区域并实时显示、记录现场图像的电子系统或网络。监控系统的组成架构比较简单，首先各种类型的摄像机通过接到交换机实现通信，其次硬盘录像机也和交换机连接实现通信，最后显示器作为硬盘录像机的显示终端输出图像。目前安防视频监控无法识别人物的表情管理判断人物体貌行为，判断不出人物做出的危险行为，因此，亟需解决这一技术问题。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的基于安防视频监控的增强识别方法和装置，可以准确识别人物是否具有威胁性，加强对人物的安全性监控。所述技术方案如下：

第一方面，提供了一种基于安防视频监控的增强识别方法，包括：

通过边缘计算增强识别安防视频监控中人物的面部表情；

根据识别出的人物的面部表情判断人物是否具有危险行为动作；

若判断出人物具有危险行为动作，则生成表示人物即将做出的危险动作的提示信息。

在一种可能的实现方式中，所述通过边缘计算增强识别安防视频监控中人物的面部表情，包括：

获取安防视频监控采集的视频数据；

将安防视频监控采集的视频数据实时发送给边缘计算节点；

接收边缘计算节点返回的通过边缘计算增强识别安防视频监控采集的视频数据中人物的面部表情。

在一种可能的实现方式中，所述将安防视频监控采集的视频数据实时发送给边缘计算节点，包括：

获取待绑定的边缘计算节点的特征标识；

根据获取的特征标识与待绑定的边缘计算节点进行绑定；

将安防视频监控采集的视频数据实时发送给绑定的边缘计算节点。

在一种可能的实现方式中，所述边缘计算节点的特征标识包括所述边缘计算节点的ID、二维码、条码、统一资源标识符URL中的一种或多种。

在一种可能的实现方式中，所述根据识别出的人物的面部表情判断人物是否具有危险行为动作，包括：

将识别出的人物的面部表情输入预先训练的危险行为动作识别模型，利用所述训练的危险行为动作识别模型预测人物的面部表情对应的危险行为动作，得到预测结果；

根据所述预测结果判断人物是否具有危险行为动作。

在一种可能的实现方式中，所述生成表示人物即将做出的危险动作的提示信息之后，所述方法还包括：

向预设的终端设备发送表示人物即将做出的危险动作的提示信息。

在一种可能的实现方式中，所述方法还包括：

若判断出人物具有危险行为动作，获取具有危险行为动作的人物个数以及每个具有危险行为动作人物的监控图像定位坐标，根据每个具有危险行为动作人物的监控图像定位坐标判断所述具有危险行为动作人物是否发生聚集行为，然后根据具有危险行为动作人物的个数以及聚集行为自动判断安防人员需要增派的人数，并且根据具有危险行为动作人物的监控图像定位坐标对增派的安防人员进行合理分布，其具体步骤包括，

步骤A1：利用公式(1)根据每个具有危险行为动作人物的实时监控图像定位坐标判断所述具有危险行为动作人物是否发生聚集行为

其中R表示当前实时监控图像内危险行为动作人物的聚集认定半径；n表示当前实时监控图像内具有危险行为动作人物的个数；[a(i)，b(i)]表示当前实时监控图像内第i个具有危险行为动作人物的定位坐标；

以当前实时监控图像内的

步骤A2：利用公式(2)根据具有危险行为动作人物的个数以及聚集行为自动判断安防人员需要增派的人数

其中m表示所述安防人员需要增派的人数；并将所述m的数值发送给边缘计算节点；

步骤A3：利用公式(3)根据具有危险行为动作人物的监控图像定位坐标对增派的安防人员进行合理分布

需要在四个位置点部署增派的安防人员，所述四个位置点分别为

将上述部署情况发送给边缘计算节点。

第二方面，提供了一种基于安防视频监控的增强识别装置，包括：

识别模块，用于通过边缘计算增强识别安防视频监控中人物的面部表情；

判断模块，用于根据识别出的人物的面部表情判断人物是否具有危险行为动作；

生成模块，用于若判断出人物具有危险行为动作，则生成表示人物即将做出的危险动作的提示信息。

在一种可能的实现方式中，所述识别模块还用于：

获取安防视频监控采集的视频数据；

将安防视频监控采集的视频数据实时发送给边缘计算节点；

接收边缘计算节点返回的通过边缘计算增强识别安防视频监控采集的视频数据中人物的面部表情。

在一种可能的实现方式中，所述识别模块还用于：

获取待绑定的边缘计算节点的特征标识；

根据获取的特征标识与待绑定的边缘计算节点进行绑定；

将安防视频监控采集的视频数据实时发送给绑定的边缘计算节点。

在一种可能的实现方式中，所述边缘计算节点的特征标识包括所述边缘计算节点的ID、二维码、条码、统一资源标识符URL中的一种或多种。

在一种可能的实现方式中，所述判断模块还用于：

将识别出的人物的面部表情输入预先训练的危险行为动作识别模型，利用所述训练的危险行为动作识别模型预测人物的面部表情对应的危险行为动作，得到预测结果；

根据所述预测结果判断人物是否具有危险行为动作。

借由上述技术方案，本申请实施例提供的基于安防视频监控的增强识别方法和装置，通过边缘计算增强识别安防视频监控中人物的面部表情，根据识别出的人物的面部表情判断人物是否具有危险行为动作，若判断出人物具有危险行为动作，则生成表示人物即将做出的危险动作的提示信息。可以看到，本申请实施例通过边缘计算提高分辨准确度，可以确认人物即将做出的危险行为或者动作，可以准确识别人物是否具有威胁性，加强对人物的安全性监控。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1示出了根据本申请实施例的基于安防视频监控的增强识别方法的流程图；

图2示出了根据本申请另一实施例的基于安防视频监控的增强识别方法的流程图；

图3示出了根据本申请实施例的基于安防视频监控的增强识别装置的结构图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。

本申请实施例提供了一种基于安防视频监控的增强识别方法，可以应用在安防视频监控设备。如图1所示，该基于安防视频监控的增强识别方法可以包括以下步骤S101至S103：

步骤S101，通过边缘计算增强识别安防视频监控中人物的面部表情；

步骤S102，根据识别出的人物的面部表情判断人物是否具有危险行为动作；

步骤S103，若判断出人物具有危险行为动作，则生成表示人物即将做出的危险动作的提示信息。

该步骤中，若判断出人物不具有危险行为动作，则不生成表示人物即将做出的危险动作的提示信息。

本申请实施例通过边缘计算增强识别安防视频监控中人物的面部表情，根据识别出的人物的面部表情判断人物是否具有危险行为动作，若判断出人物具有危险行为动作，则生成表示人物即将做出的危险动作的提示信息。可以看到，本申请实施例通过边缘计算提高分辨准确度，可以确认人物即将做出的危险行为或者动作，可以准确识别人物是否具有威胁性，加强对人物的安全性监控。

本申请实施例中提供了一种可能的实现方式，上文步骤S101通过边缘计算增强识别安防视频监控中人物的面部表情，具体可以包括以下步骤a1至a3：

步骤a1，获取安防视频监控采集的视频数据；

步骤a2，将安防视频监控采集的视频数据实时发送给边缘计算节点；

步骤a3，接收边缘计算节点返回的通过边缘计算增强识别安防视频监控采集的视频数据中人物的面部表情。

本申请实施例中通过边缘计算提高分辨准确度，并提高识别的效率。

在步骤a3中，边缘计算节点解码视频数据，将视频数据中的每帧转化成对应的帧图像；对于每个帧图像，按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像，其中n为大于1的正整数；对n个矩形图像进行处理，将n个矩形图像转化成指定边长的n个正方形图像，并按照预设排列顺序将n个正方形图像组成一个整体正方形图像；随后将整体正方形图像输入预先训练的危险行为动作识别模型，利用训练的危险行为动作识别模型对整体正方形图像对应的危险动作进行预测，得到预测结果；之后根据预测结果判断人物是否具有危险行为动作。

本申请实施例中提供了一种可能的实现方式，上文步骤a2中将安防视频监控采集的视频数据实时发送给边缘计算节点，具体可以包括以下步骤a2-1至a2-3：

步骤a2-1，获取待绑定的边缘计算节点的特征标识；

步骤a2-2，根据获取的特征标识与待绑定的边缘计算节点进行绑定；

步骤a2-3，将安防视频监控采集的视频数据实时发送给绑定的边缘计算节点。

本申请实施例可以找到合适的边缘计算节点进行绑定，提高后续的危险行为动作的识别效率。

上面步骤a2-1中提及的边缘计算节点的特征标识可以包括边缘计算节点的ID(Identity Document，身份标识号)、二维码、条码、URL(Uniform Resource Locator，统一资源标识符)中的一种或多种。

本申请实施例中提供了一种可能的实现方式，上文步骤S102根据识别出的人物的面部表情判断人物是否具有危险行为动作，具体可以包括以下步骤b1至b2：

步骤b1，将识别出的人物的面部表情输入预先训练的危险行为动作识别模型，利用训练的危险行为动作识别模型预测人物的面部表情对应的危险行为动作，得到预测结果；

步骤b2，根据预测结果判断人物是否具有危险行为动作。

本申请实施例可以通过深度学习的方法预测人物的面部表情对应的危险行为动作，可以准确、高效地根据预测结果判断人物是否具有危险行为动作。

本申请实施例中提供了一种可能的实现方式，上文步骤S103生成表示人物即将做出的危险动作的提示信息之后，还可以向预设的终端设备发送表示人物即将做出的危险动作的提示信息。

本申请实施例可以及时向预设的终端设备发送表示人物即将做出的危险动作的提示信息，加强对人物的安全性监控。

本申请实施例中提供了一种可能的实现方式，若判断出人物具有危险行为动作，获取具有危险行为动作的人物个数以及每个具有危险行为动作人物的监控图像定位坐标，根据每个具有危险行为动作人物的监控图像定位坐标判断所述具有危险行为动作人物是否发生聚集行为，然后根据具有危险行为动作人物的个数以及聚集行为自动判断安防人员需要增派的人数，并且根据具有危险行为动作人物的监控图像定位坐标对增派的安防人员进行合理分布，其具体步骤包括，

步骤A1：利用公式(1)根据每个具有危险行为动作人物的实时监控图像定位坐标判断所述具有危险行为动作人物是否发生聚集行为

其中R表示当前实时监控图像内危险行为动作人物的聚集认定半径；n表示当前实时监控图像内具有危险行为动作人物的个数；[a(i)，b(i)]表示当前实时监控图像内第i个具有危险行为动作人物的定位坐标；

以当前实时监控图像内的

步骤A2：利用公式(2)根据具有危险行为动作人物的个数以及聚集行为自动判断安防人员需要增派的人数

其中m表示所述安防人员需要增派的人数；并将所述m的数值发送给边缘计算节点；

步骤A3：利用公式(3)根据具有危险行为动作人物的监控图像定位坐标对增派的安防人员进行合理分布

需要在四个位置点部署增派的安防人员，所述四个位置点分别为

将上述部署情况发送给边缘计算节点。

在上面的实施例中，可以利用步骤A1中的公式(1)根据每个具有危险行为动作人物的实时监控图像定位坐标判断所述具有危险行为动作人物是否发生聚集行为，进而增强对具有危险行为动作人物的具体合理自动分析，从而制定有效的安防部署方案，然后再利用步骤A2中的公式(2)根据具有危险行为动作人物的个数以及聚集行为自动判断安防人员需要增派的人数，从而根据具有危险行为动作人物的聚集情况进行人数的合理自动部署，确保安防人员既不会人员过多，又能保证安防的安全，最后利用步骤A3中的公式(3)根据具有危险行为动作人物的监控图像定位坐标对增派的安防人员进行合理分布，从而合理部署安防人员的站位，可以最大化的确保安防人员对具有危险行为动作人物进行合理控制和制伏。

以上介绍了图1所示实施例的各个环节的多种实现方式，下面将通过具体实施例来详细介绍基于安防视频监控的增强识别方法的实现过程。

本申请另一实施例提供了一种基于安防视频监控的增强识别方法，如图2所示，该基于安防视频监控的增强识别方法可以包括以下步骤S201至S206：

步骤S201，获取安防视频监控采集的视频数据；

步骤S202，将安防视频监控采集的视频数据实时发送给边缘计算节点；

可以理解的是，可以获取待绑定的边缘计算节点的特征标识，根据获取的特征标识与待绑定的边缘计算节点进行绑定，随后将安防视频监控采集的视频数据实时发送给绑定的边缘计算节点。这里的边缘计算节点的特征标识可以包括边缘计算节点的ID、二维码、条码、URL中的一种或多种。

步骤S203，接收边缘计算节点返回的通过边缘计算增强识别安防视频监控采集的视频数据中人物的面部表情；

步骤S204，根据识别出的人物的面部表情判断人物是否具有危险行为动作；

可以理解的是，可以将识别出的人物的面部表情输入预先训练的危险行为动作识别模型，利用训练的危险行为动作识别模型预测人物的面部表情对应的危险行为动作，得到预测结果；根据预测结果判断人物是否具有危险行为动作。

步骤S205，若判断出人物具有危险行为动作，则生成表示人物即将做出的危险动作的提示信息。

步骤S206，向预设的终端设备发送表示人物即将做出的危险动作的提示信息。

本申请实施例通过边缘计算节点提高分辨准确度，可以确认人物即将做出的危险行为或者动作，可以准确识别人物是否具有威胁性，及时向预设的终端设备发送表示人物即将做出的危险动作的提示信息，加强对人物的安全性监控。

需要说明的是，实际应用中，上述所有可能的实施方式可以采用结合的方式任意组合，形成本申请的可能的实施例，在此不再一一赘述。

基于上文各个实施例提供的基于安防视频监控的增强识别方法，基于同一发明构思，本申请实施例还提供了一种基于安防视频监控的增强识别装置。

图3示出了根据本申请实施例的基于安防视频监控的增强识别装置的结构图。如图3所示，该基于安防视频监控的增强识别装置可以包括识别模块310、判断模块320以及生成模块330。

识别模块310，用于通过边缘计算增强识别安防视频监控中人物的面部表情；

判断模块320，用于根据识别出的人物的面部表情判断人物是否具有危险行为动作；

生成模块330，用于若判断出人物具有危险行为动作，则生成表示人物即将做出的危险动作的提示信息。

本申请实施例中提供了一种可能的实现方式，上文图3展示的识别模块310还用于：

获取安防视频监控采集的视频数据；

将安防视频监控采集的视频数据实时发送给边缘计算节点；

接收边缘计算节点返回的通过边缘计算增强识别安防视频监控采集的视频数据中人物的面部表情。

本申请实施例中提供了一种可能的实现方式，上文图3展示的识别模块310还用于：

获取待绑定的边缘计算节点的特征标识；

根据获取的特征标识与待绑定的边缘计算节点进行绑定；

将安防视频监控采集的视频数据实时发送给绑定的边缘计算节点。

本申请实施例中提供了一种可能的实现方式，边缘计算节点的特征标识包括边缘计算节点的ID、二维码、条码、统一资源标识符URL中的一种或多种。

本申请实施例中提供了一种可能的实现方式，上文图3展示的判断模块320还用于：

将识别出的人物的面部表情输入预先训练的危险行为动作识别模型，利用训练的危险行为动作识别模型预测人物的面部表情对应的危险行为动作，得到预测结果；

根据预测结果判断人物是否具有危险行为动作。

本申请实施例中提供了一种可能的实现方式，上文图3展示的生成模块330还用于：

在生成表示人物即将做出的危险动作的提示信息之后，向预设的终端设备发送表示人物即将做出的危险动作的提示信息。

本申请实施例中提供了一种可能的实现方式，上文图3展示的生成模块330还用于：

若判断出人物具有危险行为动作，获取具有危险行为动作的人物个数以及每个具有危险行为动作人物的监控图像定位坐标，根据每个具有危险行为动作人物的监控图像定位坐标判断所述具有危险行为动作人物是否发生聚集行为，然后根据具有危险行为动作人物的个数以及聚集行为自动判断安防人员需要增派的人数，并且根据具有危险行为动作人物的监控图像定位坐标对增派的安防人员进行合理分布，其具体步骤包括，

步骤A1：利用公式(1)根据每个具有危险行为动作人物的实时监控图像定位坐标判断所述具有危险行为动作人物是否发生聚集行为

其中R表示当前实时监控图像内危险行为动作人物的聚集认定半径；n表示当前实时监控图像内具有危险行为动作人物的个数；[a(i)，b(i)]表示当前实时监控图像内第i个具有危险行为动作人物的定位坐标；

以当前实时监控图像内的

步骤A2：利用公式(2)根据具有危险行为动作人物的个数以及聚集行为自动判断安防人员需要增派的人数

其中m表示所述安防人员需要增派的人数；并将所述m的数值发送给边缘计算节点；

步骤A3：利用公式(3)根据具有危险行为动作人物的监控图像定位坐标对增派的安防人员进行合理分布

需要在四个位置点部署增派的安防人员，所述四个位置点分别为

将上述部署情况发送给边缘计算节点。

本申请实施例通过边缘计算增强识别安防视频监控中人物的面部表情，根据识别出的人物的面部表情判断人物是否具有危险行为动作，若判断出人物具有危险行为动作，则生成表示人物即将做出的危险动作的提示信息。可以看到，本申请实施例通过边缘计算提高分辨准确度，可以确认人物即将做出的危险行为或者动作，可以准确识别人物是否具有威胁性，加强对人物的安全性监控。

并且，可以利用步骤A1中的公式(1)根据每个具有危险行为动作人物的实时监控图像定位坐标判断所述具有危险行为动作人物是否发生聚集行为，进而增强对具有危险行为动作人物的具体合理自动分析，从而制定有效的安防部署方案，然后再利用步骤A2中的公式(2)根据具有危险行为动作人物的个数以及聚集行为自动判断安防人员需要增派的人数，从而根据具有危险行为动作人物的聚集情况进行人数的合理自动部署，确保安防人员既不会人员过多，又能保证安防的安全，最后利用步骤A3中的公式(3)根据具有危险行为动作人物的监控图像定位坐标对增派的安防人员进行合理分布，从而合理部署安防人员的站位，可以最大化的确保安防人员对具有危险行为动作人物进行合理控制和制伏。

所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。

本领域普通技术人员可以理解：本申请的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干程序指令，用以使得一电子设备(例如个人计算机，服务器，或者网络设备等)在运行所述程序指令时执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的电子设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被电子设备的处理器执行时，所述电子设备执行本申请各实施例所述方法的全部或部分步骤。

以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：在本申请的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本申请的保护范围。