一种基于分布式人工智能视频分析的设备联动方法

技术领域

本发明属于物联网技术领域，具体涉及一种基于分布式人工智能视频分析的设备联动方法。

背景技术

现有的视频安防系统主要包括：安防主机、本地监视设备、网络视频服务器、视频采集卡、网络摄像机、通过互联网与网络服务器相连的监控终端，其中视频采集卡、网络摄像机、网络视频服务器间电性连接，视频资源存放于网络视频服务器中，用户监控终端通过互联网访问网络视频服务器资源。

同时，中国专利CN112183222A公开了一种基于分布式人工智能视频分析的设备联动系统及方法，设备联动系统包括视频解析系统、任务收发中间件、人工智能服务系统和设备联动规则引擎系统，所述任务收发中间件分别与所述视频解析系统、人工智能服务系统和设备联动规则引擎系统通信连接；但是现有系统任务收发中间件不能对分布式安防终端上传的视频数据进行预分析，从而使得人工智能服务系统处理数据任务重，降低了系统的处理能力，基于此，我们提出了一种基于分布式人工智能视频分析的设备联动方法。

发明内容

本发明的目的在于针对现有技术的不足之处，提供一种基于分布式人工智能视频分析的设备联动方法，解决了现有系统任务收发中间件不能对分布式安防终端上传的视频数据进行预分析，从而使得人工智能服务系统处理数据任务重，降低了系统处理能力的问题。

本发明是这样实现的，一种基于分布式人工智能视频分析的设备联动方法，所述基于分布式人工智能视频分析的设备联动方法，具体包括：

获取监控区域内各个视频监控点视频数据，将所述监控点视频数据分发至多个信令服务网关，其中，所述视频监控点视频数据包括监控区域内危险动作信息、危险动作信息采集时间、地理位置；

信令服务网关解析所述监控点视频数据，对监控点视频数据进行预处理，筛除无效干扰监控点视频数据；

提取监控点视频数据中特征信息，基于预设的联动预警模型解析特征信息，获取解析结果，对视频监控点进行联动预警。

优选地，所述基于分布式人工智能视频分析的设备联动方法，具体还包括：

基于所述预设的联动预警模型解析的解析结果，生成危险动作模拟轨迹，发送所述模拟轨迹至用户端。

优选地，所述获取监控区域内各个视频监控点视频数据，将所述监控点视频数据分发至多个信令服务网关的方法，具体包括：

获取视频监控点标识信息，向视频监控点发送激活指令；

视频监控点响应激活指令，视频监控点对应的子服务器执行视频数据采集指令；

获取视频数据采集指令，子服务器与视频监控点分布的网络摄像终端交互式关联，实时获取网络摄像终端采集的动态视频。

优选地，所述执行获取视频监控点标识信息，向视频监控点发送激活指令之前，还包括：

获取历史监控点视频数据，对历史监控点视频数据进行预处理，使得历史监控点视频数据可以用于训练关联反应模型；

将历史监控点视频数据制作为可训练的历史数据集，并随机将历史数据集分为训练集、测试集及验证集；

提取所述训练集、测试集及验证集，基于随机森林回归分析模型，构建训练关联反应模型。

优选地，所述构建训练关联反应模型的方法，具体包括：

解析所述训练集、测试集及验证集，基于随机森林方法构建初始随机森林拓扑结构；

提取训练集，通过所述训练集训练所述初始随机森林拓扑结构，基于预设的迭代次数进行多次验证，调整所述初始随机森林拓扑结构的结构参数，通过测试集测试输入所述初始随机森林拓扑结构，得到初始关联反应模型。

优选地，所述构建训练关联反应模型的方法，具体还包括：

提取训练集，通过所述训练集训练所述初始关联反应模型，基于预设的迭代次数进行多次验证，再次调整所述初始关联反应模型的结构参数，得到关联反应模型；

将测试集输入所述调整优化后的关联反应模型，通过验证集验证集验证所述关联反应模型，判断关联反应模型的准确率是否达到预期值，若达到预期值，则确定关联反应模型，若未达到预期值，再次随机随机将历史数据集分为训练集、测试集及验证集，执行所述构建训练关联反应模型的步骤。

优选地，所述对监控点视频数据进行预处理，筛除无效干扰监控点视频数据的方法，具体包括：

提取监控点视频数据；

对监控点视频数据进行滤波处理；

获取滤波处理后的监控点视频数据，对滤波处理后的监控点视频数据进行重采样作业，筛除无效的监控点视频数据。

优选地，所述对滤波处理后的监控点视频数据进行重采样作业的方法，具体包括：

获取滤波处理后的监控点视频数据；

对监控点视频数据进行码流解析，得到多组监控点对应的视频帧序列；

提取所述视频帧序列，通过视频解码器对视频帧序列进行解码，得到解码后的视频帧集；

调取关联反应模型，将视频帧集输入所述关联反应模型内，判断监控点内所有视频帧集是否存在异常信息，若是，保留含有异常信息的视频帧集，优先上传所述监控点视频数据，若否，将视频帧集上传至本地服务器。

优选地，所述基于预设的联动预警模型解析特征信息的方法，具体包括：

提取监控点视频数据，对监控点视频数据进行转码，得到包含异常信息的特征信息；

调取预设的联动预警模型，基于联动预警模型判断所述特征信息是否超过预置的第一预警阈值，若是，则解析所述特征信息对应的异常行为轨迹，上传异常行为轨迹，生成异常行为轨迹报告。

优选地，所述基于预设的联动预警模型解析特征信息的方法，具体还包括：

解析异常行为轨迹报告，基于联动预警模型判断所述异常行为轨迹报告是否超过预置的第二预警阈值，若是，则模拟异常行为轨迹，得到异常行为模拟轨迹，上传异常行为轨迹以及异常行为模拟轨迹至本地服务器。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请通过解析监控点视频数据，对监控点视频数据进行预处理，筛除无效干扰监控点视频数据，从而能够关联多组网络摄像终端，实现网络摄像终端的信息的交互，还能对海量的视频数据进行预处理，从而减轻了系统的负载，提高了异常响应速度。

附图说明

图1是本发明提供的一种基于分布式人工智能视频分析的设备联动方法的结构示意图。

图2示出了获取监控区域内各个视频监控点视频数据，将所述监控点视频数据分发至多个信令服务网关方法的实现流程示意图。

图3示出了执行获取视频监控点标识信息，向视频监控点发送激活指令之前步骤的实现流程示意图。

图4示出了构建训练关联反应模型方法的实现流程示意图。

图5示出了对监控点视频数据进行预处理，筛除无效干扰监控点视频数据方法的实现流程示意图。

图6示出了对滤波处理后的监控点视频数据进行重采样作业方法的实现流程示意图。

图7示出了基于预设的联动预警模型解析特征信息方法的实现流程示意图。

图8示出了所述基于分布式人工智能视频分析的设备联动系统的框架示意图。

图9示出了视频数据获取模块的框架示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

现有系统任务收发中间件不能对分布式安防终端上传的视频数据进行预分析，从而使得人工智能服务系统处理数据任务重，降低了系统的处理能力，基于此，我们提出了一种基于分布式人工智能视频分析的设备联动方法，方法包括：获取监控区域内各个视频监控点视频数据，将所述监控点视频数据分发至多个信令服务网关；信令服务网关解析所述监控点视频数据，对监控点视频数据进行预处理；提取监控点视频数据中特征信息，基于预设的联动预警模型解析特征信息，获取解析结果，对视频监控点进行联动预警。本申请通过解析监控点视频数据，对监控点视频数据进行预处理，筛除无效干扰监控点视频数据，从而能够关联多组网络摄像终端，实现网络摄像终端的信息的交互，还能对海量的视频数据进行预处理，从而减轻了系统的负载，提高了异常响应速度。

本发明实施例提供了一种基于分布式人工智能视频分析的设备联动方法，如图1所示，示出了所述基于分布式人工智能视频分析的设备联动方法的实现流程示意图，所述基于分布式人工智能视频分析的设备联动方法，具体包括：

步骤S10，获取监控区域内各个视频监控点视频数据，将所述监控点视频数据分发至多个信令服务网关，其中，所述视频监控点视频数据包括监控区域内危险动作信息、危险动作信息采集时间、地理位置；

步骤S20，信令服务网关解析所述监控点视频数据，对监控点视频数据进行预处理，筛除无效干扰监控点视频数据；

步骤S30，提取监控点视频数据中特征信息，基于预设的联动预警模型解析特征信息，获取解析结果，对视频监控点进行联动预警。

步骤S40，基于所述预设的联动预警模型解析的解析结果，生成危险动作模拟轨迹，发送所述模拟轨迹至用户端。

在本实施例中，需要说明的是，用户端可以为具有通讯功能的移动终端、平板电脑、网页浏览器、工业计算机，用户端基于5G或GPRS通讯协议获取模拟轨迹。

示例性的，所述视频监控点的地理位置可以通过北斗定位系统、GPS定位系统或蓝牙定位系统获取，视频监控点的布置方式可以采用人工布置的方式布置，而每组所述的视频监控点对应多组分监控点，视频监控点以一拖n的方式连接有多组分监控点。

同时，在本申请中，每组所述的监控点对应有子服务器，子服务器存储计算机程序和/或模块，上述子服务器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在子服务器内的数据，实现上述用户端的各种功能。子服务器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。

本申请通过解析监控点视频数据，对监控点视频数据进行预处理，筛除无效干扰监控点视频数据，从而能够关联多组网络摄像终端，实现网络摄像终端的信息的交互，还能对海量的视频数据进行预处理，从而减轻了系统的负载，提高了异常响应速度。

本发明实施例提供了获取监控区域内各个视频监控点视频数据，将所述监控点视频数据分发至多个信令服务网关的方法，如图2所示，示出了获取监控区域内各个视频监控点视频数据，将所述监控点视频数据分发至多个信令服务网关方法的实现流程示意图，获取监控区域内各个视频监控点视频数据，将所述监控点视频数据分发至多个信令服务网关的方法，具体包括：

步骤S101，获取视频监控点标识信息，向视频监控点发送激活指令；

所述视频监控点标识信息包括视频监控点对应子服务器以及网络摄像终端的IP地址以及产品序列号。

步骤S102，视频监控点响应激活指令，视频监控点对应的子服务器执行视频数据采集指令；

步骤S103，获取视频数据采集指令，子服务器与视频监控点分布的网络摄像终端交互式关联，实时获取网络摄像终端采集的动态视频。

在本实施例中，网络摄像终端可以为红外摄像头、360全景夜视探头，且网络摄像终端还可以支持多种动作识别，如面部识别，动作识别，网络摄像终端执行ONVIF标准协议，有效分辨率可以达到1920(H)1080(V)，且网络摄像终端支持联动报警、报警后抓图、移动侦测以及灵敏度设置等功能。

如图3所示，示出了执行获取视频监控点标识信息，向视频监控点发送激活指令之前步骤的实现流程示意图，所述执行获取视频监控点标识信息，向视频监控点发送激活指令之前的步骤，具体包括：

步骤S201，获取历史监控点视频数据，对历史监控点视频数据进行预处理，使得历史监控点视频数据可以用于训练关联反应模型；

步骤S202，将历史监控点视频数据制作为可训练的历史数据集，并随机将历史数据集分为训练集、测试集及验证集；

步骤S203，提取所述训练集、测试集及验证集，基于随机森林回归分析模型，构建训练关联反应模型。

在本实施例中，历史监控点视频数据为固定周期时间内监控点视频数据，示例性的，固定周期可以为5S、10S、30S、60S，通过历史监控点视频数据来构建并训练关联反应模型能够实现多设备智能预判和分析，从而提高预判和分析的准确率。

本发明实施例提供了构建训练关联反应模型的方法，如图4所示，示出了构建训练关联反应模型方法的实现流程示意图，所述构建训练关联反应模型的方法，具体包括：

步骤S2031，解析所述训练集、测试集及验证集，基于随机森林方法构建初始随机森林拓扑结构；

步骤S2032，提取训练集，通过所述训练集训练所述初始随机森林拓扑结构，基于预设的迭代次数进行多次验证，调整所述初始随机森林拓扑结构的结构参数，通过测试集测试输入所述初始随机森林拓扑结构，得到初始关联反应模型。

步骤S2033，提取训练集，通过所述训练集训练所述初始关联反应模型，基于预设的迭代次数进行多次验证，再次调整所述初始关联反应模型的结构参数，得到关联反应模型；

步骤S2034，将测试集输入所述调整优化后的关联反应模型，通过验证集验证集验证所述关联反应模型；

步骤S2035，判断关联反应模型的准确率是否达到预期值，若达到预期值，则确定关联反应模型，若未达到预期值，再次随机随机将历史数据集分为训练集、测试集及验证集，执行所述构建训练关联反应模型的步骤。

示例性的，为了保证关联反应模型的资源样本的数量，基于历史数据集获取训练集、测试集及验证集时按照30％、30％、40的资源样本划分为训练集、测试集及验证集。

本发明实施例提供了对监控点视频数据进行预处理，筛除无效干扰监控点视频数据的方法，如图5所示，示出了对监控点视频数据进行预处理，筛除无效干扰监控点视频数据方法的实现流程示意图，所述对监控点视频数据进行预处理，筛除无效干扰监控点视频数据的方法，具体包括：

步骤S301，提取监控点视频数据；

步骤S302，对监控点视频数据进行滤波处理；

步骤S303，获取滤波处理后的监控点视频数据，对滤波处理后的监控点视频数据进行重采样作业，筛除无效的监控点视频数据。

在本实施例中，对监控点视频数据进行滤波处理的方式可以为均值滤波或中值滤波处理，同时，滤波后的监控点视频数据还需要进行PCA数据姜维处理。

本发明实施例提供了对滤波处理后的监控点视频数据进行重采样作业的方法，如图6所示，示出了对滤波处理后的监控点视频数据进行重采样作业方法的实现流程示意图，所述对滤波处理后的监控点视频数据进行重采样作业的方法，具体包括：

步骤S3031，获取滤波处理后的监控点视频数据；

步骤S3032，对监控点视频数据进行码流解析，得到多组监控点对应的视频帧序列；

步骤S3033，提取所述视频帧序列，通过视频解码器对视频帧序列进行解码，得到解码后的视频帧集；

步骤S3034，调取关联反应模型，将视频帧集输入所述关联反应模型内；

步骤S3035，判断监控点内所有视频帧集是否存在异常信息，

步骤S3036，若是，保留含有异常信息的视频帧集，优先上传所述监控点视频数据，

步骤S3037，若否，将视频帧集上传至本地服务器。

在本实施例中，需要说明的是，视频帧序列是由一幅一幅独立的画面组成的看似连线的图像，其中每一幅画面叫做一个视频帧。为了保证连续性和流畅性，视频每秒的帧数是固定的，称为帧率，例如：10帧/S、40帧/S、50帧/S等。

同时，上述视频解码器可以为软件解码器或硬件解码器。其中，硬件解码器是由图形处理器(graphicsprocessingunit，GPU)来进行解码；软件解码器是由中央处理器(centralprocessingunit，CPU)来进行解码。

本发明实施例提供了基于预设的联动预警模型解析特征信息的方法，如图7所示，示出了基于预设的联动预警模型解析特征信息方法的实现流程示意图，所述基于预设的联动预警模型解析特征信息的方法，具体包括：

步骤S401，提取监控点视频数据，对监控点视频数据进行转码，得到包含异常信息的特征信息；

步骤S402，调取预设的联动预警模型；

步骤S403，基于联动预警模型判断所述特征信息是否超过预置的第一预警阈值；

步骤S404，若是，则解析所述特征信息对应的异常行为轨迹，上传异常行为轨迹，生成异常行为轨迹报告。

步骤S405，解析异常行为轨迹报告；

步骤S406，基于联动预警模型判断所述异常行为轨迹报告是否超过预置的第二预警阈值；

步骤S407，若是，则模拟异常行为轨迹，得到异常行为模拟轨迹，上传异常行为轨迹以及异常行为模拟轨迹至本地服务器。

在本实施例中，预设的联动预警模型为收敛的神经网络模型，联动预警模型是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂神经网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。简单地讲，它是一个数学模型。在本申请实施例中，将所述监控点视频数据输入联动预警模型进行不断训练，用标识的数据匹配度信息对所述联动预警模型进行训练，如果所述输出信息与数据匹配度信息要求相一致，则本数据监督学习完成，则进行下一组数据监督学习。

本发明实施例提供了一种基于分布式人工智能视频分析的设备联动系统，如图8所示，示出了所述基于分布式人工智能视频分析的设备联动系统的框架示意图，所述基于分布式人工智能视频分析的设备联动系统，具体包括：

视频数据获取模块100，用于获取监控区域内各个视频监控点视频数据，将所述监控点视频数据分发至多个信令服务网关，其中，所述视频监控点视频数据包括监控区域内危险动作信息、危险动作信息采集时间、地理位置；

数据预处理模块200，通过信令服务网关解析所述监控点视频数据，对监控点视频数据进行预处理，筛除无效干扰监控点视频数据；

解析结果获取模块300，用于提取监控点视频数据中特征信息，基于预设的联动预警模型解析特征信息，获取解析结果，对视频监控点进行联动预警。

模拟轨迹生成模块400，基于所述预设的联动预警模型解析的解析结果，生成危险动作模拟轨迹，发送所述模拟轨迹至用户端。

在本实施例中，所述视频数据获取模块100、数据预处理模块200、解析结果获取模块300以及模拟轨迹生成模块400之间采用DTU或5G通讯连接的方式交互式传输数据，同时，本申请通过解析监控点视频数据，对监控点视频数据进行预处理，筛除无效干扰监控点视频数据，从而能够关联多组网络摄像终端，实现网络摄像终端的信息的交互，还能对海量的视频数据进行预处理，从而减轻了系统的负载，提高了异常响应速度。

本发明实施例提供了视频数据获取模块100，如图9所示，示出了视频数据获取模块100的框架示意图，所述视频数据获取模块100，具体包括：

激活指令发送单元110，用于获取视频监控点标识信息，向视频监控点发送激活指令；

采集执行单元120，视频监控点响应激活指令，视频监控点对应的子服务器执行视频数据采集指令；

动态视频获取单元130，获取视频数据采集指令，子服务器与视频监控点分布的网络摄像终端交互式关联，实时获取网络摄像终端采集的动态视频。

在本实施例中，网络摄像终端可以为红外摄像头、360全景夜视探头，且网络摄像终端还可以支持多种动作识别，如面部识别，动作识别，网络摄像终端执行ONVIF标准协议，有效分辨率可以达到1920(H)1080(V)，且网络摄像终端支持联动报警、报警后抓图、移动侦测以及灵敏度设置等功能。

本发明实施例还提供了一种计算机设备，该计算机设备包括显示屏、存储器、处理器以及计算机程序，其中所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于分布式人工智能视频分析的设备联动方法的步骤。

可以理解的是，在本发明提供的优选实施例中，该计算机设备还可以为笔记本电脑、个人数字助理(PersonalDigitalAssistant，PDA)、手机等可以进行通信的设备。

本发明实施还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于分布式人工智能视频分析的设备联动方法的步骤。

示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。例如，上述计算机程序可以被分割成上述各个系统实施例提供的基于分布式人工智能视频分析的设备联动系统的单元或模块。

本领域技术人员可以理解，上述终端设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。

同时，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。

综上所述，本发明提供了一种基于分布式人工智能视频分析的设备联动方法，本申请通过解析监控点视频数据，对监控点视频数据进行预处理，筛除无效干扰监控点视频数据，从而能够关联多组网络摄像终端，实现网络摄像终端的信息的交互，还能对海量的视频数据进行预处理，从而减轻了系统的负载，提高了异常响应速度。

需要说明的是，对于前述的各实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可能采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，涉及的动作和模块并不一定是本发明所必须的。

以上实施例仅用以说明本发明的技术方案，而非对发明的保护范围进行限制。显然，所描述的实施例仅仅是本发明部分实施例，而不是全部实施例。基于这些实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明所要保护的范围。尽管参照上述实施例对本发明进行了详细的说明，本领域普通技术人员依然可以在不冲突的情况下，不作出创造性劳动对本发明各实施例中的特征根据情况相互组合、增删或作其他调整，从而得到不同的、本质未脱离本发明的构思的其他技术方案，这些技术方案也同样属于本发明所要保护的范围。