电力生产作业中基于AI分析的故障智能预警系统及方法

技术领域

本发明涉及电力安全生产风险管控技术领域，尤其涉及一种电力生产作业中基于AI分析的故障智能预警系统及方法。

背景技术

据调查统计96％的安全事故由人为因素造成，在日常电力生产作业中，如常见的动火作业、升压站、变配电房以及开关分合闸等巡检或开票作业时，安全监督仅依赖于电力生产安全管理制度来进行安全管理，利用公司现有的技术条件结合新技术、新装备，解决安全生产过程中的难点、痛点，实现安全促生产的需求日益迫切。

目前电力安全生产普遍存在着以下三个问题：

1、传统安全监管难度大。现场生产作业点多且分散、人工监管有漏洞、作业时间不连续、时间不确定等特点，安全监管难以做到事前提醒、作业实时监督。

2、针对部分作业区域，监控系统不能实时监控现场作业。电厂传统视频安全监控系统是通过安装固定位置的摄像机来监控现场的，同时由于资金、设备、场地变迁等历史原因，并没有在所有区域安装摄像机，也没有实现全方位无死角的监控，这样，当发生临时和特殊高危作业时，就不能临时快速地部署安全监控装置，来实时监控人员的作业安全违规行为，因而不能满足临时作业对安全监控装置的便捷性、移动性的要求。

3、系统预警能力差，不能实现事前预警。改造前的通用智能设备，存在视频监控预警与系统、现场生产联系不紧密，系统对故障的诊断和分析是事后的，主要通过人工来分析判断，易造成问题发现不及时，也没有引入AI智能识别技术来实现故障诊断的智能分析和事前预警，而需通过录像回放检查，导致信息提取效率低的问题。

因此，亟需一种电力生产作业中基于AI分析的故障智能预警系统及方法，用于解决上述问题。

发明内容

针对现有技术的不足，本发明提供一种电力生产作业中基于AI分析的故障智能预警系统及方法，用于解决上述问题。

一种电力生产作业中基于AI分析的故障智能预警系统，包括：移动终端模块，用于获取环境视频数据；目标检测提取模块，用于根据预先训练好的目标检测算法模型对环境视频数据进行目标提取，得到作业人员的行为数据；AI指标分析模块，用于根据特征分析模型对行为数据进行识别，得到关键特征，并根据预设AI指标对关键特征进行故障检测，输出检测结果；预警模块，用于当检测结果为存在故障时发出预警信息。

作为本发明的一种实施例，目标检测提取模块执行包括如下操作：获取环境视频数据，对环境视频数据进行抓图处理，得到视频图片；根据预先训练好的目标检测算法模型对视频图片进行目标提取，得到图片检测结果；根据抓图处理的时间顺序，重新对图片检测结果进行排序组合，得到作业人员的行为数据。

作为本发明的一种实施例，目标检测算法模型的训练过程包括如下步骤：步骤1、获取若干不同环境下的标注训练数据集；步骤2、基于标注训练数据集中的每一标注图片，设置对应阈值和模型类别；步骤3、分别对每一标注图片进行图片特征提取，基于YOLO相关算法对图片特征进行切片预测，得到若干候选框；步骤4、根据标注图片对应的阈值对若干相应候选框进行过滤，得到预测框；步骤5、根据预测框对标注图片对应类别的模型进行训练，生成目标检测算法模型。

作为本发明的一种实施例，AI指标分析模块执行包括如下操作：对行为数据进行图像预处理，得到真实图像；基于特征分析模型对真实图像进行图像特征点识别，得到关键特征；根据关键特征对真实图像进行图像匹配分类，得到图像分类结果；根据预设AI指标对相应图像分类结果中真实图像的关键特征进行故障检测，输出检测结果。

作为本发明的一种实施例，AI指标分析模块还用于执行包括如下操作：获取移动终端模块的状态数据；基于预设第二AI指标对相应移动终端模块的状态数据进行故障检测，输出第二检测结果；其中，状态数据包括设备状态数据和设备定位数据。

作为本发明的一种实施例，预警模块执行包括如下操作：获取检测结果，若检测结果为存在故障，发送预警信息至移动终端模块用于发出语音提醒；同时，发送预警信息至后台管理模块用于预警与记录。

作为本发明的一种实施例，一种基于条款数字化的合同生成方法还包括：合同条款库生成后，基于段落理解式NLP技术对每一最小管理单元进行条款分析，生成分析结果；根据分析结果对最小管理单元进行归类存储；同时根据分析结果对相似度大于预设第二阈值的两两最小管理单元进行条款合并，生成新的最小管理单元进行归类存储。

作为本发明的一种实施例，一种电力生产作业中基于AI分析的故障智能预警系统还包括后台管理模块，其中，后台管理模块执行包括如下操作：获取环境视频数据和行为数据用于历史回放；自动抓取行为数据中存在故障行为的真实图像和对应时间数据进行记录。

作为本发明的一种实施例，电力生产作业中基于AI分析的故障智能预警系统，还包括：

可固定终端，用于作业人员到达作业区域后固定在可拍摄作业区域的固定位置后对作业人员的正面进行拍摄；

所述后台管理模块还执行如下操作：

当通过可固定终端接收到作业人员的作业申请时，通过可固定终端的定位模块确定作业人员的位置；

基于作业人员的位置，调取周界设备分布图；

基于所述周界设备分布图，生成作业信息输入界面；

通过可固定终端的触摸屏输出所述作业信息输入界面；

接收作业人员通过作业信息输入界面输入的作业信息；

解析所述作业信息，确定作业目标以及作业类型；

基于所述作业目标、作业区域和作业类型，从周界设备分布图中预设的可固定点位中确定固定位置；

将所述固定位置通过可固定终端的触摸屏输出。

作为本发明的一种实施例，在可固定终端固定完成后的作业人员作业时，所述后台管理模块还执行如下操作：

通过移动终端模块获取作业目标的第一图像；

通过可固定终端获取第二图像；

基于所述第一图像，确定作业目标是否存在触电风险；

当存在时，解析所述第二图像，确定是否拍摄到作业人员的手部；当未拍摄到时，解析所述第一图像，确定是否拍摄到作业人员的手部；当也为未拍摄到时，开始计时，当计时达到预设的时间值时，通过作业目标对应的控制模块对作业目标进行断电处理；

当通过解析第二图像拍摄到作业人员的手部时，确定作业人员是否穿戴防护用品；当未穿戴时，通过移动终端模块输出第一提示信息。

一种电力生产作业中基于AI分析的故障智能预警方法，包括：

获取环境视频数据；根据预先训练好的目标检测算法模型对环境视频数据进行目标提取，得到作业人员的行为数据；根据特征分析模型对行为数据进行识别，得到关键特征，并根据预设AI指标对关键特征进行故障检测，输出检测结果；当检测结果为存在故障时发出预警信息。

本发明的有益效果为：

本发明提供一种电力生产作业中基于AI分析的故障智能预警系统及方法，通过AI智能识别技术及移动智能终端设备的快速灵活部署，不仅实现了实时监控人员的作业安全违规行为，满足全生产范围对作业的便捷性、移动性的要求；而且还能根据AI指标进行故障的远程诊断和事前预警，及早及时发现问题，避免引起重大伤亡或停产事故，造成重大经济损失。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种电力生产作业中基于AI分析的故障智能预警系统及方法的系统模块示意图；

图2为本发明实施例中一种电力生产作业中基于AI分析的故障智能预警系统及方法中目标检测算法模型的训练过程流程图；

图3为本发明实施例中一种电力生产作业中基于AI分析的故障智能预警系统及方法中的方法流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

请参阅图1，本发明实施例提供了一种电力生产作业中基于AI分析的故障智能预警系统，包括：移动终端模块1，用于获取环境视频数据；目标检测提取模块2，用于根据预先训练好的目标检测算法模型对环境视频数据进行目标提取，得到作业人员的行为数据；AI指标分析模块3，用于根据特征分析模型对行为数据进行识别，得到关键特征，并根据预设AI指标对关键特征进行故障检测，输出检测结果；预警模块4，用于当检测结果为存在故障时发出预警信息；

上述技术方案的工作原理为：本系统包括移动终端模块1、目标检测提取模块2、AI指标分析模块3和预警模块4，其中，移动终端模块1优选包括携带有监控功能的智能安全帽、智能执法仪以及智能手电筒等设备，用于获取周围环境视频数据，值得说明的是，结合固定机位的监控设备和移动终端模块1对周围环境视频数据进行联合获取时，效率更高，且获取视频的内容更全面；目标检测提取模块2用于根据预先训练好的目标检测算法模型对环境视频进行目标提取，得到作业人员的行为数据，其中，目标提取的对象为携带移动终端模块的作业人员和相关生产设备，即对视频数据中的人物进行提取，也可采用电力生产作业设备为提取目标，仅需在训练目标检测算法模型时添加相关的训练数据即可，作业人员的行为数据包括所有与作业人员相关的行为操作，例如移动时被拍摄到的手部图片、脚部图片，或者当存在两人及以上作业人员处于同一区域时，移动终端模块1拍摄到的其他作业人员影像等；AI指标分析模块3用于根据特征分析模型对行为数据进行识别，得到关键特征，并根据预设AI指标对关键特征进行故障检测，输出检测结果，其中，由于行为数据以图片形式展示，所以特征分析模型用于对图片特征进行分析提取相应关键特征，例如在图片中出现的手部图片、脚部图片或者其他作业人员图片中对作业人员进行着装规范、生产行为、安全帽佩戴等相应关键特征进行提取，最后根据预设AI指标对关键特征进行故障检测，输出检测结果，例如，根据大量数据集训练得到的预设AI指标在对着装规范关键特征进行检测时，通过局部或完整图片判断该部分的着装是否规范，从而对整体着装是否规范进行评价，该故障场景包括着装不规范，生产行为、安全帽佩戴行为、烟火检测等多种目标检测现场场景；预警模块4，用于当检测结果为存在故障时发出预警信息对现场作业人员和后台作业人员进行预警；

上述技术方案的有益效果为：通过AI智能识别技术及移动智能终端设备的快速灵活部署，不仅实现了实时监控人员的作业安全违规行为，满足全生产范围对作业的便捷性、移动性的要求；而且还能根据AI指标进行故障的远程诊断和事前预警，及早及时发现问题，避免引起重大伤亡或停产事故，造成重大经济损失。

在一个实施例中，目标检测提取模块执行包括如下操作：获取环境视频数据，对环境视频数据进行抓图处理，得到视频图片；根据预先训练好的目标检测算法模型对视频图片进行目标提取，得到图片检测结果；根据抓图处理的时间顺序，重新对图片检测结果进行排序组合，得到作业人员的行为数据；

更进一步的，提取结果可视化展现，可视化结果分别在Web和App上呈现，经过深度学习网络后得到识别结果，所有的数据信息及识别结果叠加后进行可视化呈现，实现对生产作业的实时监控。

请参阅图2，在一个实施例中，目标检测算法模型的训练过程包括如下步骤：步骤1、获取若干不同环境下的标注训练数据集；步骤2、基于标注训练数据集中的每一标注图片，设置对应阈值和模型类别；步骤3、分别对每一标注图片进行图片特征提取，基于YOLO相关算法对图片特征进行切片预测，得到若干候选框；步骤4、根据标注图片对应的阈值对若干相应候选框进行过滤，得到预测框；步骤5、根据预测框对标注图片对应类别的模型进行训练，生成目标检测算法模型；

上述技术方案的工作原理和有益效果为：步骤1、获取若干不同环境下的标注训练数据集，在实际训练时，为提升目标算法的准确度，收集项目现场定制化场景的1000张图片并进行标注，将标注的文件保存在服务器文件夹中；步骤2、基于标注训练数据集中的每一标注图片，设置对应阈值和模型类别，基于标注的文件，设置算法相关权重系数和目标检测图片的输出；通过调整相关参数，提高算法计算结果的准确度，其中需调整的参数包括：根据不同场景下的不同类别修改模型类别个数，并在测试时设置阈值，将得分较低的候选框过滤掉，避免误报；步骤3、分别对每一标注图片进行图片特征提取，基于YOLO相关算法对图片特征进行切片预测，得到若干候选框，在实际训练项目中我们对烟火检测、着装规范检测、安全帽检测等目标检测场景中，使用了YOLO模型进行训练，使用YOLO相关算法对图片进行切片预测，得到若干候选框；步骤4、根据标注图片对应的阈值对若干相应候选框进行过滤，得到预测框，最后基于阈值以及NMS(非极大值抑制)手动过滤得到最后的预测框；步骤5、根据预测框对标注图片对应类别的模型进行训练，生成目标检测算法模型，即对选定的模型进行训练，使其具有较好的检测能力。

在一个实施例中，AI指标分析模块执行包括如下操作：对行为数据进行图像预处理，得到真实图像；基于特征分析模型对真实图像进行图像特征点识别，得到关键特征；根据关键特征对真实图像进行图像匹配分类，得到图像分类结果；根据预设AI指标对相应图像分类结果中真实图像的关键特征进行故障检测，输出检测结果；

上述技术方案的工作原理为：对行为数据进行图像预处理，得到真实图像，图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性；借助图像的预处理可以协助智能识别系统快速、精准地捕捉到图像的特点，有助于后续操作的开展，切实降低复杂的程度，大大地减少了识别的时间；然后基于特征分析模型对真实图像进行图像特征点识别，得到关键特征；并根据关键特征对真实图像进行图像匹配分类，得到图像分类结果，在实际应用中，可以根据关键特征调取数据库中同样图片的信息进行特征分析，确定其分类，例如，生产现场在利用智能化图像识别技术输变电线路的巡检时，必须按照图片的特点，调取数据库中与其相对应的问题处理信息，以供技术人员分析研究，实现图片处理的高效率和高匹配率。

在一个实施例中，AI指标分析模块还用于执行包括如下操作：获取移动终端模块的状态数据；基于预设第二AI指标对相应移动终端模块的状态数据进行故障检测，输出第二检测结果；其中，状态数据包括设备状态数据和设备定位数据；

上述技术方案的工作原理和有益效果为：获取移动终端模块的状态数据；基于预设第二AI指标对相应移动终端模块的状态数据进行故障检测，输出第二检测结果；其中，状态数据包括设备状态数据和设备定位数据；通过设备状态数据提高作业人员在进行例如输电线路巡查时的故障排查准确率，同时通过设备定位数据防止作业人员在排查时误入其他危险区域，提高作业人员的安全。

在一个实施例中，预警模块执行包括如下操作：获取检测结果，若检测结果为存在故障，发送预警信息至移动终端模块用于发出语音提醒；同时，发送预警信息至后台管理模块用于预警与记录；

上述技术方案的工作原理和有益效果为：获取检测结果，若检测结果为存在故障，发送预警信息至移动终端模块用于发出语音提醒；值得说明的是，预警模块同时获取第二检测结果，当第二检测结果为存在故障时，同样发送第二预警信息至移动终端模块用于发出语音提醒；同时，发送相关预警信息至后台管理模块用于预警与记录，便于及早及时发现问题。

在一个实施例中，一种电力生产作业中基于AI分析的故障智能预警系统还包括后台管理模块，其中，后台管理模块执行包括如下操作：获取环境视频数据和行为数据用于历史回放；自动抓取行为数据中存在故障行为的真实图像和对应时间数据进行记录；

上述技术方案的工作原理和有益效果为：后台管理模块包括推送报警子模块、自动抓拍子模块和历史回放子模块，历史回放子模块获取环境视频数据和行为数据用于历史回放，自动抓拍子模块用于自动抓取行为数据中存在故障行为的真实图像和对应时间数据进行记录，便于事后复查和重点提示；推送报警子模块用于将自动抓拍子模块抓拍到的内容推送至指定设备，便于及时处理。

在一个实施例中，电力生产作业中基于AI分析的故障智能预警系统，还包括：

可固定终端，用于作业人员到达作业区域后固定在可拍摄作业区域的固定位置后对作业人员的正面进行拍摄；

所述后台管理模块还执行如下操作：

当通过可固定终端接收到作业人员的作业申请时，通过可固定终端的定位模块确定作业人员的位置；

基于作业人员的位置，调取周界设备分布图；

基于所述周界设备分布图，生成作业信息输入界面；

通过可固定终端的触摸屏输出所述作业信息输入界面；

接收作业人员通过作业信息输入界面输入的作业信息；

解析所述作业信息，确定作业目标以及作业类型；

基于所述作业目标、作业区域和作业类型，从周界设备分布图中预设的可固定点位中确定固定位置；可固定终端包括：多个固定座以及主体，主体与固定座可拆卸连接；固定座实现固定分布在生产作业区域内各个预设点位以形成周界设备分布图中的各个可固定点位；

将所述固定位置通过可固定终端的触摸屏输出。

在可固定终端固定完成后的作业人员作业时，所述后台管理模块还执行如下操作：

通过移动终端模块获取作业目标的第一图像；

通过可固定终端获取第二图像；

基于所述第一图像，确定作业目标是否存在触电风险；

当存在时，解析所述第二图像，确定是否拍摄到作业人员的手部；当未拍摄到时，解析所述第一图像，确定是否拍摄到作业人员的手部；当也为未拍摄到时，开始计时，当计时达到预设的时间值时，通过作业目标对应的控制模块对作业目标进行断电处理；

当通过解析第二图像拍摄到作业人员的手部时，确定作业人员是否穿戴防护用品；当未穿戴时，通过移动终端模块输出第一提示信息。

上述技术方案的工作原理及有益效果为：

通过可固定终端与移动终端模块的配合实现对作业人员的作业进行监测，提供作业人员在作业时安全预警，保障作业人员的安全。为了实现可固定终端能够有效采集作业区域以及作业人员正面的图像，在开始作业前，作业人员打开可固定终端，可固定终端与后台管理模块建立通讯连接，然后作业人员点击可固定终端的触摸屏的作业申请虚拟按键，可固定终端向后台管理模块发送作业申请，后台管理模块根据可固定终端的定位调取周界设备分布图，用户在周界设备分布图上点选作业目标，在弹出的下拉菜单中选择作业类型；当选择作业类型后，在周界设备分布图上会显示作业区域范围，作业人员可以拖动作业区域范围的边界调整作业区域范围；当调整完成后，后台管理模块从作业区域范围外周的可固定点位中选取固定位置，具体为：构建二维虚拟空间，将预设在作业区域范围外周的可固定点位映射至二维虚拟空间；作业目标、作业区域和作业类型，确定作业人员的位置以及面向向量；基于可固定点位与作业人员的位置，确定拍摄向量；计算面向向量与拍摄向量的夹角θ，计算公式如下：

请参阅图3，一种电力生产作业中基于AI分析的故障智能预警方法，包括：

S101、获取环境视频数据；S102、根据预先训练好的目标检测算法模型对环境视频数据进行目标提取，得到作业人员的行为数据；S103、根据特征分析模型对行为数据进行识别，得到关键特征，并根据预设AI指标对关键特征进行故障检测，输出检测结果；S104、当检测结果为存在故障时发出预警信息。

该一种电力生产作业中基于AI分析的故障智能预警方法中各个步骤的工作原理和有益效果可参照上述关于一种电力生产作业中基于AI分析的故障智能预警系统中对应工作模块提及的工作原理和有益效果，这里就不再做重复的累述了。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。