基于数据深度融合的电网作业安全感知方法及装置

技术领域

本发明涉及电力作业安全管控技术领域，具体涉及一种基于数据深度融合的电网作业安全感知方法及装置。

背景技术

电网建设、城乡配网升级改造、水电施工等任务繁重，建设高峰期各类工地超过3000个，现场作业人数超过60万，高风险作业多，安全生产组织管理面临严峻考验；生产检修作业数量居高不下，倒闸操作频繁，小型、分散及临时作业管控穿透力、执行力不强，现场安全管控难度大。移动作业终端系统数据没有与电力业务其他系统数据(如PMS系统、GIS系统等)进行交互，仅作为实时预览、录像回放来使用，与企业内部其他系统间服务及数据不能共享，形成业务孤岛与数据孤岛，难以适应复杂多变的安全监管需求。

发明内容

针对上述现有技术存在的问题，本发明提供了一种基于数据深度融合的电网作业安全感知方法及装置，充分挖掘利用作业现场移动作业终端采集数据和电网全业务数据中心数据进行作业安全感知。该技术方案如下：

第一方面，提供了一种基于数据深度融合的电网作业安全感知方法，包括：

获取作业现场移动作业终端实时采集的数据，记为第一作业数据；

基于第一作业数据中的第一数据，在全业务数据中心的数据进行匹配，获取第一作业数据的第一补充数据，所述全业务数据中心包括基于OMS、PMS、营销系统数据融合的数据；

基于第一作业数据和第一补充数据输入预设的电网作业安全感知模型，获取电网作业安全感知结果，所述电网作业安全感知模型基于不同感知目的在第一作业数据中选择不同数据结合在全业务数据中心选择不同数据作为输入数据，并经过深度神经网络模型深度挖掘多种输入数据的深层特征，获取多种输入数据和电网作业安全与否之间的关联关系。

可选的，在一些实施方式中，所述作业现场移动作业终端包括作业现场音视频采集设备、定位设备、高度传感设备。

可选的，在一些实施方式中，所述第一补充数据表征与第一作业数据关联的数据，包括但不限于第一作业数据为设备ID二维码图像时，第一补充数据为所述ID二维码图像对应的设备在全业务数据中心存储的基础信息、缺陷隐患维修记录；第一作业设备是人脸图像时，第一补充数据为所述人脸图像对应的人脸在全业务数据中心存储的人员基础信息、人员安全资信；第一作业数据为移动作业终端标识信息时，第一补充数据为所述移动作业终端对应的在全业务数据中心存储的所述移动作业终端所属区域对应的工作票数据。

可选的，在一些实施方式中，所述基于第一作业数据和第一补充数据输入预设的电网作业安全感知模型，获取电网作业安全感知结果，包括：

基于第一作业数据和第一补充数据中的多模态数据，分别对同一模态数据进行预处理、特征挖掘和感知决策，基于不同模态数据的感知决策进行决策融合，获取电网作业安全感知结果。

可选的，在一些实施方式中，所述基于不同模态数据的感知决策进行决策融合，获取电网作业安全感知结果，包括：

基于不同感知决策的置信度参数，对不同感知决策进行加权融合，获取电网作业安全感知结果；所述不同感知决策的置信度参数的获取方法，包括：

基于历史数据获取每一模态数据的多个样本及每个样本对应的作业安全标注数据；

基于针对所述模态数据的所述预处理、特征挖掘和感知决策过程获取样本数据对应的感知结果，获取感知准确性矩阵，所述感知准确性矩阵包括：样本的感知结果为安全时样本对应的作业安全标注数据为安全和不安全的概率、样本的感知结果为不安全时样本对应的作业安全标注数据为安全和不安全的概率；

基于所述感知准确性矩阵作为针对所述模态数据的置信度参数。

可选的，在一些实施方式中，所述基于第一作业数据和第一补充数据输入预设的电网作业安全感知模型，获取电网作业安全感知结果，包括：

获取所述作业对应的作业任务、安全措施和安全注意事项数据，根据所述安全措施和安全注意事项数据获取作业安全规则文本数据；

基于第一作业数据中的视频图像，基于作业安全规则文本数据的关键词在视频图像中搜索作业安全规则对应的目标区域；

基于作业安全规则文本数据确定预设的电网作业安全感知模型，针对视频图像中的目标区域通过所述预设的电网作业安全感知模型，确定所述视频图像是否符合所述作业安全规则。

可选的，在一些实施方式中，所述作业安全规则文本数据的关键词基于分词处理之后获得，所述基于作业安全规则文本数据的关键词在视频图像中搜索作业安全规则对应的目标区域，包括：

基于所述关键词，在预设图像集中获取关联图像；

基于所述关联图像在所述视频图像中搜索作业安全规则对应的目标的区域图像，所述搜索过程基于滑动窗口方法获取所述视频图像中与所述关联图像相似度达到预设条件的窗口图像作为候选区域图像；

基于候选区域图像通过图像标签生成模型获取所述候选区域图像对应的图像标签；

基于候选区域图像对应的图像标签与所述作业安全规则文本数据的语义相似性，确定候选区域图像中的与作业安全规则对应的目标区域。

第二方面，提供了一种基于数据深度融合的电网作业安全感知装置，包括：

作业数据获取单元，用于获取作业现场移动作业终端实时采集的数据，记为第一作业数据；

补充数据获取单元，用于基于第一作业数据中的第一数据，在全业务数据中心的数据进行匹配，获取第一作业数据的第一补充数据，所述全业务数据中心包括基于OMS、PMS、营销系统数据融合的数据；

电网作业安全感知单元，用于基于第一作业数据和第一补充数据输入预设的电网作业安全感知模型，获取电网作业安全感知结果，所述电网作业安全感知模型基于不同感知目的在第一作业数据中选择不同数据结合在全业务数据中心选择不同数据作为输入数据，并经过深度神经网络模型深度挖掘多种输入数据的深层特征，获取多种输入数据和电网作业安全与否之间的关联关系。

第三方面，提供了一种电网作业安全感知设备，所述设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如如上述第一方面所述的的电网作业安全感知方法。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现如上述第一方面所述的电网作业安全感知方法的步骤。

本发明的一种基于数据深度融合的电网作业安全感知方法及装置，具备如下有益效果：基于作业现场的实时采集数据和全业务数据中心的OMS、PMS、营销系统数据进行融合，应用于电网作业安全感知，避免了作业现场移动作业终端采集数据和电网全业务数据中心数据的信息隔离、数据不能共享的问题，充分挖掘利用作业现场移动作业终端采集数据和电网全业务数据中心数据进行作业安全感知，提高面对电网复杂多变的安全监管要求的监管效率。

附图说明

图1是本申请实施例中基于数据深度融合的电网作业安全感知方法的流程示意图；

图2是本申请实施例中不同模态数据的感知决策进行决策融合方法的流程示意图；

图3是本申请实施例中第一作业数据和第一补充数据结合获取电网作业安全感知结果的流程示意图；

图4是本申请实施例中基于数据深度融合的电网作业安全感知装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本申请实施例提供的一种基于数据深度融合的电网作业安全感知方法，包括如下步骤：

步骤1，获取作业现场移动作业终端实时采集的数据，记为第一作业数据；

步骤2，基于第一作业数据中的第一数据，在全业务数据中心的数据进行匹配，获取第一作业数据的第一补充数据，所述全业务数据中心包括基于OMS、PMS、营销系统数据融合的数据；

步骤3，基于第一作业数据和第一补充数据输入预设的电网作业安全感知模型，获取电网作业安全感知结果，所述电网作业安全感知模型基于不同感知目的在第一作业数据中选择不同数据结合在全业务数据中心选择不同数据作为输入数据，并经过深度神经网络模型深度挖掘多种输入数据的深层特征，获取多种输入数据和电网作业安全与否之间的关联关系。

本申请实施例中，基于作业现场的实时采集数据和全业务数据中心的OMS、PMS、营销系统数据进行融合，应用于电网作业安全感知，避免了作业现场移动作业终端采集数据和电网全业务数据中心数据的信息隔离、数据不能共享的问题，充分挖掘利用作业现场移动作业终端采集数据和电网全业务数据中心数据进行作业安全感知，提高面对电网复杂多变的安全监管要求的监管效率。

可以理解，“基于不同感知目的”可以基于不同作业安全规则确定，比如包括登高作业人员是否具有对应的作业资质、是否佩戴安全带，是否正确佩戴安全带、上下传递材料时是否应用绳索沿杆进行，可以理解，针对不同感知目的，需要采用的依据数据即输入数据也是不同的，优选的，其中采用的具体的电网作业安全感知模型也是不同的。

在一些实施方式中，上述步骤1中的作业现场移动作业终端包括作业现场音视频采集设备、定位设备、高度传感设备。具体来说，可以是电子围栏、智能安全帽、监控摄像头、设备ID二维码扫描设备、智能移动作业终端等等。

在一些实施方式中，上述步骤2中的第一补充数据表征与第一作业数据关联的数据，例如可以是：第一作业数据为设备ID二维码图像时，第一补充数据为所述ID二维码图像对应的设备在全业务数据中心存储的基础信息、缺陷隐患维修记录；第一作业设备是人脸图像时，第一补充数据为所述人脸图像对应的人脸在全业务数据中心存储的人员基础信息、人员安全资信；第一作业数据为移动作业终端标识信息时，第一补充数据为所述移动作业终端对应的在全业务数据中心存储的所述移动作业终端所属区域对应的工作票数据。

在一些实施方式中，上述步骤3中，基于第一作业数据和第一补充数据输入预设的电网作业安全感知模型，获取电网作业安全感知结果，包括：

步骤31，基于第一作业数据和第一补充数据中的多模态数据，分别对同一模态数据进行预处理、特征挖掘和感知决策，基于不同模态数据的感知决策进行决策融合，获取电网作业安全感知结果。

对于该步骤31，具体来说，包括：

基于工作票数据、作业计划等前期作业准备材料，获取所述作业对应的作业任务、安全措施和安全注意事项数据，根据所述安全措施和安全注意事项数据分类为第一作业安全规则和第二作业安全规则，所述第一作业安全规则表征基于输入数据直接进行逻辑判断获得分析结果的规则；例如，在针对变电站间隔的断路器更换的时候，吊车吊臂与作业人员距离要超过预设安全距离，该规则即为第一作业安全规则，在实际进行电网作业安全感知时候，只需以吊车吊臂与作业人员定位信息为输入，直接进行距离信息比较即可获取该项电网作业安全感知结果；

针对第二作业安全规则的作业安全感知方法，包括：

基于第一作业数据和第一补充数据中的多模态数据，分别对同一模态数据进行预处理、特征挖掘和感知决策，基于不同模态数据的感知决策进行决策融合，获取电网作业安全感知结果；

或者，基于同一模态数据进行预处理、特征挖掘和感知决策，获取电网作业安全感知结果。

可以理解，该第二作业安全规则表征需要对输入数据进行深层特征挖掘，并基于深层特征判断电网作业安全与否。

其中，基于不同模态数据的感知决策进行决策融合，包括：

A)在不同模态数据的感知决策表征同一类决策问题的决策结果时，基于多种决策结果进行融合，获取最终的感知结果，在一种实施方式中，此种情况适用于单一作业安全规则的作业安全感知方法，进一步来说，适用于上述针对第二作业安全规则的作业安全感知方法；

B)在不同模态数据的感知决策表征针对同一作业场景的多个不同决策问题的决策结果时，基于多种决策结果按照第二作业安全规则的逻辑进行组合，根据组合结果确定最终的感知结果，在一种实施方式中，此种情况适用于一作业场景的作业安全感知方法，可以理解，在一种作业场景下的作业安全感知方法中，上述基于不同模态数据的感知决策进行决策融合，包括：基于不同模态数据分别依据多个第一作业规则、多个第二作业规则进行作业安全感知，获取多个感知决策，基于多种决策结果按照第二作业安全规则的逻辑进行组合，根据组合结果确定最终的感知结果。例如，在针对变电站间隔的断路器更换的时候，进行接地线挂接合规性检查，可以基于智能接地线的挂接状态和挂接相数(采集的传感数据)，判定是否虚挂和漏挂(第一作业安全规则)，同时基于采集的接地线挂接位置图像，进行采集图像预处理、图像特征挖掘和图像中接地线挂接位置识别，获取接地线是否正确挂接感知结果(第二作业安全规则)，基于上述虚挂和漏挂感知结果和接地线挂接位置感知结果进行逻辑组合，确定最终的接地线挂接合规性检查结果。

本申请实施例提供了一种针对上述A)的决策融合方法，具体来说：参见图2，上述基于不同模态数据的感知决策进行决策融合，获取电网作业安全感知结果，包括：

步骤311，基于不同感知决策的置信度参数，对不同感知决策进行加权融合，获取电网作业安全感知结果；所述不同感知决策的置信度参数的获取方法，包括：

步骤3111，基于历史数据获取每一模态数据的多个样本及每个样本对应的作业安全标注数据；

步骤3112，基于针对所述模态数据的所述预处理、特征挖掘和感知决策过程获取样本数据对应的感知结果，获取感知准确性矩阵，所述感知准确性矩阵包括：样本的感知结果为安全时样本对应的作业安全标注数据为安全和不安全的概率、样本的感知结果为不安全时样本对应的作业安全标注数据为安全和不安全的概率，即每个感知准确性矩阵为2*2的矩阵；

步骤3113，基于所述感知准确性矩阵作为针对所述模态数据的置信度参数。

具体来说，感知决策矩阵为

在一种实施方式中，参见图3，上述步骤3，基于第一作业数据和第一补充数据输入预设的电网作业安全感知模型，获取电网作业安全感知结果，包括：

步骤41，获取所述作业对应的作业任务、安全措施和安全注意事项数据，根据所述安全措施和安全注意事项数据获取作业安全规则文本数据；

步骤42，针对第一作业数据中的视频图像，基于作业安全规则文本数据的关键词在视频图像中搜索作业安全规则对应的目标区域；

步骤43，基于作业安全规则文本数据确定预设的电网作业安全感知模型，针对视频图像中的目标区域通过所述预设的电网作业安全感知模型，确定所述视频图像是否符合所述作业安全规则。

具体来说，上述步骤42中，作业安全规则文本数据的关键词基于分词处理之后获得，所述基于作业安全规则文本数据的关键词在视频图像中搜索作业安全规则对应的目标区域，包括：

步骤421，基于所述关键词，在预设图像集中获取关联图像；

步骤422，基于所述关联图像在所述视频图像中搜索作业安全规则对应的目标的区域图像，所述搜索过程基于滑动窗口方法获取所述视频图像中与所述关联图像相似度达到预设条件的窗口图像作为候选区域图像；

步骤423，针对候选区域图像通过图像标签生成模型获取所述候选区域图像对应的图像标签；

步骤424，基于候选区域图像对应的图像标签与所述作业安全规则文本数据的语义相似性，确定候选区域图像中的与作业安全规则对应的目标区域。

本申请实施例中，考虑到电网作业场景中，可能一个作业场景中需要进行多个作业安全规则的分析判断，例如针对变电站间隔的断路器更换，需要在作业过程中检查是否有人员在吊车下方停留，吊车作业指挥人员是否在场指挥，在这种情况下，对于视频图像，需要分别获取图像中的吊车图像区域、作业人员图像区域，针对作业人员图像，需要识别作业人员位置及人员是否身着红、黄马甲，对此，为了实现对图像中不同实体的不同作业安全规则的精细分析判断，本申请中，先在视频图像中搜索到需要进行检测分析的关键区域，例如，先在视频图像中搜索到吊车区域图像和作业人员区域图像，进一步，通过图像标签生成模型获取区域图像对应的标签，基于图像标签生成模型生成的标签获得了该区域图像更符合作业安全规则分析目的的文字描述。

进一步，上述步骤423中的图像标签生成模型，包括编码器和解码器模块，所述编码器模块采用并行的Faster-RCNN网络和transformer网络进行图像特征提取，解码器采用长短时记忆神经网络进行文字解码，所述transformer网络基于文本数据引导图像特征提取。编码器模块采用并行的Faster-RCNN网络和transformer网络进行图像特征提取，两个特征提取网络提取特征进行连接，增强了图像视觉特征的多样性，同时基于transformer网络利用融合了多模态信息进行图像特征的提取，提高图像特征表征能力。

参见图4，本申请实施例提供的一种基于数据深度融合的电网作业安全感知装置，包括：

作业数据获取单元，用于获取作业现场移动作业终端实时采集的数据，记为第一作业数据；

补充数据获取单元，用于基于第一作业数据中的第一数据，在全业务数据中心的数据进行匹配，获取第一作业数据的第一补充数据，所述全业务数据中心包括基于OMS、PMS、营销系统数据融合的数据；

电网作业安全感知单元，用于基于第一作业数据和第一补充数据输入预设的电网作业安全感知模型，获取电网作业安全感知结果，所述电网作业安全感知模型基于不同感知目的在第一作业数据中选择不同数据结合在全业务数据中心选择不同数据作为输入数据，并经过深度神经网络模型深度挖掘多种输入数据的深层特征，获取多种输入数据和电网作业安全与否之间的关联关系。

关于基于数据深度融合的电网作业安全感知装置的具体限定可以参见上文中对于基于数据深度融合的电网作业安全感知方法的限定，在此不再赘述。上述电网作业安全感知装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。

本申请实施例提供了一种电网作业安全感知设备，该电网作业安全感知设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现上述的电网作业安全感知方法。该电网作业安全感知设备可以包括一个或者一个以上处理核心的处理器、一个或一个以上计算机可读存储介质的存储器、电源和输入单元等部件。处理器是该设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行电网作业安全感知设备的各种功能和处理数据。

本申请实施例提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现上述的电网作业安全感知方法的步骤。该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。