一种电力设备三维模型与实时视频无缝融合的方法

技术领域

本发明涉及一种电力设备三维模型与实时视频无缝融合的方法，以作为实现变电远程实景三维巡视的支持。

背景技术

在巡视变电站的工作中，传统的巡视需要巡视人员到变电站进行，会产生大量的人力与出车成本，费时费力。

因此需要实现变电远程实景三维巡视来解决传统巡视中的问题，使得运维人员可在远方(局方)通过实景三维场景，身临其境地感知设备的各种参数、环境，辅助研判设备状态，可以从两人一天进行一次巡视，优化到一人一天进行多次巡视，从而减少人力的同时增加巡视次数，及时发现异常，避免发生故障产生直接经济损失。在实现变电远程实景三维巡视时，需要将电力设备三维模型与实时视频无缝融合，然而现有技术中并没有一种有效地方法能够将电力设备三维模型与实时视频进行无缝融合。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种电力设备三维模型与实时视频无缝融合的方法。

本发明采用的技术方案如下：

一种电力设备三维模型与实时视频无缝融合的方法，包括如下步骤：

S1，根据变电站的电力设备三维模型适配相应的视频设备，并建立所述三维模型中电力设备与视频设备之间的关联关系；

S2，获取所述视频设备采集的实时视频；

S3，对所述实时视频进行融合预处理；

S4，基于实时视频与三维模型之间的空间位置关系、用户视角、以及渲染所需的深度信息进行视频融合，得到融合视频。

进一步，步骤S1中建立所述三维模型中电力设备与视频设备之间的关联关系包括：

S11，将电力设备三维模型根据电力设备需求的观察区域划分为若干个三维场景，并为每个三维场景中的电力设备配置一个电力设备id；

S12，为每个视频设备配置一个视频设备id；

S13，关联电力设备id和视频设备id，使得视频设备监控区域电力设备与关联电力设备相匹配，同时使视频监控区域的实时视频对应三维模型中该电力设备所对应的三维场景。

进一步，步骤S2中是通过调用视频平台对应的接口获取所述视频设备采集的实时视频数据。

进一步，可通过所述接口对视频设备进行管理，包括获取视频设备信息、获取视频设备预置位信息、修改或添加视频设备预置位、转到视频设备预置位、以及通过控制视频设备的云台转动视频设备。

进一步，步骤S3包括如下子步骤：

S31，对获取的实时视频的视频流进行编解码转换，形成标准视频流；

S32，提取实时视频的背景帧，并对背景帧中的元素进行采样；

S33，对实时视频进行几何校正，噪声消除，以及色彩、亮度的调整和配准，完成融合预处理。

进一步，步骤S4包括如下子步骤：

S41，基于实时视频与三维模型之间的空间位置关系，通过视频映射算法进行投影计算；

S42，基于用户视角的改变，通过AI算法实现实时视频的动态渲染；

S43，基于渲染所需的深度信息，剔除实时视频中的背景色差影响，得到融合视频。

进一步，所述电力设备三维模型与实时视频无缝融合的方法，还包括：

S5，将所述融合视频以及电力设备的参数信息在三维模型中进行沉浸式展示。

进一步，当电力设备新增告警信息时，根据电力设备与视频设备的关联关系，推送关联的视频设备的融合视频。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明基于空间位置信息建立电力设备与视频设备的关联关系，并基于空间位置信息、用户视角、以及渲染所需的深度信息实现了电力设备三维模型与实时视频无缝融合，在实景三维场景中直观呈现站内摄像设备的分布位置和实时监控画面，能够用于变电站电力设备巡检，提高巡检效率。

2、本发明能够在电力设备新增告警时推送融合视频，及时发现异常，避免发生故障产生直接经济损失。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明一实施例的电力设备三维模型与实时视频无缝融合的方法的流程框图。

图2为本发明一实施例的建立所述三维模型中电力设备与视频设备之间的关联关系的流程框图。

图3为本发明一实施例的对所述实时视频进行融合预处理的流程框图。

图4为本发明一实施例的基于实时视频与三维模型之间的空间位置关系、用户视角、以及渲染所需的深度信息进行视频融合的流程框图。

图5为本发明另一实施例的电力设备三维模型与实时视频无缝融合的方法的流程框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明主要基于变电站的电力设备三维模型，结合变电站中布点的视频设备，采集实时视频与电力设备三维模型进行无缝融合，达到实时的可视化监控。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

如图1所示，一种电力设备三维模型与实时视频无缝融合的方法，其特征在于，包括如下步骤：

S1，根据变电站的电力设备三维模型适配相应的视频设备，并建立所述三维模型中电力设备与视频设备之间的关联关系。

如图2所示，建立所述三维模型中电力设备与视频设备之间的关联关系包括：

S11，将电力设备三维模型根据电力设备需求的观察区域划分为若干个三维场景，并为每个三维场景中的电力设备配置一个电力设备id；

S12，为每个视频设备配置一个视频设备id；

S13，关联电力设备id和视频设备id，使得视频设备监控区域电力设备与关联电力设备相匹配，同时使视频监控区域的实时视频对应三维模型中该电力设备所对应的三维场景。

通过上述过程，在三维模型的同一三维场景中关联了电力设备和视频设备，即利用空间位置信息将电力设备与视频设备关联，能够通过关联关系调取电力设备的实时视频，实现实时的可视化监控。

同时，工作人员通过在操作系统进行数据配置等相关操作可以对关联关系进行增、删、改、查的管理，如表1所示。

表1，对电力设备与视频设备关联关系进行管理的功能点：

S2，获取所述视频设备采集的实时视频。

视频平台的接口包括视频数据传输接口、视频设备管理接口、视屏设备预置位接口和视频设备控制接口；

该步骤S2中是通过调用视频平台视频数据传输接口获取所述视频设备采集的实时视频，所述视频传输接口从前端获取工作人员输入的电力设备信息，接收获取该电力设备ID对应的所述视频设备ID所属视频设备监控的实时视频数据，所述电力设备与系统服务器之间数据流传输接口采用ONVIF协议，之后将获取的所述实时视频数据传入视频融合处理装置，将实时的视频流转码为html5能直接播放的格式。

同时，通过还可通过所述视频设备管理接口对视频设备进行管理，包括获取视频设备信息、获取视频设备预置位信息、修改或添加视频设备预置位、转到视频设备预置位、以及通过控制视频设备的云台转动视频设备；

所述视频设备信息的获取，首先对现场变电站以及对应的三维模型中变电站配置一个变电站ID，并将该变电站ID与其所有所述视频设备的ID进行关联，之后工作人员通过调用设备管理接口输入的变电站ID，通过与该变电站ID关联的视频设备ID，获取该变电站其下关联的所有视频设备的设备信息，并将结果反馈。

视频设备预置位信息的查询、修改、添加或删除，打包在所述视频设备预置位接口中，所述视频设备具有多个预置位，每个预置位具有各自的预置位索引号，所述索引号与对应的视频设备进行关联，通过输入视频设备ID获取该视频设备关联的预置位索引信息，将索引信息输入到前端平台，调用所述设备管理接口，进行查询、修改、添加或者删除。

视频设备的转动控制，通过前端输入视频设备ID和转动方向指令，调用所述设备管理接口，控制该视频设备的转动。

具体方式如表2所示。

表2，通过A接口对视频设备进行管理的功能点：

S3，对所述实时视频进行融合预处理。

如图3所示，该步骤S3包括如下步骤：

S31，对获取的实时视频的视频流进行编解码转换，形成标准视频流，本实施例中采用视频监控平台-GB28181-码流转换功能，支持标准PS/ES视频流流转换；

S32，提取实时视频的背景帧，并对背景帧中的元素进行采样，所述背景帧中的元素包括颜色、环境、对比度等参数；

S33，对获取的实时视频进行几何校正，噪声消除，以及色彩、亮度的调整和配准，完成融合预处理。

S4，基于实时视频与三维模型之间的空间位置关系、用户视角、以及渲染所需的深度信息进行视频融合，得到融合视频。

如图4所示，该步骤S4包括如下子步骤：

S41，基于实时视频与三维模型之间的空间位置关系，通过视频映射算法进行投影计算，一般可以采用透视投影算法或正射投影算法；

本实施例中通过透视投影算法获取实时视频与三维模型之间的空间数据关系，根据实时视频建立三维模型坐标，获取摄像点P的坐标(x，y，z)，根据三维模型的坐标比例，获取该点在近剪裁平面上的投影P’(x'，y'，z')，并对其进行缩放获得最终投影坐标P”(x”,y”,z”)，根据如下公式计算得到投影矩阵M，计算公式如下：

其中，Θ为摄像点P形成的透视锥体与三维模型坐标y轴的夹角，Aspect为投影平面的纵横比，n为摄像点p与投影P'沿z轴的距离，f为摄像点p与投影P”沿z轴的距离。

利用空间位置信息进行投影，将视频监控与设备模型关联，自动计算电力设备周围摄像设备观察视角与电力设备的角度差，调整监控视角并推送设备实时监控画面。

S42，基于用户视角的改变，通过实现实时视频的动态渲染；

获取大量观察视角的视频数据，通过调整摄像设备的角度获取不同观察视角的视频流数据，对获取的视频流数据基于帧间的颜色直方图特征进行裁剪分割，将原始视频中的一帧图像通过基于区域的卷积神经网络检测出图像中的设备和工作人员的位置，并在这些位置覆盖上其它帧的图像中相应位置没有人员的图片生成基准图像；

将视频流中每一帧图像与所述基准图像进行整体的色调、饱和度和亮度对比，根据得到的色差确定每一帧图像与原始图像整体的色彩参数；

基于区域的卷积神经网络检测同一帧下不同观察视角的图像，并记录同一帧不同视角下图像的设备、建筑和人员位置信息以及色彩信息；

基于区域的卷积神经网络将原始视频中每一帧图像中的人员和电力设备检测出来，并将这些物体对应的位置裁剪下来，将同一设备对应的每帧图像数据以视频格式存储，并记录视频的起止帧数；

之后从链表的第一个结点处取出基准图像，并获取该图像同一帧下的整体参数信息，根据同一帧下其它观察视角的亮度、色调、饱和度信息对图像进行渲染，并将裁剪下来的设备以及人员在图片中对应的位置信息覆盖到渲染好的基准图片中，将这些图片按照预设帧率进行播放，实现了视频的动态渲染。

S43，基于渲染所需的深度信息，剔除实时视频中的背景色差影响，得到融合视频。

根据实时视频获得的当前帧下的三维模型以及对应所述三维模型的颜色贴图，在所述三维模型中分别对各处摄像设备观察视角下的三维模型进行渲染得到对应各处所述摄像设备的监控深度图像，以及模型中对应位置处摄像设备模型观察视角下进行渲染后三维模型的虚拟深度图像以及彩色图像；

依据所述摄像设备的视频流数据中对应所述监控对象的像素颜色对三维模型中该摄像设备对应处视角下的监控对象进行渲染，获得对应当前帧完整渲染的三维模型，减小了实时视频中的背景色差产生的模型渲染色彩误差。

在一些实施例中，如图5所示，所述电力设备三维模型与实时视频无缝融合的方法还包括：

S5，将所述融合视频以及电力设备的参数信息在三维模型中进行沉浸式展示。例如，在电力设备三维模型里面模拟巡视人员按照指定的路线巡检电力设备，每到一个指定的巡视点，自动打开该巡视点中的电力设备关联的视频设备获取的融合视频，并显示该电力设备的参数信息。所述电力设备的参数信息，可以通过接入在线监测系统、视频智能分析系统等获得，在三维模型中实时展示电力设备关键部件的数据和状态信息，例如表计读数、刀闸的状态、设备外观、设备参数等。

另外，本实施例还提供一种主动推动功能，以及时发现异常，避免发生故障产生直接经济损失，即当电力设备新增告警信息时，根据电力设备与视频设备的关联关系，推送关联的视频设备的融合视频。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。