三维网格模型生成方法、装置、电子设备和可读存储介质

技术领域

本发明属于电力领域，具体涉及一种三维网格模型生成方法、装置、电子设备和可读存储介质。

背景技术

近年来，随着电网的飞速发展，电网规模逐步扩大以及海量电网运行数据的积累，电网系统致力于根据电力设备的三维网格模型构建电网三维场景模型，以支撑调控故障缺陷分析、仿真培训。

由于构建电力三维场景模型时需要预先构建大量电力设备的三维网格模型，导致构建电力三维场景模型耗时耗力；而现有电网存储系统中存储的电力设备的设备图像基本是二维图像，若可以利用已有的电力设备的二维图像，生成相应的三维网格模型，则可以提高构建电力三维场景模型的效率。

现有技术中已有根据设备图像生成三维网格模型的方法，例如， Pixel2Mesh技术，该技术利用Pixel2Mesh（全称Generating 3D Mesh Models from Single RGB Images）模型，根据模型内的全卷积神经网络提取输入图像的特征，根据模型内的图卷积神经网络来表示三维网格模型，对三维网格模型不断进行形变，目标是得到最终的三维网格模型，其中三维网格模型由顶点、边和面组成。虽然Pixel2Mesh模型可以用于电力设备的三维网格模型的生成，但其不足在于，Pixel2Mesh模型利用单帧图像生成三维网格模型时，因为单帧图像存在因为拍摄角度原因而导致的设备信息缺失，进而导致生成的三维网格模型的精度低。

发明内容

本发明的目的在于解决现有所存在的其中一个问题，提供一种三维网格模型生成方法、装置、电子设备和可读存储介质，提高电力设备的三维网络模型的生成精度。

本申请的第一方面，三维网格模型生成方法,包括：

S1，从服务器获取待处理电力设备的至少两个设备图像，其中，所述至少两个设备图像包括至少两个以不同拍摄方向拍摄同一待处理电力设备所得到的图像；

S2，获取每个所述设备图像对应的拍摄方向；

S3，获取预先设置的所述待处理电力设备的标准方向；

S4，根据所述标准方向以及每个所述设备图像对应的拍摄方向，确定标准图像以及辅助图像，其中，所述标准图像是与标准方向夹角最小的拍摄方向所对应的设备图像，所述辅助图像是除标准图像外的所有设备图像；

S5，生成所述标准图像对应的三维网格模型，以作为标准模型；

S6，计算所有所述设备图像对应的灰度图的灰度差均值；

S7，根据所述灰度差均值，对所述辅助图像进行中值滤波处理；

S8，生成每个中值滤波处理后的所述辅助图像所对应的三维网格模型，以作为辅助模型；

S9，根据所述辅助模型以及对应所述辅助图像的拍摄方向，优化所述标准模型，得到目标模型。

可选的，所述S3包括：

获取预先设置的关系表，其中，所述关系表包括预处理电力设备的设备ID以及该预处理电力设备的标准方向，其中，预处理电力设备的标准方向根据该预处理电力设备的控制端或显示端的朝向确定。

获取所述待处理电力设备的设备ID；

根据所述待处理电力设备的设备ID以及所述关系表，获得所述待处理电力设备的标准方向。

可选的，所述S4包括：

计算每个所述设备图像对应的拍摄方向与所述标准方向的夹角；

确定所述夹角中的最小值对应的拍摄方向的设备图像，作为标准图像；

确定所述标准图像外的所有设备图像，作为辅助图像。

可选的，所述S5包括：将标准图像输入Pixel2Mesh模型，以生成所述标准图像对应的三维网格模型；

和/或，

所述S8包括：将中值滤波处理后的所述辅助图像输入Pixel2Mesh模型，以生成中值滤波处理后的所述辅助图像对应的三维网格模型；

可选的，所述S6包括：

灰度化处理每个所述设备图像，得到待处理灰度图；

计算每个所述待处理灰度图的灰度差，其中，所述待处理灰度图的灰度差是所述待处理灰度图中所有相邻像素点的灰度值之差的绝对值之和；

根据所有所述待处理灰度图的灰度差总和以及所有所述待处理灰度图的像素点总和，确定灰度差均值。

可选的，所述S7包括：

在所述灰度差均值处于第一预设区间时，确定所述像素邻域为4邻域；

在所述灰度差均值处于第二预设区间时，确定所述像素邻域为8邻域，其中，第二预设区间的最小值大于第一预设区间的最大值;

根据所述像素邻域，对所述辅助图像进行中值滤波处理。

可选的，所述S9包括：

判断每个辅助图像对应的拍摄方向与所述标准图像对应的拍摄方向的夹角是否大于预设值；

以大于预设值的所述夹角所对应的辅助图像作为目标图像；

以目标图像对应的辅助模型的外表面与目标射线的交点作为局部模型的中心，提取所述辅助模型的局部模型，其中，所述目标射线以所述目标图像对应的所述辅助模型中的中心为起点，以对应的所述拍摄方向为方向的射线；

将所述辅助模型的局部模型，替换到所述标准模型，得到目标模型。

本申请的第二方面，三维网格模型生成装置，包括：

第一获取模块，从服务器获取待处理电力设备的至少两个设备图像，其中，所述至少两个设备图像包括至少两个以不同拍摄方向拍摄同一待处理电力设备所得到的图像；

第二获取模块，获取每个所述设备图像对应的拍摄方向；

第三获取模块，获取预先设置的所述待处理电力设备的标准方向；

图像确定模块，根据所述标准方向以及每个所述设备图像对应的拍摄方向，确定标准图像以及辅助图像，其中，所述标准图像是与标准方向夹角最小的拍摄方向所对应的设备图像，所述辅助图像是除标准图像外的所有设备图像；

标准模型生成模块，生成所述标准图像对应的三维网格模型，以作为标准模型；

灰度差均值计算模块，计算所有所述设备图像对应的灰度图的灰度差均值；

处理模块，根据所述灰度差均值，对所述辅助图像进行中值滤波处理；

辅助模型生成模块，生成每个中值滤波处理后的所述辅助图像所对应的三维网格模型，以作为辅助模型；

目标模型生成模块，根据所述辅助模型以及对应所述辅助图像的拍摄方向，优化所述标准模型，得到目标模型。

本申请的第三方面，电子设备，包括存储器和处理器，所述存储器用于存储计算机指令，所述计算机指令被所述处理器执行以实现如本申请第一方面任一项所述的方法。

本申请的第四方面，可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如本申请第一方面任一项所述的方法。

通过实施本公开的技术方案可以取得以下有益技术效果：

本申请实施例的技术方案， 基于中值滤波处理后的辅助图像所对应的三维网格模型以及对应的拍摄角度优化标准图像所对应的三维网格模型，进而得到目标模型，使得本申请的方法既具备了电力系统对三维网格模型的精度需求，又可以兼顾模型生成的速度。其中，辅助图像进行了中值滤波，而标准图像不进行中值滤波，使得根据标准图像生成的标准模型精度高，根据辅助图像生成的辅助模型更平滑，生成速度更快，而平滑的辅助模型可以更易于优化高精度的标准模型，其中，标准图像是与标准方向夹角最小的拍摄方向所对应的设备图像，而标准方向与待处理电力设备的特征位置有关，使得根据标准图像生成标准模型以及根据辅助图像生成的辅助模型优化标准模型时，模型的生成和优化具有针对性，既提高了模型的精度，又兼顾了模型生成的速度。

附图说明

图1为本申请一个实施方式中的一种三维网格模型生成方法的一种流程图；

图2为本申请一个实施方式中的一种三维网格模型生成方法的另一种流程图；

图3为本申请一个实施方式中的一种三维网格模型生成方法的另一种流程图；

图4为本申请一个实施方式中的一种三维网格模型生成方法的另一种流程图；

图5为本申请一个实施方式中的一种三维网格模型生成方法的另一种流程图；

图6为本申请一个实施方式中的一种三维网格模型生成方法的另一种流程图；

图7为本申请一个实施方式中的一种三维网格模型生成装置的一种系统框图。

具体实施方式

为了便于本邻域技术人员的理解，下面结合具体实施例对本发明作进一步的说明：

本技术领域技术人员可以理解，除非特意声明，本申请使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。此外，这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

下面对本申请实施例可能涉及的应用场景进行说明，以变电站为例，在构建某个变电站A的三维场景模型时，需先构建变电站A的整体建筑的三维网格模型，以及变电站整体建筑内的各个电力设备的三维网格模型，将各个电力设备的三维网格模型，按电力设备的实际位置和朝向布置在变电站A的整体建筑的三维网格模型内，进而得到变电站A的三维场景模型，用户可以直观查看变电站A内的各个电力设备的形状、结构和位置，当然，在实际使用过程中，变电站A的三维场景模型内包含各连接电路的模拟以及各电力设备的三维网格模型的数据关联等，以便用户根据电路模拟、数据关联了解变电站A内的设备情况。其中，本申请的三维网格模型生成方法，主要用于电力设备的三维网格模型的生成，该方法可以由计算机执行，该计算机通过网络与电力设备图像的服务器执行。

基于上述的应用场景，因为电力设备的三维网格模型在变电站A的整体建筑的三维网格模型内，其中，有些电力设备是设置在地面上，有些电力设备是凌空设置在墙壁上的，所以针对该场景，电力设备的三维网格模型的不同部分的模型精度要求有所不同，例如电力控制箱的背面是贴墙面，其不是用户关注的面，其精度要求较低，而电力控制箱的正面是控制面，是用户关注的面。针对该场景的特殊性，由于电力设备不同部位的三维模型精度要求不同，若低精度要求的部分生成高精度的模型，则容易降低模型生成的速度与效率，而本申请提供的三维网格模型生成方法可以适应电力设备的不同部位精度要求不同的实际情况，具有兼顾精度高和模型生成速度快的优点。

本申请的方法可以由计算机系统执行，计算机系统可包括处理单元，其可以根据存储在只读存储器（ROM）中的程序或者从存储部分加载到随机访问存储器（RAM）中的程序而执行上述附图所示的实施方式中的各种处理。在RAM中，还存储有系统操作所需的各种程序和数据。处理单元、ROM以及RAM通过总线彼此相连。输入/输出（I/O）接口也连接至总线。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。其中，处理单元可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

下面将结合图1所示实施例对本申请实施例提供的数据处理方法进行介绍，图1是本申请实施例提供的一种三维网格模型生成方法的流程图，该三维网格模型生成方法可以执行于计算机设备，方法可以包括：

S1，从服务器获取待处理电力设备的至少两个设备图像，其中，至少两个设备图像包括至少两个以不同拍摄方向拍摄同一待处理电力设备所得到的图像；

此处，待处理电力设备是指需要生成三维网格模型的电力设备，待处理电力设备的设备图像的数量可以根据实际情况确定，如10个、20个等；由于服务器存储众多待处理电力设备的图像，所以在实际获取时，可以获取较多个的设备图像。

以待处理电力设备是变压器、设备图像数量为6为例，可以从服务器获取6个变压器图像，假设该六个设备图是该变压器的六视图，那么此处获得的是变压器的六个不同拍摄方向拍摄同一待处理电力设备所得到的图像。

S2，获取每个设备图像对应的拍摄方向；

此处，设备图像对应的拍摄方向，即S1获取的设备图像内的待处理电力设备的拍摄方向，其中，可以知道的，拍摄方向可以是与设备图像内垂直的方向，一般情况下，可以待处理电力设备作为基础，构建X Y Z轴坐标系，以便于通过与XYZ轴夹角表示待处理电力设备的拍摄方向。

此处，设备图像对应的拍摄方向可以是由人工标注的拍摄方向，也可以通过图像识别等方式识别拍摄方向，本实施方式对此不作限定。

S3，获取预先设置的待处理电力设备的标准方向；

此处，标准方向是预先设置的方向，一般不同的电力设备的标准方向有所不通，标准方向可以由专家根据电力设备的实际情况进行设置，其中，标准方向指的是以该方向拍摄待处理电力设备时，可以将待处理电力设备的较多特征拍摄在内，优选是将待处理电力设备最多特征拍摄在内；一般情况下待处理设备的显示端或控制端是待处电力设备的特征集中处，为了便于得到各个待处理电力设备的标准方向，可以根据待处理设备的显示端或控制端确定标准方向，例如，当某个计量装置的背部是平面，无特征结构，主要用于贴墙设置，该计量装置的正面包括各种显示、控制按键等，此时可以认为该计量装置的标准方向是朝向计量装置正面的朝向的反方向（反方向的摄像头正好可以看到计量装置的正面）。此处，特征结构是指能用于与其他设备做区分的结构。其中，针对一般的电力设备，其标准方向一般为正前方向（正视图方向）或正前方向向下偏移45度角。

在确定不同电力设备的设备ID和标准方向后，可以根据不同电力设备的设备ID以及对应的标准方向，构建关系表，以便于根据待处理电力设备的设备ID通过关系表确定待处理电力设备的标准方向。

参见图2，作为步骤S3的可选实施方式，该步骤S3可以包括：

S31，获取预先设置的关系表，其中，关系表包括预处理电力设备的设备ID以及该预处理电力设备的标准方向，其中，预处理电力设备的标准方向根据该预处理电力设备的控制端或显示端的朝向确定。

S32，获取待处理电力设备的设备ID；

S33，根据待处理电力设备的设备ID以及关系表，获得待处理电力设备的标准方向。

S4，根据标准方向以及每个设备图像对应的拍摄方向，确定标准图像以及辅助图像，其中，标准图像是与标准方向夹角最小的拍摄方向所对应的设备图像，辅助图像是除标准图像外的所有设备图像；

预处理电力设备的标准方向根据该预处理电力设备的控制端或显示端的朝向确定，具体的，可以将预处理电力设备的控制端朝向的反方向作为预处理电力设备的标准方向，或，可以将预处理电力设备的显示端朝向的反方向作为预处理电力设备的标准方向。

此处，将与标准方向夹角最小的拍摄方向所对应的设备图像作为标准图像，将除标准图像外的所有设备图像作为辅助图像；其中，标准图像用于生成标准模型，辅助图像用于生成辅助模型。

参见图3，作为步骤S4的可选实施方式，步骤S4可以包括：

S41，计算每个设备图像对应的拍摄方向与标准方向的夹角；

S42，确定夹角中的最小值对应的拍摄方向的设备图像，作为标准图像；

S43，确定标准图像外的所有设备图像，作为辅助图像。

S5，生成标准图像对应的三维网格模型，以作为标准模型；

此处，可以采用已有的模型生成标准图像对应的三维网格模型，例如可以采用Pixel2Mesh（全称Generating 3D Mesh Models from Single RGB Images）模型。

此处，假设两个设备图像，分别是设备图像B和设备图像C，设备图像B的拍摄方向B`与标准方向的夹角是10度，设备图像C的拍摄方向C`与标准方向的加夹角是20度，则此时夹角中的最小值是10度，10度对应的拍摄方向的设备图像是拍摄方向B`的设备图像B。

作为步骤S5的可选实施方式，步骤S5可以包括：将标准图像输入Pixel2Mesh模型，以生成标准图像对应的三维网格模型，Pixel2Mesh模型可以参考现有技术，此处不再信息描述。

S6，计算所有设备图像对应的灰度图的灰度差均值;

此处，所有设备图像对应的灰度图的灰度差均值可以代表待处理电力设备对应的灰度差均值，该灰度差均值可以代表待处理电力设备的亮度特点，而基于该灰度差均值，对辅助图像进行中值滤波处理，可以使本方法自动适应待处理电力设备的亮度特点，进行相应的中值滤波处理；中值滤波处理后的辅助图像消除其不必要的噪声，并降低辅助图像的三维网格模型的生成难度，提高辅助图像的三维网格模型的生成速度；由于辅助图像的三维网格模型用于优化标准图像的三维网格模型，且辅助图像的拍摄方向上的三维网格图像模型的精度要求本身低于标准图像的拍摄方向的三维网格模型，所以本步骤的中值滤波处理，一方面可以提高辅助图像的三维网格模型的生成速度，另一方面，因为提示速度而导致的模型精度降低对实际在场景模型中的运用影响较小（因为非标准图像在实际场景模型中的特征结构较少）。

参见图4，作为步骤S6的可选实施方式，S6包括：

S61，灰度化处理每个设备图像，得到待处理灰度图；

S62，计算每个待处理灰度图的灰度差，其中，待处理灰度图的灰度差是待处理灰度图中所有相邻像素点的灰度值之差的绝对值之和；

S63，根据所有待处理灰度图的灰度差总和以及所有待处理灰度图的像素点总和，确定灰度差均值。

此处，灰度化处理每个设备图像时，可以采用已有的灰度化方法；待处理灰度图的灰度差是待处理灰度图中所有相邻像素点的灰度值之差的绝对值之和；例如，设备图像中的第一排像素点依次为：255、252、253、…、210时，灰度值为255的像素点与灰度值为252的像素点是相邻像素点，其灰度值之差的绝对值是3；同样的，灰度值为252的像素点与灰度值为253的像素点是相邻像素点，其灰度值之差的绝对值是1；其中，可以知道的，同一列像素点中的相邻像素点也是此处的相邻像素点。

灰度差均值可以由所有待处理灰度图的灰度差的总和除以所有待处理灰度图的像素点总和得到。

S7，根据灰度差均值，对辅助图像进行中值滤波处理；

此处，可以根据灰度差均值，执行不同程度的中值滤波，具体可以，可以基于4邻域进行中值滤波处理，可以基于8邻域进行中值滤波处理。

参见图5，作为步骤S7的可选实施方式，S7包括：

S71，在灰度差均值处于第一预设区间时，确定像素邻域为4邻域；

S72，在灰度差均值处于第二预设区间时，确定像素邻域为8邻域，其中，第二预设区间的最小值大于第一预设区间的最大值;

S73，根据像素邻域，对辅助图像进行中值滤波处理；

本实施例中，第一预设区间和第二预设区间可以根据实际情况进行设置，例如，第一预设区间可以是(0,48], 第二预设区间可以是(48,255]。其中，在灰度差均值不处于第一预设区间，也不处于第二预设区间时，可以确定像素领域为D领域。

S8，生成每个中值滤波处理后的辅助图像所对应的三维网格模型，以作为辅助模型；

此处，可以采用已有的模型生成辅助图像对应的三维网格模型，例如可以采用Pixel2Mesh（全称Generating 3D Mesh Models from Single RGB Images）模型。

作为步骤S8的可选实施方式，步骤S8可以包括：将中值滤波处理后的辅助图像输入Pixel2Mesh模型，以生成中值滤波处理后的辅助图像对应的三维网格模型；

其中，步骤S8的Pixel2Mesh模型的精度设置可以低于步骤S5中的Pixel2Mesh模型的精度；

S9，根据辅助模型以及对应辅助图像的拍摄方向，优化标准模型，得到目标模型。

此处，本申请以标准图像对应的三维网格模型为主，以辅助图像对应的三维网格模型为辅，生成目标模型。其中，主要可以基于辅助图像的拍摄方向，提取辅助模型的部分模型，将该部分模型替换到标准模型上，以得到目标模型，使得目标模型的精度更高。

参见图6，作为步骤S9的可选实施方式， S9包括：

S91，判断每个辅助图像对应的拍摄方向与标准图像对应的拍摄方向的夹角是否大于预设值；

S92，以大于预设值的夹角所对应的辅助图像作为目标图像；

S93，以目标图像对应的辅助模型的外表面与目标射线的交点作为局部模型的中心，提取辅助模型的局部模型，其中，目标射线以目标图像对应的辅助模型中的中心为起点，以对应的拍摄方向为方向的射线；

S94，将辅助模型的局部模型，替换到标准模型，得到目标模型。

此处，预设值可以根据实际情况设置，一般可设置为30度；需要知道的，此处以目标图像对应的辅助模型的外表面与目标射线的交点作为局部模型的中心，提取所述辅助模型的局部模型时，局部模型的大小可以是固定值，具体的，局部模型的长度和宽度可以均是标准模型的1/10。具体的，辅助模型的局部模型，替换到标准模型，辅助模型的局部模型的边界的网格可以与标准模型的相应位置的网格拼接。

参见图7，一种三维网格模型生成装置,包括：

第一获取模块701，从服务器获取待处理电力设备的至少两个设备图像，其中，至少两个设备图像包括至少两个以不同拍摄方向拍摄同一待处理电力设备所得到的图像；

第二获取模块702，获取每个设备图像对应的拍摄方向；

第三获取模块703，获取预先设置的待处理电力设备的标准方向；

图像确定模块704，根据标准方向以及每个设备图像对应的拍摄方向，确定标准图像以及辅助图像，其中，标准图像是与标准方向夹角最小的拍摄方向所对应的设备图像，辅助图像是除标准图像外的所有设备图像；

标准模型生成模块705，生成标准图像对应的三维网格模型，以作为标准模型；

灰度差均值计算模块706，计算所有设备图像对应的灰度图的灰度差均值；

处理模块707，根据灰度差均值，对辅助图像进行中值滤波处理；

辅助模型生成模块708，生成每个中值滤波处理后的辅助图像所对应的三维网格模型，以作为辅助模型；

目标模型生成模块709，根据辅助模型以及对应辅助图像的拍摄方向，优化标准模型，得到目标模型。

其中，第三获取模块703，具体用于：

获取预先设置的关系表，其中，关系表包括预处理电力设备的设备ID以及该预处理电力设备的标准方向，其中，预处理电力设备的标准方向根据该预处理电力设备的控制端或显示端的朝向确定。

获取待处理电力设备的设备ID；

根据待处理电力设备的设备ID以及关系表，获得设备图像的标准方向。

图像确定模块704，具体用于：

计算每个设备图像对应的拍摄方向与标准方向的夹角；

确定夹角中的最小值对应的拍摄方向的设备图像，作为标准图像；

确定标准图像外的所有设备图像，作为辅助图像。

标准模型生成模块705具体用于：将标准图像输入Pixel2Mesh模型，以生成标准图像对应的三维网格模型；

辅助模型生成模块708，具体用于：将中值滤波处理后的辅助图像输入Pixel2Mesh模型，以生成中值滤波处理后的辅助图像对应的三维网格模型；

灰度差均值计算模块706，具体用于：

灰度化处理每个设备图像，得到待处理灰度图；

计算每个待处理灰度图的灰度差，其中，待处理灰度图的灰度差是待处理灰度图中所有相邻像素点的灰度值之差的绝对值之和；

根据所有待处理灰度图的灰度差总和以及所有待处理灰度图的像素点总和，确定灰度差均值。

处理模块707，具体用于：

在灰度差均值处于第一预设区间时，确定像素邻域为4邻域；

在灰度差均值处于第二预设区间时，确定像素邻域为8邻域，其中，第二预设区间的最小值大于第一预设区间的最大值;

根据像素邻域，对辅助图像进行中值滤波处理。

目标模型生成模块709具体用于：

判断每个辅助图像对应的拍摄方向与标准图像对应的拍摄方向的夹角是否大于预设值；

以大于预设值的夹角所对应的辅助图像作为目标图像；

以目标图像对应的辅助模型的外表面与目标射线的交点作为局部模型的中心，提取辅助模型的局部模型，其中，目标射线以目标图像对应的辅助模型中的中心为起点，以对应的拍摄方向为方向的射线；

将辅助模型的局部模型，替换到标准模型，得到目标模型。

本申请还公开了一种电子设备，包括存储器和处理器，存储器用于存储计算机指令，计算机指令被处理器执行以实现本申请任一项实施例所述的方法。

本申请还公开了一种可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时以实现本申请任一项实施例所述的方法。

以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。