一种基于3D视觉、RGB特征的配电房监控方法

技术领域

本发明涉及电力安全作业技术领域，具体为一种基于3D视觉、RGB特征的配电房监控方法。

背景技术

配电房是指带有低压负荷的室内配电场所，主要为低压用户配送电能，设有中压进线(可有少量出线)、配电变压器和低压配电装置。配电房内拥有大量的电子设备，一旦出现安全事故，会造成不可估量的后果，比如大面积停电或者火灾，因此对于配电房内的安全监控以及识别预防是不可或缺的措施。

当前电力应用的场景使用2D的识别，有受光线影响大，强光或者弱光情况下基本不能使用；2D检测仅能提供目标物体在二维图片中的位置和对应类别的置信度，并不能反映真实环境下的距离、空间信息，例如在配电房、变电站区域入侵检测场景中，2D识别并不能准确地反映出真实的空间入侵行为，再如在开关识别场景中，如在光线不佳情况下，2D识别算法并不能准确的识别开关的变化；但是仅仅依靠3D的识别也是不行的，如在安全着装、表计读数等识别场景，则需要RGB信息；故在采用RGB-D传感融合方案，能大幅度提升识别效率及识别精准度。

发明内容

本发明的目的在于提供一种基于3D视觉、RGB特征的配电房监控方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于3D视觉、RGB特征的配电房监控方法，其方法包括如下步骤：

步骤(S1)：3D传感器实时测量空间三维数据，并通过局域网将空间三维数据发送至边缘计算网关，IPCamera实时采集RGB图像数据，并通过局域网将RGB图像数据发送至边缘计算网关；

步骤(S2)：边缘计算网关中的RGB特征提取模块将RGB图像送进卷积神经网络，并对需要识别的事件进行初步的分类，同时边缘计算网关中的3D特征提取模块对收到的3D点云数据进行特征提取；

步骤(S3)：边缘计算网关中的特征融合模块将从RGB特征提取模块、3D特征提取模块得到的特征进行RGB特征和3D特征加权融合；

步骤(S4)：融合后的特征输入到支持向量机并进行分类，然后将识别到的结果及结构化数据通过边缘计算网关云边协同的通道上传至安全监控云平台。

优选的，所述步骤(1)中，在配电房安全识别场景引入3D传感器，实时测量空间的3D点云数据。

优选的，所述步骤(1)中，3D传感器测量的空间三维数据和IPCamera实时采集RGB图像数据是同步进行发送的。

优选的，所述步骤(2)中，边缘计算网关3D特征提取模块对目标区域的侵入物进行3D特征的提取，并提取出反映真实3D空间的特征。

优选的，所述步骤(2)中，3D特征提取模块从3D点云数据中提取的特征为Depth-Honv特征。

优选的，所述步骤(3)中，将RGB、3D特征进行加权融合，并通过为不同的特征分配权重系数来体现特征对最终识别结果的贡献。

优选的，所述步骤(3)中，RGB特征和3D特征加权融合是通过多核学习方法进行的。

优选的，所述步骤(4)中，该方法的整个系统是采用云边端协同的架构。

与现有技术相比，本发明的有益效果如下：

本发明方法基于3D视觉技术并融合RGB特征技术，该方法不仅能够在光线不佳的状况下进行3D识别，且在安全着装、表计读数等识别场景能够有效识别出RGB信息，提升了识别效率及识别精准度，解决了当前电力应用的场景使用2D进行识别，不仅易受到光线的影响，且无法反映真实环境下的距离、空间等信息的问题，同时避免了仅依靠3D技术进行识别，无法应用在安全着装、表计读数等识别场景的状况。

附图说明

图1为本发明方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

一种基于3D视觉、RGB特征的配电房监控方法，其方法包括如下步骤：

步骤(S1)：3D传感器实时测量空间三维数据，并通过局域网将空间三维数据发送至边缘计算网关，IPCamera实时采集RGB图像数据，并通过局域网将RGB图像数据发送至边缘计算网关，其中在配电房安全识别场景引入3D传感器，实时测量空间的3D点云数据，3D点云数据除了具有几何位置以外，有的还有颜色信息，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点，因此不受光线的影响；

步骤(S2)：边缘计算网关中的RGB特征提取模块将RGB图像送进卷积神经网络，并对需要识别的事件进行初步的分类，同时边缘计算网关中的3D特征提取模块对收到的3D点云数据进行特征提取，其中边缘计算网关3D特征提取模块对目标区域的侵入物进行3D特征的提取，并提取出反映真实3D空间的特征，由于3D空间的特征包括有法向量、真实坐标位置、表面曲率等，这些特征弥补了2D特征的缺点，使得该系统的识别精准度更高；

步骤(S3)：边缘计算网关中的特征融合模块将从RGB特征提取模块、3D特征提取模块得到的特征进行RGB特征和3D特征加权融合，将RGB、3D特征进行加权融合，并通过为不同的特征分配权重系数来体现特征对最终识别结果的贡献；

步骤(S4)：融合后的特征输入到支持向量机并进行分类，然后将识别到的结果及结构化数据通过边缘计算网关云边协同的通道上传至安全监控云平台。

实施例二：

一种基于3D视觉、RGB特征的配电房监控方法，其方法包括如下步骤：

步骤(S1)：3D传感器实时测量空间三维数据，并通过局域网将空间三维数据发送至边缘计算网关，IPCamera实时采集RGB图像数据，并通过局域网将RGB图像数据发送至边缘计算网关，其中在配电房安全识别场景引入3D传感器，实时测量空间的3D点云数据，3D点云数据除了具有几何位置以外，有的还有颜色信息，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点，因此不受光线的影响，且3D传感器测量的空间三维数据和IPCamera实时采集RGB图像数据是同步进行发送的，其保证了两种不同数据的同步性；

步骤(S2)：边缘计算网关中的RGB特征提取模块将RGB图像送进卷积神经网络，并对需要识别的事件进行初步的分类，同时边缘计算网关中的3D特征提取模块对收到的3D点云数据进行特征提取，其中边缘计算网关3D特征提取模块对目标区域的侵入物进行3D特征的提取，并提取出反映真实3D空间的特征，由于3D空间的特征包括有法向量、真实坐标位置、表面曲率等，这些特征弥补了2D特征的缺点，使得该系统的识别精准度更高，3D特征提取模块从3D点云数据中提取的特征为Depth-Honv特征，Depth-Honv特征；

步骤(S3)：边缘计算网关中的特征融合模块将从RGB特征提取模块、3D特征提取模块得到的特征进行RGB特征和3D特征加权融合，将RGB、3D特征进行加权融合，并通过为不同的特征分配权重系数来体现特征对最终识别结果的贡献；

步骤(S4)：融合后的特征输入到支持向量机并进行分类，然后将识别到的结果及结构化数据通过边缘计算网关云边协同的通道上传至安全监控云平台。

实施例三：

一种基于3D视觉、RGB特征的配电房监控方法，其方法包括如下步骤：

步骤(S1)：3D传感器实时测量空间三维数据，并通过局域网将空间三维数据发送至边缘计算网关，IPCamera实时采集RGB图像数据，并通过局域网将RGB图像数据发送至边缘计算网关，其中在配电房安全识别场景引入3D传感器，实时测量空间的3D点云数据，3D点云数据除了具有几何位置以外，有的还有颜色信息，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信启、(RGB)赋予点云中对应的点，因此不受光线的影响，且3D传感器测量的空间三维数据和IPCamera实时采集RGB图像数据是同步进行发送的，其保证了两种不同数据的同步性；

步骤(S2)：边缘计算网关中的RGB特征提取模块将RGB图像送进卷积神经网络，并对需要识别的事件进行初步的分类，同时边缘计算网关中的3D特征提取模块对收到的3D点云数据进行特征提取，其中边缘计算网关3D特征提取模块对目标区域的侵入物进行3D特征的提取，并提取出反映真实3D空间的特征，由于3D空间的特征包括有法向量、真实坐标位置、表面曲率等，这些特征弥补了2D特征的缺点，使得该系统的识别精准度更高，3D特征提取模块从3D点云数据中提取的特征为Depth-Honv特征，Depth-Honv特征；

步骤(S3)：边缘计算网关中的特征融合模块将从RGB特征提取模块、3D特征提取模块得到的特征进行RGB特征和3D特征加权融合，将RGB、3D特征进行加权融合，并通过为不同的特征分配权重系数来体现特征对最终识别结果的贡献，且RGB特征和3D特征加权融合是通过多核学习方法进行的；

步骤(S4)：融合后的特征输入到支持向量机并进行分类，然后将识别到的结果及结构化数据通过边缘计算网关云边协同的通道上传至安全监控云平台，其中该方法的整个系统是采用云边端协同的架构，且特征提取、融合等计算操作部署在边缘计算网关，具备支持离线运行、就近计算、边缘存储节约云端计算、存储、流量等资源的优点。

本发明方法基于3D视觉技术并融合RGB特征技术，该方法不仅能够在光线不佳的状况下进行3D识别，且在安全着装、表计读数等识别场景能够有效识别出RGB信息，提升了识别效率及识别精准度，解决了当前电力应用的场景使用2D进行识别，不仅易受到光线的影响，且无法反映真实环境下的距离、空间等信息的问题，同时避免了仅依靠3D技术进行识别，无法应用在安全着装、表计读数等识别场景的状况。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。