基于通道点云和监拍图像的数据融合方法及系统

技术领域

本发明属于数字图像处理领域，具体涉及一种基于通道点云和监拍图像的数据融合方法及系统。

背景技术

随着经济技术的发展和人们生活水平的提高，电能已经成为了人们生产和生活中必不可少的二次能源，给人们的生产和生活带来了无尽的便利。因此，保障电能的稳定可靠供应，就成为了电力系统最重要的任务之一。

由于输电通道受外力破坏的影响，电网设备运行安全性降低，线路故障停电概率增大；因此，输电线路防外破工作已经成为当下线路运维工作的主要任务。现阶段，电网在输电线路杆塔上安装了大量的通道监拍装置，实现通道、设备本体、施工、车辆、树木生长、大棚等的远程监控；并在远端基于深度学习图像识别算法，实现施工机械、塔吊、吊车等的隐患目标的识别及告警。据统计，湖南地区现有监拍装置4万余套，日均告警量上万条。但是，现有这类设备及方案的告警有效率低，监控人员收到告警后，需要对识别目标物进行人工筛选；由于该图像无法量测目标物对输电线路的距离，最终会导致各类误报的发生。

目前，可以通过方位元素标定的方式，实现基于图像的距离标定。但是，传统的摄像机内方位元素标定通常采用经过精确标定的标定块来建立物点和像点间的关系，利用共线方程进行标定解算；这种方式虽然标定精度较高，但标定过程费时费力，效率极差。

发明内容

本发明的目的之一在于提供一种可靠性高、实用性好且效率较高的基于通道点云和监拍图像的数据融合方法。

本发明的目的之二在于提供一种实现所述基于通道点云和监拍图像的数据融合方法的系统。

本发明提供的这种基于通道点云和监拍图像的数据融合方法，包括如下步骤：

S1.由相机获取目标识别物的RGB格式彩色图像；

S2.对步骤S1获取的图像，采用加权平均法进行灰度化处理；

S3.基于步骤S2得到的灰度图像，对图像的灰度变化进行检测，得到角点坐标；

S4.对步骤S3得到的角点坐标进行进一步精确，得到亚像素级别角点坐标；

S5.对步骤S1采用的相机的参数矩阵进行标定；

S6.根据步骤S4得到的亚像素级别角点坐标和步骤S5得到的标定结果，完成三维点云与二维图像之间的数据融合。

步骤S2所述的对步骤S1获取的图像，采用加权平均法进行灰度化处理，具体包括如下步骤：

采用如下算式对图像进行灰度化处理：

Gay＝0.2989R+0.5870G+0.1140B

式中Gay为灰度化处理后的灰度值；R为原始图像中的红色分量的值；G为原始图像中的绿色分量的值；B为原始图像中的蓝色分量的值。

步骤S3所述的基于步骤S2得到的灰度图像，对图像的灰度变化进行检测，得到角点坐标，具体包括如下步骤：

设定一个固定大小的模板；

以每个像素点为中心，沿任意方向移动，记录每次移动后模板内所有像素点的灰度值的和的变化量：若移动到某点后，此时模板内所有像素点的灰度值的和的变化量大于设定的阈值，则判定该点为角点；

所述的变化量，采用如下步骤进行计算：

设定矩阵M为

根据设定的矩阵M，计算得到变化量R为R＝det(M)-k(trace(M))

步骤S4所述的对步骤S3得到的角点坐标进行进一步精确，得到亚像素级别角点坐标，具体包括如下步骤：

设定起始角点Q′在亚像素角点Q的附近的设定范围内；亚像素角点Q附近的设定范围内点分为在边缘上的点和不在边缘上的点；

亚像素角点Q与附近设定范围内的在边缘上的点P

然后，得到亚像素角点Q的迭代计算式为：

式中上标k表示第k次的迭代值；

迭代时，将起始角点Q′的坐标作为初始值，然后通过迭代算式进行迭代计算，直至达到设定的迭代停止条件，最终得到亚像素级别角点坐标。

步骤S5所述的对步骤S1采用的相机的参数矩阵进行标定，具体包括如下步骤：

设定三维世界空间点坐标为

采用如下算式作为标定所用棋盘格平面与图像平面之间的单应性关系式：

式中s为尺度因子标量；A为相机内参矩阵；R为旋转矩阵；t为平移向量；

将世界坐标系的X-Y平面建立在棋盘格平面上，此时Z＝0，则单应性关系式转换为

将单应性矩阵H定义为H＝[h

然后，设定

对称矩阵B的未知量表示为一个六维向量b，b＝[B

设单应性矩阵H的第i列第j列为h

式中v

改成方程组，表示为

步骤S6所述的根据步骤S4得到的亚像素级别角点坐标和步骤S5得到的标定结果，完成三维点云与二维图像之间的数据融合，具体包括如下步骤：

将世界坐标系转换到相机坐标系：

设定在世界坐标系中物点所在平面过世界坐标系原点且与Z轴垂直，此时棋盘平面与X-Y平面重合，因此Z

式中(X

将相机坐标系转换到图像坐标系：

通过投影透视过程，将相机坐标系转换到图像坐标系；

将图像坐标系转换到像素图像坐标系：

地面目标在像素图像坐标系和世界坐标系下的位置与摄像机中心位置存在共线关系，表示为下式：

式中(x,y)为特征点的像素图像坐标系；(X

a

b

c

式中

结合以上两个算式，得到目标点像素坐标A与对应的点云坐标B间的误差函数e为e＝R·[M|T]·B-A，其中R为内方位参数矩阵，M为由a

对误差函数e进行泰勒展开，采用最小二乘法计算误差函数的最小值，从而计算得到M和T；最终，得到电力走廊上的所有点在影像中的对应像素坐标，完成三维点云与二维影像间的融合。

本发明还提供了一种实现所述基于通道点云和监拍图像的数据融合方法的系统，包括图像获取模块、灰度处理模块、角点计算模块、亚像素计算模块、参数标定模块和数据融合模块；图像获取模块、灰度处理模块、角点计算模块、亚像素计算模块、参数标定模块和数据融合模块依次串接；图像获取模块用于获取目标识别物的RGB格式彩色图像，并将数据上传灰度处理模块；灰度处理模块用于根据获取的数据，采用加权平均法进行灰度化处理，并将数据上传角点计算模块；角点计算模块用于根据获取的数据，对图像的灰度变化进行检测，得到角点坐标，并将数据上传亚像素计算模块；亚像素计算模块用于根据获取的数据，对得到的角点坐标进行进一步精确，得到亚像素级别角点坐标，并将数据上传参数标定模块；参数标定模块用于根据获取的数据，对采用的相机的参数矩阵进行标定，并将数据上传数据融合模块；数据融合模块用于根据获取的数据，完成三维点云与二维图像之间的数据融合。

本发明提供的这种基于通道点云和监拍图像的数据融合方法及系统，通过点云数据与图像数据之间数据的融合，能够完成目标物到导线的距离测量；而且本发明的可靠性高、实用性好且效率较高。

附图说明

图1为本发明方法的方法流程示意图。

图2为本发明方法中的世界坐标系到相机坐标系的转换示意图。

图3为本发明方法中的投影透视过程的示意图。

图4为本发明系统的功能模块示意图。

具体实施方式

如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于通道点云和监拍图像的数据融合方法，包括如下步骤：

S1.由相机获取目标识别物的RGB格式彩色图像；

S2.对步骤S1获取的图像，采用加权平均法进行灰度化处理；具体包括如下步骤：

采用如下算式对图像进行灰度化处理：

Gay＝0.2989R+0.5870G+0.1140B

式中Gay为灰度化处理后的灰度值；R为原始图像中的红色分量的值；G为原始图像中的绿色分量的值；B为原始图像中的蓝色分量的值；

S3.基于步骤S2得到的灰度图像，对图像的灰度变化进行检测，得到角点坐标；具体包括如下步骤：

设定一个固定大小的模板；

以每个像素点为中心，沿任意方向移动，记录每次移动后模板内所有像素点的灰度值的和的变化量：若移动到某点后，此时模板内所有像素点的灰度值的和的变化量大于设定的阈值，则判定该点为角点；

所述的变化量，采用如下步骤进行计算：

设定矩阵M为

根据设定的矩阵M，计算得到变化量R为R＝det(M)-k(trace(M))

S4.对步骤S3得到的角点坐标进行进一步精确，得到亚像素级别角点坐标；具体包括如下步骤：

亚像素角点通常位于图像中灰度发生过渡变化的区域，利用边缘点两侧的相关信息和向量的点积理论，即1个向量和其正交向量的点积为0，将角点坐标值精确到亚像素级；

设定起始角点Q′在亚像素角点Q的附近的设定范围内；亚像素角点Q附近的设定范围内点分为在边缘上的点和不在边缘上的点；

亚像素角点Q与附近的设定范围内的在边缘上的点P

然后，得到亚像素角点Q的迭代计算式为：

式中上标k表示第k次的迭代值；

迭代时，将起始角点Q′的坐标作为初始值，然后通过迭代算式进行迭代计算，直至达到设定的迭代停止条件，最终得到亚像素级别角点坐标；

S5.对步骤S1采用的相机的参数矩阵进行标定；具体包括如下步骤：

设定三维世界空间点坐标为

采用如下算式作为标定所用棋盘格平面与图像平面之间的单应性关系式：

式中s为尺度因子标量；A为相机内参矩阵；R为旋转矩阵；t为平移向量；

将世界坐标系的X-Y平面建立在棋盘格平面上，此时Z＝0，则单应性关系式转换为

将单应性矩阵H定义为H＝[h

/>

然后，设定

对称矩阵B的未知量表示为一个六维向量b，b＝[B

设单应性矩阵H的第i列第j列为h

式中v

改成方程组，表示为

S6.根据步骤S4得到的亚像素级别角点坐标和步骤S5得到的标定结果，完成三维点云与二维图像之间的数据融合；具体包括如下步骤：

将世界坐标系转换到相机坐标系(如图2所示)：

设定在世界坐标系中物点所在平面过世界坐标系原点且与Z轴垂直，此时棋盘平面与X-Y平面重合，因此Z

式中(X

将相机坐标系转换到图像坐标系(如图3所示)：

通过投影透视过程，将相机坐标系转换到图像坐标系；

将图像坐标系转换到像素图像坐标系：

地面目标在像素图像坐标系和世界坐标系下的位置与摄像机中心位置存在共线关系，表示为下式：

式中(x,y)为特征点的像素图像坐标系；(X

a

b

c

式中

结合以上两个算式，得到目标点像素坐标A与对应的点云坐标B间的误差函数e为e＝R·[M|T]·B-A，其中R为内方位参数矩阵，M为由a

对误差函数e进行泰勒展开，采用最小二乘法计算误差函数的最小值，从而计算得到M和T；最终，得到电力走廊上的所有点在影像中的对应像素坐标，完成三维点云与二维影像间的融合。

如图4所示为本发明系统的功能模块示意图：本发明提供的这种实现所述基于通道点云和监拍图像的数据融合方法的系统，包括图像获取模块、灰度处理模块、角点计算模块、亚像素计算模块、参数标定模块和数据融合模块；图像获取模块、灰度处理模块、角点计算模块、亚像素计算模块、参数标定模块和数据融合模块依次串接；图像获取模块用于获取目标识别物的RGB格式彩色图像，并将数据上传灰度处理模块；灰度处理模块用于根据获取的数据，采用加权平均法进行灰度化处理，并将数据上传角点计算模块；角点计算模块用于根据获取的数据，对图像的灰度变化进行检测，得到角点坐标，并将数据上传亚像素计算模块；亚像素计算模块用于根据获取的数据，对得到的角点坐标进行进一步精确，得到亚像素级别角点坐标，并将数据上传参数标定模块；参数标定模块用于根据获取的数据，对采用的相机的参数矩阵进行标定，并将数据上传数据融合模块；数据融合模块用于根据获取的数据，完成三维点云与二维图像之间的数据融合。