基于视觉检测塔筒晃动的标记物识别方法

技术领域

本发明属于塔筒基础环技术领域，尤其涉及一种基于视觉检测塔筒晃动的标记物识别方法。

背景技术

当前风机塔筒基础环倾斜度检测需要施工人员携带专业的光学水准仪、角尺等设备，对塔筒底部一周进行8-16次的光学描点测量，此过程需要一人将角尺移动到经计算得出的特定位置，另一人通过瞄准镜读尺，读数之后需要手工记录。此测量过程单人无法完成，且在测量现场无法完成计算工作，需返回办公地经过数学模型计算之后，才能得到响应结果。因此，传统方法成本高、效率低，且容易产生人为记录误差。

基于机器视觉测量塔筒基础环倾斜的方法，能够通过视频采集和数字图像计算的方法，根据特征标记物在图像中的偏离量和位移量，实时计算风机基础的倾斜情况，对风机基础状态进行实时监控。如本公司早前申请的专利技术：基于标记的机器视觉的塔筒基础环倾斜测量方法、装置、设备（公开号CN112082530A）；基于机器视觉测量塔筒基础环倾斜的方法、装置、计算机设备（公开号CN112102240A）。

在图像采集、识别的过程中，标记物（标尺）的位置、尺寸的识别，对最终测量精度有很大的影响，因此，标记物的设计、评估和识别对后续计算显得尤为重要。

发明内容

本发明的目的在于提供一种基于视觉检测塔筒晃动的标记物识别方法，本方法基于目标检测，通过最大化拟合的方法优选出最佳优度的图像识别标尺，提高计算塔筒晃动的准确性。

为实现上述目的，本发明提供如下技术方案：

一种基于视觉检测塔筒晃动的标记物识别方法，基于目标检测网络对图像中标尺的识别，其特征在于：分别计算图像中，目标包围框内的非标尺区域与目标包围框的比值，和标尺位于该目标包围框以外的部分与整个标尺的比值；对上述两个比值加权求和，得到该目标包围框的识别精度值；取标尺所有目标包围框识别精度值中最小的一个，则对应的目标包围框为最优的包围框，即为最终的识别标尺。

进一步地，定义参与计算的区域：

目标检测网络对图像中标尺的识别区域为区域A，其中像素点集合记为集合A；目标包围框区域记为区域B，其中的像素点集合记为集合B；

目标包围框内的非标尺区域记为区域C，其中像素点集合

标尺位于该目标包围框以外的部分记为区域D，其中像素点集合

进一步地，所述目标包围框的识别精度值计算如下：

Step1：计算各区域的面积

Step2：计算比值

对于第

Step3：计算目标包围框的识别精度值

预设区域C的权重是

Step4：确定最终的识别标尺特征

对于第

进一步地，当第

进一步地，若标尺形状为圆形，所述尺寸信息则是圆的半径；若标尺形状为矩形，所述尺寸信息是矩形的长和宽；若标尺形状为不规则图形，所述尺寸信息是识别的面积。

进一步地，各区域大小采用面积来衡量，像素点的个数就是相应区域的面积。

进一步地，在加权求和时，目标包围框内的非标尺区域与目标包围框的比值的权重大于标尺位于该目标包围框以外的部分与整个标尺的比值的权重。

进一步地，该方法中的目标检测网络采用Mask R-CNN网络对图像中的标尺进行识别。

与现有技术相比，本发明的有益效果如下：本发明的方法采用Mask R-CNN算法对图像中的特定标志进行识别，返回标尺中心点的横、纵坐标信息、标尺尺寸信息；定义了标尺的识别精度PIOU计算方法，对同一标尺识别结果的包围框采用基于PIOU精度进行评价，选择PIOU最小的包围框特征作为标尺的特征，实现标尺的精准定位，提高塔筒晃动计算的准确性。

附图说明

图1是实施例中机器视觉测量塔筒基础环倾斜的方法的过程示意图。

图2是实施例中基于Mask R-CNN网络识别的标尺图像示意图。

图3是实施例中定义参与计算的区域的示意图。

图4是实施例中案例一的计算示意图。

具体实施方式

下面将结合具体实施例对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于视觉检测塔筒晃动的标记物识别方法中包含标尺（即标记物）的设计、安装、数字图像采集与处理、标尺识别等过程，具体技术路线如图1所示。

一、标尺的技术特征设计。

标尺的设计具有易识别性、可区分性、简捷安装性、特征明确等。

易识别性是相对于塔筒内其他物品具有独特性，能够被摄像头识别。

可区分性是指因为拍摄的图像中包含电缆、爬梯等物体，图像识别特定的标记物，标尺需要具有其特有的、容易区分其他物品的特性，以便能够快速准确地被检测和识别。

简捷安装性是指标尺的安装需要人工进行参与，塔筒内部物品繁杂，安装人员能够方便安装。

特征明确是指标尺的大小、颜色、形状等信息已知或者能够计算得出。

二、标尺的安装。

测量过程中需要记录塔筒的运行状态，安装之后的标尺需要正确反映塔筒三维空间振动的情况。标尺需要紧贴塔筒内壁安装，标尺的安装需要位置共面和稳固。

位置共面是指安装紧贴塔筒内壁的标尺时，需要将所有标尺（至少要有三个标尺）安装在同一平面内。

稳固是指标尺安装之后不会自动脱落或者移位，始终保持与紧贴物品的相对静止状态。

三、采集数字图像信息。

利用360°全景摄像头，对塔筒内部进行录像，得到塔筒某时段的图像信息。

四、识别标尺及计算包围框特征。

得到塔筒基础的图像信息之后，需要在图像中准确识别标尺的轮廓信息。对于单个图像，采用Mask R-CNN算法对图像中的标尺进行识别，识别的结果如图2所示。但是MaskR-CNN网络一般通过若干包围框框取目标物，再通过计算交并比（IOU）和非极大值抑制（NMS）选择一个包围框来计算出标尺的像素形状。该过程识别出的标尺的形状一般不是与标尺实际形状对应规则的几何图形，对标尺中心的定位精度不高，这将大大影响后续计算塔筒基础环倾斜的精度。因此采用全新的计算方式，在Mask R-CNN网络计算出的若干包围框和识别标尺的形状的基础上识别出更加精准的标尺特征，便于后续计算。

如图2，实际识别的标尺形状轮廓不是规则的几何图形，需要采用规则的几何图形作为目标包围框来替代识别的标尺，目标包围框的特征即为数字图像中标尺的特征。对于单张图像，第

若标尺形状为圆形，所述尺寸信息则是圆的半径；若标尺形状为矩形，所述尺寸信息是矩形的长和宽；若标尺形状为不规则图形，所述尺寸信息是识别的面积。

实际的标尺可设计为圆形、正方形、长方形、平行四边形或者其他易于识别的形状。采集数值图像信息时，标尺的形状就已确定。下面采用矩形的标尺贴于塔筒内壁。

定义参与计算的区域（如图3）：

目标检测网络对图像中标尺的识别区域为区域A，其中像素点集合记为集合A；目标包围框区域记为区域B，其中的像素点集合记为集合B。

目标包围框内的非标尺区域记为区域C，其中像素点集合

标尺位于该目标包围框以外的部分记为区域D，其中像素点集合

区域E中的像素点集合

所述目标包围框的识别精度值计算如下：

Step1：计算各区域的面积

各区域大小采用面积来衡量，一个像素点一个格子，计算像素点的个数就是相应区域的面积，

Step2：计算比值（计算区域C和区域D相较于区域E的识别比例）

标尺的识别主要用于摄像头的中心校正和后续动态分析，因而需要区域D占区域A的比例尽可能的小，区域C占区域B的比例尽可能的小；其实最终只需要对比区域C和区域D的相对关系即可，

对于第

区域C与区域B的比值

区域D与区域A的比值

Step3：计算目标包围框的识别精度值

在识别过程中，对于同一标尺识别结果，存在多个目标包围框的选择。因而需要选择满足条件的最优（即PIOU值最小）包围框作为标尺的识别结果，

对于单个包围框，识别的区域C比区域D更重要，可以损失区域D的大小来弥补区域C，所以区域C的权重要比区域D的权重大。预设区域C的权重是

Step4：确定最终的识别标尺特征

对于第

假定第

五、根据上述标尺的识别结果，采用专利申请基于标记的机器视觉的塔筒基础环倾斜测量方法、装置、设备（公开号CN112082530A）或基于机器视觉测量塔筒基础环倾斜的方法、装置、计算机设备（公开号CN112102240A）中的方法测量塔筒基础环倾斜。

本方案提供了标尺的设计、安装、识别和特征描述的方案，该方法有如下创新点：

（1）该方法提供了一种标尺的设计、安装的方法，能够使得标尺在视觉图像中更易于识别，

（2）采用目标检测网络对图像中的特定标志进行识别，返回标尺中心点的横、纵坐标信息、标尺尺寸信息，

（3）定义了标尺的识别精度PIOU计算方法，对同一标尺识别结果的包围框采用基于PIOU精度进行评价，选择PIOU最小的包围框特征作为标尺的特征。

案例一：如图4，取值

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。