一种用于巡检机器人的仪表图像自动识别与分类方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种用于巡检机器人的仪表图像自动识别与分类方法。

背景技术

仪表检测识别系统主要是基于机器视觉算法，目前机器视觉算法主要分为传统机器视觉算法以及基于深度学习的机器视觉算法。

传统仪表检测的机器视觉算法主要分为三步，首先生成候选框提取图像中可能包含目标的位置；然后通过低级视觉描述子在第一阶段的滑动窗口获取对应的特征向量,从而获取该区域特征信息；最后使用支持向量机(SVM)等分类器对区域进行自动识别与分类。该类方法对图像噪声敏感,抗干扰性差,需根据环境变化,进行参数调节。若实际环境中出现较大干扰,如仪表表面出现大量粉尘或遮挡,往往会发生仪表示数提取困难及识别精度较差等问题。

基于深度学习仪表检测的机器视觉算法主要分为四步，首先对图像做预处理并将图像输入神经网络；然后使用骨干网络对图像进行特征抽取；其次使用输出层网络对图像进行分类以及识别；最后经过后处理获得最终结果。该类方法未考虑到图像畸变等问题，后续深度学习算法精度难以提高。同时该类方法一般为端到端的算法，未考虑到仪表的初定位问题，导致获取的图像含有较多其他内容，严重干扰了算法正确识别仪表读数。

鉴于此，需要一种用于巡检机器人的仪表图像自动识别与分类方法。

发明内容

针对现有技术中传统仪表检测的机器视觉算法抗干扰力弱，基于深度学习仪表检测未考虑图像畸变和仪器初定位从而倒是仪表识别读数有偏差的问题，本发明提供了一种用于巡检机器人的仪表图像自动识别与分类方法，能够去除仪表图像中的噪声的同时，保留重要的边缘信息，确保后续深度学习算法能够正确地对仪表进行初定位，进而确保获得正确的读数。具体技术方案如下：

一种用于巡检机器人的仪表图像自动识别与分类方法，包括以下步骤：

S1：巡检机器人在导航系统的支持下，根据预先规划的路径，采集仪表图像数据；

S2：对步骤S1中采集到的数据进行图像灰度化和双边滤波的预处理；

S3：巡检机器人获取原始图像并经过预处理后，对仪表进行初定位，以确定仪表位置；

S4：基于透视变换对仪表畸变示数区域进行矫正；

S5：采用图像识别算法对仪表进行读数识别。

优选的，所述步骤S2的所述图像灰度化具体为使用加权平均法来计算灰度值，根据像素的RGB分量以不同的权重进行加权平均，计算公式如下：

灰度值＝0.299×R+0.587×G+0.114×B

其中，R、G、B分别表示像素的红色、绿色和蓝色分量，0.299、0.587、0.114是对应RGB分量的权重。

优选的，所述步骤S2的所述双边滤波在基于图像灰度化的基础上进行，具体步骤如下：

S01：确定像素点以及滤波窗口，计算该像素与其邻域像素之间的空间距离权重和像素值相似性权重；

所述空间距离权重的计算公式如下：

其中，||p-q||表示两像素点之间的欧氏距离，σ

S02：根据计算出的权重，对该像素的值进行滤波赋值，具体计算公式如下：

其中，Wq表示为滤波窗口内每个像素值的权重和，用于权重的归一化，I

优选的，所述步骤S3的对仪表进行初定位具体为采用yolov4算法初定位仪表位置，具体如下：

Input模块将预处理后的图像调整为固定尺寸，并将其像素值归一化到0到1之间；

Backbone模块通过多次卷积和池化操作，逐渐减少特征图的大小并增加通道数，从而捕获图像的不同尺度和语义信息；

Neck模块负责将Backbone模块提取的多尺度特征进行融合和加工，并引入Spatial Attention Module(SAM)和PathAggregation Network(PANet)模块来实现特征融合；

Head模块引入了三个检测头，每个检测头负责预测一组目标框，同时处理多个目标检测任务，每个检测头由一系列卷积层组成，最后输出目标框的位置信息、类别置信度得分以及类别信息；

使用极大值抑制策略选取置信度最高的Anchor框作为仪表的初定位区域。

优选的，所述步骤S4的透视变换通过对图像进行透视投影，将原始图像中的四边形区域变换为矩形区域。

优选的，所述透视变换具体步骤如下：

收集包含已知标定点的仪表图像数据，标定点为仪表上的角点或者其他易于识别的特征点；

利用标定数据，使用相机标定方法计算相机的内参矩阵和外参矩阵；

在原始图像中选择需要矫正的仪表示数区域，并计算该区域的透视变换矩阵；

将透视变换矩阵应用于原始图像，对选定的矫正区域进行透视变换，获取畸变修正后的图像。

优选的，所述步骤S5的图像识别算法采用SSD图像识别算法。

优选的，所述步骤S5具体如下：

首先将经过畸变矫正后的图像输入到一个预训练的残差网络中，用于进行特征抽取；

随后，SSD网络逐层减小特征图的尺寸，这是通过卷积层与池化层的交替来实现的，在较早的层级，特征图较大，能够捕捉到图像的整体信息，而在较深层级，特征图逐渐变小，此时为图像的细节和局部特征；

同时，在较浅的特征图中，获取抽象的高级语义特征，在较深的特征图中，捕捉具体的低级语义特征；

针对每一个不同尺寸特征图生成了多个预测框，这些预测框与先验框相关联，且先验框的设置可以影响目标检测的精度和范围，在目标边界框回归的过程中，预测框的位置和大小将被调整，以使其与目标物体的实际位置相匹配；

将每个预测框中的内容输入至卷积层和softmax层中，以进行分类识别。

一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行如上所述的用于巡检机器人的仪表图像自动识别与分类方法。

一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如上所述的用于巡检机器人的仪表图像自动识别与分类方法。

与现有技术相比，本发明的有益效果为：

(1)利用双边滤波能够在去除仪表图像中的噪声的同时，保留重要的边缘信息，确保后续深度学习算法能够正确地对仪表进行初定位。

(2)本发明改进端到端的仪表示数识别流程，首先对仪表进行初定位，过滤大量无关的环境信息，然后再次获取仪表图像，并将仪表作为大目标物体进行识别和读数。

(3)本发明使用多层残差模块以及池化层，获取不同尺度的特征图，并同时抽取大特征图的语义信息以及小特征图的细节特征信息，使得巡检机器人可以从多层次对仪表进行数值识别，确保获得正确的示数

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明的整体流程示意图；

图2为本发明所述的yolov4图像识别算法框架图；

图3为本发明所述的SSD图像识别算法框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

下面结合图1-3，进一步说明本发明实施例。

本发明实施例提供一种用于巡检机器人的仪表图像自动识别与分类方法，包括以下步骤：

S1：巡检机器人在导航系统的支持下，根据预先规划的路径，采集仪表图像数据；

巡检机器人在导航系统的支持下，根据预先规划的路径，精确地穿梭于变电站的不同区域，涵盖了所有关键位置，以保证全面的巡检覆盖。通过传感器的实时数据和导航系统的反馈，机器人可以即时调整自己的行进策略，以应对变电站内部可能存在的复杂地形和障碍物，确保行进的安全和高效。

一旦机器人定位到变电站中的仪表，利用相机便能捕捉到仪表的详细图像。这些图像数据被准确地记录下来，并通过内部的数据传输系统上传，便于后续步骤进行数据处理。

S2：对步骤S1中采集到的数据进行图像灰度化和双边滤波的预处理；

相机拍摄的照片受到多种因素影响，如光照、温度和湿度，导致图像含有噪声。其中包括高斯噪声、椒盐噪声和随机噪声等，这些噪声相互混叠，使得图像质量下降并且不清晰，导致表盘读数不准确。同时，图像中还包含其他背景信息，这些复杂背景会影响圆形表盘与指针的定位精度。为了降低噪声干扰和背景信息对仪表盘特征提取与读数的误差影响，突出表盘相关的信息，需要对相机拍摄的图片进行必要的预处理。

图像灰度化指将彩色刻度盘图像转化为灰度图像，由摄像头采集的图像一般为彩色图像，通过图像灰度化，可以去除大量颜色信息，减小后续运算复杂度和存储空间。同时，由于双边滤波能够在去除仪表图像中的噪声的同时，保留重要的边缘信息，对于准确读数和后续图像处理具有良好的表现。因此本发明采用图像灰度化和双边滤波对巡检机器人收集到的仪表图像进行预处理。

灰度化的一种常用方法是使用加权平均法(WeightedAverage Method)来计算灰度值。该方法根据像素的RGB分量以不同的权重进行加权平均，从而得到灰度值。

本发明图像灰度化的公式如下：

灰度值＝0.299×R+0.587×G+0.114×B

其中，R，G，B分别表示像素的红色、绿色和蓝色分量的取值范围通常在0到255之间。0.299、0.587、0.114是对应RGB分量的权重，这些权重是根据人眼对不同颜色敏感度而得出的经验值。

然后，在灰度化的基础上使用双边滤波算法，该算法在高斯滤波的基础上加入像素值权重，同时考虑距离因素和像素值差因素，在保护边缘信息的同时去除图像中的噪声。针对一个像素点，双边滤波具体步骤如下：

1.确定像素点以及滤波窗口，计算该像素与其邻域像素之间的空间距离权重和像素值相似性权重。

空间距离权重用于衡量像素之间的空间距离，通常采用高斯函数来表示，具体计算公式

为

其中，||p-q||表示两像素点之间的欧氏距离，σ

像素值相似性权重用于衡量像素值之间的相似性，通常采用灰度差异的高斯函数来表示，具体计算公式为

其中，||I

2.根据计算出的权重，对该像素的值进行滤波赋值，具体计算公式为

其中，Wq表示为滤波窗口内每个像素值的权重和，用于权重的归一化，I

S3：巡检机器人获取原始图像并经过预处理后，对仪表进行初定位，以确定仪表位置；

巡检机器人获取原始图像并经过预处理后，需要初步确定仪表位置，对仪表进行初定位。综合仪表图像识别精度要求以及巡检机器人的负荷能力，本发明采用yolov4算法初定位仪表位置。

yolov4算法的流程如图2所示，主要分为以下四个步骤：

Input模块将预处理后的图像调整为固定尺寸，并将其像素值归一化到0到1之间。同时Input模块会将数据进行增强，如随机裁剪、翻转等，以提高数据的多样性，优化模型的泛化能力。

Backone模块使用CSPDarknet53作为其主干网络，它是一种特殊的卷积结构，用于提取丰富的图像特征。Backbone模块通过多次卷积和池化操作，逐渐减少特征图的大小并增加通道数，从而捕获图像的不同尺度和语义信息。

Neck模块负责将Backbone模块提取的多尺度特征进行融合和加工，并引入Spatial Attention Module(SAM)和PathAggregationNetwork(PANet)模块来实现特征融合。SAM模块有助于捕捉特征图中的空间信息，PANet模块则可以提升多尺度特征的表达能力，使得网络能够更好地适应不同大小的目标。

Head模块引入了三个检测头，每个检测头负责预测一组目标框，这样可以同时处理多个目标检测任务。每个检测头由一系列卷积层组成，最后输出目标框的位置信息、类别置信度得分以及类别信息。这些目标框是预先定义好的Anchor框，用于预测不同尺寸和长宽比的目标。

最后本发明使用极大值抑制策略选取置信度最高的Anchor框作为仪表的初定位区域。

S4：基于透视变换对仪表畸变示数区域进行矫正；

实际应用中，巡检机器人收到摄像头角度以及初定位精度等因素的影响，获取的仪表图像一般会存在不同程度的畸变。本发明使用透视变换对畸变图像进行修正。

透视变换是一种图像几何变换技术，通过对图像进行透视投影，将原始图像中的四边形区域变换为矩形区域，具体有以下步骤：

1.收集包含已知标定点的仪表图像数据，标定点为仪表上的角点或者其他易于识别的特征点。

2.利用标定数据，使用相机标定方法计算相机的内参矩阵和外参矩阵。这些矩阵描述了相机的参数，包括焦距、主点位置、畸变系数等。

3.在原始图像中选择需要矫正的仪表示数区域，并计算该区域的透视变换矩阵。

4.将透视变换矩阵应用于原始图像，对选定的矫正区域进行透视变换，获取畸变修正后的图像。

S5：采用图像识别算法对仪表进行读数识别。

本发明采用SSD图像识别算法对仪表进行读数识别。如图3所示，首先将经过畸变矫正后的图像输入到一个预训练的残差网络中，用于进行特征抽取。残差网络是一种深度卷积神经网络，在处理大规模图像数据时表现出色。通过多个残差块的堆叠，残差网络可以学习到图像的复杂特征，并保持较浅层特征的有效性。

随后，SSD网络逐层减小特征图的尺寸，这是通过卷积层与池化层的交替来实现的。在较早的层级，特征图较大，能够捕捉到图像的整体信息。而在较深层级，特征图逐渐变小，但更加专注于图像的细节和局部特征。

同时，在不同层级的特征图上，本发明抽取了丰富的语义信息。这意味着在较浅的特征图中，可以获取更加抽象的高级语义特征，例如物体的整体形状和结构。而在较深的特征图中，可以捕捉到更具体的低级语义特征，比如纹理和边缘等。

为了进行目标检测，针对每一个不同尺寸特征图生成了多个预测框，这些预测框与先验框相关联，且先验框的设置可以影响目标检测的精度和范围。在目标边界框回归的过程中，预测框的位置和大小将被调整，以使其更好地与目标物体的实际位置相匹配，从而得到最优的目标边界框预测效果。

最后，本发明将每个预测框中的内容输入至卷积层和softmax层中，以进行分类识别。通过卷积层进一步提取预测框内部的特征信息，同时通过softmax层对这些特征进行分类，决定目标的具体类别，并使用非极大值抑制算法抑制部分重叠或置信度的预测框，从而精准识别出图像中仪表所的示数。

综上所述，本发明利用双边滤波能够在去除仪表图像中的噪声的同时，保留重要的边缘信息，确保后续深度学习算法能够正确地对仪表进行初定位。其次，本发明改进端到端的仪表示数识别流程，首先对仪表进行初定位，过滤大量无关的环境信息，然后再次获取仪表图像，并将仪表作为大目标物体进行识别和读数。此外，本发明使用多层残差模块以及池化层，获取不同尺度的特征图，并同时抽取大特征图的语义信息以及小特征图的细节特征信息，使得巡检机器人可以从多层次对仪表进行数值识别，确保获得正确的示数，解决了背景技术中提出的问题。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。