清洁机器人的定位方法及存储介质

技术领域

本发明太阳能面板技术领域，尤其是涉及一种清洁机器人的定位方法及存 储介质。

背景技术

在化石燃料日趋减少的情况下，作为一种新兴的可再生能源的太阳能已成 为人类使用能源的重要组成部分，近十年来，太阳能应用技术在世界各国都得 到迅猛发展。

由于太阳能面板的工作环境只能是户外，影响其工作的最大问题并不是风 雨雷电，而是常年累积的灰尘、积雪等。太阳能面板上附着有灰尘或其它附着 物，会影响面板板的透光率，阻碍光电效率，从而会严重影响面板直接获取阳 光的效率，降低面板的能量吸收和转换效率，降低发电效率。

因此，每个光伏电站都需要进行太阳能面板表面的清扫工作，很明显人工 清扫效率低、风险大。相应的，业界开发出了太阳能面板清洁机器人对其进行 表面清扫，即可有效的提高清扫效率，又不会出现高处清扫作业而存在的人身 安全隐患问题。但是现有的清洁机器人视觉定位通过图像特征点实现，而在弱 光(黑夜)，强光(镜面强反光)，纹理单一(面板线条重复)等状态下，很难提取出 有效的特征点，甚至很难进行特征的描述子匹配。已有的视觉定位算法很难在 光伏扫地机器人上部署。室外太阳能光伏组件清洁机器人应用场景特殊，组件 面板肮污程度不一，因此传统的图像处理技术很难覆盖所有情形，导致识别阵 列边界或组件间隙的鲁棒性差，从而影响定位性能。

因此，需要提供清洁机器人的定位方法，可以有效解决清洁机器人视觉定 位特征提取困难及视觉定位算法适应场景较少的问题。

发明内容

本发明提供了一种清洁机器人的定位方法，通过引进深度学习的技术方法， 可以有效地对太阳能面板阵列的特征提取。

本发明的技术方案为：提供一种清洁机器人的定位方法，包括：在一清洁 机器人上设置至少一摄像头；所述清洁机器人在一面板阵列上行进并采集多张 样本图片，记录每一样本图片对应的摄像头朝向，所述面板阵列由多块排成阵 列的光伏面板组成；以样本图片及其摄像头朝向作为训练样本，构建前景分割 模型及边界识别模型；所述清洁机器人在一面板阵列上行进，并实时采集至少 一张实时图片；录入清洁机器人的实时图片至所述前景分割模型，获取该实时 图像中的面板阵列范围；录入清洁机器人的实时图片至所述边界识别模型，获 取该实时图像中每一光伏面板的边界线；对比清洁机器人所在光伏面板的边界 线与面板阵列范围，获取所述清洁机器人所处的光伏面板在该面板阵列中的位 置；根据所述边界线在该实时图像的位置，获取所述清洁机器人在该光伏面板 上的位置；以及获取所述清洁机器人在所述面板阵列中的位置。

进一步地，在一清洁机器人上设置至少一摄像头的步骤中，在所述清洁机 器人的前端、后端、左侧、右侧分别设置至少一摄像头，所述摄像头的镜头中 轴线与水平面保持20-90度的夹角。

进一步地，在一清洁机器人上设置至少一摄像头的步骤中，在一清洁机器 人的最高点处设置一可水平转动的摄像头，所述摄像头的镜头中轴线与水平面 保持20-90度的夹角。

进一步地，构建前景分割模型的步骤，具体包括如下步骤：在每一样本图 片中标注出有效区，作为该样本图片的第一特征，所述有效区内为面板阵列； 以及将多个被标注第一特征的样本图片作为训练样本录入至一卷积神经网络模 型进行训练，得到一前景分割模型，用于去除样本图片中的背景部分，仅保留 前景部分。

进一步地，构建边界识别模型的步骤，具体包括如下步骤：获取多张样本 图片，所述样本图片为所述清洁机器人在清扫面板阵列时拍摄的图像，所述面 板阵列由多块排列成阵列的光伏面板组成；在每一样本图片中标注出每一光伏 面板的边界线，作为该样本图片的第二特征；以及将多个被标注第二特征的样 本图片作为训练样本录入至另一卷积神经网络模型进行训练，得到一边界识别 模型；用于识别边界。

进一步地，获取所述清洁机器人所处的光伏面板在所述面板阵列中的位置， 具体包括如下步骤：获取所述清洁机器人的摄像头视野中彼此平行的光伏面板 边界线的数量；计算所述清洁机器人所处的光伏面板周围四个方向上的面板数 量。

进一步地，获取所述清洁机器人在该光伏面板上的位置，具体包括如下步 骤：获取所述清洁机器人的摄像头视野中第一条边界线；计算所述清洁机器人 的摄像头视野中第一条边界线与所述摄像头的距离；计算所述摄像头与其所在 面板的四条边缘处的距离。

进一步地，在获取该实时图像中每一光伏面板的边界线的步骤之后，还包 括如下步骤：根据实时图像中清洁机器人所在光伏面板的边界线与其他光伏面 板边界线的夹角计算清洁机器人的偏航角；根据所述偏航角计算清洁机器人的 行进方向与其所在光伏面板的四条边缘处的夹角。

进一步地，所述清洁机器人在一面板阵列上行进，并实时采集至少一张实 时图片的步骤之后，还包括对图片做降噪处理的步骤；以及筛除畸变图片的步 骤。

本发明提供一种存储介质，所述存储介质中存储有多条指令，处理器读取 所述指令以执行所述的清洁机器人的定位方法中至少一步骤。

本发明的有益效果是：本发明提供清洁机器人的定位方法及存储介质，通 过利用深度学习图像分割技术分割面板阵列的前景图片，通过建立的前景分割 迷行在前景图片中分割边界线，进而得到相机的角度信息。并通过边界识别模 型判断所有可能的前向面板阵列边界位置，得到最有可能的相邻的面板阵列的 缝隙位置，通过相机姿态计算缝隙的真实距离。最后，本发明部署摄像头，既 可以实现冗余布置，同时可以恢复更加准确的距离信息。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技 术方案及其它有益效果显而易见。

图1为本发明一实施例中提供的面板阵列的示意图；

图2为本发明一实施例中提供的面板阵清洁机器人工作的示意图；

图3为本发明一实施例中提供的清洁机器人的定位方法的流程图；

图4为本发明一实施例中提供的构建前景分割模型的步骤流程图；

图5为本发明一实施例中提供的构建边界识别模型的步骤流程图；

图6为本发明一实施例中提供的面板阵列与光伏面板的示意图；

图7为本发明一实施例中提供的在获取该实时图像中每一光伏面板的边界 线的步骤之后的流程图；

图8为本发明一实施例中提供的获取所述清洁机器人所处的光伏面板在所 述面板阵列中的位置的流程图；

图9为本发明一实施例中提供的获取所述清洁机器人在该光伏面板上的位 置的流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结 构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然， 它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子 中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不 指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特 定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用 和/或其他材料的使用。

如图1所示，一太阳能电站内设有一作业区100，在该作业区100内包括多个 太阳能面板阵列101，每一太阳能面板阵列101与水平面的倾斜角为15～45度中的 某一角度值，尽量保证阳光较多地直射至太阳能面板上。在大部分的太阳能电 站中，所有太阳能面板相对于水平面的倾斜角都是相同的；在某些太阳能电站 中，不同太阳能面板的倾斜角可能会有所区别，甚至有些面板的倾斜角是可调 节或可变化的。每一太阳能面板阵列101包括多块拼接在一起的太阳能光伏面板 102。

如图2所示，太阳能电站在正常工作过程中，某些太阳能面板或太阳能面板 阵列101会沾附灰尘或污渍，需要被清洁处理；每一块需要被清洁处理的太阳能 面板或太阳能面板阵列101即为清洁区500。清洁机器人200可以在太阳能面板或 太阳能面板阵列101上完成清洁作业，可以有效清洁面板或面板阵列101上的每 一处区域。待接驳车300到达接驳区110后，调整好接驳平台的位置以后，可以 将清洁机器人200从清洁机器人存放地运载至一清洁区500(需要被清洁的面板 阵列101)上表面，从一个被清洁过的面板阵列101上表面运载至另一个清洁区 500(需要被清洁的面板或面板阵列101)上表面。

本发明提供过一种清洁机器人的定位方法，用以实验清洁机器人在所述面 板阵列101上的精确定位。如图3所示，所述清洁机器人的定位方法包括如下步 骤S1～S10。

S1、在一清洁机器人上设置至少一摄像头。

本发明摄像头的安装方案包括如下实施例。

在一实施例中，所述清洁机器人的前端、后端、左侧、右侧分别设置至少 一摄像头，所述摄像头的镜头中轴线与水平面保持20-90度的夹角。

在另一实施例中，在所述清洁机器人的最高点处设置一可水平转动的摄像 头，所述摄像头的镜头中轴线与水平面保持20-90度的夹角。

这样可以让清洁机器人可以实现前端、后端、左侧、右侧各个角度拍摄照 片。

S2、所述清洁机器人在一面板阵列上行进并采集多张样本图片，记录每一 样本图片对应的摄像头朝向，所述面板阵列由多块排成阵列的光伏面板组成。

S3、以样本图片及其摄像头朝向作为训练样本，构建前景分割模型及边界 识别模型。根据摄像头朝向对样本图片进行分组，例如，若将摄像头在面板上 的朝向分成360个角度，所有的样本图片可以被分成360个组别。

如图4所示，构建前景分割模型的步骤，具体包括如下步骤S301～S302。

S301、在每一样本图片中标注出有效区，作为该样本图片的第一特征，所 述有效区为面板阵列图像。

即清洁机器人拍摄的图像大多数包括非面板阵列图像，而需要将面板阵列 分割出来。

S302、将多个被标注第一特征的样本图片作为训练样本录入至一卷积神经 网络模型进行训练，得到一前景分割模型，前景分割模型用于去除样本图片中 的背景部分，仅保留前景部分。所述前景部分仅为面板阵列图像。

所述卷积神经网络包含输入模块、卷积模块和分类模块。

所述输入模块用于读入预处理后的遥感图像数据；网络的输入是224像素 *224像素大小的图像数据。

所述卷积模块包含卷积、激活和采样操作，用于提取和选择图像特征。

由卷积层进行卷积操作，卷积公式表述为：

o＝∑

其中，w

采用ReLU激活函数对卷积层的输出进行处理，其函数表达式为：

f(in)＝max(0，in)

其中in为输入信号，I(in)为输出信号。

由采样层对数据进行池化，池化操作类似卷积操作，同样是用一个n*n大小 的卷积核在另一的N*M的矩阵上以一定的滑动步长滑动，这里滑动步长的值为 2。在滑动过程中选出当前与核对应位置的最大值，即使用最大值池化方式，最 大值池化公式表述如下：

o＝maxI

其中，I

所述分类模块用于进行目标特征的分类。

卷积神经网络的分类模块包括3层全连接层和逻辑回归(softmax)层，用 于进行目标特征的分类。所述的逻辑回归(softmax)层，在学习训练期间将卷 积神经网络中的学习结果作为逻辑回归(softmax)层的输入数据；逻辑回归(softmax)回归是面向多类分类问题的逻辑回归，是逻辑回归的一般形式，适 用于类别之间互斥的情况。

假设对于样本θ(x

其中θ

逻辑回归层(softmax)将样本x

网络模型的损失函数采用的是交叉熵函数，交叉熵刻画的是实际输出(概率) 与期望输出(概率)的距离，也就是交叉熵的值越小，两个概率分布就越接近。 假设概率分布p为期望输出(标签)，概率分布q为实际输出，H(o，q)为交叉熵。一 种交叉熵损失函数公式如下：

如图5所示，构建边界识别模型的步骤，具体包括如下步骤S401～S403。

S401、获取多张样本图片，所述样本图片为所述清洁机器人在清扫面板阵 列时拍摄的图像，所述面板阵列由多块排列成阵列的光伏面板组成。

S402、在每一样本图片中标注出每一光伏面板的边界线，作为该样本图片 的第二特征。如图6所示，所述边界线即为方形线，与光伏面板的方形周边相 同。

S403、将多个被标注第二特征的样本图片作为训练样本录入至另一卷积神 经网络模型进行训练，得到一边界识别模型。所述另一卷积神经网络与所述一 卷积神经网络的模型结构相同。

边界识别模型用于识别光伏面板的边界，可以得到所述清洁机器人在哪一 块面板组件上。

S4、所述清洁机器人在一面板阵列上行进，并实时采集至少一张实时图片。

S5、对图片做降噪处理的步骤，用以去除反射光带来的低频噪声。

主要针对图片曝光度差以及夜晚的场景，图片的去噪处理可通过噪声压制 滤波法进行，即使用滤波技术来达到去斑点噪声的效果，进而提高信噪比。

S6、筛除畸变图片的步骤。

面板组件的平行线，在照片上，也就是投影变换之后不再平行。不过，借 助于光伏组件上的经纬线，可以纠正图像的投影畸变，让经线和纬线分别变的 平行。这一操作会让光伏板平面上的几何元素变的更加有序，从而排除外界(不 在光伏板平面上的)元素的干扰。

S7、录入经过处理后清洁机器人的实时图片至所述前景分割模型，获取该 实时图像中的面板阵列范围，即得到实时图片的有效区域。

S8、录入清洁机器人的实时图片至所述边界识别模型，获取该实时图像中 每一光伏面板的边界线。

如图7所示，在获取该实时图像中每一光伏面板的边界线的步骤之后，还 包括如下步骤S601～S602，用以确定清洁机器人的车头朝向，也即清洁机器人 的位姿，位姿即清洁机器人的偏航角。

S601、根据实时图像中清洁机器人所在光伏面板的边界线与其他光伏面板 边界线的夹角计算清洁机器人的偏航角。

S602、根据所述偏航角计算清洁机器人的行进方向与其所在光伏面板的四 条边缘处的夹角。

S9、对比清洁机器人所在光伏面板的边界线与面板阵列范围，获取所述清 洁机器人所处的光伏面板在该面板阵列中的位置。

如图8所示，获取所述清洁机器人所处的光伏面板在所述面板阵列中的位 置，具体包括如下步骤S701～S702。

S701、获取所述清洁机器人的摄像头视野中彼此平行的光伏面板边界线的 数量。

S702、计算所述清洁机器人所处的光伏面板周围四个方向上的面板数量。

S10、根据所述边界线在该实时图像的位置，获取所述清洁机器人在该光伏 面板上的位置。

如图9所示，获取所述清洁机器人在该光伏面板上的位置，具体包括如下 步骤S801～S803。

S801、获取所述清洁机器人的摄像头视野中第一条边界线。

S802、计算所述清洁机器人的摄像头视野中第一条边界线与所述摄像头的 距离。

S803、计算所述摄像头与其所在面板的四条边缘处的距离。

S11、获取所述清洁机器人在所述面板阵列中的位置。

本发明还提供一种存储介质，所述存储介质中存储有多条指令，处理器读 取所述指令以执行所述的清洁机器人的定位方法中至少一步骤。

本发明提供清洁机器人的定位方法及存储介质，通过利用深度学习图像分 割技术分割面板阵列的前景图片，在前景图片中分割边界线，进而恢得到相机 的角度信息。并通过边界识别模型判断所有可能的前向面板阵列边界位置，得 到最有可能的相邻的面板阵列的缝隙位置，通过相机姿态计算缝隙的真实距离。 最后，本发明部署摄像头，既可以实现冗余布置，同时可以恢复更加准确的距 离信息。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及 实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案 及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例 所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些 修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的 范围。