一种基于单目视觉的全自动捡球机器人的捡球方法

技术领域

本发明属于机器人技术领域，更具体的说是涉及一种基于单目视觉的全自动捡球机器人的捡球方法。

背景技术

乒乓球是我国的国球运动，在我国有很深的群众基础。在乒乓球训练基地和乒乓球俱乐部等大中型训练场馆，球被使用后散落于运动场的各个角落，往往比赛完毕或训练完毕后需要专人对球实施回收，不仅浪费体力，而且捡球的效率不高，人工捡球工作较为繁重。

现对于捡球问题主要有以下几种方式：

1.人工捡球，这是一种较为常用的捡球方式，这种捡球方式就是，耗费人力，每个球场至少安排一人捡球，这样捡球人员工作量较大，且消耗体力较多。

2.人工加捡球工具，目前国内的研究大多侧重于捡球机械手或者捡球小车的机构设计，此类多为半自动。这类捡球方式虽相较于完全人工捡球提高效率，但还是得人工参加，也是每个球场至少安排一人捡球，这样的人也是人力投入较大。

因此，针对当前捡球效率不高、人力成本较大以及现有捡球工具缺乏等问题，需要设计出使用方便，成本较低，智能化高，适合多种场景的捡球工具。

发明内容

为解决上述问题本发明目的是提供、一种基于单目视觉的全自动捡球机器人的捡球方法，其特征在于，所述捡球方法应用于基于单目视觉的全自动捡球机器人，所述基于单目视觉的全自动捡球机器人包括上位pc机和下位机，所述上位PC机和下位机通过无线传输装置连通，所述下位机包括嵌入式芯片，捡球装置，驱动电机和单目视觉摄像头；

该捡球方法如下：

步骤a、上位pc机控制下位机通过驱动电机移动，对地面环境图像进行抓拍，遇到墙壁障碍后自动向右旋转90°；

步骤b、将步骤a中抓拍的地面环境图像实时利用云网络或者无线传输装置传送给上位pc机；

步骤c、上位pc机内的图像处理技术快速的排除单目视觉摄像头拍摄的照片内的干扰，准确的判断当前拍摄图片中的乒乓球的位置得到球心坐标；

步骤d、上位pc机通过步骤c中得到的乒乓球球心坐标规划出该位置下位机的最佳捡球路径，并将规划结果和球心坐标通过无线传输装置传送给下位机的嵌入式芯片内；

步骤e、下位机根据单目摄像头的安装高度和角度将步骤d传送的信息转换为实际的坐标和移动路线，使驱动电机带动下位机按照规划路线移动通过捡球装置进行捡球，若上位pc机传送的数据为空数据则下位机向前移动L距离后再次执行步骤a-e；

步骤f、在所述下位机的移动捡球的过程中，每间隔一时间段，重复步骤a-e，判断经过移动捡球之后是否有更佳的捡球方案；

步骤g、当上位pc机传送的数据为空数据累积达到一定的预设次数后则视为所有球均捡取完毕，控制下位机回到储存球仓或当下位机自身捡球仓满仓时，控制下位机回到储存球仓,回到储存球仓内的下位机卸球完毕后等待上位pc机下次指令。

进一步地，所述下位机根据根据训练场地的大小，可配置1-4个。

进一步地，当干扰物为灯光光斑干扰时，所述步骤c的具体过程如下：

第一步，读入照片将采集到的RBG彩色图片降为灰度图像。

第二步，设定灯光光斑阈值，然后测试灰度图像大小，新建一个相同大小的全0标记图像I3，查找原灰度图中的每一个像素如果I(i,j)>灯光光斑阈值，则标记图像中对应点位置设为1，即为粗选的光斑区域。其中I(i,j)为图像对应行列位置的灰度值。

第三步，将光斑区域标记图像I3进行3次处理半径为3的自适应中值滤波，使图像更为平滑。

第四步，标记I3中的连通区域，使用普通质心算法获得质心的位置。计算公式如下：

式中x

第五步，计算光斑半径，然后用接近地面颜色的其他数据遮盖光斑区域进行补偿。灯光光斑在地面上呈现圆形图像，根据圆形面积公式area＝πr

第六步，将第五步补偿后的图像进行灰度值调整后二值化。

第七步，将第六步处理完毕的图像进行10次处理半径为3的自适应中值滤波，去噪。再去掉面积小于2000的小区域，进一步去干扰。

第八步，对第七步处理后的图像再次采用普通质心算法获得质心的位置。

进一步地，所述步骤c中实验使用的软件为MATLAB R2015a。

根据权利要求1所述的基于单目视觉的全自动捡球机器人的捡球方法，其特征在于，所述步骤d中的上位pc机可通过遗传算法、蚁群算法、模拟退火算法等算法对步骤c中得到的乒乓球球心坐标计算出该位置下位机的最佳捡球路径。

进一步地，利用遗传算法时步骤d的具体过程如下:

假设下位机当前坐标位置为1号位置，设置种群规模为200，最大遗传代数为1000，经过选择、交叉、变异后，可求得最短路径，将识别后的图片按上述算法执行后标记路径将标记路径和球心坐标通过无线传输装置传送给下位机的嵌入式芯片内。

进一步地，步骤e的具体过程如下:

下位机的嵌入式芯片根据上位pc机传送的小球质心坐标值及其捡球顺序，根据勾股定理可求得两球心坐标之间的距离。

第一步，设摄像头安装高度为h，安装位置与地面法线所夹角度为Φ，可通过拍摄静态图片实际标定所拍摄区域长度为l，宽度为w。则根据拍摄图片的像素大小可获得图片像素与实际地面位置的对应关系。实际区域的宽度w与拍摄图片宽度成固定比例k。而实际区域的长度l与图片高度的比例为k/cosΦ。则实际地面中两球心距离为：

其中d表示实际地面中两球心距离，x1、x2表示图像中所求两个球心的列坐标，y1、y2表示图像中所求两个球心的行坐标。

第二步，确定两质心之间的距离后，可通过光电码盘等技术手段控制小车行进的距离。设行进路线上相邻的三个质心坐标为(x1,y1)、(x2,y2)、(x3,y3)，在转折位置可通过通过式

如果当前拍摄的图像中没有识别出乒乓球的存在，则可控制小车向前行进l距离，再拍照。

进一步地，所述捡球装置为捡球执行机构采用双齿轮逆向旋转的滚筒式结构，滚动捡球时，两个齿轮逆向旋转，乒乓球的运动路径呈现“S”形。

本发明的优势在于：

本发明设计了一种全自动捡球机器人适用的控制方法，为了减小捡球机器人的体积和成本，机器人的执行机构大多采用嵌入式系统结构。嵌入式结构的主处理器一般分为8位、16位和32位三种。即使是32位芯片也不具备实时快速处理彩色图片的能力。因此，本设计采用安装在小车上的单目视觉摄像头采集图像，然后通过无线传输给PC机。PC机为上位机，根据训练场地的大小，可以配置1-4个捡球小车作为下位机，PC机用于图像识别和最优运行路径规划算法的程序运行。摄像头周期性采集图像传送至上位机，在PC机上使用MATLAB软件通过识别并补偿干扰光斑、降噪、识别小球质心、规划最优路径等一系列算法识别小球位置并规划行进路线。然后将识别出的质心坐标和规划路线顺序无线传送到安装在小车上的嵌入式系统，根据图像和实物的相应尺寸关系，控制小车按照规定路线行进，直至所有的球都捡起在系统确定场地内已经无球或小车球仓已满的情况下，捡球小车会自动回到出发初始点，等待卸球

双齿轮逆向旋转形式的滚筒结构执行捡球动作，采用这种结构方案相比机械手方案效率高。

使用单目相机在节省成本的前提下在PC机上使用MATLAB软件通过识别并补偿干扰光斑、降噪、识别小球质心、规划最优路径等一系列算法进行了精准的识别小球位置并规划行进路线。

附图说明

图1为本发明的系统结构图。

图2为本发明捡球机器人工作流程。

图3为本发明处理过的灰度图片。

图4为本发明步骤c的工作流程。

图5为步骤c遮盖光斑后的图片。

图6为步骤c将二值化图像进一步降噪后的图片。

图7为步骤c中得出乒乓球质心位置的图片。

图8为步骤d规划后的最优路线图；

图9为步骤d另一张照片的规划后的最优路线图；

图10为本发明下位机摄像头安装位置与拍摄区域示意图。

具体实施方式

下面通过结合附图的形式来对本发明的具体实施方式来做进一步的详细的说明，但以下实施例仅列举的是较优选的实施例，其仅起到解释说明的作用来帮助理解本发明，并不能理解为是对本发明作的限定。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

实施例1

如图1-10所示本发明公开了一种基于单目视觉的全自动捡球机器人的捡球方法，所述捡球方法应用于基于单目视觉的全自动捡球机器人，所述基于单目视觉的全自动捡球机器人包括上位pc机和下位机，所述上位PC机和下位机通过无线传输装置连通，所述下位机包括嵌入式芯片，捡球装置，驱动电机和单目视觉摄像头；

该捡球方法如下：

步骤a、上位pc机控制下位机通过驱动电机移动，对地面环境图像进行抓拍，遇到墙壁障碍后自动向右旋转90°；

步骤b、将步骤a中抓拍的地面环境图像实时利用云网络或者无线传输装置传送给上位pc机；

步骤c、上位pc机内的图像处理技术快速的排除单目视觉摄像头拍摄的照片内的干扰，准确的判断当前拍摄图片中的乒乓球的位置得到球心坐标；

步骤d、上位pc机通过步骤c中得到的乒乓球球心坐标规划出该位置下位机的最佳捡球路径，并将规划结果和球心坐标通过无线传输装置传送给下位机的嵌入式芯片内；

步骤e、下位机根据单目摄像头的安装高度和角度将步骤d传送的信息转换为实际的坐标和移动路线，使驱动电机带动下位机按照规划路线移动通过捡球装置进行捡球，若上位pc机传送的数据为空数据则下位机向前移动L距离后再次执行步骤a-e；

步骤f、在所述下位机的移动捡球的过程中，每间10-12秒，重复步骤a-e，判断经过移动捡球之后是否有更佳的捡球方案；

步骤g、当上位pc机传送的数据为空数据累积达到一定的预设次数后则视为所有球均捡取完毕，控制下位机回到储存球仓或当下位机自身捡球仓满仓时，控制下位机回到储存球仓,回到储存球仓内的下位机卸球完毕后等待上位pc机下次指令。

具体操作时上位pc机控制下位机通过驱动电机移动，对地面环境图像进行抓拍，如果下位机遇到墙壁障碍后自动向右旋转90°再进行拍照或者继续移动。

球心坐标识别算法本设计实验用的图片采集于2019年9月27日17：30。所用设备为小米MAX3，摄像头像素为1200万。采集到的图片大小为3024×4032×3。实验使用的电脑处理器为Intel(R)Core(TM)i5-7500 CPU，主频3408MHz，内存4.00GB。实验使用的软件为MATLAB R2015a该房间铺设的地砖颜色很浅，所采用的乒乓球为使用中的乒乓球，即颜色因陈旧或脏斑造成变色或不均匀。采集的时间是傍晚，房间内已打开照明灯。由于本次实验采用的乒乓球为白色，图片中明显有和乒乓球直径相近的灯光光斑干扰。

具体的球心坐标识别算法流程如图4所示。首先将采集到的RBG彩色图片降为灰度图像。经对比验证采用RGB三维数据中的B维分量图像数据相较于其他方法所得到的结果更有利于后续步骤的判定。

第二步设定灯光光斑阈值。由于采集到的图片中乒乓球为白色，故设定阈值为250。然后测试灰度图像大小，新建一个相同大小的全0标记图像I3，查找原灰度图中的每一个像素如果I(i,j)>250则标记图像中对应点位置设为1，即为粗选的光斑区域。其中I(i,j)为图像对应行列位置的灰度值。若采用的乒乓球为黄色球，则通过颜色判断更容易判别光斑区域。

第三步将光斑区域标记图像I3进行3次处理半径为3的自适应中值滤波，使图像更为平滑。

第四步标记I3中的连通区域，使用普通质心算法获得质心的位置[4-6]。计算公式如下：

式中x

第五步是计算光斑半径，然后用接近地面颜色的其他数据遮盖光斑区域进行补偿。灯光光斑在地面上呈现圆形图像，根据圆形面积公式area＝πr2可计算出光斑半径，面积在上一步计算质心坐标时就能得到。遮盖光斑后，图像如图5所示。

第六步将补偿后的图像进行灰度值调整后二值化。实验处理中将0.5到0.75之间的灰度扩展到0至1整个范围，将乒乓球颜色所在区域灰度加强。然后再以0.8为阈值进行二值化。

第七步将上一步处理完毕的图像进行10次处理半径为3的自适应中值滤波，去噪。再去掉面积小于2000的小区域，进一步去干扰。处理后图像如图6所示。

第八步对上一步处理后的图像采用普通质心算法获得质心的位置。处理后的结果如图7所示。明显可看出实验图片有9个乒乓球，执行算法后找到的具体质心坐标如表1所示。

表1执行算法后得到的乒乓球质心坐标

由图7可看出，由于灯光、阴影、乒乓球表面脏斑等问题，通过上述算法找到的个别乒乓球质心坐标有明显偏差。但根据国际国际乒联手册(2016)规定，通用乒乓球的直径为40.00mm。上述质心算法可能产生的最大误差小于10mm。而制作的捡球小车捡球机构，宽度为170.00mm，显然误差不影响捡球执行机构的运作。

最佳轨迹寻找算法找到每个乒乓球的质心坐标后，下一步是要规划一个最短路径用以捡球机器人高效快捷的运行。寻找最短路径的算法属于经典的“旅行商问题”，处理该问题的算法很多，例如遗传算法、蚁群算法、模拟退火算法等[8-11]。考虑到实际应用时对最优化程度和执行时间要求并不高，本设计采用遗传算法解决问题。设小车当前坐标位置为1号位置即(2016，，3024)，设置种群规模为200，最大遗传代数为1000，经过选择、交叉、变异后，可求得最短路径1→6→9→8→10→7→5→4→2→3。将识别后的图片按上述算法执行后标记路径行进顺序如表2所示，路线图如图8所示。

用上述算法处理另一张图片，结果如图9所示。小车实际执行捡球时，由于每次拍摄图片时乒乓球数量随机，路线各异，捡球速度是不定的，且整个算法是周期性拍摄识别并控制的，因此捡球机器人并不是完全按照识别的最优路线方案行走完毕，而是动态调整的。

上位机将处理好的乒乓球质心坐标和规划好的最短路径通过蓝牙无线模块传送至安装在小车上的下位机。

小车嵌入式芯片处理思路小车上的嵌入式系统根据上位机传送的小球质心坐标值及其顺序，根据勾股定理可求得两球心坐标之间的距离。

设摄像头安装高度为h，安装位置与地面法线所夹角度为Φ，如图10所示。可通过拍摄静态图片实际标定所拍摄区域长度为l，宽度为w。则根据拍摄图片的像素大小可获得图片像素与实际地面位置的对应关系。显然，实际区域的宽度w与拍摄图片宽度成固定比例k。而实际区域的长度i与图片高度的比例为k/cosΦ。则实际地面中两球心距离为：

其中d表示实际地面中两球心距离，x1、x2表示图像中所求两个球心的列坐标，y1、y2表示图像中所求两个球心的行坐标。为了使拍摄的图像清晰，拍摄图片时小车处于静止状态[13]。

确定两质心之间的距离后，可通过光电码盘等技术手段控制小车行进的距离。设行进路线上相邻的三个质心坐标为(x1,y1)、(x2,y2)、(x3,y3)，在转折位置可通过通过式

捡球小车从初始位置出发，周期性拍摄图像用于小球位置判别和行进路径规划。如果当前拍摄的图像中没有识别出乒乓球的存在，则可控制小车向前行进l距离，再拍照，遇到墙壁障碍后向右旋转90°，若持续一段时间未找到乒乓球，则视为所有球均减取完毕，可控制小车回到初始位置。

本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型，对其进行简单的组合变化都列为本发明的保护之内。