掌桥专利:专业的专利平台
掌桥专利
首页

一种基于全角度模板识别的机器人喷涂系统及方法

文献发布时间:2023-06-19 16:06:26



技术领域

本发明涉及生产制造的技术领域,特别是一种基于全角度模板识别的机器人喷涂系统及方法。

背景技术

在实际的生产过程中,有需要对物体进行喷涂加工,在喷涂加工过程中,需要先对待喷涂的目标物进行识别,当识别到相应的物体和角度时才能开始喷涂。现有的识别技术通常采用识别模板来匹配物体,且通常只具备一个或两个模板,经常会出现因为识别角度不全导致识别精度较差,无法识别物体,影响喷涂顺利进行,喷涂过程中也会发生喷涂不到位的情况。

发明内容

针对上述缺陷,本发明的目的在于提出一种基于全角度模板识别的机器人喷涂系统及方法,能够精确识别目标物,且实现在喷涂一次之后能对喷涂效果进行检测,具有提高产品的喷涂质量的效果。

为达此目的,本发明采用以下技术方案:

一种基于全角度模板识别的机器人喷涂系统,包括机器人本体,所述机器人本体上设有至少一组第一机械臂和第二机械臂;

所述第一机械臂上配置有模板制作模块、信息采集模块、第一识别模块和第一执行模块;

所述第二机械臂上配置有第二识别模块和第二执行模块;

所述模板制作模块用于以参照物为对象制作全角度模板并存储至所述第一识别模块,所述全角度模板包括360个模板,每个模板对应一个角度;

所述信息采集模块用于采集输送线上将要喷涂的物体的图像信息;

所述第一识别模块用于将所述信息采集模块采集到的图像信息与全角度模板的特征信息进行匹配识别,判断是否存在某一角度的模板的特征信息与所述图像信息相互匹配,若是,则当前物体为待喷涂的目标物,对应该角度的模板为匹配模板;

所述第一执行模块用于接收所述第一识别模块的识别结果,并获取所述匹配模板中对应待喷涂目标物的至少一个喷涂区域的喷涂信息,根据喷涂信息生成每个喷涂区域的至少一种喷涂指令,依据喷涂指令对目标物进行喷涂操作;

所述第二识别模块用于检测第一次喷涂是否正确,获取检测结果,所述检测结果包括实际喷涂区域与预定区域一致或不一致,将检测结果发送至第二执行模块;

所述第二执行模块用于解析所述检测结果,当解析到实际喷涂区域与预定区域一致时,执行第二喷涂操作,或当解析到实际喷涂区域与预定区域不一致时,执行擦除操作或触发第一执行模块执行补喷操作。

优选的,所述第一执行模块包括指令生成子模块、指令发送子模块及第一喷涂子模块,所述指令生成子模块、指令发送子模块及第一喷涂子模块信号连接;

所述指令生成子模块用于获取所述匹配模板对应的喷涂信息,根据匹配模板的喷涂信息生成相应的喷涂方案;指令发送子模块用于将喷涂方案发送至第一喷涂子模块,第一喷涂子模块对目标物进行第一次喷涂;

所述第二识别模块包括图像检测子模块和图像计算子模块;

所述图像检测子模块用于检测实际已喷涂的区域,所述图像计算子模块用于计算并比较实际已喷涂的区域与喷涂方案的拟喷涂区域是否一致;一致的标准为实际喷涂区域与预定的区域面积大小一致,不一致的标准为实际喷涂区域与预定的区域面积大小不一致;

所述第二执行模块包括第二喷涂子模块和擦除子模块,所述第二喷涂子模块用于当结果为区域一致时执行第二喷涂操作;第一喷涂子模块用于当结果为第一次喷涂的实际区域比预定的喷涂区域小时,执行补喷操作,擦除子模块用于当结果为第一次喷涂的实际区域超出预定的喷涂区域时,执行擦除操作。

优选的,所述模板制作模块还用于提取每个模板的特征信息:

对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化,得到对应每一个模板的角度图像矩阵,并将角度图像矩阵转换成梯度幅值图像矩阵;

设定梯度幅值阈值,对梯度幅值图像矩阵进行遍历,找出梯度幅值图像矩阵中的最大梯度幅值的像素点,判断最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值,若是,则将该像素点标记为识别特征;

设定数量阈值,获取所有识别特征的数量,判断所有识别特征的数量是否大于数量阈值,若是,则将所有识别特征加入到特征点集合中并保存至存储器。

优选的,所述第一识别模块还用于对采集到的目标物的图像信息进行特征提取:对目标物的图像信息进行梯度提取和量化,创建两层金字塔,分别对每层金字塔进行梯度扩散,得到对应目标物图像的扩散梯度矩阵图;计算方向响应矩阵图,获取每一层金字塔的线性内存数据容器;

设定阈值,根据模板的特征信息和目标物的特征信息,将目标物的特征与上述多个模板的特征进行特征匹配,并进行分数计算,当分数达到阈值时,匹配完成。

优选的,所述指令生成子模块还用于根据第一识别模块的识别结果的喷涂信息生成相应的喷涂方案:

获取所匹配的模板的喷涂信息,包括图案、颜色、区域坐标;

获取目标物的三维投影视图,包括主视图、俯视图和左视图,根据所述三维投影视图确定所述目标物的多个待喷涂面;

将所述模板的喷涂信息作为对应目标物的喷涂参数,根据所述喷涂参数和所述三维投影视图确定所述多个待喷涂面的每一个面的喷涂节点,并得到所述喷涂节点的二维点坐标;

根据所述三维投影视图的各视图的二维点坐标的对应关系,计算每一个待喷涂面的喷涂节点对应的三维坐标;

根据每个喷涂节点的三维坐标和与其相邻的节点的三维坐标,计算每个喷涂节点的法向量,所述法向量表示所述喷枪在对应喷涂节点的空间状态;

根据喷涂节点的三维坐标生成待喷涂面的喷涂轨迹;

对所述喷涂轨迹进行空间拟合,以得到拟合喷涂轨迹;

根据所述喷涂节点的拟合喷涂轨迹和法向量,计算第一喷枪的喷涂轨迹和法向量,以得到对于目标物的第一喷涂区域的喷涂方案。

一种基于全角度模板识别的机器人喷涂方法,应用于上文所述的一种基于全角度模板识别的机器人喷涂系统,所述喷涂系统包括机器人本体,所述机器人本体上设有至少一组第一机械臂和第二机械臂,所述喷涂方法包括以下步骤:

步骤A0:制作参照物的全角度的多个模板,并提取每个模板的特征信息;

步骤A1:采集待喷涂的目标物的图像信息;

步骤A2:将采集到的图像信息与全角度模板的特征信息进行匹配识别,判断是否存在某一角度的模板的特征信息与所述图像信息相互匹配,若是,则当前物体为待喷涂的目标物,对应该角度的模板为匹配模板;

步骤A3:获取所述匹配模板中对应待喷涂目标物的至少一个喷涂区域的喷涂信息,根据喷涂信息生成每个喷涂区域的至少一种喷涂指令,依据喷涂指令控制第一机械臂或第二机械臂对目标物进行喷涂操作;

步骤A4:在控制第一机械臂执行第一次喷涂操作后,检测第一次喷涂后的实际喷涂区域与预定区域是否一致,若一致,则控制第二机械臂执行第二次喷涂操作,若不一致,则控制第一机械臂执行补喷操作或控制第二机械臂执行擦除操作。

优选的,所述步骤A0中,提取每个模板的特征信息,具体步骤如下:

步骤A01:对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化,得到对应每一个模板的角度图像矩阵,并将角度图像矩阵转换成梯度幅值图像矩阵;

步骤A02:设定梯度幅值阈值,对梯度幅值图像矩阵进行遍历,找出梯度幅值图像矩阵中的最大梯度幅值的像素点,判断最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值,若是,则将该像素点标记为识别特征;

步骤A03:设定数量阈值,获取所有识别特征的数量,判断所有识别特征的数量是否大于数量阈值,若是,则将所有识别特征加入到特征点集合中并保存至存储器。

优选的,所述步骤A2包括:

步骤A21:对采集到的目标物的图像信息进行特征提取:对目标物的图像信息进行梯度提取和量化,创建两层金字塔,分别对每层金字塔进行梯度扩散,得到对应目标物图像的扩散梯度矩阵图;计算方向响应矩阵图,获取每一层金字塔的线性内存数据容器;

步骤A22:设定阈值,根据模板的特征信息和目标物的特征信息,将目标物的特征与上述多个模板的特征进行特征匹配,并进行分数计算,当分数达到阈值时,匹配完成。

优选的,所述步骤A3中,根据喷涂信息生成每个喷涂区域的至少一种喷涂指令,包括以下步骤:

步骤A31:获取所匹配的模板的喷涂信息,包括图案、颜色、区域坐标;

步骤A32:获取目标物的三维投影视图,包括主视图、俯视图和左视图,根据所述三维投影视图确定所述目标物的多个待喷涂面;

步骤A33:将所述模板的喷涂信息作为对应目标物的喷涂参数,根据所述喷涂参数和所述三维投影视图确定所述多个待喷涂面的每一个面的喷涂节点,并得到所述喷涂节点的二维点坐标;

步骤A34:根据所述三维投影视图的各视图的二维点坐标的对应关系,计算每一个待喷涂面的喷涂节点对应的三维坐标;

步骤A35:根据每个喷涂节点的三维坐标和与其相邻的节点的三维坐标,计算每个喷涂节点的法向量,所述法向量表示所述喷枪在对应喷涂节点的空间状态;

步骤A36:根据喷涂节点的三维坐标生成待喷涂面的喷涂轨迹;

步骤A37:对所述喷涂轨迹进行空间拟合,以得到拟合喷涂轨迹;

步骤A38:根据所述喷涂节点的拟合喷涂轨迹和法向量,计算第一喷枪的喷涂轨迹和法向量,以得到对于目标物的第一喷涂区域的喷涂方案。

优选的,在所述步骤A4中,还包括:

步骤A41:获取所述匹配模板对应的喷涂信息以生成喷涂方案,基于喷涂方案执行第一次喷涂操作;

步骤A42:在执行第一次喷涂操作后,计算并比较实际已喷涂的区域与喷涂方案的拟喷涂区域的面积大小是否一致,若是,则基于喷涂方案执行第二次喷涂操作,若否,则执行步骤A43;

步骤A43:当第一次喷涂的实际区域比预定的喷涂区域小时,执行补喷涂操作;当第一次喷涂的实际区域超出预定的喷涂区域时,执行擦除操作。

上述技术方案包括以下有益效果:

在本实施例中,在喷涂之前,首先运用摄像头获取参照物的全角度的图像作为模板,其中,全角度为360个方位角度的图像,对应每一个角度采集一个模板,一共具有360个模板,参照物可理解为对应目标物的喷涂样板,之后再在实际生产中对待喷涂的目标物进行图像采集,则对于目标物的每一个角度都有相应的模板可供配对,若能配对,则识别成功,可以对目标物进行喷涂,避免了喷涂时目标物识别不成功,影响喷涂的精度和效率。

对同一个目标物,可以使用两个机械臂进行喷涂,也可以设置多于两个机械臂,只需满足每两个机械臂为一组,实现在喷涂一次之后能对喷涂效果进行检测,能够提高产品的质量,边喷涂边检查,无需在喷涂之后再统一检查,具有提高喷涂效率的优点。

附图说明

图1是本发明中方法的一个实施例流程图;

图2是本发明中系统的一个实施例的结构示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。

在本发明的描述中,需要理解的是,术语“纵向”、“横向”“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,用于区别描述特征,无顺序之分,无轻重之分。

在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。

在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。

下面结合图1至图2描述本发明实施例的一种基于全角度模板识别的机器人喷涂系统及方法:

一种基于全角度模板识别的机器人喷涂系统,包括机器人本体,所述机器人本体上设有至少一组第一机械臂和第二机械臂;

所述第一机械臂上配置有模板制作模块、信息采集模块、第一识别模块和第一执行模块;

所述第二机械臂上配置有第二识别模块和第二执行模块;

所述模板制作模块用于以参照物为对象制作全角度模板并存储至所述第一识别模块,所述全角度模板包括360个模板,每个模板对应一个角度;

所述信息采集模块用于采集输送线上将要喷涂的物体的图像信息;

所述第一识别模块用于将所述信息采集模块采集到的图像信息与全角度模板的特征信息进行匹配识别,判断是否存在某一角度的模板的特征信息与所述图像信息相互匹配,若是,则当前物体为待喷涂的目标物,对应该角度的模板为匹配模板;

所述第一执行模块用于接收所述第一识别模块的识别结果,并获取所述匹配模板中对应待喷涂目标物的至少一个喷涂区域的喷涂信息,根据喷涂信息生成每个喷涂区域的至少一种喷涂指令,依据喷涂指令对目标物进行喷涂操作;

所述第二识别模块用于检测第一次喷涂是否正确,获取检测结果,所述检测结果包括实际喷涂区域与预定区域一致或不一致,将检测结果发送至第二执行模块;

所述第二执行模块用于解析所述检测结果,当解析到实际喷涂区域与预定区域一致时,执行第二喷涂操作,或当解析到实际喷涂区域与预定区域不一致时,执行擦除操作或触发第一执行模块执行补喷操作。

具体的,在实际的生产过程中,有需要对物体进行喷涂加工,在喷涂加工过程中,需要先对输送线上的物体进行识别,识别成功后才能开始喷涂。现有的识别技术通常采用识别模板来匹配物体,且通常只具备一个或两个模板,经常会出现因为识别角度不全导致识别精度较差,无法识别物体,影响喷涂顺利进行,喷涂过程中也会发生喷涂不到位的情况,比如喷涂出界或喷涂不完整。

具体的,在本实施例中,模板制作模块预先采集参照物的全角度模板并对模板进行特征提取,再通过信息采集模块在实际喷涂过程中获取输送线上将要喷涂的物体的图像信息,通过将物体与模板进行特征匹配,对物体进行识别。信息采集模块采集到物体的图像信息后,将图像信息传至第一识别模块,第一识别模块对图像信息进行特征提取等处理,并且对预先采集到的模板也进行特征提取等处理,根据物体的图像信息和模板的图像信息,进行特征匹配,若匹配,则此物体为待喷涂的目标物,对应的模板为匹配模板。

信息采集模块和第一识别模块联合判断当前物体是否为目标物,若是,则能得到喷涂方案,喷涂方案包含有第一次喷涂和第二次喷涂的方案。

第一执行模块用于执行第一喷涂方案,第一执行模块配置有第一机械臂,所述第一机械臂执行第一次喷涂操作,形成第一喷涂区域;第二执行模块配置有第二机械臂,第一次喷涂完毕后,第二机械臂对目标物进行第二次喷涂,第二识别模块先对第一喷涂区域进行检测,判断第一次喷涂作业是否满足要求,再调用第二机械臂对目标物进行喷涂作业。其中,第二识别模块执行对第一喷涂区域的检测,得到两个结果,为实际喷涂区域与预定区域一致或区域不一致;分别对应两个结果实施不同的喷涂方案。

对同一个目标物,可以使用两个机械臂进行喷涂,也可以设置多于两个机械臂,只需满足每两个机械臂为一组,实现在喷涂一次之后能对喷涂效果进行检测,能够提高产品的质量,边喷涂边检查,无需在喷涂之后再统一检查,具有提高喷涂效率的优点。

具体的,信息采集模块可以为摄像机,用于采集图像;第一识别模块可以为图像处理器,可以进行图像特征提取与匹配。

优选的,所述第一执行模块包括指令生成子模块、指令发送子模块及第一喷涂子模块,所述指令生成子模块、指令发送子模块及第一喷涂子模块信号连接;

所述指令生成子模块用于获取所述匹配模板对应的喷涂信息,根据匹配模板的喷涂信息生成相应的喷涂方案;指令发送子模块用于将喷涂方案发送至第一喷涂子模块,第一喷涂子模块对目标物进行第一次喷涂;

所述第二识别模块包括图像检测子模块和图像计算子模块;

所述图像检测子模块用于检测实际已喷涂的区域,所述图像计算子模块用于计算并比较实际已喷涂的区域与喷涂方案的拟喷涂区域是否一致;一致的标准为实际喷涂区域与预定的区域面积大小一致,不一致的标准为实际喷涂区域与预定的区域面积大小不一致;

所述第二执行模块包括第二喷涂子模块和擦除子模块,所述第二喷涂子模块用于当结果为区域一致时执行第二喷涂操作;第一喷涂子模块用于当结果为第一次喷涂的实际区域比预定的喷涂区域小时,执行补喷操作,擦除子模块用于当结果为第一次喷涂的实际区域超出预定的喷涂区域时,执行擦除操作。

具体的,第二识别模块检测第一次喷涂是否正确,包括以下步骤:输入第一喷涂区域的喷涂方案;图像检测子模块检测实际已喷涂的区域;图像计算子模块计算实际已喷涂的区域与喷涂方案的拟喷涂区域的大小,进行比较,若实际已喷涂的区域比拟喷涂区域较大,则判断喷涂出界,若实际已喷涂的区域比拟喷涂区域较小,则判断喷涂不到位,输出对比结果。

擦除子模块用于对第一次喷涂时超出预定区域的喷涂位置进行擦除,擦除子模块包括擦头和清洗喷头,清洗喷头可喷出清洗剂,先将清洗剂对准超出的区域进行喷洒,再控制擦头对已喷涂清洗剂的区域进行擦除。第二机械臂为设置有清洗喷头和擦头的机械臂,以上擦除子模块均为现有技术。

在喷涂作业时先将目标物的待喷涂区分割成两块,也可以按照机械臂的数量分割为偶数块。当喷涂出界时调用擦除子模块;当判断第一次喷涂不到位时,第一机械臂先对缺陷块进行补涂,第二机械臂再进行第二喷涂区域的喷涂。

所述第一喷涂子模块和第二喷涂子模块均包括如下部分:机械臂本体、喷枪、压缩气瓶、油漆输送管和油漆泵,喷枪设于机械臂本体的末端,用于对准目标物并进行喷涂;压缩气瓶、油漆输送管和油漆泵设于喷涂机器人上,油漆泵用于储存喷涂用的颜料,油漆输送管连通油漆泵与喷枪,压缩气瓶用于将油漆泵内的颜料通过油漆输送管提取至喷枪喷出。

具体的,当第一喷涂子模块或第二喷涂子模块接收到喷涂指令后,压缩气瓶启动,将油漆泵内的颜料通过油漆输送管提取至喷枪,喷枪喷出颜料至目标物的对应位置上。

优选的,所述模板制作模块还用于提取每个模板的特征信息:

对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化,得到对应每一个模板的角度图像矩阵,并将角度图像矩阵转换成梯度幅值图像矩阵;

设定梯度幅值阈值,对梯度幅值图像矩阵进行遍历,找出梯度幅值图像矩阵中的最大梯度幅值的像素点,判断最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值,若是,则将该像素点标记为识别特征;

设定数量阈值,获取所有识别特征的数量,判断所有识别特征的数量是否大于数量阈值,若是,则将所有识别特征加入到特征点集合中并保存至存储器。

优选的,所述第一识别模块还用于对采集到的目标物的图像信息进行特征提取:对目标物的图像信息进行梯度提取和量化,创建两层金字塔,分别对每层金字塔进行梯度扩散,得到对应目标物图像的扩散梯度矩阵图;计算方向响应矩阵图,获取每一层金字塔的线性内存数据容器;

设定阈值,根据模板的特征信息和目标物的特征信息,将目标物的特征与上述多个模板的特征进行特征匹配,并进行分数计算,当分数达到阈值时,匹配完成。

优选的,所述指令生成子模块还用于根据第一识别模块的识别结果的喷涂信息生成相应的喷涂方案:

获取所匹配的模板的喷涂信息,包括图案、颜色、区域坐标;

获取目标物的三维投影视图,包括主视图、俯视图和左视图,根据所述三维投影视图确定所述目标物的多个待喷涂面;

将所述模板的喷涂信息作为对应目标物的喷涂参数,根据所述喷涂参数和所述三维投影视图确定所述多个待喷涂面的每一个面的喷涂节点,并得到所述喷涂节点的二维点坐标;

根据所述三维投影视图的各视图的二维点坐标的对应关系,计算每一个待喷涂面的喷涂节点对应的三维坐标;

根据每个喷涂节点的三维坐标和与其相邻的节点的三维坐标,计算每个喷涂节点的法向量,所述法向量表示所述喷枪在对应喷涂节点的空间状态;

根据喷涂节点的三维坐标生成待喷涂面的喷涂轨迹;

对所述喷涂轨迹进行空间拟合,以得到拟合喷涂轨迹;

根据所述喷涂节点的拟合喷涂轨迹和法向量,计算第一喷枪的喷涂轨迹和法向量,以得到对于目标物的第一喷涂区域的喷涂方案。

一种基于全角度模板识别的机器人喷涂方法,应用于任一项如上文所述的一种基于全角度模板识别的机器人喷涂系统,所述喷涂系统包括机器人本体,所述机器人本体上设有至少一组第一机械臂和第二机械臂,所述喷涂方法包括以下步骤:

步骤A0:制作参照物的全角度的多个模板,并提取每个模板的特征信息;

步骤A1:采集待喷涂的目标物的图像信息;

步骤A2:将采集到的图像信息与全角度模板的特征信息进行匹配识别,判断是否存在某一角度的模板的特征信息与所述图像信息相互匹配,若是,则当前物体为待喷涂的目标物,对应该角度的模板为匹配模板;

步骤A3:获取所述匹配模板中对应待喷涂目标物的至少一个喷涂区域的喷涂信息,根据喷涂信息生成每个喷涂区域的至少一种喷涂指令,依据喷涂指令控制第一机械臂或第二机械臂对目标物进行喷涂操作;

步骤A4:在控制第一机械臂执行第一次喷涂操作后,检测第一次喷涂后的实际喷涂区域与预定区域是否一致,若一致,则控制第二机械臂执行第二次喷涂操作,若不一致,则控制第一机械臂执行补喷操作或控制第二机械臂执行擦除操作。

具体的,在实际的喷涂生产过程中,需要先对待喷涂的目标物进行识别,当识别到相应的物体和角度时才能开始喷涂。现有的识别技术通常采用识别模板来匹配物体,且通常只具备一个或两个模板,当待识别的目标物的位置发生偏移时,只用一两个模板会导致无法识别,或因为识别角度不全的问题导致识别精度较差,无法精确地根据识别的位置对物体进行喷涂,导致喷涂的效果和效率较差。

在本实施例中,在喷涂之前,首先运用摄像头获取参照物的全角度的图像作为模板,其中,全角度为360个方位角度的图像,对应每一个角度采集一个模板,一共具有360个模板,参照物可理解为对应目标物的喷涂样板,之后再在实际生产中对待喷涂的目标物进行图像采集,则对于目标物的每一个角度都有相应的模板可供配对,若能配对,则识别成功,可以对目标物进行喷涂,避免了喷涂时目标物识别不成功,影响喷涂的精度和效率。

具体的,在本实施例中,信息采集模块采集到目标物的图像信息后,将图像信息传至第一识别模块,并进行特征匹配,选出匹配的模板,向第一执行模块发送信号,指令生成子模块生成喷涂方案,通过指令发送子模块发送喷涂方案至第一喷涂子模块,第一喷涂子模块对目标物进行第一次喷涂,形成第一喷涂区域。第一次喷涂完毕后,第二机械臂对目标物进行第二次喷涂,第二识别模块先对第一喷涂区域进行检测,判断第一次喷涂作业是否满足要求,再调用第二执行模块对目标物进行喷涂作业。

优选的,所述步骤A0中,提取每个模板的特征信息,具体步骤如下:

步骤A01:对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化,得到对应每一个模板的角度图像矩阵,并将角度图像矩阵转换成梯度幅值图像矩阵;

步骤A02:设定梯度幅值阈值,对梯度幅值图像矩阵进行遍历,找出梯度幅值图像矩阵中的最大梯度幅值的像素点,判断最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值,若是,则将该像素点标记为识别特征;

步骤A03:设定数量阈值,获取所有识别特征的数量,判断所有识别特征的数量是否大于数量阈值,若是,则将所有识别特征加入到特征点集合中并保存至存储器。

具体的,对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化的过程如下:

通过sobel计算梯度图像的梯度,若模板图为三通道图像,则由X和Y方向的梯度求平方和非最大抑制算法提取出单通道梯度幅值最大值图像矩阵;

由X和Y方向的梯度图像矩阵得到角度图像矩阵;

角度图像矩阵范围从0-360度量化成1-15的整数,再继续对7取余数进行8个方向量化,取幅度图像矩阵中大于阈值的像素,然后取该像素领域3*3对应的量化图像矩阵,构成直方图,取领域多于5个相同方向,并对该方向进行赋值,并对索引进行00000001~10000000的移位编码;

其中所述梯度幅值最大值图像矩阵计算公式如下:

x代表位置,

在梯度量化完毕之后,对梯度幅值最大值图像矩阵进行遍历,找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点,若在领域中找出最大梯度幅值的像素点,则将领域中除去最大梯度幅值的像素点以外的像素点的梯度幅值设置为零;

判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值,若是,则将该像素点标记为识别特征;

获取所有识别特征的数量,判断所有识别特征的数量是否大于数量阈值,若是,则将所有识别特征加入到特征点集合中并保存至所述存储器;若否,则判断识别特征在距离数量阈值的范围内是否存在至少另一识别特征,若存在,则对该识别特征以及距离数量阈值内的识别特征进行剔除,若不存在,则将该识别特征保存至所述存储器。

优选的,所述步骤A2包括:

步骤A21:对采集到的目标物的图像信息进行特征提取:对目标物的图像信息进行梯度提取和量化,创建两层金字塔,分别对每层金字塔进行梯度扩散,得到对应目标物图像的扩散梯度矩阵图;计算方向响应矩阵图,获取每一层金字塔的线性内存数据容器;

步骤A22:设定阈值,根据模板的特征信息和目标物的特征信息,将目标物的特征与上述多个模板的特征进行特征匹配,并进行分数计算,当分数达到阈值时,匹配完成。

具体的,步骤A21中,对目标物的图像进行梯度提取和量化,过程大致和上述对于模板的梯度量化训练过程一致:获取金字塔的梯度扩散平移数值大小,获取第一层金字塔线性内存数据容器;对目标物的图像量化梯度进行4*4的范围内按位平移,得到梯度扩散的目标物图像的扩散梯度矩阵图;创建对应8个方向的8个响应梯度矩阵图,构成一个list数据容器;为了满足MIPP并行计算,将8个方向分为前四个方向和后四个方向,并分别创建梯度方向矩阵;通过与操作,将目标物图像的梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图;通过事先计算好的8个方向的各种组合的查找表,表元素一共有8*(16+16)个,得到每部分角度与当前角度的最大相似度,然后取前后两部分中的最大值,对每个像素遍历,得到某个方向的一张相似度响应矩阵图,即8个方向,就有8个相似度响应矩阵图。

对于每层金字塔,创建8个相似度矩阵数据容器,将8个相似度矩阵图转成16阶或64阶的方式进行线性化存储在连续的内存中,方便后续匹配的访问速度;即转化成8个16阶或64阶的线性相似度响应图;将采集的目标物图像分为两层金字塔,分别通过梯度扩散,计算方向响应矩阵图,存入线性内存,得到两个8方向的线性内存。

进一步的,步骤A22中,取一个模板的两层金字塔对应的特征相关数据,取目标物图像的底层金字塔8个方向的相似度矩阵图,根据模板特征点信息找到对应方向的线性内存访问入口,通过计算得到的模板位置范围信息迭代循环,通过MIPP累加计算相应位置的相似度,得到一个第二层金字塔对应的模板与目标物图像特征点方向的相对应相似度响应矩阵图的匹配相似度矩阵;

通过对模板的所有特征点信息,得到所有该模板的MIPP累加匹配相似度矩阵,即模板第二层金字塔匹配相似度矩阵;

迭代该相似度矩阵,将该相似度矩阵内所有元素转换成100制,根据设置的相似度分数阈值,选取大于相似度分数阈值的点的位置和分数等信息,存入相应数据容器。

根据模板第二层金字塔选取的点位置等信息以及模板第一层模板的特征点信息,选取第一层目标物图像的8个方向的某个方向的线性相似度矩阵图,并找到第一层目标物图像的矩阵图的某个方向的线性内存访问入口,由于受SIMD限制,选16*16,计算相似度矩阵。将该相似度矩阵转换成100分制,并找出分数最高的位置信息,同时更新底层金字塔对应的匹配信息。如此迭代循环,得到优化后的匹配位置和分数等信息。根据设置匹配得分阈值,删选掉一些得分低于阈值的优化后的匹配位置和分数信息结构数据。

按照此流程,完成360个模板的迭代处理,得到一系列的模板匹配信息。最后对一系列的匹配到的一系列模板数据信息按照分数排序,并删除掉重复匹配到的模板位置和分数信息,得到最终的一系列模板位置和分数等信息,此时基本完成了模板的匹配。

离线计算8个相似度梯度方向的查找表公式:

其中,i是量化方向的索引,L是各方向的集合,这些方向的集合是出现在梯度方向i的一个邻域内的,以整数表示,以作为查找表的索引。

相似度响应矩阵图计算公式:

相似度计算公式:

计算c+r位置处的相似度,

优选的,所述步骤A3中,根据喷涂信息生成每个喷涂区域的至少一种喷涂指令,包括以下步骤:

步骤A31:获取所匹配的模板的喷涂信息,包括图案、颜色、区域坐标;

步骤A32:获取目标物的三维投影视图,包括主视图、俯视图和左视图,根据所述三维投影视图确定所述目标物的多个待喷涂面;

步骤A33:将所述模板的喷涂信息作为对应目标物的喷涂参数,根据所述喷涂参数和所述三维投影视图确定所述多个待喷涂面的每一个面的喷涂节点,并得到所述喷涂节点的二维点坐标;

步骤A34:根据所述三维投影视图的各视图的二维点坐标的对应关系,计算每一个待喷涂面的喷涂节点对应的三维坐标;

步骤A35:根据每个喷涂节点的三维坐标和与其相邻的节点的三维坐标,计算每个喷涂节点的法向量,所述法向量表示所述喷枪在对应喷涂节点的空间状态;

步骤A36:根据喷涂节点的三维坐标生成待喷涂面的喷涂轨迹;

步骤A37:对所述喷涂轨迹进行空间拟合,以得到拟合喷涂轨迹;

步骤A38:根据所述喷涂节点的拟合喷涂轨迹和法向量,计算第一喷枪的喷涂轨迹和法向量,以得到对于目标物的第一喷涂区域的喷涂方案。

优选的,在所述步骤A4中,还包括:

步骤A41:获取所述匹配模板对应的喷涂信息以生成喷涂方案,基于喷涂方案执行第一次喷涂操作;

步骤A42:在执行第一次喷涂操作后,计算并比较实际已喷涂的区域与喷涂方案的拟喷涂区域的面积大小是否一致,若是,则基于喷涂方案执行第二次喷涂操作,若否,则执行步骤A43;

步骤A43:当第一次喷涂的实际区域比预定的喷涂区域小时,执行补喷涂操作;当第一次喷涂的实际区域超出预定的喷涂区域时,执行擦除操作。

根据本发明实施例的一种基于全角度模板识别的机器人喷涂系统及方法的其他构成等以及操作对于本领域普通技术人员而言都是已知的,这里不再详细描述。

上述一种基于全角度模板识别的机器人喷涂系统中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备的存储器中,以便于处理器调用执行以上各模块对应的操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。

以上对本发明的具体实施例进行的描述只是为了说明本发明的技术路线和特点,其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施,但本发明并不限于上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰,都应涵盖在本发明的保护范围内。

相关技术
  • 一种基于全角度模板识别的机器人喷涂系统及方法
  • 一种基于手势分布模板动作识别的机器人控制方法和系统
技术分类

06120114702025