绑扎作业机器人控制方法、装置、机器人和存储介质

技术领域

本发明涉及电力安装技术领域，尤其涉及一种绑扎作业机器人控制方法、装置、机器人和存储介质。

背景技术

目前，在架空线路上安装绝缘护套后，需要在绝缘护套上绑扎带，以将绝缘护套固定在架空线上，从而避免绝缘护套脱落。

目前主要采用机器人对绝缘护套绑扎带，但是，现有机器人无法对绑扎带作业完成情况进行及时检测，容易忽略绑扎作业不到位的异常，导致扎带未绑到位、甚至漏绑的情况，造成绝缘护套脱落，架空线裸露，对公共安全造成危害。

发明内容

本发明提供了一种绑扎作业机器人控制方法、装置、机器人和存储介质，以解决现有机器人无法检测扎带绑定情况，导致扎带未绑到位、甚至漏绑的问题。

第一方面，本发明提供了一种绑扎作业机器人控制方法，应用于控制机器人绑扎带，所述机器人设置有摄像头和绑扎数据采集模块，包括：

在机器人执行绑扎作业的过程中，通过所述机器人上的摄像头采集作业图像，以及确定机器人位置，所述作业图像为对所述机器人所绑的扎带采集的图像；

通过所述绑扎数据采集模块采集绑扎带时的绑扎数据；

将所述作业图像和所述绑扎数据输入预先训练的绑扎作业检测模型中，得到绑扎作业结果；

在所述绑扎作业结果为异常时，根据所述机器人位置和所述作业图像确定重作业位置，所述重作业位置为异常绑扎作业的位置；

控制所述机器人移动到所述重作业位置，并在所述重作业位置执行绑扎作业。

第二方面，本发明提供了一种绑扎作业机器人控制装置，应用于控制机器人绑扎带，所述机器人设置有摄像头和绑扎数据采集模块，包括：

图像和位置获取模块，用于在机器人执行绑扎作业的过程中，通过所述机器人上的摄像头采集作业图像，以及确定机器人位置，所述作业图像为对所述机器人所安装的绝缘护套所采集的图像；

绑扎作业检测模块，用于将所述作业图像输入预先训练的绑扎作业检测模型中，得到绑扎作业结果；

重作业位置确定模块，用于在所述绑扎作业结果为异常时，根据所述机器人位置和所述作业图像确定重作业位置，所述重作业位置为异常的绝缘护套的位置；

重作业模块，用于控制所述机器人移动到所述重作业位置，并在所述重作业位置执行绑扎作业。

第三方面，本发明提供了一种绑扎作业机器人，所述绑扎作业机器人包括：

摄像头、绑扎机构、至少一个处理器以及存储器，所述摄像头、所述绑扎机构以及所述存储器均与所述至少一个处理器连接，其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面任一所述的绑扎作业机器人控制方法。

第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明第一方面任一所述的绑扎作业机器人控制方法。

本发明实施例的机器人设置有摄像头和绑扎数据采集模块，在机器人执行绑扎作业的过程中，通过机器人上的摄像头采集作业图像，以及确定机器人位置，通过绑扎数据采集模块采集绑扎带时的绑扎数据，将作业图像和绑扎数据输入预先训练的绑扎作业检测模型中得到绑扎作业结果，在绑扎作业结果为异常时，根据机器人位置和作业图像确定重作业位置，控制机器人移动到重作业位置，并在重作业位置执行绑扎作业。本实施例能够通过作业图像和绑扎数据预测绑扎作业结果，在绑扎作业结果为异常时确定重作业位置，控制机器人在重作业位置执行绑扎作业，机器人在绑扎作业过程中能够自动及时识别绑扎异常和重作业位置，并自动重新执行绑扎作业，提高了绑扎作业的完成度和效率，提升了架空线路上绝缘护套的牢固性，保证了架空线路的安全。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种绑扎作业机器人控制方法的流程图；

图2A是本发明实施例二提供的一种绑扎作业机器人控制方法的流程图；

图2B为绝缘护套和扎带的示意图；

图3是本发明实施例三提供的一种绑扎作业机器人控制装置的结构示意图；

图4是本发明实施例四提供的机器人的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

图1为本发明实施例一提供的一种绑扎作业机器人控制方法的流程图，本实施例可适用于控制架空线路上行走的机器人进行绑扎带的情况，该方法可以由绑扎作业机器人控制装置来执行，该绑扎作业机器人控制装置可以采用硬件和/或软件的形式实现，该绑扎作业机器人控制装置可配置于机器人中。如图1所示，该绑扎作业机器人控制方法包括：

S101、在机器人执行绑扎作业的过程中，通过机器人上的摄像头采集作业图像，以及确定机器人位置，作业图像为对机器人所绑的扎带采集的图像。

本实施例的机器人用于绑扎带，可选地，可以是在绝缘护套上绑扎带的机器人，该机器人上设置有摄像头、定位模块以及绑扎机构，摄像头用于对机器人所绑的扎带采集图像，定位模块用于获取机器人位置。

在机器人作业过程中，可以通过摄像头采集已绑扎带的图像得到作业图像，同时可以通过定位模块获取机器人位置。

S102、通过绑扎数据采集模块采集绑扎带时的绑扎数据。

本实施例的机器人还设置有绑扎数据采集模块，绑扎机构用于绑扎带，绑扎数据采集模块用于采集绑扎带时的拉力、拉动的扎带的长度等数据，当机器人进行绑扎作业时，可以通过绑扎数据采集模块采集绑扎带时的拉力和拉动的扎带的长度。

S103、将作业图像和绑扎数据输入预先训练的绑扎作业检测模型中，得到绑扎作业结果。

绑扎作业检测模型可以是预先训练的、能够从作业图像中识别是否绑扎到位的模型，该绑扎作业检测模型在输入作业图像和绑扎数据后，能够输出作业图像中绑扎到位的概率，其中，绑扎作业检测模型可以是各种神经网络，其可以通过有监督、无监督等方式训练。

S104、在绑扎作业结果为异常时，根据机器人位置和作业图像确定重作业位置，重作业位置为异常绑扎作业的位置。

绑扎作业结果中包括绑扎到位的概率，如果该概率小于预设概率阈值，则该绑扎作业结果为异常绑扎作业，则可以将作业图像中绑扎作业异常的图像位置转换为摄像头坐标系下的位置，再转换为世界坐标系下的位置即可以得到异常绑扎作业的位置。

S105、控制机器人移动到重作业位置，并在重作业位置执行绑扎作业。

具体地，以重作业位置为目标位置，控制生成以目标位置的行走指令，以使得机器人移动到重作业位置，并在该重作业位置重新执行绑扎作业。

本发明实施例的机器人设置有摄像头和绑扎数据采集模块，在机器人执行绑扎作业的过程中，通过机器人上的摄像头采集作业图像，以及确定机器人位置，通过绑扎数据采集模块采集绑扎带时的绑扎数据，将作业图像和绑扎数据输入预先训练的绑扎作业检测模型中得到绑扎作业结果，在绑扎作业结果为异常时，根据机器人位置和作业图像确定重作业位置，控制机器人移动到重作业位置，并在重作业位置执行绑扎作业。本实施例能够通过作业图像和绑扎数据预测绑扎作业结果，在绑扎作业结果为异常时确定重作业位置，控制机器人在重作业位置执行绑扎作业，机器人在绑扎作业过程中能够自动及时识别绑扎异常和重作业位置，并自动重新执行绑扎作业，提高了绑扎作业的完成度和效率，提升了架空线路上绝缘护套的牢固性，保证了架空线路的安全。

实施例二

图2A为本发明实施例二提供的一种绑扎作业机器人控制方法的流程图，本发明实施例在上述实施例一的基础上进行优化，如图2A所示，该绑扎作业机器人控制方法包括：

S201、在机器人执行绑扎作业的过程中，通过机器人上的摄像头采集作业图像，以及确定机器人位置，作业图像为对机器人所绑的扎带采集的图像。

本实施例的机器人上设置有摄像头和定位模块，在机器人作业过程中，可以通过摄像头采集已绑扎带的图像得到作业图像，同时可以通过定位模块获取机器人位置，将该作业图像和机器人位置一一关联，使得每一作业图像和机器人位置一一对应，以方面后续通过作业图像和相应的机器人位置确定已绑的异常的扎带的位置。

S202、通过数据采集模块采集绑扎带时的拉力，以及绑扎带结束时所拉动的扎带的长度，以作为绑扎数据。

如图2B所示，扎带b绑在绝缘护套a上，以将绝缘护套固定在线路上，该扎带b通过拉动将绝缘护套a绑在线路上，则数据采集模块可以包括拉力计和位移传感器，其中，拉力计用于采集绑扎带过程中拉动扎带的拉力F，位移传感器用于测量拉动的扎带的长度L。

S203、将作业图像和绑扎数据输入预先训练的绑扎作业检测模型中，得到绑扎作业结果。

本实施例在训练绑在作业检测模型时，可以先获取训练图像和训练用的绑扎数据，训练图像包括标注有绑扎到位概率的图像，绑扎数据包括绑扎时的拉力和所拉动的扎带的长度，随机提取N张训练图像和对应的N帧绑扎数据输入绑扎作业检测模型中，得到每张训练图像的绑扎作业结果，绑扎作业结果包括预测的绑扎到位概率，以及预测的拉力和长度，根据预测的和标注的绑扎到位概率、拉力以及长度计算损失率，判断损失率是否小于预设的损失率阈值，若是，停止对绑扎作业检测模型进行训练，得到训练好的绑扎作业检测模型，若否，根据损失率对绑扎作业检测模型的参数进行梯度下降，返回随机提取N张训练图像和对应的N帧绑扎数据输入绑扎作业检测模型中的步骤。

其中，可以根据以下损失函数计算损失率：

其中，Good

通过上述损失函数，使得绑在作业模型能够从绑扎时的拉力、拉动扎带的长度以及图像特征学习到预测绑扎到位的概率，并且通过拉力和扎带的长度，模型可以学习到绑扎过程中的物理力学过程，比如绑扎过程中拉力过小、长度过小更能说明扎带未绑到位，并且扎带绑在绝缘护套上和绑在导线上最后紧固时的拉力不同，拉动的长度也不同，从而将图像特征、拉力、长度结合训练模型，使得模型预测扎带是否绑到位更为准确。

S204、在绑扎作业结果为异常时，根据机器人位置和作业图像确定重作业位置，重作业位置为异常绑扎作业的位置。

绑扎作业结果中包括绑扎到位的概率，以及扎带在图像中的图像位置，如果该概率小于预设概率阈值，则该绑扎作业结果为异常绑扎作业，则可以将作业图像中绑扎的图像位置转换为摄像头坐标系下的位置，再转换为世界坐标系下的位置即可以得到异常绑扎作业的位置，具体的坐标系转换可参考现有技术，在此不再详述。

S205、控制机器人移动到重作业位置，并在重作业位置执行绑扎作业。

具体地，以重作业位置为目标位置，控制生成以目标位置的行走指令，以使得机器人移动到重作业位置，并在该重作业位置重新执行绑扎作业。

S206、统计机器人在重作业位置执行绑扎作业的次数。

机器人在重作业位置重新绑定扎带后，可以再次对重绑的扎带采集作业图像，将作业图像输入模型中得到绑扎作业检测结果，如果仍然异常，则重新绑扎带，则可以统计机器人在同一个重作业位置绑扎带的次数。

S207、在次数大于预设的次数阈值时，停止在重作业位置执行绑扎作业。

即在同一个重作业位置绑扎带的次数大于预设的次数阈值时，与可能是机器人出现异常，也有可能是重作业位置处的绝缘护套安装异常，比如，有可能是重作业处漏安装绝缘护套，或者是绝缘护套未完全包卷导线从而导致无法绑扎带，则停止在重作业位置执行绑扎作业。

S208、生成提示信息，并将提示信息和作业图像发送到系统后台。

当在同一个重作业位置绑扎带的次数大于预设的次数阈值时，停止在重作业位置执行绑扎作业之后，还可以生成提示信息，并将提示信息和作业图像发送到系统后台，系统后台的监控人员收到提示信息后可以查看作业图像，通过作业图像查看是是否是绝缘护套安装异常导致的多次重绑作业，若是，则重新安装绝缘护套后再绑扎带，若否，则可能是机器人的绑扎机构出现故障，需对绑扎机构维修后再执行绑扎作业。

在另一个实施例中，还可以在绑扎作业结果为异常时，统计绑扎作业异常的异常总次数以及绑扎作业的绑扎总次数，计算异常总次数与绑扎总次数的比值，在比值大于或等于比值阈值时，停止绑扎作业，并生成绑扎异常信息发送到系统后台，通过计算异常总次数与绑扎总次数的比值，如果该比值过大，说明绑扎异常的比例高，有可能是绑扎机构出现异常，也可能是较长线路上的绝缘护套未安装到位，则停止绑扎作业，并生成包括异常总次数、绑扎总次数的绑扎异常信息发送到系统后台，以便后台监控人员通过所提示的信息确定异常的原因，以及时排除异常的原因。

在另一个实施例中，绑扎作业结果还包括异常的类型，异常的类型可以包括漏绑和未绑到位，则可以统计漏绑扎带的漏绑次数以及绑扎总次数，并计算漏绑次数与绑扎总次数的比值，在比值大于或等于比值阈值时，停止绑扎作业，并生成绑扎异常信息发送到系统后台。在实际应用中，为了更好地固定绝缘护套，可以按照预设间距在绝缘护套上绑扎带，如果漏绑有可能导致绝缘护套容易脱落，当漏绑扎带的漏绑次数与绑扎总次数的比值大于比值阈值时，确定绝缘护套上所绑扎带数量过少，有可能是绑扎机构出现异常，则及时控制机器人停止绑扎作业，并将绑扎异常信息发送到系统后台，系统后台人员可以通过漏绑次数、绑扎总次数确定绑扎机构异常时，及时排除绑扎机构异常。

本实施例的机器人通过摄像头采集作业图像，以及通过绑扎数据采集模块采集绑扎带时的拉力和所拉动的扎带的长度作为绑扎数据，将作业图像和绑扎数据输入预先训练的绑扎作业检测模型中得到绑扎作业结果，在绑扎作业结果为异常时，根据机器人位置和作业图像确定重作业位置，控制机器人移动到重作业位置，并在重作业位置执行绑扎作业，实现了机器人在绑扎作业过程中能够自动及时识别绑扎异常和重作业位置，并自动重新执行绑扎作业，提高了绑扎作业的完成度和效率，提升了架空线路上绝缘护套的牢固性，保证了架空线路的安全。

更进一步地，通过统计同一个重作业位置绑扎带的次数、绑扎的异常总次数、漏绑总次数、绑扎总次数，并计算相关比值以确定是否停止作业，并将统计数据生成提示信息发送系统后台，既能在达到停止作业条件时及时控制机器人停止作业，又能及时统计相关数据发送后台，无线后台监控人员统计数据。

实施例三

图3为本发明实施例三提供的一种绑扎作业机器人控制装置的结构示意图。如图3所示，该绑扎作业机器人控制装置应用于控制机器人绑扎带，所述机器人设置有摄像头和绑扎数据采集模块，包括：

图像和位置获取模块301，用于在机器人执行绑扎作业的过程中，通过所述机器人上的摄像头采集作业图像，以及确定机器人位置，所述作业图像为对所述机器人所安装的绝缘护套所采集的图像；

绑扎数据采集模块302，用于通过所述绑扎数据采集模块采集绑扎带时的绑扎数据；

绑扎作业检测模块303，用于将所述作业图像输入预先训练的绑扎作业检测模型中，得到绑扎作业结果；

重作业位置确定模块304，用于在所述绑扎作业结果为异常时，根据所述机器人位置和所述作业图像确定重作业位置，所述重作业位置为异常的绝缘护套的位置；

重作业模块305，用于控制所述机器人移动到所述重作业位置，并在所述重作业位置执行绑扎作业。

可选地，所述绑扎数据采集模块302包括：

扎带拉力和长度采集模块，用于通过所述数据采集模块采集绑扎带时的拉力，以及绑扎带结束时所拉动的扎带的长度。

可选地，所述绑扎作业检测模型通过以下模块训练：

训练数据获取模块，用于获取训练图像和训练用的绑扎数据，所述训练图像包括标注有绑扎到位概率的图像，所述绑扎数据包括绑扎时的拉力和所拉动的扎带的长度；

数据输入模块，用于随机提取N张训练图像和对应的N帧绑扎数据输入绑扎作业检测模型中，得到每张训练图像的绑扎作业结果，所述绑扎作业结果包括预测的绑扎到位概率，以及预测的拉力和长度；

损失率计算模块，用于根据预测的和标注的绑扎到位概率、拉力以及长度计算损失率；

损失率判断模块，用于判断所述损失率是否小于预设的损失率阈值；

停止训练模块，用于停止对所述绑扎作业检测模型进行训练，得到训练好的绑扎作业检测模型；

参数调整模块，用于根据所述损失率对所述绑扎作业检测模型的参数进行梯度下降，返回数据输入模块步骤。

可选地，所述损失率计算模块包括：

损失率计算单元，用于根据以下损失函数计算损失率：

其中，Good

可选地，还包括：

第一次数统计模块，用于统计所述机器人在所述重作业位置执行绑扎作业的次数；

第一停止作业模块，用于在所述次数大于预设的次数阈值时，停止在所述重作业位置执行绑扎作业；

第一提示信息生成模块，用于生成提示信息，并将所述提示信息和所述作业图像发送到系统后台。

可选地，还包括：

第二次数统计模块，用于在所述绑扎作业结果为异常时，统计绑扎作业异常的异常总次数以及绑扎作业的绑扎总次数；

第一比值计算模块，用于计算所述异常总次数与绑扎总次数的比值；

第二停止作业模块，用于在所述比值大于或等于比值阈值时，停止绑扎作业，并生成绑扎异常信息发送到系统后台。

可选地，所述绑扎作业结果包括漏绑扎带，还包括：

第三次数统计模块，用于统计漏绑扎带的漏绑次数以及绑扎总次数；

第二比值计算模块，用于计算所述漏绑次数与所述绑扎总次数的比值；

第三停止作业模块，用于在所述比值大于或等于比值阈值时，停止绑扎作业，并生成绑扎异常信息发送到系统后台。

本发明实施例所提供的绑扎作业机器人控制装置可执行本发明任意实施例所提供的绑扎作业机器人控制方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4示出了可以用来实施本发明的实施例的机器人40的结构示意图。如图4所示，机器人40包括摄像头46、绑扎机构47、至少一个处理器41以及存储器，所述摄像头46、所述绑扎机构47以及所述存储器均与所述至少一个处理器连接，其中存储器包括如只读存储器(ROM)42、随机访问存储器(RAM)43等，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储机器人40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连，输入/输出(I/O)接口45也连接至总线44。

机器人40中的摄像头46、绑扎机构47、存储单元48、通信单元49连接至I/O接口45，存储单元48，例如磁盘、光盘等；通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许机器人40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如绑扎作业机器人控制方法。

在一些实施例中，绑扎作业机器人控制方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到机器人40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的绑扎作业机器人控制方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行绑扎作业机器人控制方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。