定位引导方法、系统及电子设备

技术领域

本申请涉及机器视觉技术，特别涉及定位引导方法、系统及电子设备。

背景技术

在智能制造应用中，经常会出现定位偏差的情况，比如，在将物料贴合放入物料位(比如凹槽等，可统一称为目标位)时，会出现物料、物料位(比如凹槽等)定位发生偏差，定位不准确的问题。而一旦出现定位偏差，则会限制智能制造的应用。比如，在智能制造应用中对物料、物料位(比如凹槽等)的定位不准确，就会导致物料无法贴合放入物料位(比如凹槽等)，限制智能制造的应用。

发明内容

本申请提供了定位引导方法、系统及电子设备，以通过先采集目标位的图像再采集目标物料对象的方式来定位目标位与目标物料之间的位姿偏差并基于该位姿偏差引导目标物料贴合放置至目标位，提高定位精确度。

本申请提供实施例提供了一种定位引导方法，该方法包括：

获得第一相机采集的目标位图像对应的目标位特征信息；所述目标位特征信息至少包括：目标位的位置、目标位的角度；所述目标位的角度是所述目标位相对于预设基准方向的角度；

获得第二相机采集的第二目标物料图像所对应的第二目标物料特征信息；第二目标物料图像是在取料机构获取所述目标物料并将所述目标物料移动至第二相机的上方后由第二相机采集的；第二目标物料特征信息至少包括：

目标物料的第二位置、目标物料的第二角度；第二角度是所述目标物料相对于所述预设基准方向的角度；

依据所述目标位特征信息和所述第二目标物料特征信息，确定所述目标物料与所述目标位之间的位姿偏差；根据所述位姿偏差引导所述取料机构将所述目标物料贴合放置至所述目标位。

本申请实施例提供一种定位引导系统，该系统包括：第一相机、第二相机、取料机构、引导组件；

所述第一相机，采集目标位图像；

所述取料机构，用于获取目标物料；

所述第二相机，采集第二目标物料图像；第二目标物料图像是在所述取料机构获取所述目标物料并将所述目标物料移动至第二相机的上方后由第二相机采集的；

所述引导组件，执行上述公开的方法的步骤。

本申请实施例还提供了一种电子设备。该电子设备包括：处理器和机器可读存储介质；

所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现上述公开的方法的步骤。

由以上技术方案可以看出，本申请中，先获得第一相机采集的目标位图像对应的目标位特征信息；再获得第二相机采集的第二目标物料图像所对应的第二目标物料特征信息；第二目标物料图像是在取料机构获取目标物料并将目标物料移动至第二相机的上方后由第二相机采集的；最后依据目标位特征信息和第二目标物料特征信息，确定目标物料与目标位之间的位姿偏差；根据位姿偏差引导取料机构将目标物料贴合放置至目标位，其在考虑在位姿偏差的基础上基于位姿偏差引导取料机构将目标物料贴合放置至目标位，这大大提高了定位精确度，保证目标物料贴合放置至目标位；

进一步地，本实施例中，通过先采集目标位的图像再采集目标物料对象的方式，定位目标位与目标物料之间的位姿偏差，其引导目标物料贴合放置至目标位，提高定位精确度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本申请实施例提供的方法流程图；

图2为本申请实施例提供的引导示意图；

图3为本申请实施例提供的位置偏差确定流程图；

图4为本申请实施例提供的系统结构图；

图5为本申请实施例提供的装置结构图；

图6为本申请实施例提供的图5所示装置的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

在智能制造应用中，物料位本身的摆放方向不固定，当物料位与物料之间的角度偏差值较大时会出现物料、物料位(比如凹槽等)定位不准确、定位精确度不足的问题。为了避免该技术问题，本申请实施例提供了定位引导方法，以保证定位的准确度。为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

参见图1，图1为本申请实施例提供的方法流程图。如图1所示，该流程可包括以下步骤：

步骤101，获得第一相机采集的目标位图像对应的目标位特征信息。

作为一个实施例，这里的目标位可为用于存放物料的位置区域，比如凹槽等物料位，本实施例并不具体限定。

可选地，本实施例中，第一相机比如CCD等，可首先至用于存放物料的目标位拍照。本申请实施例中，为了减少节拍时间(CT：Cycle Time)，第一相机可采用飞拍模式对用于存放物料的目标位进行拍照。

在用于存放物料的目标位完成拍照后，即可采集到目标位对应的目标位图像。之后可基于目标位图像获得目标位对应的特征信息。可选地，在本实施例中，目标位对应的特征信息至少包括：该目标位的位置信息、该目标位的角度。作为一个实施例，目标位的角度可为目标位相对于预设基准方向的角度。作为一个实施例，上述第一相机可安装在取料机构(用于获取物料)的X轴的方向上，其与取料机构之间的相对位置是固定的。在此前提下，这里的预设基准方向可为取料机构的X轴正方向。取料机构下文会描述，这里暂不赘述。

步骤102，获得第二相机采集的第二目标物料图像所对应的第二目标物料特征信息；第二目标物料图像是在取料机构获取所述目标物料并将所述目标物料移动至第二相机的上方后由第二相机采集的。

可选地，在本实施例中，在执行本步骤102之前，可先控制第一相机移动至指定取料拍照位进行拍照，以由第一相机采集到第一目标物料图像。之后，基于第一相机采集的第一目标物料图像获得对应的第一目标物料特征信息。这里的第一目标物料特征信息至少包括：目标物料的第一位置、目标物料的第一角度；目标物料的第一角度是目标物料相对于上述预设基准方向的角度。然后，依据第一目标物料特征信息和预设的基准特征信息，定位目标物料在取料位中的位置。比如，依据第一目标物料特征信息和预设的基准特征信息，确定两者之间的偏差，根据该偏差和第一目标物料特征信息定位出目标物料在取料位中的位置。在定位目标物料在取料位中的位置之后，即可由取料机构基于定位出的位置获取目标物料，比如，以取料机构为吸嘴为例，则可由吸嘴基于目标物料在取料位中的位置吸取目标物料，最终实现了取料机构获取目标物料。

可选地，在本实施例中，上述指定取料拍照位可设置在上述取料位的上方，其被用于第一相机在该指定取料拍照位拍照即可拍摄到整个取料位。

在取料机构获取目标物料后，则可控制取料机构的机械手旋转上述目标位(其为目标物料被指定放置的目标位)的角度。比如，假若上述目标位对应的特征信息为：{(x

在得到第二目标物料图像后，即可基于第二目标物料图像确定对应得第二目标物料特征信息。这里，第二目标物料特征信息至少包括：目标物料的第二位置、目标物料的第二角度；第二角度是目标物料相对于上述预设基准方向的角度。

需要说明的是，本步骤102可在第一相机针对用于存放各物料的每一目标位完成拍照之后执行，也可在第一相机针对用于存放上述目标物料的一目标位完成拍照之后之行，本实施例并不具体限定。图2举例示出了第一相机、第二相机的操作示意图。

步骤103，依据目标位特征信息和第二目标物料特征信息，确定目标物料与所述目标位之间的位姿偏差；根据位姿偏差引导所述取料机构将目标物料贴合放置至目标位。

可选地，上述依据目标位特征信息和第二目标物料特征信息，确定目标物料与目标位之间的位姿偏差有很多方式，比如，可根据目标位特征信息中目标位的角度和第二目标物料特征信息中目标物料的第二角度，确定目标物料与目标位之间的角度偏差；以及，根据目标位特征信息中目标位的位置和第二目标物料特征信息中目标物料的第二位置，确定目标物料与目标位之间的位置偏差。图3举例示出了如何确定位置偏差，这里暂不赘述。

至此，完成图1所示流程。

通过图1所示流程可以看出，本申请中，先获得第一相机采集的目标位图像对应的目标位特征信息；再获得第二相机采集的第二目标物料图像所对应的第二目标物料特征信息；第二目标物料图像是在取料机构获取目标物料并将目标物料移动至第二相机的上方后由第二相机采集的；最后依据目标位特征信息和第二目标物料特征信息，确定目标物料与目标位之间的位姿偏差；根据位姿偏差引导取料机构将目标物料贴合放置至目标位，其在考虑在位姿偏差的基础上基于位姿偏差引导取料机构将目标物料贴合放置至目标位，这大大提高了定位精确度，保证目标物料贴合放置至目标位；

进一步地，本实施例中，通过先采集目标位的图像再采集目标物料对象的方式，定位目标位与目标物料之间的位姿偏差，其引导目标物料贴合放置至目标位，提高定位精确度

下面对上述如何根据目标位特征信息中目标位的位置和第二目标物料特征信息中目标物料的第二位置，确定目标物料与所述目标位之间的位置偏差进行描述：

参见图3，图3为本申请实施例提供的位置偏差示意图。如图3所示，该流程可包括以下步骤：

步骤301，根据预设的第一映射矩阵将目标位特征信息中目标位的位置转换至目标坐标系下，得到目标位特征点坐标信息。

作为一个实施例，这里的目标坐标系可为取料机构所在的坐标系。对应地，第一映射矩阵是用于将上述目标位特征信息中目标位的位置从第一相机所对应的坐标系转换至目标坐标系下，将转换结果记为目标位特征点坐标信息。

需要说明的是，在本实施例中，上述第一映射矩阵可按照常规的标定算法确定，这里不再赘述。

步骤302，根据预设的第二映射矩阵将第二目标物料特征信息中目标物料的位置转换至目标坐标系下，得到目标物料特征点坐标信息。

如上描述，这里的目标坐标系可为取料机构所在的坐标系。对应地，第二映射矩阵是用于将上述目标物料的位置从第二相机所对应的坐标系转换至目标坐标系下，将转换结果记为目标物料特征点坐标信息。

需要说明的是，在本实施例中，上述第二映射矩阵可按照常规的标定算法确定，这里不再赘述。

步骤303，根据上述目标位特征点坐标信息和上述目标物料特征点坐标信息，确定目标物料与目标位之间的位置偏差。

可选地，在本实施例中，根据目标位特征点坐标信息和目标物料特征点坐标信息确定目标物料与目标位之间的位置偏差有很多实现方式，比如，可按照如下公式计算上述目标坐标系下目标物料与目标位之间的横向偏移值x

根据如下公式计算上述横向偏移值x

x

以及，根据如下公式计算上述纵向偏移值y

y

其中，(x

至此，完成图3所示流程。

通过图3所示流程，实现了如何根据目标位特征信息中目标位的位置和第二目标物料特征信息中目标物料的第二位置，确定目标物料与目标位之间的位置偏差。

基于目标物料与目标位之间的位置偏差、以及目标物料与目标位之间的角度偏差，最终会确定上述目标物料与目标位之间的位姿偏差。在确定出上述目标物料与目标位之间的位姿偏差之后，即可根据位姿偏差引导取料机构将目标物料贴合放置至目标位，比如，按照上述目标物料特征点坐标信息和上述位置偏差确定最终移动位置(该移动位置可为上述目标物料特征点坐标信息加上上述位置偏差(x

可选地，在本实施例中，在根据上述位姿偏差引导取料机构将目标物料贴合放置至目标位之后，可进一步通过第一相机对目标位进行拍摄，得到目标位校验图像；基于目标位校验图像中的目标位区域和目标物料区域，检验目标物料是否被贴合到位。这里，检验物料是否被贴合到位有很多方式，比如：校验目标位校验图像中的目标位区域和目标物料区域在同一方向上的边缘的距离是否在设定距离范围内，等等，本实施例并不具体限定。假若校验出目标物料未被贴合到位，则可输出告警。

为了验证本申请实施例提供的定位引导的效果，本申请实施例提供了目标位角度递增的八组数据，基于该八组数据，采用本申请实施例提供的方案和现有方案(也即未采用本申请实施例提供的方案)分别进行实验，实验结果具体如表1所示：

/>

表1

由表1可以看出，未采用本申请实施例提供的方案随着目标位的角度的增加，其角度误差和定位误差也相应增大。而采用本申请实施例提供的方案，随着目标位角度的增加并不会出现误差波动较大的情况，且由具体数据可以看出，即使目标位角度递增，采用本申请实施例提供的方案，能够保证定位精度高且稳定，很好的解决了目标位大角度定位引导的问题。

以上对本申请实施例提供的方法进行了描述，下面对本申请实施例提供的装置进行描述：

参见图4，图4为本申请实施例提供的系统结构图。如图4所示，该系统可包括：第一相机、第二相机、取料机构、引导组件；

这里，第一相机，采集目标位图像；

取料机构，用于获取目标物料；

第二相机，采集第二目标物料图像；第二目标物料图像是在所述取料机构获取所述目标物料并将所述目标物料移动至第二相机的上方后由第二相机采集的；

引导组件，执行如上公开的方法中的步骤。

对应地，本申请实施例还提供了一种定位引导装置。如图5所示，该装置包括：

获得单元，用于获得第一相机采集的目标位图像对应的目标位特征信息；所述目标位特征信息至少包括：目标位的位置、目标位的角度；所述目标位的角度是所述目标位相对于预设基准方向的角度；以及，

获得第二相机采集的第二目标物料图像所对应的第二目标物料特征信息；第二目标物料图像是在所述取料机构获取所述目标物料并将所述目标物料移动至第二相机的上方后由第二相机采集的；第二目标物料特征信息至少包括：目标物料的第二位置、目标物料的第二角度；第二角度是所述目标物料相对于所述预设基准方向的角度；

引导单元，用于依据所述目标位特征信息和所述第二目标物料特征信息，确定所述目标物料与所述目标位之间的位姿偏差；根据所述位姿偏差引导所述取料机构将所述目标物料贴合放置至所述目标位。

可选地，获得单元在获得第二相机采集的第二目标物料图像所对应的第二目标物料特征信息之前，进一步包括：

获得所述第一相机采集的第一目标物料图像对应的第一目标物料特征信息；第一目标物料特征信息至少包括：目标物料的第一位置、目标物料的第一角度；目标物料的第一角度是所述目标物料相对于所述预设基准方向的角度；所述第一目标物料图像是所述第一相机移动至指定取料拍照位时得到的；

依据所述第一目标物料特征信息和基准特征信息，定位所述目标物料，以使所述取料机构基于所述定位获取所述目标物料。

可选地，所述引导单元依据所述目标位特征信息和所述第二目标物料特征信息，确定所述目标物料与所述目标位之间的位姿偏差包括：

根据所述目标位特征信息中目标位的角度和所述第二目标物料特征信息中目标物料的第二角度，确定所述目标物料与所述目标位之间的角度偏差；以及，

根据所述目标位特征信息中目标位的位置和所述第二目标物料特征信息中目标物料的第二位置，确定所述目标物料与所述目标位之间的位置偏差；其中，根据所述目标位特征信息中目标位的位置和所述第二目标物料特征信息中目标物料的第二位置，确定所述目标物料与所述目标位之间的位置偏差包括：根据预设的第一映射矩阵将所述目标位特征信息中所述目标位的位置转换至目标坐标系下，得到目标位特征点坐标信息；根据预设的第二映射矩阵将所述第二目标物料特征信息中所述目标物料的位置转换至所述目标坐标系下，得到目标物料特征点坐标信息；根据所述目标位特征点坐标信息和所述目标物料特征点坐标信息确定所述目标物料与所述目标位之间的位置偏差；

其中，所述根据所述目标位特征点坐标信息和所述目标物料特征点坐标信息确定所述目标物料与所述目标位之间的位置偏差包括：根据如下公式计算横向偏移值x

其中，(x

可选地，引导单元在根据所述位姿偏差引导所述取料机构将所述目标物料贴合放置至所述目标位之后，进一步通过所述第一相机对所述目标位进行拍摄，得到目标位校验图像；基于所述目标位校验图像中的目标位区域和目标物料区域，检验所述目标物料是否被贴合到位。

至此，完成图5所示装置的结构描述。

本申请实施例还提供了图5所示装置的硬件结构。参见图6，图6为本申请实施例提供的电子设备结构图。如图6所示，该硬件结构可包括：处理器和机器可读存储介质，机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例公开的方法。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的方法。

示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。