基于视觉处理的插装方法、装置、计算机设备和存储介质

技术领域

本发明涉及视觉处理技术领域，特别涉及一种基于视觉处理的插装方法、装置、计算机设备和存储介质。

背景技术

随着人工智能技术的迅速发展和硬件设备算力的支持，视觉技术配合机器人进行高精度定位以及物体特征检测已经被广泛应用在了自动化生产线上，该技术减少了生产线所需的人员配置，提高了生产线的自动化和生产效率。由于自动化生产线具有生产良品率高、连续生产和生产效率高等要求。因此，需要通过视觉搭建定位或检测系统进行支撑，使得机器人能够精确的获取目标并进行插装、夹取或喷涂等生产操作，从而实现上述所需功能要求。

传统的高精度异形插件系统是应用于PCB板生产的技术，主要通过两个相机对异形插件针脚和PCB板焊孔的图像信息进行获取并处理，最后获取两者的定位信息发送给机器人，从而实现机器人抓取异形插件准确插装在PCB板特定位置上的功能。该方法虽然能够实现不同异形插件高精度插装PCB板的功能，但是插装精度较低。

发明内容

基于此，有必要针对上述技术问题，提供一种基于视觉处理的插装方法、装置、计算机设备和存储介质。

一种基于视觉处理的插装方法，包括：

采集第一部件的图像，得到第一部件图像，采集第二部件的图像，得到第二部件图像；

对所述第一部件图像进行解析，得到所述第一部件图像上的各第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的各第二元素特征的坐标为第二坐标；

将所述第一坐标和所述第二坐标分别转换为基于机器人坐标系的第三坐标和第四坐标；

将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合，计算所述第三坐标与所述第四坐标的偏差量；

根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

在其中一个实施例中，所述对所述第一部件图像进行解析，得到所述第一部件图像上的第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的第二元素特征的坐标为第二坐标的步骤包括：

对所述第一部件图像进行解析，获得所述第一部件图像的基准点坐标和各所述第一元素特征的粗定位坐标；

对所述第二部件图像进行解析，获得所述第二部件图像的基准点坐标和各所述第二元素特征的粗定位坐标；

获取第一模板感兴趣区域，并基于所述第一部件图像的基准点坐标获取所述第一部件图像的第一感兴趣区域，基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标；

获取第二模板感兴趣区域，并基于所述第二部件图像的基准点坐标获取所述第二部件图像的第二感兴趣区域，基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标。

在其中一个实施例中，所述对所述第一部件图像进行解析，获得所述第一部件图像的基准点坐标和各所述第一元素特征的粗定位坐标的步骤包括：

获取第一模板图像，将所述第一部件图像与所述第一模板图像进行对比，得到所述第一部件图像的基准点坐标，基于所述第一部件图像的基准点坐标，获得所述第一部件图像上的各第一元素特征的粗定位坐标；

所述对所述第二部件图像进行解析，获得所述第二部件图像的基准点坐标和各所述第二元素特征的粗定位坐标的步骤包括：

获取第二模板图像，将所述第二部件图像与所述第二模板图像进行对比，得到所述第二部件图像的基准点坐标，基于所述第二部件图像的基准点坐标，获得所述第二部件图像上的各第二元素特征的粗定位坐标。

在其中一个实施例中，所述基于所述第一部件图像的基准点坐标获取所述第一部件图像的第一感兴趣区域的步骤包括：

将所述第一部件图像的基准点坐标和所述第一模板图像的基准点坐标对齐，基于所述第一模板感兴趣区域在所述第一模板图像上的位置，根据仿射变换获取所述第一部件图像的第一感兴趣区域；

所述基于所述第二部件图像的基准点坐标获取所述第二部件图像的第二感兴趣区域的步骤包括：

将所述第二部件图像的基准点坐标和所述第二模板图像的基准点坐标对齐，基于所述第二模板感兴趣区域在所述第二模板图像上的位置，根据仿射变换获取所述第二部件图像的第二感兴趣区域。

在其中一个实施例中，所述基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标的步骤包括：

基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，根据所述第一模板感兴趣区域内的模板元素的位置对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标；

所述基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标的步骤包括：

基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，根据所述第二模板感兴趣区域内的模板元素的位置对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标。

在其中一个实施例中，所述将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合的步骤包括：

使用经验调和法将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合。

在其中一个实施例中，所述根据所述偏差量计算得到插装补偿量的步骤包括：

检测所述偏差量是否大于预设偏差量；

当所述偏差量大于所述预设偏差量时，则确定所述第一部件和/或所述第二部件为废弃物料；

当所述偏差量小于或等于所述预设偏差量时，则根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

一种基于视觉处理的插装装置，包括：

图像采集模块，用于采集第一部件的图像，得到第一部件图像，采集第二部件的图像，得到第二部件图像；

坐标获取模块，用于对所述第一部件图像进行解析，得到所述第一部件图像上的各第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的各第二元素特征的坐标为第二坐标；

坐标转换模块，用于将所述第一坐标和所述第二坐标分别转换为基于机器人坐标系的第三坐标和第四坐标；

偏差量计算模块，用于将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合，计算所述第三坐标与所述第四坐标的偏差量；

补偿量计算模块，用于根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

采集第一部件的图像，得到第一部件图像，采集第二部件的图像，得到第二部件图像；

对所述第一部件图像进行解析，得到所述第一部件图像上的各第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的各第二元素特征的坐标为第二坐标；

将所述第一坐标和所述第二坐标分别转换为基于机器人坐标系的第三坐标和第四坐标；

将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合，计算所述第三坐标与所述第四坐标的偏差量；

根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

采集第一部件的图像，得到第一部件图像，采集第二部件的图像，得到第二部件图像；

对所述第一部件图像进行解析，得到所述第一部件图像上的各第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的各第二元素特征的坐标为第二坐标；

将所述第一坐标和所述第二坐标分别转换为基于机器人坐标系的第三坐标和第四坐标；

将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合，计算所述第三坐标与所述第四坐标的偏差量；

根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

上述基于视觉处理的插装方法、装置、计算机设备和存储介质，通过对第一部件上的第一元素特征的坐标以及第二部件上的第二元素特征的坐标进行直线拟合，能够准确计算出两个坐标的偏差量，从而对机器人的插装位置进行补偿，实现了异形插件对电路板的精准插装。

附图说明

图1为一个实施例中基于视觉处理的插装方法的应用场景示意图；

图2为一个实施例中基于视觉处理的插装方法的流程示意图；

图3为一个实施例中基于视觉处理的插装装置的结构框图；

图4为一个实施例中计算机设备的内部结构图；

图5A为一个实施例中的基于视觉处理的插装方法的图像数据分流和配合流程示意图；

图5B为一个实施例中的基于视觉处理的插装方法的系统算法流程示意图；

图5C为一个实施例中的基于视觉处理的插装方法的系统处理逻辑示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

实施例一

本申请提供的基于视觉处理的插装方法，可以应用于如图1所示的应用场景中。其中，视觉机器人系统包括视觉控制器1、针脚检测相机9、焊孔检测相机4和光源7，视觉控制器负责视觉算法和策略的实现、相机控制和机器人通讯，针脚检测相机用于采集插件的图像，应用于不同异形插件8的针脚检测，焊孔检测相机用于采集PCB(Printed CircuitBoard，印制电路板)板3的图像，应用于PCB板3需要插装的焊孔检测，光源7提供光照，应用于将针脚和焊孔与背景分离获取针脚、焊孔的特征信息；

PCB板在生产线2上输送，并经过焊孔检测相机4，该生产线2包括总控10和传送带11组成，总控10负责整个生产线的控制，将不同异形插件移动到机器人的抓取位置，传送带11负责将PCB板运送到指定的插装位置；

机器人系统包括机器人5和夹具6，机器人5和夹具6负责将不同的异形插件夹取运送到针脚检测相机9的上端进行连续拍照，获取定位信息后将异形插件连续插装到PCB板指定的位置，从而将异形插件插装到PCB上。

本实施例中，视觉控制器1可以采用下面实施例中的计算机实现，该视觉控制器通过针脚检测相机采集第一部件的图像，得到第一部件图像，通过焊孔检测相机采集第二部件的图像，得到第二部件图像；对所述第一部件图像进行解析，得到所述第一部件图像上的各第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的各第二元素特征的坐标为第二坐标；将所述第一坐标和所述第二坐标分别转换为基于机器人坐标系的第三坐标和第四坐标；将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合，计算所述第三坐标与所述第四坐标的偏差量；根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

应该理解的是，本申请中的基于视觉处理的插装方法可应用于机器人将两个部件进行插装的场景，为便于说明，下面实施例中，以第一部件为异形插件，第二部件为PCB电路板为例作进一步说明，但应该理解的是，该例子仅仅用以解释本申请，并不用于限定本申请，对于其他能够插装的部件，同样适用，本实施例中不累赘描述。

实施例二

本实施例中，如图2所示，提供了一种基于视觉处理的插装方法，其包括：

步骤210，采集第一部件的图像，得到第一部件图像，采集第二部件的图像，得到第二部件图像。

本实施例中，该第一部件和第二部件为相互插装的部件，比如，第一部件为异形插件，第二部件为PCB电路板，异形插件上设置有针脚，电路板上设置有焊孔，每一针脚插设于一焊孔内。

本实施例中，通过相机等感光元件采集第一部件和第二部件的图像，分别得到第一部件图像和第二部件图像。

步骤220，对所述第一部件图像进行解析，得到所述第一部件图像上的各第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的各第二元素特征的坐标为第二坐标。

本实施例中，对图像进行解析，从而得到图像上的元素特征的位置，即该元素特征在图像上的坐标。一个实施例中，该第一元素特征为异形插件上的针脚，第二元素特征为电路板上的焊孔。本实施例中，对第一部件图像和第二部件图像分别进行解析，获得第一部件图像上针脚的位置，即第一坐标，获得第二部件图像上焊孔的位置，即第二坐标。

一个实施例中，对所述第一部件图像二值化处理，将所述第一部件图像转换为黑白的图像，对二值化处理后的第一部件图像进行解析，得到所述第一部件图像上的各第一元素特征的坐标为第一坐标，对所述第二部件图像二值化处理，将所述第二部件图像转换为黑白的图像，对二值化处理后的第二部件图像进行解析，得到所述第二部件图像上的各第二元素特征的坐标为第二坐标。本实施例中，通过对部件图像二值化，能够清晰地展示元素特征，比如，通过光源照射焊孔，光透过焊孔被感光元件采集，从而得到包含焊孔的图像，该图像进行二值化处理后，使得电路板呈现黑色，而焊孔则呈现白色，这样，有利于获取元素特征的坐标，提高坐标的获取精度。

步骤230，将所述第一坐标和所述第二坐标分别转换为基于机器人坐标系的第三坐标和第四坐标。

本实施例中，将第一坐标转换为基于机器人坐标系的第三坐标；将第二坐标分别转换为基于机器人坐标系第四坐标。应该理解的是，上述步骤中，获得的图像中的元素特征的坐标为示教坐标，该机器人坐标系为以机器人运动的位置、线路建立的坐标系。该机器人能够在放置第一部件的工位和放置第二部件的工位运动。

步骤240，将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合，计算所述第三坐标与所述第四坐标的偏差量。

应该理解的是，在插装时，将异形插件对齐于电路板，使得异形插件上每一针脚对齐于电路板的一焊孔。因此，本实施例中，对处于同一个坐标系上的针脚的第三坐标与焊孔的第四坐标一一进行直线拟合，以第一个坐标点作为重合基准，对每一个针脚的坐标以及焊孔的坐标位置计算，从而计算出针脚与焊孔的偏差量。

步骤250，根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

本实施例中，该插装补偿量为机器人调整其坐标的距离，用于使得机器人抓取异形插件后调整的距离，该插装补偿量为对机器人坐标的补偿。根据偏差量计算得到机器人在机器人坐标上的插装补偿量，基于机器人坐标和插装补偿量对第一部件和第二部件进行插装。本实施例中，根据该针脚与焊孔的整体偏差量，计算得到机器人的插装补偿量，从而使得机器人抓取的异形插件上的针脚能够精准对齐于电路板上的焊孔。

上述实施例中，通过对第一部件上的第一元素特征的坐标以及第二部件上的第二元素特征的坐标进行直线拟合，能够准确计算出两个坐标的偏差量，从而对机器人的插装位置进行补偿，实现了异形插件对电路板的精准插装。

在一个实施例中，所述对所述第一部件图像进行解析，得到所述第一部件图像上的第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的第二元素特征的坐标为第二坐标的步骤包括：

对所述第一部件图像进行解析，获得所述第一部件图像的基准点坐标和各所述第一元素特征的粗定位坐标；对所述第二部件图像进行解析，获得所述第二部件图像的基准点坐标和各所述第二元素特征的粗定位坐标；

获取第一模板感兴趣区域，并基于所述第一部件图像的基准点坐标获取所述第一部件图像的第一感兴趣区域，基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标；

获取第二模板感兴趣区域，并基于所述第二部件图像的基准点坐标获取所述第二部件图像的第二感兴趣区域，基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标。

本实施例中，首先对部件图像进行粗定位，分别获得第一部件图像和第二部件图像的基准点坐标和各元素特征的粗定位坐标，该基准点作为为部件图像中作为坐标系基准或者原点的坐标，比如，该基准点坐标为中心坐标。

该第一模板感兴趣区域和第二模板感兴趣区域为预先设置用于作为参考的感兴趣区域，该模板感兴趣区域为模板图像中的预先选取的感兴趣区域。

在获得粗定位坐标后，获取第一模板感兴趣区域和第二模板感兴趣区域，根据模板感兴趣区域内的元素特征的位置，基于图案轮廓的特征匹配方法，对获得的粗定位坐标进行校正，具体为基于图案轮廓的特征匹配方法，将模板感兴趣区域内的元素特征与感兴趣区域的元素特征进行一一匹配，利用模板感兴趣区域内的元素特征的位置与对应的感兴趣区域的元素特征的位置进行校正，从而得到精定位的第一坐标和第二坐标。本实施例中，首先对针脚和焊孔的位置进行粗定位，获得粗定位坐标，随后利用感兴趣区域的精定位，获得针脚和焊孔的精定位坐标。这样，能够有效提高坐标的精度，从而得到精确的元素特征坐标。

为了获得元素特征的粗定位坐标，在一个实施例中，所述对所述第一部件图像进行解析，获得所述第一部件图像的基准点坐标和各所述第一元素特征的粗定位坐标的步骤包括：

获取第一模板图像，将所述第一部件图像与所述第一模板图像进行对比，得到所述第一部件图像的基准点坐标，基于所述第一部件图像的基准点坐标，获得所述第一部件图像上的各第一元素特征的粗定位坐标；

所述对所述第二部件图像进行解析，获得所述第二部件图像的基准点坐标和各所述第二元素特征的粗定位坐标的步骤包括：

获取第二模板图像，将所述第二部件图像与所述第二模板图像进行对比，得到所述第二部件图像的基准点坐标，基于所述第二部件图像的基准点坐标，获得所述第二部件图像上的各第二元素特征的粗定位坐标。

本实施例中，该第一模板图像和第二模板图像为预先获取的用于参考的图像，该第一模板图像为预先获取并存储的异形插件的图像，该第二模板图像为预先获取并存储的电路板的图像，该第一模板图像和第二模板图像分别作为参考基准，且该第一模板图像和第二模板图像上记录了准确的坐标。这样，将第一部件图像与第一模板图像进行对比，即可确定第一部件图像的中心点坐标，将第二部件图像与第二模板图像进行对比，即可确定第二部件图像的中心点坐标。基于中心点坐标即可获得各针脚或各焊孔与中心点坐标的相对位置，结合第一模板图像和第二模板图像上的元素特征的位置，即可计算得到第一部件图像上的各第一元素特征的粗定位坐标和第二部件图像上的各第二元素特征的粗定位坐标。

为了获取感兴趣区域，实现坐标的精定位，在一个实施例中，所述基于所述第一部件图像的基准点坐标获取所述第一部件图像的第一感兴趣区域的步骤包括：将所述第一部件图像的基准点坐标和所述第一模板图像的基准点坐标对齐，基于所述第一模板感兴趣区域在所述第一模板图像上的位置，根据仿射变换获取所述第一部件图像的第一感兴趣区域；

所述基于所述第二部件图像的基准点坐标获取所述第二部件图像的第二感兴趣区域的步骤包括：将所述第二部件图像的基准点坐标和所述第二模板图像的基准点坐标对齐，基于所述第二模板感兴趣区域在所述第二模板图像上的位置，根据仿射变换获取所述第二部件图像的第二感兴趣区域。

本实施例中，该第一模板感兴趣区域和第二模板感兴趣区域为预先在第一模板图像和第二模板图上上选取的感兴趣区域，该感兴趣区域上有至少一个元素特征，该感兴趣区域的元素特征的坐标位置预先测量得到，用于作为精定位的参考。本实施例中，将部件图像的基准点坐标和模板图像的基准点坐标对齐，基于模板感兴趣区域在模板图像上的位置，将该位置其映射至部件图像，从而得到感兴趣区域在部件图像上的位置，从而得到部件图像上的感兴趣区域。

在一个实施例中，所述基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标的步骤包括：

基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，根据所述第一模板感兴趣区域内的模板元素的位置对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标；

所述基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标的步骤包括：

基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，根据所述第二模板感兴趣区域内的模板元素的位置对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标。

本实施例中，基于图案轮廓的特征匹配方法将针脚和焊孔的相似度表现出更尖锐的分布，从而提高定位精度，具体地，将单个针脚在第一感兴趣区域内与的第一模板感兴趣区域内的针脚进行匹配，将单个焊孔在第二感兴趣区域内与第二模板感兴趣区域内的焊孔进行匹配，从而对针脚在第一感兴趣区域内的位置以及焊孔在第二感兴趣区域内的位置进行精定位校正，从而得到精确的第一坐标和第二坐标。

在一个实施例中，所述将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合的步骤包括：使用经验调和法将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合。

本实施例中，第三坐标为针脚的坐标，第四坐标为焊孔的坐标，使用经验调和法对针脚点集(x

在一个实施例中，所述根据所述偏差量计算得到插装补偿量的步骤包括：检测所述偏差量是否大于预设偏差量；当所述偏差量大于所述预设偏差量时，则确定所述第一部件和/或所述第二部件为废弃物料；当所述偏差量小于或等于所述预设偏差量时，则根据所述偏差量计算得到机器人的插装补偿量，，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

本实施例中，当偏差量大于预设偏差量时，意味着异形插件的图像上的针脚与电路板图像上的焊孔的位置偏差较大，无法顺利插装，此时，，确定该异形插件或者电路板为废弃物料，对其抛料，机器人对其不进行插装。当偏差量小于或等于预设偏差量时，意味着异形插件的图像上的针脚与电路板图像上的焊孔的位置偏差较小，因此，对机器人的运动坐标进行补偿，从而使得异形插件的针脚能够精准对齐于电路板上的焊孔。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

实施例三

本实施例中，如图1所示为基于视觉处理的插装系统硬件组成，包括视觉系统、生产线和机器人系统组成：

(1)视觉系统包括视觉控制器1、针脚检测相机9、焊孔检测相机4和光源7，视觉控制器负责视觉算法和策略的实现、相机控制和机器人通讯，针脚检测相机应用于不同异形插件8的针脚检测，焊孔检测相机应用于PCB板3需要插装的焊孔检测，光源应用于将针脚和焊孔与背景分离获取针脚、焊孔的特征信息；

(2)生产线包括总控10和传送带11，总控负责整个生产线的控制，将不同异形插件移动到机器人的抓取位置，传送带负责将PCB板运送到指定的插装位置；

(3)机器人系统包括由机器人5和夹具6，机器人和夹具负责将不同的异形插件夹取运送到针脚检测相机上端进行连续拍照，获取定位信息后将异形插件连续插装到PCB板指定的位置。

2、如图5A所示为图像数据分流和配合流程，主要过程如下：

(1)机器人夹取异形插件1到拍照示教点，通过视觉控制器实时获取针脚检测相机提供黑白图像信息，创建图像变量1存储异形插件1图像并保存该图像编号；

(2)机器人夹取异形插件2到拍照示教点，通过视觉控制器实时获取针脚检测相机提供黑白图像信息，创建图像变量2存储异形插件2图像并保存该图像编号；

(3)焊孔检测相机获取PCB图像并进行图像分割，将插装点1和插装点2的图像使用图像变量3和图像变量4进行缓存；

(4)视觉控制器根据图像编号提取对应的针脚检测图像和焊孔检测图像；

(5)经过视觉定位算法处理，获取定位偏差数据，实现异形插件1和2的连续插装。

3、如图5B所示为通用化高精度异形插件系统算法总体框架，主要处理步骤如下：

(1)以异形插件图像和PCB板图像作为输入，以模板匹配进行粗定位，获取异形插件中心的像素坐标和PCB焊孔点集中心的像素坐标。

(2)通过仿射变换获取包含针脚点集的ROI区域以及包含焊孔点集的ROI区域，在该区域内进行针脚查找精定位和焊孔查找精定位，获取每个针脚点和焊孔点的像素坐标。

(3)使用经验调和法对针脚点集和焊孔点集(x

(4)针脚点集直线和焊孔点集直线以第一个坐标点作为重合基准，计算整体偏差量，判断焊孔是否能覆盖所有针脚点，若可行输出机器人插装偏差量进行插装操作，不可行则抛料。

4、如图5C所示为毫米级视觉定位系统构建流程图，主要流程为：

(1)首先机器人夹取异形插件到拍照点和插装点进行示教，并获取相应的异形插件模板图像和PCB板插装位置的模板图像；

(2)对针脚检测相机获取的图像进行多模板匹配，根据匹配分数，选取最高分数的模板中心坐标，并根据模板给予对应插件的图像编号；；

(3)焊孔检测相机获取PCB板图像并分割，根据图像编号选取对应模板对分割后的特定区域图像进行模板匹配，获取焊孔点集的像素中心坐标；

(4)根据原模板的中心坐标和匹配后得到的中心坐标进行仿射变换，获取异形插件针脚点的ROI区域和焊孔点集的ROI区域；

(5)对上述ROI区域进行精定位，使用基于图案轮廓的特征匹配方法将针脚和焊孔的相似度表现出更尖锐的分布，从而提高定位精度，将单个针脚作为模板在ROI区域内进行模板匹配，将单个焊孔作为模板在焊孔ROI区域内进行模板匹配，获取每个针脚点和针孔点中心精确的像素坐标；

(6)根据示教坐标将像素坐标转换为机器人坐标，获取针脚偏差和焊孔偏差以及机器人插装补偿量；

(7)对针脚点集和焊孔点集进行直线拟合，以第一个焊孔坐标点作为重合基准，若焊孔点集能够覆盖所有针脚则进行插装工作，否则抛料。

本实施例中，提出了一种基于视觉的通用化高精度异形插件系统，该方法适用于不同类型的异形插件，通过两个相机便可实现多个异形插件连续插装的功能，从而增强了系统的生产效率并降低了搭建成本。主要过程如下：：

(1)搭建针脚检测相机和PCB板焊孔检测相机，机器人在每一种异形插件的拍照点和插装点进行示教；

(2)将机器人夹取多个不同的异形插件到针脚检测相机的拍照点上进行连续拍照，然后对每一种异形插件的图像信息进行数据分流，焊孔检测相机获取需要插装的焊孔图像信息；

(3)同时对每一种异形插件图像信息和焊孔信息进行配对，通过模板匹配粗定位、针脚查找精定位、焊孔查找精定位和插装检测判断等算法处理，获取每一种异形插件的插装定位信息偏差发送给机器人，实现不同插件连续插装的操作。

实施例四

本实施例中，如图3所示，提供一种基于视觉处理的插装装置，包括：

图像采集模块310，用于采集第一部件的图像，得到第一部件图像，采集第二部件的图像，得到第二部件图像；

坐标获取模块320，用于对所述第一部件图像进行解析，得到所述第一部件图像上的各第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的各第二元素特征的坐标为第二坐标；

坐标转换模块330，用于将所述第一坐标和所述第二坐标分别转换为基于机器人坐标系的第三坐标和第四坐标；

偏差量计算模块340，用于将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合，计算所述第三坐标与所述第四坐标的偏差量；

补偿量计算模块350，用于根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

在一个实施例中，所述坐标获取模块包括：

第一粗定位单元，用于对所述第一部件图像进行解析，获得所述第一部件图像的基准点坐标和各所述第一元素特征的粗定位坐标；

第二粗定位单元，用于对所述第二部件图像进行解析，获得所述第二部件图像的基准点坐标和各所述第二元素特征的粗定位坐标；

第一精定位单元，用于获取第一模板感兴趣区域，并基于所述第一部件图像的基准点坐标获取所述第一部件图像的第一感兴趣区域，基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标；

第二精定位单元，用于获取第二模板感兴趣区域，并基于所述第二部件图像的基准点坐标获取所述第二部件图像的第二感兴趣区域，基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标。

在一个实施例中，所述第一粗定位单元还用于获取第一模板图像，将所述第一部件图像与所述第一模板图像进行对比，得到所述第一部件图像的基准点坐标，基于所述第一部件图像的基准点坐标，获得所述第一部件图像上的各第一元素特征的粗定位坐标；

所述第一粗定位单元还用于获取第二模板图像，将所述第二部件图像与所述第二模板图像进行对比，得到所述第二部件图像的基准点坐标，基于所述第二部件图像的基准点坐标，获得所述第二部件图像上的各第二元素特征的粗定位坐标。

在一个实施例中，所述第一精定位单元还用于将所述第一部件图像的基准点坐标和所述第一模板图像的基准点坐标对齐，基于所述第一模板感兴趣区域在所述第一模板图像上的位置，根据仿射变换获取所述第一部件图像的第一感兴趣区域；

所述第二精定位单元还用于将所述第二部件图像的基准点坐标和所述第二模板图像的基准点坐标对齐，基于所述第二模板感兴趣区域在所述第二模板图像上的位置，根据仿射变换获取所述第二部件图像的第二感兴趣区域。

在一个实施例中，所述第一精定位单元还用于基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，根据所述第一模板感兴趣区域内的模板元素的位置对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标；

所述第二精定位单元还用于基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，根据所述第二模板感兴趣区域内的模板元素的位置对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标。

在一个实施例中，所述偏差量计算模块还用于使用经验调和法将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合。

在一个实施例中，所述补偿量计算模块包括：

偏差量检测单元，用于检测所述偏差量是否大于预设偏差量；

抛料单元，用于当所述偏差量大于所述预设偏差量时，则确定所述第一部件和/或所述第二部件为废弃物料；

插装单元，用于当所述偏差量小于或等于所述预设偏差量时，则根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

关于基于视觉处理的插装装置的具体限定可以参见上文中对于基于视觉处理的插装方法的限定，在此不再赘述。上述基于视觉处理的插装装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。

实施例五

本实施例中，提供了计算机设备。其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序，且该非易失性存储介质部署有数据库，该数据库用于存储模板图像、模板感兴趣区域。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与部署了应用软件的其他计算机设备通信。该计算机程序被处理器执行时以实现一种基于视觉处理的插装方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

采集第一部件的图像，得到第一部件图像，采集第二部件的图像，得到第二部件图像；

对所述第一部件图像进行解析，得到所述第一部件图像上的各第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的各第二元素特征的坐标为第二坐标；

将所述第一坐标和所述第二坐标分别转换为基于机器人坐标系的第三坐标和第四坐标；

将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合，计算所述第三坐标与所述第四坐标的偏差量；

根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对所述第一部件图像进行解析，获得所述第一部件图像的基准点坐标和各所述第一元素特征的粗定位坐标；

对所述第二部件图像进行解析，获得所述第二部件图像的基准点坐标和各所述第二元素特征的粗定位坐标；

获取第一模板感兴趣区域，并基于所述第一部件图像的基准点坐标获取所述第一部件图像的第一感兴趣区域，基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标；

获取第二模板感兴趣区域，并基于所述第二部件图像的基准点坐标获取所述第二部件图像的第二感兴趣区域，基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取第一模板图像，将所述第一部件图像与所述第一模板图像进行对比，得到所述第一部件图像的基准点坐标，基于所述第一部件图像的基准点坐标，获得所述第一部件图像上的各第一元素特征的粗定位坐标；

获取第二模板图像，将所述第二部件图像与所述第二模板图像进行对比，得到所述第二部件图像的基准点坐标，基于所述第二部件图像的基准点坐标，获得所述第二部件图像上的各第二元素特征的粗定位坐标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将所述第一部件图像的基准点坐标和所述第一模板图像的基准点坐标对齐，基于所述第一模板感兴趣区域在所述第一模板图像上的位置，根据仿射变换获取所述第一部件图像的第一感兴趣区域；

将所述第二部件图像的基准点坐标和所述第二模板图像的基准点坐标对齐，基于所述第二模板感兴趣区域在所述第二模板图像上的位置，根据仿射变换获取所述第二部件图像的第二感兴趣区域。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，根据所述第一模板感兴趣区域内的模板元素的位置对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标；

基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，根据所述第二模板感兴趣区域内的模板元素的位置对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

使用经验调和法将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

检测所述偏差量是否大于预设偏差量；

当所述偏差量大于所述预设偏差量时，则确定所述第一部件和/或所述第二部件为废弃物料；

当所述偏差量小于或等于所述预设偏差量时，则根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

实施例六

本实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

采集第一部件的图像，得到第一部件图像，采集第二部件的图像，得到第二部件图像；

对所述第一部件图像进行解析，得到所述第一部件图像上的各第一元素特征的坐标为第一坐标，对所述第二部件图像进行解析，得到所述第二部件图像上的各第二元素特征的坐标为第二坐标；

将所述第一坐标和所述第二坐标分别转换为基于机器人坐标系的第三坐标和第四坐标；

将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合，计算所述第三坐标与所述第四坐标的偏差量；

根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对所述第一部件图像进行解析，获得所述第一部件图像的基准点坐标和各所述第一元素特征的粗定位坐标；

对所述第二部件图像进行解析，获得所述第二部件图像的基准点坐标和各所述第二元素特征的粗定位坐标；

获取第一模板感兴趣区域，并基于所述第一部件图像的基准点坐标获取所述第一部件图像的第一感兴趣区域，基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标；

获取第二模板感兴趣区域，并基于所述第二部件图像的基准点坐标获取所述第二部件图像的第二感兴趣区域，基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取第一模板图像，将所述第一部件图像与所述第一模板图像进行对比，得到所述第一部件图像的基准点坐标，基于所述第一部件图像的基准点坐标，获得所述第一部件图像上的各第一元素特征的粗定位坐标；

获取第二模板图像，将所述第二部件图像与所述第二模板图像进行对比，得到所述第二部件图像的基准点坐标，基于所述第二部件图像的基准点坐标，获得所述第二部件图像上的各第二元素特征的粗定位坐标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将所述第一部件图像的基准点坐标和所述第一模板图像的基准点坐标对齐，基于所述第一模板感兴趣区域在所述第一模板图像上的位置，根据仿射变换获取所述第一部件图像的第一感兴趣区域；

将所述第二部件图像的基准点坐标和所述第二模板图像的基准点坐标对齐，基于所述第二模板感兴趣区域在所述第二模板图像上的位置，根据仿射变换获取所述第二部件图像的第二感兴趣区域。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

基于图案轮廓的特征匹配方法对比所述第一感兴趣区域和所述第一模板感兴趣区域，根据所述第一模板感兴趣区域内的模板元素的位置对所述第一模板感兴趣区域内的各所述第一元素特征的粗定位坐标进行精定位，得到所述第一感兴趣区域内的各所述第一元素特征的所述第一坐标；

基于图案轮廓的特征匹配方法对比所述第二感兴趣区域和所述第二模板感兴趣区域，根据所述第二模板感兴趣区域内的模板元素的位置对所述第二模板感兴趣区域内的各所述第二元素特征的粗定位坐标进行精定位，得到所述第二感兴趣区域内的各所述第二元素特征的所述第二坐标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

使用经验调和法将所述第三坐标与所述第四坐标在所述机器人坐标系上进行直线拟合。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

检测所述偏差量是否大于预设偏差量；

当所述偏差量大于所述预设偏差量时，则确定所述第一部件和/或所述第二部件为废弃物料；

当所述偏差量小于或等于所述预设偏差量时，则根据所述偏差量计算得到机器人的插装补偿量，基于所述插装补偿量对所述第一部件和所述第二部件进行插装。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。