基于AI视觉抓取的机械臂控制方法及系统

技术领域

本发明涉及数据处理技术领域，具体而言，涉及基于AI视觉抓取的机械臂控制方法及系统。

背景技术

机械臂是一种在工业生产中代替人工完成某些单调、频繁和重复的长时间作业的自动化装置，按照设定的程序、轨迹和要求执行监控、抓取、搬运工作或操持工具进行操作。

机械臂的安装状态一般情況下默认为地面，因此其安全运动范围的设置一般来说是基于地面安装进行设置的，然而，发明人在实现本发明的过程中发现现有技术至少存在以下技术问题：当使用者根据实际使用场景改变机械臂的安装状态时，会使得其默认的安全工作范围不能满足实际需求，从而导致碰撞等事故的发生

发明内容

本发明的目的在于提供基于AI视觉抓取的机械臂控制方法及系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本申请提供了基于AI视觉抓取的机械臂控制方法，包括：

基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；

基于AI图像识别技术识别所述障碍物集合确定待抓取对象；

基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标；

基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；

基于所述运行路线对所述待抓取对象进行抓取控制。

第二方面，本申请还提供了一种基于AI视觉抓取的机械臂控制系统，包括检测模块、提取模块、转化模块、规划模块和执行模块，其中：

检测模块：用于基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；

提取模块：用于基于AI图像识别技术识别所述障碍物集合确定待抓取对象；

转化模块：用于基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标；

规划模块：用于基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；

执行模块：用于基于所述运行路线对所述待抓取对象进行抓取控制。

本发明的有益效果为：

本申请中融合雷达、AI识别技术对待抓取对象进行精准提取，并通过对待抓取对象的像素坐标、激光雷达坐标进行转化进行精准定位，在达到减小误差的同时，解决由于激光雷达和相机不在同一位置而造成对待抓取对象定位产生误差的问题，实现相机和激光雷达的自由装置。同时，基于定位识别结果中第二坐标确定运行路线，使得机械臂绕过障碍物去，避免发生碰撞，提高机械臂作业安全性。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中的基于AI视觉抓取的机械臂控制方法的流程框图；

图2为本发明实施例中的基于AI视觉抓取的机械臂控制系统框图；

图3为本发明实施例中的基于AI视觉抓取的机械臂控制设备的框图。

图中标记：710-检测模块；720-提取模块；721-第一获取单元；722-匹配单元；7221-第二获取单元；7222-分类单元；7223-第二判断单元；723-第一判断单元；730-转化模块；731-第三获取单元；732-第一计算单元；733-第二计算单元；740-规划模块；741-分割单元；742-标记单元；743-查询单元；750-执行模块；800-基于AI视觉抓取的机械臂控制设备；801-处理器；802-存储器；803-多媒体组件；804-I/O接口；805-通信组件。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1：

参见图1，图1所示为本实施例中基于AI视觉抓取的机械臂控制方法的流程框图。本实施例提供了基于AI视觉抓取的机械臂控制方法，本方法包括步骤S1、步骤S2、步骤S3、步骤S4和步骤S5。

步骤S1、基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合。

可以理解的是，在本步骤中，以机器人为中心利用激光雷达检测预定距离内的所有障碍物，通过激光雷达可以快速捕捉待工作区域有可能是抓取对象的所有物体，对待抓取物进行初步的筛选。而且在能见度较低的场景下工作，激光雷达能够检测到预设范围内的所有障碍物而不受外界环境的影响，提高最终抓取对象正确率。

步骤S2、基于AI图像识别技术识别所述障碍物集合确定待抓取对象。

可以理解的是，在本步骤中，基于AI图像识别技术识别障碍物集合中哪些物体是待执行的抓取任务，快速确定待抓取对象。

为了减少工作场景环境因素对图像采集质量的影响，步骤S2还包括步骤S21、步骤S22和步骤S23。

步骤S21、基于红外线相机获取所述障碍物集合中每个障碍物对应的图像信息。

可以理解的是，在本步骤中，利用红外线相机获取图像信息可以解决图像采集受环境光线的影响。

步骤S22、基于AI图像识别技术检测将所述图像信息与预设标签进行匹配，得到AI识别结果及其对应的标记值，所述预设标签是带有不同标记值的图像，所述标记值是针对物体的类型不同而设置不同的数值。

可以理解的是，在本步骤中，利用AI图像识别技术，将预设标签与每个图像信息分别进行识别匹配，得到每个图像信息对应的物体分类结果(即AI识别结果)，并根据预设标签对应的标记值对每个图像信息进行标签赋值。

进一步地，为了能更好的适应能见度较低的工作场景，步骤S22包括步骤S221、步骤S222和步骤S223。

步骤S221、基于激光雷达检测技术分别获取每个所述障碍物对应的激光雷达散射截面面积信息，确定目标半径。

可以理解的是，在本步骤中，RCS是度量毫米波激光雷达探测目标反射毫米波强度的一种物理量，其数值与目标的截面大小、形状、结构及材料等有很大关系。本申请中将其引入对障碍物的识别中，能对不同种类的目标，比如人、车、墙面等会得到不同的数值(即目标半径)，进而便于后期通过该目标半径进行聚类得到分类结果。因此，本申请中引入该物理量，可以提高聚类算法分辨不同种类目标的能力。

步骤S222、基于所述目标半径和预设分类条件，得到障碍物分类结果，所述预设分类条件是不同障碍物基于所述目标半径计算所得的分数阈值。

可以理解的是，在本步骤中，根据公式(1)确定预设分类条件，本申请中可以自适应的对每种类型的障碍物分类条件进行计算，并将RCS作为分类阈值的补充量，提高聚类准确度：

L≤R+λ

其中：L为不同物体类型对应的目标半径；R为每种物体对应的固定目标半径，λ

步骤S223、当所述AI识别结果与所述障碍物分类结果为同一物体时，则对应得到所述标记值。

可以理解的是，在本步骤中，结合AI图像识别结果与激光雷达识别结果的数据融合对障碍物进行识别，避免了AI感知和激光雷达感知受大雾、沙尘暴等恶劣天气的影响，对待抓取物体的有效性进行了验证和提取，提高了分类结果识别准确率和抗干扰能力。

步骤S23、判断所述标记值和是否在预设分值内，若是则为待抓取对象，否则为非待抓取对象。

可以理解的是，在本步骤中，可以将预设分值设置为大于零，非待抓取对象对应的标记值设置为无穷小，则根据每个图像信息对应的标记值确定待抓取对象。而且根据抓取任务的重要性，针对不同类型的待抓取对象可以设置优先级并设置相应数值，根据数值的大小进行排序以便于机器人可以先执行较为重要或紧急等任务。

步骤S3、基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标。

可以理解的是，在本步骤中，为了获得抓取物相对机械臂的准确定位，解决由于激光雷达和相机不在同一位置而造成对待抓取对象定位产生误差的问题，本申请中通过像素坐标、激光雷达坐标进行转化对待抓取对象进行精准定位，在达到减小误差的同时，也能实现相机和激光雷达的自由装置。

详细地，上述步骤S3包括步骤S31、步骤S32和步骤S33。

步骤S31、基于棋盘格标定法对相机进行标定，并获取相机的内部参数和畸变系数。

步骤S32、根据多组数据对利用EPn P算法进行计算，分别得到旋转矩阵和平移矩阵，所述数据对为同一所述待抓取对象对应的所述激光雷达坐标和所述像素坐标。

可以理解的是，在本步骤中，相机和激光雷达同时对应采集棋盘格的边缘角点像素坐标和边缘角点点云坐标，并组成数据对。然后利用EPn P算法对多个数据对建立约束方程，求解得到旋转矩阵和平移矩阵。

步骤S33、基于所述旋转矩阵、所述平移矩阵、所述内部参数和所述畸变系数计算，得到第一坐标。

可以理解的是，在本步骤中，根据公式(2)计算第一坐标：

其中：d

步骤S4、基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标。

可以理解的是，在本步骤中，根据第二坐标使得机械臂绕过障碍物去，避免发生碰撞，提高机械臂作业安全性。

为了提高机械人的工作效率，步骤S4包括步骤S41、步骤S42和步骤S43。

步骤S41、将所述测待工作区域进行三维空间分割，得到多个大小一致的元胞体。

可以理解的是，在本步骤中，将测待工作区域所涵盖的三维空间分割成大小相同的正方体，离散成元胞体。

步骤S42、根据每个所述第二坐标将对应的所述元胞体进行标记，得到障碍空间和通行空间。

可以理解的是，在本步骤中，根据障碍物对应的第二坐标的三维定位信息在对应的元胞体上做标记，形成障碍空间，没有做标记的地方即为通行空间。本申请中，根据第二坐标对障碍物空间与通行空间进行归类，即可得到机械臂可通行路径，进而避免发生障碍物碰撞事件，提高作业安全性。

步骤S43、基于所述通行空间，以机械臂的手抓与所述第一坐标对应的所述元胞体为路径始、终点，以最短距离为目标利用Dijkstra算法进行计算得到运行路线。

可以理解的是，在本步骤中，利用Dijkstra算法以第一坐标为起始点找到机械臂运行的最短的且无碰撞发生的最优路径，保证机械臂有效避障的同时，还能提高机器作业效率。

步骤S5、基于所述运行路线对所述待抓取对象进行抓取控制。

可以理解的是，本申请中融合雷达、AI识别技术对待抓取对象进行精准提取，并通过对待抓取对象的像素坐标、激光雷达坐标进行转化进行精准定位，在达到减小误差的同时，解决由于激光雷达和相机不在同一位置而造成对待抓取对象定位产生误差的问题，实现相机和激光雷达的自由装置。同时，基于定位识别结果中第二坐标确定运行路线，使得机械臂绕过障碍物去，避免发生碰撞，提高机械臂作业安全性。

实施例2：

参见图2，图2是根据示例性实施例示出的基于AI视觉抓取的机械臂控制系统的框图，包括检测模块710、提取模块720、转化模块730、规划模块740和执行模块750，其中：

检测模块710：用于基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；

提取模块720：用于基于AI图像识别技术识别所述障碍物集合确定待抓取对象；

优选地，上述提取模块720包括第一获取单元721、匹配单元722和第一判断单元723，其中：

第一获取单元721：用于基于红外线相机获取所述障碍物集合中每个障碍物对应的图像信息；

匹配单元722：用于基于AI图像识别技术检测将所述图像信息与预设标签进行匹配，得到AI识别结果及其对应的标记值，所述预设标签是带有不同标记值的图像，所述标记值是针对物体的类型不同而设置不同的数值；

优选地，上述匹配单元722包括第二获取单元7221、分类单元7222和第二判断单元7223，其中：

第二获取单元7221：用于基于激光雷达检测技术分别获取每个所述障碍物对应的激光雷达散射截面面积信息，确定目标半径；

分类单元7222：用于基于所述目标半径和预设分类条件，得到障碍物分类结果，所述预设分类条件是不同障碍物基于所述目标半径计算所得的分数阈值；

第二判断单元7223：用于当所述AI识别结果与所述障碍物分类结果为同一物体时，则对应得到所述标记值。

第一判断单元723：用于判断所述标记值和是否在预设分值内，若是则为待抓取对象，否则为非待抓取对象。

转化模块730：用于基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标；

优选地，上述转化模块730包括第三获取单元731、第一计算单元732和第二计算单元733，其中：

第三获取单元731：用于基于棋盘格标定法对相机进行标定，并获取相机的内部参数和畸变系数；

第一计算单元732：用于根据多组数据对利用EPn P算法进行计算，分别得到旋转矩阵和平移矩阵，所述数据对为同一所述待抓取对象对应的所述激光雷达坐标和所述像素坐标；

第二计算单元733：用于基于所述旋转矩阵、所述平移矩阵、所述内部参数和所述畸变系数计算，得到第一坐标。

规划模块740：用于基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；

优选地，上述规划模块740包括分割单元741、标记单元742和查询单元743，其中：

分割单元741：用于将所述测待工作区域进行三维空间分割，得到多个大小一致的元胞体；

标记单元742：用于根据每个所述第二坐标将对应的所述元胞体进行标记，得到障碍空间和通行空间；

查询单元743：用于基于所述通行空间，以机械臂的手抓与所述第一坐标对应的所述元胞体为路径始、终点，以最短距离为目标利用Dijkstra算法进行计算得到运行路线。

执行模块750：用于基于所述运行路线对所述待抓取对象进行抓取控制。

需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

实施例3：

相应于上面的方法实施例，本实施例中还提供了一种基于AI视觉抓取的机械臂控制设备800，下文描述的一种基于AI视觉抓取的机械臂控制设备800与上文描述的基于AI视觉抓取的机械臂控制方法可相互对应参照。

图3是根据示例性实施例示出的一种基于AI视觉抓取的机械臂控制设备800的框图。如图3所示，该基于AI视觉抓取的机械臂控制设备800可以包括：处理器801，存储器802。该基于AI视觉抓取的机械臂控制设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。

其中，处理器801用于控制该基于AI视觉抓取的机械臂控制设备800的整体操作，以完成上述的基于AI视觉抓取的机械臂控制方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于AI视觉抓取的机械臂控制设备800的操作，这些数据例如可以包括用于在该基于AI视觉抓取的机械臂控制设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于AI视觉抓取的机械臂控制设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，基于AI视觉抓取的机械臂控制设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital SignalProcessing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于AI视觉抓取的机械臂控制方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机存储介质，该程序指令被处理器执行时实现上述的基于AI视觉抓取的机械臂控制方法的步骤。例如，该计算机存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于AI视觉抓取的机械臂控制设备800的处理器801执行以完成上述的基于AI视觉抓取的机械臂控制方法。

实施例4：

相应于上面的方法实施例，本实施例中还提供了一种存储介质，下文描述的一种存储介质与上文描述的基于AI视觉抓取的机械臂控制方法可相互对应参照。

一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于AI视觉抓取的机械臂控制方法的步骤。

该存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的存储介质。

以上所述，仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。