基于AI图像识别算法的机械臂移动的控制方法
文献发布时间：2023-06-19 13:48:08
技术领域
发明涉及控制方法领域，尤其是基于AI图像识别算法的机械臂移动的控制方法。
背景技术
现有的机械臂移动控制，是通过机械臂上的摄像头采集图像，采集的对象是目标物体。但是这种控制方式的抓取效率与准确率较低。
发明内容
为了解决背景技术中描述的技术问题，发明提供了一种基于AI图像识别算法的机械臂移动的控制方法。通过两次图像识别算法的定位，降低了机械臂的精度要求，提高了抓取的效率和准确性。控制机械臂移动过程中不需要采集图像，对图像算法计算量大大减少。成本低灵活性高：纯图像技术可灵活应用于各种动态变化的商用场景。
本发明解决其技术问题所采用的技术方案是：
一种基于AI图像识别算法的机械臂移动的控制方法，该方法的步骤为：
a)预训练深度学习的网络模型，实现图像实例识别与图像区域分割，得到区域识别模型；
b)预训练深度学习的模型，得到目标物体识别模型；
c)通过数个摄像头从数个不同的角度采集图像；
d)使用区域识别模型对采集来的图像进行图像区域分割，依据数张图像分隔的结果进行三维空间建模；
e)使用目标物体识别模型识别目标物体在三维空间中的坐标位置，并确认机械臂的坐标位置；
f)得到三维空间中的目标位置、障碍物区域后，通过机械臂的控制指令，对机械臂进行路径规划，机械臂按此路径运行运动操作；
g)机械臂运动到目标位置后，在做夹取操作前，数个摄像头重新采集图像进行一次目标位置、机械臂位置的核对与矫正，并做夹取操作。
具体地，所述三维空间建模的方式为，通过三维递归重建神经网络3D-R2N2进行多视图三维重建。
具体地，所述神经网络3D-R2N2从任意角度接收多个对象实例的图像，并以三维占用网格的形式输出对象的重建。
具体地，所述摄像头采集的图像是从顶、前、左、右四个角度采集。
具体地，通过采集的图像，提取环境图像特征，计算出关键目标间的坐标关系，采用图像分割的深度学习网络DeepLabv3+进行训练。
本发明的有益效果是：本发明提供了一种基于AI图像识别算法的机械臂移动的控制方法。通过两次图像识别算法的定位，降低了机械臂的精度要求，提高了抓取的效率和准确性。控制机械臂移动过程中不需要采集图像，对图像算法计算量大大减少。成本低灵活性高：纯图像技术可灵活应用于各种动态变化的商用场景。
附图说明
下面结合附图和实施例对发明进一步说明。
图1是本发明的结构框图；
具体实施方式
现在结合附图对发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明发明的基本结构，因此其仅显示与发明有关的构成。
图1是本发明的结构框图。
如附图1所示，一种基于AI图像识别算法的机械臂移动的控制方法，该方法的步骤为：
a)预训练深度学习的网络模型，实现图像实例识别与图像区域分割，得到区域识别模型；
b)预训练深度学习的模型，得到目标物体识别模型；
c)通过数个摄像头从数个不同的角度采集图像；
d)使用区域识别模型对采集来的图像进行图像区域分割，依据数张图像分隔的结果进行三维空间建模；
e)使用目标物体识别模型识别目标物体在三维空间中的坐标位置，并确认机械臂的坐标位置；
f)得到三维空间中的目标位置、障碍物区域后，通过机械臂的控制指令，对机械臂进行路径规划，机械臂按此路径运行运动操作；
g)机械臂运动到目标位置后，在做夹取操作前，数个摄像头重新采集图像进行一次目标位置、机械臂位置的核对与矫正，并做夹取操作。
三维空间建模的方式为，通过三维递归重建神经网络3D-R2N2进行多视图三维重建。基于重建的3D Voxel模型，可以在三维空间设计出机械臂避障与运动的最优路径。
神经网络3D-R2N2从任意角度接收多个对象实例的图像，并以三维占用网格的形式输出对象的重建。这个网络不需要任何图像注释或分类标签来进行训练或测试。并且通过大量的实验分析表明：1、优于最先进的单视图重建方法。2、能够在传统的SFM/SLAM方法失败(因为缺乏纹理和/或宽基线)的情况下实现对象的三维重建。
摄像头采集的图像是从顶、前、左、右四个角度采集。
(1)通过采集的图像，提取环境图像特征，计算出关键目标间的坐标关系，采用图像分割的深度学习网络DeepLabv3+进行训练。使用包含300-500张训练图片、100张验证图片、50张测试图片，即可以训练出效果比较好的图像分割模型。将图片根据内容分割成不同的块，对每个像素点的分类，物体的轮廓是精准勾勒的，而不是像检测那样给出边界框。
DeepLabv3+网络的整体架构，它的Encoder的主体是带有空洞卷积的DCNN，可以采用常用的分类网络如ResNet，然后是带有空洞卷积的空间金字塔池化模块(ASPP))，引入多尺度信息；DeepLabv3+引入了Decoder模块，其将底层特征与高层特征进一步融合，提升分割边界准确度。DeepLabv3+在DilatedFCN基础上引入了EcoderDecoder的思路。
以上述依据发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。