一种机械臂的控制系统及方法

技术领域

本发明涉及机械臂控制技术领域，特别是一种机械臂的控制系统及方法。

背景技术

随着机械臂技术的日新月异与工业机械臂的不断发展，将机械臂投入到工业生产中已经基本实现了。有运用到零部件抓取的机械臂。通常设置有运输带上，当运输带上出现与产品不匹配的零部件或产品时，机械臂会对其进行抓取，以减少后期在包装中放入了错误的商品或零部件，导致了残次品的产出。

而在现有技术中，将机械臂与具有识别逻辑功能的摄像设备进行连接，当摄像设备识别出非该条运输带上的产品或零部件后，会将其的定位发送给机械臂，机械臂内置的CPU会计算出产品或零部件进入到其抓取的范围内，等待合产品或零部件的移动并对其进行抓取。

但是因为在抓取过程中，机械臂会进行移动，而为了避免数据线被机械臂移动时扯断，通常机械臂与摄像设备会通过无线网络连接，并进行数据传输。但是无线网络在生产环境中容易受到波动，导致了机械臂在接收产品或零部件的定位有延迟，当机械臂计算出抓取动作执行后，产品或零部件已经被运输带上的带体带出机械臂的抓取范围，导致机械臂无法有效的抓取到产品或零部件。

发明内容

针对上述缺陷，本发明的目的在于提出一种机械臂的控制系统及方法，以避免网络延迟对机械臂抓取目标零件的影响，提高机械臂抓取的有效性。

为达此目的，本发明采用以下技术方案：

一种机械臂的控制系统，包括相互电连接的摄像设备与机械臂；

所述摄像设备包括运输带信息采集模块、模板识别模块、指令分析模块以及指令发出模块；

所述运输带信息采集模块用于采集运输带上的第一图片；

所述模板识别模块用于将第一图片与全角度模板进行一一匹配识别，判断运输带上是否存在有机械臂抓取的目标零件，并对目标零件进行标记，其中所述全角度模板设置有360个不同角度的模板图；

指令分析模块用于根据标记的目标零件分析得出机械臂抓取对象的抓取指令以及时间指令；

所述指令发出模块用于向所述机械臂发出抓取指令以及时间指令；

所述机械臂解析所述时间指令与抓取指令，得到具体抓取时间点，在具体抓取时间点对目标零件进行抓取。

优选的，所述运输带信息采集模块包括周期信息采集子模块以及持续信息采集子模块；

所述周期信息采集子模块用于在一个周期内对运输带上运输的物品进行拍摄，得到第一图片，并将所述第一图片发送至所述模板识别模块；

所述持续信息采集子模块用于在所述模板识别模块识别出有目标零件后持续对运输带进行拍摄，得出第一视频，并将所述第一视频发送至所述指令分析模块。

优选的，所述模板识别模块包括目标框体获取子模块、匹配子模块以及标记子模块；

所述目标框体获取子模块用于使用One-Stage算法对第一图进行识别框体提取，将运输带上的物体以框体的方式展现；

所述匹配子模块用于对框体内的物体进行匹配识别，判断当前第一图片中是否存在有目标零件，若存在有目标零件，则采用所述持续信息采集子模块对运输带进行持续拍摄，获取第一视频；

所述标记子模块用于对第一视频中的目标零件的框体进行符号标记，所述符号标记为数字、英文字母、希腊字母一种或多种的组合。

优选的，运输线的带体设置有沿其宽度延伸的凸起；

还包括选择模块，所述选择模块用于获取运输带上的物体对应框体的长度，将长度落入到带体宽度阈值的框体进行剔除。

优选的，所述匹配子模块还包括模板制作子单元、识别特征提取子单元以及存储子单元；

所述模板制作子单元用于制作全角度模板的360个模板图，其中每一个模板图对应一个不同的整数角度；

所述识别特征提取子单元包括梯度量化模块以及提起模块；

所述梯度量化模块用于对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征；

所述提取模块用于以当前角度为表列获取所述识别特征，并进行保存；

所述存储子单元用于存储不同角度表列中的所有识别特征。

优选的，指令分析模块包括视频追踪子模块以及抓取范围获取子模块，

所述视频追踪子模块用于接收标记子模块标记后的第一视频，对第一视频采中的标记的框体进行追踪；

所述抓取范围获取子模块用于接收追踪后的第一视频，并判断追踪后的框体是否落入到待抓取范围内，若进入到所述待抓取范围，则获取目标零件进入待抓取范围一刻的第二图片，根据第二图片分析得到目标零件进入到机械臂抓取范围内的时间，并将所述时间与抓取的目标零件转化为抓取指令以及时间指令，发送给所述机械臂。

一种机械臂的控制方法，应用于上述一种机械臂的控制系统，所述系统包括相互电连接的摄像设备与机械臂，所述控制方法包括如下步骤：

S1：所述摄像设备对运输带进行图片采集，获取得到第一图片；

S2：所述摄像设备使用全角度模板逐一对所述第一图片进行匹配识别，判断运输带上是否存在有机械臂抓取的目标零件，并对目标零件进行标记，其中所述全角度模板设置有360个不同角度的模板图；

S3：所述摄像设备根据标记的目标零件分析得出机械臂抓取对象的抓取指令以及时间指令，并向机械臂发出抓取指令以及时间指令；

S4：所述机械臂接收抓取指令以及时间指令并根据抓取指令以及时间指令，在相应时间内对目标零件进行抓取。

优选的，所述摄像设备对运输带进行图片采集，获取得到第一图片的具体过程如下：

所述摄像设备在一个周期内对运输带上运输的物品进行拍摄，得到第一图片，对所述第一图片进行识别；

在对第一图片识别出有目标零件后，所述摄像设备持续对运输带进行拍摄，得出第一视频。

优选的，对第一图片进识别包括如下步骤：

使用One-Stage算法对第一图片进行识别框体提取，将运输带上的物体以框体的方式展现，获取运输带上的物体对应框体的长度，将长度落入到带体宽度阈值的框体进行剔除；

对框体内的内容进行匹配识别，判断当前第一图片中是否存在有目标零件，若为目标零件则对第一视频中的目标零件的框体进行符号标记，所述符号标记为数字、英文字母、希腊字母一种或多种的组合；

其中判断当前第一图片中是否存在有目标零件前还需要执行以下步骤：

制作360个模板图，其中每一个模板图对应一个不同的整数角度；

对模板图进行梯度量化以及特征提取，梯度量化以及特征提取的具体过程如下：

为对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征，以当前角度为表列获取所述识别特征，并进行保存。

优选的，步骤S3的具体过程如下：

接收标记后的第一视频，对第一视频采中的标记的框体进行追踪；

并判断追踪后的框体是否落入到待抓取范围内，若进入到所述待抓取范围，则获取目标零件进入待抓取范围一刻的第二图片，根据第二图片分析得到目标零件进入到机械臂抓取范围内的时间，并将所述时间与抓取的目标零件转化为抓取指令以及时间指令，发送给所述机械臂。

上述技术方案中的一个技术方案具有如下优点或有益效果：在所述摄像设备出对运输带环境进行分析，分析得出抓取指令以及时间指令，所述机械臂只需接收抓取指令以及时间指令，在时间指令所提出的时间内进行抓取即可，即便是受到了网络延迟的影响，机械臂在接收抓取指令以及时间指令后能够及时作出反应，能够避免目标零件移动超出机械臂的抓取范围。

附图说明

图1是本发明中方法的一个实施例流程图。

图2是本发明中系统的一个实施例的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1～2所示，一种机械臂的控制系统，包括相互电连接的摄像设备与机械臂；

所述摄像设备包括运输带信息采集模块、模板识别模块、指令分析模块以及指令发出模块；

所述运输带信息采集模块用于采集运输带上的第一图片；

所述模板识别模块用于将第一图片与全角度模板进行一一匹配识别，判断运输带上是否存在有机械臂抓取的目标零件，并对目标零件进行标记，其中所述全角度模板设置有360个不同角度的模板图；

指令分析模块用于根据标记的目标零件分析得出机械臂抓取对象的抓取指令以及时间指令；

所述指令发出模块用于向所述机械臂发出抓取指令以及时间指令；

所述机械臂解析所述时间指令与抓取指令，得到具体抓取时间点，在具体抓取时间点对目标零件进行抓取。

由于机械臂在运输带上仅执行简单的操作，所以机械臂通常设置有烧录后的芯片、内存以及简单的CPU。当机械臂在接收到目标零件的定位后，通常会先调用其CPU以及内存，然后调用所述芯片内烧录好的程序对目标零件的定位进行计算。在此过程中，由于需要对CPU、内存以及芯片进行唤醒操作，所以在计算定位时需要花费一定的前摇时间。当摄像设备传输的数据有延迟后，机械臂计算的时间就会更长，严重影响到机械臂对目标零件的抓取。

为解决上述问题，在本申请中，将分析目标零件的的位置已经抓取时间的计算设置在所述摄像设备上。因为所述摄像设备在获取图像后可以连接到后端，在后端上存在有已经启动的程序，能够立刻对第一图片进行分析，判断在该第一图片上是否存在有目标零件以及通过指令分析模块分析出机械臂抓取时间的抓取指令。无需像机械臂一样存在有程序唤醒的动作，进一步减少了计算时间。同时，所述机械臂只需接收抓取指令以及时间指令，在时间指令所提出的时间内进行抓取即可，即便是受到了网络延迟的影响，机械臂在接收抓取指令以及时间指令后能够及时作出反应，能够避免目标零件移动超出机械臂的抓取范围。

而在申请中所述模板识别模块设有全角度模板图，能够有效提高识别的准确性，帮助目标零件进行准确的标记。

优选的，所述运输带信息采集模块包括周期信息采集子模块以及持续信息采集子模块；

所述周期信息采集子模块用于在一个周期内对运输带上运输的物品进行拍摄，得到第一图片，并将所述第一图片发送至所述模板识别模块；

所述持续信息采集子模块用于在所述模板识别模块识别出有目标零件后持续对运输带进行拍摄，得出第一视频，并将所述第一视频发送至所述指令分析模块。

由于在本申请中是由所述摄像设备进行数据的处理，而一直处理所述运输带信息采集模块的信息的话，会导致后端内存一直被占用，同时处理的数据增多后，运行内存存在爆满的现象，影响计算时间。由于出现非该条运输带的目标零件为少数情况。为此在本申请中采用了周期获取信息与持续获取信息的混合信息采集方式来减轻摄像设备中运行内存以及存储内存的负担。

其中在一个实施例中，所述周期信息采集子模块在一个周期内对运输带上的运输的物品进行拍摄，得到所述第一图片，并将所述第一图片发送到所述识别模板模块中进识别，判断当前的第一图片中是否存在有所述目标零件，若不存在所述目标零件，则在下一个周期的开始时对运输带进行拍摄，重复上述步骤，若存在一次拍摄第一图片的过程中，所述第一图片中存在有所述目标零件，则停止所述周期信息采集子模块的使用，调用所述持续信息采集子模块对运输带上进行视频拍摄，得到第一视频。所述指令分析模块会对所述第一视频进行逐帧分析，获取所述目标零件的实时位置。待机械臂抓取目标零件后所述持续信息采集子模块停用，再次调用所述周期信息采集子模块，所述由于在此过程中是单一在摄像设备处进行，网络延迟对其没有影响。本申请中所提出的方案能够减少所述模板识别模块处理图像的数量，降低运行内存的占用度，保证有足够运行内存调用所述所述指令分析模块，加快图像数据的处理速度，以适应本申请所提出采用摄像设备进行数据处理的方案。

优选的，所述模板识别模块包括目标框体获取子模块、匹配子模块以及标记子模块；

所述目标框体获取子模块用于使用One-Stage算法对第一图进行识别框体提取，将运输带上的物体以框体的方式展现；

所述匹配子模块用于对框体内的物体进行匹配识别，判断当前第一图片中是否存在有目标零件，若存在有目标零件，则采用所述持续信息采集子模块对运输带进行持续拍摄，获取第一视频；

所述标记子模块用于对第一视频中的目标零件的框体进行符号标记，所述符号标记为数字、英文字母、希腊字母一种或多种的组合。

若直接使所述匹配子模块对第一图片进行匹配识别的话，有可能被运输带上的带体干扰，因为在某些带体上会存在有凸起，以方便物件的摆放。这些凸起会增加所述匹配子模块的识别数量，影响处理速度。为此在本申请中采用了现有的One-Stage算法对图像信息进行提取，其中所述One-Stage算法是通过该条流水线的虚拟模型进行训练得出One-Stage算法的训练结果，能够识别流水线上零件以及物体，通过One-Stage算法所述获取运输带上零件的框体。另外由于所述目标零件的形状与种类有所不同，在本申请中所述匹配子模块并非对目标零件进行识别，而是对运输带上需要运输的零件进行匹配，判断框体内是否为需要运输的零件。然后在对框体进行标记，在标记的过程中会采用两种不同的标记方式进行标记，其中一种标记方式是用于标记目标零件所在的框体，另一标记方式是用于标记运输带上的运输零件。例如：通过所述匹配子模块匹配识别后会识别出来运输带上的运输零件，并对其框体进行标记，其中对运输带上的运输零件的框体标记为英文字母+数字的组合，而剩下没有被识别出来的框体则为目标零件所对应的框体，该类框体则用希腊字母+数字的组合。在后期使用是可以直接追踪腊字母+数字组合的框体，实现目标零件的追踪。

优选的，运输线的带体设置有沿其宽度延伸的凸起；

还包括选择模块，所述选择模块用于获取运输带上的物体对应框体的长度，将长度落入到带体宽度阈值的框体进行剔除。

所述凸起能够将带体进行区域分割以及在运输阻挡物体滚动，但是在匹配子模块进行匹配识别时，所述凸起所在的框体会增加识别的数量，降低摄像设备对数据的运行速度。因此本发明对框体的大小或者形状进行限定。只需要长度接近带体宽度大小的框体进行去除，即可减少匹配子模块的对框体的识别数量。而其中所述带体宽度阈值的选取具体为带体的宽度再加上上下浮动的数值。例如所述带体在第一图片中的宽度为60个像素大小，则所述带体宽度阈值则可以为60±5个像素大小大小，是因为在One-Stage算法中虽然能够提取出的框体的大小是具有一个浮动区间，所以所述带体宽度阈值也是一个浮动的数值。例如在一个实施例中使用One-Stage算法识别到了4个框体，4个框体的宽度像素值分别为20、30、21、26、59，而其中59的宽度像素值落入到欧所述带体宽度阈值内，故对59的宽度像素值的所对应的框体进行剔除。

优选的，所述匹配子模块还包括模板制作子单元、识别特征提取子单元以及存储子单元；

所述模板制作子单元用于制作全角度模板的360个模板图，其中每一个模板图对应一个不同的整数角度；

所述识别特征提取子单元包括梯度量化模块以及提起模块；

所述梯度量化模块用于对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征；

所述提取模块用于以当前角度为表列获取所述识别特征，并进行保存；

所述存储子单元用于存储不同角度表列中的所有识别特征。

由于运输零件在运输带上随意的摆放，其摆放的角度会影响到所述识别模块对其的识别效果。有可能存在某个摆放角度，使所述识别模块无法对其进行识别，导致运输零件被标记为目标零件。为此，在本申请的识别模块中包括了模板制作子单元，在所述模板制作子单元中制作了360个模板图，360个所述模板图分别对应360°中每一个角度，增加了匹配模板图的数量，使得所述模板图能够覆盖每一个运输零件的摆放角度，避免因摆放角度的问题而影响到所述识别模块对运输零件的识别。

所述梯度量化模块能够对模板图进行梯度量化，更好得获取模板图中的识别特征。在一个是实施例中，所述第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化的过程如下：

通过sobel计算梯度图像的梯度，若模板图为三通道图像，则由X和Y方向的梯度求平方和非最大抑制算法提取出单通道梯度幅值最大值图像矩阵；

由X和Y方向的梯度图像矩阵得到角度图像矩阵；

角度图像矩阵范围从0-360度量化成1-15的整数，再继续对7取余数进行8个方向量化，取幅度图像矩阵中大于阈值的像素，然后取该像素领域3*3对应的量化图像矩阵，构成直方图，在像素领域中取多于5个相同方向，并对该方向进行赋值，并对索引进行00000001～10000000的移位编码；

其中所述梯度幅值最大值图像矩阵计算公式如下：

x代表位置，

在进行完梯度量化后，所述模板图中的识别特征在像素点数值上与其他像素点有明显的区别，为此，本申请中对于识别特征的过程如下：梯度幅值最大值图像矩阵进行遍历，找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点，若在领域中找出最大梯度幅值的像素点，则将领域中除去最大梯度幅值的像素点以外像素值点的梯度幅值设置为零；

判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征合集中并保存至所述配置文件；若否，则判断识别特征在距离阈值的范围内是否存在至少另一识别特征，若存在，则对该识别特征以及距离阈值内的识别特征进行剔除，若不存在，则将该识别特征保存至所述存储子单元。

在存储子单元内的识别特征会以角度作为每一组存储识别特征的分组。在识别模块识别的过程中，会调用所述存储子单元内的识别特征，以每一组的识别特征与所述第一图片上的框体进行识别匹配。在本申请中会通过相似度的计算方式来计算第一图片中是否存在有的运输零件，

其中在本申请的相似度计算公式如下：

分别对360个模板图中的识别特征进行相似度计算后，得到360个相似度得分，找出360个相似度得分最大的数值，并判断该数值是否大于阈值，若大于阈值，则说明该输入框体中的内容为运输零件，反之则说明，所述框体内的内容为目标零件。

优选的，指令分析模块包括视频追踪子模块以及抓取范围获取子模块，

所述视频追踪子模块用于接收标记子模块标记后的第一视频，对第一视频采中的标记的框体进行追踪；

所述抓取范围获取子模块用于接收追踪后的第一视频，并判断追踪后的框体是否落入到待抓取范围内，若进入到所述待抓取范围，则获取目标零件进入待抓取范围一刻的第二图片，根据第二图片分析得到目标零件进入到机械臂抓取范围内的时间，并将所述时间与抓取的目标零件转化为抓取指令以及时间指令，发送给所述机械臂。

在现有技术上，会通过运输带的带体的运行速度以及最后一刻获取目标零件的位置来大概计算目标零件何时会进入到所述待抓取范围内。但是所述运输带的运行速度会受到运输货物重量的影响，使其不能保持在一个恒定的数值内，当运输带运行速度受到影响后，会影响到机械臂对目标零件抓取时间的计算，有可能导致机械臂提前或者延迟抓取。为解决该问题，在模板识别模块匹配得到标记为目标零件的框体，再将标记后的框体传输给所述指令分析模块中的视频追踪子模块，使用所述视频追踪子模块对所述第一视频中的被标记为目标零件的框体进行图像追踪，以获取其实时的定位。而所述抓取范围获取子模块会与运输带上的速度传感器连接，由于所述视频追踪子模块能够实时获取所述目标零件的框体的位置，在进入到所述待抓取范围的一刻，所述抓取范围获取子模块会获取速度传感器的信息，获取当前运输带的运行速度，并通过该当前运输带的运行速度计算出机械臂的启动抓取时间，转化为时间指令发送至机械臂。在此过程中，由于待抓取范围与机械臂的实际抓取范围之间隔开有一定的距离，在本申请中该距离为2～3m之间，能够给予机械臂一定的时间来接收所述时间指令，避免延迟的影响。而且在该距离下，运输带运行速度的变化量较小，可以忽略不计，不会影响到抓取时间的准确性。保证了所述机械臂在接收与执行所述时间指令时，能够有效抓取到所述目标零件。

由于同一物体的像素大小与物体拍摄距离之间是存在线型关系的，所以在本申请中通过第二图片中所述框体的像素可以计算得到摄像设备到第二图片中所述目标零件框体的距离。通过该距离可以计算得到所述目标零件在所述待抓取范围内的具体位置。例如：通过所述第二图片知道了所述摄像设备到目标零件的距离为5m，而摄像设备到运输带的垂直距离为4m，通过勾股定理可以得知所述目标零件与所述摄像设备的水平距离为3m，而所述摄像设备到所述待抓取范围边缘的水平距离是已知的Xm，通过将所述目标零件与所述摄像设备的水平距离减去Xm就可以得到目标零件进入到所述待抓取范围的具体定位，在通过这个具体定位对抓取时间计算进行修正，能够得到更加精准的抓取时间，保障了抓取目标零件的准确性。当然，物体的像素大小与物体拍摄距离之间是存在线型关系是出厂时设定好，所述摄像设备到待抓取范围的距离可以是客户自定义的。

一种机械臂的控制方法，应用于上述一种机械臂的控制系统，所述系统包括相互电连接的摄像设备与机械臂，所述控制方法包括如下步骤：

S1：所述摄像设备对运输带进行图片采集，获取得到第一图片；

S2：所述摄像设备使用全角度模板逐一对所述第一图片进行匹配识别，判断运输带上是否存在有机械臂抓取的目标零件，并对目标零件进行标记，其中所述全角度模板设置有360个不同角度的模板图；

S3：所述摄像设备根据标记的目标零件分析得出机械臂抓取对象的抓取指令以及时间指令，并向机械臂发出抓取指令以及时间指令；

S4：所述机械臂接收抓取指令以及时间指令并根据抓取指令以及时间指令，在相应时间内对目标零件进行抓取。

优选的，所述摄像设备对运输带进行图片采集，获取得到第一图片的具体过程如下：

所述摄像设备在一个周期内对运输带上运输的物品进行拍摄，得到第一图片，对所述第一图片进行识别；

在对第一图片识别出有目标零件后，所述摄像设备持续对运输带进行拍摄，得出第一视频。

优选的，对第一图片进识别包括如下步骤：

使用One-Stage算法对第一图片进行识别框体提取，将运输带上的物体以框体的方式展现，获取运输带上的物体对应框体的长度，将长度落入到带体宽度阈值的框体进行剔除；

对框体内的内容进行匹配识别，判断当前第一图片中是否存在有目标零件，若为目标零件则对第一视频中的目标零件的框体进行符号标记，所述符号标记为数字、英文字母、希腊字母一种或多种的组合；

其中判断当前第一图片中是否存在有目标零件前还需要执行以下步骤：

制作360个模板图，其中每一个模板图对应一个不同的整数角度；

对模板图进行梯度量化以及特征提取，梯度量化以及特征提取的具体过程如下：

为对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征，以当前角度为表列获取所述识别特征，并进行保存。

优选的，步骤S3的具体过程如下：

接收标记后的第一视频，对第一视频采中的标记的框体进行追踪；

并判断追踪后的框体是否落入到待抓取范围内，若进入到所述待抓取范围，则获取目标零件进入待抓取范围一刻的第二图片，根据第二图片分析得到目标零件进入到机械臂抓取范围内的时间，并将所述时间与抓取的目标零件转化为抓取指令以及时间指令，发送给所述机械臂。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。