面向ALC板材生产线的智能装配系统及方法

技术领域

本发明属于机器视觉应用技术领域，尤其涉及一种面向ALC板材生产线的智能装配系统及方法。

背景技术

ALC板材装配系统是ALC板材生产线的一个关键环节，将机器人引入到ALC板材装配系统中，可以减轻工人劳动强度，提高生产效率和生产质量，可以实时监控，智能运行，工人能轻松、舒适地工作，成品率提升，减少资金投入，国内外多家公司和机构已经开展这方面的研究。

但是目前的智能化ALC板材装配系统中还没有引入机器人和视觉检测技术，ALC板材生产线中传统装配方式效率低、现代工业装配机器人适应能力差，而ALC板材生产线的智能装配在具有广阔的市场需求。

发明内容

针对现有技术的不足，本发明提出一种面向ALC板材生产线的智能装配方法及系统，其采用双机械臂之间协同控制，对ALC板材生产装配过程中误差修正，实现智能装配，从而保证系统的低时延、高准确度、稳定性。

为了实现上述目的，本发明一方面提供一种面向ALC板材生产线的智能装配系统，包含：

多个视觉传感器，用于采集主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、以及装配件信息；

一主机械臂模块，用于ALC板材生产装配过程对各装配件进行装配操作；

一辅助机械臂模块，用于ALC板材生产装配过程，辅助所述主机械臂模块，对各装配件进行装配操作；

一双机械臂协同模块，同时与所述主机械臂模块、所述辅助机械臂模块、所述视觉传感器连接，用于获取所述位姿信息与所述装配件信息并进行处理生成一动作指令，控制协调所述主机械臂模块与所述辅助机械臂模块动作。

可选的，所述主机械臂模块至少末端设置一所述视觉传感器，用于采集所述主机械臂模块的末端位姿；

所述辅助机械臂至少末端设置一所述视觉传感器，用于采集所述辅助机械臂模块的末端位姿。

可选的，所述双机械臂协同模块融合人工势场算法与线性插值算法，

依据所述主机械臂模块的位姿信息、所述辅助机械臂模块的位姿信息、装配件信息，构造影响机械臂运动的引力场与斥力场，所述引力场为依据所述装配件信息形成，所述斥力场为依据主机械臂模块的位姿信息形成；

优先规划所述主机械臂模块的运动路径；

将引力场与斥力场生成一合势场；

依据所述合势场，进行插值运算，规划所述辅助机械臂模块的运动路径。

可选的，插值运算后所述辅助机械臂模块的末端位姿表示为：

其中，

可选的，所述面向ALC板材生产线的智能装配系统，还包含：

一底层ROS系统，包含：

一场景监听器模块，与所述视觉传感器、以及所述双机械臂协同模块连接；

用于监听规划场景中的障碍物信息；以及

在监测到障碍物时，将所述主机械臂模块位姿信息、和/或，所述辅助机械臂模块的位姿信息、装配件信息，结合所述障碍物信息，生成一避障指令传输至所述双机械臂协同模块，以协调所述主机械臂模块、和/或所述辅助机械臂模块至少距离障碍物一安全间距动作。

可选的，所述底层ROS系统通过虚拟机上的usb_cam设置与所述视觉传感器物理连接，并通过Kinect驱动控制与所述视觉传感器、双机械臂协同模块完成传输匹配。

可选的，所述场景监听器模块采用SUYOLO-6D算法，所述SUYOLO-6D算法采用Darknrt-53网络结构，将算法回归函数及激活函数中的Softmax用Sigmoid代替，用于多标签分类。

本发明另一方面还提供了一种面向ALC板材生产线的智能装配方法，采取上述的面向ALC板材生产线的智能装配系统，至少包含：

采集主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、以及装配件信息；

依据主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、所述装配件信息，生成一动作指令，控制协调所述主机械臂模块与所述辅助机械臂模块动作。

可选的，依据主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、所述装配件信息，生成一动作指令，包含：

对每一所述装配件进行目标定位，依据所述主机械臂模块的位姿信息、所述辅助机械臂模块的位姿信息，得到每一所述装配件在双机械臂系统中的位置信息，所述装配件信息包含每一装配件的位置信息；

依据所述主机械臂模块的位姿信息、每一装配件的位置信息，生成所述主机械臂模块的运动路径；

依据所述主机械臂模块的运动路径、以及所述辅助机械臂模块的位姿信息，生成所述辅助机械臂模块的运动路径；

结合所述主机械臂模块的运动路径与所述辅助机械臂模块的运动路径生成一动作指令，协调所述主机械臂模块与所述辅助机械臂模块对每一装配件进行装配。

可选的，所述的面向ALC板材生产线的智能装配方法，还包括

监听规划场景中是否存在障碍物；

在监测到存在障碍物时，将所述主机械臂模块位姿信息、所述辅助机械臂模块的位姿信息、结合装配件的位置信息与所述障碍物信息，生成一避障指令，所述避障指令包含至少距离所述障碍物一安全间距；

所述双机械臂协同模块依据所述避障指令，协调所述主机械臂模块、所述辅助机械臂模块在至少距离所述障碍物一安全间距动作。

由以上方案可知，本发明的优点在于：

本发明提供的面向ALC板材生产线的智能装配系统及方法，通过设置多个视觉传感器，采集主机械臂模块的位姿信息与辅助机械臂模块的位姿信息、以及装配件信息；设置主机械臂模块与辅助机械臂模块，主机械臂模块作为主执行结构、辅助机械臂模块作为辅助执行机构，通过双机械臂协同模块，依据主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、以及所述装配件信息并进行处理生成一动作指令或避障指令，控制协调所述主机械臂模块与所述辅助机械臂模块动作。该系统利用视觉作为主目标识别传感的系统中，双机械臂之间协同控制运算在系统中预留了足够的运算内存，从而保证系统的低时延、高准确度、稳定性。此外，本实施例在ROS系统中添加场景监听器模块进行避障监测，构建了底层导向系统，控制检测机器人场景中是否存在以及实时运行中是否有新的障碍物出现，判断路径是否重新规划，实现系统的安全避障。

附图说明

图1为本发明提供的面向ALC板材生产线的智能装配系统的整体架构图；

图2为面向ALC板材生产线的智能装配方法的整体流程示意图；

图3为图2中步骤S2的详细流程示意图；

其中：

1-执行装置；

11-视觉传感器；

12-主机械臂模块；

13-辅助机械臂模块；

14-双机械臂协同模块；

2-底层ROS系统；

21-场景监听器模块；

S1-S3、S21-S24：步骤。

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

本发明提供一种面向ALC板材生产线的智能装配系统，其采用双机械臂之间协同控制，实现ALC板材生产装配过程中误差修正，进而实现智能装配，从而保证系统的低时延、高准确度、稳定性。具体如下：

一种面向ALC板材生产线的智能装配系统，其包含执行装置1、与底层ROS系统2，其中执行装置作为装配系统的核心，其主要包含多个视觉传感器11、一主机械臂模块12、一辅助机械臂模块13、一双机械臂协同模块14。其中，视觉传感器11，用于采集主机械臂模块的位姿信息与辅助机械臂模块的位姿信息、以及装配件信息；双机械臂协同模块14，同时与主机械臂模块12、辅助机械臂模块13、视觉传感器11连接，用于获取主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、以及装配件信息并进行处理生成一动作指令，控制协调主机械臂模块与辅助机械臂模块动作。

于本实施例中，主机械臂模块12与辅助机械臂模块13配合，两者运动在双机械臂协同模块14的控制下协调进行。其中，主机械模块12作为主要执行结构，用于ALC板材生产装配过程对各装配件进行装配操作，例如对装配件抓取、限位、精度调整等任务。辅助机械臂模块13作为辅助执行机构，辅助主机械臂模块11工作，例如负责板材装配件间的联接、辅助主机械臂模块定位装配件等工作，实现装配中误差修正功能等。

具体的，主机械臂模块12上布置有视觉传感器11，特别是至少在主机械臂模块12末端布置一视觉传感器11，用于采集主机械臂模块的末端位姿。主机械臂模块12在双机械臂协同模块14的运动控制器发送的脉冲作用下由步进电动机带动完成预期运动轨迹；在主机械臂模块12运动的同时，布置在主机械臂模块的视觉传感器同步记录主机械臂模块的位姿信息，例如主机械臂末端位姿，即末端空间坐标值以及运动过程中末端空间坐标变化情况，并反馈至双机械臂协同模块，以便于控制协调主机械臂模块与辅助机械臂模块动作。

辅助机械臂模块13上也布置有视觉传感器11，特别是至少在辅助机械臂模块13末端布置一视觉传感器11，用于采集辅助机械臂模块的末端位姿。辅助机械臂模块13在双机械臂协同模块14的运动控制器发送的脉冲作用下由步进电动机带动完成预期运动轨迹；在辅助机械臂模块13运动的同时，布置在辅助机械臂模块的视觉传感器同步记录辅助机械臂模块的位姿信息，例如辅助机械臂末端位姿，即末端空间坐标值以及运动过程中末端空间坐标变化情况，并反馈至双机械臂协同模块，以便于控制协调主机械臂模块与辅助机械臂模块动作。

此外，本实施例中，视觉传感器除了布置在主机械臂模块、辅助机械臂模块，负责监测械臂执行机构整体的位姿之外，还可以布置在规划场景相应位置处，采集装配件信息，例如用于ALC板材生产装配过程中的转配件的数量、每一装配件的位置等。

此外，于本实施例中，为提高板材装配效率，提升生产线的智能水平，双机械臂协同模块融合人工势场算法与线性插值算法，对采集的主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、装配件信息，进行图像识别处理，应用于目标装配件识别和障碍物避障，在主辅双机械臂协调结构下，增加运动实时轨迹避障功能。

具体的，本实施例中，依据主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、装配件信息，构造影响机械臂运动的引力场与斥力场，其中，引力场为依据装配件信息形成，斥力场为依据主机械臂模块的位姿信息形成。然后，优先规划主机械臂模块的运动路径；并将斥力场与目标点辐射的引力场生成一合势场，引力场与斥力场共同影响辅助机械臂的运动路径。在构造出合势场之后，结合线性插值，进行插值运算，规划辅助机械臂模块的运动路径。具体的，插值运算后辅助机械臂模块的末端位姿表示为：

其中，

此外，于本实施例中，在底层ROS系统中，添加一场景监听器模块21结构，对机械臂智能装配系统周围环境进行检测，实现避障功能。具体，场景监听器模块21与视觉传感器11、以及双机械臂协同模块14连接。场景监听器模块可以监听规划场景中的障碍物信息，并获取视觉传感器采集的主机械臂模块位姿信息、辅助机械臂模块的位姿信息、装配件信息，在监测到障碍物时，将主机械臂模块位姿信息、辅助机械臂模块的位姿信息、装配件信息，结合障碍物信息，生成一避障指令传输至双机械臂协同模块，避障指令可以包含至少距离障碍物一安全间距等信息。进而，双机械臂协同模块能够依据该避障指令协调主机械臂模块、辅助机械臂模块至少距离障碍物一安全间距动作，以避免主机械臂模块、辅助机械臂模块抓取的装配件时与障碍物发生物理碰撞或超出安全距离等问题。

此外，于具体实现中，底层ROS系统是一套针对机器人开发设计的开源后操作系统，其作为整体结构的底层系统，通过虚拟机上的usb_cam设置实现与视觉传感器的物理连接，并通过Kinect驱动控制完成与视觉传感器、双机械臂协同模块的信息传输匹配。

此外，于具体实现中，避障功能基于SUYOLO-6D算法实现，SUYOLO-6D算法在网络结构优化方面，采用Darknrt-53网络结构，增加多尺度特征提取网络，提升网络层数，同时保证图像提取过程的准确性和参数的有效性；同时，将算法回归函数及激活函数中的Softmax用Sigmoid代替，用于多标签分类。本实施例采用SUYOLO-6D算法，可解决传统视觉检测中造成的计算资源浪费与时间损失问题。

此外，基于上述的面向ALC板材生产线的智能装配系统，本发明进一步提供了一种面向ALC板材生产线的智能装配方法，如图2中所示，图2示出了该面向ALC板材生产线的智能装配方法的流程示意图，其至少包含：

S1、采集主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、以及装配件信息；

S2、依据主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、装配件信息，生成一动作指令，控制协调主机械臂模块与辅助机械臂模块动作。

于具体实现中，如图3中所示，图3示出了步骤S2的具体流程示意图，其具体包含：

首先，对每一装配件进行目标定位，依据主机械臂模块的位姿信息、辅助机械臂模块的位姿信息，得到每一装配件在双机械臂系统中的位置信息(S21)，即装配件信息包含每一装配件的位置信息。然后，优先规划主机械臂模块的运动路径，即：依据主机械臂模块的位姿信息、每一装配件的位置信息，生成主机械臂模块的运动路径(S22)；在规划出主机械臂模块的运动路径之后，进一步依据主机械臂模块的运动路径、以及辅助机械臂模块的位姿信息，生成辅助机械臂模块的运动路径(S23)；最后，结合主机械臂模块的运动路径与辅助机械臂模块的运动路径生成一动作指令，协调主机械臂模块与辅助机械臂模块对每一装配件进行装配(S24)。

此外，本实施例，还进一步增加了避障功能，判断路径是否重新规划，实现系统的安全避障。即：

S3、监听规划场景中是否存在障碍物；

在监测到存在障碍物时，将主机械臂模块位姿信息、辅助机械臂模块的位姿信息、结合装配件的位置信息与障碍物信息，生成一避障指令，避障指令包含至少距离障碍物一安全间距；

双机械臂协同模块依据避障指令，协调主机械臂模块、辅助机械臂模块在至少距离障碍物一安全间距动作。

综上，本发明提供的面向ALC板材生产线的智能装配系统及方法，通过设置多个视觉传感器，采集主机械臂模块的位姿信息与辅助机械臂模块的位姿信息、以及装配件信息；设置主机械臂模块与辅助机械臂模块，主机械臂模块作为主执行结构、辅助机械臂模块作为辅助执行机构，通过双机械臂协同模块，依据主机械臂模块的位姿信息、辅助机械臂模块的位姿信息、以及装配件信息并进行处理生成一动作指令或避障指令，控制协调主机械臂模块与辅助机械臂模块动作。该系统利用视觉作为主目标识别传感的系统中，双机械臂之间协同控制运算在系统中预留了足够的运算内存，从而保证系统的低时延、高准确度、稳定性。此外，本实施例在ROS系统中添加场景监听器模块进行避障监测，构建了底层导向系统，控制检测机器人场景中是否存在以及实时运行中是否有新的障碍物出现，判断路径是否重新规划，实现系统的安全避障。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以施加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。