一种双目联合的视觉伺服控制系统及方法

技术领域

本发明涉及一种视觉伺服控制方法，特别涉及一种双目联合的视觉伺服控制系统及方法。

背景技术

随着机器视觉领域研究的不断深入，基于图像特征信息对机械臂进行视觉伺服控制，提高了机械臂的精确识别与精细操作能力，扩展了机械臂的空间认知力及适应性。同时，并联机器人以其高精度、高速度等优势在食品、医疗、电子等行业的产品分拣、包装、检测领域得到了广泛的应用。并联机器人结合视觉伺服控制技术能够实现对抓取目标的闭环反馈控制，大大提高抓取的精度和抗扰动能力。当前，机器人视觉伺服技术同样存在诸多问题，诸如使用单一的眼在手外(ETH)和眼在手上(EIH)相机安装方式,造成相机视野受限和图像中目标物体被遮挡的情况，使得机器人工作范围受限和无法获得准确的目标位置信息，进而造成视觉伺服失败，大大降低工作效率。同时，基于位置的视觉伺服(PBVS)需要估计目标的三维位姿，但其位置精度偏低；基于图像的有标定视觉伺服(IBVS)需要精确的获得图像雅可比的各项参数，增大了计算量，造成较大的时间延迟，其抗扰动能力也不佳，同时视野受限，不利于视觉伺服任务的进行。总的来说，当前机器人视觉伺服控制仍受限于单一的图像目标信息获得方式和控制方法，造成视觉伺服效果不佳。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种双目联合的视觉伺服控制系统及方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：

一种双目联合的视觉伺服控制系统，包括3D相机、2D相机、传送带、并联机器人及机器人控制系统；3D相机设置在传送带一侧，并联机器人设置在传送带上方，2D相机安装在并联机器人动平台处；3D相机及2D相机均采集传送带上移动物体的图像信息；3D相机获得较粗精度的目标物体位置数据，并将获得的目标物体位置数据发送至机器人控制系统；机器人控制系统由目标物体位置数据逆解得到关节控制量，驱动机器人动平台趋近目标物体；当机器人动平台接近目标物体且2D相机捕获到目标物体图像后，2D相机对传送带上移动目标物体图像特征点进行提取及追踪，并将获得的数据发送至机器人控制系统；机器人控制系统采用卡尔曼滤波方法，由来自2D相机的数据，估计得到用于描述目标物体图像特征点位置变化与机器人机械臂位姿变化之间的映射关系的图像雅可比矩阵；由图像雅可比矩阵对关节速度进行求解，并控制机器人机械臂从当前位姿运动到期望位姿，实现对目标物体的操作。

进一步地，并联机器人为二自由度并联机器人或三自由度并联机器人。

进一步地，并联机器人为分拣作业机器人。

进一步地，3D相机采用YOLO深度学习图像识别算法，通过预先训练目标物体数据集，创建回归框，返回目标物体的回归框形心位置，获得物体的较粗精度的位置数据。

进一步地，2D相机基于Visual Studio软件利用FAST算法，完成包含当前目标物体的整幅图像中像素与其周围邻域内足够多的像素点相差较大特征点的提取；设定特征点在当前图像坐标系下的像素位置，基于LK稀疏光流法，通过对光流的高亮度进行判断，筛选出特征点在下一帧图像中的正确位置，完成相邻两帧图像间的特征点对的追踪，计算当前帧特征点像素位置到下一帧对应的像素位置的移动速度。

本发明还提供了一种双目联合的视觉伺服控制方法，该方法设置3D相机、2D相机、传送带、并联机器人及机器人控制系统；将3D相机设置在传送带一侧，将并联机器人设置在传送带上方，将2D相机安装在并联机器人动平台处；使3D相机及2D相机均采集传送带上移动物体的图像信息；使3D相机获得较粗精度的目标物体位置数据，并将获得的目标物体位置数据发送至机器人控制系统；使机器人控制系统由目标物体位置数据逆解得到关节控制量，驱动机器人动平台趋近目标物体；当机器人动平台接近目标物体且2D相机捕获到目标物体图像后，使2D相机对传送带上移动目标物体图像特征点进行提取及追踪，并将获得的数据发送至机器人控制系统；使机器人控制系统采用卡尔曼滤波方法，由来自2D相机的数据，估计得到用于描述目标物体图像特征点位置变化与机器人机械臂位姿变化之间的映射关系的图像雅可比矩阵；由图像雅可比矩阵对关节速度进行求解，并控制机器人机械臂从当前位姿运动到期望位姿，实现对目标物体的操作。

进一步地，使3D相机获得较粗精度的目标物体位置数据的方法包括如下方法步骤：使3D相机采用YOLO深度学习图像识别算法，通过预先训练目标物体数据集，创建回归框，返回目标物体的回归框形心位置，获得物体的较粗精度的位置数据。

进一步地，使2D相机对传送带上移动目标物体图像特征点进行提取及追踪的方法包括如下方法步骤：使2D相机基于Visual Studio软件利用FAST算法，完成包含当前目标物体的整幅图像中像素与其周围邻域内足够多的像素点相差较大特征点的提取；设定特征点在当前图像坐标系下的像素位置，基于LK稀疏光流法，通过对光流的高亮度进行判断，筛选出特征点在下一帧图像中的正确位置，完成相邻两帧图像间的特征点对的追踪，计算当前帧特征点像素位置到下一帧对应的像素位置的移动速度。

进一步地，机器人控制系统控制机器人机械臂从当前位姿运动到期望位姿的方法具体包括如下方法步骤：

设：S(k)为在k时刻2D相机检知的图像特征向量，S'(k)为在k时刻的期望图像特征向量，e(k)为k时刻特征点的空间误差，则有：

e(k)＝S(k)-S'(k)；

其中，S(k)＝[s

s

设：

其中，

式中：

J(k)为在k时刻图像雅可比矩阵；

为在k时刻图像特征点的运动速度；

R(k)为在k时刻机械臂关节转角向量；

定义图像雅可比矩阵为：

式中：

采用如下公式的比例控制方法，控制机械臂从当前位姿运动到期望位姿：

式中，J

进一步地，机器人控制系统采用卡尔曼滤波方法估计得到图像雅可比矩阵的方法包括如下方法步骤：

建立如下线性离散控制系统模型：

X(k)＝X(k-1)+w(k)；

Z(k)＝H(k)X(k)+v(k)；

其中：X(k)＝[j

式中：

X(k)为在k时刻的系统状态向量；

X(k-1)为在k-1时刻的系统状态向量；

Z(k)为测量向量；

w(k)为模型噪声；

v(k)为测量噪声；

H(k)为测量矩阵；

S(k+1)为在k+1时刻2D相机检知的图像特征向量；

系统状态和其协方差的预测公式为：

P(k|k-1)＝P(k-1)+Q(k)；

式中：

为k时刻先验估计的系统状态向量；

为k-1时刻估计的系统状态向量；

P(k|k-1)为k时刻先验估计的协方差矩阵；

P(k-1)为k-1时刻最优估计的协方差矩阵；

Q(k)为k时刻模型噪音的协方差矩阵；

系统状态和其协方差的更新公式如下：

P(k)＝[I-K(k)H(k)]P(k|k-1)；

K(k)＝P(k|k-1)H

式中：

为k时刻估计的系统状态向量；

I为单位矩阵；

R为测量噪声的协方差矩阵；

K(k)为k时刻的卡尔曼增益矩阵；

P(k)为k时刻的协方差矩阵；

通过卡尔曼滤波方法得到

本发明具有的优点和积极效果是：即利用双目联合视觉伺服控制，通过两台相机的配合来避免在传统视觉伺服控制中使用单一相机造成的视野受限，采用两种不同的视觉伺服方法来避免传统视觉伺服中使用单一方法造成的精度不足及视觉伺服失败等问题。将该方法应用于并联机器人物料分拣工作中，能够极大的提高物料抓取效率，提高生产力。

附图说明

图1是本发明的一种双目联合的视觉伺服控制系统结构示意图。

图2是本发明的一种双目联合的视觉伺服控制方法工作流程图。

图中：1、3D相机；2、传送带；3、并联机器人；4、2D相机。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

在本发明的描述中，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不能理解为对本发明的限制。本发明中使用的术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是直接相连，也可以通过中间部件间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

以下英文单词及缩写的中文释义如下：

ETH：眼在手外。

EIH：眼在手上。

PBVS：基于位置的视觉伺服。

IBVS：基于图像的视觉伺服。

YOLO：一种目标检测模型。

Visual Studio：美国微软公司的开发工具包系列产品。

FAST：一种特征点检测算法。

LK稀疏光流法：光流基本解法中的一种，也是当且最为流行的稀疏光流求解。相比其他光流法避免了计算目标区域内所有像素点的光流，减小了运算开销，提高了程序的运行速度。

请参见图1至图2，一种双目联合的视觉伺服控制系统，包括3D相机、2D相机、传送带、并联机器人及机器人控制系统；3D相机设置在传送带一侧，并联机器人设置在传送带上方，2D相机安装在并联机器人动平台处；3D相机及2D相机均采集传送带上移动物体的图像信息；3D相机获得较粗精度的目标物体位置数据，并将获得的目标物体位置数据发送至机器人控制系统；机器人控制系统由目标物体位置数据逆解得到关节控制量，驱动机器人动平台趋近目标物体；当机器人动平台接近目标物体且2D相机捕获到目标物体图像后，2D相机对传送带上移动目标物体图像特征点进行提取及追踪，并将获得的数据发送至机器人控制系统；机器人控制系统采用卡尔曼滤波方法，由来自2D相机的数据，估计得到用于描述目标物体图像特征点位置变化与机器人机械臂位姿变化之间的映射关系的图像雅可比矩阵；由图像雅可比矩阵对关节速度进行求解，并控制机器人机械臂从当前位姿运动到期望位姿，实现对目标物体的操作。

优选地，并联机器人可为二自由度并联机器人或三自由度并联机器人。

优选地，并联机器人可为分拣作业机器人。

优选地，3D相机可采用YOLO深度学习图像识别算法，可通过预先训练目标物体数据集，创建回归框，返回目标物体的回归框形心位置，获得物体的较粗精度的位置数据。

优选地，2D相机可基于Visual Studio软件利用FAST算法，完成包含当前目标物体的整幅图像中像素与其周围邻域内足够多的像素点相差较大特征点的提取；可设定特征点在当前图像坐标系下的像素位置，可基于LK稀疏光流法，通过对光流的高亮度进行判断，筛选出特征点在下一帧图像中的正确位置，完成相邻两帧图像间的特征点对的追踪，可计算当前帧特征点像素位置到下一帧对应的像素位置的移动速度。

本发明还提供了一种双目联合的视觉伺服控制方法，该方法设置3D相机、2D相机、传送带、并联机器人及机器人控制系统；将3D相机设置在传送带一侧，将并联机器人设置在传送带上方，将2D相机安装在并联机器人动平台处；使3D相机及2D相机均采集传送带上移动物体的图像信息；使3D相机获得较粗精度的目标物体位置数据，并将获得的目标物体位置数据发送至机器人控制系统；使机器人控制系统由目标物体位置数据逆解得到关节控制量，驱动机器人动平台趋近目标物体；当机器人动平台接近目标物体且2D相机捕获到目标物体图像后，使2D相机对传送带上移动目标物体图像特征点进行提取及追踪，并将获得的数据发送至机器人控制系统；使机器人控制系统采用卡尔曼滤波方法，由来自2D相机的数据，估计得到用于描述目标物体图像特征点位置变化与机器人机械臂位姿变化之间的映射关系的图像雅可比矩阵；由图像雅可比矩阵对关节速度进行求解，并控制机器人机械臂从当前位姿运动到期望位姿，实现对目标物体的操作。

优选地，使3D相机获得较粗精度的目标物体位置数据的方法可包括如下方法步骤：可使3D相机采用YOLO深度学习图像识别算法，可通过预先训练目标物体数据集，创建回归框，返回目标物体的回归框形心位置，获得物体的较粗精度的位置数据。

优选地，使2D相机对传送带上移动目标物体图像特征点进行提取及追踪的方法可包括如下方法步骤：可使2D相机基于Visual Studio软件利用FAST算法，完成包含当前目标物体的整幅图像中像素与其周围邻域内足够多的像素点相差较大特征点的提取；可设定特征点在当前图像坐标系下的像素位置，可基于LK稀疏光流法，通过对光流的高亮度进行判断，筛选出特征点在下一帧图像中的正确位置，完成相邻两帧图像间的特征点对的追踪，计算当前帧特征点像素位置到下一帧对应的像素位置的移动速度。

优选地，机器人控制系统控制机器人机械臂从当前位姿运动到期望位姿的方法具体可包括如下方法步骤：

可设：S(k)为在k时刻2D相机检知的图像特征向量，S'(k)为在k时刻的期望图像特征向量，e(k)为k时刻特征点的空间误差，则有：

e(k)＝S(k)-S'(k)；

其中，S(k)＝[s

s

可设：

其中，

式中：

J(k)为在k时刻图像雅可比矩阵；

为在k时刻图像特征点的运动速度；

R(k)为在k时刻机械臂关节转角向量；

可定义图像雅可比矩阵为：

式中：

可采用如下公式的比例控制方法，控制机械臂从当前位姿运动到期望位姿：

式中，J

优选地，机器人控制系统采用卡尔曼滤波方法估计得到图像雅可比矩阵的方法可包括如下方法步骤：

可建立如下线性离散控制系统模型：

X(k)＝X(k-1)+w(k)；

Z(k)＝H(k)X(k)+v(k)；

其中：X(k)＝[j

式中：

X(k)为在k时刻的系统状态向量；这里系统指上述的线性离散控制系统。

X(k-1)为在k-1时刻的系统状态向量；

Z(k)为测量向量；

w(k)为模型噪声；

v(k)为测量噪声；

H(k)为测量矩阵；

S(k+1)为在k+1时刻2D相机检知的图像特征向量；

系统状态和其协方差的预测公式为：

P(k|k-1)＝P(k-1)+Q(k)；

式中：

为k时刻先验估计的系统状态向量；

为k-1时刻估计的系统状态向量；

P(k|k-1)为k时刻先验估计的协方差矩阵；

P(k-1)为k-1时刻最优估计的协方差矩阵；

Q(k)为k时刻模型噪音的协方差矩阵；

系统状态和其协方差的更新公式如下：

P(k)＝[I-K(k)H(k)]P(k|k-1)；

K(k)＝P(k|k-1)H

式中：

为k时刻估计的系统状态向量；

I为单位矩阵；

R为测量噪声的协方差矩阵；

K(k)为k时刻的卡尔曼增益矩阵；

P(k)为k时刻的协方差矩阵；

通过卡尔曼滤波方法得到

下面以本发明的一个优选实施例来进一步说明本发明的工作原理：

一种双目联合的视觉伺服控制系统，包括3D相机1、2D相机4、传送带2、并联机器人3及机器人控制系统；3D相机1设置在传送带2一侧，并联机器人3设置在传送带2上方，2D相机4安装在并联机器人3动平台处；3D相机1为ETH相机，2D相机4为EIH相机；3D相机1及2D相机4均采集传送带2上移动物体的图像信息；3D相机1获得较粗精度的目标物体位置数据，并将获得的目标物体位置数据发送至机器人控制系统；机器人控制系统由目标物体位置数据逆解得到关节控制量，驱动机器人动平台趋近目标物体；当机器人动平台接近目标物体且2D相机4捕获到目标物体图像后，2D相机4对传送带2上移动目标物体图像特征点进行识别、匹配与追踪，并将获得的数据发送至机器人控制系统；机器人控制系统采用卡尔曼滤波方法，由来自2D相机4的图像数据，估计得到用于描述目标物体图像特征点位置变化与机器人末端位姿变化之间的映射关系的图像雅可比矩阵；由图像雅可比矩阵对关节速度进行求解，并控制机械臂从当前位姿运动到期望位姿，实现对目标物体的操作。

3D相机1可以同时捕捉到长度、宽度和深度的信息，即可以获取物体的三维形状和颜色信息。2D相机4只能捕捉到平面上的二维信息，即长度和宽度，提供物体的表面轮廓和颜色信息。3D相机1与2D相机4的最大区别在于，3D相机1可以获取真实世界尺度下的3D信息，而2D相机4只能获取像素尺度下的2D平面图像信息。

3D相机1能检测出拍摄空间的景深距离。通过深度相机获取到图像中每个点距离摄像头的距离，在加上该点在2D图像中的二维坐标，就能获取图像中每个点的三维空间坐标。

本发明的一种双目联合的视觉伺服控制系统，其视觉伺服控制方法包括基于位置的视觉伺服(PBVS)和基于图像的视觉伺服(IBVS)两种视觉伺服控制方法，基于位置的视觉伺服控制方法需要经图像处理估计目标的三维位姿信息，而基于图像的视觉伺服控制方法则是经图像处理获得图像特征点或图像矩信息。本发明的一种双目联合的视觉伺服控制系统中，固定于传送带2一侧侧方的3D相机1(以下称ETH相机)采用PBVS方法，完成相机的标定，通过图像处理识别传送带2上物体的位置信息，计算物体的三维位置信息；固定于机器人动平台上的2D相机4(以下称EIH相机)采用IBVS方法，采用自适应卡尔曼滤波方法估计图像雅可比矩阵，保证运动精度和实时性。通过上述方法实现双目联合视觉伺服控制，完成并联机器人3对目标的动态追踪及抓取。

利用上述的一种双目联合的视觉伺服控制系统，本发明实施的双目联合的视觉伺服控制方法工作流程如图2所示。

当目标进入传动带时，由于EIH相机视野受限不能捕捉到目标图像，目标进入ETH相机视野，此时，并联机器人3关节运动受ETH相机反馈图像位置信息控制，驱动并联机器人3末端执行器接近传送带2上目标物体。

当目标进入EIH相机视野范围后，此时采用EIH相机反馈图像特征点信息，通过图像雅可比矩阵的估计实现对机器人关节的运动控制，驱动并联机器人3末端执行器进一步接近目标，直到实现抓取动作，实现高精度抓取。

具体实施包括以下步骤：

机械系统的搭建：将并联机器人3安装于机架上，并在机器人下方放置传送带2，将3D相机1安装于传送带2侧方的脚架上，将2D相机4安装于并联机器人3动平台处，完成全部设备的电气连接，如图1所示；

当目标物体进入传动带时，通过判断EIH相机是否捕获到目标图像，若EIH相机未捕获到目标图像，则继续判断ETH相机是否捕获到目标图像，若ETH相机捕获到目标图像，则机器人控制器接收ETH相机所反馈回的目标位置信息。

ETH深度相机结合深度学习YOLO图像识别算法，通过预先训练目标物体数据集，创建回归框，返回目标物体的回归框形心位置,获得物体的粗精度位置[x y z]

当机器人接近目标物体时，此时若EIH相机捕获到目标图像，则机器人控制器接收EIH相机所反馈回的目标位置信息。EIH相机由于更接近目标物体，拥有更高的图像精度，更适合完成对目标的准确抓取。

EIH相机采用基于图像的视觉伺服控制，进行图像处理，完成特征点的识别、匹配与追踪，其具体图像处理过程为：基于Visual Studio软件利用FAST算法完成包含当前目标物体的整幅图像中像素与其周围邻域内足够多的像素点相差较大特征点的提取，设定特征点在当前图像坐标系下的位置为是S；基于LK稀疏光流法，计算当前帧目标物体的图像所获得的特征点到下一帧对应特征点的像素位置的移动速度；通过对光流的高亮度进行判断，筛选出特征点在下一帧图像中的正确位置，完成相邻两帧图像间的特征点对的追踪；设定目标物体在像素坐标系中的期望图像坐标为S'，视觉伺服任务完成的条件是当前特征点图像坐标S与期望图像坐标S'重合，以此来构建机器人控制系统的目标函数。

设：S(k)为在k时刻2D相机检知的图像特征向量，S'(k)为在k时刻的期望图像特征向量，e(k)为k时刻特征点的空间误差，则有：

e(k)＝S(k)-S'(k)；

其中，S(k)＝[s

s

设：

其中，

式中：

J(k)为在k时刻图像雅可比矩阵；

为在k时刻图像特征点的运动速度；

R(k)为在k时刻机械臂关节转角向量；

r

定义图像雅可比矩阵为：

式中：

采用如下公式的比例控制方法，控制机械臂从当前位姿运动到期望位姿：

式中，J

进一步地，机器人控制系统采用卡尔曼滤波方法估计得到图像雅可比矩阵的方法包括如下方法步骤：

建立如下线性离散控制系统模型：

X(k)＝X(k-1)+w(k)；

Z(k)＝H(k)X(k)+v(k)；

其中：X(k)＝[j

式中：

X(k)为在k时刻的系统状态向量；

X(k-1)为在k-1时刻的系统状态向量；

Z(k)为测量向量；

w(k)为模型噪声；

v(k)为测量噪声；

H(k)为测量矩阵；

S(k+1)为在k+1时刻2D相机检知的图像特征向量；

系统状态和其协方差的预测公式为：

P(k|k-1)＝P(k-1)+Q(k)；

式中：

为k时刻先验估计的系统状态向量；

为k-1时刻估计的系统状态向量；

P(k|k-1)为k时刻先验估计的协方差矩阵；

P(k-1)为k-1时刻最优估计的协方差矩阵；

Q(k)为k时刻模型噪音的协方差矩阵；

系统状态和其协方差的更新公式如下：

/>

P(k)＝[I-K(k)H(k)]P(k|k-1)；

K(k)＝P(k|k-1)H

式中：

为k时刻估计的系统状态向量；

I为单位矩阵；

R为测量噪声的协方差矩阵；

K(k)为k时刻的卡尔曼增益矩阵；

P(k)为k时刻的协方差矩阵；

通过卡尔曼滤波方法得到

3D相机1、2D相机4、传送带2、并联机器人3及机器人控制系统等装置及系统均可采用现有技术中适用的装置及系统，或者采用现有技术中的装置及系统并采用常规技术手段构建。本申请中记载的软件、算法、功能模块可采用现有技术中适用的软件、算法、功能模块，或者采用现有技术中的软件、算法、功能模块并采用常规技术手段构建。

以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。