基于3D视觉的图像数据在线采集系统及方法

技术领域

本发明涉及一种基于3D视觉的图像数据在线采集系统及方法。

背景技术

随着国内制造业转型升级和企业降本增效的推进，越来越多加工型企业引入了自动化设备，实现机器换人。在自动化改造过程中，3D视觉起着至关重要的作用。3D视觉作为工业机器人的“眼睛”，结合深度学习算法识别定位场景中的物体，并引导机器人完成抓取。3D视觉在拆码垛领域的应用极为广泛，如农副食品加工业(粮食、饲料加工)、化工行业(化肥、化工原料生产)、建材行业(混凝土、耐火砖生产)等等。在这些场景中，3D视觉结合深度学习模型用于识别袋子、物体的表面形状(圆形、方形、梯形)并计算出物体的6D位姿。在实际应用中，物体识别定位的准确率在很大程度上取决于深度学习模型训练的准确率。为了提高深度学习模型训练的准确率，通常需要在生产场景中采集大量的图像数据用于深度学习模型的训练。传统的图像数据采集方式需要工人配合完成，图像数据采集效率低下，而且影响生产活动的正常进行。例如在饲料加工厂中，需要采集不同光照条件下、饲料堆垛在不同状态下的袋子图像，每采集一张图像需要工人配合从堆垛中拆下一袋饲料，然后再采集下一张图像，依次完成图像采集。另外，在耐火砖生产线改造中，如果没有深度学习模型，就无法实现耐火砖的自动搬运，所以需要提前采集图像数据进行模型训练。但事先没有耐火砖样品供图像数据采集使用，只能在产线投入使用时才能开始采集图像数据，导致搬运后续生产环节处于停滞状态。

发明内容

本发明提供了一种基于3D视觉的图像数据在线采集系统及方法，采用如下的技术方案：

一种基于3D视觉的图像数据在线采集系统，包含：

智能3D相机，用于采集视野中目标区域的图像数据；

机器人装置，用于对堆垛输送系统输送过来的目标物料进行抓取并将其搬运至物料传送系统；

图像采集装置，用于接收图像采集人员的操作从而控制智能3D相机和机器人装置；

图像采集装置通过输入接口和输出接口与智能3D相机和机器人装置进行信息交互；

输入接口用于供图像采集装置接收智能3D相机采集的图像数据和机器人装置的状态信息；

输出接口用于将图像采集装置的控制指令发送至智能3D相机和将计算得到的目标物料的抓取点的位姿信息发送至机器人装置；

智能3D相机根据接收到的控制指令执行图像采集工作并将采集到的图像数据传输至图像采集装置；

机器人装置根据接收到的位姿信息将目标物料转移至物料传送系统。

进一步地，图像采集装置包括：

用户交互单元，用于接收图像采集人员的输入操作；

相机控制单元，用于设定智能3D相机的拍照参数以及控制3D相机进行拍照；

通讯模块，用于图像采集装置与智能3D相机和机器人装置之间的数据和指令的传输；

图像存储模块，用于存储智能3D相机采集到的图像数据；

图像显示模块，用于显示和查看智能3D相机的2D视野以及采集到的图像数据；

用户交互单元还用于供图像采集人员操作从图像显示模块显示的图像数据中选取中心点和朝向；

位姿估计模块，用于根据图像数据、中心点和朝向计算选定的目标物料的6D位姿；

手眼标定模块，用于获取智能3D相机的坐标系和机器人装置的坐标系的转换关系，并根据转换关系将位姿估计模块计算出的目标物料的6D位姿变换为机器人装置坐标系中的位姿信息。

进一步地，用户交互单元包含鼠标、键盘和图形化交互界面。

进一步地，图像采集装置还包括：

安全模块，用于在图像采集过程中发生危险操作时紧急停止系统的运行。

进一步地，图像采集装置还包括：

训练模块，用于根据获取到的图像数据对深度学习模型进行训练。

进一步地，图像数据包括2D图像和三维点云数据。

进一步地，机器人装置包括：

机器人本体，用于执行目标物料的抓取和搬运工作；

机器人控制系统，用于控制机器人本体。

一种基于3D视觉的图像数据在线采集方法，用于基于3D视觉的图像数据在线采集系统，

基于3D视觉的图像数据在线采集系统包括：用于采集视野中目标区域的图像数据的智能3D相机、用于对堆垛输送系统输送过来的目标物料进行抓取并将其搬运至物料传送系统的机器人装置和用于接收图像采集人员的操作从而控制智能3D相机和机器人装置的图像采集装置；

图像采集装置通过输入接口和输出接口分别与智能3D相机和机器人装置进行信息交互；

基于3D视觉的图像数据在线采集方法包括：

通过图像采集装置获取智能3D相机坐标系和机器人装置坐标系的转换关系；

控制智能3D相机采集视野中目标区域的目标物料的图像数据；

接收并显示智能3D相机采集到的图像数据；

设定目标物料的中心点和朝向；

根据图像数据、中心点和朝向计算目标物料的6D位姿；

将6D位姿转换成机器人装置坐标系中的目标物料的抓取点位姿信息并发送至机器人装置；

机器人装置根据位姿信息抓取目标物料并将其搬运至物料传送系统。

进一步地，图像采集装置包括：用户交互单元、相机控制单元、通讯模块、图像存储模块、图像显示模块、位姿估计模块和手眼标定模块；

基于3D视觉的图像数据在线采集方法进一步为：

通过手眼标定模块获取智能3D相机坐标系和机器人装置坐标系的转换关系；

通过相机控制单元设定智能3D相机的参数并控制智能3D相机采集视野中目标区域的目标物料的图像数据；

通过图像存储模块保存图像数据；

通过图像显示模块显示图像数据；

通过用户交互单元从显示的图像数据中选取中心点和朝向；

通过位姿估计模块根据图像数据、中心点和朝向计算目标物料的6D位姿；

通过手眼标定模块将6D位姿转换成机器人装置坐标系中的目标物料的抓取点的位姿信息并发送至机器人装置；

机器人装置根据位姿信息抓取目标物料并将其搬运至物料传送系统。

进一步地，在通过智能3D相机获取图像数据时确保机器人装置不在视野中；

图像数据包含2D图像和三维点云数据。

本发明的有益之处在于所提供的基于3D视觉的图像数据在线采集系统及方法，实现图像数据采集去工人化，用机器人代替工人搬运，配合3D视觉系统完成数据采集。同时实现在线图像数据采集，在数据采集的同时能够进行正常的生产活动，维持生产线正常运转。

附图说明

图1是本发明的基于3D视觉的图像数据在线采集系统的示意图；

图2是本发明的图像采集装置的示意图；

图3是本发明的基于3D视觉的图像数据在线采集方法的示意图；

图4是本发明的基于3D视觉的图像数据在线采集方法的另一示意图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

如图1所示为本发明的一种基于3D视觉的图像数据在线采集系统，用于实时获取图像数据。该系统主要包含：智能3D相机14、机器人装置15和图像采集装置11。

智能3D相机14用于采集视野中目标区域的图像数据。机器人装置15用于对堆垛输送系统16输送过来的目标物料进行抓取并将其搬运至物料传送系统17。其中，堆垛输送系统16用于将物料堆垛输送到搬运工位，物料传送系统17将其运送到下一个生产环节。图像采集装置11用于接收图像采集人员的操作从而控制智能3D相机14和机器人装置15。图像采集装置11通过输入接口12和输出接口13与智能3D相机14和机器人装置15进行信息交互。输入接口12用于供图像采集装置11接收智能3D相机14采集的图像数据和机器人装置15的状态信息。输出接口13用于将图像采集装置11的控制指令发送至智能3D相机14和将计算得到的目标物料的抓取点的位姿信息发送至机器人装置15。智能3D相机14根据接收到的控制指令执行图像采集工作并将采集到的图像数据传输至图像采集装置11。机器人装置15根据接收到的位姿信息将目标物料转移至物料传送系统17。通过本发明的基于3D视觉的图像数据在线采集系统，实现图像数据采集去工人化，用机器人代替工人搬运，配合3D视觉系统完成数据采集。同时实现在线图像数据采集，在数据采集的同时能够进行正常的生产活动，维持生产线正常运转。

作为一种优选的实施方式，如图2所示，图像采集装置11包括：用户交互单元28、相机控制单元27、通讯模块26、图像存储模块24、图像显示模块23、位姿估计模块22、位姿估计模块22和手眼标定模块21。

其中，用户交互单元28用于接收图像采集人员的输入操作。具体地，用户交互单元28包含鼠标、键盘和图形化交互界面。图像采集人员可以通过鼠标、键盘和图形化交互界面对图像采集装置11进行操作以完成手眼标定、设定目标物料的几何中心点和朝向以及操控图像数据采集全过程。相机控制单元27用于设定智能3D相机14的拍照参数以及控制3D相机进行拍照。通讯模块26用于图像采集装置11与智能3D相机14和机器人装置15之间的数据和指令的传输。图像存储模块24用于存储智能3D相机14采集到的图像数据。图像显示模块23用于显示和查看智能3D相机14的2D视野以及采集到的图像数据。这其中，图像数据包含2D图像和生成的三维点云数据。图像显示模块23主要显示图像数据的2D图像。用户交互单元28还用于供图像采集人员操作从图像显示模块23显示的图像数据中选取中心点和朝向。位姿估计模块22用于根据图像数据、中心点和朝向计算选定的目标物料的6D位姿。手眼标定模块21用于获取智能3D相机14的坐标系和机器人装置15的坐标系的转换关系，并根据转换关系将位姿估计模块22计算出的目标物料的6D位姿变换为机器人装置15坐标系中的位姿信息。

作为一种优选的实施方式，图像采集装置11还包括：安全模块25。

可以理解的是，系统运行过程始终可能存在危险操作，安全模块25用于在图像采集过程中发生危险操作时紧急停止系统的运行。

作为一种优选的实施方式，图像采集装置11还包括：训练模块29。

采集图像数据的最终目的是为了深度学习模型，而训练模块29用于根据获取到的若干图像数据对深度学习模型进行训练，直至训练完成。

作为一种优选的实施方式，机器人装置15包括：机器人本体和机器人控制系统。

机器人本体用于执行目标物料的抓取和搬运工作。机器人控制系统用于控制机器人本体。

以下结合本发明的基于3D视觉的图像数据在线采集系统具体介绍一种基于3D视觉的图像数据在线采集方法。如图3所示，基于3D视觉的图像数据在线采集方法包括：

S1：通过图像采集装置11获取智能3D相机14坐标系和机器人装置15坐标系的转换关系。

S2：控制智能3D相机14采集视野中目标区域的目标物料的图像数据。

S3：接收并显示智能3D相机14采集到的图像数据。

S4：设定目标物料的中心点和朝向。

S5：根据图像数据、中心点和朝向计算目标物料的6D位姿。

S6：将6D位姿转换成机器人装置15坐标系中的目标物料的抓取点位姿信息并发送至机器人装置15。

S7：机器人装置15根据位姿信息抓取目标物料并将其搬运至物料传送系统17。

更具体而言，如图4所示，基于3D视觉的图像数据在线采集方法包括：

S10：通过手眼标定模块21获取智能3D相机14坐标系和机器人装置15坐标系的转换关系。

S20：通过相机控制单元27设定智能3D相机14的参数并控制智能3D相机14采集视野中目标区域的目标物料的图像数据。该图像数据包含2D图像和三维点云数据。获取到图像数据后，图像采集人员判断该图像数据是否符合要求，如曝光量、图像清晰度等。确认符合要求后进行确认。

S30：通过图像存储模块24保存图像数据。图像采集人员手动保存图像，图像将用于深度学习模型的训练。

S40：通过图像显示模块23显示图像数据。通过图像显示模块23显示图像数据的2D图像。

S50：通过用户交互单元28从显示的图像数据中选取中心点和朝向。在采集到的2D图像中选择目标物料，确保目标物料无遮挡，机器人装置15可以进行抓取，然后通过用户交互单元28选择该物料的几何中心点和朝向，作为机器人装置15抓取物料时的抓取点和抓取点XY轴的朝向。优选的，可以通过鼠标选择该物料的几何中心点和朝向。具体地，在选择了中心点和朝向后，图像采集人员还需要对选择的中心点和朝向进行确认，判断是否需要进行调整。

S60：通过位姿估计模块22根据图像数据、中心点和朝向计算目标物料的6D位姿。

S70：通过手眼标定模块21将6D位姿转换成机器人装置15坐标系中的目标物料的抓取点的位姿信息并发送至机器人装置15。

S80：机器人装置15根据位姿信息抓取目标物料并将其搬运至物料传送系统17。

可以理解的是，一个堆垛中可能包含多个物料，重复以上步骤，将一个堆垛中的多个物料均进行图像采集并转移至物料传送系统17中。

作为一种优选的实施方式，在通过智能3D相机14获取图像数据时确保机器人装置15不在视野中。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。