一种基于3D相机的圆柱体物料对接方法及装置

技术领域

本申请涉及自动化、智能化技术领域，尤其涉及一种基于3D相机的圆柱体物料对接方法及装置。

背景技术

随着我国人口红利的逐渐消失，人力成本逐渐成为生产制造企业的一大负担。在当前的许多制造业的生产线上，自动化、智能化的程度还较低，一些较重物料的搬运、上下料、对准等作业依旧依靠人工来完成，这方面的人力成本也在逐年提升。除此之外，人工作业还有疲劳、易出错、效率低等缺陷。所以，在制造业领域，自动化、智能化的机器换人需求越来越迫切。

在一些生产制造领域，如印刷、造纸、新能源、汽车制造等行业，存在一些卷轴原料，体积和重量都较大，有些重达一吨甚至更重，形状基本属于圆柱体或类圆柱体。在上料的过程中，需要人工或使用叉车将物料抬起，并准确的防止在指定的托台上，再由机械夹取。由于机械的执行精度和固定性的要求，人工往往需要花较大的力气和较长的时间完成对接作业。目前行业内并未自动对齐圆柱体物料的方案，造成了效率低、速度慢、容易出危险等情况。在这些场景下，对自动化、智能化的需求更高。

发明内容

本申请实施例的目的是提供一种基于3D相机的圆柱体物料对接方法及装置，以解决相关技术中存在的效率低、速度慢、容易出危险的问题。

根据本申请实施例的第一方面，提供一种基于3D相机的圆柱体物料对接方法，所述圆柱体物料承载在自主移动机器人上，其特征在于，该方法包括：

采集步骤，用于通过两个3D相机采集圆柱体物料截面的三维点云数据，其中所述两个3D相机分别布置在圆柱体物料的两侧，所述两个3D相机的视野覆盖所述圆柱体物料的整个截面，所述截面包括物料和圆孔部分；

坐标转换步骤，用于根据3D相机坐标系和自主移动机器人坐标系的转换关系，将所述三维点云数据转换到自主移动机器人坐标系下；

预处理步骤，用于转换后对所述三维点云数据进行预处理；

分割拟合步骤，用于对预处理后的三维点云数据进行分割处理，获取得到圆柱体物料中心区域的点云，对所述点云进行拟合，得到几何圆柱体；

计算步骤，用于根据所述几何圆柱体，得到几何圆柱体的圆心位置和轴线位置；

控制步骤，用于将所述圆心位置和轴线位置发送给自主移动机器人，通过自主移动机器人的运动控制实现对接的过程。

进一步地，所述两个3D相机分别布置在圆柱体物料的两侧，所述两个3D相机的视野覆盖所述圆柱体物料的整个截面，包括：

在圆柱体物料两侧的外部偏下方安装3D相机，3D相机的镜头分别朝向圆柱体物料的底部外边缘，保证3D相机能采集到圆柱体物料的中心和底部弧面数据。

进一步地，所述3D相机是指除二维图像之外，还能获取场景深度信息的传感器。

进一步地，所述3D相机拍摄圆柱形物料时，3D相机会同时获取到圆柱体物料截面的信息和底部信息，其中底部信息用来辅助定位，大致确定圆柱体物料中心的上下位置；截面信息则用于进行精确定位，获得圆柱体物料中心精准的3D位置信息。

进一步地，3D相机坐标系和自主移动机器人坐标系的转换关系通过对3D相机和自主移动机器人进行标定获得。

进一步地，对所述三维点云数据进行预处理，包括：

通滤波算法对所述三维点云数据进行去噪；

去噪后对所述三维点云数据进行下采样，去除部分噪声，保持点云均匀分布；

下采样后保留有用的圆柱底部点云数据，利用法向量信息再次剔除干扰点。

进一步地，所述滤波算法包括双边滤波和中值滤波，用于过滤噪点。

进一步地，根据所述几何圆柱体，得到几何圆柱体的圆心位置和轴线位置，包括：

根据所述几何圆柱体，获取得到圆柱体物料两端边缘的圆心位置；

通过圆柱体物料中心区域的左侧点云，计算得到的轴

进一步地，还包括：

迭代控制步骤，用于根据当前的自主移动机器人运动控制的结果，执行采集步骤至控制步骤，如果所述圆心位置和轴线位置的位置差小于设定阈值时，则对接成功，停止运动控制；否则，重复采集步骤至控制步骤，直到对接成功。

根据本发明实施例的第二方面，提供一种基于3D相机的圆柱体物料对接装置，所述圆柱体物料承载在自主移动机器人上，该装置包括：

采集模块，用于通过两个3D相机采集圆柱体物料截面的三维点云数据，其中所述两个3D相机分别布置在圆柱体物料的两侧，所述两个3D相机的视野覆盖所述圆柱体物料的整个截面，所述截面包括物料和圆孔部分；

坐标转换模块，用于根据3D相机坐标系和自主移动机器人坐标系的转换关系，将所述三维点云数据转换到自主移动机器人坐标系下；

预处理模块，用于转换后对所述三维点云数据进行预处理；

分割拟合模块，用于对预处理后的三维点云数据进行分割处理，获取得到圆柱体物料中心区域的点云，对所述点云进行拟合，得到几何圆柱体；

计算模块，用于根据所述几何圆柱体，得到几何圆柱体的圆心位置和轴线位置；

控制模块，用于将所述圆心位置和轴线位置发送给自主移动机器人，通过自主移动机器人的运动控制实现对接的过程。

本申请的实施例提供的技术方案可以包括以下有益效果：

由上述实施例可知，本申请通过安装到自主移动机器人两侧的3D相机，自动识别物料和对接轴的位置，引导自主移动机器人完成运动控制，从而达到物料上料、对准的全过程的自动化，提高作业效率，减少人力参与。

为提高生产效率，减少人力参与，提高产业自动化程度，本发明的方法可以快速、高效地提取出圆柱体的中心和边缘精确位置。同时，通过双3D相机的配置，可以获得整个圆柱物料的准确位置和姿态，为自动对准提供精确信息。

本方法采用3D相机作为传感器，固定在自主移动机器人（AMR）两侧，AMR顶部托举物料，确保3D相机可以观测到料卷内部圆孔区域。物料两端侧下方放置两台3D相机（相机一般采用TOF或结构光原理），同时向上拍摄圆柱体的两端，获取3D点云数据。

由于光线材质等噪声因素的存在，本发明首先进行去噪的方式获取干净的圆柱体点云，然后对点云进行数据处理。通过算法进行三维几何由粗定位到精定位的过程，获取整个圆柱体的位置和姿态，最高定位精度在0.5mm以内。随后，本发明把相关位置和姿态信息发给自主移动机器人（AMR），引导机器人完成位置调整，完成对准上料的过程。

本发明的方法能够有效的替代人工繁重冗长的对接工作。结合3D传感器数据和智能算法，效率更高，更安全。

本发明的方法，结合自主移动机器人，实现了机器人托举和精确对接的功能，让机器人不仅可以自主移动，同时还可以实现“手”的功能，完成相对精细的工作。

本发明的方法，可以兼容一定程度上不同尺寸和位置的物料，真正实现生产线上作业的自动化和智能化，完成机器换人的过程。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种基于3D相机的圆柱体物料对接方法的流程图。

图2是根据一示例性实施例示出的自主移动机器人背负圆柱形物料和3D相机安装效果示意图。

图3是根据一示例性实施例示出的3D相机获取三维点云数据并拟合出的物料位置图。

图4是根据一示例性实施例示出的一种基于3D相机的圆柱体物料对接装置框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

图1是根据一示例性实施例示出的一种基于3D相机的圆柱体物料对接方法的流程图。参考图1，本发明实施例提供一种基于3D相机的圆柱体物料对接方法，所述圆柱体物料承载在自主移动机器人（AMR）上，该方法包括：

采集步骤S101，用于通过两个3D相机采集圆柱体物料截面的三维点云数据，其中所述两个3D相机分别布置在圆柱体物料的两侧，所述两个3D相机的视野覆盖所述圆柱体物料的整个截面，所述截面包括物料和圆孔部分；

坐标转换步骤S102，用于根据3D相机坐标系和自主移动机器人坐标系的转换关系，将所述三维点云数据转换到自主移动机器人坐标系下；

预处理步骤S103，用于转换后对所述三维点云数据进行预处理；

分割拟合步骤S104，用于对预处理后的三维点云数据进行分割处理，获取得到圆柱体物料中心区域的点云，对所述点云进行拟合，得到几何圆柱体；

计算步骤S105，用于根据所述几何圆柱体，得到几何圆柱体的圆心位置和轴线位置；

控制步骤S106，用于将所述圆心位置和轴线位置发送给自主移动机器人，通过自主移动机器人的运动控制实现对接的过程。

通过上述步骤，自主移动机器人（AMR）通过3D相机计算得来的位置偏差，形成一个控制系统，引导自主移动机器人运动，完成替换人工的自动对接和上料过程，实现较高的对接精度。3D相机充当机器人的“眼睛”，可快速反馈出当前位置下需要调整的位置数据；自主移动机器人（AMR）则是“手臂”的作用，托举物料完成对接作业。整个过程和人工对接类似，但对接精度和效率大大超过人力，实习自动化、智能化的过程。

上述采集步骤S101中，所述两个3D相机分别布置在圆柱体物料的两侧，所述两个3D相机的视野覆盖所述圆柱体物料的整个截面，包括：

如图2所示，在圆柱体物料1两侧的外部偏下方安装第一3D相机2和第二3D相机3，所述圆柱体物料1承载在自主移动机器人（AMR）的底座4上，第一3D相机2和第二3D相机3的镜头分别朝向圆柱体物料1的底部外边缘，保证第一3D相机2和第二3D相机3能采集到圆柱体物料的中心和底部弧面数据。此过程需要保证相机安装稳定，在随着AMR运动的过程中，减少晃动等情况，对物料的定位起到关键作用。

本实例中，所述3D相机是指除二维图像之外，还能获取场景深度信息的传感器。所述3D相机拍摄圆柱形物料时，3D相机会同时获取到圆柱体物料截面的信息和底部信息，其中底部信息用来辅助定位，大致确定圆柱体物料中心的上下位置；截面信息则用于进行精确定位，获得圆柱体物料中心精准的3D位置信息。需要注意的是，相机需要尽量保持水平方向，并在机器人运动的过程中保持稳定。

坐标转换步骤S102中，3D相机坐标系和自主移动机器人坐标系的转换关系可通过对3D相机和自主移动机器人进行标定获得。标定的作用是通过校准的流程获得相机和AMR之前的相对偏差。标定的结果通常是一个转移矩阵，包括相机相对AMR之间的平移和旋转分量。这个过程将物料的位置信息由相机坐标系转换到机器人坐标系下。标定的过程可参考OpenCV中的相机外参标定法，这里不再赘述。两侧的相机需要分别进行标定，获得转移矩阵H1和H2，分别代表3D相机相对于机器人中心的位置和姿态。最终检测结果的数据会统一转换到机器人坐标系下，通过控制机器人运动完成物料对接的过程。

上述预处理步骤S103中，对所述三维点云数据进行预处理，包括：

（1）通滤波算法对所述三维点云数据进行去噪；其中所述滤波算法包括双边滤波和中值滤波，用于过滤噪点；

（2）去噪后对所述三维点云数据进行下采样，去除部分噪声，保持点云均匀分布；

（3）下采样后保留有用的圆柱底部点云数据，利用法向量信息再次剔除干扰点。

该步骤是对所述三维点云数据进行预处理，完成三维数据去噪过程。本步骤通过减少噪声，获得较为准确的物料3D数据，为下一步的精确处理提供数据输入。

上述分割拟合步骤S104中，用于对预处理后的三维点云数据进行分割处理，获取得到圆柱体物料中心区域的点云，对所述点云进行拟合，得到几何圆柱体，包括：

首先，对点云数据进行分割处理。由于预先知道物料的半径大小，所以对于分割的结果进行一个初步过滤。过滤之后，可获取到一个或数个可能是无料中心区域的点云。如此步骤无结果，则输出检测失败，定位结果为异常。

其次，根据尺寸和法向量等几何特征，找到圆柱区域，并进行最优化拟合。由于一致圆柱的主轴方向和大致位置，采取最小二乘的方式拟合出圆柱的几何模型。圆柱的几个模型标定方式可以通过一条直线和半径来表示，其中直线代表的是圆柱体的轴线；半径即为圆柱体的半径。拟合的圆柱半径和预先知道的圆柱体半径作对比，如故差异较大，则拟合存在错误。由于圆柱表面所有法向量指向截面圆心，故只需选取圆柱底部中心区域，即3D相机较为可靠的点云，沿其法向量计算，即可获得圆心位置。

最后，同样的方式获得圆柱两端边缘的圆心。这样通过3D处理的方式获取两端精确信息，快速，准确，且不易受到光线等外部信息的干扰。

相对于物理定位的方式，采用3D视觉的方案效率更高，准确的和成功率更高。本过程获取物料拟合的中心位置。采用多线扫描的3D相机获取深度数据，使得物料的定单位精度达到0.5mm以下，如图3所示。

上述计算步骤S105中，根据所述几何圆柱体，得到几何圆柱体的圆心位置和轴线位置，包括：

（1）根据所述几何圆柱体，获取得到圆柱体物料两端边缘的圆心位置；由于计算存在误差，故可能会有两端结果获得的轴的方向不一致的情况。

（2）通过圆柱体物料中心区域的左侧点云，计算得到的轴

本发明实施例提供一种基于3D相机的圆柱体物料对接方法，还包括：

迭代控制步骤S107，用于根据当前的自主移动机器人运动控制的结果，执行采集步骤至控制步骤，如果所述圆心位置和轴线位置的位置差小于设定阈值时，则对接成功，停止运动控制；否则，重复采集步骤至控制步骤，直到对接成功。

由于坐标系已经转换到机器人（AMR）中心坐标系下，只需要把计算的角度偏差输入机器人控制系统，引导机器人运动。S101-S106的过程需要迭代数次，知道两侧偏差均小于一定阈值d，对接过程停止，完成对接流程。

此时，我们获得了圆柱两侧的中心点位置，并通过连线优化的方式获得圆柱的姿态。通过事先标定好的相机坐标系和机器人坐标系的转移矩阵H，可计算出当前圆柱距离目标位置的偏差。通过调整机器人驱动轮的位置，可引导机器人带动圆柱体到达对准目标点。

与人工对接相比，基于3D相机和3D视觉的对接方法整个流程全自动处理，不需要人工干预，完成整个过程，大大提高效率并减少人力成本，实现对接上料的自动化。

与前述的一种基于3D相机的圆柱体物料对接方法的实施例相对应，本申请还提供了一种基于3D相机的圆柱体物料对接装置的实施例。

图4是根据一示例性实施例示出的一种基于3D相机的圆柱体物料对接装置框图。参照图4，该装置可包括：

采集模块21，用于通过两个3D相机采集圆柱体物料截面的三维点云数据，其中所述两个3D相机分别布置在圆柱体物料的两侧，所述两个3D相机的视野覆盖所述圆柱体物料的整个截面，所述截面包括物料和圆孔部分；

坐标转换模块22，用于根据3D相机坐标系和自主移动机器人坐标系的转换关系，将所述三维点云数据转换到自主移动机器人坐标系下；

预处理模块23，用于转换后对所述三维点云数据进行预处理；

分割拟合模块24，用于对预处理后的三维点云数据进行分割处理，获取得到圆柱体物料中心区域的点云，对所述点云进行拟合，得到几何圆柱体；

计算模块25，用于根据所述几何圆柱体，得到几何圆柱体的圆心位置和轴线位置；

控制模块26，用于将所述圆心位置和轴线位置发送给自主移动机器人，通过自主移动机器人的运动控制实现对接的过程。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的一种基于3D相机的圆柱体物料对接方法。

相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的一种基于3D相机的圆柱体物料对接方法。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。