基于机器视觉进行自动化喷胶的方法及系统

技术领域

本发明属于智能喷胶技术领域，具体涉及一种基于机器视觉进行自动化喷胶的方法及系统。

背景技术

汽车内饰是汽车内部所用的汽车产品，包括汽车方向盘套、汽车坐垫、汽车脚垫、汽车收纳箱等，汽车内饰的制作过程通常为在成型的汽车内饰工件上复合上特定材质的皮革或面料，从而构成最终的汽车内饰产品，在上述的复合过程中，需要在汽车内饰的表面进行喷胶操作。汽车内饰有许多种，相应地，有多种不同形状的汽车内饰需要进行喷胶操作，因此在实际生产过程中，经常需要根据不同的汽车内饰通过人工干预来切换喷胶方式以及喷胶参数，费时费力且生产效率低。并且，随着技术发展和产品需求的提高，喷胶操作的空间轨迹越来越复杂，精度要求也越来越高，传统人工喷胶方式已难以满足需求，需要通过机器视觉来对喷胶操作进行更精确的定位引导，因此，出现了基于2D机器视觉一些自动化方法。

但是，由于2D机器视觉无法获得物体的空间坐标信息，所以不支持与形状相关的测量，诸如物体平面度、表面角度、体积，或者区分相同颜色的物体之类的特征，或者在具有接触侧的物体位置之间进行区分，而且2D机器视觉测量物体的对比度，这意味着特别依赖于光照和颜色/灰度变化，测量精度易受变量照明条件的影响，因此，基于2D机器视觉的方法难以满足上述的喷胶操作的需要。

相比2D机器视觉，3D机器视觉具有多项优势，然而，目前还缺乏基于3D机器视觉对汽车内饰进行自动化喷胶的方法。

发明内容

为解决上述问题，提供一种基于机器视觉进行自动化喷胶的方法及系统，本发明采用了如下技术方案：

本发明提供了一种基于机器视觉进行自动化喷胶的方法，基于机器视觉通过喷胶机器人对放置在预定工作范围内的待喷胶汽车内饰进行喷胶操作，其特征在于，包括步骤S1，通过三维相机对汽车内饰进行点云采集，得到基于相机坐标系的点云数据；步骤S2，对点云数据进行预处理，得到基于相机坐标系的汽车内饰的三维点云；步骤S3，基于三维点云生成基于机器人坐标系的三维网格模型；步骤S4，基于三维网格模型以及预先设定的喷胶工艺参数，生成喷胶轨迹以及喷胶轨迹参数；步骤S5，基于喷胶轨迹以及喷胶轨迹参数通过喷胶机器人对汽车内饰进行喷胶操作。

本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，三维相机采用双目视觉方案、三维结构光方案、TOF方案、激光三角法方案中的任意一种或几种的组合。

本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，步骤S1包括如下子步骤：步骤S1-1，通过所述三维相机从不同视点对汽车内饰进行多次拍摄，得到多个深度图；步骤S1-2，将多个深度图转换为多个部分点云；步骤S1-3，将多个部分点云进行点云拼接，得到三维点云，其中，多个深度图完全覆盖预定工作范围。

本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，所述步骤S2包括如下子步骤：步骤S2-1，对点云数据进行点云滤波；步骤S2-2，对点云数据进行下采样；步骤S2-3，对点云数据进行特征描述及提取，得到点云特征；步骤S2-4，基于点云特征，对点云数据进行点云拼接，得到三维点云；步骤S2-5，基于点云特征，对三维点云进行点云分割，去除汽车内饰的轮廓以外的点云。

本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，步骤S3包括如下子步骤：步骤S3-1，通过手眼标定方法得到坐标系转换矩阵；步骤S3-2，基于坐标系转换矩阵，将基于相机坐标系的三维点云转换为基于机器人坐标系的三维点云；步骤S3-3，对基于机器人坐标系的三维点云进行点云网格化，得到三维网格模型。

本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，三维相机固定在喷胶机器人的末端，手眼标定方法包括如下步骤：步骤A1，采用六点标定法标定机器人工具坐标系；步骤A2，将三维相机以及标定板进行固定，调整喷胶机器人的末端位置姿态使其分别对准标定板上的各个标定物，得到末端位置姿态的数据，并通过三维相机进行拍摄，分别得到标定物在三维图像中的像素位置；步骤A3，基于机器人工具坐标系，末端位置姿态以及像素位置，计算得到坐标系转换矩阵。

本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，步骤S4包括如下子步骤：步骤S4-1，将三维网格模型进行分片，得到多个结构简单的子片；步骤S4-2，基于喷胶工艺参数以及汽车内饰的尺寸，生成喷胶轨迹参数；步骤S4-3，基于喷胶轨迹参数，生成每个子片的子片喷胶轨迹；步骤S4-4，将各个子片喷胶轨迹进行合并，得到喷胶轨迹。

本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，喷胶工艺参数包括喷幅、雾化、流量、喷涂次数以及喷涂速度，喷胶轨迹参数包括轨迹方向以及轨迹行间距。

本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，汽车内饰的数量为多个，喷胶轨迹包括不需要进行喷胶的直线型移动路径，用于使喷胶机器人移动至下一个汽车内饰，喷胶轨迹参数包括主针控制参数。

本发明提供了一种基于机器视觉进行自动化喷胶的系统，其特征在于，包括三维相机，对待喷胶的汽车内饰进行三维摄像；喷胶机器人，对汽车内饰进行喷胶操作；以及控制装置，对三维摄像和喷胶操作的过程进行控制，其中，控制装置包括：点云采集部，通过三维相机采集汽车内饰的三维点云，并对三维点云进行预处理；模型构建部，根据三维点云构建三维网格模型；喷胶轨迹生成部，根据三维网格模型生成喷胶轨迹；以及喷胶控制部，控制喷胶机器人根据喷胶轨迹对汽车内饰进行喷胶操作。

发明作用与效果

根据本发明的基于机器视觉进行自动化喷胶的方法，采用了三维相机对待喷胶的汽车内饰进行点云采集，因此能够得到待喷胶的汽车内饰的三维信息；由于对采集到的三维点云进行了点云滤波、下采样、点云拼接、点云分割等预处理，因此能够提高后续轨迹生成步骤的运算效率及精度；基于采集到的三维点云生成了三维网格模型，并进一步基于三维网格模型生成了喷胶轨迹及喷胶参数，因此，本发明的基于机器视觉进行自动化喷胶的方法能够通过实时拍摄自动生成喷胶轨迹，并通过喷胶机器人进行自动化喷胶，因此可以对多种具有不同表面的汽车内饰进行自动化喷胶，不需要通过人工干预来切换喷胶方法及喷胶参数，且汽车内饰在预定工作范围内可以以任意角度放置在任意位置，大大提高了生产效率。

附图说明

图1是本发明实施例一中基于机器视觉进行自动化喷胶的方法的流程图；

图2是本发明实施例一中基于机器视觉进行自动化喷胶的方法的步骤S1的流程图；

图3是本发明实施例一中基于机器视觉进行自动化喷胶的方法的步骤S2的流程图；

图4是本发明实施例一中基于机器视觉进行自动化喷胶的方法的步骤S3的流程图；

图5是本发明实施例一中基于机器视觉进行自动化喷胶的方法的步骤S4的流程图；

图6是本发明实施例一中子片喷胶轨迹的示意图；

图7是本发明实施例一中基于机器视觉进行自动化喷胶的系统的结构框图；

图8是本发明实施例二中喷胶轨迹的示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于机器视觉进行自动化喷胶的方法及系统作具体阐述。

<实施例一>

本实施例中，需要进行喷胶的范围为汽车内饰的整个上表面，该上表面具有复杂的、不规则的形状。汽车内饰通过支架固定安装在预定的喷胶工作范围内。

本实施例中，三维相机为三维结构光相机，通过三维相机中的结构光源投射出黑白相间的结构光，该结构光投射到物体表面后，结构光所产生的黑白条纹或斑点根据物体表面的形状产生不同程度的变形，三维相机能够基于该变形解算出物体表面点的位置信息，从而得到物体的深度图。

本实施例中，喷胶机器人具有六轴机械臂，因此具有六轴自由度，能够实现多种轨迹及多种不同角度的喷胶操作。同时，喷胶机器人的末端设置有自动喷枪，自动喷枪与存储有喷胶用的胶液的储胶设备流体连通，用于喷出胶液。三维相机固定安装在喷胶机器人机械臂的六轴法兰上。

本实施例中，控制装置为工控机，该工控机上安装有三维视觉喷涂软件、PCL(Point Cloud Library)库以及OMPL(Open Motion Planning Library)库，三维视觉喷涂软件包括UI界面、机器人模块、手眼标定模块、3D视觉模块、3D点云处理模块以及喷涂工艺包。该工控机分别与三维相机以及喷胶机器人相连接，用于控制三维相机对待喷胶的汽车内饰进行点云采集，以及控制喷胶机器人对汽车内饰进行喷胶。

本实施例首先通过三维相机对待喷胶的汽车内饰进行点云采集；接着，对三维点云进行预处理；然后，基于三维点云生成三维网络模型；进一步，根据三维网格模型生成喷胶轨迹；最后，根据喷胶轨迹通过喷胶机器人对汽车内饰进行喷胶。总体包括5个流程：采集三维点云、预处理、建立模型、生成轨迹、进行喷胶。

图1是本发明实施例中基于机器视觉进行自动化喷胶的方法的流程图。

如图1所示，基于机器视觉进行自动化喷胶的方法包括如下步骤：

步骤S1，通过三维相机对汽车内饰进行点云采集，得到基于相机坐标系的点云数据。

图2是本发明实施例中基于机器视觉进行自动化喷胶的方法的步骤S1的流程图。

如图2所示，本实施例的步骤S1具体包括如下子步骤：

步骤S1-1，通过三维相机从不同视点对汽车内饰进行多次拍摄，得到多个深度图；

步骤S1-2，将多个深度图转换为多个部分点云，其中，多个深度图完全覆盖预定工作范围，点云数据为多个部分点云的集合。

本实施例中，通过三维相机从四个预先设置的视点对汽车内饰进行拍摄，得到四张深度图，这四张深度图完全覆盖整个预定工作范围，也即完全覆盖待喷胶的汽车内饰。

然后，基于相机内参，通过现有技术中的转换方法将四个深度图分别转为四个部分点云，这四个部分点云的集合为包含有汽车内饰三维信息的点云数据。点云数据包含有空间分辨率、点位精度、表面法向量等信息，可以表达物体的空间轮廓和具体位置。

步骤S2，对点云数据进行预处理。

图3是本发明实施例中基于机器视觉进行自动化喷胶的方法的步骤S2的流程图。

如图3所示，本实施例的步骤S2具体包括如下子步骤：

步骤S2-1，对点云数据进行点云滤波；

步骤S2-2，对点云数据进行下采样；

步骤S2-3，对点云数据进行特征描述及提取，得到点云特征；

步骤S2-4，基于点云特征，对点云数据进行点云拼接，得到三维点云；

步骤S2-5，基于点云特征，对三维点云进行点云分割，去除汽车内饰轮廓以外的点云。

本实施例中，点云滤波、下采样以及点云特征提取的方法均为PCL库中的现有方法。

通过点云滤波可以对三维点云进行平滑，解决三维点云数据密度不规则的问题，同时可以去除离群点等噪音数据。

通过下采样可以减少三维点云中点的数量，即减少了点云数据，并同时保持点云的形状特征，能够减少后续计算的计算量，同时一定程度上提升计算精度。

通过特征描述及提取能够得到三维点云的点云特征，本实施例中，点云特征包括点云单点特征以及点云局部特征。基于点云特征才能够进行后续步骤的点云拼接、点云分割等点云处理。

本实施例中，点云拼接采用PCL库中的ICP最近点迭代算法，将多个部分点云转换到同一坐标系，基于点云特征将不同部分点云中的相同点进行重叠，从而将四个部分点云拼接成完整的预定工作范围的三维点云。

本实施例中，点云分割采用现有技术的RANSAC随机采样一致性算法，可以去除三维点云中汽车内饰轮廓以外的点云，得到仅包含汽车内饰三维信息的三维点云。

因此，通过以上的预处理，得到的汽车内饰的三维点云更有利于后续步骤中喷胶轨迹的生成。

步骤S3，基于三维点云生成基于机器人坐标系的三维网格模型。

图4是本发明实施例中基于机器视觉进行自动化喷胶的方法的步骤S3的流程图。

本实施例的步骤S3具体包括如下子步骤：

步骤S3-1，通过手眼标定方法得到坐标系转换矩阵；

步骤S3-2，基于坐标系转换矩阵，将基于相机坐标系的三维点云转换为基于机器人坐标系的三维点云；

步骤S3-3，对基于机器人坐标系的三维点云进行点云网格化，得到三维网格模型。

手眼标定方法具体包括如下步骤：

步骤A1，采用六点标定法标定喷胶机器人工具坐标系。

本实施例中，以自动喷枪的喷嘴为基准采用六点标定法来标定喷胶机器人工具坐标系，喷胶机器人按照六种预定的姿态靠近圆锥标定板，工控机记录下对应的六个位置数据作为标定数据，并判断标定数据的误差是否在允许范围内，当判断为是时，机器人工具坐标系的标定完成。

步骤A2，将三维相机以及标定板进行固定，调整喷胶机器人的末端位置姿态使其分别对准标定板上的各个标定物，得到末端位置姿态的数据，并通过三维相机进行拍摄，分别得到标定物在深度图中的像素位置。

本实施例中，标定板上的标定物为圆柱，圆柱的数量为4个，调整喷胶机器人的末端位置姿态，通过三维相机对每个圆柱进行4次拍摄，且每次拍摄喷胶机器人的末端位置姿态均不同，也就是说，三维相机以16个不同的视点进行拍摄，得到16个深度图，并且工控机记录下分别与16个深度图相对应的喷胶机器人的末端位置姿态数据。然后，在深度图中找出圆柱表面圆心的位置并进行记录。

步骤A3，基于机器人工具坐标系，末端位置姿态以及标定物的像素位置，计算得到坐标系转换矩阵。

本实施例中，基于步骤A1中得到的机器人工具坐标系以及步骤A2中记录的标定数据，三维视觉喷涂软件利用旋转矩阵计算出坐标系转换矩阵。

通过上述的手眼标定方法得到坐标系转换矩阵后，就可以利用该坐标系转换矩阵将基于相机坐标系的三维点云转换为基于机器人坐标系的三维点云，并进一步生成三维网格模型。

本实施例中，点云网格化方法采用PCL库中的贪心投影三角化算法，对三维点云进行点云网格化，用一系列的三角形网格来近似拟合三维点云，得到的三维网格模型为由网格构成的三维曲面，可表达待喷涂汽车内饰的上表面的拓扑特性。将该三维网格模型写入XML文件中并存储在工控机中。

步骤S4，基于三维网格模型以及预先设定的喷胶工艺参数，生成喷胶轨迹以及喷胶轨迹参数。

图5是本发明实施例中基于机器视觉进行自动化喷胶的方法的步骤S4的流程图。

如图5所示，本实施例的步骤S4具体包括如下子步骤：

步骤S4-1，将三维网格模型进行分片，得到多个结构简单的子片；

步骤S4-2，基于喷胶工艺参数以及汽车内饰的尺寸，生成喷胶轨迹参数；

步骤S4-3，基于喷胶轨迹参数，生成每个子片的子片喷胶轨迹；

步骤S4-4，将各个子片喷胶轨迹进行合并，得到最终的喷胶轨迹，其中，喷胶轨迹为喷胶机器人的末端位置姿态点的集合。

本实施例中，喷胶工艺参数包括喷幅、雾化、流量、喷涂次数、喷涂速度等。喷胶轨迹参数包括轨迹方向、轨迹行间距等。

三维网格模型的分片、子片喷胶轨迹的生成以及合并都通过OMPL库中的ROS全覆盖轨迹生成算法来生成，该算法基于三维网格模型的特征和参数，将其切分为多个结构简单的、适合轨迹规划的子片，并计算得到子片之间的遍历顺序，进一步，根据喷胶轨迹参数以及每个子片的特征和尺寸，生成子片区域内弓字形的覆盖轨迹，最后根据遍历顺序将多个子片的覆盖轨迹进行合并，形成最终的喷胶轨迹。

图6是本发明实施例中子片喷胶轨迹的示意图。

如图6所示，上述的ROS算法所生成的每个子片的喷胶轨迹为弓字形的全覆盖轨迹。

步骤S5，基于喷胶轨迹以及喷胶轨迹参数通过喷胶机器人对汽车内饰进行喷胶操作。

本实施例的步骤S5中，通过工控机将生成的喷胶轨迹以及部分喷胶轨迹参数发送给喷胶机器人，控制喷胶机器人进行一系列的末端位置姿态变化，从而带动末端上的自动喷枪移动到一系列的指定位置并朝向指定角度，同时将喷胶轨迹参数输入喷胶控制软件，从而控制自动喷枪进行喷胶。

本实施例还提供一种基于机器视觉进行自动化喷胶的系统。

图7是本发明实施例中基于机器视觉进行自动化喷胶的系统的结构框图。

如图7所示，本实施例的基于机器视觉进行自动化喷胶的系统10包括上述的三维相机11、上述的喷胶机器人12以及上述的控制装置13。

控制装置13包括主控制部131、点云采集部132、模型构建部133、喷胶轨迹生成部134以及喷胶控制部135。

其中，点云采集部132采用上述的步骤S1-2的方法来采集汽车内饰的三维点云并进行预处理；模型构建部133采用上述的步骤S3的方法来建立轨迹网络模型；喷胶轨迹生成部134采用上述的步骤S4的方法来生成喷胶轨迹；喷胶控制部135采用上述的步骤S5的方法来控制喷胶机器人12对汽车内饰进行喷胶；主控制部131对上述各个部进行统一控制管理。

<实施例二>

实施例一中，待喷胶的汽车内饰的数量为一个，与之相比，本实施例中，待喷胶的汽车内饰的数量为三个，三个汽车内饰放置在预定的工作范围内，彼此间相隔一定距离。三个汽车内饰均具有不同的上表面形状。

本实施例的基于机器视觉进行自动化喷胶的方法包括以下步骤：

步骤S1，通过三维相机对多个汽车内饰进行点云采集，得到基于相机坐标系的点云数据；

步骤S2，对点云数据进行预处理，得到基于相机坐标系的汽车内饰的三维点云；

步骤S3，基于三维点云生成基于机器人坐标系的三维网格模型；

步骤S4，基于三维网格模型以及预先设定的喷胶工艺参数，生成喷胶轨迹以及喷胶轨迹参数；

步骤S5，基于喷胶轨迹以及喷胶轨迹参数通过喷胶机器人对多个汽车内饰依次进行喷胶操作。

图8是本发明实施例中喷胶轨迹的示意图。

如图8所示，本实施例中，生成的三维网格模型为三个独立的曲面，相应地，生成的喷胶轨迹中包括三段弓字形全覆盖的喷胶轨迹以及两段直线型的移动轨迹，在两段直线型的移动轨迹中需要暂停喷胶。图8中两条虚线为两段直线型的移动轨迹。

本实施例中，喷胶轨迹参数还包括主针控制参数，当主针控制参数低于预先设定的阈值时，喷胶口暂停出胶，当主针控制参数高于设定的阈值时，喷胶口进行出胶，从而能够通过该参数在两段直线型移动轨迹中暂停喷胶。

本实施例中，其他的步骤以及方法和实施例一中一致。

实施例作用与效果

根据本实施例提供的基于机器视觉进行自动化喷胶的方法，采用了三维相机对待喷胶的汽车内饰进行点云采集，因此能够得到待喷胶汽车内饰的三维信息；由于对采集到的点云数据进行了点云滤波、下采样、点云拼接、点云分割等预处理，因此能够得到仅包含汽车内饰三维信息的三维点云，并能提高后续轨迹生成步骤的运算效率及精度；基于采集到的三维点云生成了三维网格模型，并进一步基于三维网格模型生成了喷胶轨迹及喷胶参数，因此，本发明的基于机器视觉进行自动化喷胶的方法能够通过实时三维摄像自动生成喷胶轨迹，并通过喷胶机器人进行自动化喷胶，因此可以对多种具有不同表面的汽车内饰进行自动化喷胶，不需要通过人工干预来切换喷胶方法及喷胶参数，且汽车内饰在预定工作范围内可以以任意角度放置在任意位置，大大提高了生产效率。

具体地，三维相机从不同视点进行多次拍摄得到多个深度图，多个深度图完全覆盖整个预定工作范围，将深度图转换为对应的部分点云，部分点云的集合即为包含有汽车内饰三维信息的点云数据，因此，预定工作范围内的汽车内饰可以以任意角度放置在任意位置，并且可以同时在工作范围内放置多个汽车内饰。

进一步，对采集到的点云数据进行了点云滤波、下采样、点云拼接、点云分割等预处理，去除了点云数据中的噪声数据，减少了总体的点云数据量并同时保持了点云的形状特征，因此，减少了后续步骤的计算量，然后将点云数据拼接成完整的三维点云，并通过点云分割去除了汽车内饰的轮廓以外的点云，因此，能够得到仅包含汽车内饰三维信息的三维点云，有利于后续生成更为精确的喷胶轨迹。

进一步，基于三维点云生成了三维网格模型，通过ROS全覆盖轨迹生成算法结合预定的喷胶工艺参数对三维网格模型进行了分片，生成了每个子片的弓字形全覆盖轨迹，并按照计算得到的遍历顺序将每个子片的轨迹进行合并，得到了最终的喷胶轨迹。因此，能够基于汽车内饰的三维点云以及喷胶工艺参数自动地生成喷胶轨迹，且根据该喷胶轨迹进行的喷胶能够完全覆盖汽车内饰的上表面。

实施例二中，待喷胶的汽车内饰的数量为三个，基于机器视觉进行自动化喷胶的方法同样通过实时三维摄像自动生成喷胶轨迹，并通过喷胶机器人依次对三个汽车内饰进行自动化喷胶，其中，喷胶轨迹中包括两段直线型的移动轨迹，用于使喷胶机器人移动至下一个待喷胶的汽车内饰，喷胶轨迹参数还包括主针控制参数，从而能在喷胶机器人移动至下一个待喷胶的汽车内饰的过程中暂停喷胶。因此，能够依次对预定工作范围内的多个汽车内饰进行自动化的喷胶操作，不需要通过人工干预来切换喷胶方法及喷胶参数，进一步提高了生产效率。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

在上述实施例中，三维相机采用三维结构光方案，在本发明的其他方案中，三维相机也可以采用双目视觉方案、TOF方案、激光三角法方案中的任意一种，或者两种技术的结合，例如采用双目视觉加三维结构光的组合方案，同样也能实现本发明的技术效果。

在上述实施例中，需要进行喷胶的区域为汽车内饰的整个上表面，在本发明的其他方案中，需要进行喷胶的区域也可以为汽车内饰的部分上表面，可以由操作人员在汽车内饰的三维点云中手动进行框选来得到喷胶区域，同样也能实现本发明的技术效果。

在上述实施例中，喷胶轨迹参数根据预先设定的喷胶工艺参数以及汽车内饰的尺寸自动生成，在本发明的其他方案中，也可以由操作人员再进行手动调节，对喷胶轨迹参数进行进一步优化，同样也能实现本发明的技术效果。