一种基于机器视觉和深度学习的UV打印机上物件定位方法

技术领域

本发明属于物件定位技术领域，尤其是涉及一种基于机器视觉和深度学习的UV打印机上物件定位方法。

背景技术

UV印刷是印刷行业最常见及应用最广泛的印刷技术之一，其具备打印不受材料限制、无需制版即刷即取、精度高、速度快、经济环保等优点，使其应用于各种平面印刷场景。UV打印机操作简单，是根据配套软件中的制图在工作台放置的物品表面进行喷墨印刷，但制图的图案区域与工作台的物品表面区域需要精准对应，否则会出现物品表面图案打印不精准的问题。

业界通常是使用模具来避免这个问题的出现，也就是在工作台固定上与待打印物品同规格的模具格子，那么打印时将物品放置到格子中。这种方式一定程度上可以解决问题，但同时也带来一些弊端，固定的模具使得这台UV打印只能在与该模具对应的固定类型的物品上进行打印，打印机的灵活性受到限制。

发明内容

本发明旨在解决上述技术问题，提供一种基于机器视觉和深度学习的UV打印机上物件定位方法。

为了达到上述目的，本发明采用如下技术方案：

基于机器视觉和深度学习的UV打印机上物件定位方法，所述方法包括：

S1.校正工作台图像采集模块，校正方法如下：

S101.准备标定板，并打印标定用的规格为m×n黑白棋盘；

S102.将标定板按不同位置和倾斜角度放置于工作台，并使用工作台上方工作台图像采集模块对每次放置的标定板进行拍摄；

S103.对所有标定图像进行棋盘检测，最后计算得相机的内参矩阵、外参矩阵和畸变系统，统称为相机参数；

S2.工作台图像采集模块进行UV打印机工作台上区域图像的采集；

S3.工作台图像物品检测模块接收到工作台图像采集模块发送的图像后，对采集到的工作台图像进行预处理，输入到物品检测网络获得物品矩形位置的输出，工作台图像物品检测模块检测出图像中各个物品所在的矩形区域；

S4.工作台图像物品分割模块接收到各个物品的区域图像后，对物品区域图像进行预处理，输入到物品分割网络获得物品分割掩模的输出，提取分割掩模的边缘轮廓，根据该轮廓输出物品分割区域的最小包围矩形，即获得各物品的像素位置；

S5.根据得到的各物品的像素位置及相机参数，计算得各物品相对于工作台的坐标位置。

作为一种优选的技术方案，S1中,在UV打印机的工作台设置特定的标定码，该标定码相对于工作台的世界坐标已知，记录为真实值，然后通过拍摄工作台区域图像，并检测标定码在图像上的像素坐标，基于工作台图像采集模块的内参计算标定码相对于工作台的世界坐标估计值，计算坐标估计值和真实值的欧氏距离即为相机标定和定位模块的参考误差，若该误差大于一定阈值，则需要调整相机和工作台，并重复相机校准模块，直到误差满足条件。

作为一种优选的技术方案，S4中，对于每个物品的最小包围矩形的位置信息，根据相机参数计算得每个物品相对于工作台的世界坐标下的矩形位置信息和矩形的旋转角度。

作为一种优选的技术方案，对于不同高度的物品，加入高度参数，配合相机参数进行世界坐标转换。

作为一种优选的技术方案，对于边缘为直线型的物品，加入直线检测，并选择外围的长度最大的直线计算角度，以校正基于最小包围矩形计算角度的偏差。

作为一种优选的技术方案，在执行S1前作如下判断：判断相机参数是否存在、标定误差是否大于阈值，若相机参数不存在或标定误差大于阈值则执行S1；若相机参数存在且标定误差不大于阈值则执行步骤S2。

作为一种优选的技术方案，S3中，通过物品检测模型训练模块生成物品检测模型，并加载到物品检测网络。

作为一种优选的技术方案，物品检测模型训练模块生成物品检测模型的步骤如下：

S301.基于图像合成获取物品检测样本；

S302.对物品检测样本进行预处理，缩放到固定尺寸，作为训练样本，其对应的标签是物品在图像上的矩形位置的左上角坐标和宽高；

S303.设置训练条件后进行训练，训练结束后保存物品检测模型。

作为一种优选的技术方案，S4中，通过物品分割模型训练模块生成物品分割模型，并加载到物品分割网络。

作为一种优选的技术方案，物品分割模型训练模块生成物品分割模型的步骤如下：

S401.基于人工标注获取物品分割样本；

S402.基于图像合成获取物品分割样本；

S403.对物品分割样本进行预处理，缩放到固定尺寸，做为训练样本，其对应的标签是物品分割掩模的二值图像；

S404.设置训练条件后进行训练，训练结束后保存物品分割模型。

采用上述技术方案后，本发明具有如下优点：

本发明旨在提出一种基于机器视觉和深度学习的UV打印机上物件定位方法，通过架置于UV打印机工作台正上方的工作台图像采集模块拍摄工作台区域图像，采用先进的深度学习方法对该图像进行分析，计算得工作台区域每个物品的精准位置，制图软件根据这些位置及每个物品要印刷的图案制成当前的打印图片交给UV打印机打印，即可完成对工作台任意放置的物品按各自所要印刷的图案精准打印。该基于机器视觉和深度学习的UV打印机上物件定位方法，对物品定位精度高，从而打印精度高，且对物品的类型和放置的位置无需严格的要求，提高了UV打印机的工作效果和使用率。

具体实施方式

以下结合具体实施例，对本发明作进一步的详细说明。

基于机器视觉和深度学习的UV打印机上物件定位方法，所述方法包括：

S0.判断相机参数是否存在、标定误差是否大于阈值，若相机参数不存在或标定误差大于阈值则执行S1。若相机参数存在且标定误差不大于阈值则执行步骤S2。

此步骤发生在工作台图像采集模块首次安装完成后，或工作台图像采集模块的位置发生了明显的偏移，或UV打印机打印精度出现问题时。本实施例中的工作台图像采集模块为摄像头或/与相机。

S1.校正工作台图像采集模块，校正方法如下：

S101.准备标定板，其大小规格可相对工作台大小而定，比如25mmx25mm或60mmx60mm，标定板大小占工作台大小的1/3比较合适，其表面尽量绝对平整，并打印标定用的规格为m×n黑白棋盘，本实施例中，规格为12×9。

S102.将标定板按不同位置和倾斜角度放置于工作台，并使用工作台上方工作台图像采集模块对每次放置的标定板进行拍摄，总体拍摄量为20-40比较合适。

S103.对所有标定图像进行棋盘检测，最后计算得相机的内参矩阵、外参矩阵和畸变系统，统称为相机参数，其主要在于：1、对相机拍摄的图像进行畸变校正；2、将相机拍摄图像上物品的像素坐标转换为物品相对于工作台的世界坐标。

S104.为验证相机参数的精度，可通过在工作台设置特定的标定码，该标定码相对于工作台的世界坐标已知，记录为真实值，然后通过拍摄工作台区域图像，并检测标定码在图像上的像素坐标。

S105. 基于相机的内参计算标定码相对于工作台的世界坐标估计值，计算坐标估计值和真实值的欧氏距离即为相机标定和定位模块的参考误差，若该误差大于一定阈值，比如0.5mm，则需要调整相机和工作台，并重复相机校准模块，直到误差满足条件。

S2.工作台图像采集模块进行UV打印机工作台上区域图像的采集。通常是通过硬件协同作业完成工作台图像采集的触发、拍摄、发送和结果获取。采集的工作台区域图像是多个物品以一定姿态摆放在工作台上。

S3.工作台图像物品检测模块接收到工作台图像采集模块发送的图像后，对采集到的工作台图像进行预处理，输入到物品检测网络获得物品矩形位置的输出，工作台图像物品检测模块检测出图像中各个物品所在的矩形区域。

对采集到的工作台图像进行预处理的具体步骤是：对图片按最长边缩放到640，并保存横向和竖向的缩放系数，然后在短边方向上填充像素值(128,128,128)至图像大小为640x640；在该图像RGB通道上各像素值减128并除128；

将上述处理后的3通道640x640数据输入到物品检测网络，网络输出物品在图像中位置的矩形信息：左上角坐标(x，y)和宽高，以及物品的分类标签和置信度。

其中，通过物品检测模型训练模块生成物品检测模型，并加载到物品检测网络。

物品检测模型训练模块生成物品检测模型的步骤如下：

S301.基于图像合成获取物品检测样本；

S302.对物品检测样本进行预处理，缩放到固定尺寸，作为训练样本，其对应的标签是物品在图像上的矩形位置的左上角坐标和宽高；

S303.设置训练条件后进行训练，训练结束后保存物品检测模型。

对采集到的工作上的物品图像进行人工矩形框标注，记录下每个目标区域矩形框坐标；

其中，对物品检测样本进行预处理的具体步骤如下：使用定制内容产品预览图和工作台背景图合成定制内容成品图像，记录下每个目标区域矩形框坐标；对上述样本图片进行预处理，具体来说是对图片按最长边缩放到640，并保存横向和竖向的缩放系数，然后在短边方向上填充像素值(128,128,128)至图像大小为640x640；在该图像RGB通道上各像素值减128并除128；将上述处理后的样本图片及矩形坐标输入到物品检测网络，该网络为卷积神经网络，具体来说是由25个卷积层构成；借助PyTorch构建角点检测网络和训练流程，设置初始学习率为0.01和终止迭代循环次数为300，选择优化器为SGD，最终输出物品检测模型。

S4.工作台图像物品分割模块接收到各个物品的区域图像后，对物品区域图像进行预处理，输入到物品分割网络获得物品分割掩模的输出，提取分割掩模的边缘轮廓，根据该轮廓输出物品分割区域的最小包围矩形，即获得各物品的像素位置。

对物品区域图像进行预处理的具体步骤是：对图片按最长边缩放到640，然后将其置于大小为640x640图像中间，其他位置像素值为(128,128,128)，在该图像RGB通道上各像素值减128并除128；将上述处理后的3通道640x640数据输入到图像匹配网络，网络输出1通道640x640的二值图像为物品分割掩模；对上述物品分割掩模二值图像提取边缘，并通过边缘计算最小包围矩形。

对于每个物品的最小包围矩形的位置信息，根据相机参数计算得每个物品相对于工作台的世界坐标下的矩形位置信息和矩形的旋转角度。

特别地，对于不同高度的物品，加入高度参数，配合相机参数进行世界坐标转换。

特别地，对于边缘为直线型的物品，加入直线检测，并选择外围的长度最大的直线计算角度，以校正基于最小包围矩形计算角度的偏差。

其中，通过物品分割模型训练模块生成物品分割模型，并加载到物品分割网络。

物品分割模型训练模块生成物品分割模型的步骤如下：

S401.基于人工标注获取物品分割样本；

S402.基于图像合成获取物品分割样本；

S403.对物品分割样本进行预处理，缩放到固定尺寸，做为训练样本，其对应的标签是物品分割掩模的二值图像；

S404.设置训练条件后进行训练，训练结束后保存物品分割模型。

其中，对物品分割样本进行预处理具体步骤如下：采集工作台上摆放物品的图片，对每个物品区域图像人工标注其轮廓点，通过轮廓点产生对应的掩模二值图像，该图像做为物品分割模型训练的标签，对物品区域图像预设图像增强，方案包括：随机颜色变换，随机旋转，随机高斯噪声，随机高斯模糊；对上述样本图片进行预处理，具体来说是对图片按最长边缩放到640x640，在该图像RGB通道上各像素值减128并除128；将上述处理后的样本图片及其掩模二值图输入到物品图像分割网络，该网络为卷积神经网络，具体来说是由30个卷积层构成；借助PyTorch构建物品分割网络和训练流程，设置初始学习率为0.01和终止迭代循环次数为100，选择优化器为SGD，最终输出图像匹配模型。

S5.根据得到的各物品的像素位置及相机参数，计算得各物品相对于工作台的坐标位置。

通过S1-S5，在对装置相机进行校准后，在UV打印机工作台上摆放要打印的物品，使用装置相机采集工作台区域图像，基于机器视觉和深度学习定位物品在图像上的位置和角度，然后转换为相对工作台的位置和角度，从而实现各物品表面区域的精度打印；并且这种精准打印不依赖于物品在工作台的摆放以及物品的种类，从而一台UV打印机使物品的灵活、高效打印。

本发明旨在提出一种基于机器视觉和深度学习的UV打印机上物件定位方法，通过架置于UV打印机工作台正上方的工作台图像采集模块拍摄工作台区域图像，采用先进的深度学习方法对该图像进行分析，计算得工作台区域每个物品的精准位置，制图软件根据这些位置及每个物品要印刷的图案制成当前的打印图片交给UV打印机打印，即可完成对工作台任意放置的物品按各自所要印刷的图案精准打印。该基于机器视觉和深度学习的UV打印机上物件定位方法，对物品定位精度高，从而打印精度高，且对物品的类型和放置的位置无需严格的要求，提高了UV打印机的工作效果和使用率。

除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和变形，只要不脱离本发明的精神，均应属于本发明所附权利要求所定义的范围。