应用于工件的孔识别方法、孔识别装置和孔处理设备

技术领域

本申请属于智能制造数据识别技术领域，更具体地说，是涉及一种应用于工件的孔识别方法、孔识别装置和孔处理设备。

背景技术

喷涂是产品生产加工过程中的一道重要工序，其中有的零件上会开设有孔，喷涂时通常要求注意保护所有孔，喷涂完成后孔内不允许有涂料存在，因此需要在喷涂之前进行堵孔操作。由于零件上孔的种类、形状和尺寸多种多样，例如通孔、沉孔、螺纹孔等，为了保证堵孔效果，不同的孔需要对应使用不同的胶塞封堵，堵孔操作复杂。

目前对零件的堵孔处理方式比较单一，通常采用人工进行堵孔操作，人力劳动强度大，费事费力，成本高，堵孔效率低，而且无法保证堵孔效果；或者只能对具有同一种类且形状、尺寸比较固定的孔的零件进行自动化堵孔操作，使用场景受到限制，导致堵孔操作成为零件产能的瓶颈所在，不能满足制造业向精准化、自动化、高效化、智能化等方向发展的需求。

发明内容

本申请实施例的目的在于提供一种应用于工件的孔识别方法、孔识别装置和孔处理设备，能够实现工件上的孔的位置信息和类型的自动识别，有利于实现对不同类型的孔的自动化堵孔操作，以解决现有技术中存在的堵孔操作复杂的技术问题。

为实现上述目的，本申请采用的技术方案是：

第一方面，提供一种应用于工件的孔识别方法，该工件上设置有孔，该孔识别方法包括：

采集上述工件的图像；

基于上述图像确定上述工件上各个孔的位置信息；

基于上述图像分别对上述工件上的各个孔进行规格识别，以获得上述各个孔的规格信息，其中，上述规格信息包括：尺寸信息、深度信息以及螺纹信息；

基于上述各个孔的规格信息，分别确定上述各个孔的类型；

输出上述工件上各个孔的位置信息以及类型。

在一个实施例中，上述采集上述工件的图像包括：采集上述工件的正视图像和斜视图像；

上述基于上述图像确定上述工件上各个孔的位置信息为：基于上述正视图像确定上述工件上各个孔的位置信息；

上述基于上述图像分别对上述工件上的各个孔进行规格识别为：基于上述正视图像和斜视图像分别对上述工件上的各个孔进行规格识别。

在一个实施例中，上述基于上述正视图像确定上述工件上各个孔的位置信息包括：

对上述正视图像进行预处理，获得上述工件的正视灰度图像；

对上述正视灰度图像进行单阈值分割，获得上述工件的正视黑白图像；

将上述正视黑白图像中具有闭合边界的黑色区域确定为疑似孔区域；

从上述正视灰度图像中分别提取各个上述疑似孔区域的轮廓边界；

分别对各个上述疑似孔区域的轮廓边界进行形状拟合，获得各个疑似孔的拟合边界；

提取上述各个疑似孔的拟合边界的形状特征；

将形状特征满足预设条件的疑似孔确定为上述工件的孔；

分别根据上述工件的各个孔的拟合边界确定相应孔的位置信息。

在一个实施例中，上述基于上述正视图像和斜视图像分别对上述工件上的各个孔进行规格识别，包括：

分别根据上述各个孔的拟合边界，确定相应孔的尺寸信息。

在一个实施例中，上述基于上述正视图像和斜视图像分别对上述工件上的各个孔进行规格识别，还包括：根据上述各个孔的位置信息和尺寸信息，确定上述各个孔对应的测距点；

分别测量上述各个孔对应的测距点到相应孔的距离，得到上述各个孔的深度信息。

在一个实施例中，上述基于上述各个孔的规格信息，分别确定上述各个孔的类型包括：

根据上述各个孔的深度信息分别确定上述各个孔的深度类型；

根据上述各个孔的尺寸信息、深度类型以及螺纹信息，分别确定相应孔的类型。

在一个实施例中，上述输出上述工件上各个孔的位置信息以及类型之后，还包括：

针对上述工件上的每个孔自动执行堵孔处理；

其中，上述堵孔处理包括：基于相应孔的类型自动抓取与相应孔适配的孔塞；基于相应孔的位置信息将抓取的孔塞移动至相应孔的位置进行堵孔操作。

第二方面，还提供一种应用于工件的孔识别装置，该工件上设置有孔，该孔识别装置包括：

图像采集模块，用于采集上述工件的图像；

图像处理模块，用于基于上述图像确定上述工件上各个孔的位置信息；

规格识别模块，用于基于上述图像分别对上述工件上的各个孔进行规格识别，以获取上述各个孔的规格信息；

类型确定模块，用于基于上述各个孔的规格信息，分别确定上述各个孔的类型；以及

输出模块,用于输出上述工件上各个孔的位置信息以及类型。

第三方面，还提供一种应用于工件的孔处理设备，该工件上设置有孔，该孔处理设备包括：

定位固定机构，该定位固定机构具有堵孔工位，该定位固定机构适于将上述工件定位固定于该堵孔工位；

图像采集装置，该图像采集装置对应于上述堵孔工位设置，该图像采集装置适于采集位于上述堵孔工位的上述工件的图像；

测距装置，该测距装置正对于上述堵孔工位设置，该测距装置适于采集位于上述堵孔工位的上述工件上各个孔的深度信息；以及

控制装置，该控制装置分别与上述图像采集装置和上述测距装置连接，该控制装置用于控制上述图像采集装置和上述测距装置工作,以执行如上述任一项的孔识别方法。

在一个实施例中，上述孔处理设备还包括：

供料机构，用于分类供应多种规格的孔塞；

以及与上述定位固定机构和上述供料机构相邻设置，并与上述控制装置连接的堵孔机构，该堵孔机构在上述控制装置的控制下具备如下功能：移动至上述定位固定机构或上述供料机构、抓取上述供料机构内的孔塞并将抓取的孔塞装入位于上述堵孔工位的上述工件上的孔中；

上述控制装置还用于基于获取的上述工件上各个孔的位置信息及类型,控制上述堵孔机构对上述工件上的孔进行堵孔操作。

本申请提供的应用于工件的孔识别方法的有益效果在于：

与现有技术相比，本申请的孔识别方法，基于图像可自动识别出工件上各个孔的位置信息和类型，根据孔的类型能够对应选取与孔相适配的孔塞，根据孔的位置信息能够将孔塞准确装入相应孔中，有利于实现对不同类型的孔的自动化堵孔操作，有效解决现有技术中存在的堵孔操作复杂的技术问题，无需人工识别和堵孔操作，有利于孔塞与孔的紧密结合，有效保证堵孔效果，而且能够实现多种类型的孔的自动识别堵孔操作，适用范围广，自动化和智能化程度高，使用简单方便灵活，省事省力，提高生产效率，节省人力和使用成本，实用性强。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的孔识别方法的示意性流程图；

图2为本申请实施例提供的孔处理设备的结构示意图；

图3为孔板零件的结构示意图。

其中，图中各附图标记：

1-定位固定机构；11-定位治具；12-传输装置；

2-图像采集装置；21-第一相机；22-第二相机；23-第一光源；24-第二光源；

3-测距装置；

4-供料机构；41-上料装置；

5-堵孔机构；51-前端夹具；

6-机架；

200-工件；

300-孔塞；

400-孔板零件；401-沉孔；402-第一通孔；403-第二通孔；404-第三通孔；405-螺纹孔。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

现对本申请实施例提供的应用于工件的孔识别方法进行说明。

请参阅图1，图1为本申请提供的孔识别方法的示意性流程图。

孔识别方法包括：

S1、采集工件的图像。

可选地，S1包括采集工件的正视图像和斜视图像。

其中，工件上设置有孔。具体的，孔开设于工件的至少一侧表面，且孔的轴线垂直于工件的该侧表面，则可沿垂直于工件的该侧表面的方向采集工件的正视图像，以及相对于工件的该侧表面倾斜角度采集工件的斜视图像。

工件的正视图像能够较为全面地反映工件表面的形状结构特征，方便识别出工件上的孔，而且便于通过图像测量位置尺寸信息，减少图像处理工作量。工件的斜视图像中，螺纹孔成像形成暗场，而内螺纹内壁成像特征被增强，能够达到显现工件的螺纹孔和螺纹成像特征而抑制其他不重要特征的效果，用于检测螺纹孔内部的螺牙，方便识别出工件上的螺纹孔。

可选地，采集工件的图像的同时对工件进行照明。通过对工件进行照明，可以增强工件表面的反射光，有利于增加采集图像的亮度和对比度，使得工件的图像更加清晰，提高后续图像识别的精准度。

可选地，对工件进行低角度照明，即相对于工件表面的照明角度小于45°，有利于使螺纹孔的通孔区域形成暗场，而内螺纹内壁特征被显著增强，提高工件上的螺纹孔的识别精准度。

具体地，采用图像采集装置采集工件的图像，在采集工件的图像之前，还包括对图像采集装置进行标定的步骤，通过标定校正图像采集装置的镜头畸变，调整图像采集装置使采集的图像最为清晰，提高识别精准度。

S2、基于正视图像确定工件上各个孔的位置信息。

可选地，S2可包括：

S21、对正视图像进行预处理，获得工件的正视灰度图像。

其中，预处理包括灰度化。通过灰度化处理，将正视图像中的每个像素由灰度值(即强度值、亮度值)表示，能够避免条带失真，方便后续步骤对工件的正视图像进行分析处理。

预处理还可以包括以下至少一种：图像增强、平均平滑和将像素尺寸换算为实际物理尺寸。

其中，通过图像增强处理，将正视图像转换为更适合于分析处理的形式，能够有选择地突出正视图像中的孔，改善图像质量，丰富图像信息，有利于加强图像识别效果，提高图像识别精度。例如，采用直方图均衡化和中值滤波对正视图像进行图像增强处理。

平均平滑(即均值滤波)是对正视图像采用平均模板进行平均平滑的相关滤波处理，能够滤除正视图像中的噪点，抑制噪声，减少干扰，有利于提高图像识别精度。

将正视图像的像素尺寸换算为实际的物理尺寸，方便后续步骤对工件上的孔的位置坐标和尺寸信息进行计算，有利于提高孔的识别和定位精度。

可选地，采集工件的图像时，紧邻工件设置尺寸和定位标识，并使采集的同一幅工件的图像中同时包括工件以及尺寸和定位标识。通过使工件的图像中包括尺寸和定位标记，作为参照方便精确定位工件的坐标和计算工件的尺寸，进而方便定位工件上的孔的精确位置坐标和计算孔的精确尺寸，识别定位精度更高；而且根据图像中的尺寸和定位标识，方便将工件的图像的像素尺寸换算为实际的物理尺寸，有利于将工件上的孔的位置坐标和尺寸换算至实际物理坐标系，方便后续操作。

S22、对正视灰度图像进行单阈值分割，获得工件的正视黑白图像。

采用单阈值分割方法将正视灰度图像转换为正视黑白图像，有利于将正视黑白图像中的疑似孔区域与背景区域进行分割，方便后续识别处理，有利于减少图像处理区域像素，简化分析和处理步骤。

S23、将正视黑白图像中具有闭合边界的黑色区域确定为疑似孔区域。

其中，可以采用八邻域连通区域方法，确定正视黑白图像中具有闭合边界的黑色区域。

S24、从正视灰度图像中分别提取各个疑似孔区域的轮廓边界。

可选地，S24可包括：

S241、对正视灰度图像依次采用Canny边缘检测算法、膨胀算法、腐蚀算法和骨架提取算法进行处理，获得正视灰度图像中的所有边界。

其中，Canny边缘检测算法的步骤为：对正视灰度图像进行高斯平滑，以去除噪声，降低边缘检测错误率；计算正视灰度图像中每一个像素点的灰度梯度幅值和梯度方向，根据梯度方向找寻正视灰度图像中灰度强度变化最强的位置，获得正视灰度图像中的边缘；根据梯度方向对正视灰度图像中每一个像素点的灰度梯度幅值进行非极大抑制，以将正视灰度图像中的边缘变得清晰；采用双阈值算法检测和连接正视灰度图像中的边缘，得到正视灰度图像中的边界。

通过膨胀算法，使正视灰度图像中的边界与相邻边界连接，以寻找正视灰度图像中边界的极大值区；通过腐蚀算法，寻找正视灰度图像中边界的极小值区，从而分割出正视灰度图像中的所有边界；通过膨胀算法和腐蚀算法能够消除噪声，排除正视灰度图像中的小型黑斑，以使正视灰度图像中的所有边界更加清晰、精确。

通过骨架提取算法，提取正视灰度图像中的所有边界的中心像素轮廓，中心像素轮廓为单层像素宽度的边界，从而精确提取出正视灰度图像中的所有边界，边界提取精准度高。其中，骨架提取算法可以采用K3M顺序迭代算法或Zhang-Suen algorithm并行迭代算法。

S242、对照正视黑白图像中的疑似孔区域，从正视灰度图像中的所有边界中，对应提取出疑似孔区域的轮廓边界。

S25、分别对各个疑似孔区域的轮廓边界进行形状拟合，获得各个疑似孔的拟合边界。

可选地，可以采用椭圆方程拟合或者多边形逼近拟合，对疑似孔区域的轮廓边界进行形状拟合。

其中，多边形逼近拟合的具体步骤为：从疑似孔区域的轮廓边界中挑选距离最远的两个点相连为线段，然后从疑似孔区域的轮廓边界上寻找离该线段距离最远的点，当该点到该线段的最短距离大于预先设定的阈值时，将该点加入之前的两点中，组成逼近后的多边形的新轮廓；重复从疑似孔区域的轮廓边界上寻找离新轮廓的边距离最远的点，不断将最远的点添加到新轮廓中，直到疑似孔区域的轮廓边界上所有点到新轮廓的边的最短距离均小于设定的阈值，从而获得疑似孔的拟合边界。阈值可以设定为疑似孔区域的轮廓边界周长或外包矩形周长等疑似孔区域的轮廓边界总长度的几分之一，例如阈值设定为疑似孔区域的轮廓边界周长的二十分之一。

S26、提取各个疑似孔的拟合边界的形状特征。

其中，疑似孔的拟合边界的形状特征包括：面积、周长、长轴、短轴、圆度、顶点数目、离心率、紧密度、形心和角点的亚像素级坐标等。

S27、将形状特征满足预设条件的疑似孔确定为工件的孔。

通过预设条件筛选疑似孔的拟合边界的形状特征，即可识别出工件上的孔；预设条件可以是形状特征中的一个或多个。例如，工件上的孔通常都是圆孔，可以设置预设条件为：拟合边界的长轴与短轴相等；或者圆度为0或接近于0，例如圆度小于0.05；或者紧密度为1或接近于1，例如紧密度小于1.05。

通过边界提取精确检测疑似孔区域的轮廓边界，并通过边界拟合获得疑似孔区域的精确边界，方便通过边界分析疑似孔区域的形状特征，进而判断疑似孔区域是否为孔，能够精确识别出工件上的孔，识别精准度高。根据疑似孔的拟合边界的形状特征，识别出工件上的孔以及各个孔的边界。

S28、分别根据工件的各个孔的拟合边界确定相应孔的位置信息。

可选地，根据孔的拟合边界计算孔的特征点坐标，根据孔的特征点坐标计算出孔的最大内切圆半径及圆心坐标，从而获得孔的位置信息。

S3、基于正视图像和斜视图像分别对工件上的各个孔进行规格识别，以获得各个孔的规格信息。

其中，孔的规格信息包括：尺寸信息、深度信息以及螺纹信息。

可选地，S3可包括：

S31、对斜视图像进行预处理，并进行单阈值分割，获得工件的斜视黑白图像。

通过单阈值分割方法能够将斜视黑白图像中的孔区域(包括螺纹孔区域)与背景区域进行预分割，方便后续识别处理，有利于简化图像处理和分析步骤。

可选地，对斜视图像进行预处理包括对斜视图像进行平均平滑和/或图像增强处理。

S32、基于工件上各个孔的位置信息，在斜视黑白图像中对各个孔所在区域内的光孔区域和螺纹区域进行分割提取。

可选地，采用八邻域连通区域方法，从斜视黑白图像中提取各个孔的位置坐标对应的具有闭合边界的黑色区域，作为各个孔所在区域。采用膨胀算法和腐蚀算法，实现孔所在区域内的光孔区域的准确分割提取。以光孔区域的形心为中心，获取光孔区域的最小外接圆，并对外接圆区域与光孔区域进行代数减法运算，实现孔所在区域内的螺纹区域的分割提取。

S33、统计光孔区域和螺纹区域内的黑白面积。

可选地，可以利用图像处理软件中的黑白面积工具，统计光孔区域和螺纹区域内的黑白面积。

S34、根据统计结果识别出工件上的各个孔的螺纹信息。

可选地，可以设置黑白面积阈值，将统计结果与黑白面积阈值比较，即可判断孔内是否具有螺纹，从而识别出工件上的各个孔的螺纹信息，实现对螺纹孔的视觉识别。例如，可以设定白面积下限，当螺纹区域内的白面积超过白面积下限，即可判定孔内有螺纹，从而识别出螺纹孔。

S35、分别根据各个孔的拟合边界，确定相应孔的尺寸信息。

可选地，根据孔的拟合边界计算孔的特征点坐标，根据孔的特征点坐标计算出孔的最大内切圆半径及圆心坐标，从而获得孔的尺寸信息。

S36、根据各个孔的位置信息和尺寸信息，确定各个孔对应的测距点。

可选地，每个孔均对应多个测距点，根据孔的位置信息和尺寸信息，确定对应于该孔的多个测距点，并使多个测距点在工件上的正投影，均匀分布于相应孔的开口截面，且对应于该孔的所有测距点在工件上的正投影覆盖的区域面积大于相应孔的开口截面面积，即至少部分测距点在工件上的正投影位于相应孔的边界外侧，以保证能够采集到相应孔的全部深度信息。

S37、分别测量各个孔对应的测距点到相应孔的距离，得到各个孔的深度信息。

可选地，通过由测距点沿相应孔的轴向，朝向工件发射检测信号和接收反射的检测信号，测量测距点到相应孔的距离；分别测量对应于一个孔的多个测距点到工件上该孔的距离，从而得到该孔的深度信息。

S4、基于各个孔的规格信息，分别确定各个孔的类型。

可选地，S4可包括：

S41、根据各个孔的深度信息分别确定各个孔的深度类型。

可选地，S41可包括：

S411、对各个孔的深度信息进行预处理，获得各个孔的深度数据。

可选地，对孔的深度信息进行预处理包括去均值处理。具体地，提取多个测距点到相应孔的距离中的最小距离值，该最小距离值反映在工件上的正投影位于相应孔的边界外侧的测距点到相应孔的开口截面的距离；将相应孔的多个测距点到相应孔的距离数据与最小距离值做减法运算，从而得到该孔的深度数据。通过去均值处理，消除孔的边界外侧的测距点的深度数据的影响，有利于更直接地对孔的深度数据进行识别。

S412、分别统计各个孔的深度数据的分布特征。

其中，孔的深度数据的分布特征包括：孔的最大深度值，孔的深度分布曲线，以及孔的深度分布曲线的曲率。

S413、根据各个孔的深度数据的分布特征，分别确定各个孔的深度类型。

其中，根据孔的最大深度值，判断孔为盲孔或通孔：当孔的最大深度值大于等于工件沿孔轴向的尺寸时，判断孔为通孔；反之，则为盲孔。

根据孔的深度分布曲线，判断孔为沉孔或直通孔：当孔的深度分布曲线大于等于两条时，判断孔为沉孔；反之，则为直通孔。

根据孔的深度分布曲线的曲率，判断孔为锥孔或圆柱孔：当孔的深度分布曲线的曲率为0，即孔的深度数据为定值时，判断孔为圆柱孔；当孔的深度分布曲线的曲率为不等于0的常数时，则判断孔为锥孔。

S42、根据各个孔的尺寸信息、深度类型以及螺纹信息，分别确定相应孔的类型。

其中，根据孔的形状、尺寸、有无螺纹、是否沉孔、是否通孔等，综合确定孔的类型。例如，识别出工件上的孔包括：M3螺纹孔，直径3.5mm和4.5mm的通孔，以及直径8.5mm×90°的沉孔。

S5、输出工件上各个孔的位置信息以及类型。

S6、针对工件上的每个孔自动执行堵孔处理。

其中，堵孔处理包括：基于相应孔的类型自动抓取与相应孔适配的孔塞；基于相应孔的位置信息将抓取的孔塞移动至相应孔的位置进行堵孔操作。

根据工件上各个孔的位置信息，能够将孔塞准确装入工件上的孔中，根据工件上各个孔的类型，对应选取与孔相适配的孔塞，使得孔塞与孔的结合更加紧密，有效保证堵孔效果。孔塞可以包括螺纹胶塞、圆柱胶塞、T形胶塞、圆锥胶塞等多种规格。

可选地，S6可包括：

S61、根据工件上各个孔的位置信息和类型，规划堵孔路径。

可选地，S61可包括：

S611、根据工件上各个孔的类型，对工件上的孔进行分组及组别编号。

通过将孔根据类型分组并编号，方便对孔的类型进行快速查找和区分，方便选取与相应孔相适配的孔塞，有利于提高堵孔效率。

可选地，还可以根据孔塞的规格，对孔塞进行分组及组别编号，相适配的孔塞和孔的组别编号相对应，通过查找与孔的组别编号相匹配的孔塞的组别编号，实现快速根据孔的类型选取与孔相适配的孔塞，查找选取孔塞和将孔塞装入相应孔中更加快捷方便，有利于提高堵孔效率。

在一个具体实施例中，可以使相适配的孔与孔塞的组别编号相同。

S612、根据工件上的孔的数量，对各组的孔分别进行组内编号，获得工件上的所有孔的编号，孔的编号与孔一一对应。

S613、根据工件上各个孔的位置信息和编号，对工件上的所有孔进行堵孔路径规划，获得堵孔路径。

根据工件上各个孔的位置信息和编号，能够分别计算堵孔操作时到工件上各个孔的移动距离，进而能够计算对所有孔进行堵孔操作的总移动距离，通过规划堵孔路径，能够减少重复运动，有利于缩短堵孔操作的总移动距离，有利于提高堵孔效率。

S62、按照堵孔路径，基于相应孔的类型，依次选取与相应孔相适配的孔塞，并将抓取的孔塞装入工件上的相应孔中，从而完成对工件上所有孔的堵孔操作。

通过按照堵孔路径进行堵孔操作，能够有效缩短对工件上的孔进行堵孔操作的总移动距离，有效提高堵孔效率。

上述实施例中的孔识别方法，基于图像精确识别出工件上各个孔的位置信息和类型，根据孔的类型能够对应选取与孔相适配的孔塞，根据孔的位置信息能够将孔塞准确装入相应孔中，有利于实现对不同类型的孔的自动化堵孔操作，有效解决现有技术中存在的堵孔操作复杂的技术问题，无需人工识别和堵孔操作，识别定位精准度高，有利于孔塞与孔的紧密结合，有效保证堵孔效果，而且能够实现多种类型的孔的自动识别堵孔操作，适用范围广，自动化和智能化程度高，使用简单方便灵活，省事省力，提高生产效率，节省人力和使用成本，实用性强。

本申请实施例还提供了一种应用于工件的孔识别装置，包括图像采集模块、图像处理模块、规格识别模块、类型确定模块和输出模块，图像采集模块用于采集工件的图像，图像处理模块用于基于图像确定工件上各个孔的位置信息；规格识别模块用于基于图像分别对工件上的各个孔进行规格识别，以获取各个孔的规格信息；类型确定模块用于基于各个孔的规格信息，分别确定各个孔的类型；输出模块用于输出工件上各个孔的位置信息和类型。

请参阅图2，图2是本申请实施例提供的应用于工件的孔处理设备的结构示意图。

孔处理设备包括定位固定机构1、图像采集装置2、测距装置3和控制装置，定位固定机构1具有堵孔工位，定位固定机构1适于将工件200定位固定于堵孔工位；图像采集装置2对应于堵孔工位设置，图像采集装置2适于采集位于堵孔工位的工件200的图像；测距装置3正对于堵孔工位设置，测距装置3适于采集位于堵孔工位的工件200上各个孔的深度信息；控制装置分别与图像采集装置2和测距装置3连接，控制装置用于控制图像采集装置2和测距装置3工作，以执行上述实施例提供的孔识别方法。

上述实施例中的孔处理设备，通过设置图像采集装置2、测距装置3和控制装置，能够对工件200上需堵塞的孔进行自动识别定位，无需人工识别，而且能够精确识别出工件200上各个孔的类型和位置信息，识别定位精准度高，有利于实现对不同类型的孔的自动化堵孔操作，有效解决现有技术中存在的堵孔操作复杂的技术问题，实用性强。

可选地，孔处理设备还包括供料机构4和堵孔机构5，供料机构4用于分类供应多种规格的孔塞300；堵孔机构5与定位固定机构1和供料机构4相邻设置，并与控制装置连接，控制装置能够控制堵孔机构5移动至定位固定机构1或供料机构4、抓取供料机构4内的孔塞300并将抓取的孔塞300装入位于堵孔工位的工件200上的孔中；控制装置还用于基于获取的工件上各个孔的位置信息及类型，控制堵孔机构5对工件200上的孔进行堵孔操作。

根据孔的类型和位置信息，控制装置能够控制堵孔机构5自动完成对工件200上各个孔的堵孔操作，实现堵孔操作的自动化和智能化，无需人工堵孔，节省人力和使用成本，省事省力，提高生产效率，而且能够实现多种类型的孔的自动识别堵孔操作，孔塞300与孔的结合更加紧密，有效保证堵孔效果，适用范围广，自动化和智能化程度高，使用简单方便灵活，满足制造业向精准化、自动化、高效化、智能化等方向发展的需求，实用性强。

在本申请的其中一个实施例中，供料机构4包括多个上料装置41，上料装置41用于同一规格的多个孔塞300的排列传输上料，多个上料装置41用于多种不同规格的孔塞300的上料；控制装置与多个上料装置41连接，控制装置还用于基于获取的工件200上各个孔的类型，控制对应于相适配孔塞300的上料装置41上料。控制装置能够根据工件200上各个孔的类型，控制供料机构4对应分类供应相适配规格的孔塞300，实现孔塞300的分类自动连续供应，堵孔机构5移动至对应上料装置41的出料口即可拾取与相应孔适配的孔塞300，拾取孔塞300位置固定，操作简单方便，便于自动化控制，堵孔效率更高，实用性强。

在一个具体实施例中，上料装置41为振动盘，振动盘能够将孔塞300单列整齐排列依次上料。

在本申请的其中一个实施例中，定位固定机构1包括定位治具11，定位治具11设置于堵孔工位，定位治具11用于将工件200定位固定于堵孔工位，且定位治具11设置有尺寸和定位标记。通过定位治具11对工件200进行定位固定，实现对工件200的机械初始定位，锁定工件200的位置，固定牢固稳定可靠，工件200安装定位快捷方便；定位治具11的尺寸和定位标识能够在工件200的图像中作为参照，方便通过图像精确定位工件200的坐标和计算工件200的尺寸，进而定位工件200上的孔的精确位置坐标和计算孔的精确尺寸，识别定位精度更高；同时通过标定定位治具11的定位标记的实际物理坐标，能够将工件200上的孔的位置信息和尺寸换算至实际物理坐标系，方便后续堵孔操作，实用性强。

在一个具体实施例中，定位治具11包括多个滑块、气缸和止挡块，通过多个止挡块夹紧工件200的外周，从而将工件200定位固定。尺寸和定位标记可以是设置于滑块、气缸或止挡块上的标尺和标记原点，标记原点的物理坐标预先标定。

可选地，定位固定机构1还包括传输装置12，传输装置12包括位于堵孔工位的相对两侧的上料工位和下料工位，传输装置12用于传输工件200上下料。将工件200放置于上料工位，传输装置12将工件200传输至堵孔工位，定位治具11将工件200定位固定于堵孔工位，完成工件200的上料；堵孔完成后，定位治具11释放工件200，传输装置12将工件200传输至下料工位，取下工件200完成下料。

在一个具体实施例中，孔处理设备还包括机架6，堵孔工位设置于机架6的顶部，传输装置12为设置于机架6的顶部的输送带。

具体地，图像采集装置2包括第一相机21和第二相机22，第一相机21正对于堵孔工位设置，第一相机21的视野覆盖堵孔工位，工件200定位固定于堵孔工位时，第一相机21能够沿垂直于工件200表面的方向采集工件200的正视图像；第二相机22相对于堵孔工位倾斜设置，第二相机22的视野覆盖堵孔工位，工件200固定于堵孔工位时，第二相机22能够相对于工件200的表面倾斜角度采集工件200的斜视图像。

在一个具体实施例中，第一相机21和第二相机22为CCD(Charge Coupled Device，电荷耦合元件)相机，CCD相机是一种半导体成像器件，工作原理为被摄物体的图像经过镜头聚焦至CCD芯片上，CCD芯片根据光的强弱积累相应比例的电荷，各个像素积累的电荷在视频时序的控制下，逐点外移，经滤波、放大处理后，形成视频信号输出。

可选地，图像采集装置2还包括光源，光源能够朝向堵孔工位发射照明光，照明光覆盖堵孔工位，工件200定位固定于堵孔工位时，光源能够对工件200进行照明，可以增强工件200表面的反射光，提高第一相机21和第二相机22采集的工件200的图像的清晰度。

可选地，光源包括第一光源23和第二光源24，第一光源23紧邻第一相机21设置，第一相机21采集工件200的正视图像时同步触发第一光源23发射照明光；第二光源24紧邻第二相机22设置，第二相机22采集工件200的斜视图像时同步触发第二光源24发射照明光，第二光源24用明场正面低角度照明，能够使螺孔通孔区域形成暗场，而内螺纹内壁特征被增强，有利于获得完整的螺孔和螺纹成像特征，提高螺纹孔识别精准度。

在一个具体实施例中，第一光源23和第二光源24为环形光源，第一相机21和第二相机22的视野中心与环形光源的中心同心。

在本申请的其中一个实施例中，图像采集装置2和测距装置3均包括多个，多个图像采集装置2适于分别采集工件200不同方位或侧面的图像，多个测距装置3适于分别采集工件200不同方位或侧面上的孔的深度信息，控制装置能够识别工件200的不同方位或侧面上的孔，并控制堵孔机构5完成对工件200不同方位或侧面上的孔的堵孔操作，适用范围更广。

在一个具体实施例中，图像采集装置2包括第一方位图像采集装置和第二方位图像采集装置，第一方位图像采集装置设置于堵孔工位的正上方，用于获取工件200顶面的图像；第二方位图像采集装置设置于堵孔工位的周向外侧并朝向堵孔工位，用于获取工件200侧面的图像。测距装置3包括第一方位测距装置和第二方位测距装置，第一方位测距装置设置于堵孔工位的正上方，用于获取工件200顶面的孔的深度信息；第二方位测距装置设置于堵孔工位的周向外侧并朝向堵孔工位，用于获取工件200侧面的孔的深度信息。

具体地，测距装置3能够相对于堵孔工位运动，当工件200定位固定于堵孔工位时，测距装置3能够根据工件200上的孔的位置信息，精确运动至正对相应孔的测距点位置，以精确采集工件200上各个孔的深度信息。

在本申请的其中一个实施例中，测距装置3包括以下至少一种：激光测距装置；红外测距装置；超声波测距装置。

在本申请的其中一个实施例中，堵孔机构5包括多自由度机械手，多自由度机械手包括前端夹具51和设置于前端夹具的力检测装置，前端夹具51用于夹取孔塞300，力检测装置用于检测前端夹具51受到的力。通过采用多自由度机械手进行堵孔操作，控制装置能够驱动多自由度机械手精确到达目标位置，控制精准度更高，有效保证堵孔效果；通过设置力检测装置，能够监测堵孔时工件200受到的力，从而能够有效防止损坏工件200，保护工件200质量，实用性强。

在一个具体实施例中，力检测装置为力传感器。

可选地，前端夹具51可拆卸安装于多自由度机械手。

具体地，第一相机21使用前，先对第一相机21和多自由度机械手进行手眼标定，利用手眼标定结果，建立第一相机21与多自由度机械手坐标系之间的映射关系；根据该映射关系，控制装置能够将工件200上的孔的位置坐标转换至多自由度机械手的三维运动坐标系，方便多自由度机械手按照堵孔路径完成对工件200上各个孔的堵孔操作，控制更精准。

下面以一种孔板零件为例，具体说明本申请的孔识别方法和孔处理设备的使用方法。

请参阅图3，图3为孔板零件的结构示意图。孔板零件400的材料为铝，厚度为3/6/14/35mm，表面采用铝及铝合金导电氧化处理，之后再进行喷漆。孔板零件400上的孔(除大圆孔以外)的类型包括：直径8.5mm×90°的沉孔401，直径3.5mm的第一通孔402，直径4.5mm的第二通孔403，直径5mm的第三通孔404，M3螺纹孔405。

孔板零件400要求喷漆时注意保护所有孔(除大圆孔以外)，喷涂完成后孔内不允许有油漆。因此，喷漆前采用本申请实施例提供的孔处理设备对孔板零件400进行自动堵孔操作。具体使用方法包括：

步骤1、定位固定孔板零件400。

将孔板零件400放置于传输装置12的上料工位，传输装置12将孔板零件400传输至堵孔工位，定位治具11将孔板零件400定位固定于堵孔工位。

步骤2、采集孔板零件400的图像。

控制装置控制第一光源23朝向孔板零件400的顶面垂直发射照明光，同时控制第一相机21垂直于孔板零件400的顶面采集图像，孔板零件400的孔的轴线方向垂直于顶面，从而第一相机21沿孔的轴线方向采集到孔板零件400的正视图像；控制装置控制第二光源24以正面低角度朝向孔板零件400的顶面倾斜发射照明光，同时控制第二相机22以正面低角度朝向孔板零件400的顶面倾斜采集图像，从而第二相机22相对于孔的轴线倾斜角度采集到孔板零件400的斜视图像；孔板零件400的正视图像和斜视图像中均包括定位治具11，定位治具11具有尺寸和定位标记。

步骤3、基于孔板零件400的正视图像确定孔板零件400上各个孔的位置信息。

步骤3.1、控制装置获取第一相机21采集的孔板零件400的正视图像。

步骤3.2、使用控制装置内的图像处理软件，依次对孔板零件400的正视图像进行灰度化、直方图均衡化和中值滤波图像增强处理，并以正视图像中的尺寸和定位标记为参照，将正视图像的像素尺寸换算为实际的物理尺寸，得到孔板零件400的正视灰度图像。

步骤3.3、采用单阈值分割方法将孔板零件400的正视灰度图像转换为黑白图像，获得孔板零件400的正视黑白图像。

步骤3.4、采用八邻域连通区域方法，提取孔板零件400的正视黑白图像中具有闭合边界的黑色区域，确定为孔板零件400上的疑似孔区域。

步骤3.5、对孔板零件400的正视灰度图像依次采用Canny边缘检测算法、膨胀算法、腐蚀算法和骨架提取算法进行处理，精确提取出孔板零件400的正视灰度图像中的所有边界；然后对照孔板零件400上的疑似孔区域，从孔板零件400的正视灰度图像中的所有边界中，对应提取出疑似孔区域的精确轮廓边界。

步骤3.6、采用多边形逼近拟合对疑似孔区域的轮廓边界进行形状拟合，获得疑似孔的拟合边界。

步骤3.7、提取疑似孔的拟合边界的形状特征，包括面积、周长、半径、圆度、形心坐标等.

步骤3.8、由于孔板零件400上的孔均为圆孔，通过筛选形状特征中的圆度，可以很快识别出孔板零件400上的孔，统计孔的数量为68，分别获取这68个孔的边界。

步骤3.9、分别计算这68个孔的边界的最大内切圆半径及圆心坐标，得到这68个孔的位置信息。

步骤4、基于孔板零件400的正视图像和斜视图像，分别对孔板零件400上的各个孔进行规格识别，以获得各个孔的规格信息，包括尺寸信息、深度信息以及螺纹信息。

步骤4.1、控制装置获取第二相机22采集的孔板零件400的斜视图像。

步骤4.2、使用控制装置内的图像处理软件，对孔板零件400的斜视图像进行平均平滑、直方图均衡化和中值滤波图像增强处理，并采用单阈值分割方法将孔板零件400的斜视图像转换为黑白图像，得到孔板零件400的斜视黑白图像。

步骤4.3、采用八邻域连通区域方法，从孔板零件400的斜视黑白图像中，提取68个孔的位置坐标对应的具有闭合边界的黑色区域作为孔区域；对孔区域中的光孔区域和螺纹区域分别进行分割提取。

步骤4.4、利用黑白面积工具，统计螺纹区域内的黑白面积

步骤4.5、设定白面积下限，当螺纹区域内的白面积超过白面积下限，判定孔内有螺纹，从而识别出螺纹孔，共识别出孔板零件400上有12个螺纹孔405。

步骤4.6、分别计算这68个孔的边界的最大内切圆半径及圆心坐标，得到这68个孔的尺寸信息。

步骤4.7、基于68个孔的位置信息和尺寸信息，分别确定68个孔对应的测距点，每个孔均对应多个测距点，例如18个，18个测距点均匀分布于孔的正上方。

步骤4.8、控制装置控制测距装置3依次运动至68个孔的正上方的多个测距点处，测距装置3沿对应的孔的轴向，朝向孔板零件400发射检测信号和接收反射的检测信号，分别测量位于多个测距点处的测距装置3到相应孔的距离，从而采集得到68个孔的深度信息。

步骤5、基于孔板零件400上各个孔的规格信息，分别确定孔板零件400上各个孔的类型。

步骤5.1、控制装置接收测距装置3采集的68个孔的深度信息，并对这68个孔的深度信息分别进行去均值处理，提取的最小距离值为测距装置3到孔板零件400的顶面的距离，得到68个孔的深度数据。

分别统计68个孔的深度数据的分布特征，包括孔的最大深度值、孔的深度分布曲线以及孔的深度分布曲线的曲率。

根据孔板零件400上各个孔的深度数据的分布特征，分别确定孔板零件400上各个孔的深度类型：通过将孔的最大深度值与孔板零件400的最大厚度(35mm)进行比较，可以识别出68个孔都是通孔；通过统计孔的深度分布曲线的数目，识别出8个沉孔和60个直通孔；通过孔的深度分布曲线的曲率，识别出60个通孔为均匀圆柱孔，8个沉孔为锥面沉孔。

步骤5.2、根据孔板零件400上各个孔的尺寸信息、深度类型以及螺纹信息，分别确定孔板零件400上各个孔的类型为：直径8.5mm×90°的沉孔401为8个，直径3.5mm的第一通孔402为16个，直径4.5mm的第二通孔403为12个，直径5mm的第三通孔404为20个，M3螺纹孔405为12个。

步骤6、输出孔板零件400上各个孔的位置信息和类型。

步骤7、控制装置获取孔板零件400上各个孔的位置信息和类型，控制堵孔机构5针对孔板零件400上的每个孔自动执行堵孔处理。

步骤7.1、根据孔板零件400上各个孔的类型，将68个孔分为5组，组别编号为：沉孔401为第1组，第一通孔402为第2组，第二通孔403为第3组，第三通孔404为第4组，螺纹孔405为第5组。

对各组的孔分别进行组内编号，将8个沉孔401依次编号为1-1～1-8，将16个第一通孔402依次编号为2-1～2-16，将12个第二通孔403依次编号为3-1～3-12，将20个第三通孔404依次编号为4-1～4-20，将12个螺纹孔405依次编号为5-1～5-12。

控制装置根据编号从小到大排列堵孔顺序，并按照堵孔顺序排列各个孔的位置坐标，从而得到堵孔路径。

步骤7.2、控制装置按照堵孔顺序，依次控制与孔的类型相适配的孔塞300相对应的上料装置41上料，供应与相应孔相适配的孔塞300，根据孔板零件400上各个孔的类型，对应选取的与孔相适配的孔塞300包括：M3螺纹孔塞，直径为3.5mm、4.5mm和5mm的圆柱孔塞，以及直径8.5mm的T形孔塞；同时，控制装置控制多自由度机械手按照堵孔路径运动，依次从上料装置41拾取选定的孔塞300，并装入孔板零件400上对应的孔中，从而完成对孔板零件400上所有孔的自动堵孔。

步骤8、堵孔完成后，定位治具11释放孔板零件400，传输装置12将孔板零件400传输至下料工位，取下孔板零件400，完成对孔板零件400的堵孔操作。

使用本申请的孔处理设备，能够达到的孔板零件400最大堵孔产能为10min/pcs，有效解决堵孔操作费事费人，成为生产瓶颈的问题。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。