一种基于多光源表面图像的粗糙度等级预测方法及装置

技术领域

本发明涉及图像分类和人工智能技术领域，特别涉及一种基于多光源表面图像的粗糙度等级预测方法及装置。

背景技术

检测样品表面粗糙度最准确的方法是触针法。而触针法虽然检测精度高，但是触针法在检测的过程中会在样品表面留下划痕，造成样品表面粗糙度发生变化。光学显微镜(原子力显微镜、共聚焦显微镜)由于其非接触、检测精度高和非破坏性的特点，而被用来高精度的粗糙度检测。但光学显微镜由于价格比较高，不利于工业上的应用。

近年来，随着机器学习和人工智能的发展，基于计算机视觉的粗糙度检测方法得到了快速的发展。基于计算机视觉的粗糙度检测方法主要分为传统的特征提取方法和深度学习方法两类。传统的特征提取的方法主要对获取的图片手工的提取出特征。手工提取特征的方法会受到人为因素的影响，不利于粗糙度的检测。深度学习的方法可以自动的提取图片中的特征信息，解决了人为因素的干扰，但目前现有技术中，尤其对同种加工方式下表面纹理相似的表面粗糙度检测，粗糙度成像高度特征不明显，造成检测精度较低。

发明内容

本发明提供了一种基于多光源表面图像的粗糙度等级预测方法及装置，以解决现有技术由于粗糙度成像高度特征不明显，造成检测精度较低的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种基于多光源表面图像的粗糙度等级预测方法，该基于多光源表面图像的粗糙度等级预测方法包括：

获取待测样品的第一表面图像和第二表面图像；其中，所述第一表面图像为在白光光源下拍摄的图像，所述第二表面图像为在激光光源下拍摄的图像；

利用第一特征提取网络提取所述第一表面图像的特征，得到第一特征信息；利用第二特征提取网络提取所述第二表面图像的特征，得到第二特征信息；

将所述第一特征信息和所述第二特征信息进行融合，得到融合特征信息；

将所述融合特征信息输入分类网络，得到所述待测样品的表面粗糙度等级。

进一步地，所述获取待测样品的第一表面图像和第二表面图像，包括：

保持待测样品的位置不变，分别使用白光和激光垂直打在所述待测样品表面的同一位置上，并对白光下的待测样品和激光下的待测样品的表面同一位置分别进行拍摄，以得到待测样品表面同一位置的第一表面图像和第二表面图像。

进一步地，所述第一特征提取网络和第二特征提取网络均为链式通道注意力网络。

进一步地，将所述第一特征信息和所述第二特征信息进行融合，包括：

将所述第一特征信息和所述第二特征信息使用concat的形式进行融合。

进一步地，所述分类网络为由全连接层构成的分类层。

另一方面，本发明还提供了一种基于多光源表面图像的粗糙度等级预测装置，该基于多光源表面图像的粗糙度等级预测装置包括：

样品表面图像获取模块，用于获取待测样品的第一表面图像和第二表面图像；其中，所述第一表面图像为在白光光源下拍摄的图像，所述第二表面图像为在激光光源下拍摄的图像；

特征提取模块，用于利用第一特征提取网络提取所述样品表面图像获取模块获取的第一表面图像的特征，得到第一特征信息；利用第二特征提取网络提取所述样品表面图像获取模块获取的第二表面图像的特征，得到第二特征信息；

特征信息融合模块，用于将所述特征提取模块提取的第一特征信息和第二特征信息进行融合，得到融合特征信息；

表面粗糙度等级预测模块，用于将所述特征信息融合模块输出的融合特征信息输入分类网络，得到所述待测样品的表面粗糙度等级。

进一步地，所述样品表面图像获取模块具体用于：

保持待测样品的位置不变，分别使用白光和激光垂直打在所述待测样品表面的同一位置上，并对白光下的待测样品和激光下的待测样品的表面同一位置分别进行拍摄，以得到待测样品表面同一位置的第一表面图像和第二表面图像。

进一步地，所述第一特征提取网络和第二特征提取网络均为链式通道注意力网络。

进一步地，所述特征信息融合模块具体用于：

将所述第一特征信息和所述第二特征信息使用concat的形式进行融合。

进一步地，所述分类网络为由全连接层构成的分类层。

再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案带来的有益效果至少包括：

本发明的上述技术方案利用白光光源和激光光源分别拍摄样品的表面图像；其中，利用白光光源拍摄的图像输入到深度学习网络中可以提取到丰富的样品表面的纹理特征；利用激光光源拍摄的图像输入到深度学习网络中可以提取到样品表面的粗糙度高度变化；利用白光光源和激光光源提取到的特征信息进行相互补充，实现对不同粗糙度等级的样品进行分类，从而有利于检测在白光下粗糙度变化不明显的样品，可以更好的提升样品表面的粗糙度检测准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于多光源表面图像的粗糙度等级预测方法的执行流程示意图；

图2是本发明实施例提供的基于多光源表面图像的粗糙度等级预测方法所采用的网络模型的网络结构示意图；

图3是本发明实施例提供的样片表面白光图像；

图4是本发明实施例提供的样片表面激光图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种基于多光源表面图像的粗糙度等级预测方法，该方法可以由电子设备实现。该方法的执行流程如图1所示，包括以下步骤：

S1，获取待测样品的第一表面图像和第二表面图像；其中，第一表面图像为在白光光源下拍摄的图像，第二表面图像为在激光光源下拍摄的图像；

需要说明的是，对于粗糙度图像的获取，相较于红光和绿光，白色光源可以根据样品表面物质、形态的不同而形成不同的颜色，从而可更好的提取出样品表面的纹理特征。激光由于其相干性和方向性，对待测表面成像特征有别于白光成像。因此，本实施例为了解决白光进行粗糙度成像高度特征不明显的问题，分别使用白光和激光作为光源拍摄具有纹理信息的样品表面图像，使用激光生成的图像作为补充图像输入到模型中，从而提高样品表面的粗糙度检测准确率。

具体地，在本实施例中，上述S1的实现过程如下：

保持待测样品的位置不变，分别使用白光和激光垂直打在待测样品表面的同一位置上，并对白光下的待测样品和激光下的待测样品的表面同一位置分别进行拍摄，以得到待测样品表面同一位置的白光图像(如图3所示)，也即第一表面图像和激光图像(如图4所示)，也即第二表面图像。

S2，利用第一特征提取网络提取第一表面图像的特征，得到第一特征信息；利用第二特征提取网络提取第二表面图像的特征，得到第二特征信息；

需要说明的是，本实施例是利用两个卷积神经网络提取样品表面图像特征，其中一个用于提取白光图像的特征，另外一个用于提取激光图像的特征；可以得到样品表面更丰富的纹理特征。具体地，在本实施例中，第一特征提取网络和第二特征提取网络均为链式通道注意力网络。

S3，将第一特征信息和第二特征信息进行融合，得到融合特征信息；

具体地，在本实施例中，得到融合特征信息的方式为：将提取到的白光图像的特征和激光图像的特征使用concat的形式进行融合，以得到融合特征信息，从而丰富提取到的样品表面特征，提高粗糙度等级预测的准确度。

S4，将融合特征信息输入分类网络，得到待测样品的表面粗糙度等级。

具体地，在本实施例中，上述S4为将融合特征信息输入到由全连接层构成的分类层，以实现待测样品的粗糙度等级预测。

进一步地，本实施例的基于多光源表面图像的粗糙度等级预测方法所采用的网络模型的网络结构如图2所示，其训练方式如下：

采用白光、激光和CCD相机对砂纸打磨抛光的样品表面图像进行采集。数据集中共包含4个粗糙度等级：使用320目砂纸打磨60s(320-60s)，粗糙度范围是550nm-700nm、使用800目砂纸打磨60s(800-60s)，粗糙度范围是400nm-550nm、使用1000目砂纸打磨60s(1000-60s)，粗糙度范围是300nm-400nm、使用1200目砂纸打磨60s(1200-60s)，粗糙度范围是200nm-300nm，四种不同粗糙度等级的样品表面图像如图3和图4所示。网络参数随机初始化，使交叉熵损失和Adam优化器在GPU(GeForce RTX 2080Ti)迭代更新网络参数，批量大小为256，初始学习率为0.001。损失函数Loss的计算公式如下所示：

如果第n个图像中属于第i类，则y

具体的实施步骤为：

(1)获取表面图像数据集(包括白光图像和激光图像)，将图像数据集划分为训练集、验证集和测试集；数据集包含4类：320-60s、800-60s、1000-60s、1200-60s；包含5124对样品表面图像样本：3986对训练图像、569对验证图像和569对测试图像，每对图像包含一张白光图像和一张激光图像。

(2)通过一个注意力网络提取白光图像的特征，另外一个注意力网络提取激光图像的特征。

(3)将提取到的两部分图像特征通过concat的形式进行融合，将融合后的特征输入到分类网络中，输出分类结果。

(4)重复进行步骤(2)、(3)，对模型进行迭代更新，当训练集和验证集的损失趋向于收敛时，表示粗糙度等级分类模型稳定，得到训练好的分类模型。

(5)将测试集中的图像输入到训练好的分类模型中，得到输入图像的粗糙度等级。

进一步地，将本实施例的基于多光源表面图像的粗糙度等级预测方法记为MLIC。为了证明本实施例提出的方法在提升分类准确率上的有效性，在相同的实验条件下，使用白光图像训练模型(WLIC)、使用激光图像训练模型(LIC)、同时使用白光图像和激光图像训练模型(MLIC)，对这三种实验的结果进行对比，评估模型在测试集上的平均准确率。

如表1展示了WLIC、LIC和MLIC这三种方法在测试集上的粗糙度等级预测结果，可以看出，本实施例提出的使用白光图像和激光图像(MLIC)同时对粗糙度等级进行预测的平均准确率达到96％，相比仅使用白光图像(WLIC)和仅使用激光图像分别提升了1％和10％，可以看出白光图像对激光图像具有非常大的促进作用，激光图像对白光图像也有一定的促进作用。本实施例提出的方法适用激光生成的图像作为补充光源，解决适用白光进行粗糙度成像高度特征不明显的问题，从而促进了粗糙度等级预测的准确率。

表1 WLIC、LIC、MLIC对四种粗糙度等级分类的准确率(Accuracy)和总体平均准确率(M-ACC)

综上，本实施例的方法同时将白光光源和激光光源作为光源，拍摄具有纹理信息的样品表面图像，并将二者的特征信息融合后输入到深度学习网络中进行训练。可更好的提升样品表面的粗糙度检测准确率。

第二实施例

本实施例提供了一种基于多光源表面图像的粗糙度等级预测装置，该基于多光源表面图像的粗糙度等级预测装置包括以下功能模块：

样品表面图像获取模块，用于获取待测样品的第一表面图像和第二表面图像；其中，所述第一表面图像为在白光光源下拍摄的图像，所述第二表面图像为在激光光源下拍摄的图像；

特征提取模块，用于利用第一特征提取网络提取所述样品表面图像获取模块获取的第一表面图像的特征，得到第一特征信息；利用第二特征提取网络提取所述样品表面图像获取模块获取的第二表面图像的特征，得到第二特征信息；

特征信息融合模块，用于将所述特征提取模块提取的第一特征信息和第二特征信息进行融合，得到融合特征信息；

表面粗糙度等级预测模块，用于将所述特征信息融合模块输出的融合特征信息输入分类网络，得到所述待测样品的表面粗糙度等级。

本实施例的基于多光源表面图像的粗糙度等级预测装置与上述第一实施例的基于多光源表面图像的粗糙度等级预测方法相对应；其中，本基于多光源表面图像的粗糙度等级预测装置中的各功能模块所实现的功能与上述基于多光源表面图像的粗糙度等级预测方法中的各流程步骤一一对应；故，在此不再赘述。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。