用于纸张缺陷检测的方法、装置、检测设备和存储介质

技术领域

本申请涉及深度学习技术领域，具体而言，涉及一种用于纸张缺陷检测的方法、装置、检测设备和存储介质。

背景技术

目前，传统的纸张缺陷检测大部分是基于可见光的缺陷检测，而深度缺陷属于非可见光的缺陷检测，因此在图像上不可见，传统的算法也无法进行缺陷检测。现有技术中，针对深度缺陷的纸张检测技术大多都是用人工进行检测，也即是通过肉眼来观察纸张是否存在缺陷。但人工检测存在人工成本高，检测主观性强，检测时间久等问题。

相关技术公开了一种基于机器视觉的纸张缺陷检测方法，包括：获取纸张图像；放入缺陷模型对纸张进行检测，得到纸张存在的缺陷类型及对应的缺陷编号；其中，利用缺陷模型进行检测包括：对图像进行特征提取、放入特征图、对特征图降维操作，最后根据降维后的特征图来检测纸张存在的缺陷及缺陷类型。

相关技术的问题在于，获取纸张图像后直接放入到缺陷模型中，而模型中采用对图像处理的方式是通过降维来提取图像主要特征，这样就忽视了图像中深度对缺陷检测带来的影响，降低了纸张缺陷检测的准确性，尤其是当检测精度在微米级时，忽略了图像中的深度信息，更不能保证对纸张缺陷检测的准确性。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于纸张缺陷检测的方法、装置、检测设备和存储介质，可以在缺陷检测的过程中保留图像中的深度信息，提高纸张缺陷检测的准确性。

在一些实施例中，所述用于纸张缺陷检测的方法包括：采集被检测纸张的深度图像；

对深度图像进行可视化处理；

将可视化处理后的深度图像输入测试完成的分割网络模型，得到深度图像中前景区域的深度点云数据；

对前景区域的深度点云数据进行归一化处理；

将归一化处理后的前景区域的深度点云数据输入测试完成的分类网络模型中进行缺陷分析。

可选地，分割网络模型的训练方法包括：

获得具有背景标签信息的深度图像，并由具有背景标签信息的深度图像生成训练集和测试集；

搭建用于提取前景区域的分割网络模型；

使用训练集对分割网络模型进行训练，得到训练后的分割网络模型；

使用测试集对分割网络模型进行性能测试，得到测试完成的分割网络模型。

背景标签信息包括前景区域标签和背景区域标签。

可选地，分类网络模型的训练方法包括：

获得具有缺陷标签信息的深度图像，并由具有缺陷标签信息的深度图像生成训练集和测试集；

搭建用于纸张缺陷检测的分类网络模型；

使用训练集对分类网络模型进行训练，得到训练后的分类网络模型；

使用测试集对分类网络模型进行性能测试，得到测试完成的分类网络模型。

缺陷标签信息包括纸张正常标签和纸张缺陷标签。

可选地，将深度图像输入分割网络模型或分类网络模型前，还包括：

对深度图像进行压缩处理，以适应分割网络模型或分类网络模型的格式。

可选地，分割网络模型包括Unet网络结构，分类网络模型包括resent18网络结构。

在一些实施例中，所述用于纸张缺陷检测的装置包括：处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行上述的用于纸张缺陷检测的方法。

在一些实施例中，所述检测设备包括：采集系统，包含多个用于采集被检测纸张深度图像的传感相机；和上述的用于纸张缺陷检测的装置。

本公开实施例提供的用于纸张缺陷检测的方法、装置、检测设备和存储介质，可以实现以下技术效果：

本发明应用于深度学习技术领域，首先采集被检测纸张的深度图像，将深度图像输入分割网络模型提取前景区域的深度点云数据，从而将重点区域与背景区域进行分离。进而将前景区域的深度点云数据进行归一化处理后，输入到分类网络模型中进行缺陷分析。通过本申请的方案，在纸张的缺陷检测中先后采用了两个模型，第一次利用分割网络模型，在去除背景区域，得到主要检测区域的同时，还保留图像的深度信息，得到深度图像中前景区域的深度点云数据。进而再将归一化处理后的数据输入到分类网络模型进行缺陷检测，相较于相关技术中直接将纸张图像放入缺陷检测模型，通过降维来提取图像主要特征的方式而言，保留了三维图像中的深度信息，从而提高了纸张缺陷检测的准确性。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的用于纸张缺陷检测的方法的示意图；

图2是本公开实施例提供的分割网络模型的训练方法的示意图；

图3是本公开实施例提供的分类网络模型的训练方法的示意图；

图4是本公开实施例提供的又一个用于纸张缺陷检测的方法的示意图；

图5是本公开实施例提供的一个用于纸张缺陷检测的装置的示意图；

图6是本公开实施例提供的一个检测设备的示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

结合图5-6所示，检测设备包括采集系统601和检测装置602。其中，检测装置602包括处理器(processor)500和存储器(memory)501。可选地，该装置还可以包括通信接口(Communication Interface)502和总线503。其中，处理器500、通信接口502、存储器501可以通过总线503完成相互间的通信。通信接口502可以用于信息传输。处理器500可以调用存储器501中的逻辑指令，以执行用于纸张缺陷检测的方法。

结合图1所示，本公开实施例提供一种用于纸张缺陷检测的方法，包括：

S101，采集系统采集被检测纸张的深度图像。

S102，处理器对深度图像进行可视化处理。

S103，处理器将可视化处理后的深度图像输入测试完成的分割网络模型，得到深度图像中前景区域的深度点云数据。

S104，处理器对前景区域的深度点云数据进行归一化处理。

S105，处理器将归一化处理后的前景区域的深度点云数据输入测试完成的分类网络模型中进行缺陷分析。

采用本公开实施例提供的用于纸张缺陷检测的方法，首先采集系统中的多个可以采集纸张深度信息的深度相机采集被检测纸张的多张深度图像。通过通信接口，将深度图像输入分割网络模型提取每张图像的前景区域的深度点云数据，从而将重点区域与背景区域进行分离。进而处理器将前景区域的深度点云数据进行归一化处理后，再输入到分类网络模型中进行缺陷分析。通过本申请的方案，在纸张的缺陷检测中先后采用了两个模型，第一次利用分割网络模型，在去除背景区域，得到主要检测区域的同时，还保留图像的深度信息，得到深度图像中前景区域的深度点云数据。进而再将归一化处理后的数据输入到分类网络模型进行缺陷检测。相较于相关技术中直接将纸张图像放入缺陷检测模型，通过降维来提取图像主要特征的方式而言，保留了三维图像中的深度信息。从而提高了纸张缺陷检测的准确性。

在相关技术领域中，基于深度信息生成的图像和传统图像有本质的区别。由于深度数据的精度非常高，通常为小数点后五位，而图像数据单节点的精度只有0-255，那么如果强行转换图像并进行降维处理，会造成大量数据精度的损失。而本申请采用的方法，则是通过分割技术，提取出整个深度数据中的关键区域，针对这一小片区域再进行后续的量化映射，从而尽可能多的保留了深度图像的数据精度，才能为后续的缺陷检测提供数据支撑。

值得注意的是，本发明提取纸张前景区域的方法可以针对纸张前景区域跟背景区域在深度信息上差异不大的情况。如果纸张特别薄跟背景区域按照深度信息很难区分，可采用上述分割网络模型进行前景区域的提取。如果纸张比较厚，跟背景按照深度差距较大，除了上述方法外亦可以根据深度相机采集的深度数据进行分析。比如聚类分析数据，设置合适的深度阈值。小于某个阈值的区域直接认为是背景区域，大于阈值的区域认为是前景感兴趣区域，也可用于提取前景区域。此外，本申请通过分割网络所提取的是图像原始数据的前景区域掩膜，而前景区域的深度数据可由前景区域掩膜与原始数据相乘直接得到。

可选地，结合图2所示，本申请中所采用的分割网络模型的训练方法包括：

S201，获得具有背景标签信息的深度图像，并由具有背景标签信息的深度图像生成训练集和测试集。

S202，搭建用于提取前景区域的分割网络模型。

S203，使用训练集对分割网络模型进行训练，得到训练后的分割网络模型。

S204，使用测试集对分割网络模型进行性能测试，得到测试完成的分割网络模型。

在本实施例中，分割网络模型的构建，首先对带有深度信息的图像进行标注。将深度图像中的目标区域，也就是前景区域标注出来。并且由这些已标注好的图像形成了训练集和测试集。然后搭建用于提取前景区域的分割网络模型(例如Unet网络结构)。用训练集和测试集对分割网络模型进行训练和测试，最终得到用于提取前景区域的分割网络模型。按照上述方法提前对分割网络模型进行训练，使得训练好的分割网络模型可以直接对带有深度信息的图像进行前景区域的提取。也就打破了现有技术基于二维图像(或对三维图像降维处理后)进行提取特征的方式，从而保留了深度信息，从而提高了纸张缺陷检测的准确性。

在相关技术领域中，基于深度信息生成的图像和传统图像有本质的区别。由于深度数据的精度非常高，通常为小数点后五位，而图像数据单节点的精度只有0-255，那么如果强行转换图像并进行降维处理，会造成大量数据精度的损失。而本申请采用的方法，则是通过分割技术，提取出整个深度数据中的关键区域，针对这一小片区域再进行后续的量化映射，从而尽可能多的保留了深度图像的数据精度，才能为后续的缺陷检测提供数据支撑。

可选地，结合图3所示，本申请中所采用的分类网络模型的训练方法包括：

S301，获得具有缺陷标签信息的深度图像，并由所述具有缺陷标签信息的深度图像生成训练集和测试集。

S302，搭建用于纸张缺陷检测的分类网络模型。

S303，使用所述训练集对分类网络模型进行训练，得到训练后的分类网络模型。

S304，使用所述测试集对分类网络模型进行性能测试，得到所述测试完成的分类网络模型。

在本实施例中，分类网络模型的构建，首先需要对图像数据进行标注。将图像中有缺陷的纸张图像标注为纸张缺陷标签，没有缺陷的纸张图像标注为正常标签，并形成了训练集和测试集。进而搭建用于纸张缺陷检测的分类网络模型(例如resent18网络结构)。利用上述训练集和测试机对分类网络模型进行训练和测试，得到用于纸张缺陷检测的分类网络模型。由上述方法得到的分类网络模型，可以对输入的图像进行判别，输出该纸张是否存在缺陷。可以理解的是，本申请所提到的分割网络模型与分类网络模型，同样会将测试数据或工作中所输入的数据进行学习和训练，使得模型自身不断迭代升级，从而得到最优性能的模型。

可选地，在实际的纸张缺陷检测过程中，由于单个图像传感器采集到的深度图像并不能覆盖到所有方位，容易出现误检的情况。因此为了避免这种情况，通常设置多个图像传感器从不同角度采集纸张的深度图像。同时，也会对多个图像传感器采集到的图像的检测结果设置一定的规则，从而来增强纸张检测的精确度。以采用5个传感器为例，编号分别为1-5。由于1号传感器和5号传感器可能设置于较偏的位置，采集深度图像的角度并不精确，因此对1号和5号传感器设置预设阈值如80％。进而将1号和5号传感器采集到的深度图像经过分类网络模型处理后，如果1号和5号传感器输出的结果大于了80％，那么就认为该纸张存在缺陷。而5个传感器中，任意一个传感器的检测结果是纸张有缺陷，那么最终判定为该纸张存在缺陷。通过根据具体的实际检测环境设置一定的规则，使得通过本申请的检测方法可以具有更高的准确性。

结合图4所示，本公开实施例提供的又一个用于缺陷检测的方法，包括：

S401，采集系统采集被检测纸张的深度图像。

S402，处理器对深度图像进行可视化处理。

S403，处理器将可视化处理后的深度图像进行压缩处理，进而输入测试完成的分割网络模型，得到深度图像中前景区域的深度点云数据。

S404，处理器对前景区域的深度点云数据进行归一化处理。

S405，处理器将归一化处理后的前景区域的深度点云数据进行压缩处理，进而输入测试完成的分类网络模型中进行缺陷分析。

在本实施例中，在放入分割网络模型和分类网络模型之前，考虑到所采集的深度图像格式不统一，或由于可视化处理、归一化处理等导致格式不一致的问题。因此在将图像输入网络模型前先对图像进行压缩处理，以符合网络模型的图像输入格式，使得整个检测过程更加智能和完整。

本发明通过三维点云数据和深度神经网络技术实现深度方向微米级缺陷的检测。将深度学习技术的分割和分类网络结合起来实现了微米级深度缺陷的检测，节约了人工成本，提升了质检效率，提高了产品的鲁棒性，提升了检测精度，提高了产品质量。

结合图5所示，本公开实施例提供一种用于纸张缺陷检测的装置，包括处理器(processor)500和存储器(memory)501。可选地，该装置还可以包括通信接口(Communication Interface)502和总线503。其中，处理器500、通信接口502、存储器501可以通过总线503完成相互间的通信。通信接口502可以用于信息传输。处理器500可以调用存储器501中的逻辑指令，以执行上述实施例的用于纸张缺陷检测的方法。

此外，上述的存储器501中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器501作为一种存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器500通过运行存储在存储器501中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于纸张缺陷检测的方法。

存储器501可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器501可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种检测设备，包含采集系统，包含多个用于采集被检测纸张深度图像的传感相机和上述的用于纸张缺陷检测的装置。

本公开实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于纸张缺陷检测的方法。

上述的存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。