一种面向印花面料疵点视觉检测的因果机器学习方法

技术领域

本发明涉及一种印花面料疵点视觉检测的因果机器学习方法，属于计算机视觉、机器学习、产品质量检测等交叉技术领域。

背景技术

印花面料是一种具有高利润价值的重要纺织产品，可以作为基本原料被广泛应用在衣着纺织、装饰纺织以及工业纺织等纺织用品的生产和制造中。印花面料的生产制造需要经过织物设计、印花印制、产品后处理等繁琐的生产制造工艺。在上述的生产过程中，由于设备故障或者是人员操纵失误都会使面料表面出现疵点，导致产品价格的大幅下降，对纺织企业造成不必要的经济损失。但是，由于印花面料表面覆盖有色彩分布和形态特征多样的背景花纹，其与面料疵点存在相似的图形学表征，导致在检测过程产生检测视觉混淆。因此，如何规避背景花纹的强干扰，实现对印花面料疵点的自主精准检测是亟待解决的关键问题。

随着计算机视觉技术的发展，众多学者都开始对纺织品疵点检测方法进行研究。当前的视觉检测技术可以被分为基于传统图像处理的方法、基于传统机器学习的方法和基于大数据的检测方法。传统的图像处理方法通过增强面料图像的纹理特征，在视觉上差异化疵点的表征，实现对于该瑕疵区域的识别。但是这种方法存在检测效率差、应用场景简单以及检测种类单一的缺陷，无法应对存在多疵点表征的复杂检测任务。随着人工智能技术的广泛应用，基于机器学习的疵点检测方法被提出。通过在传统图像处理的方法上融合人工神经网络以及支持向量机等机器学习技术，实现对于疵点特征的学习、识别和检测。但是由于数据样本稀疏、网络结构简单等因素，导致该检测方法的时效性、精准性和泛化性无法满足实际的检测需求。为了克服以上两种方法在数据、模型以及算法方面的难点，基于数据驱动的第二代人工智能技术的疵点检测方法被广泛研究。通过设计和构建深度神经网络对喂入的大量面料图像的正负数据样本进行采样和降维，进而建立“特征-标签”数据关联关系，实现对于疵点精准学习与高效检测。但是，针对印花面料疵点视觉检测的视觉混淆，深度神经网络很容易在建立特征与标签的数据关联中产生像素级别的样本选择偏差并学习到虚假的数据关联，即检测模型无法真正区分疵点与背景花纹，影响检测的可信性和解释性。部分学者尝试从视觉注意力的角度解决该难题，但是该策略并未突破数据驱动的检测模型无法应对印花面料疵点检测的本质难题，即从机器学习范式入手，引导检测模型的训练和优化过程，实现疵点的精准识别与检测。

当前，部分学者开始在机器学习的基础上结合因果科学(Causality Science)，从而解决视觉模型出现决策混乱或错误的难题。因果科学是前沿的统计信息科学，其可以分析具体任务中关键变量的因果关系，从而进一步实现对因果关系的利用。但是，由于多种类印花织物背景花纹种类差异大，通用的因果机器学习方法无法实现对于印花织物疵点的精准学习和检测。

发明内容

本发明所要解决的技术问题是：现有基于大数据的面料疵点视觉自动检测技术无法规避印花面料背景花纹的视觉干扰，无法实现其疵点的精准检测。

为了解决上述技术问题，本发明的技术方案是提供了一种面向印花面料疵点视觉检测的因果机器学习方法，其特征在于，包括以下步骤：

步骤1、对印花面料疵点视觉检测任务进行因果推理，构建结构因果模型，分析得到可以精准识别疵点的因果干预策略P(L|do(D))：

P(L|do(D))＝P(L|B)P(L|D,B)

式中：P、D、B以及L分别代表像素矩阵、疵点特征、花纹特征以及瑕疵面料标签；

步骤2、通过在印花面料疵点检测端搭建视觉采集设备，收集印花面料图像的正负样本数据并分别构建包含正常以及有瑕疵印花面料图像的缺陷数据集D和仅包含正常印花面料图像的印花数据集D'：

D＝{(x

D'＝{(x'

式中，x

步骤3、利用印花数据集D'训练任意选定的具有k个下采样操作的卷积神经网络F'，通过最小化损失函数优化卷积神经网络F'的参数θ'，实现对于印花面料背景花纹特征的学习，并保存卷积神经网络F'的最终参数θ'，从而完成因果干预策略的第一部分；

步骤4、利用缺陷数据集D训练任意选定的具有k个下采样操作的卷积神经网络F，卷积神经网络F与卷积神经网络F'的结构一致，在卷积神经网络F的训练过程计算k个尺度的特征差异实现多尺度的特征因果干预，并最终整合因果关系权重构建损失函数，利用加权损失函数优化卷积神经网络F的参数θ，实现对于疵点特征的精准学习与检测，并保存卷积神经网络F的最终参数，从而完成因果干预策略的第二部分。

优选地，步骤1中，所述因果干预策略的计算方式为后门准则。

优选地，所述步骤1包括以下步骤：

步骤101、分析印花面料疵点检测任务构建的结构因果模型M

M

其中，P、D、B以及L分别代表像素矩阵、疵点特征、花纹特征以及瑕疵面料标签；

步骤102、分析结构因果模型，通过因果推理的后门调整得出可以精准检测疵点的因果干预策略：P(L|do(D))＝P(L|B)P(L|D,B)。

优选地，所述步骤3包括以下步骤：

步骤301、为了完成因果干预策略的P(B)，即对背景花纹特征的获取，利用印花数据集D'训练任意一个具有k个下采样操作的卷积神经网络F'：

F'＝{f'

式中，f'

步骤302、设定卷积神经网络F'的训练轮数E’、输入的数据批次量B’；对于任意一轮训练的任意一个批次的数据，利用损失函数L'计算预测值与真实值的损失：

步骤303、在每一轮训练后，对卷积神经网络F'的参数θ'进行优化：

式中，α表示学习率，(θ')'表示优化后的卷积神经网络F'的参数；

步骤304、保存E’轮训练后卷积神经网络F'的最终参数θ’。

优选地，所述步骤4包括以下步骤：

步骤401、为了完成因果干预策略的P(L|D,B)，即对背景花纹特征和缺陷特征的采集并对数据图像的标签进行预测，利用缺陷数据集D训练任意一个具有k个下采样操作的卷积神经网络F，卷积神经网络F与卷积神经网络F'的结构一致：

F＝{f

式中，f

步骤402、设定卷积神经网络F的训练轮数E、输入的数据批次量B；对于任意一轮训练的任意一个批次的数据，分别以特征差分的形式计算卷积神经网络F'与卷积神经网络F对应k个维度的特征差异S

S

式中，Φ

步骤403、整合k个维度的特征差异S

式中，ω

步骤404、根据因果关系权重S

步骤405、在每一轮训练后，对卷积神经网络F的参数θ进行优化：

式中，(θ)'表示优化后的卷积神经网络F的参数；

步骤406、保存E轮训练后卷积神经网络F的最终参数θ，训练结束。

印花面料疵点精准检测的关键是引导检测模型学习到印花面料背景花纹与疵点的特征差异性，使深度神经网络准确构建特征与标签的数据关联。本发明充分利用了深度神经网络对于高维图像的特征提取能力，通过特征差分的形式实现因果干预，从而最大化背景花纹与疵点的差异性，引导检测模型精准捕获疵点特征与瑕疵面料标签的因果关系实现疵点的识别与检测。

与现有技术相比，本发明具有以下技术效果：

(1)本发明从当前基于数据驱动的疵点检测方法的学习与优化的本质入手，利用因果推理引导深度神经网络克服印花面料疵点检测的视觉混淆难题

(2)本发明通过特征差分的方式实现因果干预帮助模型精准学习疵点特征；

(3)本发明考虑不同背景花纹的特征分布差异，引入不同尺度的特征差分实现对于不同背景花纹的印花面料的疵点检测，从而增强检测模型的泛化性；

(4)本发明通过多网络协同训练，利用包含特征差异信息的因果关系加权损失函数来引导检测模型对于疵点的精准学习。

附图说明

图1为本发明提供的面向印花面料疵点视觉检测的因果机器学习方法实现过程的流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

如图1所示，本发明公开的一种面向印花面料疵点视觉检测的因果机器学习方法包括以下步骤：

步骤1)：对印花面料疵点视觉检测任务进行因果推理，构建结构因果模型，分析得到可以精准识别疵点的因果干预策略，进一步包括以下步骤：

步骤1.1)：分析印花面料疵点检测任务构建的结构因果模型M

M

其中，P、D、B以及L分别代表像素矩阵、疵点特征、花纹特征以及瑕疵面料标签。

步骤1.2)：分析结构因果模型，通过因果推理的后门调整得出可以精准检测疵点的因果干预策略：

P(L|do(D))＝P(L|B)P(L|D,B) (2)

式中，do(D)表示对缺陷特征这一可观测变量的混淆因子(即背景花纹特征)进行因果干预，P(L|do(D))表示因果干预策略，即在对背景花纹特征进行因果干预的时候对瑕疵织物标签进行预测，P(L|B)为因果干预策略的第一部分，表示检测模型的特征空间中仅存在背景花纹特征，P(L|D,B)为因果干预策略的第二部分，表示检测模型在特征空间同时存在缺陷特征与背景花纹特征的情况下预测瑕疵织物标签。

步骤2)：首先通过在印花面料的检测端搭建视觉采集设备，负责工程实际采集的正常和瑕疵的面料图像。同时，整合收集多种背景花纹的印花面料正负样本图像数据，并分别构建包含正常以及有瑕疵印花面料图像的缺陷数据集D和仅包含正常印花面料图像的印花数据集D'：

D＝{(x

D'＝{(x'

式中，x

步骤3)：为了完成因果干预策略的P(B)，即对背景花纹特征的获取，利用印花数据集训练任意选定的卷积神经网络，通过最小化损失函数优化模型的参数，实现对于印花面料背景花纹特征的学习，并保存模型的最终参数，进一步包括以下步骤：

步骤3.1)：本发明利用卷积神经网络作为疵点检测模型的基本网络。搭建两个结构一致的网络并利用缺陷数据集D与印花数据集D'分别对模型进行训练。

首先利用印花数据集D'训练任意一个具有k个下采样操作的卷积神经网络F'：

F'＝{f'

式中，f'

步骤3.2)：设定卷积神经网络F'的训练轮数E’、输入的数据批次量B’。对于任意一轮训练的任意一个批次的数据，利用损失函数L'计算预测值与真实值的损失：

步骤3.3)：在每一轮训练后，对卷积神经网络F'的参数θ'进行优化：

式中，α表示学习率，(θ')'表示优化后的卷积神经网络F'的参数。

步骤3.4)：保存E’轮训练后卷积神经网络F'的最终参数θ’，记为F'

步骤4)：为了完成因果干预策略的P(L|D,B)，即对背景花纹特征和缺陷特征的采集并对数据图像的标签进行预测，利用缺陷数据集训练任意选定的卷积神经网络，在模型的训练过程计算多个尺度的特征差异实现多尺度的特征因果干预，并最终整合因果关系权重构建损失函数，利用加权损失函数优化模型的参数，实现对于疵点特征的精准学习与检测，并保存模型的最终参数，进一步包括以下步骤：

步骤4.1)：利用缺陷数据集D训练任意一个具有k个下采样操作的卷积神经网络F，卷积神经网络F与卷积神经网络F'的结构一致：

F＝{f

式中，f

步骤4.2)：设定卷积神经网络F的训练轮数E、输入的数据批次量B。对于任意一轮训练的任意一个批次的数据，分别以特征差分的形式计算卷积神经网络F'与卷积神经网络F对应k个维度的特征差异S

S

式中，Φ

步骤4.3)：整合k个维度的特征差异S

式中，ω

步骤4.4)：根据因果关系权重S

步骤4.5)：在每一轮训练后，对卷积神经网络F的参数θ进行优化：

式中，(θ)'表示优化后的卷积神经网络F的参数。

步骤4.6)：保存E轮训练后卷积神经网络F的最终参数θ，记为F