一种基于生成热成像的复合材料缺陷无损检测方法

技术领域

本发明属于碳纤维聚合物内部缺陷无损检测技术领域，具体涉及一种基于生成热成像的复合材料缺陷无损检测方法。

背景技术

红外热成像(IRT，Infrared Thermography)无损检测因成本低廉，操作方便，扫描范围广，在材料质量评估和文化遗产修复中得到了广泛的关注和应用。尽管IRT在检测效率方面具有多个优势，但IRT的直接检测性能无法提供令人满意的结果。这主要是由于热图像中严重的背景不均匀和噪声所致，模糊了目标信息。另外，手动检查许多热图像效率低下并且麻烦。最近，机器学习方法在许多领域都表现良好，为处理测得的热像图感兴趣区域提供了有力的帮助，实现了IRT评估的性能。到现在为止，已经开发了一些热成像数据分析方法，从它们各自的角度来看都取得了引人注目的性能。这些方法包括主成分热成像方法，热成像信号重建，独立成分分析，稀疏主成分热成像等。

值得注意的是，作为机器学习的分支之一，流形学习已被引入热成像领域，并且已经开发了一些新的扩展算法，这些算法显示出了良好的缺陷评估水平。然而，数量有限的红外数据集常会限制机器学习的数据分析能力，导致热图像数据分析模型无法获得足够的性能。

因此，结合热图像数据，提出基于生成热成像的复合材料缺陷无损检测方法(GMLT，Generative Manifold Learning Thermography)在聚合物内部缺陷红外数据较少的情况下，通过图像增强和分析提高了缺陷检测性能。

发明内容

针对现有技术中存在的上述问题，本发明的目的在于提供一种基于生成对抗网络的流形学习复合材料缺陷检测模型，实现模型高效检测的基于生成热成像的复合材料缺陷无损检测方法。

本发明提供如下技术方案：一种基于生成热成像的复合材料缺陷无损检测方法，其特征在于：包括以下步骤:

(1)获取聚合物试样的红外热图像数据集：

通过发射热脉冲作为辐射热源加热待检试样，在样品冷却阶段，使用红外摄像机捕获待检试样表面温度分布，在获得n

(2)建立谱归一化生成对抗网络模型并训练：

建立谱归一化生成对抗网络SNGAN，将步骤(1)中获取的原始热图像作为训练数据对谱归一化生成对抗网络SNGAN进行训练，最后，利用谱归一化生成对抗网络SNGAN生成n

(3)热图像预处理：

将原始热图像与步骤(2)中生成的热图像合并为三维的综合数据集n

其中，n

(4)等度量映射ISOMAP降维：

将热图像二维矩阵X作为输入，采用等度量映射ISOMAP算法对其进行降维：通过构造邻域图，近邻样本点采用欧氏距离来代替，非近邻的样本点通过最短路径算出距离，所述近邻样本点为k个最近点之一，k为人为设置的近邻点数，最终热图像数据的固有流形结构被保留，降维完成后，获得热成像数据在低维空间中的嵌入表示及Y矩阵；

(5)缺陷可视化：

采用偏最小二乘回归PLSR来拟合降维过程中的映射关系，将偏最小二乘回归PLSR中求解得到的转换矩阵的每列重构成尺寸为n

(6)模型表现评估：

采用信噪比SNR指标评价方法定量缺陷检测效果，信噪比SNR

值越大，表示缺陷识别能力越强。

所述的一种基于生成热成像的复合材料缺陷无损检测方法，其特征在于，所述谱归一化生成对抗网络SNGAN包括生成器和判别器，所述生成器、判别器均由输入层、隐含层和输出层组成，所述步骤(2)的具体过程为：

步骤2.1：生成器的目标是产生假的热图像来欺骗判别器，判别器的目标是将生成器生成的图像与真实的图像分离，谱归一化生成对抗网络谱归一化生成对抗网络SNGAN中判别器的每一层权值矩阵进行了谱归一化处理：

假设判别器有m层神经网络，W和其谱范数σ(W)可以表示为：

对判别器各层的权矩阵Wi进行光谱归一化：

其中，m表示SNGAN的判别器结构中神经网络的参数；

i表示在m层神经网络中的第i层，1≤i≤m；

D表示对角矩阵，Di表示第i层神经网络对应的对角矩阵

步骤2.2：谱归一化生成对抗网络SNGAN模型训练收敛后，作为数据增强策略，谱归一化生成对抗网络SNGAN被嵌入复合材料缺陷检测GMLT框架用于产生n

所述的一种基于生成热成像的复合材料缺陷无损检测方法，其特征在于，所述步骤(3)的过程为：

步骤3.1：为进行图像分析，将原始的热图像数据(n

步骤3.2：将三维的综合数据集转换为维度为n

步骤3.3：为了减少计算量，更有效地提取特征，对矩阵X的列向量进行最大-最小归一化处理，归一化后的矩阵仍用X表示，归一化的具体公式如下：

式中：x′表示归一化后得到的图像样本数据；x表示通过红外摄像机采集到的原始图像，x

所述的一种基于生成热成像的复合材料缺陷无损检测方法，其特征在于，所述步骤(4)的过程为：

步骤4.1：将矩阵X作为输入，矩阵X的每一列作为一个样本点，每一行都是一个维度，等度量映射ISOMAP的目标函数表示为：

式中：i、j分别表示n个样本中的第i个与第j个样本点，其中，1≤i≤n，1≤j≤n，n是样本的数量；G表示邻域图；dG(i,j)是样本点x

通过将坐标向量y设为距离矩阵D的前d个特征值对应的特征向量，可以得到上述公式的全局最优解，由此计算获得热图像数据矩阵X在低维空间的表示Y矩阵。

所述的一种基于生成热成像的复合材料缺陷无损检测方法，其特征在于，所述步骤(5)的过程为：

步骤5.1：采用偏最小二乘回归PLSR方法求解矩阵X

X

Y

式中：V、U分别为X

然后，利用列向量的相关性对得分矩阵V和U进行回归分析，得到转换矩阵B：

U＝VB

式中：转换矩阵B是关联矩阵，B＝(V

步骤5.2：将转换矩阵B的每一列向量重构为大小为n

所述的一种基于生成热成像的复合材料缺陷无损检测方法，其特征在于，所述步骤(6)的过程为：

采用信噪比SNR指标评价方法定量缺陷检测效果，其计算公式如下：

式中：M

通过采用上述技术，与现有技术相比，本发明的有益效果如下：

本发明利用谱归一化生成对抗网络充分学习图像中的特征并生成多样性的热图像，以扩展IRT数据训练集，综合生成数据与原始数据进行流形学习建模，提取非线性且高维的热图像数据的在低维空间的本固流形，实现特征提取、背景减弱、噪声减小的目标，从而提升聚合物内部缺陷红外热成像检测的准确性和可靠性。

附图说明

图1为本发明的方法流程图；

图2为树脂转移模型工艺制备CFRP试样内部的缺陷示意图；

图3为红外热成像IRT记录的热图像；

图4为GMLT方法对CFRP试样IRT检测的分析结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

请参阅图1-4，一种基于生成热成像的复合材料缺陷无损检测方法，所述方法包括以下步骤：

(1)获取聚合物试样的红外热图像数据集，过程如下：

利用树脂转移模型工艺制备(CFRP，Carbon Fiber Reinforced Polymers)试样，并人工预制了三个缺陷，如图2所示，三个缺陷均位于试样的内部，试样的左上角位置为最深的菱形缺陷，位于三层碳纤维板下，试样的中间区域为一个圆形缺陷，位于两层碳纤维板下，最浅的缺陷是一个梯形缺陷，其位于试样的右下角且分布在两层碳纤维板下。

CFRP样品由20个碳纤维片和环氧树脂制成，厚度1cm。在树脂注入之前，将三个具有不同形状但面积约等于3cm

通过发射热脉冲作为辐射热源加热待检试样，在样品冷却阶段，使用红外摄像机捕获待检试样表面温度分布。在获得90张热图像后，取图像的感兴趣区域308×212作为后续模型的红外热成像(IRT，Infrared Thermography)数据集，数据集的三维表示为(308×212)×90；

(2)建立生成对抗网络模型并训练，过程如下：

步骤2.1：建立谱归一化生成对抗网络(SNGAN，Spectral Normalized GenerativeAdversarial Network)。SNGAN主要由生成器和判别器构成，两者都由多层感知器组成，包括输入层、隐含层和输出层。生成器试图产生假的热图像来欺骗判别器，判别器是试图将生成器生成的图像与真实的图像分离。SNGAN中判别器的每一层权值矩阵进行了谱归一化处理。

假设判别器有m层神经网络，W和其谱范数σ(W)可以表示为：

对判别器各层的权矩阵Wi进行光谱归一化：

其中

步骤2.2：SNGAN模型训练收敛后，作为数据增强策略，SNGAN被嵌入GMLT框架用于产生n

(3)热图像预处理，过程如下：

步骤3.1：为进行图像分析，将原始的热图像数据(308×212)×90与生成的热图像数据(308×212)×90合并为三维的综合数据集308×212×170；

步骤3.2：流形学习通常需要计算嵌入空间的基函数，即涉及到二维矩阵特征值的求解。因此，需要将三维的综合数据集转换为维度为65296×170的二维矩阵X，其中行表示热图像中每个像素点处的温度变化，列为每张热像图的展开。

步骤3.3：为了减少计算量，更有效地提取特征，对矩阵X的列向量进行最大-最小归一化处理，归一化后的矩阵仍用X表示。归一化的具体公式如下：

式中：x′表示归一化后得到的图像样本数据；x表示通过红外摄像机采集到的原始图像，x

(4)等度量映射(ISOMAP，Isometric Feature Mapping)降维，过程如下：

步骤4.1：将矩阵X作为输入，X的每一列作为一个样本点，每一行都是一个维度。实际上，ISOMAP是求解表示样本点连接关系的邻域图G的低维嵌入，其目标函数可表示为：

式中：n是样本的数量；G表示邻域图；dG(i,j)是样本点x

通过将坐标向量y设为距离矩阵D的前6个特征值对应的特征向量，可以得到上述公式的全局最优解。由此计算获得热图像数据矩阵X在低维空间的坐标表示Y矩阵。

(5)缺陷可视化，过程如下：

步骤5.1：PLSR方法求解矩阵X

X

Y

式中：V、U分别为X

然后，利用列向量的相关性对得分矩阵V和U进行回归分析，得到转换矩阵B：

U＝VB

式中：B是关联矩阵，B＝(V

步骤5.2：B矩阵描述了ISOMAP降维过程中X映射到嵌入矩阵Y的一个近似映射关系。将矩阵B的每一列(记作指示向量IV，Indication Vector)向量重构为大小为308×212的二维矩阵，可视化为热图像后可以从中检测到缺陷。

(6)模型表现评估

为了定量缺陷检测效果，使用信噪比(SNR，Signal-to-noise Ratio)指标评价方法。SNR值越大，表示缺陷识别能力越强。

步骤6.1：SNR值反映了缺陷区域和非缺陷区域之间的对比度，是一种常用的用于评估缺陷识别效果的一个量化指标。结果的主观分析将不可避免地导致混合评估。其计算公式如下：

式中：M

其中，附图3及附图4展示的热图像，每张子图的横、纵坐标为图像的像素点数，用来表示图像的大小，每张子图旁边的细长条为热图像的温度条，温度条旁的数值为温度值，用来表示热图像中对应区域的温度值。

表1

从表1对比结果中清楚地看到本发明方法具有更好的缺陷评表现，利用少量IV图即可以确定缺陷的几何特性，例如缺陷的形状和位置。与传统方法相比，提出的发明方法在所有缺陷或单个缺陷上均具有最高SNR值，缺陷与周围区域的对比度更强，这表明GMLT是一种用于分析IRT数据的可行且出色的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。