建筑钢材的智能加工系统及方法

技术领域

本申请涉及智能加工领域，且更为具体地，涉及一种建筑钢材的智能加工系统及方法。

背景技术

在建筑钢材打孔完后，需要对所加工的建筑钢材孔位进行一个质量检测，看是否有孔位的偏差，孔的质量是否符合要求。若建筑钢材打孔的孔位有偏差，不符合标准，可能会导致结构强度降低、结构刚度受损、安装困难等问题。但由于现有技术中大多都是由人工来进行质量检测，看所打的孔是否有偏差，不具有精准性和时效性，导致生产进度下降。

因此，期待一种优化的建筑钢材的智能加工方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种建筑钢材的智能加工系统及方法，其采用基于深度神经网络模型的人工智能技术，获取建筑钢材的参考图像和已打完孔待检测图像，从待检测图像中提取出打孔区域后和参考图像通过孪生网络提取出图像特征，计算差分后通过残差双注意力模型进行空间和通道方面的特征提取，以得到用于表示待检测建筑钢材孔位是否有偏差的分类结果。这样可以实现对建筑钢材孔位偏差的自动化检测，提高建筑钢材质量控制的效率和准确性。

根据本申请的一个方面，提供了一种建筑钢材的智能加工系统，其包括：

图像获取模块，用于获取建筑钢材的参考图像和已打完孔待检测图像；

打孔区域检测模块，用于将待检测建筑钢材图像通过打孔区域检测网络以得到所述打孔区域钢材图像；

图像编码模块，用于将所述参考图像和所述打孔区域钢材图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到参考特征图和打孔钢材特征图；

差分计算模块，用于计算所述参考特征图和所述打孔钢材特征图之间的差分以得到差分特征图；

残差注意力模块，用于将所述差分特征图通过残差双注意力机制模型以得到分类特征图；

优化模块，用于对所述分类特征图进行特征流形调制以得到优化分类特征图；

孔位偏差判断模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测建筑钢材孔位是否有偏差。

在上述建筑钢材的智能加工系统中，所述打孔区域检测模块，用于：所述打孔区域检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。

在上述建筑钢材的智能加工系统中，所述图像编码模块，包括:第一图像编码单元，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一层输出所述参考特征图；以及，第二图像编码单元，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一层输出所述打孔钢材特征图。

在上述建筑钢材的智能加工系统中，所述残差注意力模块，包括:空间特征提取单元，用于将所述差分特征图通过所述残差双注意力机制模型的空间注意力模块以得到空间注意力图；通道特征提取单元，用于将所述差分特征图通过所述残差双注意力机制模型的通道注意力模块以得到通道注意力图；融合单元，用于融合所述空间注意力图和所述通道注意力图以得到加权特征图；以及，增强单元，用于融合所述差分特征图和所述加权特征图以得到所述分类特征图。

在上述建筑钢材的智能加工系统中，所述空间特征提取单元，包括：池化子单元，用于对所述差分特征图分别进行沿通道维度的平均池化和最大值池化以得到平均特征矩阵和最大值特征矩阵；通道调整子单元，用于将所述平均特征矩阵和所述最大值特征矩阵进行级联和通道调整以得到通道特征矩阵；卷积编码子单元，用于使用所述空间注意力模块的卷积层对所述通道特征矩阵进行卷积编码以得到卷积特征矩阵；激活子单元，用于将所述卷积特征矩阵通过Softmax函数以得到空间注意力得分矩阵；以及，加权子单元将所述空间注意力得分矩阵与所述差分特征图沿通道维度的各个特征矩阵进行按位置点乘以得到所述空间注意力图。

在上述建筑钢材的智能加工系统中，所述通道特征提取单元，包括：全局池化子单元，用于对所述差分特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道特征向量；归一化子单元，用于将所述通道特征向量通过Softmax函数以得到归一化通道特征向量；以及，权重施加子单元，用于以所述归一化通道特征向量中各个位置的特征值作为权重对所述差分特征图的沿通道维度的特征矩阵进行加权以得到通道注意力图。

根据本申请的另一方面，提供了一种建筑钢材的智能加工方法，其包括：

获取建筑钢材的参考图像和已打完孔待检测图像；

将待检测建筑钢材图像通过打孔区域检测网络以得到所述打孔区域钢材图像；

将所述参考图像和所述打孔区域钢材图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到参考特征图和打孔钢材特征图；

计算所述参考特征图和所述打孔钢材特征图之间的差分以得到差分特征图；

将所述差分特征图通过残差双注意力机制模型以得到分类特征图；

对所述分类特征图进行特征流形调制以得到优化分类特征图；

将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测建筑钢材孔位是否有偏差。

与现有技术相比，本申请提供的一种建筑钢材的智能加工系统及方法，其采用基于深度神经网络模型的人工智能技术，获取建筑钢材的参考图像和已打完孔待检测图像，从待检测图像中提取出打孔区域后和参考图像通过孪生网络提取出图像特征，计算差分后通过残差双注意力模型进行空间和通道方面的特征提取，以得到用于表示待检测建筑钢材孔位是否有偏差的分类结果。这样可以实现对建筑钢材孔位偏差的自动化检测，提高建筑钢材质量控制的效率和准确性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的建筑钢材的智能加工系统的框图。

图2为根据本申请实施例的建筑钢材的智能加工系统的架构示意图。

图3为根据本申请实施例的建筑钢材的智能加工系统中残差注意力模块的框图。

图4为根据本申请实施例的建筑钢材的智能加工系统中优化模块的框图。

图5为根据本申请实施例的建筑钢材的智能加工方法的流程图。

图6为根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，在建筑钢材打完孔后需要对其进行一个质量检测，看打的孔是否有空位的偏差。建筑钢材通常用于支撑和承载结构，连接构件，如果打孔位置偏离设计位置，可能会导致结构强度受损，连接件可能无法正确对齐，导致连接不牢固，会影响建筑结构的整体质量，增加维修和更换的成本，也会增加施工的复杂性和困难度，延长施工时间，并可能导致额外的调整和修复工作。但由于现有技术大多是由人工来进行肉眼检测孔位是否有偏差，不具有准确性，效率较低。因此，期待一种优化的建筑钢材的智能加工方案。

针对上述技术问题，本申请的申请人通过获取建筑钢材的参考图像和已打完孔待检测图像，从待检测图像中提取出打孔区域后和参考图像通过孪生网络提取出图像特征计算差分后通过残差双注意力模型进行空间和通道方面的特征提取，以得到用于表示待检测建筑钢材孔位是否有偏差的分类结果。

相应地，在本申请的技术方案中，考虑到参考图像代表了建筑钢材的理想状态，即按照设计要求进行打孔的位置和几何形状。通过与参考图像进行对比，可以确定预期的孔位标准，作为评估待检测图像的依据。而待检测图像是实际打孔后的钢材图像，通过与参考图像进行对比，可以检测孔位是否存在偏差。如果待检测图像中的孔位与参考图像不一致，即表示可能存在偏差，需要进一步分析和评估。通过获取参考图像和待检测图像，可以进行定量的孔位偏差分析，判断建筑钢材的质量是否符合要求。这有助于及时发现和解决孔位偏差问题，确保建筑钢材的质量和安全性。因此，获取建筑钢材的参考图像和已打完孔待检测图像是为了进行孔位偏差的检测和质量控制，以确保建筑钢材符合设计要求和标准。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

具体地，在本申请的技术方案中，首先，获取建筑钢材的参考图像和已打完孔待检测图像。考虑到待检测的建筑钢材图像可能包含其他无关区域，如背景、边框或其他构件。通过打孔区域检测网络，可以准确地识别出打孔区域，将其从整个图像中分离出来，提取出感兴趣的钢材图像。具体地，打孔区域检测网络可以帮助去除钢材图像中与打孔无关的干扰因素。例如，钢材表面可能存在污渍、划痕或其他缺陷，这些不会影响孔位偏差的检测结果。通过打孔区域检测网络，可以将这些干扰因素排除在外，使得后续的孔位偏差分析更加准确和可靠。另外，手动提取打孔区域是一项繁琐和耗时的工作，而打孔区域检测网络可以自动化地完成这个过程。它可以快速而准确地识别出打孔区域，提高工作效率，并减少人为错误的可能性。因此，通过打孔区域检测网络可以准确提取出待检测建筑钢材图像中的打孔区域，去除干扰因素，并提高工作效率和准确性，为后续的孔位偏差检测和分析提供可靠的数据基础。

接着，考虑到孪生网络模型可以通过编码器对参考图像和打孔钢材图像进行特征提取。编码器可以将图像转换为高维特征表示，捕捉图像中的视觉特征和结构信息。这些特征可以用于后续的相似度比较和孔位偏差检测。具体地，通过对参考图像和打孔钢材图像提取的特征进行比较，可以评估它们之间的相似度。相似度比较可以用于判断打孔区域是否与参考图像一致，即孔位是否存在偏差。通过孪生网络模型，可以计算参考特征图和打孔钢材特征图之间的距离或相似度指标，从而进行孔位偏差的定量分析。另外，孪生网络模型的设计可以确保参考图像和打孔钢材图像的特征在同一特征空间中表示。这有助于消除图像之间的差异，使得相似度比较更加准确和可靠。通过特征对齐，可以有效地比较不同图像之间的孔位位置和几何形状，检测孔位偏差。因此，通过包含第一图像编码器和第二图像编码器的孪生网络模型可以提取参考图像和打孔钢材图像的特征，并进行相似度比较，从而实现孔位偏差的定量分析和检测。

然后，计算所述参考特征图和所述打孔钢材特征图之间的差分以得到差分特征图。考虑到通过计算参考特征图和打孔钢材特征图之间的差分，可以检测出打孔区域的偏差情况。差分特征图中的像素值表示了对应位置上特征的变化程度，可以用来定量评估打孔位置的偏移情况。如果打孔位置与参考图像一致，差分特征图中的像素值将接近零；而如果存在偏差，差分特征图中的像素值将显著偏离零值。另外，差分特征图可以用于检测异常情况，例如孔位偏差之外的其他异常变化。如果打孔区域存在不正常的变化，例如额外的孔洞、缺失的孔洞或形状畸变等，这些变化会在差分特征图中得到体现。通过分析差分特征图中的异常像素，可以检测出这些异常情况，从而提高钢材打孔质量的检测能力。此外，差分特征图可以用于可视化打孔区域与参考图像之间的变化。通过将差分特征图叠加到参考图像或打孔钢材图像上，可以直观地观察到打孔区域的偏差情况和变化程度。这有助于操作人员或质检人员更直观地了解打孔质量，并进行必要的调整和判断。因此，计算所述参考特征图和所述打孔钢材特征图之间的差分可以得到差分特征图，用于孔位偏差检测、异常检测和变化可视化。

接着，考虑到差分特征图中可能包含了一些噪声或冗余信息，通过应用残差双注意力机制，可以筛选和增强那些对分类任务最有用的特征。残差结构可以帮助保留原始特征图的信息，而注意力机制可以自适应地调整特征图中每个位置的重要性，使得模型能够更加关注对分类任务有贡献的特征。另外，残差结构和注意力机制的组合可以引入非线性变换，从而增强模型的表达能力。通过引入残差连接，模型可以学习到特征图的残差信息，从而更好地捕捉特征图中的细微变化。而通过注意力机制，模型可以自适应地调整特征图中每个位置的权重，使得模型能够对不同位置的特征进行更加精细的建模。因此，通过残差双注意力机制模型处理差分特征图可以得到分类特征图，从而提取关键特征、增强特征表达。

进一步地，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测建筑钢材孔位是否有偏差。考虑到分类器可以根据输入的分类特征图自动进行分类判定，无需人工干预。通过训练好的分类器模型，可以对待检测建筑钢材孔位进行自动化的偏差判定，提高工作效率和准确性。另外，分类器可以快速对待检测建筑钢材孔位进行筛选，将正常的孔位和可能存在偏差的孔位区分开来。这样可以在大规模数据中快速定位可能存在问题的孔位，减少人工检查的工作量和时间消耗，实现对孔位偏差问题的量化评估、统一标准、快速筛选和自动化处理。

特别地，考虑到分类特征图可能包含了大量的冗余和噪声信息，这些信息可能会对分类器的性能产生负面影响。通过特征流形调制，可以对特征进行优化，去除冗余信息，提取更具判别性的特征，从而提高分类器的准确性和鲁棒性。同时，分类特征图是在训练数据上学习得到的，直接将其输入分类器可能会导致过拟合问题。通过特征流形调制，可以对特征进行调整，使得其在训练数据和测试数据上都能表现出较好的性能，从而提高模型的泛化能力，减少过拟合的风险。分类特征图可能对输入数据的微小变化非常敏感，这可能导致模型在实际应用中的不稳定性。通过特征流形调制，可以使得特征表示更加稳定，对输入数据的微小变化具有一定的鲁棒性，从而提高模型在实际场景中的可靠性和稳定性。

具体地，对所述分类特征图进行特征流形调制以得到优化分类特征图，包括：针对于所述分类特征图的各个像素点，以所述各个像素点对应的通道特征向量作为所述各个像素点的特征描述符；计算所述各个像素点的特征描述符之间的KL散度值以得到由多个KL散度值组成的像素级拓扑关联矩阵；将所述像素级拓扑关联矩阵通过基于卷积层的拓扑特征提取器以得到像素级拓扑关联特征矩阵；将所述像素级拓扑关联特征矩阵输入Softmax激活函数以得到概率化像素级拓扑关联特征矩阵；以所述概率化像素级拓扑关联特征矩阵作为权重矩阵，分别对所述分类特征图的沿通道维度的各个特征矩阵进行按位置点乘以得到所述优化分类特征图。

在本申请的技术方案中，以所述分类特征图的各个像素的通道特征向量作为所述各个像素点的特征描述符，并以特征描述符之间的KL散度值来作为所述分类特征图的两个像素的特征级隐含关联信息，进而通过卷积编码和激活处理来捕捉所述分类特征图的像素级特征关联信息之间的高维隐含关联模式特征，这样充分利用所述分类特征图的像素级特征关联信息来优化所述分类特征图的特征表达的颗粒度和确定性。

基于此，本申请提供了一种建筑钢材的智能加工系统，其包括：图像获取模块，用于获取建筑钢材的参考图像和已打完孔待检测图像；打孔区域检测模块，用于将待检测建筑钢材图像通过打孔区域检测网络以得到所述打孔区域钢材图像；图像编码模块，用于将所述参考图像和所述打孔区域钢材图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到参考特征图和打孔钢材特征图；差分计算模块，用于计算所述参考特征图和所述打孔钢材特征图之间的差分以得到差分特征图；残差注意力模块，用于将所述差分特征图通过残差双注意力机制模型以得到分类特征图；优化模块，用于对所述分类特征图进行特征流形调制以得到优化分类特征图；以及，孔位偏差判断模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测建筑钢材孔位是否有偏差。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1为根据本申请实施例的建筑钢材的智能加工系统的框图。如图1所示，根据本申请实施例的建筑钢材的智能加工系统100，包括：图像获取模块110，用于获取建筑钢材的参考图像和已打完孔待检测图像；打孔区域检测模块120，用于将待检测建筑钢材图像通过打孔区域检测网络以得到所述打孔区域钢材图像；图像编码模块130，用于将所述参考图像和所述打孔区域钢材图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到参考特征图和打孔钢材特征图；差分计算模块140，用于计算所述参考特征图和所述打孔钢材特征图之间的差分以得到差分特征图；残差注意力模块150，用于将所述差分特征图通过残差双注意力机制模型以得到分类特征图；优化模块160，用于对所述分类特征图进行特征流形调制以得到优化分类特征图；以及，孔位偏差判断模块170，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测建筑钢材孔位是否有偏差。

图2为根据本申请实施例的建筑钢材的智能加工系统的架构示意图。如图2所示，首先，获取建筑钢材的参考图像和已打完孔待检测图像。接着，将待检测建筑钢材图像通过打孔区域检测网络以得到所述打孔区域钢材图像。然后，将所述参考图像和所述打孔区域钢材图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到参考特征图和打孔钢材特征图。接着，计算所述参考特征图和所述打孔钢材特征图之间的差分以得到差分特征图。然后，将所述差分特征图通过残差双注意力机制模型以得到分类特征图。接着，对所述分类特征图进行特征流形调制以得到优化分类特征图。最后，将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测建筑钢材孔位是否有偏差。

在本申请实施例中，所述图像获取模块110，用于获取建筑钢材的参考图像和已打完孔待检测图像。考虑到参考图像代表了建筑钢材的理想状态，即按照设计要求进行打孔的位置和几何形状。通过与参考图像进行对比，可以确定预期的孔位标准，作为评估待检测图像的依据。而待检测图像是实际打孔后的钢材图像，通过与参考图像进行对比，可以检测孔位是否存在偏差。如果待检测图像中的孔位与参考图像不一致，即表示可能存在偏差，需要进一步分析和评估。通过获取参考图像和待检测图像，可以进行定量的孔位偏差分析，判断建筑钢材的质量是否符合要求。这有助于及时发现和解决孔位偏差问题，确保建筑钢材的质量和安全性。因此，获取建筑钢材的参考图像和已打完孔待检测图像是为了进行孔位偏差的检测和质量控制，以确保建筑钢材符合设计要求和标准。

在本申请实施例中，所述打孔区域检测模块120，用于将待检测建筑钢材图像通过打孔区域检测网络以得到所述打孔区域钢材图像。考虑到待检测的建筑钢材图像可能包含其他无关区域，如背景、边框或其他构件。通过打孔区域检测网络，可以准确地识别出打孔区域，将其从整个图像中分离出来，提取出感兴趣的钢材图像。具体地，打孔区域检测网络可以帮助去除钢材图像中与打孔无关的干扰因素。例如，钢材表面可能存在污渍、划痕或其他缺陷，这些不会影响孔位偏差的检测结果。通过打孔区域检测网络，可以将这些干扰因素排除在外，使得后续的孔位偏差分析更加准确和可靠。另外，手动提取打孔区域是一项繁琐和耗时的工作，而打孔区域检测网络可以自动化地完成这个过程。它可以快速而准确地识别出打孔区域，提高工作效率，并减少人为错误的可能性。因此，通过打孔区域检测网络可以准确提取出待检测建筑钢材图像中的打孔区域，去除干扰因素，并提高工作效率和准确性，为后续的孔位偏差检测和分析提供可靠的数据基础。

具体地，在本申请实施例中，所述打孔区域检测模块，用于：所述打孔区域检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。

在本申请实施例中，所述图像编码模块130，用于将所述参考图像和所述打孔区域钢材图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到参考特征图和打孔钢材特征图。考虑到孪生网络模型可以通过编码器对参考图像和打孔钢材图像进行特征提取。编码器可以将图像转换为高维特征表示，捕捉图像中的视觉特征和结构信息。这些特征可以用于后续的相似度比较和孔位偏差检测。具体地，通过对参考图像和打孔钢材图像提取的特征进行比较，可以评估它们之间的相似度。相似度比较可以用于判断打孔区域是否与参考图像一致，即孔位是否存在偏差。通过孪生网络模型，可以计算参考特征图和打孔钢材特征图之间的距离或相似度指标，从而进行孔位偏差的定量分析。另外，孪生网络模型的设计可以确保参考图像和打孔钢材图像的特征在同一特征空间中表示。这有助于消除图像之间的差异，使得相似度比较更加准确和可靠。通过特征对齐，可以有效地比较不同图像之间的孔位位置和几何形状，检测孔位偏差。因此，通过包含第一图像编码器和第二图像编码器的孪生网络模型可以提取参考图像和打孔钢材图像的特征，并进行相似度比较，从而实现孔位偏差的定量分析和检测。

具体地，在本申请实施例中，所述图像编码模块，包括:第一图像编码单元，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一层输出所述参考特征图；以及，第二图像编码单元，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一层输出所述打孔钢材特征图。

在本申请实施例中，所述差分计算模块140，用于计算所述参考特征图和所述打孔钢材特征图之间的差分以得到差分特征图。考虑到通过计算参考特征图和打孔钢材特征图之间的差分，可以检测出打孔区域的偏差情况。差分特征图中的像素值表示了对应位置上特征的变化程度，可以用来定量评估打孔位置的偏移情况。如果打孔位置与参考图像一致，差分特征图中的像素值将接近零；而如果存在偏差，差分特征图中的像素值将显著偏离零值。另外，差分特征图可以用于检测异常情况，例如孔位偏差之外的其他异常变化。如果打孔区域存在不正常的变化，例如额外的孔洞、缺失的孔洞或形状畸变等，这些变化会在差分特征图中得到体现。通过分析差分特征图中的异常像素，可以检测出这些异常情况，从而提高钢材打孔质量的检测能力。此外，差分特征图可以用于可视化打孔区域与参考图像之间的变化。通过将差分特征图叠加到参考图像或打孔钢材图像上，可以直观地观察到打孔区域的偏差情况和变化程度。这有助于操作人员或质检人员更直观地了解打孔质量，并进行必要的调整和判断。因此，计算所述参考特征图和所述打孔钢材特征图之间的差分可以得到差分特征图，用于孔位偏差检测、异常检测和变化可视化。

在本申请实施例中，所述残差注意力模块150，用于将所述差分特征图通过残差双注意力机制模型以得到分类特征图。考虑到差分特征图中可能包含了一些噪声或冗余信息，通过应用残差双注意力机制，可以筛选和增强那些对分类任务最有用的特征。残差结构可以帮助保留原始特征图的信息，而注意力机制可以自适应地调整特征图中每个位置的重要性，使得模型能够更加关注对分类任务有贡献的特征。另外，残差结构和注意力机制的组合可以引入非线性变换，从而增强模型的表达能力。通过引入残差连接，模型可以学习到特征图的残差信息，从而更好地捕捉特征图中的细微变化。而通过注意力机制，模型可以自适应地调整特征图中每个位置的权重，使得模型能够对不同位置的特征进行更加精细的建模。因此，通过残差双注意力机制模型处理差分特征图可以得到分类特征图，从而提取关键特征、增强特征表达。

图3为根据本申请实施例的建筑钢材的智能加工系统中残差注意力模块的框图。具体地，在本申请实施例中，如图3所示，所述残差注意力模块150，包括:空间特征提取单元151，用于将所述差分特征图通过所述残差双注意力机制模型的空间注意力模块以得到空间注意力图；通道特征提取单元152，用于将所述差分特征图通过所述残差双注意力机制模型的通道注意力模块以得到通道注意力图；融合单元153，用于融合所述空间注意力图和所述通道注意力图以得到加权特征图；以及，增强单元154，用于融合所述差分特征图和所述加权特征图以得到所述分类特征图。

更具体地，在本申请实施例中，所述空间特征提取单元，包括：池化子单元，用于对所述差分特征图分别进行沿通道维度的平均池化和最大值池化以得到平均特征矩阵和最大值特征矩阵；通道调整子单元，用于将所述平均特征矩阵和所述最大值特征矩阵进行级联和通道调整以得到通道特征矩阵；卷积编码子单元，用于使用所述空间注意力模块的卷积层对所述通道特征矩阵进行卷积编码以得到卷积特征矩阵；激活子单元，用于将所述卷积特征矩阵通过Softmax函数以得到空间注意力得分矩阵；以及，加权子单元将所述空间注意力得分矩阵与所述差分特征图沿通道维度的各个特征矩阵进行按位置点乘以得到所述空间注意力图。

更具体地，在本申请实施例中，所述通道特征提取单元，包括：全局池化子单元，用于对所述差分特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道特征向量；归一化子单元，用于将所述通道特征向量通过Softmax函数以得到归一化通道特征向量；以及，权重施加子单元，用于以所述归一化通道特征向量中各个位置的特征值作为权重对所述差分特征图的沿通道维度的特征矩阵进行加权以得到通道注意力图。

在本申请实施例中，所述优化模块160，用于对所述分类特征图进行特征流形调制以得到优化分类特征图。

特别地，考虑到分类特征图可能包含了大量的冗余和噪声信息，这些信息可能会对分类器的性能产生负面影响。通过特征流形调制，可以对特征进行优化，去除冗余信息，提取更具判别性的特征，从而提高分类器的准确性和鲁棒性。同时，分类特征图是在训练数据上学习得到的，直接将其输入分类器可能会导致过拟合问题。通过特征流形调制，可以对特征进行调整，使得其在训练数据和测试数据上都能表现出较好的性能，从而提高模型的泛化能力，减少过拟合的风险。分类特征图可能对输入数据的微小变化非常敏感，这可能导致模型在实际应用中的不稳定性。通过特征流形调制，可以使得特征表示更加稳定，对输入数据的微小变化具有一定的鲁棒性，从而提高模型在实际场景中的可靠性和稳定性。

图4为根据本申请实施例的建筑钢材的智能加工系统中优化模块的框图。具体地，在本申请实施例中，如图4所示，所述优化模块160，包括：像素点构造单元161，用于针对于所述分类特征图的各个像素点，以所述各个像素点对应的通道特征向量作为所述各个像素点的特征描述符；散度计算单元162，用于计算所述各个像素点的特征描述符之间的KL散度值以得到由多个KL散度值组成的像素级拓扑关联矩阵；拓扑特征提取单元163，用于将所述像素级拓扑关联矩阵通过基于卷积层的拓扑特征提取器以得到像素级拓扑关联特征矩阵；像素激活单元164，用于将所述像素级拓扑关联特征矩阵输入Softmax激活函数以得到概率化像素级拓扑关联特征矩阵；以及，加权单元165，用于以所述概率化像素级拓扑关联特征矩阵作为权重矩阵，分别对所述分类特征图的沿通道维度的各个特征矩阵进行按位置点乘以得到所述优化分类特征图。

在本申请的技术方案中，以所述分类特征图的各个像素的通道特征向量作为所述各个像素点的特征描述符，并以特征描述符之间的KL散度值来作为所述分类特征图的两个像素的特征级隐含关联信息，进而通过卷积编码和激活处理来捕捉所述分类特征图的像素级特征关联信息之间的高维隐含关联模式特征，这样充分利用所述分类特征图的像素级特征关联信息来优化所述分类特征图的特征表达的颗粒度和确定性。

在本申请实施例中，所述孔位偏差判断模块170，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测建筑钢材孔位是否有偏差。考虑到分类器可以根据输入的优化分类特征图自动进行分类判定，无需人工干预。通过训练好的分类器模型，可以对待检测建筑钢材孔位进行自动化的偏差判定，提高工作效率和准确性。另外，分类器可以快速对待检测建筑钢材孔位进行筛选，将正常的孔位和可能存在偏差的孔位区分开来。这样可以在大规模数据中快速定位可能存在问题的孔位，减少人工检查的工作量和时间消耗，实现对孔位偏差问题的量化评估、统一标准、快速筛选和自动化处理。

综上，基于本申请实施例的建筑钢材的智能加工系统100被阐明，其采用基于深度神经网络模型的人工智能技术，获取建筑钢材的参考图像和已打完孔待检测图像，从待检测图像中提取出打孔区域后和参考图像通过孪生网络提取出图像特征，计算差分后通过残差双注意力模型进行空间和通道方面的特征提取，以得到用于表示待检测建筑钢材孔位是否有偏差的分类结果。这样可以实现对建筑钢材孔位偏差的自动化检测，提高建筑钢材质量控制的效率和准确性。

示例性方法

图5为根据本申请实施例的建筑钢材的智能加工方法的流程图。如图5所示，根据本申请实施例的建筑钢材的智能加工方法，包括：S110,获取建筑钢材的参考图像和已打完孔待检测图像；S120,将待检测建筑钢材图像通过打孔区域检测网络以得到所述打孔区域钢材图像；S130,将所述参考图像和所述打孔区域钢材图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到参考特征图和打孔钢材特征图；S140,计算所述参考特征图和所述打孔钢材特征图之间的差分以得到差分特征图；S150,将所述差分特征图通过残差双注意力机制模型以得到分类特征图；S160,对所述分类特征图进行特征流形调制以得到优化分类特征图；以及，S170,将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测建筑钢材孔位是否有偏差。

这里，本领域技术人员可以理解，上述建筑钢材的智能加工方法中的各个步骤的具体操作已经在上面参考图1到图4的建筑钢材的智能加工系统的描述中得到了详细介绍，并因此，将省略其重复描述。

示例性电子设备

下面，参考图6来描述根据本申请实施例的电子设备。图6为根据本申请实施例的电子设备的框图。如图6所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理模块(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理模块，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的建筑钢材的智能加工系统及方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如建筑钢材的参考图像和已打完孔待检测图像等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的建筑钢材的智能加工方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的建筑钢材的智能加工方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。