一种用于施工安装的建筑幕墙

技术领域

本申请涉及建筑幕墙技术领域，且更为具体地，涉及一种用于施工安装的建筑幕墙。

背景技术

玻璃幕墙具有轻巧美观、不易污染且节能环保等优点，因此常被广泛应用在高层建筑的外墙围护上，而玻璃幕墙在使用时的安全隐患问题也越来越备受人们的关注，其中幕墙上的玻璃脱粘坠落以及玻璃自身的破裂(包括玻璃的缺角和玻璃的裂纹)都是玻璃幕墙常见的缺陷形式，对于幕墙玻璃的脱粘坠落常常由于使用的结构胶因受到外界环境等因素的影响导致出现变色、起泡、开裂、脱粘等现象，使得结构胶寿命大幅度缩减其粘接性能下降。因此，期待一种具有缺陷自检功能的建筑幕墙。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为玻璃幕墙的缺陷检测提供了新的解决思路和方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于施工安装的建筑幕墙，其通过部署于玻璃幕墙内的声音探测器来采集声音探测信号作为输入数据，然后采用基于深度学习的人工智能检测技术对所述声音探测信号进行处理以提取出所述声音探测信号在不同变换域下的多尺度隐含特征信息，并且在此过程中，还利用了通道注意力和空间注意力来强化玻璃幕墙的通道隐含特征和空间隐含特征，以利于提高对于玻璃幕墙缺陷判断的精准度，通过这样的方式，可以使得建筑幕墙中的玻璃幕墙能够进行缺陷自检，以在检测出存在缺陷时产生预警，进而避免事故的发生，保证建筑幕墙使用的安全性。

根据本申请的一个方面，提供了一种用于施工安装的建筑幕墙，其包括：

声音探测单元，用于获取由部署于玻璃幕墙内的声音探测器采集的声音探测信号；

时频转化单元，用于计算所述声音探测信号的时域增强图、SIFT变换时频图和S变换时频图；

时频图通道聚合单元，用于将所述时域增强图、SIFT变换时频图和S变换时频图按照通道维度进行聚合以得到多通道时频图；

时频图特征提取单元，用于将所述多通道时频图通过包含多个混合卷积层和并行权重分配模块的卷积神经网络模型以得到时频特征图；以及缺陷自检结果生成单元，用于将所述时频特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃幕墙是否存在缺陷。

与现有技术相比，本申请提供的一种用于施工安装的建筑幕墙，其通过部署于玻璃幕墙内的声音探测器来采集声音探测信号作为输入数据，然后采用基于深度学习的人工智能检测技术对所述声音探测信号进行处理以提取出所述声音探测信号在不同变换域下的多尺度隐含特征信息，并且在此过程中，还利用了通道注意力和空间注意力来强化玻璃幕墙的通道隐含特征和空间隐含特征，以利于提高对于玻璃幕墙缺陷判断的精准度，通过这样的方式，可以使得建筑幕墙中的玻璃幕墙能够进行缺陷自检，以在检测出存在缺陷时产生预警，进而避免事故的发生，保证建筑幕墙使用的安全性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的用于施工安装的建筑幕墙的应用场景图。

图2图示了根据本申请实施例的用于施工安装的建筑幕墙的框图示意图。

图3图示了根据本申请实施例的用于施工安装的建筑幕墙中时频图特征提取单元的框图。

图4图示了根据本申请实施例的用于施工安装的建筑幕墙中多尺度卷积编码子单元的框图。

图5图示了根据本申请实施例的用于施工安装的建筑幕墙中多维度特征聚合子单元的框图。

图6图示了根据本申请实施例的用于施工安装的建筑幕墙中通道注意力二级子单元的框图。

图7图示了根据本申请实施例的用于施工安装的建筑幕墙中空间注意力二级子单元的框图。

图8图示了根据本申请实施例的用于施工安装的建筑幕墙中训练模块的框图。

图9图示了根据本申请实施例的用于施工安装的建筑幕墙的自检方法的流程图。

图10图示了根据本申请实施例的用于施工安装的建筑幕墙的自检方法的系统架构的示意图。

图11图示了根据本申请实施例的用于施工安装的建筑幕墙的自检方法中，对所述卷积神经网络模型和所述分类器进行训练的训练阶段的流程图。

图12图示了根据本申请实施例的用于施工安装的建筑幕墙的自检方法中，对所述卷积神经网络模型和所述分类器进行训练的训练阶段的系统架构的示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

玻璃幕墙具有轻巧美观、不易污染且节能环保等优点，因此常被广泛应用在高层建筑的外墙围护上，而玻璃幕墙在使用时的安全隐患问题也越来越备受人们的关注，其中幕墙上的玻璃脱粘坠落以及玻璃自身的破裂(包括玻璃的缺角和玻璃的裂纹)都是玻璃幕墙常见的缺陷形式，对于幕墙玻璃的脱粘坠落常常由于使用的结构胶因受到外界环境等因素的影响导致出现变色、起泡、开裂、脱粘等现象，使得结构胶寿命大幅度缩减其粘接性能下降。因此，期待一种具有缺陷自检功能的建筑幕墙。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为玻璃幕墙的缺陷检测提供了新的解决思路和方案。

相应地，考虑到当玻璃幕墙发生缺陷时，其在被敲击状态下所产生的声音信号会产生变化，因此，可通过部署于玻璃幕墙内的声音传感器所采集的声音探测信号来判断玻璃幕墙是否存在缺陷。具体地，在本申请的技术方案中，采用基于深度学习的人工智能检测技术，通过部署于玻璃幕墙内的声音探测器来采集声音探测信号作为输入数据，以提取出该所述声音探测信号在不同变换域下的多尺度隐含特征信息，并且在此过程中，还利用了通道注意力来反映空间维度特征差异的权重，以及利用空间注意力来抑制或强化不同空间位置的特征，以利于提高对于玻璃幕墙缺陷判断的精准度。这样，可以使得建筑幕墙中的玻璃幕墙能够进行缺陷自检，以在检测出存在缺陷时产生预警，进而避免事故的发生，保证建筑幕墙使用的安全性。

具体地，在本申请的技术方案中，首先，通过部署于玻璃幕墙内的声音探测器采集声音探测信号。接着，考虑到一方面因所述声音探测器自身的性能问题会引入噪声，另一方面，所述声音探测信号是微弱信号，这给对于玻璃幕墙的缺陷判断带来了技术难度。因此，在本申请的技术方案中，需要在输入端对于所述声音探测信号进行不同类型的域分析。

应可以理解，考虑到所述声音探测信号在不同域下会呈现出不同的样态，因此，对所述声音探测信号进行不同类型的域分析本质上是将所述声音探测信号映射到不同域中以在输入端进行数据增强且增强输入端数据的多样性。具体地，计算所述声音探测信号的时域增强图、SIFT变换时频图和S变换时频图。特别地，这里，所述时域增强图能够避免在声音信号采集的过程中因外界环境噪声和仪器自身噪声的干扰而造成信号较弱的问题。SIFT变换为尺度不变特征变换，其是采用在时间维度上加窗的方法，对于小段信号采取傅里叶变换，使得相应的频谱对应着信号的一个特定时间段，其具有非常强的稳健性。并且，由于SI FT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。而S变换能够在低频段提供宽窗口，而在高频段提供窄窗口，这样就能够最大程度地保留了所述声音探测信号在各个频段的特征，以提高后续分类的准确性。

然后，就可以将所述时域增强图、所述SIFT变换时频图和所述S变换时频图按照通道维度进行聚合以得到具有多个不同类型域分析信息的多通道时频图。进一步地，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述多通道时频图进行特征挖掘，特别地，在本申请的技术方案中，使用包含多个混合卷积层和并行权重分配模块的卷积神经网络模型来对于所述多通道时频图进行特征提取，以将所述混合卷积层的多尺度感知特性结合所述并行权重分配模块的特征提取能力来提高特征的表达，从而得到时频特征图。具体地，可以先通过所述多个混合卷积层进行编码，并将编码得到的特征图输入所述并行权重分配模块以得到所述时频特征图。

也就是，具体地，所述卷积神经网络模型使用多个混合卷积核层来对于所述多通道时频图进行处理，以提取出所述多通道时频图的多尺度隐含特征，从而得到深度时频特征图。相应地，在本申请的一个具体示例中，在所述混合卷积层(mixed convolutionlayer，MCL)中，此模块的设计包括并联的四个分支，由一个卷积核大小为3×3的普通卷积层以及三个卷积核大小为3×3的空洞卷积层构成，分别对所述多通道时频图进行操作，将空洞卷积三个分支的扩张率分别设置为2、3、4，通过不同扩张率的设置可获得不同感受域的图像信息，即可得到不同尺度的特征图，在扩大感受野的同时，又避免了下采样损失信息，接着将4个分支特征图进行融合，使得采样更为密集，既拥有了高层特征，也没有增加额外的参数量。

应可以理解，幕墙上的玻璃脱粘坠落以及玻璃自身的破裂(包括玻璃的缺角和玻璃的裂纹)都是玻璃幕墙常见的缺陷形式，对于幕墙玻璃的脱粘坠落常常由于使用的结构胶因受到外界环境等因素的影响导致出现变色、起泡、开裂、脱粘等现象。因此，在对于玻璃幕墙进行缺陷检测时，应聚焦于玻璃幕墙的空间位置上和通道维度上的隐藏特征信息而忽略掉与所述玻璃幕墙的缺陷检测无关的无用干扰特征。因此，在本申请的技术方案中，针对于所述深度时频特征图中边缘模糊导致目标检测精度低的问题，使用并行权重分配模块来进行所述深度时频特征图的特征增强。也就是，具体地，将所述深度时频特征图输入所述卷积神经网络模型的并行权重分配模块以得到所述时频特征图，这样能够加强有效特征表示并抑制无用特征信息，进而来提高后续分类的准确性。特别地，这里，所述并行权重分配模块包括并行的空间注意力分支和通道注意力分支，也就是，所述并行权重分配模块使用空间注意力分支和通道注意力分支分别对于所述深度时频特征图进行特征加强，所述通道注意力所提取到的图像特征反映了特征通道间的相关性和重要性，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征。

进一步地，在得到所述时频特征图后，将所述时频特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃幕墙是否存在缺陷。也就是，以所述时频特征图作为分类特征图来通过分类器中进行分类处理，以生成用于表示玻璃幕墙是否存在缺陷的分类结果。这样，能够使得玻璃幕墙进行缺陷自检，并且能够提高玻璃幕墙缺陷检测的准确性。

特别地，在本申请的技术方案中，所述并行权重分配模块能够通过通道注意力图F3反映特征通道间的相关性和重要性，并通过空间注意力图F2反映空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，增强了所述时频特征图的特征表达效果。但是，在使用点加的方式融合所述空间注意力图F2和所述通道注意力图F3时，由于所述空间注意力图F2和所述通道注意力图F3基于不同维度下的通道注意力机制，其间的相关性可能不高，使得在通过分类器进行分类时，分类器的权重矩阵相对于所述空间注意力图F2和所述通道注意力图F3融合得到的所述时频特征图的适配负担会相对较重，这会影响分类器的训练速度和分类特征向量的分类结果的准确性。

基于此，在这种情况下，在本申请的技术方案中采用分类器迭代的场景相关优化来进行分类器的训练，具体为：

V是所述时频特征图展开后得到的分类特征向量，M

也就是，以分类器在迭代时权重矩阵的参数更新前后的场景点相关性的度量作为校正因数，来对分类特征向量V的类概率表示进行优化，以通过分类器的分类场景的分布相似性做出支持来对分类特征向量V进行相关性描述，以在分类特征向量V的方向上提升分类器的权重矩阵的参数与分类特征向量V之间的适配性，从而提升分类器的训练速度和分类结果的准确性。这样，可以使得建筑幕墙中的玻璃幕墙能够进行缺陷自检，以在检测出存在缺陷时产生预警，进而避免事故的发生，保证建筑幕墙使用的安全性。

基于此，本申请提供了一种用于施工安装的建筑幕墙，其包括：声音探测单元，用于获取由部署于玻璃幕墙内的声音探测器采集的声音探测信号；时频转化单元，用于计算所述声音探测信号的时域增强图、SIFT变换时频图和S变换时频图；时频图通道聚合单元，用于将所述时域增强图、SIFT变换时频图和S变换时频图按照通道维度进行聚合以得到多通道时频图；时频图特征提取单元，用于将所述多通道时频图通过包含多个混合卷积层和并行权重分配模块的卷积神经网络模型以得到时频特征图；以及,缺陷自检结果生成单元，用于将所述时频特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃幕墙是否存在缺陷。

图1图示了根据本申请实施例的用于施工安装的建筑幕墙的应用场景图。如图1所示，在该应用场景中，通过部署于玻璃幕墙(例如，图1中所示意的C)外的声波发生器(例如，图1中所示意的G)发射探测声波，并通过部署于玻璃幕墙内的声音探测器(例如，图1中所示意的D)采集声音探测信号。然后，将采集的所述声音探测信号据输入至部署有用于施工安装的建筑幕墙的自检算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述用于施工安装的建筑幕墙的自检算法对所述声音探测信号进行处理以生成用于表示玻璃幕墙是否存在缺陷的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2图示了根据本申请实施例的用于施工安装的建筑幕墙的框图示意图。如图2所示，根据本申请实施例的所述用于施工安装的建筑幕墙100，包括：声音探测单元110，用于获取由部署于玻璃幕墙内的声音探测器采集的声音探测信号；时频转化单元120，用于计算所述声音探测信号的时域增强图、S IFT变换时频图和S变换时频图；时频图通道聚合单元130，用于将所述时域增强图、S IFT变换时频图和S变换时频图按照通道维度进行聚合以得到多通道时频图；时频图特征提取单元140，用于将所述多通道时频图通过包含多个混合卷积层和并行权重分配模块的卷积神经网络模型以得到时频特征图；以及，缺陷自检结果生成单元150，用于将所述时频特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃幕墙是否存在缺陷。

在本申请实施例中，所述声音探测单元110，用于获取由部署于玻璃幕墙内的声音探测器采集的声音探测信号。应可以理解，考虑到当玻璃幕墙发生缺陷时，声波发生器发射的探测声波经过玻璃幕墙会发生特有变化，因此，可通过部署于玻璃幕墙内的声音传感器所采集的声音探测信号来判断玻璃幕墙是否存在缺陷。具体地，在本申请的技术方案中，采用基于深度学习的人工智能检测技术，通过部署于玻璃幕墙内的声音探测器来采集声音探测信号作为输入数据，以提取出该所述声音探测信号在不同变换域下的多尺度隐含特征信息，并且在此过程中，还利用了通道注意力来反映空间维度特征差异的权重，以及利用空间注意力来抑制或强化不同空间位置的特征，以利于提高对于玻璃幕墙缺陷判断的精准度。这样，可以使得建筑幕墙中的玻璃幕墙能够进行缺陷自检，以在检测出存在缺陷时产生预警，进而避免事故的发生，保证建筑幕墙使用的安全性。

具体地，在本申请的技术方案中，通过部署于玻璃幕墙外的声波发生器发射探测声波，并通过部署于玻璃幕墙内的声音探测器采集声音探测信号。接着，考虑到一方面因所述声音探测器自身的性能问题会引入噪声，另一方面，所述声音探测信号是微弱信号，这给对于玻璃幕墙的缺陷判断带来了技术难度。因此，在本申请的技术方案中，还需要在输入端对于所述声音探测信号进行不同类型的域分析。

在本申请实施例中，所述时频转化单元120，用于计算所述声音探测信号的时域增强图、SIFT变换时频图和S变换时频图。应可以理解，考虑到所述声音探测信号在不同域下会呈现出不同的样态，因此，对所述声音探测信号进行不同类型的域分析本质上是将所述声音探测信号映射到不同域中以在输入端进行数据增强且增强输入端数据的多样性。具体地，计算所述声音探测信号的时域增强图、SIFT变换时频图和S变换时频图。特别地，这里，由于所述时域增强图是在原信号基础上，通过对信号宽度进行重采样，并对信号高度进行由信号最大值最小值关系修正以增强信号，并以纯黑为底色，增强后的信号为白色构建的二维图像。其能够避免在声音信号采集的过程中因外界环境噪声和仪器自身噪声的干扰而造成信号较弱的问题。S IFT变换为尺度不变特征变换，其是采用在时间维度上加窗的方法，对于小段信号采取傅里叶变换，使得相应的频谱对应着信号的一个特定时间段，其具有非常强的稳健性。并且，由于SI FT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。而S变换能够在低频段提供宽窗口，而在高频段提供窄窗口，这样就能够最大程度地保留了所述声音探测信号在各个频段的特征，以提高后续分类的准确性。

在本申请一个具体的实施例中，所述时频转化单元120，进一步用于：以如下公式对所述声音探测信号进行S变换以得到所述S变换时频图；

其中，所述公式为：

其中，s(f,τ)表示所述S变换时频图，τ为时移因子，x(t)表示所述声音探测信号，f表示频率，t表示时间。

在本申请实施例中，所述时频图通道聚合单元130，用于将所述时域增强图、SI FT变换时频图和S变换时频图按照通道维度进行聚合以得到多通道时频图。也就是将处于不同类型域下的时域增强特征、SIFT变换时频特征以及S变换时频特征进行无损融合以得到具有多个不同类型域分析信息的多通道时频图。

在本申请实施例中，所述时频图特征提取单元140，用于将所述多通道时频图通过包含多个混合卷积层和并行权重分配模块的卷积神经网络模型以得到时频特征图。进一步地，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述多通道时频图进行特征挖掘，特别地，在本申请的技术方案中，使用包含多个混合卷积层和并行权重分配模块的卷积神经网络模型来对于所述多通道时频图进行特征提取，以将所述混合卷积层的多尺度感知特性结合所述并行权重分配模块的特征提取能力来提高特征的表达，从而得到时频特征图。具体地，可以先通过所述多个混合卷积层进行编码，并将编码得到的特征图输入所述并行权重分配模块以得到所述时频特征图。

在本申请一个具体的实施例中，所述时频图特征提取单元140，包括：多尺度卷积编码子单元141和多维度特征聚合子单元142。其中，所述多尺度卷积编码子单元141，用于将所述多通道时频图输入所述卷积神经网络模型的多个混合卷积层以由所述多个混合卷积层中的最后一个混合卷积层输出深度时频特征图；以及，所述多维度特征聚合子单元142，用于将所述深度时频特征图输入所述卷积神经网络模型的并行权重分配模块以得到所述时频特征图，其中，所述并行权重分配模块包括并行的空间注意力分支和通道注意力分支。

在本申请一个具体的实施例中，所述多尺度卷积编码子单元141，包括：第一尺度卷积二级子单元1411，用于使用具有第一尺寸的第一卷积核对所述多通道时频图进行卷积编码以得到第一尺度特征图；第二尺度卷积二级子单元1412，用于使用具有第一空洞率的第二卷积核对所述多通道时频图进行卷积编码以得到第二尺度特征图；第三尺度卷积二级子单元1413，用于使用具有第二空洞率的第三卷积核对所述多通道时频图进行卷积编码以得到第三尺度特征图；第四尺度卷积二级子单元1414，用于使用具有第三空洞率的第四卷积核对所述多通道时频图进行卷积编码以得到第四尺度特征图，其中，所述第一卷积核、所述第二卷积核、所述第三卷积核和所述第四卷积核具有相同的尺寸，且所述第二卷积核、所述第三卷积核和所述第四卷积核具有不同的空洞率；以及，多尺度聚合二级子单元1415，用于将所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图进行沿通道维度的聚合以得到聚合特征图。

具体地，所述卷积神经网络模型使用多个混合卷积核层来对于所述多通道时频图进行处理，以提取出所述多通道时频图的多尺度隐含特征，从而得到深度时频特征图。相应地，在本申请的一个具体示例中，在所述混合卷积层(mixed convolution layer，MCL)中，此模块的设计包括并联的四个分支，由一个卷积核大小为3×3的普通卷积层以及三个卷积核大小为3×3的空洞卷积层构成，分别对所述多通道时频图进行操作，将空洞卷积三个分支的扩张率分别设置为2、3、4，通过不同扩张率的设置可获得不同感受域的图像信息，即可得到不同尺度的特征图，在扩大感受野的同时，又避免了下采样损失信息，接着将4个分支特征图进行融合，使得采样更为密集，既拥有了高层特征，也没有增加额外的参数量。

在本申请一个具体的实施例中，所述多维度特征聚合子单元142，包括：通道注意力二级子单元1421、空间注意力二级子单元1422和多维度注意力聚合二级子单元1423。其中，所述通道注意力二级子单元1421，用于将所述深度时频特征图输入所述并行权重分配模块的通道注意力分支以得到通道注意力特征图；所述空间注意力二级子单元1422，用于将所述深度时频特征图输入所述并行权重分配模块的空间注意力分支以得到空间注意力特征图；以及，所述多维度注意力聚合二级子单元1423，用于将所述通道注意力特征图和所述空间注意力特征图进行按位置点加以得到所述时频特征图。

在本申请一个具体的实施例中，所述通道注意力二级子单元1421，包括：全局均值池化三级子单元14211、归一化三级子单元14212和通道注意力施加三级子单元14213。其中，所述全局均值池化三级子单元14211，用于对所述深度时频特征图进行沿通道维度的全局均值池化以得到通道特征向量；所述归一化三级子单元14212，用于将所述通道特征向量通过Softmax函数以得到归一化通道特征向量；以及，所述通道注意力施加三级子单元14213，用于以所述归一化通道特征向量中各个位置的特征值作为权重对所述深度时频特征图的沿通道维度的特征矩阵进行加权以得到通道注意力特征图。

在本申请一个具体的实施例中，所述空间注意力二级子单元1422，包括：卷积编码三级子单元14221、概率化三级子单元14222和空间注意力施加三级子单元14223。其中，所述卷积编码三级子单元14221，用于使用所述并行权重分配模块的空间注意力分支的卷积层对所述深度时频特征图进行卷积编码以得到卷积特征图；所述概率化三级子单元14222，用于将所述空间注意力图通过Softmax函数以得到空间注意力得分图；以及，所述空间注意力施加三级子单元14223，用于将所述空间注意力得分图与所述深度时频特征图进行按位置点乘以得到空间注意力特征图。

应可以理解，幕墙上的玻璃脱粘坠落以及玻璃自身的破裂(包括玻璃的缺角和玻璃的裂纹)都是玻璃幕墙常见的缺陷形式，对于幕墙玻璃的脱粘坠落常常由于使用的结构胶因受到外界环境等因素的影响导致出现变色、起泡、开裂、脱粘等现象。因此，在对于玻璃幕墙进行缺陷检测时，应聚焦于玻璃幕墙的空间位置上和通道维度上的隐藏特征信息而忽略掉与所述玻璃幕墙的缺陷检测无关的无用干扰特征。因此，在本申请的技术方案中，针对于所述深度时频特征图中边缘模糊导致目标检测精度低的问题，使用并行权重分配模块来进行所述深度时频特征图的特征增强。也就是，具体地，将所述深度时频特征图输入所述卷积神经网络模型的并行权重分配模块以得到所述时频特征图，这样能够加强有效特征表示并抑制无用特征信息，进而来提高后续分类的准确性。特别地，这里，所述并行权重分配模块包括并行的空间注意力分支和通道注意力分支，也就是，所述并行权重分配模块使用空间注意力分支和通道注意力分支分别对于所述深度时频特征图中关于玻璃幕墙缺陷检测的特征进行特征加强，所述通道注意力所提取到的特征向量反映了特征通道间的相关性和重要性，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征。

在本申请实施例中，所述缺陷自检结果生成单元150，用于将所述时频特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃幕墙是否存在缺陷。也就是，以所述时频特征图作为分类特征图来通过分类器中进行分类处理，以生成用于表示玻璃幕墙是否存在缺陷的分类结果。这样，能够使得玻璃幕墙进行缺陷自检，并且能够提高玻璃幕墙缺陷检测的准确性。

在本申请一个具体的实施例中，所述缺陷自检结果生成单元，进一步用于：使用所述分类器以如下公式对所述时频特征图进行处理以获得第一分类结果；

其中，所述公式为：O＝softmax{(W

也就是，所述分类器首先使用全连接层对所述时频特征图进行全连接编码以充分利用所述时频特征图中各个位置的信息以将所述时频特征图降维为一维的分类特征向量；然后，计算所述一维的分类特征向量的Softmax函数值，即，所述分类特征向量归属于各个分类标签的概率值，在本申请实施例中，所述分类标签包括玻璃幕墙存在缺陷(第一标签)以及玻璃幕墙不存在缺陷(第二标签)。最后，将概率值较大者对应的标签作为所述分类结果。

在本申请一个具体的实施例中，还包括用于对所述卷积神经网络模型和所述分类器进行训练的训练模块200；

其中，所述训练模块200，包括：训练数据获取单元210，用于获取训练数据，所述训练数据包括训练声音探测信号，以及，所述玻璃幕墙是否存在缺陷的真实值；训练时频转化单元220，用于计算所述训练声音探测信号的训练时域增强图、训练SIFT变换时频图和训练S变换时频图；训练时频图通道聚合单元230，用于将所述训练时域增强图、训练SI FT变换时频图和训练S变换时频图按照通道维度进行聚合以得到训练多通道时频图；训练时频图特征提取单元240，用于将所述训练多通道时频图通过所述包含多个混合卷积层和并行权重分配模块的卷积神经网络模型以得到训练时频特征图；分类损失单元250，用于将所述训练时频特征图通过所述分类器以得到分类损失函数值；以及，训练单元260，用于基于所述分类损失函数值并以梯度下降的反向传播对所述卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵对由所述训练时频特征图展开得到的训练时频特征向量进行迭代。

在该实施例中，所述训练数据获取单元210、所述训练时频转化单元220、所述训练时频图通道聚合单元230和所述训练时频图特征提取单元240，用于获取训练数据，所述训练数据包括训练声音探测信号，以及，所述玻璃幕墙是否存在缺陷的真实值；然后，计算所述训练声音探测信号的训练时域增强图、训练S IFT变换时频图和训练S变换时频图。接着，将所述训练时域增强图、训练SI FT变换时频图和训练S变换时频图按照通道维度进行聚合以得到训练多通道时频图，并将所述训练多通道时频图通过所述包含多个混合卷积层和并行权重分配模块的卷积神经网络模型以得到训练时频特征图。

更具体地，在本申请的一个实施例中，所述分类损失单元250，用于将所述训练时频特征图通过所述分类器以得到分类损失函数值。也就是，也就是，将所述训练时频特征图通过所述分类器以得到分类结果，再将分类结果与所述玻璃幕墙是否存在缺陷的真实值进行比较并计算交叉熵数值作为所述分类损失函数值。

更具体地，在本申请的一个实施例中，所述训练单元260，用于基于所述分类损失函数值并以梯度下降的反向传播对所述卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵对由所述训练时频特征图展开得到的训练时频特征向量进行迭代。应可以理解，经过训练的所述卷积神经网络模型更能提取到有利于对所述玻璃幕墙是否存在缺陷进行判断的特征。经过训练的所述分类器对于所述玻璃幕墙是否存在缺陷判断更为精准。

特别地，在本申请的技术方案中，所述并行权重分配模块能够通过通道注意力图F3反映特征通道间的相关性和重要性，并通过空间注意力图F2反映空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，增强了所述时频特征图的特征表达效果。但是，在使用点加的方式融合所述空间注意力图F2和所述通道注意力图F3时，由于所述空间注意力图F2和所述通道注意力图F3基于不同维度下的通道注意力机制，其间的相关性可能不高，使得在通过分类器进行分类时，分类器的权重矩阵相对于所述空间注意力图F2和所述通道注意力图F3融合得到的所述时频特征图的适配负担会相对较重，这会影响分类器的训练速度和分类特征向量的分类结果的准确性。基于此，在这种情况下，在本申请的技术方案中采用分类器迭代的场景相关优化来进行分类器的训练。

在本申请一个具体的实施例中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵以如下公式对由所述训练时频特征图展开得到的训练时频特征向量进行迭代，其中，所述公式为：

其中V表示所述训练时频特征图展开得到的所述训练时频特征向量，M

也就是，以分类器在迭代时权重矩阵的参数更新前后的场景点相关性的度量作为校正因数，来对分类特征向量V的类概率表示进行优化，以通过分类器的分类场景的分布相似性做出支持来对分类特征向量V进行相关性描述，以在分类特征向量V的方向上提升分类器的权重矩阵的参数与分类特征向量V之间的适配性，从而提升分类器的训练速度和分类结果的准确性。这样，可以使得建筑幕墙中的玻璃幕墙能够进行缺陷自检，以在检测出存在缺陷时产生预警，进而避免事故的发生，保证建筑幕墙使用的安全性。

综上，基于本申请实施例的所述用于施工安装的建筑幕墙，其通过部署于玻璃幕墙内的声音探测器来采集声音探测信号作为输入数据，然后，采用基于深度学习的人工智能检测技术对所述声音探测信号进行处理以提取出所述声音探测信号在不同变换域下的多尺度隐含特征信息，并且在此过程中，还利用了通道注意力和空间注意力来强化玻璃幕墙的通道隐含特征和空间隐含特征，以利于提高对于玻璃幕墙缺陷判断的精准度，通过这样的方式，可以使得建筑幕墙中的玻璃幕墙能够进行缺陷自检，以在检测出存在缺陷时产生预警，进而避免事故的发生，保证建筑幕墙使用的安全性。

示例性方法

图9图示了根据本申请实施例的用于施工安装的建筑幕墙的自检方法的流程图。如图9所示，根据本申请实施例的用于施工安装的建筑幕墙的自检方法，包括：S110，获取由部署于玻璃幕墙内的声音探测器采集的声音探测信号；S120，计算所述声音探测信号的时域增强图、SIFT变换时频图和S变换时频图；S130，将所述时域增强图、SIFT变换时频图和S变换时频图按照通道维度进行聚合以得到多通道时频图；S140，将所述多通道时频图通过包含多个混合卷积层和并行权重分配模块的卷积神经网络模型以得到时频特征图；以及，S150，将所述时频特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃幕墙是否存在缺陷。

图10图示了根据本申请实施例的用于施工安装的建筑幕墙的自检方法的系统架构的示意图。在本申请实施例的所述用于施工安装的建筑幕墙的自检方法的系统架构中，首先，获取由部署于玻璃幕墙内的声音探测器采集的声音探测信号，然后，分别对所述声音探测信号进行时域增强、S IFT变换、S变换以得到所述声音探测信号的时域增强图、S IFT变换时频图和S变换时频图。接着，将所述时域增强图、SI FT变换时频图和S变换时频图按照通道维度进行聚合以得到多通道时频图，并将所述多通道时频图通过包含多个混合卷积层和并行权重分配模块的卷积神经网络模型以得到时频特征图。最后，将所述时频特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃幕墙是否存在缺陷。

图11图示了根据本申请实施例的用于施工安装的建筑幕墙的自检方法中，对所述卷积神经网络模型和所述分类器进行训练的训练阶段的流程图。如图11所示，在本申请一个具体的实施例中，还包括用于对所述卷积神经网络模型和所述分类器进行训练的训练阶段；其中，所述训练阶段，包括：S210，获取训练数据，所述训练数据包括训练声音探测信号，以及，所述玻璃幕墙是否存在缺陷的真实值；S220，计算所述训练声音探测信号的训练时域增强图、训练S IFT变换时频图和训练S变换时频图；S230，将所述训练时域增强图、训练SIFT变换时频图和训练S变换时频图按照通道维度进行聚合以得到训练多通道时频图；S240，将所述训练多通道时频图通过所述包含多个混合卷积层和并行权重分配模块的卷积神经网络模型以得到训练时频特征图；S250，将所述训练时频特征图通过所述分类器以得到分类损失函数值；以及，S260，基于所述分类损失函数值并以梯度下降的反向传播对所述卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵对由所述训练时频特征图展开得到的训练时频特征向量进行迭代。

图12图示了根据本申请实施例的用于施工安装的建筑幕墙的自检方法中，对所述卷积神经网络模型和所述分类器进行训练的训练阶段的系统架构的示意图。如图12所示，在本申请实施例的所述对所述卷积神经网络模型和所述分类器进行训练的训练阶段的系统架构中，首先，获取训练数据，所述训练数据包括训练声音探测信号。然后，分别对所述训练声音探测信号进行时域增强、S IFT变换、S变换以得到所述训练声音探测信号的训练时域增强图、训练S IFT变换时频图和训练S变换时频图。接着，将所述训练时域增强图、训练SIFT变换时频图和训练S变换时频图按照通道维度进行聚合以得到训练多通道时频图，并将所述训练多通道时频图通过所述包含多个混合卷积层和并行权重分配模块的卷积神经网络模型以得到训练时频特征图。最后，将所述训练时频特征图通过所述分类器以得到分类损失函数值，并基于所述分类损失函数值并以梯度下降的反向传播对所述卷积神经网络模型和所述分类器进行训练。

在本申请一个具体的实施例中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵以如下公式对由所述训练时频特征图展开得到的训练时频特征向量进行迭代，其中，所述公式为：

其中V表示所述训练时频特征图展开得到的所述训练时频特征向量，M

这里，本领域技术人员可以理解，上述用于施工安装的建筑幕墙的自检方法中的各个步骤的具体操作已经在上面参考图1到图8的用于施工安装的建筑幕墙的描述中得到了详细介绍，并因此，将省略其重复描述。