一种基于声纹样本扩充网络的配电变压器声纹识别优化方法和系统

【技术领域】

本发明涉及故障检测技术领域，具体涉及一种基于声纹样本扩充网络的配电变压器声纹识别优化方法和系统。

【背景技术】

作为电力系统中重要的一环，配电变压器的稳定运行对于整个电力系统的安全至关重要。然而，在实际运行中，长期受到各种环境和工况的影响，像是沿面放电或铁芯松动等故障，可能会使得较为严重的电网停电事故。经研究发现当配电变压器存在磁致伸缩等机相关的故障时，内部组件的振动状态可能会产生异常，而且不同组件带有不同的异常声纹。因此，通过分析配电变压器组件声纹数据，对于及时发现并处理配电变压器的特有故障，具有重要意义。

目前现有技术无论是提取配电变压器声纹数据的时域或是频域信号的特征，再而搭建用于分析声纹特征的学习模型，进而充分识别变压器的声纹特征。除了深度学习识别架构，还有多种传统机器学习的变压器故障识别方法。通常，大多数方法需要从声纹信号数据集中提取高质量的特征。但是都没有考虑到声纹数据的获取困难这一层面即小样本的局限性，由于配电变压器声纹是非接触测量的形式，多个因素会对信号采集产生不良影响，例如噪声、环境声纹等。这也更加造成了声纹样本的可用性较差进而影响后续的识别精度，而样本扩充侧重于数据级别，不需要设计新的损失函数或修改方法流程，鉴于此通过引入样本扩充在优化变压器声纹识别方法上值得借鉴。

声纹样本扩充旨在通过对现有声纹数据应用各种转换来扩大声纹数据集。例如通过使用时间序列窗口进行切片，以发挥扩充数据的作用；在时间序列数据样本中随机选择一个范围，并在不影响其他样本的情况下对该范围进行一定程度的多重压缩或插值进而得到相似样本。同时还可以利用频域中幅度谱和相位谱的差异化来扩充数据的频域信息，后续转换为时域进而得到多个样本。和数据转换和时域频域的扩充拟合方法相比，基于非线性模型的一维序列扩充方法通常使用统计模型来拟合序列的分布趋势进而形成相似序列。而生成对抗(GAN)网络最为常用，作为生成对抗式模型可以有效地生成合成样本来增强数据集。例如循环一致GAN[11]、最小二乘GAN[12]等。后续发现与基于单样本的学习源域与目标域特征之间的映射这一方法相比，基于样本对融合的方法不仅可以生成更多的新样本，还可以增强数据之间的线性关系。

然而，现有的样本扩充方法通过转换或者模型拟合动态来生成新样本，其参数无法学习。因此，多数方法不能与后续的配电变压器声纹识别方法有效级联。同时，由于原始样本和生成的样本往往不能有效互补，尤其是当生成样本的维度足够高时，生成模型往往难以捕捉到细节，导致生成的样本质量不高并出现一些异常，因此其通常无法适应后续的识别方法。

本发明针对现有样本扩充方法通过转换或者模型拟合动态来生成新样本，不能与后续的配电变压器声纹识别方法有效级联的技术问题，采基于声纹样本扩充网络对配电变压器声纹识别优化方法和系统进行了技术改进。

【发明内容】

本发明的目的是，提供一种基于注意机制进行样本扩充，能与后续识别方法有效级联提高整体识别精度的配电变压器声纹识别优化方法。

为实现上述目的，本发明采取的技术方案是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法，包括以下步骤：

S1、选取实际采集的配电变压器声纹数据并进行预处理后组成训练集和测试集；

S2、构建生成器网络和判别器网络进而构建声纹样本扩充网络；

S3、将声纹样本扩充网络和识别模型级联并整体端到端地使用训练集进行训练，优化识别模型；

S4、将优化后的识别模型使用测试集进行测试，并用于配电变压器声纹类型识别。

优选地，步骤S1：所述预处理为对获得的配电变压器声音信号进行截断操作，将样本数据进行打乱处理，生成相同时间长度的训练集和测试集数据样本。

优选地，步骤S2：

搭建一个生成器网络，所述生成器网络结构层次为：全连接层、第一卷积层、第一样本归一化层、第二卷积层、第二样本归一化层、第三卷积层、自注意机制层、第三样本归一化层、第四卷积层、输出层；

搭建一个判别器网络，所述判别器网络结构层次为：第一卷积层、自注意机制层、第二卷积层、样本归一化层、第三卷积层、样本归一化层、第四卷积层、样本归一化层、flatten层、全连接层。

优选地，步骤S3包括以下子步骤：

S31、将配电变压器声纹目标子类的随机信号作为生成器网络输入，随后将生成器网络输出的生成样本集经过过滤后按顺序输入到判别器网络、以及和训练集原始样本融合后输入到后续的识别模型；

S32、根据损失函数和梯度下降法，计算声纹样本扩充网络每个卷积层的每个卷积核的梯度、全连接层的梯度；

S33、利用声纹样本扩充网络每个卷积层的每个卷积核的梯度、全连接层的梯度，使用Adam优化器更新声纹样本扩充网络每个卷积层和反卷积层的每个卷积核的权重，全连接层、自注意机制层的权重，当损失值达到最优或者epoch达到次数上限则停止训练。

优选地，步骤S31：选择孤立森林算法作为过滤机制，引入RANSAC算法，通过RANSAC算法对声纹的非线性关系进行拟合，从而建立一个新的基准，计算生成的声纹数据和拟合声纹数据的残差绝对值，所述残差绝对值成为孤立森林新维度树，继而提供了一个新维度来评估异常；同时设置最佳比例因子剔除得分最高的前比例因子声纹样本。

优选地，步骤S31：所述的原始样本和生成样本的融合权重

优选地，步骤S32：

所述损失函数为

优选地，

所述声纹样本扩充网络样本归一化层：首先，对于输入数据x∈R M×N×C，其中，M代表样本批次包含的样本分段数量，C代表通道的数量，N代表声纹序列的长度，求出每个样本N维数据的均值和方差

所述声纹样本扩充网络自注意机制层：输入数据表示为x∈R N×C，其中，N和C分别代表声纹序列的长度和序列样本的通道数，然后，x设置为f、g和h三个不同的维度

本发明的又一目的是，提供一种基于注意机制进行样本扩充，能与后续识别方法有效级联提高整体识别精度的配电变压器声纹识别优化系统。

为实现上述又一目的，本发明采取的技术方案是一种基于声纹样本扩充网络的配电变压器声纹识别优化系统，用于执行上述的一种基于声纹样本扩充网络的配电变压器声纹识别优化方法，包括数据输入模块、声纹样本扩充网络模块、过滤模块和识别模块；所述数据输入模块用于采集多类配电变压器的故障声纹数据，作为声纹样本扩充网络模块的输入以及识别模块的融合输入；所述声纹样本扩充网络由生成器网络和判别器网络组成；所述过滤模块用于在训练阶段将声纹样本扩充网络输出的样本集滤除不合理的声纹样本后作为识别模块的融合输入；所述识别模块用于在训练阶段识别融合输入的故障类别，在测试阶段识别数据输入模块的新样本的故障类别。

本发明一种基于声纹样本扩充网络的配电变压器声纹识别优化方法和系统有益效果如下：1、基于注意机制的声纹样本扩充网络可以与后续识别模型相结合，其作为优化因子以端到端的方式进行整体训练，从而降低后续训练过程的识别收敛难度；2、引入自注意机制和子类样本对以及样本归一化技术，充分利用样本对的潜在特征生成新样本以提升其互补性和泛化程度，最后采用滤波机制以去除不合理的新样本以保证真实感；3、所提出的声纹样本扩充网络是一个通用模型，可以与电力设备的多种识别方法进行集成。

【附图说明】

图1是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法步骤图。

图2是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法预处理示意图。

图3是声纹样本扩充网络的生成器网络示意图。

图4是声纹样本扩充网络的判别器网络示意图。

图5是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法残差孤立森林声纹样本过滤方法流程图。

图6是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法融合权重随着训练阶段的变化趋势图。

图7是声纹样本扩充网络自注意机制层示意图。

图8是一种基于声纹样本扩充网络的配电变压器声纹识别优化系统架构图。

图9是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法第一组仿真结果图。

图10是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法第二组仿真结果图。

【具体实施方式】

下面将详细描述本发明的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法，而是在不脱离本发明构思的前提下覆盖了元素、部件和算法的任何修改、替换和改进。在附图和下面的描述中，没有示出公知的结构和技术，以便避免对本发明造成不必要的模糊。

实施例

本实施例实现一种基于声纹样本扩充网络的配电变压器声纹识别优化方法。

本实施例提出基于样本对的形式进行变压器声纹样本扩充，同时所搭建的基于注意机制的声纹样本扩充网络可以与后续方法相结合，其作为优化因子以端到端的方式进行整体训练，从而降低后续训练过程的识别收敛难度。本实施例引入了自注意机制和子类样本对，充分利用样本对的潜在特征生成新样本以提升其互补性和泛化程度，最后采用滤波机制以去除不合理的新样本。最后将生成的样本和原始样本依次输入后续识别模块进行端到端的训练，结果表明该优化方法在配电变压器声纹信号样本较少的情况下，通过网络进行声纹样本扩充，有效提高了整体框架的识别准确度。

本发明的思路是引入自注意机制和子类样本对，充分利用样本对的潜在特征生成新样本以提升其互补性和泛化程度，最后采用滤波机制以去除不合理的新样本。实验表明该优化方法在声纹信号样本较少的情况下，通过网络进行声纹样本扩充，有效提高了整体框架的识别准确度。

图1是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法步骤图。如图1所示，本实施例的具体步骤为：

(1)选取实采的配电变压器组件声纹数据并进行预处理后组成训练集；

(2)构建生成器网络和判别器网络进而构建声纹样本扩充网络；

(3)将声纹样本扩充网络和识别模型级联并整体端到端地训练；

(4)将优化后的识别模型进行测试并完成配电变压器声纹类型的识别。

本实施例所述的步骤1主要为对三相环氧浇注式干式变压器进行声纹采集。声纹数据的采样率统一设置为1.8MHz。音频文件统一被切割成270ms的音频切片，每个音频切片共有4800个采样点。共收集沿面放电、铁芯松动、悬浮放电和绕组松动以及正常状态5类配电变压器机械故障的声纹样本数据，有1500条音频切片样本数据。图2是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法预处理示意图。如图2所示，为了避免声音时间长度的差异对于模型性能的影响，预处理为：对获得的变压器声音信号进行截断操作，生成相同时间长度的训练和测试数据样本。将样本数据进行打乱处理，并按照7:3的比例分割成训练集和测试集。各声纹故障与标签的对应表1所示。

表1配电变压器数据集构成

每一类的数据集合设置为三个维度，首先第一维度数值为4800，其表示数据样本的长度；第二维度数值为2，其代表样本的时间序列和幅值序列；第三维度为标签数值即0-4。

本实施例所述步骤2主要为：搭建一个生成器网络，其结构层次为：全连接层、第一卷积层、第一样本归一化层、第二卷积层、第二样本归一化层、第三卷积层、自注意机制层、第三样本归一化层、第四卷积层、输出层。

图3是声纹样本扩充网络的生成器网络示意图。如图3所示，箭头代表连接线，所述的全连接层和第一卷积层包含维度转换7*256转换为(7，256)；所述的样本归一化层包含激活函数为ReLu函数，斜率设置为0.2，第一卷积层的卷积核个数为128、核大小为5*5、步长为2；第二卷积层卷积核个数为64、核大小为5*5、步长为4；第三卷积层卷积核个数为32、核大小为5*5、步长为4；第四卷积层卷积核个数为1、核大小为5*5、步长为4，激活函数为Tanh函数；权重初始化为满足标准差为0.05正态分布的随机值。

搭建一个判别器网络，其结构层次为：第一卷积层、自注意机制层、第二卷积层、样本归一化层、第三卷积层、样本归一化层、第四卷积层、样本归一化层、flatten层、全连接层。图4是声纹样本扩充网络的判别器网络示意图。如图4所示，所述的第一卷积层核个数为32、核大小为5*5、步长为2；样本归一化层包含激活函数为Leaky-ReLu函数，斜率设置为0.2；第二卷积层核个数为64、核大小为5*5、步长为4；第三卷积层核个数为128、核大小为5*5、步长为4；第三卷积层核个数为256、核大小为5*5、步长为4。

本实施例所述步骤3主要为：将目标子类的随机信号作为输入，随后将生成器网络的生成样本集在经过过滤后按顺序分别输入到判别器网络以及和原始样本融合后输入到后续的识别模型，根据损失函数和梯度下降法，计算声纹样本扩充网络每个卷积层的每个卷积核的梯度、全连接层的梯度；利用网络每个卷积层的每个卷积核的梯度、全连接层的梯度，使用学习率为0.005的Adam优化器更新网络每个卷积层和反卷积层的每个卷积核的权重、全连接层、自注意机制层的权重，当损失值小于20时或者epoch达到500次则停止训练。

进一步，所述的步骤3中样本过滤机制为：本发明选择孤立森林(IF)算法作为过滤机制。在声纹样本扩充网络后，扩充的这些声纹样本应该接近模板类或子类的声纹样本进而将过滤后的样本集输入到识别模型进行级联训练。然而，一些生成的声纹样本会偏离真实样本的分布。虽然异常样本的数量很少但混杂在整体的声纹数据集中，降低了生成样本的整体质量，也直接降低了数据扩充的合理性。通过优化IF算法，引入残差维度以计算每个样本的异常得分，并删除得分最高的样本。这也使得在生成声纹样本方面优化同时，后端过滤进一步约束样本的完整性和高质量。图5是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法残差孤立森林声纹样本过滤方法流程图。如附图5所示，引入RANSAC算法，通过RANSAC，算法对声纹的非线性关系进行拟合，从而建立一个新的基准，计算生成的声纹数据和拟合声纹数据的残差绝对值，该残差结果成为孤立森林的新维度“树”，继而提供了一个新特征矩阵(新维度)来评估异常。同时设置最佳比例因子15％即剔除得分最高的前15％声纹样本。

进一步，由于模板类真实声纹信号和子类声纹信号的需要一定的互补融合以提升后续识别的泛化性即在生成网络输出一批次的新声纹集合后，按样本生成顺序依次和对照目标类的原始样本进行权值融合并输入后续的识别模型中，融合权重是直接影响融合结果的重要参数。首先，为了使声纹样本扩充网络能够适用于级联测试，后续的识别模型需要能够分别对原始样本及其声纹样本扩充网络输出新样本进行分类。因此，融合权重在训练过程中不能设置为固定值。其次，在一开始的训练，为了提高声纹样本扩充网络与后续的声纹识别模型的融合性和泛化性，需要更多的融合样本即通过随机融合多类别样本。图6是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法融合权重随着训练阶段的变化趋势图。如附图6所示，所述的步骤3中融合权重为：

a∈beta(α,α)

α＝max(1-n/N,0.1)

其中α是beta分布的参数，n是当前训练的epoch，N是设置训练epoch的总数，a为原始样本的权重则生成样本权重为(1-α)。在开始训练时，融合权重大致遵循均匀分布(α＝1.0，如附图中的深灰线所示)，这意味着融合了更多的原始样本和声纹样本扩充网络生成的样本。在训练结束时，融合权重大致遵循伯努利分布(α＝0.1，如附图6中的浅灰色点所示)。通过该权重利用更多的原始样本和声纹样本扩充网络生成的样本训练识别模型使得识别模型就可以对每个样本和声纹样本扩充网络生成的相应融合样本分别进行识别。

进一步，所述的步骤3中损失函数为：

其中，损失函数包括两项。第一项

其中|f|

进一步，针对先前GAN模型的不足，本实施例在网络结构中引入了自注意机制SA。由于传统的CNN具有快速训练和并行计算的优点，这也让其成为了GAN网络的主要组成部分。然而，在处理声纹序列时，缺陷是只能增加卷积核大小以改善感受野。过大的卷积核大小会导致计算量激增。为此通过增加一个自注意机制层以提高生成网络和判别网络的时域特征提取能力。同时在之前的GAN中，归一化层往往使用的是批量归一化(BN)，但其不适用于声纹样本的扩充。当可学习样本非很少时，批量大小也随之过小，无法估计整个数据集的均值和方差。因此，本实施例使用IN归一化层。通过计算样本分段后的单独子序列的特征的均值和标准差以使得每个分段序列具有独立性，并在批量非常小的情况下加速模型收敛。

进一步，所述的步骤2中声纹样本扩充网络中的样本归一化层和自注意机制层主要为：样本归一化层：首先，对于输入数据x∈R M×N×C，(M代表样本批次包含的样本分段数量，C代表通道的数量，N代表声纹序列的长度)，IN层求出每个样本N维数据的均值和方差。其中i表示特征通道的索引，t表示序列的索引。

接下来，对样本进行归一化处理和计算。

图7是声纹样本扩充网络自注意机制层示意图。如附图7所示，自注意机制层：该层的输入表示为x∈R N×C，其中N和C分别代表声纹序列的长度和序列样本的通道数。然后，x设置为三个不同的维度，即f、g和h，计算公式如下：

f(x)＝xw

g(x)＝xw

h(x)＝xw

w

由附图7可知，根据f维度和g维度的乘积得到s

s

v(xi)＝w

最后，为了使模型从简单到复杂逐步学习，SA层的输出会进一步乘以一个常数λ且该λ也是迭代更新的，最终和输入的数据x相加得到SA层的输出：

yi＝λoi+xi

进一步，本实施例方法在一种基于声纹样本扩充网络的配电变压器声纹识别优化系统上实现。图8是一种基于声纹样本扩充网络的配电变压器声纹识别优化系统架构图。如图8所示，所述系统主要包括：数据输入模块、声纹样本扩充网络模块、过滤模块、识别模块。

数据输入模块：包括多类配电变压器的故障声纹数据，其作为声纹样本扩充网络模块的输入以及识别模块的融合输入。

声纹样本扩充网络：由生成器网络和判别器网络组成。

过滤模块：在训练阶段将声纹样本扩充网络输出的样本集滤除不合理的声纹样本后作为识别模块的融合输入。

识别模块：在训练阶段识别融合输入的故障类别，在测试阶段识别数据输入模块的新样本的故障类别。

下面结合两组仿真实验对本发明的效果做进一步说明。

仿真条件：本实施例方法的仿真实验是在单块NVIDIARTX2080型号的GPU、运行内存128GB的硬件环境和PyTorch1.1.0的软件环境下进行的。

第一组仿真内容与结果分析：本仿真实验是采用幅值变换、时延变换、相位偏移变换相结合方法(mult-aug)以及GAN和本发明的声纹样本扩充网络(VFAN)的扩充方法对训练数据集数据进行扩充，识别模型为双通道残差网络。

图9是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法第一组仿真结果图。如附图9所示，可以看出，本实施例方法提出的VFAN模型优化的识别效果最为突出，其在样本充足的情况下，识别准确率可以达到97％左右，而GAN网络由于其生成器的注意机制特点，优化识别也得到了不错的准确结果，对于多种传统扩充方法的结合思路也是可以采取的，由于其具备较少的运算量，在某种情况可以采取。本实施例方法也将VFAN作为样本扩充方面的优化子方法，将其与GAN和mult-aug方法相结合生成声纹样本进而实现了更为稳定的声纹识别准确率。

第二组实验是为了验证VFAN的多类别输入生成声纹样本对于后续泛化性的优化可行性，数据集还是选取上述的5类数据集，不同的是，此次选取VFAN只针对沿面放电子类进行样本扩充。后续识别模型选取KNN、CNN、双通道RNN。扩充结果和优化效果如表2所示。

表2效果对比

图10是一种基于声纹样本扩充网络的配电变压器声纹识别优化方法第二组仿真结果图。如附图10所示，可以看出，在没有对沿面放电子类进行样本优化下，其单独准确率是在整体数据集的平均准确率之下的，因此单独对其进行优化，在沿面放电类单独进行样本扩充情况下，针对该子类的准确率得到一定程度的优化且高于了平均指数，综合考虑多类别样本的互补性并充分融合以得到更为多样化的样本数据，这也证明了本文提出的VFAN网络的泛化优势，而对于判别信号虽然为子类信号，由于其本质是作为互补信息，并没有使得生成样本和原始样本出现很大的偏差。相反这也使得整体网络更容易识别混合信号。

综上，本实施例方法主要解决现有技术生成配电变压器声纹由于仿真建模复杂导致真实性较差，组件声纹数据的扩充的声纹样本缺乏多样性和互补性，同时扩充增强方法不能与后续的配电变压器声纹识别方法有效级联的问题。本实施例方法能够大量生成声纹样本，有效地提高了扩充样本的真实感和多样性并将子类样本的互补性引入以提高整体的识别精度。

本领域普通技术人员可以理解，实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。