电力监控领域语音指令模型无监督应用

技术领域

本发明涉及电力监控领域，指令语音、意图模型的自动化构建方法。

背景技术

电力监控领域，只有文字文献，没有语音样本集。监控指令句子较短，样本数较少。

语音模型训练，需要大量不同人员按照指令进行录音，生成语音样本集：

{″audio_filepath"："/datafile/audio/20210512_113745_1.waw"，"duration"：3.093，"text"：″安全注意事项有哪些"}

意图识别模型，需要人工区分正负样本，构造语义样本集：

断路器开关遥控分断路器开关遥控合0

返回发电机有功功率报告发电机平均功率1

语音、意图模型，构造训练样本集，需要耗费大量人工

构建模型所需花费的时间成本、人工成本难以控制

发明内容

为了克服现有技术中的上述缺陷，本发明提供了一种电力监控领域，在无语音、意图训练样本集条件下，指令语音、意图模型的自动化构建方法，该方法包括：

S1.各开源语音数据集，按演讲者分类录音

S2.声码模型自动提取各演讲者声音频谱特征

S3.各演讲者声音频谱特征，序列化，录入声音特征库

S4.监控员，按照语音模板文字，在平台上录制模板录音

S5.模板录音采样率统一为16KHZ 16bit

S6.声码模型自动提取监控员声音特征

S7.监控员声音频谱特征，序列化，录入声音特征库

S8.监控员新增操作指令、热词文本，平台存储进专业指令/热词表

S9.此批次新指令、热词，全部添加完毕，系统自动加权

S10.对抗声码模型，读取特征库各演讲者声音特征，按照指令文本，

自动生成各演讲者操作指令声音特征向量

S11.操作指令声音特征向量，输入预训练基础语音模型，迁移训练，

生成：电力参数的迁移语音模型

S12.使用操作指令集、热词文本，自动生成文本指令正负样本集

S13.文本指令正负样本集，输入预训练基础意图模型，迁移训练，生成：电力参数的迁移意图模型

S14.监控员可以使用新添加的电力指令、热词，进行语音交互：

通过语音获取监控信息、控制电力开关等

附图说明

图1是本发明实施电力指令语音交互系统自动化构建方法的整体流程示意图。

图2a-2b是本发明实施语音模型自动化构建方法的模型网络结构示意图，和一个具体实施方式的流程示意图。

图3是本发明实施意图模型自动化构建方法的一个具体实施方式的流程示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。

本发明的实施例2提供了一种语音模型自动化构建方法，如图2a-2b所示，具体步骤包括：

S100.从数据库专业指令/热词表中读取：电力指令、热词文本，电力指令示例：

1断路器开关遥信封锁分

2断路器开关遥信封锁合

3变压器开关挂故障牌

4变压器开关挂牌取消

S200.各开源语音数据集，按演讲者分类录音

S300.逐帧提取演讲者声音频谱特征

梅尔对抗声码模型，提取演讲者声音特征过程：

1.使用标准化和数据增强技术，从演讲者音频文件中提取MFCC声音频谱特征

2.提取演讲者帧级声音特征：通过2D卷积层、残差网络、批标准化层，

在帧级别提取有判别力的演讲者声音特征

3.提取演讲者话语级声音特征：通过注意力机制，为帧级特征分配不同的权重。

使用统计池化层聚合加权帧级特征，生成演讲者话语级声音特征

S400.读取电力监控指令文本

S500.生成演讲者电力指令声音特征向量

1.生成器模型，输入：演讲者声音特征、监控指令，生成演讲者指令声音特征向量

2.滤波器组，过滤掉噪音等无关的声音特征信号

3.判别器模型，判断合成的声音样本与真实声音样本之间的不同程度，

根据鉴别结果，迭代优化生成器参数

4.最终生成：高保真演讲者指令声音特征向量

S600.演讲者声音特征向量，输入预训练基础语音模型

S700.电力领域语音模型迁移学习

对语音模型进行多次迭代训练，更新各网络层新的权重参数，使损失值收敛到满意程度

S800.电力参数的迁移语音模型

S900.构造电力指令5元语言模型，利用n-gram模型，对语音识别结果，

进行语义修正，提升语音模型识别准确率

本发明的实施例3提供了一种意图模型自动化构建方法，如图3所示，具体步骤包括：

S1000.读取操作指令文本集

S2000.将操作指令文本随机打散

S3000.使用关键词、助词等，扩展新的指令样本，自动生成正样本集

S4000.使用负样本构造公式，自动生成负样本集，构造公式说明：

查询句q，候选句Q，使用传统相似度算法，自动判断两句相似度(Sim)、关键词重叠率(∪)，相似性分数α＝0.6，β＝0.2

满足上述公式条件，则：q、Q为负样本

S5000.读取指令正负样本集

S6000.输入预训练基础意图模型，迁移学习句向量网格参数

S7000.电力参数的迁移意图模型

本发明的实施例1提供了一种电力监控领域语音指令模型自动化构建方法，如图1所示，具体步骤包括：

S1.声音特征库构建：使用实施例2所述‘S300.逐帧提取演讲者声音频谱特征’的方法，自动提取监控员、开源语音数据集各演讲者声音频谱特征，序列化，录入声音特征库

S8.专业指令/热词表生成：数据挖掘工具，从电力文献中自动抽取:操作指令、术语等监控员，手动新增：操作指令、热词文本

系统自动加权，存储进指令/热词表

S10.使用实施例2所述语音模型自动化构建方法，读取声音特征库各演讲者声音频谱特征、操作指令文本，生成各演讲者指令声音特征向量，自动化构建电力参数的迁移语音模型

S12.使用实施例3所述意图模型自动化构建方法，读取操作指令文本，自动生成正负样本集，自动化构建电力参数的迁移意图模型

语音、意图模型自动化构建，准实时生效

S14.监控员可以使用新添加的操作指令、热词，进行语音交互：

通过语音获取监控信息、控制电力开关等

以上所披露的仅为本发明的一些较佳实施例，凡在本申请技术方案基础上做的等同变换，均属本发明所涵盖的范围。