基于深度时序神经网络的信号分类识别方法、系统及设备

技术领域

本申请涉及神经网络技术领域，具体涉及一种基于深度时序神经网络的信号分类识别方法及系统。

背景技术

通信信号识别，尤其是通信信号的种类识别是非合作通信系统的核心技术，近年来已经得到了广泛的研究。在军事和民用领域具有非凡的价值，它已成为认知无线电和软件无线电中不可或缺的组成部分。在军事领域，干扰通信需要发送更高功率的信号，以超过敌方在相同频带中的信号。其中的关键环节是要与敌方具有相同的信号类型，才能生成更高功率的干扰信号。在民用领域，链路自适应系统根据信道条件自适应地选择信号类型，提高通信系统的传输效率。但是，低延时、高效率、高准确性的信号识别的方法系统尚未在水声通信领域采用。

在水下声学通信过程中，水下信息传输的媒介是水体，相当于陆地无线通信的通道。与地面无线信道相比，水下声信道的变化要复杂得多。此外，水下声信道很容易受到许多因素的干扰，比如高频电磁波因为水体的吸收特征，无法长距离传播；声波在水中传播受到温度、盐度和水压的影响严重；环境噪声和陆地通信的常见白噪声明显不同，包括了水下生物、舰艇及水下设备等多种因素影响。这使得大多数现有的陆地经典无线通信模型无法直接应用于水下声通信过程的分析。考虑到水下声信道的时变特性，在通信过程中会有更多的能量损耗和衰落，更严重的多径干扰和多普勒频移效应。因此，不仅可用带宽变窄，而且信道容量也很小。通过使用适当的信号类型来改善水下声通信系统的有效传输是非常必要的。

多层神经网络在语音和图像的各种基准测试任务中取得了令人瞩目的成功。它是深度学习方法的基本形式。递归循环神经网络(Recurrent Neural Network，RNN)主要用于自然语言处理领域，而卷积神经网络(Convolutional Neural Network，CNN)则广泛用于图像识别领域。RNN和CNN之间的主要区别在于RNN具有“内存停滞”功能。可以量化过去输入内容的影响，并对当前时间输入做出反应，以参与网络训练的过程。在通信领域，深度学习方法也有一些应用。主要形式基于CNN和RNN体系结构。例如，RNN可以用于分类无线接收信号。RNN用于识别和检测通信过程中的数据序列。有关类似方法还探索了DLM的物理层通信过程，并通过CNN和信念传播(BP)组合网络架构对信道进行了解码。可以了解到，复杂的网络体系结构可以了解更多信号数据集的概率特征。同时，经过训练的更深层网络模型具有大量参数。这导致该模型仅用于训练数据集，而不能应用于验证数据集。结果是无法将模型推广到相似的概率分布信号数据集，这相当于无法使用经过训练的模型。

发明内容

本申请为了解决上述技术问题，提出了如下技术方案：

第一方面，本申请实施例提供了一种基于深度时序神经网络的信号分类识别方法，所述方法包括：对输入深度时序神经网络的数据进行归一化处理；将归一化处理后的数据输入所述深度时序神经网络进行特征提取；对最终的特征提取到的信号种类信息做最后的结果判定。

采用上述实现方式，深度时序神经网络能够以较低的参数量实现较高的识别率，而在相似的识别率的情况下，远小于常见深度神经网络的参数量。深度时序神经网络的较低参数不仅降低了训练的复杂性，而且使训练后的模型更易于在实际系统中部署。

结合第一方面，在第一方面第一种可能的实现方式中，所述对输入深度时序神经网络的数据进行归一化处理，包括：对输入的复数形式信号进行向量化处理；然后将向量化后的数据进行数据归一化处理。

结合第一方面，在第一方面第二种可能的实现方式中，所述深度时序神经网络包括多个LSTM层、全连接层和Dense层，所述LSTM层与所述全连接层之间插入Dropout层。

结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述将归一化处理后的数据输入所述深度时序神经网络进行特征提取包括：通过多层的LSTM层和Dropout层的组合，形成信号的种类区分的特征提取及提高泛化能力的中间多层，有效完成信号种类的特征提取。

结合第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，所述对最终的特征提取到的信号种类信息做最后的结果判定包括：采用Dense层的形式进行最终的信号种类判断，然后将判定结果输出。

结合第一方面，在第一方面第五种可能的实现方式中，所述深度时序神经网络最小化正向传递和反向传递之间的连接，以降低梯度消失的几率。

结合第一方面，在第一方面第六种可能的实现方式中，所述深度时序神经网络第一层和后续层之间建立跨层连接，以降低梯度消失的几率。

结合第一方面第二种可能的实现方式，在第一方面第七种可能的实现方式中，所述从信号发端到信号收端会经历不同的传输路径，所述LSTM层通过自身的长序列处理能力来识别通过多径干扰带来的信号识别干扰。

第二方面，本申请实施例提供了一种基于深度时序神经网络的信号分类识别系统，所述系统包括：归一化处理模块，用于对输入深度时序神经网络的数据进行归一化处理；特征提取模块，用于将归一化处理后的数据输入所述深度时序神经网络进行特征提取；判定输出模块，用于对最终的特征提取到的信号种类信息做最后的结果判定。

第三方面，本申请实施例提供了一种设备，包括：处理器；存储器，用于存储计算机可执行指令；当所述处理器执行所述计算机可执行指令时，所述处理器执行第一方面或第一方面任一可能实现方式所述的基于深度时序神经网络的信号分类识别方法，对信号进行分类识别。

附图说明

图1为本申请实施例提供的一种基于深度时序神经网络的信号分类识别方法的流程示意图；

图2为本申请实施例提供的RNN时序序列循环计算示意图；

图3为本申请实施例提供的LSTM时序序列循环计算示意图；

图4为本申请实施例提供的用于识别的3层LSTM模型示意图；

图5为本申请实施例提供的LSTM内部结构示意图；

图6为本申请实施例提供的水下通信模型模型示意图；

图7为本申请实施例提供的不同的Dropout参数会影响最终的训练效果示意图；

图8为本申请实施例提供的在8路径和6路径下的识别结果示意图；

图9为本申请实施例提供的针对在SNR范围的多普勒频移分别为10

图10为本申请实施例提供的不同类型的神经网络识别结果示意图；

图11为本申请实施例提供的一种基于深度时序神经网络的信号分类识别系统的示意图；

图12为本申请实施例提供的一种设备的示意图。

具体实施方式

下面结合附图与具体实施方式对本方案进行阐述。

图1为本申请实施例提供的一种基于深度时序神经网络的信号分类识别方法的流程示意图，参见图1，所述方法包括：

S101，对输入深度时序神经网络的数据进行归一化处理。

由于水下声通信的特殊性，多径干扰和多普勒频移使接收信号的干扰更加严重，从而导致调制星座的混乱，通常很难区分。具有长序列存储功能的LSTM方法用于识别各种调制类型，从而可以有效地提高识别精度。

信号种类识别系统核心过程主要包括以下一个方面：复信号数据向量化处理，对输入的复数形式信号进行向量化处理，并做数据的归一化。使得无法直接学习复数形式的神经网络可以学习常见的信号表示形式。

S102，将归一化处理后的数据输入所述深度时序神经网络进行特征提取。

深度学习网络架构可以通过加深网络层来有效提高各种数据集中的分类效果。但是，更深的网络体系结构很容易导致梯度消失，并且这种现象更可能发生并且变得更加严重。随着深度学习网络层数的增加，每层之后生成的梯度信息逐渐减少，经过多层处理后最终可能接近于0。为了解决梯度消失问题，第一个解决方案是最小化正向传递和反向传递之间的连接。依据此思想设计的网络架构，例如ResNet，Highway Network和FractalNets，可以有效地学习梯度信息以消除问题。这些网络结构的一个特征：在一层和后续层之间建立跨层连接可以缓解梯度消失的现象。第二种选择使用RNN方法。与跨层连接网络结构不同，RNN不会通过跨层连接传递参数，而是通过前后时间序列传递来提高网络模型的性能。尽管RNN的参数数量很少，但是在识别调制类型方面可以取得良好的性能

RNN具有循环连接，可以随着时间的推移向网络添加反馈和存储信息。该存储器形式增强了针对水声通信信号序列的深度学习网络的泛化能力。RNN会记住先前的信息，并将其应用于当前输出的计算。隐藏层之间的节点不再是无连接的，而是连接的。隐藏层输入不仅包括输入层的输出，还包括前一时刻隐藏层的输出。

RNN的计算方法表示为

s

上式是隐藏层(即循环层)的计算公式。M是输入在的权重矩阵，W是最后值s

但是，RNN体系结构也存在一个问题，尤其是在水声通信信号识别过程中。考虑到接收信号序列的延迟，甚至在多个序列之前和之后，它也会导致前后序列之间的相互干扰。这要求网络模型具有处理长序列的能力，但是RNN不能很好地处理长序列。主要原因之一是RNN在训练过程中容易出现梯度问题，包括梯度爆炸和梯度消失。这导致无法通过更长的序列传递，这使得RNN无法捕获长距离信号的影响。

梯度爆炸，通常更易于处理。当梯度值太大时，RNN将收到计算出的错误消息。如果梯度超过此阈值，则可以设置一个梯度阈值，可以直接截取。

梯度消失更难检测和处理。通常，有三种方法可以解决该问题：首先，设置一个合理的初始化权重值。初始化权重，以使每个神经元尽可能不取最大值或最小值，从而避免梯度消失的区域。第二种是使用Relu代替Sigmoid和Tanh作为激活函数。第三是使用RNN的其他结构，例如LSTM，如图3所示。考虑到前两种方法的效果有限，尤其是对于水下声通信数据集，仅初始化权重就不可能有效地解决问题。或使用Relu函数对长序列中的过度延迟产生影响。与RNN相比，LSTM主要增加了切换模式并引入了控制单元状态，以提高长序列信号数据的处理能力。

考虑到上述问题，本申请使用了复杂信号识别的LSTM网络如图4所示。

信号输入网络前的处理：调制信号的幅度和相位都作为二维矢量输入LSTM。因为信号的在完成复数形式到实数形式向量化及归一化之后，还需要考虑信号之间的关联及干扰问题。这些信号之间的问题，可以通过本申请所采用的LSTM的时序神经网络形式进行更好的处理。这主要是因为LSTM的长序列处理能力对于信号识别更为重要，因为信号识别的延迟太大且多径相互干扰严重。具体地，与内部结构如图5所示，相对应的计算公式主要包括

f

i

j

c′

c

等式(2)为遗忘门，M

上述开关实际上是通过门来实现的。当门控接通时等效于完全连接的层，它的输入是一个向量，输出是一个介于0和1之间的实向量。门是将元素的输出乘以受控向量，而门的输出是一个介于0和1之间的实向量。当门的输出为0时，任何乘以它的向量都会得到0向量，这意味着输入无法通过。当输出为1时，任何矢量都将相乘而没有任何变化，这表示输入可以通过。通用门由Sigmoid(·)函数实现。该函数的值范围是(0,1)，因此门的状态为半打开和半关闭。LSTM使用两个门来控制单元状态c的内容。一个是遗忘门，其确定在先前时刻的单元状态c

中间特征提取及优化层：三个LSTM层中每层由160个单元组成，最后一个是全连接层，其使用softmax函数将分类的特征映射到对应信号类型。在它们之间插入多个Dropout层，以提高网络模型的泛化能力。训练后的模型可能存在仅对于训练数据集有效，而不能识别其他相似的数据集的情况，这种现象称为过度拟合。通常，使用Dropout方法来避免过拟合，它比L1和L2正则化更灵活，更有效。LSTM的识别能力来自对不同的信号类型的深层特征的提取，包括模型有效学习的不同幅度和相位特性。考虑到水声通信中的信道效应会严重影响信号特性，因此LSTM模型可以学习更有区分价值的信号特性。此外，LSTM单元的数量和层深度对于识别很重要，当层数过多时，有无法克服的过度拟合信号数据集的问题。当为3层LSTM时，足以学习足够的信号特性以实现理想的信号类型分类。

S103，对最终的特征提取到的信号种类信息做最后的结果判定。

采用Dense层的形式进行最终的信号种类判断，方便最终结果的识别判定。

水下通信模型如图6所示，过程可以表达

其中，α(t)是要发送的信号，x(·)是要调制的信号。

第一，提高模型的泛化能力。仅仅叠加LSTM层，并不能直接改善信号种类的效果，通过采用Dropout技术可以有效处理LSTM网络过度拟合信号数据集的问题。

从图7可以看出，不同的Dropout参数会影响最终的训练效果，并且在选择Dropout＝50％时具有最佳的训练性能。主要原因是训练模型随机丢弃了50％的分支网络结构，因此能够获得最佳随机性，最终获得了最佳训练结果。

第二，水声无线通信过程中，从信号发端到信号收端会经历不同的传输路径，LSTM可以通过自身的长序列处理能力来有效识别通过多径干扰带来的信号识别干扰问题。

在图8中，示出了在8路径和6路径下的识别结果。在SNR>0dB的情况下，识别率更高，并且多径的增加不会影响结果。在SNR从-15dB到0dB的范围内，6路径更更高的识别率，这说明6路径的干扰小于8路径。这表明设计的LSTM具有强大的抗多径干扰能力。

第三，LSTM的网络形式还能有效的处理多普勒频移的问题，体现出对频率移动导致的信号相位变化后信号种类识别更好的鲁棒性。

图9示表示了针对在SNR范围的多普勒频移分别为10

第四方面，通过和不同类型的神经网络形式对比，更能体现出LSTM的识别优势。

用于比较的常见神经网络方法是人工神经网络(Artificial Neural Network，简称ANN)，多层感知器(Multi-Layer Perceptron，简称MLP)，深层神经网络(Deep NeuralNetworks,简称DNN)，卷积神经网络(Convolutional Neural Networks，简称CNN)。从图10可以看出LSTM在水声通信调制识别中的优势。在从-18dB到-10dB的较低SNR时，CNN领先LSTM约5％。在SNR>-10dB之后，LSTM具有优于其他神经网络方法的显着优势。

与上述实施例提供的一种基于深度时序神经网络的信号分类识别方法相对应，本申请还提供了一种基于深度时序神经网络的信号分类识别系统的实施例，参见图11，基于深度时序神经网络的信号分类识别系统20包括：归一化处理模块201、特征提取模块202和判定输出模块203。

所述归一化处理模块201，用于对输入深度时序神经网络的数据进行归一化处理。对输入的复数形式信号进行向量化处理；然后将向量化后的数据进行数据归一化处理。

所述特征提取模块202，用于将归一化处理后的数据输入所述深度时序神经网络进行特征提取。

所述深度时序神经网络包括多个LSTM层、全连接层和Dense层，所述LSTM层与所述全连接层之间插入Dropout层。通过多层的LSTM层和Dropout层的组合，形成信号的种类区分的特征提取及提高泛化能力的中间多层，有效完成信号种类的特征提取。所述深度时序神经网络最小化正向传递和反向传递之间的连接，以降低梯度消失的几率。或者，所述深度时序神经网络第一层和后续层之间建立跨层连接，以降低梯度消失的几率。所述从信号发端到信号收端会经历不同的传输路径，所述LSTM层通过自身的长序列处理能力来识别通过多径干扰带来的信号识别干扰。

所述判定输出模块203，用于对最终的特征提取到的信号种类信息做最后的结果判定。采用Dense层的形式进行最终的信号种类判断，然后将判定结果输出。

本申请还提供了一种设备，参见图12，设备30包括：处理器301、存储器302和通信接口303。

在图12中，处理器301、存储器302和通信接口303可以通过总线相互连接；总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器301通常是控制设备30的整体功能，例如设备30的启动、以及设备启动后对输入深度时序神经网络的数据进行归一化处理；将归一化处理后的数据输入所述深度时序神经网络进行特征提取；对最终的特征提取到的信号种类信息做最后的结果判定。

此外，处理器301可以是通用处理器，例如，中央处理器(英文：centralprocessing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。处理器也可以是微处理器(MCU)。处理器还可以包括硬件芯片。上述硬件芯片可以是专用集成电路(ASIC)，可编程逻辑器件(PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(CPLD)，现场可编程逻辑门阵列(FPGA)等。

存储器302被配置为存储计算机可执行指令以支持设备30数据的操作。存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

启动设备30后，处理器301和存储器302上电，处理器301读取并执行存储在存储器302内的计算机可执行指令，以完成上述基于深度时序神经网络的信号分类识别方法实施例中的全部或部分步骤。

通信接口303用于设备30传输数据，例如实现与用户之间的数据通信。通信接口303包括有线通信接口，还可以包括无线通信接口。其中，有线通信接口包括USB接口、MicroUSB接口，还可以包括以太网接口。无线通信接口可以为WLAN接口，蜂窝网络通信接口或其组合等。

在一个示意性实施例中，本申请实施例提供的设备30还包括电源组件，电源组件为设备30的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为设备30生成、管理和分配电力相关联的组件。

通信组件，通信组件被配置为便于设备30和其他设备之间有线或无线方式的通信。设备30可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

本申请说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统及设备实施例而言，由于其中的方法基本相似于方法的实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。