基于混合神经网络与注意力机制的海杂波预测方法及系统

技术领域

本发明涉及一种海杂波预测方法及系统，尤其涉及一种基于混合神经网络与注意力机制的海杂波预测方法及系统。

背景技术

海杂波背景下的目标检测在民用、军事方面有着很高的研究价值，随着目标和杂波类别的增多，现有的杂波分布模型常常难以与实际信号匹配，导致经典目标检测方法性能受环境影响严重，难以实现高性能检测。此外，由于复杂环境下的海杂波具有非线性、非平稳性和非高斯性等特点，海杂波无法完全被抑制，导致检测性能不稳定。

深度学习网络虽然广泛且长久地应用于图像处理，但它们对数字信号同样具有强大的处理能力。无论是输入一维信号、时序数据还是文本，深度学习网络都能采用新的方式处理数据，而且可以极为迅速地得出准确的结果。然而，现有的神经网络网络多为单一网络，且无法学习海杂波的复杂特征。

发明内容

发明目的：本发明提出一种可学习海杂波复杂特征以进行海杂波预测的方法。本发明的另一目的在于提出基于上述方法的海杂波预测系统。

技术方案：本发明所述的基于混合神经网络与注意力机制的海杂波预测方法，包括：

(1)对海杂波数据进行预处理；

(2)基于Attention机制，建立混合神经网络结构；

(3)将预处理后的海杂波数据输入所述混合神经网络结构，输出海杂波预测值。

进一步地，所述步骤(1)包括：

(11)获取检测到的海杂波数据，对其进行分段聚合近似，得到样本数据；

(12)对所述样本数据进行归一化、相空间重构，得到预处理后的数据；

(13)将所述预处理后的数据划分为训练集和测试集。

其中，分段聚合近似(PAA)将时间序列分割成多个子序列，每个子序列是以原始序列的均值来表示，实现时序信号的降维，应用在海杂波中以实现长时间海况的检测。

进一步地，步骤(2)中，所述混合神经网络结构包括CNN网络、LSTM模型、Attention机制、两层全连接层，所述CNN网络的输出经过Connect层输入到LSTM模型中，所述LSTM模型的输出输入到Attention机制中，再经过所述两层全连接层输出。

进一步地，所述CNN网络为三层结构，依次为第一卷积层、第二卷积层与池化层；其中，所述第一卷积层、第二卷积层均为1维。

优选得，所述第一卷积层、第二卷积层的激活函数均使用ReLU函数，输出如下公式所示：

其中，x

优选地，所述池化层采用最大池化方式，所述池化层的输出如下公式所示：

f(x)＝max(x

其中，x

优选地，所述Connect层包含Flatten层与RepeatVector层。

优选地，所述LSTM模型包括三层LSTM架构和BiLSTM网络，其中，在第一层LSTM后进行dropout。由于第一层LSTM的输入数据重复性高，在其后进行dropout可有效节省训练时间，防止过拟合。由于海杂波具有很强的时空相关性，所述三层LSTM架构输出输入到所述BiLSTM网络中，通过BiLSTM对数据进行双向预测，实现更细粒度的分类，所述BiLSTM网络的隐藏层参与正向反向计算，更完备地考虑到海杂波数据的序列依赖性。

进一步地，所述Attention机制计算公式如下：

其中，key

输入序列无论长短，经过LSTM模型后，都会被编码成一个固定长度的向量表示，而解码会受限于该固定长度的向量表示。所以当输入的海杂波序列比较长时，模型的性能会降低。Attention机制解决了这种限制，通过保留LSTM网络对输入序列的输出结果，训练一个模型来对这些输入进行选择性的学习，提取关键特征，并且在模型输出时将输出序列与之关联，得到序列的完整特征表示，提高了预测能力。

本发明所述的基于混合神经网络与注意力机制的海杂波预测系统包括：

数据处理模块，用于对获取的海杂波数据进行预处理；

预测模块，用于基于Attention机制，建立混合神经网络结构，将所述数据处理模块预处理后的海杂波数据输入所述混合神经网络结构，输出海杂波预测值。

有益效果：本发明提高了海杂波预测的泛化能力和目标识别精度。

附图说明

图1为本发明方法的混合神经网络结构图；

图2为#31文件第3距离门一段无目标海杂波序列图；

图3(a)、(b)、(c)分别为利用CNN-BiLSTM对不含目标的原始海杂波信号预测得到的预测值与真实值对比图、预测值与真实值间的绝对误差仿真图、预测值与真实值间的相对误差仿真图；

图4(a)、(b)、(c)分别为利用本发明的混合神经网络结构对不含目标的原始海杂波信号预测得到的预测值与真实值对比图、预测值与真实值间的绝对误差仿真图、预测值与真实值间的相对误差仿真图；

图5(a)、(b)、(c)分别为利用本发明的混合神经网络结构对含13dB仿真目标的去噪后海杂波信号预测得到的预测值与真实值对比图、预测值与真实值间的绝对误差仿真图、预测值与真实值间的相对误差仿真图；

图6(a)、(b)、(c)分别为利用本发明的混合神经网络结构对含41dB仿真目标的去噪后海杂波信号预测得到的预测值与真实值对比图、预测值与真实值间的绝对误差仿真图、预测值与真实值间的相对误差仿真图；

图7为#31文件第7距离门有目标海杂波序列图；

图8为压缩后的#31文件第7距离门有目标海杂波序列；

图9(a)、(b)、(c)分别为利用本发明的混合神经网络结构对不含目标的第3距离门的海杂波信号预测得到的预测值与真实值对比图、预测值与真实值间的绝对误差仿真图、预测值与真实值间的相对误差仿真图；

图10(a)、(b)、(c)分别为利用本发明的混合神经网络结构对含真实目标的第7距离门的海杂波信号预测得到的预测值与真实值对比图、预测值与真实值间的绝对误差仿真图、预测值与真实值间的相对误差仿真图；

图11(a)、(b)、(c)分别为利用本发明的混合神经网络结构对图10中1处原始海杂波的预测得到的预测值与真实值对比图、预测值与真实值间的绝对误差仿真图、预测值与真实值间的相对误差仿真图；

图12(a)、(b)、(c)分别为利用本发明的混合神经网络结构对图10中2处原始海杂波的预测得到的预测值与真实值对比图、预测值与真实值间的绝对误差仿真图、预测值与真实值间的相对误差仿真图；

图13(a)、(b)、(c)分别为利用本发明的混合神经网络结构对图10中3处原始海杂波的预测得到的预测值与真实值对比图、预测值与真实值间的绝对误差仿真图、预测值与真实值间的相对误差仿真图；

图14(a)、(b)、(c)分别为利用本发明的混合神经网络结构对图9中4处原始海杂波的预测得到的预测值与真实值对比图、预测值与真实值间的绝对误差仿真图、预测值与真实值间的相对误差仿真图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明所述的基于混合神经网络与注意力机制的海杂波预测方法，包括如下步骤：

如图1所示，对获取的海杂波数据进行归一化、相空间重构的预处理后，以4*1的长度输入CNN网络，即每四个数据得到一个预测值。所述CNN网络使用两层一维卷积层(依次记作卷积层1和卷积层2)与一层池化层。所述卷积层1的过滤器个数(即输出维度)为256，卷积核长度为2，高度为1。所述卷积层2的过滤器个数为128，卷积核大小同样为2*1。两层卷积层的激活函数均使用ReLU函数，得到卷积层的输出如下式(1)：

其中，x

所述池化层加在所述第二卷积层后，对其输出进行下采样，以减小下层输入的尺寸，起到降维的作用。采用最大池化方式(Max Pooling)，取各样本的最大值。

池化窗口大小为2*2，步长为1，得到池化层的输出如下式(2)：

f(x)＝max(x

所述CNN网络的输出经过Connect层输入到LSTM网络中，所述Connect层包含Flatten层与RepeatVector层，其中Flatten层可将多维的输入一维化而不丢失时间轴，常用在卷积层到全连接层的过渡，由于滑动窗口设为4，因此“压平”后的数据重复四次输入到LSTM模型中继续训练。

所述LSTM模型包括三层LSTM网络，每层网络隐藏层的神经元个数units均为100，第一层LSTM的输入数据重复性高，在其后进行50％的dropout，可有效地节省训练时间，防止过拟合。考虑到海杂波具有很强的时空相关性，经过三层LSTM网络的输出数据输入BiLSTM网络，隐藏层参与正向反向计算，更完备的考虑到海杂波数据的序列依赖性。所述BiLSTM网络输入维度为100*1，隐藏层神经元个数为128，激活函数仍然选择ReLU。

输入序列无论长短，经过LSTM模型后，都会被编码成一个固定长度的向量表示，而解码会受限于该固定长度的向量表示。所以当输入的海杂波序列比较长时，模型的性能会降低。Attention机制解决了这种限制，通过保留LSTM网络对输入序列的输出结果，训练一个模型来对这些输入进行选择性的学习，提取关键特征，并且在模型输出时将输出序列与之关联，得到序列的完整特征表示。t时刻的输入信息分为key与value对，给定向量query与key的相似度即为权重，再乘以对应的value，可以得到t时刻的隐藏状态对输入序列t时刻的注意程度。计算公式如式(3)所示。

注意力机制的输出经过两层全连接层后输出，所述全连接层在深度学习神经网络中可作为“分类器”存在。全连接层1的神经单元结点数(输出维度)为100，激活函数选择ReLU函数。全连接层2的输出长度为1，将网络输出的固定长度的向量映射为一个具体的数字，即预测值。

海杂波数据按8：2的比例分为训练集与测试集。预测过程在TensorFlow1.14环境下进行，计算机配置为：CPU：i7-6700HQ，GPU：Nvidia 1060Ti，计算机内存8GB。训练过程中学习率为0.0001，dropout为0.5，batch size为32，迭代次数为100，网络优化算法为Adam(自适应矩预估)，损失函数选用MSE(均方误差)：

选用决定系数R

式中，y

训练过程中输出进度条记录，观察损失函数值MSE的收敛情况。

采用上述方法，可实现海杂波数据的预测。

根据上述实施例方法，以下对基于混合神经网络与注意力机制的海杂波预测方法从海杂波预测方面进行性能分析：

本实施例在实际测量实验中，将本发明所述的混合神经网络结构应用于加拿大McMaster大学的IPIX雷达海杂波数据，该雷达发射频率为9.39GHz，天线高度30m，HH极化方式，每个数据包含131072个采样点，对应131秒，14个距离门，天线增益为45.7dB，海上漂浮目标为一个用钢丝网包裹的球形发泡胶块。本发明选用#31文件进行分析。

1.加Attention前后CNN-BiLSTM模型的预测对比实验

数据样本选用第3距离门不含目标信号的连续海杂波数据作为无目标序列，如图2所示，横轴表示数据量，竖轴表示归一化后数据的幅值。选取前2400个点作为训练集，后续的600个点作为预测集，对比加Attention前后模型的预测效果。CNN-BiLSTM模型预测实验结果如图3所示，所述混合神经网络结构预测实验如图4所示。两种模型预测结果的决定系数R

表1两种模型的决定系数R

通过表1和图3、图4得出，两种模型输出的海杂波信号的训练集与测试集的决定系数误差都较小，说明该模型没有出现过拟合，验证了两种模型的有效性，但所述混合神经网络结构明显具有更高的预测精度。对比绝对误差与相对误差，所述混合神经网络结构显示的误差变化更为明显，对海杂波信号中的噪声与海尖峰更为敏感。加入Attention后，模型的训练集与测试集的决定系数分别提高了11.69％、15.41％。预测结果说明，Attention能有效的提高CNN-BiLSTM模型的预测和泛化能力，使得长序列的预测更为稳定。

2.加仿真目标的海杂波信号预测实验

为进一步探究对加入仿真目标的海杂波信号的预测效果，在无目标海杂波信号中加入不同幅值的瞬态信号s(n)作为仿真目标，在预测集的第151～200个点处叠加s(n)，信噪比SNR分别为13dB、41dB，得到目标信号，输入所述混合神经网络结构进行预测。图5、图6分别给出了加入13dB、41dB仿真目标信号的预测结果。两类含仿真目标信号的预测结果的决定系数R

表2两类含仿真目标信号的决定系数R

对比实验二中的两个实验，含有13dB仿真目标的海杂波信号的预测绝对误差和相对误差突变更明显。对于含有41dB仿真目标的海杂波信号，其预测绝对误差和相对误差只是有细微变化。进一步从IPIX其他数据文件中选取20个距离单元中的无目标海杂波信号并添加仿真目标进行测试，20个样本均能检测出35dB以下的目标信号。由此可以看出，所述混合神经网络结构对非平稳特征以及时间依赖特征的考虑更加全面，具有良好的预测海杂波数据的能力，但它对35dB以下的目标信号较为敏感，对35dB以上的目标信号的预测能力不佳。

3.真实目标所在距离门的海杂波信号预测实验

选择目标所在的第7距离门的海杂波信号，由于此海杂波信号采样点频率为1000Hz，海浪周期通常为秒级，为了监测长时间的海面状况，且考虑到数据特征不丢失，对131072个数据点进行分段聚合近似(PAA)，每0.043秒，即43个点取平均，构成3000个点的样本数据，原始信号与压缩后信号如图7、图8所示。训练集选取前2400个点，后续的600个点作为测试集，来探究模型的预测与目标检测能力。对不含目标的第3距离门的海杂波信号作相同处理进行对比。预测结果如图9、图10所示。对有无目标的海杂波信号预测的决定系数R

表3对有无目标的海杂波信号预测的决定系数R

通过对比有目标与无目标海杂波信号的预测结果，可以发现，两类信号绝对误差的范围变化不大，而有目标信号的相对误差能达到-100，可以认为相对误差尖峰处范围内出现了目标。对比训练集与测试集相关系数R

4.验证实验

找出图10中相对误差尖峰1、2、3以及图9中4处对应的原始海杂波数据，每个范围选3000个点。如图11-13所示，分别对应1、2、3处的预测结果。

由图11的预测结果可以看出，即使信号被压缩，目标信号也能被有效的检测出来。对比图11、12、13，我们认为目标信号极有可能具有周期性，利用这一特征可对海杂波做出不一样的处理方式。下一步，对无目标信号预测结果中相对误差尖峰处做预测，观察它与含目标信号的不同。图14为4处的信号预测结果。

对比图11-13，可发现明显的海尖峰，信号相对误差大的地方也似乎含有周期信号。通过以上实验发现，无论信号周期性的强弱，都会被当作异常检测出来，这会导致虚警的发生。然而，图9(c)中，从整个距离门的预测实验结果来看，这些异常点的相对误差变得十分小，只有不到-3。图13(a)中，目标所在处相对误差小于-0.2，而在图10中1处，其相对误差达到了20。我们认为，实验三这种取平均压缩信号的方法是有效的，能够使海尖峰的影响变低，突出目标信号，降低虚警概率。但是要注意压缩信号选取的尺度，需要防止丢失数据信息。

根据上述实验结果，得到如下结论：

本发明采用深度学习方法进行海杂波目标检测，提出了CNN、BiLSTM与注意力机制相结合的神经网络模型。CNN神经网络将输入数据的特征提取为高维特征图，使有用信息变短，随后经过Connect层输入到LSTM神经网络中，使其不易忘记数据特征。即使网络参数固定不变，随着时间的变化，网络模型仍较为稳定，提高了神经网络的处理能力。采用IPIX雷达海杂波数据的实证结果表明，模型对海杂波信号的预测效果良好。通过比较不含目标、含仿真目标与含真实目标的海杂波信号预测值与真实值的误差，能够实现目标检测能力。

本发明所述的基于混合神经网络与注意力机制的海杂波预测系统包括：

数据处理模块，用于对获取的海杂波数据进行预处理；

预测模块，用于基于Attention机制，建立混合神经网络结构，将所述数据处理模块预处理后的海杂波数据输入所述混合神经网络结构，输出海杂波预测值。