一种基于多模态信息融合的通信辐射源跨模式识别方法

技术领域

本发明涉及通信领域和人工智能领域，具体涉及到一种基于多模态信息融合通信辐射源跨模式识别技术。

背景技术

通信辐射源模式是指其所使用的信道接入方式、定频频率、传输速率以及调制样式等用以实现通信的功能组合。一部通信辐射源往往具有多种模式。在一般情况下，通信辐射源会固定地在几种模式下工作；而当紧急情况下，比如通信辐射源在战时会选用其它模式工作。通信辐射源跨模式识别要解决的任务是，如何利用通信辐射源通常模式下的信息数据去识别紧急模式信息数据的通信辐射源类别。

典型通信辐射源识别包括基于专家系统的通信辐射源识别方法和基于数据驱动的通信辐射源识别方法。

基于专家系统的通信辐射源识别方法：建立专业的通信辐射源数据库,通过专家的领域知识来提取通信辐射源特征，实现通信辐射源同模式跨模式识别。该方法依赖领域专家的专家知识，系统性能的好坏大部分取决于人工提取的专家知识。而多变的跨模式识别难以人工提取通信辐射源判决知识。

基于数据驱动的通信辐射源识别方法：使用已知模式的通信辐射源信号数据训练神经网络，使之能够对已知模式通信辐射源信号进行分类，完成通信辐射源同模式识别，并拟合通信辐射源跨模式识别。该方法需要大量的已知模式通信辐射源电磁数据。对同模式数据识别能力优秀。但对于缺少数据的跨模式数据，其识别能力会有较大的损失。

发明内容

本发明为解决上述技术问题所采用的技术方案是，为解决现有基于单模态数据方法对通信辐射源跨模式识别能力不足的问题，提出一种通过引入通信辐射源的多模态信息，构建模态间关系图结构数据，将具有跨模式特征稳定的模态信息与传统通信数据进行多模态信息融合，形成了新的通信辐射源跨模式识别方法。

本发明为解决上述技术问题所采用的技术方案是，提供一种基于多模态信息融合的通信辐射源跨模式识别方法，包括以下步骤：

步骤一、构建并训练一个卷积神经网络作为多模态信息融合网络实现多模态特征提取以及跨模式样本的辐射源类别判定；训练时使用同模式的通信辐射源样本集作为训练样本集，训练样本集中包括多模态与单模态样本；多模态至少包括通信数据信息和调制信息，选择性包括图像信息和文本信息；

步骤二、提取各模态特征：调制特征由调制参数组成；对于文本信息，使用时文本空间嵌入方法映射为文本特征；通信数据特征和图像特征均是由通信数据信息和图像信息通过卷积神经网络中间层完成的特征提取；

步骤三、利用先验模型构建模态间关系图，模态间关系图中提取出的每个特征为一个节点，所有特征的节点均与调制特征节点有边，当文本特征有2个以上时，不同文本特征节点两两之间均有边；

步骤四、根据模态间关系图中的度将节点由大到小进行排序，节点的边越多，其度越高；度相同的特征节点划分为一个子图区域，并多模态信息融合网络将模态间关系图中各节点通过多层图卷积以及多次图收缩最终收缩为一个节点作为最终的跨模式数据向量，每一层图卷积用于完成节点的特征信息交流，每一次图收缩用于对当前度最高的节点以及度第二高的子图区域收缩为一个节点；最后使用全连接层对最终的跨模式数据向量进行降维；

步骤五、多模态信息融合网络中跨模式数据向量输入至softmax层，softmax层输出判决向量以实现通信辐射源跨模式的识别。

本发明先对通信辐射源进行多模态信息的采集，利用特征提取算法各自对相应模态信息进行特征提取。将多模态特征表征为模态间关系图中的节点，通过先验模型构建模态节点间的边关系。通过图卷积神经网络进行模态节点间的信息传递，通过图收缩技术进行模态节点的信息融合，避免了传统算法过度依赖电磁数据特征的问题，使得多模态信息能够有效参与到通信辐射源跨模式识别中。在保证同模式识别能力基本不变的同时，实现了通信辐射源跨模式识别能力相比传统算法的较大提升。

本发明模态间关系图由传统通信数据特征、调制特征、图像特征、文本特征等多模态特征组成。利用模态特征作为模态间关系图结构数据的节点，利用模态间的先验模型作为模态间关系图结构数据的边。图收缩指将通过节点信息交流融合逐步将图中边的两端点合并为一个节点。本发明利用图收缩和通信辐射源多模态信息，将模态间关系图结构数据收缩表征为一个特征向量，实现了基于多模态信息融合的通信辐射源跨模式识别。

本发明的有益效果是：

1.在仅利用通信辐射源的同模式电磁数据和其他模态信息的条件下，不仅获得了优秀的同模式下通信辐射源识别准确率，并且取得了不俗的跨模式下通信辐射源识别准确率。

2.具有模态鲁棒性。允许被识别的样本缺少部分模态信息，在文本信息和图像信息部分缺失或是完全缺失的情况下仍能够取得较好的同模式跨模式识别准确率。

3.扩展能力强。在先验模型下不仅可以引入上文提及的模态信息，还可以引入其他多模态信息参与构建模态间关系图。通过更多频次的图卷积与图收缩技术实现更多模态信息的融合。

图1为实施例多模态间关系图。

图2为实施例方法流程图。

具体实施方式

实施例具体可分为五个步骤，如图2所示：

步骤一、通过一个卷积神经网络作为多模态信息融合网络来提取通信数据信息、调制信息、图像信息以及文本信息中的特征，并将通信数据特征、调制特征、图像特征、文本特征等多模态特征组成的多模态特征实现模态信息的压缩，将多模态特征表征为多个一维向量，最后完成跨模式样本的辐射源类别判定。训练时使用同模式的通信辐射源样本集作为训练样本集，训练样本集中包括多模态与单模态样本；多模态至少包括通信数据信息和调制信息，选择性包括图像信息和文本信息；训练使用同模式的通信辐射源样本集作为训练样本集，训练样本集中的多模态与单模态样本各占一半。

利用先验知识设置各个模式类型的样本中心高维向量g

1)对隐藏层权重M

2)逐层计算隐藏层输出output

3)计算网络的损失loss(output

4)根据损失反向传播更新各隐藏层权重M

重复2)至4)直到loss达到预设门限，网络完成收敛，卷积神经网络的训练完成，固定网络参数。训练完成的卷积神经网络即可判定跨模式样本的辐射源类别。

步骤二、对于文本信息，使用时文本空间嵌入方法映射为特征向量即可。调制特征由调制参数组成。通信数据特征和图像特征均使用卷积神经网络进行特征提取。对于图像信息G，使用训练好的卷积神经网络的中间层输出作为图像信息G的图像特征向量。

对于通信数据信息s，先拼接裁取得到第i个信息片段s

步骤三、利用先验模型中关于模态之间关系的知识以及特征提取过后的多模态构建模态间关系图x。

通过多模态信息的特征提取工作，降低了多模态信息的复杂度。依照先验模型中各模态关系，将模态特征填入模态间关系图对应节点中，并用边连接相应节点：每个特征为一个节点，所有特征的节点均与调制特征节点有边，当文本特征有2个以上时，文本特征的节点两两之间也均有边。

如图1所述，实施例多模态信息中包括调制特征、通信数据特征、图像特征以及2个文本特征，文本特征1节点、文本特征2节点、通信数据特征节点和图像特征节点均与调制特征节点有边，文本特征1节点与文本特征2节点之间有边。

构建模态间关系图x中除了调制特征和通信数据特征是必须的，之外的其他模态均是非必要的，允许缺失。

步骤四、在同模式数据的特征利用卷积神经网络的图卷积和图收缩使得多模态信息融合为一个向量作为一个跨模式数据样本，实现通信辐射源同模式的识别：

在构建完模态间关系图x后，使用第一层图卷积h

每次对当前度最高的节点以及度第二高的子图区域进行图收缩最终收缩为一个节点：首先对度最高的调制特征节点x

步骤五、卷积神经网络将跨模式数据向量输入至softmax层输出判决向量，实现通信辐射源跨模式的识别。

本发明利用非电磁模态的跨模式特征稳定性，同模式跨模式识别能力兼顾，通过图卷积与图收缩技术实现了在先验模型指导下的通信辐射源多模态信息融合技术。不仅获得了相比传统卷积神经网络大幅度提高的跨模式识别能力，并且使得多模态信息融合网络的同模式识别能力与传统网络保持在同一水平。