改进多模型机制的神经网络输出后处理方法

技术领域

本发明涉及一种神经网络后处理方法，具体涉及一种改进多模型机制的神经网络输出后处理方法，属于人工智能技术领域。

背景技术

随着计算机计算能力和储存能力的发展，能够对大量数据进行分析的神经网络在各个方面得到了广泛应用。

神经网络的输出受到初始化方法、模型结构等多种因素的影响，其输出范围在训练开始时随机性较大。因此神经网络在处理回归问题时，训练过程中需要首先将神经网络的输出训练到所需范围内，而后再对其进行更细致的调整。

传统的神经网络训练方法拖慢了神经网络的训练速度，浪费了大量的计算量和时间，不利于神经网络输出精度的提升。因此，有必要研究一种能够提升神经网络在回归问题中训练速度的方法。

发明内容

为了克服上述问题，本发明人进行了深入研究，提出了一种改进多模型机制的神经网络输出后处理方法，通过设置多模型层神经网络，使用训练后的多模型层神经网络对输入数据进行辨识或预测，获得最终的辨识或预测结果，

所述多模型层神经网络，包括神经网络模块和多模型层模块，

所述神经网络模块包括输入层、隐含层和输出层，所述多模型层模块设置在神经网络模块的隐含层与输出层之间，在多模型层模块中具有模型，所述模型中含有多个单元，每个单元将隐含层的输出结果作为输入，多个单元的输出结果合并回归后作为模型的输出传递至输出层。

优选地，所述输出层神经元的个数为多个，以输出不同类别的结果。

优选地，所述模型的数量与输出层中神经元的数量相同，使得每组模型对应一个神经元，且该模型的输出仅传递至与其对应的神经元中。

在一个优选的实施方式中，所述多个单元设置为2～10个。

在一个优选的实施方式中，所述模型的输出设置为：

其中，O

在一个优选的实施方式中，在训练多模型层神经网络前预先设置模型中不同单元状态值，在训练过程中单元状态值保持不变。

在一个优选的实施方式中，模型的状态向量设置为：

其中，D

在一个优选的实施方式中，模型的权重向量设置为：

其中G

在一个优选的实施方式中，在训练阶段，无需先将神经网络输出层的输出训练到所需范围内。

另一方面，本发明还提供了一种改进多模型机制的神经网络输出后处理辨识或预测装置，

该装置包括神经网络模块和多模型层模块，所述神经网络模块包括输入层、隐含层和输出层，

所述输入层，用于处理输入数据；

所述隐含层，连接输入层，对输入层输出的数据进行运算；

所述输出层，用于输出辨识或预测结果，所述输出层具有多个神经元以输出多种结果；

所述多模型层模块，设置在神经网络模块的隐含层与输出层之间，在多模型层模块中具有模型，所述模型中含有多个单元，每个单元将隐含层的输出结果作为输入，多个单元的输出结果合并回归后作为模型的输出传递至输出层。

在一个优选的实施方式中，在多模型层模块中，不同模型、不同单元具有不同的状态值λ

其中，D

本发明所具有的有益效果包括：

(1)使得多模型机制可以用于多输出情况下；

(2)训练过程中无需将神经网络的输出训练到所需范围内，提高了训练效率；

(3)降低了神经网络训练初始损失函数值，训练过程中损失函数下降快，可以减少训练次数，降低训练时间；

(4)最终损失函数值小，提高了神经网络的辨识或预测准确性。

附图说明

图1示出根据本发明一种优选实施方式的改进多模型机制的神经网络结构示意图；

图2示出实施例1中的改进多模型机制的神经网络结构示意图；

图3示出实施例1与对比例1中神经网络训练后的神经网络损失函数情况。

具体实施方式

下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

本发明提供了一种改进多模型机制的神经网络输出后处理方法，通过设置多模型层神经网络，使用训练后的多模型层神经网络对输入数据进行辨识或预测，获得最终的辨识或预测结果。

优选地，所述输入数据为我方飞行器加速度、我方飞行器速度倾角、我方飞行器速度偏角、敌我双方相对位置、敌我双方相对速度，所述最终的辨识结果为地方拦截弹制导律，多模型层神经网络对输入的数据进行辨识，从而获得敌方拦截弹制导律，根据敌方拦截弹制导律，修正导弹自身制导律，以实现对敌方拦截弹的规避。

具体地，该方法包括以下步骤：

S1、设置多模型层神经网络；

S2、对多模型层神经网络网络进行训练；

S3、将待辨识或预测数据输入多模型层的神经网络，获得最终的辨识或预测结果。

在S1中，所述多模型层神经网络，包括神经网络模块和多模型层模块，如图1所示。

所述神经网络模块为任意一种已知的神经网络，例如GRU神经网络，其包括输入层、隐含层和输出层。

所述输入层，用于处理输入数据；

所述隐含层，连接输入层，对输入层输出的数据进行运算；

所述输出层，用于输出辨识或预测结果，可以具有多个神经元以输出多种结果。

所述多模型层模块，设置在神经网络模块的隐含层与输出层之间，可以具有多个模型，所述模型中含有多个单元，每个单元将隐含层的输出结果作为输入，多个单元的输出结果合并回归后作为模型的输出传递至输出层，由输出层输出最终的结果。

通过设置多个模型，使得改进后的多模型机制能够处理多输出问题，极大地提高了方法的适用范围。

进一步地，多模型层模块中模型数量与输出层中神经元的数量相同，使得每个模型对应一个神经元，且该模型的输出仅传递至与其对应的神经元中。

优选地，所述多个单元设置为2～10个，具体单元数量本领域技术人员可通过多次实验确定。

进一步地，在多模型层模块中，为不同模型、不同单元设置不同的状态值λ

优选地，状态值λ

优选地，第i组模型中不同单元状态值的集合记为状态向量Λ

更优选地，将第i组模型的状态向量设置为：

其中，D

根据本发明，每组模型中，不同单元具有不同的权重，优选地，模型的权重向量设置为：

其中G

优选地，所述激活函数为softmax函数。

在一个优选的实施方式中，第i组模型的回归值O

其中，Λ

在本发明中，通过设置多模型层模块，将迁移学习的思想引入多模型机制，降低了最终损失函数，提高了神经网络的辨识或预测准确性。

在S2中，通过训练样本对多模型层的神经网络进行训练。

不同于传统神经网络的训练，在本发明中，在训练开始阶段，由于模型中不同单元的权重系数之和为1，即模型整体的权重系数为1，所以无需先将神经网络输出层的输出训练到所需范围内。

进一步地，在训练过程中，多模型层模块中不同单元的权重系数G

相比于传统的神经网络，本发明训练过程中，网络的输出值在一开始就处于所需范围内，而传统神经网络需要现将输出范围训练到合理范围内(例如初始化后的神经网络输出范围为[0,100]，而样本库中样本标签范围为[0,0.01]，则传统神经网络需要先将输出范围调整至[0,0.01]，而后才能进行差异化训练)，同时该神经网络允许不同单元均发生变化，只要训练后的回归值为所需值即可，使得训练过程中损失函数下降更快，并且最终获得的损失函数值更小。

在S3中，与传统神经网络相同，将待辨识或预测数据输入多模型层的神经网络，即可获得最终的辨识或预测结果，具体过程在本发明中不再赘述。

另一方面，本发明还提供了一种改进多模型机制的神经网络输出后处理辨识或预测装置，该装置包括神经网络模块和多模型层模块，所述神经网络模块包括输入层、隐含层和输出层。

所述输入层，用于处理输入数据；

所述隐含层，连接输入层，对输入层输出的数据进行运算；

所述输出层，用于输出辨识或预测结果，

所述多模型层模块，设置在神经网络模块的隐含层与输出层之间，在多模型层模块中具有模型，所述模型中含有多个单元，每个单元将隐含层的输出结果作为输入，多个单元的输出结果合并回归后作为模型的输出传递至输出层。

优选地，所述输出层具有多个神经元以输出多种结果，以输出不同类别的结果；

优选地，所述模型具有多个，更优选地，所述模型数量与输出层中神经元的数量相同，且所述模型与输出层中的神经元一一对应，使得一组模型的输出仅传递至与其对应的输出层神经元中。

优选地，在多模型层模块中，不同模型、不同单元具有不同的状态值λ

其中，D

优选地，模型的权重向量为：

其中G

优选地，所述激活函数为softmax函数。

在一个优选的实施方式中，第i组模型的输出值O

其中，Λ

实施例

实施例1

以改进多模型机制的神经网络输出后处理方法进行文献【王因翰,范世鹏,吴广,王江,何绍溟.基于GRU的敌方拦截弹制导律快速辨识方法[J/OL].航空学报:1-11[2021-06-09].http://kns.cnki.net/kcms/detail/11.1929.v.20210203.1402.013.html.】中提到的敌方拦截弹制导律快速辨识问题，通过设置多模型层神经网络，使用训练后的多模型层神经网络对输入数据进行辨识，获得最终的敌方拦截弹制导律辨识结果。

其中，样本来源及提取方法与该文献中所提方法一致，需注意的是原文献中是一个分类问题，在本实施例中提取数据时需将其样本输出设置为制导律参数而原文献中的非分类标签，因此，将样本输出范围设置为2.5-5.5，输出范围设置为0.10-0.40，其余设置与原文献完全相同。

在本实施例中，多模型层神经网络，包括神经网络模块和多模型层模块，如图2所示，其中，神经网络模块为GRU神经网络，其输入层、隐含层和输出层的结构与原文献中的神经网络结构相同，即隐含层数量为3，每个隐含层GRU神经元数量为96，输出层的神经元为两个；

多模型层模块设置在神经网络模块的隐含层与输出层之间，在多模型层模块中具有两组模型，每组模型中含有2个单元，每个单元将隐含层的输出结果作为输入，2个单元的输出结果合并回归后作为模型的输出传递至输出层。

模型的输出值O

模型的状态向量为：

模型的权重向量为：

统计

对比例1

采用原文献中的方法进行进行辨识，获得最终的敌方拦截弹制导律辨识结果。

实验例

损失函数用于表征神经网络每次迭代的前向计算结果与真实值的差距，损失函数越小，表示神经网络输出与真实值越接近。

统计训练次数为1～1000时，实施例1和对比例1中训练后的神经网络损失函数情况如图3所示，对比例1中的方法训练的神经网络，初始损失函数是0.3366，而实施例1中的方法训练的神经网络，初始损失函数为0.0834，即训练初始损失函数值具有极大的降低。

并且从图上可以看出，训练过程中实施例1中损失函数下降更快，即实施例1中的方法需要较少的训练次数即可达到与对比例1中方法相同的辨识准确率。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“前”、“后”等指示的方位或位置关系为基于本发明工作状态下的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”“相连”“连接”应作广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体的连接普通；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。