一种基于极值优化的分数阶深度BP神经网络优化方法

技术领域

本发明属于人工智能技术领域，涉及一种基于极值优化的分数阶深度BP神经网络优化方法，具体涉及了深度BP神经网络的建模和极值优化算法的设计。

背景技术

神经网络作为一种功能强大的数据回归和分类工具，在机器学习、统计学和计算机视觉的领域受到了研究者的广泛关注。深度BP神经网络是受生物神经组织的工作原理启发，而发展起来的由大量处理单元构成的网络体系，其具有生物神经系统的基本特征，并具有大规模并行运行、分布式处理、自适应、自学习的优点。

分数阶微积分理论作为数学中的一个经典概念已有几百年的历史，它是基于任意分数阶的微分和积分，是目前流行的整数阶微积分的推广。较之传统的整数阶系统，分数阶系统具有收敛速度快、收敛准确性高的优点，因此分数阶系统在图像处理、机器学习和神经网络领域得到了广泛应用。

极值优化是一种受远离自组织临界性的平衡动力学启发，而发展起来的新的优化方法，已经成功地应用于各种组合优化问题。极值优化算法的基本原理，是选择当前求解范围中适应度值最低的个体及其相关的变量进行变异，从而使系统向最优解不断改进。所以，极值优化算法不会终止于平衡状态，而是不断地产生波动，以提高算法在求解域中的搜索能力。

国内外已有很多关于改进神经网络训练的研究工作，但其中大部分是对网络的训练参数进行迭代优化，而忽略了神经网络初始权值对神经网络性能的重要影响，这些方法通常存在易陷入局部极小值、耗时长、收敛速度慢的问题。

发明内容

针对现有技术的不足，本发明提出了一种基于极值优化的分数阶深度BP神经网络优化方法，利用群体极值优化算法(Population-based extremal optimization,PEO)对分数阶深度BP(PEO-FODBP)神经网络的初始权值进行择优选取，改善初始权值对神经网络造成的不良影响。

一种基于极值优化的分数阶深度BP神经网络优化方法，具体包括以下步骤：

步骤一、建立分数阶深度BP神经网络模型；

建立一个L层的深度BP神经网络模型，第l层的神经元节点数为n

神经网络的损失函数为

分数阶深度BP神经网络的反向传播过程可分为梯度传播与梯度计算两个部分。在梯度传播过程中，神经网络第l层的梯度传播项可定义为：

式中，

根据链式法则，δ

式中，f′(·)表示f(·)的一阶导数；

由此，在Caputo定义下的分数阶梯度计算可表示为：

其中，v为分数，表示分数阶的阶数，

神经网络各层的权值修正表达式为：

其中，t为自然数，表示神经网络的当前训练代数，μ为学习率。

步骤二、初始化参数；

初始化方法中的各项参数，包括：神经网络训练次数I

步骤三、产生初始种群；

P＝x

根据公式(6)随机产生初始种群P＝{S

步骤四、计算个体适应度；

将种群的个体S

步骤五、选择个体；

将T个种群的个体根据其适应度函数值f

步骤六、产生新种群；

根据不均匀变异(Non-uniform mutation,NUM)规则对步骤五选择后的种群进行变异操作，产生新种群P

其中e为(0,1)之间的随机数，x

步骤七、迭代循环；

重复步骤四～步骤六，得到新的最优个体S

本发明具有以下有益效果：

1、利用群体极值优化算法对分数阶深度BP神经网络的初始权值进行择优选取，达到提高神经网络性能的目的。

2、显著改善了分数阶深度BP神经网络易陷入局部极值的问题，提高了分数阶深度BP神经网络的性能，使其具有更强的可应用性。

3、群体极值优化方法和分数阶导数计算方法，可推广至其他更多的神经网络模型，推动了神经网络的优化研究。

附图说明

图1为分数阶深度BP神经网络的概念图；

图2为本优化方法的流程图；

图3为实施例中建立的分数阶深度BP神经网络结构图；

图4为实施例与其他算法的误差收敛图。

具体实施方式

以下结合附图对本发明作进一步的解释说明；

一种基于极值优化的分数阶深度BP神经网络优化方法，所述分数阶深度BP神经网络结构如图1所示，图2为本优化方法的流程图。

建立如图3所示的分数阶深度BP神经网络，该网络共有8层，前四层的外部节点有196个，内部节点有32个，第一层神经网络的内部节点输入为1；后四层神经网络无外部节点，内部节点64个。神经网络各层的激活函数为sigmoid函数。将其用于手写字体的识别中，仿真实验采用MATLAB进行软件编程，采用MNIST手写体数字数据进行识别仿真。MNIST手写体数字数据由60000个训练数据和10000个测试数据组成，每一组数据都由手写数字图像标准化而来。其中，一张数字图像有28×28个灰度数据，灰度值在0～255之间。在仿真实验中，将一张数字图像分为4部分，每部分有14×14个灰度数据，再将其排列成196×1的向量，最后将4组数据分别输入到神经网络进行训练。

仿真实验的各参数如表1所示。

表1

其中，Batch size为一次输入样本数量的个数。产生的神经网络初始权值服从标准正态分布。

表2为FODBP神经网络的训练精度与测试精度。表3为PEO-FODBP神经网络的训练精度与测试精度。从两个表中的数据可以发现，使用群体极值优化算法显著提高了分数阶深度BP神经网络的训练精度与测试精度，分数阶深度BP神经网络的性能显著提升。

表2

表3

如图4为本发明的PEO-FODBP算法与FODBP算法随着训练过程的误差收敛图，从图中可以发现，经过PEO算法优化后的分数阶深度BP神经网络的收敛速度更快，并且收敛精度更高。根据上述仿真实验结果，可以得出结论：本发明方法提出了基于群体极值优化的分数阶深度BP神经网络方法，与一般的分数阶深度BP神经网络相比，性能得到显著提升。利用本发明提出的方法，可以提高分数阶深度BP神经网络在各领域的应用性能。