一种分数阶反向传播神经网络的手写数字识别方法及系统

技术领域

本发明属于机器学习技术领域，具体涉及一种基于具有正则化项的分数阶反向传播神经网络的手写数字识别方法及系统。

背景技术

在智能化时代，手写数字识别的重要性体现在日常生活的各方面，例如，在金融市场上票据包含了大量手写数字信息，通过手写数字识别能够有效解决传统人工处理方式中的低效率、低时效和高人工成本问题。因此，发展手写数字识别的技术具有重要的实际意义。

随着机器学习理论的发展，许多机器学习方法的有效性与可行性得到了保证，例如神经网络方法。由于长记忆性和更多的自由度，分数阶导数已被成功地采用在机器学习领域。比起传统的整数阶神经网络方法，分数阶导数神经网络方法被证明具有更高的精度和更快的收敛速度。首先，良好的泛化性能对于神经网络学习数据特征是非常重要的，尤其是在小样本数据集的情况下。其次，梯度消失问题导致网络权重不被更新，最终导致训练失败；因此，缓解梯度消失对神经网络来说是相当重要的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于具有正则化项的分数阶反向传播神经网络的手写数字识别方法及系统，在分数阶神经网络中引入平方惩罚项和新的双交叉熵损失函数，具有高精度、快速收敛和良好的泛化性能等优点，能够准确快速地识别手写数字。

本发明方法采用的技术方案如下：一种基于具有正则化项的分数阶反向传播神经网络的手写数字识别方法，包括如下步骤：

对手写数字数据集的图像进行预处理；

构建带正则化项的双交叉熵损失函数；

构建带正则化项的分数阶反向传播神经网络模型；

根据预处理后的图像，设置分数阶反向传播神经网络的相关参数，对分数阶反向传播神经网络进行训练，最终得到适用于手写数字数据集的神经网络模型；

在适用于手写数字数据集的神经网络模型中，输入待识别的手写数字图片，对手写数字图片进行分类。

优选地，所述对图像进行预处理，包括：

原始手写数字数据集的输入数据为矩形图像矩阵，将其按行重新排序为单行多列向量；

将手写数字数据集的标签转化为one-hot向量。

优选地，所述构建带正则化项的双交叉熵损失函数，包括：

分别定义

y＝f(UG(Vx

其中V是输入层和隐藏层之间的权重矩阵，U是输出层和隐藏层之间的权重矩阵；G(·)＝(g(·),g(·),...,g(·))

为输出层和隐藏层之间的权重矩阵U的元素；

为输入层和隐藏层之间的权重矩阵V的元素；

令

设

其中f

ζ

带正则化项的双交叉熵损失函数为：

其中L

优选地，所述Caputo分数阶导数的Caputo导数算子为

其中，

优选地，所述构建带正则化项的分数阶反向传播神经网络模型，包括：

将Caputo分数阶导数表示为基于Caputo导数的泰勒级数展开式，所述泰勒级数展开式的高阶项被截断，而损失函数E(w)的一阶项被保留；

设计截断式分数阶神经网络；

设计混合截断式分数阶BP神经网络；

得到截断式分数阶神经网络、混合截断式分数阶神经网络的权重更新法则。

本发明系统采用的技术方案如下：一种分数阶反向传播神经网络的手写数字识别系统，包括以下模块：

预处理模块，用于对手写数字数据集的图像进行预处理；

损失函数构建模块，用于构建带正则化项的双交叉熵损失函数；

网络模型构建模块，用于构建带正则化项的分数阶反向传播神经网络模型；

训练模块，用于根据预处理后的图像，设置分数阶反向传播神经网络的相关参数，对分数阶反向传播神经网络进行训练，最终得到适用于手写数字数据集的神经网络模型；

分类模块，用于在适用于手写数字数据集的神经网络模型中，输入待识别的手写数字图片，对手写数字图片进行分类。

与现有技术相比，本发明取得的技术效果包括：

1、本发明基于具有正则化项的分数阶反向传播神经网络，可高效、精确地建立手写数字图片和其相对应的数字之间的系统关系。并且，通过可视化界面展示了待识别的手写数字图片以及对应的数字，更直观地显示了分类识别结果，满足了识别手写数字的需求。

2、本发明在分数阶神经网络中引入了一个平方惩罚项，从而具有更好的泛化性能。

3、本发明提出了一个新的双交叉熵损失函数作为神经网络的损失函数，从而获得了更高的精度。

4、本发明所采用的分数阶神经网络具有对真正极值点的收敛能力，保证了所提出的神经网络的真实收敛能力。在本发明的技术方案中，具有高精度、快速收敛和良好泛化性能的分数阶神经网络，能够准确快速地识别手写数字。

附图说明

图1为本发明实施例中分数阶反向传播神经网络的手写数字识别方法的流程图。

图2为本发明实施例中分数阶反向传播神经网络的损失函数值E

图3a、3b均为本发明实施例中分数阶反向传播神经网络的训练精度

图4为本发明实施例中TFO-BPNN神经网络识别手写数字的可视化界面示意图。

图5为本发明实施例中HTFO-BPNN神经网络识别手写数字的可视化界面示意图。

具体实施方式

下面结合实施例和附图对本发明做进一步的说明，但本发明的实施方式并不限于此。

实施例1

本发明基于具有正则化项的分数阶反向传播神经网络，可高效、精确地建立手写数字图片和其相对应的数字之间的系统关系。并且，通过所构建的可视化界面，展示了待识别的手写数字图片以及对应的输出数字，更直观地显示了分类识别结果，满足了识别手写数字的需求。

如图1所示，本实施例提供一种基于具有正则化项的分数阶反向传播神经网络的手写数字识别方法，包括如下步骤：

S1、对手写数字数据集的图像进行预处理。

在本实施例中，步骤S1对图像进行预处理，具体包括：

S11、本发明基于具有正则化项的分数阶反向传播神经网络，在训练神经网络之前，需要对输入数据进行预处理。对原始手写数字数据集的输入数据为28×28的矩形图像矩阵，将其按行重新排序为1×784的单行多列向量。

S12、该神经网络的损失函数为交叉熵函数。因此，将手写数字数据集的标签转化为one-hot向量。也就是说，标签“0”转化为(1,0,0,0,0,0,0,0,0,0),标签“1”转化为(0,1,0,0,0,0,0,0,0,0),以此类推。

S2、构建带正则化项的双交叉熵损失函数。

本实施例中，步骤S2具体包括：

S21、给出如下Caputo分数阶导数的定义。

记Caputo导数算子为

其中，

S22、分别定义

y＝f(UG(Vx

其中V是输入层和隐藏层之间的权重矩阵，U是输出层和隐藏层之间的权重矩阵；G(·)＝(g(·),g(·),...,g(·))

/>

为输出层和隐藏层之间的权重矩阵U的元素；

为输入层和隐藏层之间的权重矩阵V的元素。

为了简洁，令

S23、在训练样本数据集{(x

为了调整惩罚项(1-o

其中f

ζ

此外，基于损失函数(3)，一个带正则化项的双交叉熵损失函数被给出为：

其中L

本实施例采用带正则化项的双交叉熵损失函数(4)作为分数阶神经网络的损失函数，其收敛图如图2所示。

S3、构建带正则化项的分数阶反向传播神经网络模型。

在本实施例中，步骤S3具体包括：

S31、假设

其中：

公式(5)称为基于Caputo导数的泰勒级数展开式，该展开式的高阶项被截断，而损失函数E(w)的一阶项被保留。因此，公式(5)被改写为如下：

其中

S32、设计截断式分数阶神经网络，具体为：

当考虑平方惩罚项L

其中：

/>

而

S33、设计混合截断式分数阶BP神经网络，具体为：

当考虑到平方惩罚项L

其中，

S34、获得截断式分数阶神经网络、混合截断式分数阶神经网络的权重更新法则。

对于截断式分数阶神经网络TFO-BPNN和混合截断式分数阶神经网络HTFO-BPNN,当λ＝0时，两种情况都变成了没有平方惩罚项L

因此，TFO-BPNN和HTFO-BPNN的权重更新法则分别定义为：

其中：

S4、根据步骤S1预处理后的图像，设置分数阶反向传播神经网络的相关参数，对分数阶反向传播神经网络进行训练，最终得到适用于手写数字数据集的神经网络模型。

本实施例中，步骤S4具体包括：

S41、根据手写数字数据集，设置分数阶神经网络的学习参数、网络结构(p,n,q)以及初始权重w

S42、输入手写数字数据集的输入数据，根据公式(11)和公式(12)所示的截断式分数阶神经网络、混合截断式分数阶神经网络的权重更新法则，对神经网络权重进行迭代训练；直到到达最大迭代数，停止训练，保存训练后得到的神经网络模型。如图3a、图3b所示。

S5、在步骤S4得到的神经网络模型中，输入待识别的手写数字图片，对手写数字图片进行分类；并构建可视化界面，用于显示输入的手写数字图片和神经网络模型输出的数字，如图4、图5所示。

本实施例中，步骤S5具体为：基于MatlabR2016a构建手写数字GUI可视化界面；其次，输入待识别的手写数字图片，从TFO-BPNN和HTFO-BPNN中选择用于识别图片的网络方法；最后，手写数字GUI可视化界面显示识别的手写数字图片和识别结果。

实施例2

本实施例提供一种基于具有正则化项的分数阶反向传播神经网络的手写数字识别系统，具体包括以下模块：

预处理模块，用于对手写数字数据集的图像进行预处理；

损失函数构建模块，用于构建带正则化项的双交叉熵损失函数；

网络模型构建模块，用于构建带正则化项的分数阶反向传播神经网络模型；

训练模块，用于根据预处理后的图像，设置分数阶反向传播神经网络的相关参数，对分数阶反向传播神经网络进行训练，最终得到适用于手写数字数据集的神经网络模型；

分类模块，用于在适用于手写数字数据集的神经网络模型中，输入待识别的手写数字图片，对手写数字图片进行分类。

其中，所述损失函数构建模块构建带正则化项的双交叉熵损失函数，包括：

给出Caputo分数阶导数的定义；

分别定义

y＝f(UG(Vx

其中V是输入层和隐藏层之间的权重矩阵，U是输出层和隐藏层之间的权重矩阵；G(·)＝(g(·),g(·),...,g(·))

设

其中f

带正则化项的双交叉熵损失函数为：

其中L

进一步地，所述网络模型构建模块构建带正则化项的分数阶反向传播神经网络模型，包括：

将Caputo分数阶导数表示为基于Caputo导数的泰勒级数展开式，所述泰勒级数展开式的高阶项被截断，而损失函数E(w)的一阶项被保留；

设计截断式分数阶神经网络；

设计混合截断式分数阶BP神经网络；

得到截断式分数阶神经网络、混合截断式分数阶神经网络的权重更新法则。

本实施例的各模块分别用于实现实施例1中分数阶反向传播神经网络的手写数字识别方法的各步骤，其详细过程请参照实施例1，在此不赘述。

本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。