一种基于图片数据扩充的识别器处理方法

技术领域

本发明涉及机器学习技术领域，具体涉及一种基于图片数据扩充的识别器处理方法。

背景技术

深度学习方法作为机器学习中一个分支，是一种近些年来受到广泛关注的新型算法。图像识别是一个研究课题，相比传统的基于特征提取的识别方法，深度学习拥有更高的准确率与较快的识别速度。在深度学习中，数据量往往决定着深度学习网络的识别准确性，大批量数据训练的深度学习网络有着更好地泛化能力，网络的权重参数更加成熟，对未知数据类型的识别能力也较高。然而，在某些场合，获得的样本数量十分有限，如何用数量较少的训练样本训练出较好的网络是有着广泛研究前景的。另一方面，为了提取到更多的特征信息，深度学习网络的深度会增加，但随之而来的是“过拟合”问题，“过拟合”最直接的解决办法是增加训练数据集的大小。

常见的数据扩充算法有两种：基于生成对抗神经网络的数据再生与基于变分自编码机的数据扩充。生成对抗神经网络是站在博弈论的角度建立生成器与鉴别器，鉴别器要尽可能分辨出生成器生成的数据，生成器要生成鉴别器难以分辨真假的数据，两者互相对抗，协同优化。变分自编码机是站在概率的角度，提取原始数据的均值与方差，再合成新数据。两种方法都是建立在图像数据的基础上的，其主要目的是从生成数据的角度，产生接近原始数据但又不同的生成数据。目前，鉴别生成数据好坏的指标有两种：多样性和清晰度。多样性反映了生成图像之间差异性，是否生成了同样的数据。清晰度反映了生成图像的清晰程度。

发明内容

本发明的目的在于提供一种侧重于通过加入生成数据来训练识别器网络，提高识别器的泛化能力的基于图片数据扩充的识别器处理方法。

为实现上述目的，本发明采用的技术方案是：一种基于图片数据扩充的识别器处理方法，其创新点在于，包括以下步骤：

S1、数据集准备：将已有的多种类型的图片数据制成数据集，并贴上标签；

S2、数据扩充：先将图片与标签组成的数据集输入网络，生成网络完成数据的扩充，将扩充后的数据集与原始数据一起送入，训练识别器的权重参数；

S3、反馈结构：根据识别器对原始数据的测试结果，反馈到数据扩充模块，动态调整数据扩充模块的权重参数；以一批数据全部训练完为一个周期，如此反复循环扩充，反馈步骤，直至达到预设的训练周期数；

其中，数据扩充模块和识别器模块之间形成反馈结构。

进一步的，所述数据扩充模块采用深度学习方法，所述深度学习网络为差分条件变分自动编码器。

进一步的，所述识别器采用深度学习方法，所述深度学习网络为卷积神经网络。

进一步的，所述反馈结构是计算识别器的输出分布与数据标签分布之间的损失值，并将此损失值作为数据扩充模块损失函数的一部分。

进一步的，所述数据扩充模块包括编码单元与解码单元；所述编码单元是从原始数据的后验分布中采样得到中间变量，所述解码单元是从中间变量的分布中重建原始数据，得到扩充后的数据。

进一步的，所述解码单元与识别器之间形成反馈结构，调整解码单元的权重参数，优化解码器重建的生成数据。

进一步的，所述识别器是用扩充数据与原始数据一起训练网络的权重参数。

本发明有益效果为：

本发明通过利用数据扩充的方法，先对已有的数据扩充，然后将已有的数据与扩充后的数据一起训练识别器网络，并将识别结果反馈给数据扩充模块，动态调整数据扩充模块的权重参数。相比生成对抗网络在经过上千次训练后，再用扩充后的数据训练识别器，效率较低。本方法只需几百次训练就可以显著提高识别器的泛化能力，提升了识别器的识别准确度，方法简便，效率高。

附图说明

图1为本发明所示方法的流程图；

图2为传统的不加入扩充数据训练得到识别器；

图3为其他研究者加入生成对抗网络扩充的数据训练得到的识别器；

图4为场景1下仅用原始数据训练得到的网络的测试准确率；

图5为场景1下加入生成对抗网络生成的扩充数据训练得到的网络的测试准确率；

图6为场景1下加入本方法生成的扩充数据训练得到的网络的测试准确率；

图7为场景2下用原始数据与加入本方法扩充数据后训练得到的网络的测试准确率。

具体实施方式

下面结合附图对本发明作进一步的说明。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不用于限定本发明。

图1是算法的框图，不同模块的作用如下：

编码器从原始数据中获取均值与方差，分别记为μ

解码器是用中间变量生成扩充数据。解码器的参数为θ。

识别器是用卷积神经网络提取信号的特征信息，再用逻辑回归算法输出不同类别标签的概率值。θ

反馈结构是将识别器的判定结果告诉解码器，从而调整解码器的权重参数。

该算法分为两个步骤，第一步是用生成的数据和原始数据训练识别器，步骤二是用识别器识别再次生成的新数据，并将结果反馈给解码器，从而调整解码器的参数。算法的流程如下：

从数据集中随机抽取一批数据，x,y分别是图片与标签，标签是经过独热编码预处理后的，可记为{x,y}～P

中间变量z的后验概率为q

由q

z＝g

其中g

编码器的损失函数可记为：

L

其中KL(·)表示KL散度损失函数。表示q

由概率分布

其中D(·)表示解码器。

根据新生成的数据，用识别器对其做识别，识别器损失函数为：

其中，

E(·)是交叉熵损失函数，表示在分布q

相应的，解码器的损失函数可记为：

接着，利用梯度下降算法对编码器的损失函数反向求导，更新编码器的权重参数：

这里的λ是经验参数，可取为0.5。

利用梯度下降算法对识别器进行更新：

编码器再次生成一批新数据(步骤二)，记为

反馈结构的损失函数为：

其中，

利用梯度下降算法跟新解码器的参数：

完整的损失函数如下：

L＝L

重复以上(1)-(11)步骤，直至达到预设的训练周期。

保存最后一次训练的权重参数，作为最终的训练权重。

可行的，本实施例中实验对比采用不进行数据扩充训练得到识别器，如图2；其他研究者加入生成对抗网络生成的扩充数据训练得到的识别器，如图3。

测试案例：

为了测试本专利所提算法的有效性，以实际的图片识别为例展开说明。

按常见的信号调制类型对发送信号加以调制可得到不同的信道环境下的接收信号，信号可用图片的形式表示，该案例的目的是从接收信号中得到对应的调制类型。

对采集到的数据，按不同比例分成训练集与测试集，训练集用来训练模型，测试集用来测试模型的识别准确度。识别器均采用最简单的一层卷积神经网络层和一层全连接层的深度学习网络。

测试场景分为以下两种：

加性高斯白噪声仿真条件下的识别准确率，每种调制类型的训练数据与测试数据总和为300张图片。

实测室内信道条件下的识别准确率，每种调制类型的训练数据与测试数据总和为500张图片。

测试结果：

在加性高斯白噪声信道条件下，图4，图5，图6分别是仅用原始数据，加入生成对抗网络生成的数据，加入本方法生成的数据后的测试准确率与图片质量之间的关系示意图。图中说明指的是训练和测试集的比例。可见，测试准确率随着训练集的增大而上升；准确率随着图片的好坏程度而变化，当图片质量较好时，准确率达到100％；进一步地，当加入扩充数据后，准确率得到进一步提高，尤其是在图片质量较差的条件下。对比本方法与采用生成对抗网络扩充数据的方法，本方法性能更好。

在实测室内信道条件下，测试结果如图7。可见，本专利提供的识别器也是好于仅用原始数据训练得到的传统识别器。

以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。