一种加权残差神经网络的构建方法

技术领域

本发明涉及计算机机器视觉中的图像分类领域，尤其是一种加权残差神经网络的构建方法。

背景技术

目前，计算机机器视觉中的神经网络技术，被广泛的应用于图像分类、目标检测、图像分割、人脸识别、行为识别等众多领域。在这些领域中，图像分类是最为基础的技术。其他领域所使用的神经网络，大都利用图像分类的神经网络作为其主干网络，在添加其他功能模块之后实现。因此，高性能的图像分类网络对于基于神经网络技术的机器视觉非常的重要。

残差网络作为图像分类网络中较为流行的一类网络，主要利用了可重复堆叠的残差模块。残差模块中，引入了旁路分支，使得模型训练时参数梯度信息可以更好的反传，避免神经网络层数过深时出现的精度下降问题。这一思想，也广泛的应用在了现代的各类图像领域的神经网络中。

在残差模块中，最为重要的特点是旁路分支的引入。在每个残差模块的输出端，需要将旁路分支与主分支进行合并，目前一般的做法是：将两个分支的输出直接相加。这种方法的好处是结构简单，也能取得较好的性能。然而主分支输出的信息，经过了更多的网络层，理论上拥有更为丰富的特征表达信息，直接与网络层较少的旁路分支输出相加，可能会消弱主分支提取到的特征，从而影响模型精度的提升。正如申请号为“201810485738.X”、名称为“一种基于多路特征加权的残差卷积神经网络图像分类方法”的中国发明专利，其包括以下步骤：1)模型的输入图像为经过预处理的原始图像，经过预处理的图像裁剪为一个固定尺寸；2)对图像进行较大尺寸的卷积操作和池化操作；3)将步骤2) 中输出的特征送入第一个多路特征加权残差模块；4)将步骤3)中多路特征加权残差模块的输出继续送入下一个多路特征加权残差模块，在经过多个多路特征加权残差模块后，输出的特征图像尺寸会逐渐缩小直至变为较小尺寸，最后经过一个平均池化层缩小为特征点；所得特征点直接送入分类层进行分类或经过全连接层后再进行分类；该技术同样存在上述问题。

因此，急需要提出一种架构简单、占用资源小、输出特征丰富、运算工作量少的加权残差神经网络及其构建方法。

发明内容

针对上述问题，本发明的目的在于提供一种加权残差神经网络的构建方法，本发明采用的技术方案如下：

一种加权残差神经网络的构建方法，所述加权残差神经网络由从前至后依次连接的根部模块、数个加权残缺模块和头部模块组成；所述加权残差神经网络的构建方法，包括以下步骤：

从前至后依次连接卷积层、批归一化层和激活层，并封装成根部模块；

采用并行的主分支和旁路分支封装得到加权残缺模块；所述主分支由从前至后按卷积层、批归一化层、激活层的顺利重复数次后封装而成；

若加权残差神经网络进行下采样，则所述旁路分支由卷积层与旁路分支网络并行组成；所述旁路分支网络由从前至后按卷积层、批归一化层、激活层的顺利重复数次后封装而成；

否则，所述旁路分支由从前至后按卷积层、批归一化层、激活层的顺利重复数次后封装而成；

从前至后依次连接全局平均池化层、全连接层和激活层，并封装成头部模块；

将根部模块、数个加权残缺模块和头部模块依次连接，得到加权残差神经网络。

进一步地，所述加权残差神经网络进行下采样时，主分支的首个卷积层和旁路分支的卷积层的步长均为2，且主分支的剩余的卷积层的步长均为1；所述加权残差神经网络中步长为2的卷积层的输出通道的数量是其输入通道的数量的两倍，且加权残差神经网络中步长为1的卷积层的输出通道的数量等于其输入通道的数量。

进一步地，对任一所述加权残缺模块进行权重值求解，包括以下步骤：

对主分支和旁路分支的输出做全局平均池化计算，其表达式为：

c

其中，X

在任一加权残缺模块的通道维度上拼接全局平均池化计算的结果，并利用两个全连接层计算求得主分支的加权的权重值，其表达式为：

w＝sigmoid(dense

其中，concat表示通道拼接操作函数，dense

更进一步地，在任一所述加权残缺模块中，对主分支和旁路分支进行加权求和，其表达式为：

x＝w*X

其中，*操作表示保持通道并对其他维度进行广播扩展的元素积；w为主分支的权重值；(1-w)为旁路分支的权重值。

更进一步地，利用所述两个全连接层计算求得加权的权重值，且第一个全连接层的输出单元数的表达式为：

h

其中，ch

更进一步地，利用所述两个全连接层计算求得加权的权重值，且第二个全连接层的输出单元数等于旁路分支的通道数。

优选地，所述a和b均取值为8。

优选地，所述加权残缺模块设置大于10个。

与现有技术相比，本发明具有以下有益效果：

(1)本发明巧妙地在每一个残差模块中，使用两个运算量很小的全连接层，即可得到权重值，并根据权重值，对残差模块中的主分支和旁路分支进行加权求和，即可得到残差模块的输出；如此一来，便能实现简洁高效、部署后消耗的计算资源小，使得整个网络效率很高；

(2)本发明巧妙地根据加权残差模块是否进行下采样，而在旁路分支增加并行的卷积层，使得其构架更简约，复制性更强；

(3)本发明的权残差模块采用并行的主分支和旁路分支封装所得，将主分支和旁路分支的加权求和以代替传统的残差模块的简单直接相加，以避免了拥有更为丰富特征信息的主分支输出，被旁路分支输出消弱；

(4)本发明的主分支和旁路分支合并的权重值是由模型学习到的全连接层给出，其对于不同的模型输入，可以自动得到较为适合的权重值；因此，本发明的适用范围较广；

(5)本发明的主分支和旁路分支均含有由从前至后按卷积层、批归一化层、激活层的顺利重复数次后封装而成的部分，其架构更加简洁，增加的运算量较少，便可获得明显的精度提升。

综上所述，本发明具有架构简单、检测精度高、计算工作量小等优点，在计算机机器视觉中的图像分类领域具有很高的实用价值和推广价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的图例介绍示意图。

图2为本发明的不带下采样的加权残差模块结构示意图。

图3为本发明的带下采样的加权残差模块结构示意图。

图4为本发明的加权残差模块中的加权模块部分的结构示意图。

图5为本发明的根部模块结构示意图。

图6为本发明的头部模块结构示意图。

图7为本发明的加权残差神经网络整体结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1至图7所示，本实施例提供了一种加权残差神经网络的构建方法，所述加权残差神经网络由从前至后依次连接的根部模块、数个加权残缺模块和头部模块组成；其相比于传统的残差神经网络，本实施例提出的加权残差模块是将残差模块中主分支和旁路分支以加权求和代替了传统残差模块的简单直接相加，其有效地避免了拥有更为丰富特征信息的主分支输出，被旁路分支输出消弱，从而提升网络性能；在本实施例中，该加权残差神经网络的构建方法，包括以下步骤

第一部分，各模块的构建

(1)如图4所示，从前至后依次连接卷积层、批归一化层和激活层，并封装成根部模块。

(2)如图1至图2所示，采用并行的主分支和旁路分支封装得到加权残缺模块，其中，所述主分支由从前至后按卷积层、批归一化层、激活层的顺利重复数次后封装而成。

在本实施例中，需要根据加权残差神经网络是否进行下采样，才能确认旁路分支的结构：

①若加权残差神经网络进行下采样，则所述旁路分支由卷积层与旁路分支网络并行组成；所述旁路分支网络由从前至后按卷积层、批归一化层、激活层的顺利重复数次后封装而成；

②若加权残差神经网络不进行下采样，则旁路分支由从前至后按卷积层、批归一化层、激活层的顺利重复数次后封装而成，此时，旁路分支和主分支的结构类似，仅仅卷积层、批归一化层和激活层出现的次数差异。

如图3所示，本实施例给出了一种加权模块有限的实施方案。首先对每个分支的输出，做一个全局平均池化。将得到的结果在其通道维度拼接在一起，然后利用两个全连接层，计算出加权的权重。全连接层中，第一个全连接层的输出通道数为8和输入通道数整除8两者中的最大值。第一个全连接层接线性整流激活层。第二个全连接层的输出通道数等于每个分支的通道数。第二个全连接层后接sigmoid函数作为激活层。将得到的结果w作为主分支的权重值，旁路分支的权重值为1-w。两个分支分别与对应的权重值作元素乘，再把结果元素加，最终得到加权模块的输出。

(3)，如图5所示，从前至后依次连接全局平均池化层、全连接层和激活层，并封装成头部模块。

第二部分，将根部模块、数个加权残缺模块和头部模块依次连接，得到加权残差神经网络。

在本实施例中，为了验证本实施例的方法具有可行性和良好的性能，本实施例通过构建一个20层的加权残差神经网络，与普通残差神经网络，在Cifar10 分类数据集上进行测试。Cifar10数据集一共包含有10类物体。训练集中每类物体均有5000张图片，测试集中每类物体均有1000张图片。

在实验中，实验组为加权残差神经网络，而对照组为普通残差神经网络。两组网络除了是否添加注意力模块之外，其余结构完全一致。除网络结构差异外，训练和测试的所有设置参数均一致。

根据实验结果可以看出，引入加权模块之后，模型的精度有了明显的提升，其得益于加权模块的轻量化设计，模型的运算量，只增加了不到1％。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。