一种采用改进的轻量级卷积神经网络的公共交通识别方法

技术领域

本发明属于计算机视觉检测领域，具体涉及一种改进的基于重参数化的轻量级卷积神经网络。

背景技术

近些年来，深度学习技术正快速地应用到各个领域中，这得益于一系列富有成效的大型卷积神经网络相继被提出。然而神经网络的识别精度在不断提高的同时，模型参数量也越来越多，对硬件资源的要求较高，使用场景受到限制。物联网科技的高速发展促进了移动便携式设备在工业、金融、交通等领域的大规模应用，而大型神经网络却无法适用于这些要求实时性检测的场景。因此，轻量级卷积神经网络开始受到人们的重视。

不同于以往的大型神经网络，轻量级卷积神经网络更加注重神经网络的运行效率。SqueezeNet是一个早期基于轻量化考虑而设计的神经网络，它与AlexNet具有相同等级别的精度，模型参数量却减少了50倍。SqueezeNet虽然一定程度上减少了卷积计算量，但仍然使用传统的卷积计算方式，具有较高的计算复杂度。MobileNet系列的神经网络摒弃了传统的卷积计算方式，引入了更加轻量化的深度可分离卷积，将传统的卷积计算过程分为逐通道卷积与逐点1x1卷积两步，从而大大降低了卷积计算量。深度可分离卷积虽然降低了传统卷积的计算量，但其结构中的逐点1x1卷积依旧需要大量的计算量，因此ShuffleNet系列的神经网络将其中的逐点1x1卷积改进为1x1组卷积，进一步地降低了卷积计算量。GhostNet考虑到逐点1x1卷积的不足，采用了更加轻量化的Ghost module结构来替代逐点1x1卷积，达到降低模型计算量的目的。这些经典的轻量级卷积神经网络可以广泛地应用到移动端的实时检测场景中，极大地促进了深度学习在各个行业的发展。

随着科技的进步，人们对于深度学习有了更高的应用要求。轻量级神经网络虽然能够满足实时检测场景的运行要求，但常常因为模型检测精度不足，而导致错误的检测结果，从而造成额外的经济损失。因此，必须对轻量级神经网络进行改进，其中公共交通识别领域，涉及到人生安全，因此对神经网络的检测结果要求具有很高的可信度，同时对于神经网络的检测速度也有较高的要求，如果神经网络检测结果不可靠或者检测时间过长，都将造成无法预估的严重后果。并且公共交通识别涉及范围非常广泛，检测环境异常复杂，对神经网络的检测适用性要求较高，不能具有明显的应用局限性。因此，研究一种具有更好的检测精度，同时还能保持实时检测性能，并且具有较为广泛应用性的轻量级神经网络十分必要。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种采用改进的轻量级卷积神经网络的公共交通识别方法。本发明的技术方案如下：

一种采用改进的轻量级卷积神经网络的公共交通识别方法，其包括以下步骤：

一、获取大型公共数据集ImageNet 2012，其中包含了公共交通领域存在的绝大部分类别数据图像，并进行图像预处理；

二、改进轻量级卷积神经网络的步骤；

S1，具体包括：在卷积神经网络结构中引入轻量化通道注意力模块，采用重参数化对通道注意力模块进行参数转换，得到一个深度卷积单元；

S2、将网络结构中的ReLU激活函数进行替换，采用Swish激活函数；

S3、设计通道混洗卷积核，将输入特征图在特征通道顺序上进行反置得到反置特征图，将反置特征图与输入特征图进行元素相加操作，得到一个特征通道之间信息混合的输出特征图；

S4、设置初始通道混合系数，分别赋值到输入特征图和反置特征图，并参与到模型训练过程中，训练完成后得到模型自适应的混合系数，达到输入特征图和反置特征图的自适应混合状态；

三、将预处理后的交通图像输入改进轻量级卷积神经网络中，得到公共交通识别结果。

进一步的，所述步骤一、获取大型公共数据集ImageNet 2012，其中包含了公共交通领域存在的绝大部分类别数据图像，并进行图像预处理，具体包括：

从ImageNet官网下载ILSVRC2012图像检测数据集，其中包含了1000个物体分类，训练集包含约120万张图片，验证集包含5万张图片。在1000个物体类别中，包含了客车、自行车、轿车、卡车、摩托车、救护车、消防车、火车、校车、公交车、警车、行人、交通信号灯、交通标识牌等绝大部分公共交通领域内存在的物体种类。

对数据集中的图像进行预处理过程包括以下步骤：

步骤1：将原图像进行随机裁剪，然后将裁剪后的图像缩放为224*224尺寸的图像。

步骤2：对缩放后的图像进行图像增强，修改图像的亮度、对比度和饱和度，其中亮度、对比度和饱和度的调整范围均设置为原图的0.6-1.4。

步骤3:对图像增强后的图像以0.5的概率进行随机水平翻转。

步骤4:对随机翻转后的图像进行归一化操作，将图像的像素值从0-255的范围，除以255，映射到0-1。

进一步的，所述步骤S1中采用重参数化对通道注意力模块进行参数转换过程具体如下：

S1-1、在模型训练阶段，将SA-Net混洗注意力网络的通道注意力结构中的Sigmoid操作进行裁剪，采用一组可训练的权重系数Sigmoid weight来代替；

S1-2、在模型推理阶段，将全局均值池化操作等效成一个尺寸同输入特征图大小的深度卷积核，等效后的卷积参数值均为

S1-3、在模型推理阶段，将其他可训练的通道权重系数与由全局均值池化等效的卷积核参数进行相乘及相加数学运算，得到重参数化后的通道权重系数卷积核。

进一步的，所述步骤S2中Swish激活函数关系式如下：

/>

其中x为输入特征图信息参数，f(x)为输入特征图信息参数经过非线性映射过后的输出特征图信息参数。

进一步的，所述步骤S3设计通道混洗卷积核，将输入特征图在特征通道顺序上进行反置得到反置特征图，将反置特征图与输入特征图进行元素相加操作，得到一个特征通道之间信息混合的输出特征图，具体包括：

S3-1、分别设计C个尺寸维度为C*1*1的正序卷积核，以及C个尺寸维度为C*1*1的反序卷积核，每个卷积核的参数设置规则如下：

其中C为输入特征图的通道数；w

S3-2、将输入特征图和S3-1所述的反序卷积核进行卷积运算操作，其运算规则如下：

其中v

进一步的，所述步骤S4中使输入特征图和反置特征图进行自适应混合过程具体如下：

S4-1、在模型训练阶段，设置两组尺寸维度为C*1*1的混合系数，其中将输入特征图V的混合系数初始化为1.0，将反置特征图U的混合系数初始化为0.0，并将两组混合系数加入到模型的训练过程中，经过模型训练完毕后，将会获得最终的混合系数α和β；

S4-2、通过重参数化，将模型训练完成后的混合系数α和β与S3所述的正、反序混洗卷积核进行参数融合，融合运算规则如下：

其中α

进一步的，所述步骤三、将预处理后的交通图像输入改进轻量级卷积神经网络中，得到公共交通识别结果，具体包括以下步骤：

步骤1：采用ubuntu20.04操作系统，RTX3060显卡作为模型训练环境。

步骤2：选择1.0x倍率大小的模型宽度进行训练，训练过程持续300000个迭代，每个迭代进行一个批次的图像训练，每批次的图像数量为256张，并采用随机抽图的方式。

步骤3：模型初始学习率设置为0.5，采用SGD优化器，动量参数设置为0.9，学习率衰减值设置为4e

步骤4：每隔10000个迭代进行一次模型验证，先将验证集的图像进行尺寸缩放，统一缩放到256*256尺寸大小，然后在图片的中间区域进行裁剪，裁剪尺寸为224*224。每次验证都将计算模型在验证集上的top1和top5分类检测错误率，越低即越好，经过300000个迭代后，获取训练模型最终的top1和top5分类检测错误率。

本发明的优点及有益效果如下：

本发明的主要创新点是改进轻量级卷积神经网络过程中的S1、S3和S4步骤，其中S2为一个创新点，S3和S4结合起来为另一个创新点：

1、传统通道注意力模块由于计算量较大，无法适用于轻量级卷积网络中，因此通过重参数化，降低其计算量，使通道注意力模块可以有效地应用到轻量级卷积神经网络当中。

2、在解决分组卷积的特征信息阻塞问题上，传统的通道混洗操作存在混洗规则固定，属于人为设定，不具有模型自适应学习的能力，无法达到最佳的特征信息混洗效果。因此设计更加灵活的通道混洗卷积模块，同时加入通道混洗系数，可以使特征信息的混洗效果取决于模型自身的训练过程，避免人为干扰因素，更有利于提升网络模型对特征信息的提取能力。

3、本发明提出的改进模型对公共交通领域内的图像识别效果在公共数据集上得到了有效验证，适用性很广泛。

附图说明

图1是本发明提供优选实施例的方法流程图；

图2是本发明实施例的通道注意力模块重参数化过程示意图；

图3是本发明实施例的激活函数图像示意图；

图4是本发明实施例的通道混洗卷积中的特征图通道顺序反置运算示意图；

图5是本发明实施例的重参数化前的通道混洗卷积运算示意图；

图6是本发明实施例的重参数化后的通道混洗卷积运算示意图；

图7是本发明实施例的神经网络卷积单元结构对比示意图；

图8是本发明实施例的神经网络第一分类检测错误率实验数据曲线对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，一种改进的基于重参数化的轻量级卷积神经网络包括但不限于如下步骤：

S1、在网络结构中引入轻量化通道注意力模块，采用重参数化对通道注意力模块进行参数转换，得到一个深度卷积单元。

通道注意力模块虽然能够提升模型的检测精度但很少被广泛利用在轻量级卷积神经网络中，主要原因是由于通道注意力模块会带来较多的计算量，降低网络模型的推理速度。但通过对通道注意力模块进行重参数化实施轻量化改造，便可以将其利用在轻量级卷积神经网络中。

在一个实施例中，对于模块的全局均值池化操作可以看作一个尺寸HxW的深度卷积核，卷积核的参数值均为

其中H为输入特征图的高度，W为输入特征图的宽度；i为每个卷积核的通道序号，i＝0,1,…,C-1，C为输入特征图的通道维度；

如图2所示，为通道注意力模块通过重参数化进行结构转换的过程示意图，从左往右依次为：通道注意力模块的原始结构图(a)、通道注意力模块训练阶段的结构图(b)和经过重参数化后，通道注意力模块推理阶段的结构图(c)。从图中可以看出，经过重参数化后的的通道注意力模块结构简单，计算过程明显降低。因此，通道注意力模块可以被用于轻量级神经网络中提升模型检测性能，同时不会给轻量级神经网络带来额外过多的计算量。

S2、将网络结构中的ReLU激活函数进行替换，采用性能更优的Swish激活函数。

神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将本层神经元的输出值传递给下一层。如果神经元之间的属性数值不加以非线性映射，则整个神经网络的输入输出都是一种线性组合，拟合能力非常有限，因此激活函数则在不同层神经元之间进行输入值与输出值非线性映射转换的角色。

ReLU是非常常用的激活函数，图3(a)为ReLU激活函数图像，其函数表达式为:

其中x为输入特征图的特征值，ReLU(x)为输入特征值经过ReLU激活函数后的输出特征值。根据函数表达式，当x≤0时ReLU(x)恒为0，这样就导致负的特征值在经过ReLU处理时，梯度被置零，这个神经元有可能再也不会被任何数据激活,神经元参数得不到训练更新，因此导致神经元“坏死”，即特征屏蔽太多，导致模型无法学习到有效特征。本发明的一个实施例中采用了Swish激活函数，图3(b)为Swish激活函数图像，其函数表达式为:

其中x为输入特征图的特征值，Swish(x)为输入特征值经过Swish激活函数后的输出特征值。根据函数表达式，Swish激活函数具备有下界、平滑、非单调的特性，避免了神经元“坏死”的情况，可以让模型更好地学习到有效特征。

S3、设计通道混洗卷积核，将输入特征图在特征通道顺序上进行反置得到反置特征图，将反置特征图与输入特征图进行元素相加操作，得到一个特征通道之间信息混合的输出特征图。

在一个实施例中，将输入特征图在特征通道顺序上进行反置得到反置特征图的过程包括：

步骤S3-1：分别设计一组正序卷积核和一组反序卷积核，它们的尺寸维度均为C*C*1*1；对两组卷积核进行参数设置，其参数设置规则如下：

其中C为输入特征图的通道数；w

步骤S3-2：将输入特征图V与反序卷积核进行卷积运算，会得到在特征通道顺序上刚好相反的反置特征图U，如图4所示，为通道混洗卷积中的特征图通道顺序反置运算示意图。而将输入特征图V与正序卷积核进行卷积运算，将会得到原有的输入特征图V。

步骤S3-3：将正序卷积核与反序卷积核进行参数融合，即可得到一个融合卷积核，融合计算规则如下：

其中C为输入特征图的通道数；w

S4、设置初始通道混合系数，分别赋值到输入特征图和反置特征图，并参与到模型训练过程中，训练完成后得到模型自适应的混合系数，达到输入特征图和反置特征图的自适应混合状态。

在一个实施例中，获取特征图混合系数的过程包括：

步骤S4-1：设置两组可训练的特征图混合系数α和β，它们的尺寸维度均为C*1*1，初始化设置规则如下：

/>

其中α

步骤S4-2：将初始化完成后的两组混合系数加入到神经网络的训练过程中，在神经网络训练结束后，两组混合系数将会获得相应的训练系数值。

步骤S4-3：在神经网络训练完毕后，通过重参数技术，将通过神经网络训练得到的两组混合系数与S3-1所述的正、反序卷积核进行参数融合，得到一个重参数化后的混合卷积核，重参数融合规则如下：

其中C为输入特征图的通道数；w

S4-3所述的混合卷积核O相比S3-3所述的融合卷积核W″而言，加入特征图混合系数α和β，使输入特征图与反置特征图的特征信息混合过程不再是单一固定的状态，而是一种自适应的混合状态。这个自适应混合的性能优劣取决于神经网络自身的训练过程，不需要人为参与，能够更加合理有效地改善分组卷积过程中不同卷积组之间的信息阻塞问题。如图5所示，展示了重参数化前，通道混洗卷积运算示意图；如图6所示，展示了重参数化后，通道混洗卷积运算示意图。

如图7所示，展示了改进前后的神经网络卷积单元结构，从左往右依次是：神经网络原始卷积单元结构图(a)、改进后的神经网络卷积单元结构图(b)和进行重参数化后的神经网络卷积单元结构图(c)。从图中可以看出，通过对神经网络进行结构改进，增加了一些有利于提升神经网络检测精度的模块，同时通过重参数化对改进后的网络结构进行简化，降低网络模型的计算量。

如图8所示，展示了改进前后的神经网络在公共数据集ImageNet上第一分类检测错误率的实验数据曲线对比。其中基础模型的最终第一分类检测错误率为33.4％，改进模型的最终第一分类检测错误率为30.9％，相比基础模型而言，检测错误率降低了2.5％，有效地提升了轻量级卷积神经网络的检测精度。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。