一种基于冗余与多样性特征融合的图像分类方法

技术领域

本发明属于图像分类技术领域，具体涉及一种基于冗余与多样性特征融合的图像分类方法。

背景技术

近年来，诸如模型量化、网络剪枝等各种降低模型复杂度、减少网络参数的方法被相继提出来，并在各自不同的领域取得了较好的效果。其中一个主要研究方向是通过探索跨空间和通道维度的依赖关系优化具有较大冗余的CNN网络结构。一方面，冗余的卷积神经网络缺乏捕捉多样性信息的能力，在进行目标检测时，常常不能准确定位目标区域并从前景聚合有用信息，导致提议池(proposal pool)中产生多个重叠的部分对象提议而非单个完整对象提议。

另一方面，特征图中存在一定的冗余是必要的，丰富甚至冗余的信息往往能保证对输入数据的全面理解，GhostNet网络引入了一个新的Ghost模块，在保持一定数量的固有特征的情况下，使用参数量更少的深度卷积(DWC)来处理这些固有特征并产生冗余特征，然而这种方式会产生过于相似的特征，缺乏多样性信息。因此，本文提出一种基于冗余与多样性特征融合的图像分类方法。

发明内容

本发明的目的在于针对上述问题，提出一种基于冗余与多样性特征融合的图像分类方法，该方法能有效降低模型冗余，大幅降低参数量与计算量，并在确保一定冗余特征保证模型精度的同时，获取多样性特征。

为实现上述目的，本发明所采取的技术方案为：

本发明提出的一种基于冗余与多样性特征融合的图像分类方法，包括如下步骤：

S1、将卷积神经网络模型中的部分滤波器替换为拓展融合卷积滤波器形成轻量卷积网络模型，拓展融合卷积滤波器设置如下：

S11、根据第一比例参数α将替换的滤波器的输入通道数C拆分为主体部分和拓展部分，主体部分包含αC个通道，拓展部分包含(1-α)C个通道；

S12、利用特征提取模块和特征拓展模块获取冗余特征和多样性特征，特征提取模块包括并行的基本分支和多样性分支，基本分支为标准卷积层，多样性分支为组卷积层，特征拓展模块为点卷积层，冗余特征和多样性特征的获取如下：

利用基本分支对主体部分进行特征提取形成冗余特征；

利用特征拓展模块对拓展部分进行特征提取并根据超参数γ提升特征通道数得到拓展特征；

将主体部分与拓展特征进行拼接形成第一特征，利用多样性分支对第一特征进行特征提取形成多样性特征；

S13、根据第二比例参数β调整冗余特征与多样性特征的输出通道数，即冗余特征的输出通道数为βC′，多样性特征的输出通道数为(1-β)C′，并将冗余特征与多样性特征按通道维度进行拼接形成第二特征，第二特征的输出通道数为替换的滤波器的输出通道数C′；

S14、将第二特征输入通道注意力模块获得第三特征，第三特征的输出通道数为C′；

S15、将拓展特征通过分组卷积与第三特征进行维度匹配，并与第三特征以逐元素相加方式进行融合，获得输出特征图，分组卷积的分组数为冗余特征的输出通道数βC′，卷积核尺寸为1*1；

S2、利用数据集对轻量卷积网络模型进行训练及验证，获得训练好的轻量卷积网络模型；

S3、将待处理图像输入训练好的轻量卷积网络模型获得分类结果。

优选地，卷积神经网络模型为ResNet50模型。

优选地，Resnet50网络包括依次连接的卷积层、池化层、第一残差块、第二残差块、第三残差块、第四残差块和全连接层，第一残差块包括三个串接的瓶颈层，第二残差块包括四个串接的瓶颈层，第三残差块包括六个串接的瓶颈层，第四残差块包括三个串接的瓶颈层，各瓶颈层由卷积核大小为1*1的滤波器、卷积核大小为3*3的滤波器、卷积核大小为1*1的滤波器、BN层和RELU激活函数串接组成，且卷积核大小为3*3的滤波器被替换为拓展融合卷积滤波器。

优选地，卷积层的卷积核大小为7*7。

优选地，多样性分支为渐进式分组的组卷积层，即随着网络层数加深，分组数逐渐增加。

优选地，多样性分支的分组数为主体部分的通道数和拓展特征的通道数的最大公约数。

优选地，数据集为ImageNet数据集。

优选地，轻量卷积网络模型的训练过程如下：

将大小为224*224的图像以256的batch size输入轻量卷积网络模型训练100个epoch。

优选地，通道注意力模块为SE注意力模块。

与现有技术相比，本发明的有益效果为：

该方法采用拓展融合卷积滤波器替换传统卷积神经网络模型中的部分滤波器形成轻量卷积网络模型，与传统卷积神经网络模型不同，该轻量卷积网络模型既可获得具有一定冗余性的固有特征，同时能够产生包含必要细节信息的多样性特征，在有效降低模型参数量与计算浮点数的情况下提高了模型的准确性和特征多样性，从而提升了分类效果；此外，拓展融合卷积滤波器还可以作为一个即插即用的组件来升级现有的卷积神经网络，全局统一设置超参数可以方便模型的快速构建，并通过对模型各层超参数进行合理配置，使模型具有更好的性能表现。

附图说明

图1为本发明基于冗余与多样性特征融合的图像分类方法的流程图；

图2为本发明的拓展融合卷积滤波器结构示意图；

图3为本发明的特征提取模块中基本分支与多样性分支的可视化特征图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

为了在有效降低模型参数量的同时，捕捉多样性特征，提升模型精度，本发明提出了一种基于冗余与多样性特征融合的图像分类方法，具体来说，将输入特征按一定比例拆分为主体部分和拓展部分，其中主体部分通过并行双分支结构的特征提取模块来提取包含一定冗余信息的冗余特征和多样性特征，并使用通道注意力模块来增加冗余与多样性特征中包含必要信息的特征通道的权重。而拓展部分则通过特征拓展模块，即点卷积来加强多样性信息的提取，并补充最终输出的特征。同时，本发明提出的拓展融合卷积滤波器能有效降低模型参数量和计算量，提升性能。

如图1-3所示，一种基于冗余与多样性特征融合的图像分类方法，包括如下步骤：

S1、将卷积神经网络模型中的部分滤波器替换为拓展融合卷积滤波器形成轻量卷积网络模型，拓展融合卷积滤波器设置如下：

S11、根据第一比例参数α将替换的滤波器的输入通道数C拆分为主体部分和拓展部分，主体部分包含αC个通道，拓展部分包含(1-α)C个通道；

S12、利用特征提取模块和特征拓展模块获取冗余特征和多样性特征，特征提取模块包括并行的基本分支和多样性分支，基本分支为标准卷积层，多样性分支为组卷积层，特征拓展模块为点卷积层，冗余特征和多样性特征的获取如下：

利用基本分支对主体部分进行特征提取形成冗余特征；

利用特征拓展模块对拓展部分进行特征提取并根据超参数γ提升特征通道数得到拓展特征；

将主体部分与拓展特征进行拼接形成第一特征，利用多样性分支对第一特征进行特征提取形成多样性特征；

S13、根据第二比例参数β调整冗余特征与多样性特征的输出通道数，即冗余特征的输出通道数为βC′，多样性特征的输出通道数为(1-β)C′，并将冗余特征与多样性特征按通道维度进行拼接形成第二特征，第二特征的输出通道数为替换的滤波器的输出通道数C′；

S14、将第二特征输入通道注意力模块获得第三特征，第三特征的输出通道数为C′；

S15、将拓展特征通过分组卷积与第三特征进行维度匹配，并与第三特征以逐元素相加方式进行融合，获得输出特征图，分组卷积的分组数为冗余特征的输出通道数βC′，卷积核尺寸为1*1。

在一实施例中，卷积神经网络模型为ResNet50模型。

在一实施例中，Resnet50网络包括依次连接的卷积层、池化层、第一残差块、第二残差块、第三残差块、第四残差块和全连接层，第一残差块包括三个串接的瓶颈层，第二残差块包括四个串接的瓶颈层，第三残差块包括六个串接的瓶颈层，第四残差块包括三个串接的瓶颈层，各瓶颈层由卷积核大小为1*1的滤波器、卷积核大小为3*3的滤波器、卷积核大小为1*1的滤波器、BN层和RELU激活函数串接组成，且卷积核大小为3*3的滤波器被替换为拓展融合卷积滤波器。

在一实施例中，卷积层的卷积核大小为7*7。

在一实施例中，多样性分支为渐进式分组的组卷积层，即随着网络层数加深，分组数逐渐增加。

在一实施例中，多样性分支的分组数为主体部分的通道数和拓展特征的通道数的最大公约数。且随着网络层数加深、特征通道增加而变大，样性分支的分组数即为αC和γ(1-β)C′的最大公约数。

在一实施例中，通道注意力模块为SE注意力模块。或还可采用现有技术中的其他通道注意力模块。

采用ResNet50模型作为图像分割的骨干网络，对于ImageNet数据集，ResNet50模型的输入为224×224大小，通道为3的自然图像(Input image)。ResNet50模型的第一层为7*7的卷积层，第一层之后连接了一个池化层，池化层之后串接四个残差块，每个残差块中分别包含3,4,6,3个瓶颈层，每个瓶颈层都是由一组卷积核大小为1*1的滤波器、卷积核大小为3*3的滤波器、卷积核大小为1*1的滤波器、BN层和RELU激活函数串接而成。最后再使用全连接层输出分类结果。对于骨干网络中四个残差块，保持其中所有瓶颈层中卷积核大小为1*1的滤波器不变，仅将其中卷积核大小为3*3的滤波器替换为拓展融合卷积滤波器，并设置超参数默认值α＝0.5，β＝0.5，γ＝2，作为即插即用的组件，全局统一设置超参数可以方便模型的构建，如对模型各层超参数进行合理的配置，也可以使模型具有更好的性能表现。需要说明的是，卷积神经网络模型还可替换为现有技术中的其他模型，如VGG-16、ResNet-56、MobileNet、ShuffleNet等。

如图2所示，在卷积核大小为3*3的滤波器替换为拓展融合卷积滤波器时，拓展融合卷积滤波器的输入特征图X(Input feature maps X)即为卷积核大小为3*3的滤波器的输入特征图，尺寸为C×W×H，W为输入特征图的宽度，H为输入特征图的高度，根据第一比例参数(Ratio of splitting)α将替换的滤波器的输入通道数C拆分为主体部分X

其中，在标准卷积中，虽然每个滤波器在空间上的感受野有限，但它可以捕捉到完整的输入特征的通道信息。而在组卷积(GWC)，为了降低通道之间的冗余连接，一个滤波器只能与输入特征的一个子集进行卷积，可以减少参数数量。点卷积(PWC)可以跨通道整合信息，可以对组卷积(GWC)起到补充作用。特征拓展模块运用点卷积拓展了特征通道的数量，弥补了多样性分支中组卷积因增加分组数而导致的每组滤波器所能提取的特征子集通道个数不足的缺点，增强了多样性特征的提取。巧妙的结合以上几种方法，通过合理的减少通道间的冗余连接来达到降低模型计算成本的效果。

S2、利用数据集对轻量卷积网络模型进行训练及验证，获得训练好的轻量卷积网络模型。

在一实施例中，数据集为ImageNet数据集。

在一实施例中，轻量卷积网络模型的训练过程如下：

将大小为224*224的图像以256的batch size输入轻量卷积网络模型训练100个epoch。

利用数据集对模型进行训练及验证为本领域技术人员熟知技术，在此不再赘述。其中，1个epoch指用数据集中的全部样本训练一次，batch size为批尺寸，表示单次训练所选取的样本数。

S3、将待处理图像输入训练好的轻量卷积网络模型获得分类结果。

该方法采用拓展融合卷积滤波器替换传统卷积神经网络模型中的部分滤波器形成轻量卷积网络模型，与传统卷积神经网络模型不同，该轻量卷积网络模型既可获得具有一定冗余性的固有特征，同时能够产生包含必要细节信息的多样性特征，在有效降低模型参数量与计算浮点数的情况下提高了模型的准确性和特征多样性，从而提升了分类效果；此外，拓展融合卷积滤波器还可以作为一个即插即用的组件来升级现有的卷积神经网络，全局统一设置超参数可以方便模型的快速构建，并通过对模型各层超参数进行合理配置，使模型具有更好的性能表现。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。