模型压缩方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，更具体地，涉及一种模型压缩方法、装置、电子设备以及存储介质。

背景技术

随着人工智能技术的不断发展，基于卷积神经网络的深度学习技术在视觉、语言的相关领域任务上取得了较好的成果，然而，这些成果很大程度上依赖于网络结构的复杂程度和庞大的参数量，对计算机的算力和内存有着较高的要求，对于一些边缘设备(例如手机、摄像头等)，其算力和内存是严重受限的，这就限制了深度卷积神经网络在这些设备上的部署和应用。

发明内容

鉴于上述问题，本申请提出了一种模型压缩方法、装置、电子设备以及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种模型压缩方法，应用于电子设备，所述电子设备配置有卷积神经网络模型，所述方法包括：将所述卷积神经网络模型分别输入多个剪枝算法，得到与多个剪枝算法分别对应的掩膜集合，所述卷积神经网络模型包括多个网络层，每个掩膜集合包括与所述多个网络层分别对应的掩膜；选取与所述多个网络层各自对应的目标掩膜，得到多个目标掩膜；根据所述多个目标掩膜得到融合掩膜；基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。

第二方面，本申请实施例提供了一种模型压缩装置，运行于电子设备，所述电子设备配置有卷积神经网络模型，所述装置包括：掩膜集合获取模块，用于将所述卷积神经网络模型分别输入多个剪枝算法，得到与多个剪枝算法分别对应的掩膜集合，所述卷积神经网络模型包括多个网络层，每个掩膜集合包括与所述多个网络层分别对应的掩膜；掩膜选取模块，用于选取与所述多个网络层各自对应的目标掩膜，得到多个目标掩膜；融合掩膜获取模块，用于根据所述多个目标掩膜得到融合掩膜；模型压缩模块，用于基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。

第三方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面所述的方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述第一方面所述的方法。

本申请提供的一种模型压缩方法、装置、电子设备以及存储介质，本方法通过将所述卷积神经网络模型分别输入多个剪枝算法，得到与多个剪枝算法分别对应的掩膜集合，所述卷积神经网络模型包括多个网络层，每个掩膜集合包括与所述多个网络层分别对应的掩膜；选取与所述多个网络层各自对应的目标掩膜，得到多个目标掩膜；根据所述多个目标掩膜得到融合掩膜；基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。从而通过上述方式实现了根据多个剪枝算法各自的测度判断得到的掩膜获取融合掩膜，使得能够更精准地判断通道的冗余程度，实现更高的压缩率，从而提升将卷积神经网络模型部署和应用到算力和内存受限的边缘设备的可能性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提出的一种模型压缩方法的方法流程图。

图2示出了本申请另一实施例提出的一种模型压缩方法的方法流程图。

图3示出了本申请实施例提供的获取目标掩膜的过程示意图。

图4示出了本申请又一实施例提出的一种模型压缩方法的方法流程图。

图5示出了本申请实施例提出的一种模型压缩装置的结构框图。

图6示出了本申请的用于执行根据本申请实施例的一种模型压缩方法的电子设备的结构框图。

图7是本申请实施例的用于保存或者携带实现根据本申请实施例的一种模型压缩方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

基于卷积神经网络的深度学习技术近年来蓬勃发展，在很多视觉、语言的相关领域任务上都取得了较好的成果，有一些甚至超过了人类本身。但是这种优异的成绩，很大程度上依赖于网络结构的复杂程度和庞大的参数量，而这又对计算机的算力和内存提出了更高的要求。对于一些边缘设备(例如手机、摄像头等)，其算力和内存是严重受限的，这就限制了深度卷积神经网络在这些设备上的部署和应用。

为解决上述问题，相关技术中通过量化(quantization)、剪枝(pruning)、蒸馏(distillation)等方法对模型进行压缩，以实现对模型进行“瘦身”。其中，剪枝算法通过从原网络中删除一些冗余的参数，能够大幅降低网络的参数量，实现深度神经网络的“瘦身”，使其能够部署在资源受限的边缘设备上。

一般地，为得到掩膜，剪枝算法会设定一种测度(metric)M

为了优化上述问题，发明人经过长期的研究，提出了本申请实施例提供的模型压缩方法、装置、电子设备以及存储介质，本模型压缩方法应用于电子设备，所述电子设备配置有卷积神经网络模型，本模型压缩方法可以实现根据多个剪枝算法各自的测度判断得到的掩膜获取融合掩膜，使得能够更精准地判断通道的冗余程度，实现更高的压缩率，从而提升将卷积神经网络模型部署和应用到算力和内存受限的边缘设备的可能性。

为了便于理解本申请所描述的方案，下面对于本申请实施例中所涉及的术语进行简要说明：

mask：表征掩膜。

merged mask：表征融合掩膜。

one-shot pruning：表征单次剪枝。

本申请实施方式中的卷积神经网络模型的类型可以不做限定。

下面将结合附图具体描述本申请的各实施例。

请参阅图1，本申请一实施例提供一种模型压缩方法，可应用于电子设备，所述电子设备配置有卷积神经网络模型，所述方法包括：

步骤S110：将所述卷积神经网络模型分别输入多个剪枝算法，得到与多个剪枝算法分别对应的掩膜集合，所述卷积神经网络模型包括多个网络层，每个掩膜集合包括与所述多个网络层分别对应的掩膜。

本申请实施方式中，多个剪枝算法中的每一种剪枝算法可以为单次剪枝算法，每个剪枝算法的测度可以不同。为了避免不同的剪枝算法对模型的剪枝结果不一带来的偏差，本实施方式可以将卷积神经网络模型分别输入多个剪枝算法，以通过多个剪枝算法基于各自的测度分别对卷积神经网络模型进行剪枝，得到与多个剪枝算法分别对应的掩膜集合。

其中，卷积神经网络模型可以包括多个网络层，每个掩膜集合可以包括与多个网络层分别对应的掩膜，即每种剪枝算法可以依据自身的测度对卷积神经网络模型的每个网络层均进行剪枝，从而得到包括有与多个网络层分别对应的掩膜的掩膜集合。

在一个具体的应用场景中，假设有N种单次剪枝算法，可以将卷积神经网络模型分别输入这N种单次剪枝算法，以通过并行地使用这N种剪枝算法对原模型(假设原模型共L层)进行处理，得到N个不同的掩膜集合{g

步骤S120：选取与所述多个网络层各自对应的目标掩膜，得到多个目标掩膜。

为了尽可能的减小原模型的尺寸，可以选取与多个网络层中的每个网络层分别对应的目标掩膜，得到多个目标掩膜。其中，每一个网络层包括通过多个剪枝算法处理得到的多个掩膜，对于每一个网络层，可以从该多个掩膜中选取出一个掩膜作为目标掩膜，从而对于多个网络层，可以得到多个目标掩膜。多个目标掩膜与多个剪枝算法分别对应，即每个目标掩膜对应一种剪枝算法，不同的目标掩膜对应的剪枝算法不同。

本实施方式中，与每一个网络层对应的目标掩膜可以是与该网络层对应的多个掩膜中剪枝效果最好的掩膜，从而通过选取出与多个网络层各自对应的目标掩膜，可以便于卷积神经网络模型更好的轻量化。

步骤S130：根据所述多个目标掩膜得到融合掩膜。

作为一种方式，可以逐层将多个目标掩膜进行组合，以得到融合掩膜，需要说明的是，融合掩膜仍是包括了多个目标掩膜的掩膜集合。通过融合多个剪枝算法产生的掩膜，相当于融合了多个不同测度的结果，使得能够充分判断网络模型的通道的冗余程度，实现更高的压缩率。

步骤S140：基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。

作为一种方式，在得到了融合掩膜之后，可以基于融合掩膜对卷积神经网络模型进行剪枝，即按照融合掩膜中的各个掩膜剩余的参数对原模型的相应网络层的冗余参数进行删除，将得到的卷积神经网络模型作为目标卷积神经网络模型。本实施方式中，目标卷积神经网络模型的尺寸比卷积神经网络模型的尺寸要小。

例如，假设融合掩膜中与卷积神经网络模型的第一网络层对应的掩膜剩余的参数为x，那么可以将卷积神经网络模型的第一网络层的除x以外的参数删除，以实现降低网络层的参数量，其他网络层的剪枝方式与此类似，在此不再一一例举。

作为一种方式，在基于融合掩膜对卷积神经网络模型进行剪枝后，可以继续对剪枝后的卷积神经网络模型进行训练，使得剪枝后的卷积神经网络模型能够适应参数量变少后仍能完成相应功能，从而将训练后得到的卷积神经网络模型作为目标卷积神经网络模型。对剪枝后的卷积神经网络模型进行训练的原理以及过程在此不再赘述。

本申请提供的一种模型压缩方法，通过将所述卷积神经网络模型分别输入多个剪枝算法，得到与多个剪枝算法分别对应的掩膜集合，所述卷积神经网络模型包括多个网络层，每个掩膜集合包括与所述多个网络层分别对应的掩膜；选取与所述多个网络层各自对应的目标掩膜，得到多个目标掩膜；根据所述多个目标掩膜得到融合掩膜；基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。从而通过上述方式实现了根据多个剪枝算法各自的测度判断得到的掩膜获取融合掩膜，使得能够更精准地判断通道的冗余程度，实现更高的压缩率，从而提升将卷积神经网络模型部署和应用到算力和内存受限的边缘设备的可能性。

请参阅图2，本申请另一实施例提供一种模型压缩方法，可应用于电子设备，所述电子设备配置有卷积神经网络模型，所述方法包括：

步骤S210：将所述卷积神经网络模型分别输入多个剪枝算法，以通过所述多个剪枝算法基于各自的测度对所述卷积神经网络模型的网络层的通道重要程度进行判断。

本实施方式中，在将卷积神经网络模型分别输入多个剪枝算法后，多个剪枝算法中的每一个剪枝算法可以基于自身的测度对卷积神经网络模型的网络层的通道重要程度(也可以理解为通道的冗余程度)进行判断，作为一种实现方式，当测度值较大时，可以判定通道较重要(或者通道不冗余)，在这种方式下，可以保留该通道；而当测度值较小时，可以判定通道不重要(或者通道较冗余)，在这种方式下，可以删除该通道。

步骤S220：删除重要程度低于预设阈值的通道，以得到与多个剪枝算法分别对应的掩膜集合。

其中，通道指的是网络层的通道，可以理解为网络层的参数，通过对网络层的通道进行剪枝处理，可以得到掩膜。

作为一种方式，为了避免采用不同的剪枝算法对网络层的通道删除的数量或位置不同，可以预先设定需要进行通道删除的重要程度阈值作为预设阈值，在这种方式下，在通过多个剪枝算法基于各自的测度对卷积神经网络模型的网络层的通道重要程度进行判断后，如果判定网络层的通道重要程度低于(小于)预设阈值，那么可以将该通道进行删除，而如果判定网络层的通道重要程度高于(包括大于或者等于)预设阈值，那么可以将该通道进行保留，从而得到与多个剪枝算法分别对应的掩膜集合。

步骤S230：分别将与所述多个网络层各自对应的掩膜中满足目标条件的掩膜选取作为目标掩膜，得到多个目标掩膜。

在将卷积神经网络模型分别输入多个剪枝算法后，对于卷积神经网络模型的每一个网络层，均包括多个剪枝算法各自处理得到的掩膜，从而构成掩膜集合，而为了实现对卷积神经网络模型的压缩，可以分别将与多个网络层各自对应的掩膜中满足目标条件的掩膜选取作为目标掩膜，从而得到多个目标掩膜。其中，目标条件可以根据实际需要进行设定，具体可以不做限定。

作为一种实施方式，可以分别将与多个网络层各自对应的掩膜中剩余通道最少的掩膜选取作为目标掩膜，得到多个目标掩膜。例如，在一个具体的应用场景中，请参阅图3，示出了本申请实施例提供的获取目标掩膜的过程示意图。如图3所示，每一列为一个单次剪枝方法得到的掩膜，共N个单次剪枝方法；每一行为原模型的一层l。前三列(按照从左至右的顺序)中的每一列表示通过一种剪枝算法对卷积神经网络模型的每一个网络层进行剪枝处理后得到的掩膜集合，其中第一列的第一个结果g

如图3所示，第一行表示通过不同的剪枝算法对卷积神经网络模型的第一个网络层进行剪枝处理后得到的掩膜，作为一种方式，对于第l网络层，可以按照如下公式选取掩膜

其中，

步骤S240：根据所述多个目标掩膜得到融合掩膜。

如图3最后一列所示，可以将多个目标掩膜逐层进行组合，得到融合掩膜

步骤S250：基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。

其中，步骤S250的具体实现过程可以参考前述实施例中步骤S140的相关描述，在此不再赘述。

本申请提供的一种模型压缩方法，通过将所述卷积神经网络模型分别输入多个剪枝算法，以通过所述多个剪枝算法基于各自的测度对所述卷积神经网络模型的网络层的通道重要程度进行判断；删除重要程度低于预设阈值的通道，以得到与多个剪枝算法分别对应的掩膜集合；分别将与所述多个网络层各自对应的掩膜中满足目标条件的掩膜选取作为目标掩膜，得到多个目标掩膜；根据所述多个目标掩膜得到融合掩膜；基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。从而通过上述方式实现了根据多个剪枝算法各自的测度判断得到的掩膜获取融合掩膜，使得能够更精准地判断通道的冗余程度，实现更高的压缩率，从而提升将卷积神经网络模型部署和应用到算力和内存受限的边缘设备的可能性。

通过分别将与多个网络层各自对应的掩膜中剩余通道最少的掩膜选取作为目标掩膜，可以实现更高的模型压缩率，得到更小的剪枝后的小模型，从而便于将卷积神经网络模型部署和应用到算力和内存受限的边缘设备。

请参阅图4，本申请又一实施例提供一种模型压缩方法，可应用于电子设备，所述电子设备配置有卷积神经网络模型，所述方法包括：

步骤S310：将所述卷积神经网络模型分别输入多个剪枝算法，得到与多个剪枝算法分别对应的掩膜集合，所述卷积神经网络模型包括多个网络层，每个掩膜集合包括与所述多个网络层分别对应的掩膜。

步骤S320：分别将与所述多个网络层各自对应的掩膜的交集掩膜作为目标掩膜，得到多个目标掩膜。

作为一种实施方式，对于如图3所示的每一个网络层，可以求取每一个网络层所对应的所有掩膜的交集掩膜，进而将交集掩膜作为目标掩膜，从而得到多个目标掩膜。

在求取每一个网络层所对应的所有掩膜的交集掩膜时，若所有掩膜的相同位置数值相同，那么交集掩膜的该位置的数值也和所有掩膜相同，而如果所有掩膜的相同位置数值不完全相同，那么交集掩膜的该位置的数值为“0”。

例如，对于卷积神经网络模型的第一个网络层，假设该网络层对应的掩膜分别为“11010...111”、“11110...010”以及“10111...011”，那么得到的交集掩膜可以为“10010...010”。通过分别将与多个网络层各自对应的掩膜的交集掩膜作为目标掩膜，可以实现在不损失精度的情况下，实现更高的压缩率，以得到更小的剪枝后的小模型。

步骤S330：根据所述多个目标掩膜得到融合掩膜。

步骤S340：基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。

本申请提供的一种模型压缩方法，通过将所述卷积神经网络模型分别输入多个剪枝算法，得到与多个剪枝算法分别对应的掩膜集合，所述卷积神经网络模型包括多个网络层，每个掩膜集合包括与所述多个网络层分别对应的掩膜；分别将与所述多个网络层各自对应的掩膜的交集掩膜作为目标掩膜，得到多个目标掩膜；根据所述多个目标掩膜得到融合掩膜；基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。从而通过上述方式实现了根据多个剪枝算法各自的测度判断得到的掩膜获取融合掩膜，使得能够更精准地判断通道的冗余程度，实现更高的压缩率，从而提升将卷积神经网络模型部署和应用到算力和内存受限的边缘设备的可能性。

同时，通过分别将与多个网络层各自对应的掩膜的交集掩膜作为目标掩膜，可以实现在不损失精度的情况下，实现更高的压缩率，以得到更小的剪枝后的小模型。

请参阅图5，本申请实施例提供了一种模型压缩装置400，运行于电子设备，所述电子设备配置有卷积神经网络模型，所述装置400包括：

掩膜集合获取模块410，用于将所述卷积神经网络模型分别输入多个剪枝算法，得到与多个剪枝算法分别对应的掩膜集合，所述卷积神经网络模型包括多个网络层，每个掩膜集合包括与所述多个网络层分别对应的掩膜。

本实施方式中，多个剪枝算法中每个剪枝算法的测度不同。作为一种方式，掩膜集合获取模块410可以用于将所述卷积神经网络模型分别输入多个剪枝算法，以通过所述多个剪枝算法基于各自的测度对所述卷积神经网络模型的网络层的通道重要程度进行判断；删除重要程度低于预设阈值的通道，以得到与多个剪枝算法分别对应的掩膜集合。

掩膜选取模块420，用于选取与所述多个网络层各自对应的目标掩膜，得到多个目标掩膜。

作为一种方式，掩膜选取模块420可以用于分别将与所述多个网络层各自对应的掩膜中满足目标条件的掩膜选取作为目标掩膜，得到多个目标掩膜。

作为一种实施方式，掩膜选取模块420具体可以用于分别将与所述多个网络层各自对应的掩膜中剩余通道最少的掩膜选取作为目标掩膜，得到多个目标掩膜。

作为另一种实施方式，掩膜选取模块420具体可以用于分别将与所述多个网络层各自对应的掩膜的交集掩膜作为目标掩膜，得到多个目标掩膜。

融合掩膜获取模块430，用于根据所述多个目标掩膜得到融合掩膜。

作为一种方式，融合掩膜获取模块430可以用于逐层将所述多个目标掩膜进行组合，得到融合掩膜。

模型压缩模块440，用于基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。

作为一种方式，模型压缩模块440可以用于基于所述融合掩膜对所述卷积神经网络模型进行剪枝；对所述剪枝后的卷积神经网络模型进行训练，得到目标卷积神经网络模型。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图6，基于上述的模型压缩方法及装置，本申请实施例还提供了一种可以执行前述模型压缩方法的电子设备100。电子设备100包括存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。

其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器104可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。

存储器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图7，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质500中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质500包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。

综上所述，本申请提供的一种模型压缩方法、装置、电子设备以及存储介质，本方法通过将所述卷积神经网络模型分别输入多个剪枝算法，得到与多个剪枝算法分别对应的掩膜集合，所述卷积神经网络模型包括多个网络层，每个掩膜集合包括与所述多个网络层分别对应的掩膜；选取与所述多个网络层各自对应的目标掩膜，得到多个目标掩膜；根据所述多个目标掩膜得到融合掩膜；基于所述融合掩膜对所述卷积神经网络模型进行剪枝，得到目标卷积神经网络模型。从而通过上述方式实现了根据多个剪枝算法各自的测度判断得到的掩膜获取融合掩膜，使得能够更精准地判断通道的冗余程度，实现更高的压缩率，从而提升将卷积神经网络模型部署和应用到算力和内存受限的边缘设备的可能性。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。