一种场景约束的智能网络搜索的模型剪枝方法

技术领域

本发明涉及模型剪枝、神经网络搜索、深度学习领域，特别涉及一种场景约束的智能网络搜索的模型剪枝方法。

背景技术

随着深度学习的广泛运用，越来越多复杂的模型在不同的领域中的表现远超于其他的传统方法。然而这些模型的提出依据了大量的专家经验并消耗大量实验资源，且在移动端部署时面临着巨大的挑战。为了降低模型计算成本，神经网络结构搜索(NAS)、剪枝、量化和模型蒸馏等技术不断的被提出。

模型剪枝是降低模型冗余参数，减少模型过拟合的一种手段，能够有效降低模型的计算成本。然而现有的模型剪枝手段都需要人工经验且实现成本巨大。

NAS是一种用来自动设计神经网络结构的技术，可以在场景条件的约束下自动搜索解空间，并通过评价策略选出网络结构最优解。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种场景约束的智能网络搜索的模型剪枝方法，在不改变网络拓扑结构的基础上，搜索策略寻找最优子网络，并与模型剪枝技术手段相结合，通过减少神经网络的通道数，从而达到降低模型计算成本的目的。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种场景约束的智能网络搜索的模型剪枝方法，包括以下步骤：

S1、构建包含参数θ和w的有向无环图G＝(V，E)，准备好训练集X

S2、设置训练损失函数和验证损失函数；

S3、在N个epoch下通过梯度下降算法进行参数θ和w的迭代计算L

S4、对于最优子网络a进行重新训练，消除训练中的不稳定性，得出最优子网络。

与现有技术相比，本发明的有益效果如下：

本发明提出了一种在场景约束的智能网络搜索的模型剪枝方法，在不改变网络拓扑结构的基础上，搜索策略寻找最优子网络，并与模型剪枝技术手段相结合，通过减少神经网络的通道数，从而达到降低模型计算成本的目的。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的该算法神经网络搜索及反向传播的示意图；

图2是本发明的该算法发明的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

假设未经过剪枝的神经网络，定义为超网络A。模型剪枝的目的在于减少网络每层的通道数(宽度)且不改变网络拓扑结构，即寻找最优子网络结构

如图1，将神经网络抽象成一个有向无环图G＝(V，E)，其中结点v

引入参数θ

对于所有节点v

通过NAS可以自动完成网络结构的搜索，对于子网络

其中对于分类任务而言，L

对子网络a进行评估时，评估函数L

L

其中CrossEntropy(a

具体的步骤如下：

S1、构建包含参数θ和w的有向无环图G＝(V，E)，准备好训练集X

S2、设置训练损失函数和验证损失函数；

S3、在N个epoch下通过梯度下降算法进行参数θ和w的迭代计算L

S4、对于最优子网络a进行重新训练，消除训练中的不稳定性，得出最优子网络。

与现有技术相比，本发明的有益效果如下：

本发明提出了一种在场景约束的智能网络搜索的模型剪枝方法，在不改变网络拓扑结构的基础上，搜索策略寻找最优子网络，并与模型剪枝技术手段相结合，通过减少神经网络的通道数，从而达到降低模型计算成本的目的。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。