一种场景约束的智能网络搜索的模型剪枝方法
文献发布时间:2023-06-19 09:54:18
技术领域
本发明涉及模型剪枝、神经网络搜索、深度学习领域,特别涉及一种场景约束的智能网络搜索的模型剪枝方法。
背景技术
随着深度学习的广泛运用,越来越多复杂的模型在不同的领域中的表现远超于其他的传统方法。然而这些模型的提出依据了大量的专家经验并消耗大量实验资源,且在移动端部署时面临着巨大的挑战。为了降低模型计算成本,神经网络结构搜索(NAS)、剪枝、量化和模型蒸馏等技术不断的被提出。
模型剪枝是降低模型冗余参数,减少模型过拟合的一种手段,能够有效降低模型的计算成本。然而现有的模型剪枝手段都需要人工经验且实现成本巨大。
NAS是一种用来自动设计神经网络结构的技术,可以在场景条件的约束下自动搜索解空间,并通过评价策略选出网络结构最优解。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷,提供一种场景约束的智能网络搜索的模型剪枝方法,在不改变网络拓扑结构的基础上,搜索策略寻找最优子网络,并与模型剪枝技术手段相结合,通过减少神经网络的通道数,从而达到降低模型计算成本的目的。
为了解决上述技术问题,本发明提供了如下的技术方案:
本发明一种场景约束的智能网络搜索的模型剪枝方法,包括以下步骤:
S1、构建包含参数θ和w的有向无环图G=(V,E),准备好训练集X
S2、设置训练损失函数和验证损失函数;
S3、在N个epoch下通过梯度下降算法进行参数θ和w的迭代计算L
S4、对于最优子网络a进行重新训练,消除训练中的不稳定性,得出最优子网络。
与现有技术相比,本发明的有益效果如下:
本发明提出了一种在场景约束的智能网络搜索的模型剪枝方法,在不改变网络拓扑结构的基础上,搜索策略寻找最优子网络,并与模型剪枝技术手段相结合,通过减少神经网络的通道数,从而达到降低模型计算成本的目的。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明的该算法神经网络搜索及反向传播的示意图;
图2是本发明的该算法发明的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1
假设未经过剪枝的神经网络,定义为超网络A。模型剪枝的目的在于减少网络每层的通道数(宽度)且不改变网络拓扑结构,即寻找最优子网络结构
如图1,将神经网络抽象成一个有向无环图G=(V,E),其中结点v
引入参数θ
对于所有节点v
通过NAS可以自动完成网络结构的搜索,对于子网络
其中对于分类任务而言,L
对子网络a进行评估时,评估函数L
L
其中CrossEntropy(a
具体的步骤如下:
S1、构建包含参数θ和w的有向无环图G=(V,E),准备好训练集X
S2、设置训练损失函数和验证损失函数;
S3、在N个epoch下通过梯度下降算法进行参数θ和w的迭代计算L
S4、对于最优子网络a进行重新训练,消除训练中的不稳定性,得出最优子网络。
与现有技术相比,本发明的有益效果如下:
本发明提出了一种在场景约束的智能网络搜索的模型剪枝方法,在不改变网络拓扑结构的基础上,搜索策略寻找最优子网络,并与模型剪枝技术手段相结合,通过减少神经网络的通道数,从而达到降低模型计算成本的目的。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
- 一种场景约束的智能网络搜索的模型剪枝方法
- 神经网络模型的剪枝方法、装置、设备和人工智能芯片