一种基于DONNA的提取最优神经网络的方法

技术领域

本发明属于计算机网络技术领域，具体涉及一种基于DONNA的提取最优神经网络的方法。

背景技术

即使最先进的卷积神经网络在给定的硬件平台上，其运行效率也会随着不同的操作系统或者驱动程序版本的改变而改变，目前的神经结构搜索方法也存在着局限性的原因有二，其一，只针对一个部署场景，不能适应场景的任何部分发生变化，其二，没有任何方法可以搜索资源有限的潜在架构中的真正多样化的搜索空间。

存在问题或缺陷的原因：尽管卷积神经网络CNN在许多视觉任务方面处于最先进的水平，但它们并不总是在硬件平台上高效执行，针对此问题而研发的低成本的自动硬件感知神经结构搜索NAS方法也有较大缺陷。

发明内容

针对上述计算机网络结构模型存在缺陷的技术问题，本发明提供了一种适用性强、效率高、成本低的基于DONNA的提取最优神经网络的方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于DONNA的提取最优神经网络的方法，包括下列步骤：

S100、数据采集：采集模型所需的数据，对其类别进行标注，完成模型所需的数据集构建；

S200、数据预处理：将数据归一化，并分为三个阶段，过程如下：

第一阶段：构建一个与部署场景无关的精确预测器；

第二阶段：快速场景感知改进搜索阶段为任何特定场景找到最优网络架构；

第三阶段：预测的帕累托最优体系结构快速精确地完成部署；

S300、验证模型：在ImageNet分类中评估DONNA架构的搜索性能。

所述S200数据预处理，将数据进行归一化处理，方式为特征标准化，使数据集中所有特征都具有零均值和单位方差。

所述S200数据预处理，第一阶段中，利用分块知识蒸馏建立一个适用于不同搜索空间的精度预测器，预测器允许跨不同的宏体系结构网络参数以及跨微体系结构参数进行搜索，采用顺时针知识蒸馏即BKD作为建立精确预测器的第一步，BKD为每个替换块Bn,m生成预先训练的权重和质量度量的块库，用于快速细化和拟合精度预测器，每个块Bn,m是使用预先训练过的参考块Bn作为老师独立训练为学生，过程中使用了教师输出特征图Yn和学生输出特征映射Yn,m之间的误差，形式上通过最小化每个信道的噪声与信号功率比即Nsr来实现，公式如下：

所述S200数据预处理，第二阶段中，快速场景感知改进搜索阶段为任何特定场景找到帕累托最优网络架构，给定精度模型和库，执行特定进化算法以找到帕累托最优体系结构，以最大限度地提高模型精度和最小化目标成本函数，成本函数为方案无关的或感知场景的，通过在优化过程中使用直接的硬件度量，将全网络延迟视为成本函数，在优化过程的最后，对最优模型进行细化，得到最终的模型。

所述S200数据预处理，第三阶段中，预测的帕累托最优体系结构可以快速精确地完成部署，从搜索空间中采样的完整架构可以快速细化，通过使用BKD过程中的权重来初始化，从而匹配从头开始训练的准确性，通过之前的参考模型，使用端到端知识蒸馏即EKD来进一步加快细化速度，根据参考模型和搜索空间的复杂性和多样性，所述参考模型在15-50个迭代达到最先进的精度。

所述S300验证模型中DONNA架构的搜索性能在ImageNet验证上的准确率比从零开始训练的OFA高2.4％，所述DONNA架构在相同延迟的100GPU上的性能超过DNA架构的1.5％。

本发明与现有技术相比，具有的有益效果是：

本发明针对多个不同的硬件平台和用户场景，提出了一种新的用于快速神经结构搜索和空间搜索的DONNA结构，这是一种新颖的三步流水线架构，适用于感知各种场景的NAS，它支持在不同空间、不同的宏观和微观架构中快速搜索，且DONNA的精度预测器可以推广到不可见的搜索空间，这对于快速搜索空间的探索非常有用。

附图说明

图1本发明的主要步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于DONNA的提取最优神经网络的方法，如图1所示，包括下列步骤：

S100、数据采集：采集模型所需的数据，对其类别进行标注，完成模型所需的数据集构建；

S200、数据预处理：将数据归一化，并分为三个阶段，过程如下：

第一阶段：构建一个与部署场景无关的精确预测器；

第二阶段：快速场景感知改进搜索阶段为任何特定场景找到最优网络架构；

第三阶段：预测的帕累托最优体系结构快速精确地完成部署；

S300、验证模型：在ImageNet分类中评估DONNA架构的搜索性能。

进一步，步骤S200数据预处理，将数据进行归一化处理，方式为特征标准化，使数据集中所有特征都具有零均值和单位方差。

进一步，步骤S200数据预处理，第一阶段中，利用分块知识蒸馏建立一个适用于不同搜索空间的精度预测器，预测器允许跨不同的宏体系结构网络参数如层类型、注意机制和通道宽度以及跨微体系结构参数如块重复、内核大小和扩展速率进行搜索，采用顺时针知识蒸馏即BKD作为建立精确预测器的第一步，BKD为每个替换块Bn,m生成预先训练的权重和质量度量的块库，用于快速细化和拟合精度预测器，每个块Bn,m是使用预先训练过的参考块Bn作为老师独立训练为学生，过程中使用了教师输出特征图Yn和学生输出特征映射Yn,m之间的误差，形式上通过最小化每个信道的噪声与信号功率比即Nsr来实现，公式如下：

进一步，步骤S200数据预处理，第二阶段中，快速场景感知改进搜索阶段为任何特定场景找到帕累托最优网络架构，给定精度模型和库，执行特定进化算法以找到帕累托最优体系结构，以最大限度地提高模型精度和最小化目标成本函数，成本函数可以是方案无关的，例如网络中的操作数或参数，也可以是感知场景的，例如设备上的延迟、吞吐量或能量，通过在优化过程中使用直接的硬件度量，将全网络延迟视为成本函数，在优化过程的最后，对最优模型进行细化，得到最终的模型。

进一步，步骤S200数据预处理，第三阶段中，预测的帕累托最优体系结构可以快速精确地完成部署，从搜索空间中采样的完整架构可以快速细化，通过使用BKD过程中的权重来初始化，从而匹配从头开始训练的准确性，通过之前的参考模型，使用端到端知识蒸馏即EKD来进一步加快细化速度，根据参考模型和搜索空间的复杂性和多样性，模型可以在15-50个迭代达到最先进的精度，此方案对DONNA的整体效率至关重要，在线性精度预测器生成训练目标和快速调整和验证帕累托最优架构都起到了重要作用。

进一步，步骤S300验证模型中，DONNA的搜索网络架构达到了最先进的水准，在ImageNet验证上的准确率比从零开始训练的OFA高2.4％，同时，DONNA搜索架构在相同延迟的100GPU上，模型的性能超过DNA架构的1.5％，还可用于将现有的神经结构压缩为更快、更有效的版本，这对于一个已经为他们的应用程序建立了网络原型并希望在许多不同的设备上高效运行网络的设计人员来说非常有用。

上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。