超网络的训练方法、装置、电子设备和存储介质

技术领域

本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习等领域。

背景技术

NAS(Neural Architecture Search，神经网络架构搜索)的原理是给定一个称为搜索空间的神经网络结构集合，基于搜索策略从中搜索出最优网络结构。在图像处理场景中，可以采用NAS技术，从搜索空间中搜索用于图像处理的网络结构。用于图像处理的搜索空间中可包含海量的网络结构，每个网络结构中包括多个模块(block)、子模块(subblock)或神经网络层(layer)。一般来说，这些模块或神经网络层具有固定的特征图分辨率。

发明内容

本公开提供了一种超网络的训练方法、装置、电子设备和存储介质。

根据本公开的一方面，提供了一种超网络的训练方法，包括：

基于预设超网络进行N次迭代操作，得到目标超网络；其中，N为大于等于2的整数；

其中，N次迭代操作中的第i次迭代操作，包括：

将预设分辨率的i倍作为特征图分辨率，基于特征图分辨率和预设骨架结构得到扩展子网络；其中，i为小于等于N的正整数；

基于扩展子网络，更新预设超网络，并对更新后的预设超网络进行训练，得到收敛的超网络；

在i等于预设阈值N的情况下，将收敛的超网络确定为目标超网络。

根据本公开的另一方面，提供了一种超网络的训练装置，包括：

迭代模块，用于基于预设超网络进行N次迭代操作，得到目标超网络；其中，N为大于等于2的整数；

其中，迭代模块包括：

分辨率扩展单元，用于将预设分辨率的i倍作为特征图分辨率，基于特征图分辨率和预设骨架结构得到扩展子网络；其中，i为小于等于N的正整数；

超网络训练单元，用于基于扩展子网络，更新预设超网络，并对更新后的预设超网络进行训练，得到收敛的超网络；

目标确定单元，用于在i等于预设阈值N的情况下，将收敛的超网络确定为目标超网络。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。

根据本公开的技术，基于预设超网络进行多次迭代操作。每次迭代操作中，基于预设分辨率的i倍和预设骨架结构得到扩展子网络，基于扩展子网络更新预设超网络，并训练预设超网络至收敛。因此，得到的目标超网络包含与预设骨架结构对应的多个具有不同特征图分辨率的子网络，可以提升在目标超网络的搜索空间中搜索到的子网络在图像处理场景中的性能。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开一个实施例提供的超网络的训练方法的示意图；

图2是本公开另一个实施例提供的超网络的训练方法的示意图；

图3是本公开又一个实施例提供的超网络的训练方法的示意图；

图4是本公开一个实施例提供的超网络的训练装置的示意图；

图5是本公开另一个实施例提供的超网络的训练装置的示意图；

图6是用来实现本公开实施例的超网络的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了本公开一个实施例提供的超网络的训练方法的示意图。如图1所示，该方法包括：

步骤S110，基于预设超网络进行N次迭代操作，得到目标超网络；其中，N为大于等于2的整数；

其中，N次迭代操作中的第i次迭代操作，包括：

步骤S111，将预设分辨率的i倍作为特征图分辨率，基于特征图分辨率和预设骨架结构得到扩展子网络；其中，i为小于等于N的正整数；

步骤S112，基于扩展子网络，更新预设超网络，并对更新后的预设超网络进行训练，得到收敛的超网络；

步骤S113，在i等于预设阈值N的情况下，将收敛的超网络确定为目标超网络。

本公开实施例提供的方法用于训练超网络，超网络的搜索空间中的所有网络结构，即搜索空间中的各个子网络，共享超网络的参数。因此，通过训练超网络，可以替代对各个子网络分别进行训练，提升训练效率。超网络的搜索空间中的各个子网络也可以称为超网络的各个子网络。

示例性地，预设骨架结构和预设分辨率，可以基于初始搜索空间得到。一种示例中，可以预先确定初始搜索空间，例如MobileNet-like搜索空间或ResNet-like搜索空间。初始搜索空间包括多个模型结构或者说子网络。示例性地，初始搜索空间包括多个骨架结构不同的子网络。这里，骨架结构可以指神经网络中各种模块(block)、子模块(sub block)或网络层(layer)的类型和数量等结构信息的集合。其中，初始搜索空间中各子网络的骨架结构可以视为预设骨架结构，初始搜索空间中各子网络的特征图分辨率可以是上述预设分辨率。

示例性地，预设超网络可以基于初始的超网络参数得到，初始的超网络参数可以通过预先配置得到。根据本公开实施例，每次迭代操作中，均基于预设分辨率的倍数和预设骨架结构得到扩展子网络，基于扩展子网络更新预设超网络。这里，基于扩展子网络更新预设超网络，可以是基于扩展子网络和预设超网络的搜索空间已有的子网络重新选取子网络作为搜索空间中的子网络，或者在预设超网络的搜索空间中添加扩展子网络等。每次更新预设超网络后均对更新后的预设超网络进行训练直至收敛，以优化超网络参数，提升共享超网络参数的各子网络的性能。

举例而言，预设骨架结构为A、B、C，预设分辨率为R。在第i次迭代操作中，将预设分辨率的i倍i*R作为特征图分辨率，结合预设骨架结构A、B和C，可以得到骨架结构分别为预设骨架结构A、B、C且特征图分辨率均为预设分辨率i*R的3个扩展子网络。基于扩展子网络更新预设超网络并训练至收敛。经过N次迭代操作，得到目标超网络，目标超网络的搜索空间中包括与多个预设骨架结构分别对应的多组子网络，每组子网络包括预设分辨率分别为R、2R、3R、……、N*R的N个子网络。并且，子网络通过共享超网络参数的方式进行了训练。基于此，可以根据实际应用需求，从目标超网络的各子网络中搜索得到性能更好的子网络。

可见，根据本公开实施例的方法，基于预设超网络进行多次迭代操作。每次迭代操作中，基于预设分辨率的i倍和预设骨架结构得到扩展子网络，基于扩展子网络更新预设超网络，并训练预设超网络至收敛。因此，得到的目标超网络包含与预设骨架结构对应的多个具有不同特征图分辨率的子网络，可以提升在目标超网络的搜索空间中搜索到的子网络在图像处理场景中的性能。例如，在如图像分类、图像识别等图像处理场景中，可以提高图像处理的速度和精度等。具体而言，在特定硬件上使用在目标超网络的搜索空间中搜索到的子网络，可以获得更好的硬件性能，例如在运行速度有限的处理器上能够得到更高的处理精度，或者在处理精度有限的处理器上能够更快地运行等。在一些场景中，还可以降低硬件成本，例如可以利用少于以往数量的硬件达到同等的硬件性能，通过减少硬件使用数量降低硬件成本。

在一种示例性的实施方式中，上述步骤S112中，基于扩展子网络，更新预设超网络，包括：

在预设超网络的搜索空间中添加扩展子网络。

举例而言，在第2次迭代操作中，扩展子网络包括骨架结构分别为预设骨架结构A、B、C，特征图分辨率均为预设分辨率2R的3个子网络。在搜索空间中添加扩展子网络，则搜索空间中包括：骨架结构均为A且特征图分辨率分别为R、2R的2个第一子网络；骨架结构均为B且特征图分辨率分别为R、2R的2个第二子网络；以及，骨架结构均为C且特征图分辨率分别为R、2R的2个第三子网络。

通过在预设超网络的搜索空间中添加扩展子网络，可以使最终训练得到的目标超网络的搜索空间中包含特征图分辨率为预设分辨率的1至N倍的全量的子网络。因此，有利于搜索得到更符合实际应用需求的子网络。

在一种示例性的实施方式中，上述步骤S112中，对更新后的预设超网络进行训练，得到收敛的超网络，包括：

基于预设分辨率，在更新后的预设超网络的搜索空间中选取m个子网络；其中，m为正整数；

基于m个子网络对更新后的预设超网络进行训练，得到收敛的超网络。

例如，在更新后的预设超网络的搜索空间中，选取m个特征图分辨率为预设分辨率的子网络。基于选取的子网络对更新后的预设超网络进行训练，而不是基于全量的子网络对更新后的预设超网络进行训练。

根据上述实施方式，在每次迭代操作中，并没有兼顾所有的子网络，而是利用预设分辨率对应的子网络更新超网络。因此，能够有效降低计算量。并且，采用预设分辨率对应的子网络，相比采用预设分辨率的多倍的倍数所对应的子网络，对超网络进行更新，能够降低计算的复杂度，进一步提高计算效率。

在获得目标超网络后，可以基于预设算法例如遗传算法，在目标超网络的搜索空间中选取目标子网络，用以进行图像处理。在一种示例性的实施方式中，还可以利用性能预测模型进行选取。如图2所示，上述方法还可以包括：

步骤S210，利用性能预测模型，在目标超网络的搜索空间中选取目标子网络。

性能预测模型用于对超网络的各个子网络进行性能预测，得到超网络的各个子网络的预测性能。性能预测模型可以采用线性估计模型，也可以采用概率模型，例如，联合高斯分布模型等。

根据上述实施方式，利用性能预测模型，进行目标子网络的选取，可以选取到性能更优的目标子网络，从而提升目标子网络在图像处理场景中的性能例如提升图像处理的速度和精度等，并降低硬件成本。

示例性地，可以利用多个子网络以及对应的性能信息，训练得到上述性能预测模型。具体的，上述方法还可以包括：

在目标超网络的搜索空间中随机采样k个子网络；其中，k为正整数；

基于目标超网络的超网络参数对k个子网络进行评估，得到k个子网络的评估性能；

基于k个子网络的评估性能，训练预设模型，得到性能预测模型。

示例性地，可以基于k个子网络的参数分别与目标超网络的超网络参数之间的差异，对k个子网络分别进行评估，得到评估性能。以子网络和其评估性能作为训练数据对，训练预设模型，可以得到性能预测模型。

根据上述实施方式，可以训练得到准确的性能预测模型，基于准确的性能预测模型在目标超网络的搜索空间中选取目标子网络，可以提升目标子网络在图像处理场景中的性能例如提升图像处理的速度和精度等，并降低硬件成本。

在一种示例性的实施方式中，如图3所示，上述方法还包括：

步骤S310，获取待处理图像；

步骤S320，利用目标子网络对待处理图像进行处理，得到待处理图像的图像处理结果。

举例而言，待处理图像可以是待识别或待分类的图像。利用目标子网络对待处理图像进行处理，可以得到图像处理结果，包括对待处理图像的识别结果或分类结果。其中，识别结果可以包括目标检测结果、语义分割结果等。

根据上述实施方式，将基于超网络搜索得到的目标子网络应用到图像处理场景中，可以提高处理精度和/或速度。

下面提供本公开实施例的一个应用示例。在该应用示例中，超网络的训练方法包括：

步骤S10，设计通用的骨架结构搜索空间，例如MobileNet-like搜索空间或ResNet-like搜索空间等。

步骤S20，设计分辨率搜索空间，该搜索空间中每个block、sub block或layer均有多个可选的分辨率(在预设分辨率固定的情况下，为预设分辨率的倍数)，每个block、subblock或layer的分辨率可以是r_1，r_2，……，r_k等k种取值。其中，对于任意k1

步骤S30，初始化k＝1，则分辨率搜索空间中仅包含分辨率为r_1的子网络。

步骤S40，使用分辨率为r_k的子网络，训练超网络直到收敛。

步骤S50，若k小于预设阈值，则令k＝k+1，返回步骤S40。此时，r_k保持为最低的分辨率，但搜索空间中的分辨率的可选数量增加。

步骤S60，若k达到预设阈值，输出训练好的超网络supernet。

步骤S70，基于超网络，随机采样m个子网络，每个子网络的每个sub block或layer具有确定的分辨率以及骨架结构。

步骤S80，基于超网络，评估m个子网络的性能。

步骤S90，基于子网络以及子网络的性能得到数据对(pair)，利用数据对训练得到性能预测模型。

步骤S100，基于性能预测模型，搜索得到最优的子网络，其具有最优分辨率。

应当理解，本公开的适用范围，不限于上述图像处理领域，还可以适用于其他人工智能领域。示例性地，可以适用于模型压缩的PaddleSlim、用于云计算的Paddlecloud、用于图像识别的EasyDL等等。根据本公开实施例的方法，基于预设超网络进行多次迭代操作。每次迭代操作中，基于预设分辨率的i倍和预设骨架结构得到扩展子网络，基于扩展子网络更新预设超网络，并训练预设超网络至收敛。因此，得到的目标超网络包含与预设骨架结构对应的多个具有不同特征图分辨率的子网络，可以提升在目标超网络的搜索空间中搜索到的子网络在图像处理场景中的性能。

作为上述各方法的实现，本公开还提供一种超网络的训练装置。图4是本公开一个实施例提供的超网络的训练装置的示意图。如图4所示，该装置包括：

迭代模块410，用于基于预设超网络进行N次迭代操作，得到目标超网络；其中，N为大于等于2的整数；

其中，迭代模块410包括：

分辨率扩展单元411，用于将预设分辨率的i倍作为特征图分辨率，基于特征图分辨率和预设骨架结构得到扩展子网络；其中，i为小于等于N的正整数；

超网络训练单元412，用于基于扩展子网络，更新预设超网络，并对更新后的预设超网络进行训练，得到收敛的超网络；

目标确定单元413，用于在i等于预设阈值N的情况下，将收敛的超网络确定为目标超网络。

示例性地，超网络训练单元412用于：

在预设超网络的搜索空间中添加扩展子网络。

示例性地，超网络训练单元412用于：

基于预设分辨率，在更新后的预设超网络的搜索空间中选取m个子网络；其中，m为正整数；

基于m个子网络对更新后的预设超网络进行训练，得到收敛的超网络。

示例性地，如图5所示，超网络的训练装置还包括：

子网络选取模块510，用于利用性能预测模型，在目标超网络的搜索空间中选取目标子网络。

示例性地，如图5所示，超网络的训练装置还包括：

随机采样模块520，用于在目标超网络的搜索空间中随机采样k个子网络；其中，k为正整数；

性能评估模块530，用于基于目标超网络的超网络参数对k个子网络进行评估，得到k个子网络的评估性能；

模型确定模块540，用于基于k个子网络的评估性能，训练预设模型，得到性能预测模型。

示例性地，如图5所示，超网络的训练装置还包括：

图像获取模块550，用于获取待处理图像；

图像处理模块560，用于利用目标子网络对待处理图像进行处理，得到待处理图像的图像处理结果。

本公开实施例提供的超网络的训练方法，可以实现本公开实施例提供的超网络的训练装置，具备相应的有益效果。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。

如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入输出(I/O)接口605也连接至总线604。

电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如超网络的训练方法。例如，在一些实施例中，超网络的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的超网络的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行超网络的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。