超网络的训练方法、装置、电子设备和存储介质

技术领域

本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习等领域。

背景技术

NAS(Neural Architecture Search，神经网络架构搜索)的原理是给定一个称为搜索空间的神经网络结构集合，基于搜索策略从中搜索出最优网络结构。早期的NAS搜索效率非常低，需要消耗非常大的资源。因此，基于参数共享的NAS方法因具备高搜索效率而备受人们关注。在基于参数共享的NAS方法中，先训练一个超网络，超网络所对应的搜索空间中的所有网络结构即超网络的各个子网络，共享超网络的参数。因此，超网络的性能影响各子网络的性能。

发明内容

本公开提供了一种超网络的训练方法、装置、电子设备和存储介质。

根据本公开的一方面，提供了一种超网络的训练方法，包括：

基于预设超网络进行N次迭代操作，得到目标超网络；其中，N为大于等于2的整数；

其中，N次迭代操作中的第i次迭代操作，包括：

利用第i-1个概率模型，在使用第i-1组超网络参数的预设超网络的搜索空间中选取m个子网络；其中，i为小于等于N的正整数，m为正整数；

基于第i-1组超网络参数对m个子网络进行评估，得到m个子网络的性能信息；

基于m个子网络的性能信息，得到第i个概率模型；

基于第i-1个概率模型的超参数与第i个概率模型的超参数之间的互信息，得到第i组超网络参数；

在i等于预设阈值N的情况下，将使用第i组超网络参数的预设超网络作为目标超网络。

根据本公开的另一方面，提供了一种超网络的训练装置，包括：

迭代模块，用于基于预设超网络进行N次迭代操作，得到目标超网络；其中，N为大于等于2的整数；

其中，迭代模块包括：

子网络单元，用于利用第i-1个概率模型，在使用第i-1组超网络参数的预设超网络的搜索空间中选取m个子网络；其中，i为小于等于N的正整数，m为正整数；

性能信息单元，用于基于第i-1组超网络参数对m个子网络进行评估，得到m个子网络的性能信息；

概率模型单元，用于基于m个子网络的性能信息，得到第i个概率模型；

超网络参数单元，用于基于第i-1个概率模型的超参数与第i个概率模型的超参数之间的互信息，得到第i组超网络参数；

目标超网络单元，用于在i等于预设阈值N的情况下，将使用第i组超网络参数的预设超网络作为目标超网络。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。

根据本公开的技术，概率模型和超网络互相影响，能够形成正向反馈，逐步提高超网络的性能。并且，由于基于概率模型更新前后的互信息更新超网络参数，进而更新概率模型，因此，能够以互信息最大为目标更新超网络参数和概率模型，使得采样的子网络能够更好地代表超网络的各子网络，共享超网络参数的各个子网络的性能与单独训练得到的子网络的性能之间的一致性更高。在提高神经网络的搜索效率的同时，提升搜索到的子网络的性能。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开一个实施例提供的超网络的训练方法的示意图；

图2是本公开另一个实施例提供的超网络的训练方法的示意图；

图3是本公开又一个实施例提供的超网络的训练方法的示意图；

图4是本公开一个实施例提供的超网络的训练装置的示意图；

图5是本公开另一个实施例提供的超网络的训练装置的示意图；

图6是用来实现本公开实施例的超网络的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了本公开一个实施例提供的超网络的训练方法的示意图。如图1所示，该方法包括：

步骤S110，基于预设超网络进行N次迭代操作，得到目标超网络；其中，N为大于等于2的整数；

其中，N次迭代操作中的第i次迭代操作，包括：

步骤S111，利用第i-1个概率模型，在使用第i-1组超网络参数的预设超网络的搜索空间中选取m个子网络；其中，i为小于等于N的正整数，m为正整数；

步骤S112，基于第i-1组超网络参数对m个子网络进行评估，得到m个子网络的性能信息；

步骤S113，基于m个子网络的性能信息，得到第i个概率模型；

步骤S114，基于第i-1个概率模型的超参数与第i个概率模型的超参数之间的互信息，得到第i组超网络参数；

步骤S115，在i等于预设阈值N的情况下，将使用第i组超网络参数的预设超网络作为目标超网络。

示例性地，初始的超网络参数，或者说第0组超网络参数，可以是对应于初始搜索空间的超网络参数。一种示例中，可以预先确定初始搜索空间，例如MobileNet-like搜索空间或ResNet-like搜索空间。初始搜索空间包括多个模型结构或者说子网络。基于训练数据，对初始搜索空间中的全部或部分子网络例如随机采样得到的多个子网络，分别进行前向传播以及反向传播，可以得到初始的超网络参数。基于超网络参数可以确定超网络以及对超网络的搜索空间中的各个子网络进行评估，得到子网络的性能信息。

示例性地，概率模型可以表征模型结构和模型性能的关系。一种示例中，可以预先设定概率模型的类型，例如使用多维高斯分布模型作为概率模型。概率模型可以用于采样子网络。在第1次迭代操作中，可以利用初始的概率模型即第0个概率模型随机采样m个子网络。由于在每次迭代操作中，基于m个子网络对概率模型的超参数进行更新，因此，在第2次以及之后的每次迭代操作中，概率模型基于更新的超参数采样m个子网络。示例性地，概率模型可以基于更新的超参数对各子网络进行预测，得到各子网络的预测性能，根据各子网络的预测性能在搜索空间中选取m个子网络。或者，概率模型可以基于更新的超参数的最大似然估计值，按照一定原则例如信息熵最大化原则选取m个子网络。

本公开实施例中，利用概率模型采样子网络，基于超网络参数对采样得到的子网络进行评估，根据评估得到的子网络的性能信息更新概率模型，再基于更新前后的概率模型的超参数之间的互信息更新超网络参数，即基于第i-1个概率模型的超参数与第i个概率模型的超参数之间的互信息更新超网络参数，得到第i组超网络参数。其中，互信息可以指更新后的概率模型的超参数(第i个概率模型的超参数)中包含的与更新前的概率模型的超参数(第i-1个概率模型的超参数)有关的信息量。基于互信息，可以确定概率模型的超参数在更新过程中的变化量。

由于根据概率模型的在更新前后的互信息更新超网络参数，因此，随着概率模型的更新，超网络参数也随后更新。若超网络参数精确度提升，则基于超网络参数对概率模型采样的子网络的评估更准确，更新后的概率模型的精度也得到提升，进而利用概率模型更新前后的互信息更新超网络参数，能够得到精确度更高的超网络参数。经过若干轮次的更新之后，如果超网络的更新次数i达到预设阈值N，则输出目标超网络。其中，预设阈值N可以是200次、500次等。

可见，根据本公开实施例的方法，概率模型和超网络互相影响，能够形成正向反馈，逐步提高超网络的性能。并且，由于基于概率模型更新前后的互信息更新超网络参数，进而更新概率模型，因此，能够以互信息最大为目标更新超网络参数和概率模型，使得采样的子网络能够更好地代表超网络的各子网络，共享超网络参数的各个子网络的性能与单独训练得到的子网络的性能之间的一致性更高。在提高神经网络的搜索效率的同时，提升搜索到的子网络的性能。基于此，将搜索到的子网络应用到图像处理(如图像分类、图像识别)等场景中，可以提高图像处理的速度和精度等。在特定硬件上使用搜索到的子网络，可以获得更好的硬件性能，例如在运行速度有限的处理器上能够得到更高的处理精度，或者在处理精度有限的处理器上能够更快地运行等。在一些场景中，还可以降低硬件成本，例如可以利用少于以往数量的硬件达到同等的硬件性能，通过减少硬件使用数量降低硬件成本。

在一种示例性的实施方式中，上述步骤S111中，利用第i-1个概率模型，在使用第i-1组超网络参数的预设超网络的搜索空间中选取m个子网络，包括：

利用第i-1个概率模型，在使用第i-1组超网络参数的预设超网络的搜索空间中选取使得信息熵最大化的m个子网络。

也就是说，利用第i-1个概率模型，评估当前的预设超网络的搜索空间中各子网络的信息熵增益，从搜索空间中选取出信息熵增益最大的m个子网络。示例性地，可以基于第i-1个概率模型的超参数的最大似然估计值，按照信息熵最大化的原则采样m个子网络。

根据上述示例性的实施方式，可以使基于m个子网络得到的第i个概率模型更符合实际情况，共享超网络参数的各个子网络的性能与单独训练得到的子网络的性能之间的一致性更高。

在一种示例性的实施方式中，上述步骤S113中，基于m个子网络的性能信息，得到第i个概率模型，包括：

基于m个子网络的性能信息进行最大似然估计，得到第i组概率模型超参数；

基于第i组概率模型超参数，得到第i个概率模型。

作为一种示例，可以直接基于m个子网络的性能信息进行最大似然估计，得到第i组概率模型超参数。作为另一种示例，可以基于m个子网络的性能信息得到相应的损失函数，基于m个子网络的损失函数进行最大似然估计，得到第i组概率模型超参数。

最大似然估计是针对模型结构已定且参数未知的情况，较为准确地评估模型参数的方法。采用最大似然估计的方式，可以提升概率模型超参数的准确度，进而提升概率模型以及超网络参数的准确度，进一步提升超网络和子网络的性能。

本公开实施例中，可以将互信息最大化作为更新目标，更新超网络参数和概率模型。在一种示例性的实施方式中，上述步骤S114中，基于第i-1个概率模型的超参数与第i个概率模型的超参数之间的互信息，得到第i组超网络参数，包括：

将第i-1个概率模型的超参数与第i个概率模型的超参数之间的互信息的倒数作为损失函数；

基于损失函数对第i-1组超网络参数进行更新，得到第i组超网络参数。

根据上述实施方式，互信息越大，其倒数越小，则损失函数越小。例如，互信息为2，则损失函数为1/2；互信息为3，则损失函数为1/3。

由于使用损失函数更新模型或参数，将使得损失函数更小，因此，根据上述实施方式，更新超网络参数和概率模型后，互信息更大，可以使共享超网络参数的各个子网络的性能与单独训练得到的子网络的性能之间的一致性更高。

在训练得到目标超网络后，还可以基于预设算法从目标超网络的搜索空间中选取目标子网络，以将目标子网络应用于图像处理等应用场景中。其中，预设算法可以是遗传算法等。在一种示例性的实施方式中，还可以参考图2所示的步骤选取目标子网络。如图2所示，上述方法还可以包括：

步骤S210，利用第N个概率模型，在目标超网络的搜索空间中选取k个子网络；其中，k为正整数；

步骤S220，基于目标超网络的超网络参数对k个子网络进行评估，得到k个子网络的性能信息；

步骤S230，将k个子网络的性能信息中的最大值所对应的子网络，确定为目标子网络。

示例性地，在上述步骤S210中，可以先基于目标超网络，随机采样L个子网络，此处采样的子网络的数量L为大于等于k的整数。再利用第N个概率模型即最新的概率模型对L个子网络进行预测，得到L个子网络的预测性能，根据L个子网络的预测性能从中选取k个子网络，例如预测性能最好的k个子网络。进而基于目标超网络的超网络参数对k个子网络进行评估，根据评估结果得到目标子网络。

根据上述实施方式，可以基于概率模型和目标超网络的超网络参数分别对子网络进行预测和评估，从而选取得到性能最优的子网络，有利于提高目标子网络在具体应用场景中的硬件性能，例如在运行速度有限的处理器上能够得到更高的处理精度，或者在处理精度有限的处理器上能够更快地运行等。

在一种示例性的实施方式中，如图3所示，上述方法还包括：

步骤S310，获取待处理图像；

步骤S320，利用目标子网络对待处理图像进行处理，得到待处理图像的图像处理结果。

举例而言，待处理图像可以是待识别或待分类的图像。利用目标子网络对待处理图像进行处理，可以得到图像处理结果，包括对待处理图像的识别结果或分类结果。其中，识别结果可以包括目标检测结果、语义分割结果等。

根据上述实施方式，将基于超网络搜索得到的目标子网络应用到图像处理场景中，可以提高处理精度和/或速度。

应当理解，本公开的适用范围，不限于上述图像处理领域，还可以适用于自然语言处理、云计算等人工智能领域。示例性地，可以适用于模型压缩的PaddleSlim、用于云计算的Paddlecloud、用于图像识别的EasyDL等等。根据本公开实施例的方法，概率模型和超网络互相影响，能够形成正向反馈，逐步提高超网络的性能。并且，由于基于概率模型更新前后的互信息更新超网络参数，进而更新概率模型，因此，能够以互信息最大为目标更新超网络参数和概率模型，使得采样的子网络能够更好地代表超网络的各子网络，共享超网络参数的各个子网络的性能与单独训练得到的子网络的性能之间的一致性更高。在提高神经网络的搜索效率的同时，提升搜索到的子网络的性能。

作为上述各方法的实现，本公开还提供一种超网络的训练装置。图4是本公开一个实施例提供的超网络的训练装置的示意图。如图4所示，该装置包括：

迭代模块410，用于基于预设超网络进行N次迭代操作，得到目标超网络；其中，N为大于等于2的整数；

其中，迭代模块410包括：

子网络单元411，用于利用第i-1个概率模型，在使用第i-1组超网络参数的预设超网络的搜索空间中选取m个子网络；其中，i为小于等于N的正整数，m为正整数；

性能信息单元412，用于基于第i-1组超网络参数对m个子网络进行评估，得到m个子网络的性能信息；

概率模型单元413，用于基于m个子网络的性能信息，得到第i个概率模型；

超网络参数单元414，用于基于第i-1个概率模型的超参数与第i个概率模型的超参数之间的互信息，得到第i组超网络参数；

目标超网络单元415，用于在i等于预设阈值N的情况下，将使用第i组超网络参数的预设超网络作为目标超网络。

示例性地，性能信息单元412用于：

利用第i-1个概率模型，在使用第i-1组超网络参数的预设超网络的搜索空间中选取使得信息熵最大化的m个子网络。

示例性地，概率模型单元413用于：

基于m个子网络的性能信息进行最大似然估计，得到第i组概率模型超参数；

基于第i组概率模型超参数，得到第i个概率模型。

示例性地，超网络参数单元414用于：

将第i-1个概率模型的超参数与第i个概率模型的超参数之间的互信息的倒数作为损失函数；

基于损失函数对第i-1组超网络参数进行更新，得到第i组超网络参数。

示例性地，如图5所示，超网络的训练装置，还包括：

子网络选取模块510，用于利用第N个概率模型，在目标超网络的搜索空间中选取k个子网络；其中，k为正整数；

性能评估模块520，用于基于目标超网络的超网络参数对k个子网络进行评估，得到k个子网络的性能信息；

目标确定模块530，用于将k个子网络的性能信息中的最大值所对应的子网络，确定为目标子网络。

如图5所示，该装置包括还包括：

图像获取模块540，用于获取待处理图像；

图像处理模块550，用于利用目标子网络对待处理图像进行处理，得到待处理图像的图像处理结果。

本公开实施例提供的超网络的训练方法，可以实现本公开实施例提供的超网络的训练装置，具备相应的有益效果。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。

如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入输出(I/O)接口605也连接至总线604。

电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如超网络的训练方法。例如，在一些实施例中，超网络的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的超网络的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行超网络的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。