一种面向元学习的元数据集构建方法

技术领域

本发明涉及计算机应用技术领域，特别涉及一种面向元学习的元数据集构建方法。

背景技术

在不平衡学习，噪声标签学习等诸多场景，需要对各种超参数进行优化，元学习提供了一种直接优化超参数的有效方式。现有利用元学习优化超参数的研究大多依赖预先给定的小的无偏元数据集。这严重制约了元学习的普适性。对于不同场景，如何在没有元数据集时进行元学习是提高其普适性的关键。

最近，有算法提出结合干净度和平衡性两个准则，利用贪心策略从训练集中构建元数据。但是，以上两个准则在不同场景的元数据构建中仍然存在不足。现有研究通常是预先假设元数据集是无偏的，但均没有提供“无偏”的统一标准。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种面向元学习的元数据集构建方法，该方法依据样本训练几轮后的梯度向量幅度的熵进行不确定性采样，为了使挑选的样本具有代表性，先在划分的多个子集中利用干净度和多样性准则挑选样本，后合并挑选的样本集，再利用干净度和多样性准则，同时满足类别的平衡性约束进行挑选，最终得到从训练集中构建的元数据集。

本发明的目的是通过以下技术方案实现的：

一种面向元学习的元数据集构建方法，包括以下步骤：

步骤1，根据给定训练集T，构建一个深度神经网络，并使用随机梯度下降进行训练；记录每个样本在训练若干轮后的Softmax层前一层的梯度向量幅度的熵

步骤2，以

步骤3，记任意数据集S的干净度和多样性度量分别为

步骤4，对每个子集利用惰性贪心算法从空集开始，最大化边际效益

步骤5，合并K个子集，同样最大化边际效益

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述面向元学习的元数据集构建方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述面向元学习的元数据集构建方法的步骤。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1、本发明提供的一种面向元学习的元数据集构建方法，能够通过增多高不确定性样本，从而增大分类间隔，提升准确率。并且不确定性采样相比于随机采样的数据效率更高；

2.本发明考虑到元数据作为优化超参数的数据，通常大小远远小于训练集，增加元数据集的多样性可以提高对元数据集分布外数据的泛化性；

3.引入超参数η，对数据集的干净度和多样性加权求和。通过调节该超参数，使针对不同元学习场景构建元数据集的侧重方面发生变化。

附图说明

图1为本发明提供的面向元学习的元数据集构建方法的流程图。

图2为本发明提供的面向元学习的元数据集构建方法的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本实施例以一个图像数据集为例。

本实施例的执行环境采用一台具有3.0G赫兹中央处理器、Nvida 3090Ti GPU处理器和16G字节内存的服务器并用python语言在pytorch环境下编制基于深度神经网络的图像识别程序，还可以采用其他的执行环境，在此不再赘述。假定给定一个训练集，总共十类，每类5000个样本。

图1为本实施例提供的一种面向元学习的元数据集构建方法的流程图，其步骤如下：

步骤101：根据给定训练样本，构建一个深度神经网络，并使用随机梯度下降进行训练；

本发明的限定的优化方式为随机梯度下降，这是优化深度神经网络最常见的方式，具备深度学习相关工作经验的工作者皆可理解和复现；

步骤102：使用步骤1构建的深度神经网络，对给定50000个训练样本进行几轮完整训练后，记录每个样本Softmax层前一层的梯度向量幅度的熵

发明使用向量幅度的计算方式是2-范数，也即各方向上的分量的绝对值之平方和再开方。

步骤103：以

步骤104：记任意数据集S的干净度和多样性度量，具体为：

1)干净度

2)多样性

3)干净度和多样性的组合度量

步骤105：对每个子集利用惰性贪心算法从空集开始，最大化边际效益

步骤106：合并K个子集，同样最大化边际效益

本申请的实施例还提供能够实现上述实施例中的面向元学习的元数据集构建方法中全部步骤的一种电子设备的具体实施方式，电子设备具体包括如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；

其中，处理器、存储器、通信接口通过总线完成相互间的通信；通信接口用于实现服务器端设备、计量设备以及用户端设备等相关设备之间的信息传输。

处理器用于调用存储器中的计算机程序，处理器执行计算机程序时实现上述实施例中的面向元学习的元数据集构建方法的全部步骤，例如，处理器执行计算机程序时实现下述步骤：

步骤100：根据给定训练集，构建一个深度神经网络；

步骤200：使用随机梯度下降作为优化策略对训练集进行几轮训练后，记录每个样本的Softmax层前一层的梯度向量幅度的熵；

步骤300：对训练集进行不确定性采样得到数据集，并将数据集划分为K个不相交的子集；

步骤400：对每个子集分别利用最大化干净度和多样性组合度量的边际效益挑选样本；

步骤500：合并K个子集，同样利用最大化干净度和多样性组合度量的边际效益，并满足类别平衡约束，挑选样本，得到最终的元数据集。

本申请的实施例还提供能够实现上述实施例中的面向元学习的元数据集构建方法全部步骤的一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于梯度的样本学习难度度量方法的全部步骤。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。