一种基于信息丢失机制的自监督连续学习方法

技术领域

本发明属于图像处理领域，主要用来提升自监督连续学习模型的性能；主要应用于图像分类领域。

背景技术

近年来，深度学习(DL,Deep Learning)在机器学习，自然语言处理等领域取得了显著的成功。DL的重点在于通过使用固定或者预定义的数据集进行离线训练来开发深度神经网络(DNN,Deep Neural Networks)，DNN在对应的任务上表现出显著的性能。但是，DNN也有局限性，训练完成的DNN是固定的，在运行过程中网络内部的参数不会再发生改变，这意味着DNN会在部署后保持静态，无法适应不断变化的环境。现实世界的应用不都是单一的，特别是与自治代理相关的应用涉及到处理连续变化的数据，随着时间的推移，模型面对的数据或者任务会发生变化，静态模型在这种场景下表现不佳。一个可能的解决方案是在数据分布发生变化时重新训练网络，然而，使用扩展后的数据集进行完整的训练是计算密集型任务，这在现实世界中计算资源受限的环境下是不可能实现的，这导致需要一种新的算法能够实现在资源高效利用的条件下进行持续学习。

持续学习在许多现实场景中都存在着需求与挑战：机器人根据环境的变化需要自主的学习新的行为规范，以此来适应新环境，完成新的任务；自动驾驶程序需要去适应不同环境，如从乡村公路到高速公路，从光线充足的场所到昏暗的环境；智能对话系统需要去适应不同的用户和情景；智能医疗应用则需要适应新的病例、新的医院以及不一致的医疗条件。

连续学习(CL,Continual Learning)研究在非平稳数据流中进行学习的问题，其目标在于扩展模型的适应能力，令模型能在不同的任务中学习对应的知识，同时能记忆历史任务中学习到的特征。根据输入数据是否存在标签，连续学习可以分为有监督连续学习(SCL,Supervised Continual Learning)与无监督连续学习(UCL,UnsupervisedContinual Learning)，有监督的连续学习往往集中于一系列相关的任务，在输入的数据上加入人为给定的标签，可以获得任务信息和需要泛化的任务边界信息，这一设定不再满足现实情景的需要：任务标签未知、任务边界的定义不明确以及大量的类标记数据不可用，这就引出了无监督连续学习以及自监督连续学习方法。自监督学习是无监督学习的一部分，其旨在消除表示学习对人工标识的需求，自监督学习利用未加标识的原始信息来学习数据的表征。真正的自监督连续学习算法能够利用连续输入的非独立同分布的数据流，在不遗忘过去得到的知识的前提下，学习一种鲁棒的、自适应的模型。

近年来，CL的研究主要集中在SCL方面，这些研究成果通常无法扩展到数据分布有偏差的实际应用场景中，因此，不依赖人工标注或者监督信息的UCL研究逐渐受到关注，尽管研究时间短，研究问题复杂，UCL领域的成果较少，但已经有成果显示依赖人工标注数据对于连续学习不是必须的，无监督的视觉表示能够减缓灾难性遗忘的问题，并且UCL能够比SCL表现出更好的性能。参考文献：Madaan,D.,Yoon,J.,Li,Y.,Liu,Y.,&Hwang,S.J.(2021,September).Representational continuity for unsupervised continual learning.InInternational Conference on Learning Representations.为了提升无监督模型的性能，一种与模型无关的轻量级方法，即信息丢失(InfoDrop)引起了的关注，该方法通过减少卷积神经网络(Convolutional Neural Networks,CNN)的纹理偏差来提高模型的鲁棒性，可解释性。参考文献：Shi,B.,Zhang,D.,Dai,Q.,Zhu,Z.,Mu,Y.,&Wang,J.(2020,November).Informative dropout for robust representation learning:A shape-biasperspective.In International Conference on Machine Learning(pp.8828-8839).PMLR.无监督的连续学习具有极高的研究价值，是构建真正智能体的关键技术之一，本发明致力于将信息丢失机制与无监督连续学习框架结合起来，提升模型的性能，构建更鲁棒合理的连续学习模型，推动无监督连续学习技术不断向前发展。

发明内容

本发明是一种自监督连续学习方法，通过在自监督模型中引入InfoDrop机制，使模型在连续学习任务中提取重要图像特征。该方法通过计算图像块的自信息量来选择遗弃不重要的图像信息，引导模型关注图像信息重要的区域，从而提升自监督模型的性能。

该方法首先构造了基于信息丢失机制的自监督连续学习框架，将CIFAR-10数据集划分到5个任务上，按照任务到达顺序，在对应数据集上训练模型，并使用KNN算法对模型的准确性进行测试。本方法重点在于在自监督学习框架中引入信息丢失机制来提高模型性能。本发明从模型容量的角度出发，主要做了以下的工作：1)构建了自监督学习模型以及自监督连续学习范式；2)建立了一种基于信息量与Dropout方法的信息丢失机制，帮助模型丢失图像中不重要的特征，保留重要特征，并将信息丢失机制融入到自监督连续学习的框架中；3)基于自监督损失范式，结合一种InfoDrop损失项，避免了在后测试时需要去除InfoDrop机制对模型进行微调；4)在数据集CIFAR-10上进行训练，使用KNN分类算法测试模型在测试集上的准确性，评估模型的性能，并与多种连续学习学习策略进行比较。通过上述工作，验证了本发明可以适用于多种连续学习策略，并可提高不同策略下模型的性能，是一种应用性强的无监督连续学习方法。

为了方便地描述本发明内容，首先对一些术语进行定义。

定义1：残差卷积神经网络(ResNet)。通过在卷积网络中加入“残差连接”，解决了深层网络在训练中出现的退化现象，极大地增加了神经网络可训练的深度，相比于传统的卷积神经网络，残差网络具有更好训练，更易优化的优点。在本发明中，所用的残差卷积神经网络是Resnet18网络。

定义2：自适应平均池化层。自适应平均池化层可以对空间维度进行压缩，取出对应维度中数据的均值，自适应地输出指定尺寸的结果，在一定程度上可以抑制一些没用的特征。

定义3：SimSiam。这是孪生网络模型的别称，SimSiam模型最大化一个图像的两个增广之间的相似性，其在不需要负样本对、大的批次和动量编码的情况下学习表征。

定义4：Dropout方法。Dropout是一种正则化方法，通过对网络某层的神经元设置一个被丢弃的概率，在训练中按照设置的概率随机将某些神经元丢弃，以解决神经网络过拟合问题。

定义5：图像Patch。Patch可以理解为图像块，在神经网络的运行过程中，网络将图片划分为多个小块，卷积核每次只查看一个小块，这种小块就被称为Patch。

定义6：ReLU激活层。又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数，表达式为f(x)＝max(0，x)。

本发明技术方案为一种基于信息丢失机制的连续图像特征提取方法，该方法包括：

步骤1：对数据集进行预处理；

获取真实世界物体图像，并将这些真实图像按照其中物体的类别进行标注，对所有图片的像素值进行归一化，并对图片进行缩放裁剪，然后将图像划分成多个数据集，每个数据集包含图像的类别不同；

步骤2：构建自监督学习模型；

自监督学习模型由特征编码器f

步骤3：构建自监督连续学习范式；

自监督连续学习致力于在一系列有序到达的无标签任务

其中，在小批次样本

其中

然而，达成自监督学习的目标是具有挑战性的；因为在连续学习设置下，通常假设来自历史任务的数据不可用，即要求在不可访问数据集

步骤4：建立信息丢失机制

引入了InfoDrop机制——一种基于信息的Dropout方法，以帮助连续学习模型丢弃图像中不重要的特征，仅保留重要的特征；如果当神经元输入的图像patch中包含较少的信息，Infodrop机制会以较高的概率将该神经元的输出置零，否则保留它的输出；具体来说，在Boltzmann分布下计算神经网络中第

其中，

为了近似分布

其中，R表示

步骤5：构建基于信息丢失机制的自监督连续学习框架；

希望模型在当前任务的数据集上，仅学习图像中具有重要信息的区域的特征表示，忽略不重要区域的特征，以在有限的模型容量下，保证模型至少能够学习到关键的特征表示；一般地，在训练集上优化神经网络模型时实施InfoDrop机制，在测试集上验证神经网络模型的性能时取消InfoDrop机制，但由于InfoDrop机制会丢弃掉图像中大部分自信息低的区域，造成训练数据集和测试数据集出现更大的分布偏差，从而会影响模型在测试集上的性能；因此，在测试模型前，通常会将去掉InfoDrop机制的模型在训练集上进行第二次优化；然而，第二次优化需要消耗额外的训练时间，并且也会引入图像中不重要的信息区域对模型产生的影响；为了避免第二次优化带来的不利影响，基于自监督学习范式，构建了一种适应于自监督连续学习的信息丢失机制；当在任务

该自监督学习范式包含两项，第一项为原始的自监督损失项，第二项为InfoDrop正则项；其中，

步骤6：(1)按步骤1处理数据集得到多个任务的数据集；(2)按步骤2构建无监督学习模型；(3)按任务到达顺序，在每个任务的训练集上训练模型；

步骤7：利用KNN算法评估模型的性能；

在任务

(1)将任务

(2)基于特征库，预测任务

a)计算测试样本

b)将

其中T为温度参数；测试样本

c)计算模型f

步骤8：在每个任务上训练完模型后，利用模型的特征编码器f

本文的创新之处在于：

(1)本发明基于InfoDrop机制建立了一种促进自监督模型在连续任务上提取重要特征的框架。在连续学习任务上，模型由于容量有限，会在保留过去任务的特征表示能力和学习当前任务的特征表示能力之间做权衡。本框架通过丢弃不重要的图像信息，使得模型仅关注对重要的图像信息的特征表示，以缓解模型容量的限制，在不需要引入历史任务的样本或者历史模型的参数信息情况下，提升了自监督模型的性能。

(2)本发明基于自监督损失范式，设计了一种InfoDrop损失项，通过对该损失项进行优化，可以帮助模型在测试阶段去除InfoDrop机制后，拥有直接提取测试样本的重要特征表示的能力，从而避免了对模型的微调。

附图说明

图1为本发明方法的卷积网络块结构图

图2为本发明方法的残差卷积神经网络块结构图

图3为本发明方法的残差卷积神经网络Resnet18结构图

图4为本发明方法的框架示意图

具体实施方式

步骤1：对数据集进行预处理；

下载CIFAR-10数据集(http：//www.cs.toronto.edu/～kriz/cifar.html)，CIFAR-10数据集包含10个类别的真实世界的彩色图片。每个类别包含5000张训练图片和1000张测试图片，图像分辨率大小为32*32*2。将CIFAR-10数据集划分到5个任务上，每个任务的数据集中包含两个随机类别的图像样本，且每个任务的数据集的图像类别互不重叠；

步骤2：构建自监督学习模型；

自监督学习模型由特征编码器f

步骤3：构建自监督连续学习范式；

自监督连续学习致力于在一系列有序到达的无标签任务

其中，在小批次样本

其中

然而，达成自监督学习的目标是具有挑战性的。因为在连续学习设置下，通常假设来自历史任务的数据不可用，即要求在不可访问数据集

步骤4：建立信息丢失机制

引入了InfoDrop机制——一种基于信息的Dropout方法，以帮助连续学习模型丢弃图像中不重要的特征，仅保留重要的特征。如果当神经元输入的图像patch中包含较少的信息，Infodrop机制会以较高的概率将该神经元的输出置零，否则保留它的输出。具体来说，在Boltzmann分布下计算神经网络中第

其中，

为了近似分布

其中，R表示

步骤5：构建基于信息丢失机制的自监督连续学习框架；

希望模型在当前任务的数据集上，仅学习图像中具有重要信息的区域的特征表示，忽略不重要区域的特征，以在有限的模型容量下，保证模型至少能够学习到关键的特征表示。一般地，在训练集上优化神经网络模型时实施InfoDrop机制，在测试集上验证神经网络模型的性能时取消InfoDrop机制，但由于InfoDrop机制会丢弃掉图像中大部分自信息低的区域，造成训练数据集和测试数据集出现更大的分布偏差，从而会影响模型在测试集上的性能。因此，在测试模型前，通常会将去掉InfoDrop机制的模型在训练集上进行第二次优化。然而，第二次优化需要消耗额外的训练时间，并且也会引入图像中不重要的信息区域对模型产生的影响。为了避免第二次优化带来的不利影响，基于自监督学习范式，构建了一种适应于自监督连续学习的信息丢失机制。当在任务

该自监督学习范式包含两项，第一项为原始的自监督损失项，第二项为InfoDrop正则项。其中，

步骤6：按步骤1处理数据集得到多个任务的数据集；按步骤2构建无监督学习模型，按任务到达顺序，在每个任务的训练集上训练模型。

步骤7：利用KNN算法评估模型的性能；

在任务

(1)将任务

(2)基于特征库，预测任务

a)计算测试样本

b)将

其中T为温度参数。测试样本

c)计算模型f

步骤8：在每个任务上训练完模型后，利用模型的特征编码器f

图片大小：32*32*3

图片的类别有：飞机、汽车、鸟类、猫、鹿、狗、蛙类、马、船和卡车。

学习率：0.003

训练批次大小N：256

迭代次数：200

表1为本发明方法的实验结果图。

/>