一种基于分布对抗的无监督深度领域适应方法

技术领域

本发明属于深度学习领域，特别涉及一种基于分布对抗的无监督深度领域适应方法。

背景技术

领域适应可以分为两类：浅层领域适应和深度领域适应。浅层领域适应包含：实例权重重调，特征扩充，特征空间对齐和特征变换。实例权重重调方法的主要思想是根据 实例似然比进行权重调整，如领域分类器的独立后验概率，或通过KL散度衡量密度函 数差异。而特征扩充法则根据测地流采样和测地流核等理论把原始特征嵌入d维线性子 空间，并将数据视为格拉兹曼流形上的点，通过探索不同域局部几何结构拉近领域间距 离。特征空间对齐强调将源特征与目标特征对齐，如子空间对齐通过最小化子空间之间 的布雷格曼散度来寻求对齐。线性相关对齐通过对齐不同领域的二阶统计量来减少源和 目标分布的领域漂移。特征变换法，典型方法有迁移成分分析，把源域与目标域投影到 潜在空间中来缩小领域间的分布差异。

与浅层领域适应不同，深度领域适应是在深度网络模型下建立的领域适应方法。最 近研究表明深度神经网络能够学习到更多的迁移表示，其利用领域不变因素对数据分层 提取特征，效果优于人工特征方法，在分类任务中表现更为出色。然而文献表明，深度特征从输入到输出层逐渐从一般转向特殊，特征可迁移性在较高层时急剧下降，提取深 度神经网络的任务特定层特征，反而会增大领域差异。如何令源领域训练的深度模型在 目标域中也能够很好工作，引起了研究人员的更多探讨。这一类工作中，最大均值差异(Maximum Mean Discrepancy，MMD)被广泛用于匹配不同域的分布，如深度适应网 络，联合适应网络，残差迁移网络等均把MMD嵌入深度神经网络的特定层，通过减小 MMD损失来更新网络适应层，从而学习到更多的可迁移特征。

近来，生成对抗网络(Generative Adversarial Nets，GANs)在深度学习领域中大放 异彩，对抗博弈的思想也被广泛应用于领域适应中。一些方法提出利用GANs将源域图像转换为目标域图像，并利用生成的目标域图像训练分类器。然而，当源域和目标域分 布完全不同时，会产生梯度消失现象，导致对抗训练的效果变差。另一些方法对GANs 改进后再用源域与目标域数据进行训练，使对抗方法的领域适应能力得到提高。其策略 是把生成器改为特征提取器，判别器改为领域分类器，如在领域混淆的基础上添加软标 签损失来描述数据类别相似度，这样做既拉近了领域间特征分布，又拉近了相似类别数 据的分布。此外，梯度反转层嵌入深度网络中，利用对抗学习中博弈思想让特征提取器 “迷惑”领域判别器达到领域适应的目的。

发明内容

针对在深度领域适应现存方法中出现的负迁移及欠适配等问题，提出一种基于分布 对抗的无监督深度领域适应方法，主要解决无监督领域适应问题。

本发明的目的是通过以下技术方案，包括以下步骤：

(1)获取待分析数据：选取图片数据，图片数据x输入网络产生分类标签y∈Y和 领域标签d∈D，Y为标签集，D＝{0,1}，图片数据分为源域数据和目标域数据，源域 数据定义为

(2)建立深度网络模型：所述模型基于深度卷积神经网络建立，包括卷积层构成的特征提取器G

(3)数据的前向传播：特征提取器G

(4)构造损失函数：建立对深度网络模型参数进行更新的损失函数；

(4.1)计算标签分类器的损失L

(4.2)计算领域判别器的损失L

(4.3)计算多核最大均值差异；

(4.4)计算全局损失函数L；

(5)模型训练过程：使用mini-batch随机梯度下降法进行参数更新；通过反向传播训练模型的特征提取器、标签分类器与领域判别器。

进一步的，步骤(2)中所述特征提取器G

所述标签分类器G

所述领域判别器G

其中，θ

进一步的，步骤(3)中所述标签分类器G

所述领域判别器G

进一步的，所述步骤(4.1)中标签分类器损失的表达式为：

其中，n

进一步的，所述步骤(4.2)中领域判别器损失的表达式为：

其中，L

由此得到领域对抗网络的目标函数表达式：

其中，n

进一步的，所述步骤(4.3)中多核最大均值差异MK-MMD的计算公式为：

其中，

其中，k

进一步的，所述步骤(4.4)中全局损失函数的计算公式为：

其中，λ,γ为平衡参数，分别用于控制判别器G

进一步的，所述步骤(5)中训练过程具体为：

整个训练使用mini-batch随机梯度下降法进行参数更新，网络θ

当领域判别器的损失L

当损失收敛时训练结束，整个网络各部分权重参数达到一个鞍点

有益效果：

本发明综合考虑特征分布与领域判别器两方面因素，同时嵌入深度神经网络。一方 面通过领域间整体分布差异将源域与目标域拉近，另一方面在领域间分布对齐的同时利 用领域判别器对个体样本进行判别，这种结构兼顾了特征分布与单一样本的迁移性，能实现更好的领域适应效果。

本发明融合特征分布与领域对抗的方法实现领域适应，兼顾了样本的整体与局部特 性。通过结合领域特征分布匹配与领域对抗技术使其嵌入深度神经网络中，实现整体和局部可迁移特性的学习，起到能力互补作用并提高分类精度。通过在Office-31、ImageCLEF-DA与Office-Home等数据集上实验，证明所提模型的分类精度不仅优于其 中单独的方法，更是优于目前其他一些主流方法，通过实验证明了该方法在领域适应中 的有效性。

附图说明

图1是本发明方法网络系统结构图。

图2是本发明方法可视化分析图。

图3是本发明方法Office31数据集上多种方法的跨领域A-distance比较图。

具体实施方式

下面结合附图及具体实施例，对本发明做进一步说明。

深度领域适应是在不同分布情况下，跨越源域和目标域进行分类识别的深度学习方 法。主流深度领域适应分为两类：其一将领域适应模块嵌入深度神经网络的特定任务层， 用基于统计学的距离度量方法衡量源域与目标域的特征分布差异，通过最小化差异拉近 两个域的特征分布；其二采用对抗学习机制，在网络中加入领域判别器，通过与网络特征提取层相互对抗学习领域不变量。前者在拉近两个域的整体分布时会忽略单个样本自身特性，易产生“负迁移”现象。后者利用领域判别器判断个体样本，忽视了整体分布 特性，可能会陷入局部最优解。因此，单独使用特征分布或领域对抗技术都无法得到理 想的迁移效果。

本方法包括以下步骤：

(1)获取待分析数据：选取图片数据，图片数据x输入网络产生分类标签y∈Y和 领域标签d∈D，Y为标签集，D＝{0,1}，图片数据分为源域数据和目标域数据，源域 数据定义为

(2)建立深度网络模型：所述模型基于深度卷积神经网络建立，包括卷积层构成的特征提取器G

所述标签分类器G

所述领域判别器G

其中，θ

(3)数据的前向传播：特征提取器G

所述领域判别器G

(4)构造损失函数：建立对深度网络模型参数进行更新的损失函数；

(4.1)计算标签分类器的损失L

其中，n

(4.2)计算领域判别器的损失L

其中，L

由此得到领域对抗网络的目标函数表达式：

其中n

(4.3)计算多核最大均值差异；

对于判断两个分布是否相同，我们可以使用MMD的统计检验方法，具体指：基于 两个分布p和q的样本，通过寻找在样本空间上的连续函数

MMD[F,p,q]:＝Sup

假设X，Y分别是从分布p，q通过独立同分布采样得到的数据集，数据集的大小 分别为m和n。基于X和Y可以得到MMD的经验估计为：

使用多核最大均值差异(MK-MMD)进行领域适应工作，并验证其适应效果比单 核更好。

多核最大均值差异MK-MMD的计算公式为：

其中，

其中，k

(4.4)计算全局损失函数L；全局损失函数的计算公式为：

其中，λ,γ为平衡参数，分别用于控制判别器G

(5)模型训练过程：使用mini-batch随机梯度下降法进行参数更新；通过反向传播训练模型的特征提取器、标签分类器与领域判别器。

整个训练使用mini-batch随机梯度下降法进行参数更新，网络θ

当领域判别器的损失L

当损失收敛时训练结束，整个网络各部分权重参数达到一个鞍点

(6)实验准备：本文采用三个标准数据集：Office-31、Office-Home和ImageCLEF-DA。 对于所有深度网络模型，将原始图像数据作为网络输入，对于浅层模型使用AlexNet和ResNet卷积层所提出的特征作为模型输入。

(7)数据集如下：

(7.1)Office-31是迁移学习最通用的开放性数据集，图片总数4652张，有3个不同领域：分别为Amazon(A)，DSLR(D)，Webcam(W)，每个领域包含相同种类31 类办公室环境图片。该数据集下共有6个迁移任务分别是：A→D，A→W，D→A， D→W，W→A，W→D。

(7.2)ImageCLEF-DA是ImageCLEF 2014领域适应挑战赛的基准数据集，其通过 选择3个公开图像数据集中12个共有类别图片组成，每个数据集可视作一个域： Caltech-256(C)，ImageNet ILSVRC(I)和Pascal VOC 2012(P)。12个共有类分别是： 飞机、自行车、蜂鸟、船、瓶子、学校巴士、轿车、狗、马、显示器、摩托车和人。每 个类别有50幅图像，每个域有600幅图像。本文构建6个迁移任务：I→P，P→I，I→C， C→I，C→P，P→C。与Office-31不同，该数据集所有领域的图像尺寸一致，可 视作Office-31数据集的补充数据，利用该数据集能够拓展更多的实验操作，使得方法 验证更加全面。

(7.3)Office-Home是迁移学习中更具有挑战性的数据集，图片总数15500张，包含4个领域分别为：Art(Ar)，Clipart(Cl)，Product(Pr)，Real-World(Rw)，每个领 域下都有相同的65个种类的图片，该数据集能够组成12个迁移任务。相比Office-31 和ImageCLEF-DA，Office-Home数据量更大，图像类别更多，迁移任务更多，更具挑 战性。

(8)对比方法：选取了具有代表性的领域适应方法和深度方法进行比较：迁移成分分析(Transfer Component Analysis，TCA)，测地线流核(Geodesic Flow Kernel，GFK)，子空间对齐(Subspace Alignment，SA)，深度相关性对齐(DeepCORAL)，深度领域混 淆(Deep Domain Confusion，DDC)，深度适应网络(Deep Adaptation Network，DAN)， 残差迁移网络(Residual Transfer Network，RTN)，领域对抗神经网络(Domain-AdversarialNeural Network，DANN)，对抗判别领域适应(Adversarial Discriminative DomainAdaptation，ADDA)，协同对抗网络(Collaborative and Adversarial Network，CAN)，联合对齐判别适应(Joint Domain Alignment and Discriminative Adaption，JDDA)。其中TCA 基于MMD正则核方法PCA学习一个共享特征空间进行迁移。GFK是一种流形学习方 法，它通过在无限多个中间子空间上插值来连接域。SA通过将源域子空间与目标域子 空间对齐来寻找一个域不变的特征空间。DeepCORAL将CORAL方法扩展到深度网络 中，通过对齐源域与目标域特征的协方差进行领域适应。DDC是第一个利用线性核 MMD的方法，对AlexNet的自适应层进行正则化使域不变性最大化。DAN通过在再生 核希尔伯特空间嵌入多个任务特定层的深度特征，并使用最优的多核MMD匹配不同的 分布，从而学习可迁移特征。RTN通过深度残差学习，联合学习可迁移特征和自适应分 类器。DANN根据对抗学习原理，利用梯度反转层使得领域判别器分辨不出源域与目标 域特征达到学习领域不变量目的。

(9)参数设置：实验遵循无监督领域适应的标准评估协议，把AlexNet，ResNet 作为基本框架，所有实验均为无监督领域适应，使用有标签源域样本和无标签目标域样 本进行训练。所提方法在整个实验中：用两层全连接网络作为领域判别器；对于超参数 平衡系数，设定λ＝0.1，γ＝1，我们的方法是基于PyTorch实现的，并且对于基本框 架AlexNet与ResNet，都是通过ImageNet数据集预训练过的模型，微调所有卷积层与 池化层，并且通过反向传播训练模型的标签分类器与领域判别器。对于模型中未加载预 训练参数的层(如标签分类器的输出层，领域判别器的所有层)，随机初始化其网络权 重从头训练，并把这些层的学习率设置为加载预训练参数层的10倍。整个训练使用 mini-batch随机梯度下降法(SGD)进行参数更新，其动量设置为0.9，学习率依据DANN 采用退火策略：由于网格搜索的计算量大，所以学习速率不是由网格搜索来选择的，而 是设置学习率为

基于AlexNet与ResNet-50在数据集Office-31上的无监督域自适应分类精度结果如 表1所示。为了公平比较，所有对比试验均从该方法原始论文中得到结果。在基于AlexNet 比较中所提方法几乎优于所有对比方法，同时在基于ResNet下该方法与ADDA方法所 取得的效果相当但总体精度略优于前者。值得注意的是，本方法大大提高了困难迁移任务(hard transfer tasks)的分类精度，如D→A，W→A，这些任务的源域和目标域有 很大差别，同时目标域样本数量比源域小；并且本方法在简单迁移任务中(源域与目标 域比较相似)，如D→W，W→D，其分类精度接近甚至达到100％，已基本解决这些 任务的领域适应问题。尤其在基于AlexNet框架下所提方法平均精度比DAN与DANN 分别高出2％和0.6％，在ResNet下更是比他们高出3％和1.2％，这说明本方法通过融合 特征分布与领域对抗可以学习到更多的可迁移特征，从而获得更有效的领域适应能力。

表1无监督领域适应(AlexNet与ResNet-50)在Office-31准确度(％)

基于ResNet-50在数据集ImageCLEF-DA上的无监督域自适应分类精度结果如表2所示。该数据集作为Office-31的补充与拓展，任务量及图片种类数两者相当，该实验 可以看作在另一个新环境下进行与表1同等难度的领域适应任务。从表2可以看出本方 法在6个迁移任务中有5个结果达到最优，且平均精度远远超出其他方法，尤其对比 DAN更加明显。通过该实验可以看出，由于DAN在该数据集上只匹配整体数据的特征 分布距离，忽视了样本间的差异性，所以造成负迁移现象使得其准确率不高，其平均精 度比本方法低6％，并且DANN平均精度也比本方法低3.5％。

表2无监督领域适应(ResNet-50)在ImageCLEF-DA准确度(％)

基于ResNet-50在数据集Office-Home上的无监督域自适应分类精度结果如表3所示，在这个数据集下包含12个迁移任务65种图片类别，数据量更多且领域间的差别更 大，所以对于领域适应难度更高；把ResNet-50精度设为基准线，选取DAN与DANN 进行比较，可以看出所提方法的优越性更加明显，在所有任务中本文方法均为最优结果。 值得强调的是，在有些任务中(如Ar→Pr，Cl→Ar，Pr→Ar等)所提方法的精度比 上述两种方法接近甚至高出10％以上，同时平均精度比DAN与DANN分别高出8.5％ 和7.2％，更是远超基准线的精度。所以通过该实验可以看出，对于数据量大任务多的 数据集，所提方法的领域适应能力更加强大。

表3无监督领域适应(ResNet-50)在Office-Home准确度(％)

分析上述实验结果，可以得出以下结论：(1)标准的深度学习方法(AlexNet和ResNet) 优于使用深度特征作为输入的传统的浅层迁移学习方法(TCA和GFK)。这证实了当前 的深度学习，即使是最深层的网络(ResNet)，也可以学习抽象的特征表示，但这只能 减少而不能消除跨域差异。(2)深度迁移学习方法基本上优于以深度特征为输入的标准 深度学习方法和传统的浅层迁移学习方法。这验证了通过将领域域适应模块(如MMD， 领域判别网络)嵌入深度网络(DDC、DAN、RTN和DANN)，能够显著地减少跨域差 异，并且可以学习到更多可迁移特性。(3)从实验结果可以看出，通过融合特征分布与 领域对抗，其适应效果比单独使用任意一种方法更好，这也验证了本文的目的，即所提 方法既能学到样本的整体可迁移特性又能学到局部可迁移特性，通过能力互补提高了目 标域的分类精度。

为了显示特征的可迁移性，我们选取Office-31(31类)6个任务，并利用t-SNE嵌入技术分别对ResNet，DAN，DANN和所提方法的特征(各自瓶颈层输出的特征)进 行降维可视化。如图2所示，从上(ResNet)到下(FDAN-UDA)，源域和目标域的重 合度越来越好。特别是所提方法生成的表示正好形成了31个具有明确边界的集群，同 时源域与目标域在每个集群上的重合度达到最高。通过所提方法较好的可视化结果表明， 该方法能够学到样本的整体和局部的可迁移特征，进而增强了网络的领域适应能力。

领域适应理论建议使用A-distance衡量跨领域间的差异，其能够联合源域风险限制 目标域风险，A-distance定义为d

表4超参数敏感性分析

所提方法涉及两个超参数，领域判别器G

本方法提出了一种融合特征分布与领域对抗的领域适应方法。对比只通过减小领域 间特征分布差异的方法与深度网络中加入领域判别器方法，本文所提方法结合特征分布 与领域对抗，把融合后的适应模块共同嵌入到深度神经网络中，一方面通过衡量领域间整体分布差异将源域与目标域拉近，另一方面在两个域分布对齐的同时利用领域判别器对每个样本进行判别，这种结构同时兼顾分布整体与单一样本的可迁移特性，能够实现 更好的领域自适应效果。同时融合后的适应模块能够成为嵌入深度神经网络的通用模块， 对多种深度网络都适用。综合大量试验结果表明，该模型在精度上优于目前最先进的一 些方法，证明了所提方法能够提高深度网络模型的领域适应能力。