一种基于自监督学习的偏振图像去噪方法

技术领域

本发明涉及偏振成像技术领域，特别涉及一种基于自监督学习的偏振图像去噪方法。

背景技术

偏振成像技术能够测量光的偏振状态的并进行成像，能够提供丰富的场景信息，因此偏振成像技术已经在遥感、生物医学成像和材料科学等多个领域得到广泛应用。然而，偏振图像通常会受到噪声的干扰，这将降低偏振图像的质量并阻碍后续图像算法对信息的有效提取。此外，一些重要的偏振参数，如线偏振度(DoLP)和偏振角(AoP)，容易受到噪声的影响，这限制了偏振成像的进一步应用与发展。

近年来，基于有监督学习的方法已成为偏振图像去噪的一种有前景的解决方案，该方案通常借助卷积神经网络(CNN)从大规模数据集中学习复杂的去噪模型。然而，基于有监督学习的去噪网络对于大量的噪声-清晰图像对依赖程度很高。在实际应用中，收集大量噪声-清晰图像对是比较耗时耗力的，采集成本较高，因为它需要在相同静态场景下进行多次拍摄，这也限制了有基于监督学习的偏振图像去噪方法在一些动态场景下的应用。另外，仅仅在合成图像上学习的去噪模型在实际应用上的泛化能力较差。因此，基于有监督学习的偏振图像去噪方法虽然去噪效果明显，但是在实际应用中具有一定的局限性，数据集采集较为困难，需要一种自监督的偏振图像去噪方法，不仅能有效去除偏振图像中的噪声，还不需要耗费大量精力制作数据集，具备一定的实用价值。

发明内容

本发明旨在解决基于有监督学习的偏振图像去噪方法受数据集采集成本较高而难以实际应用的问题，提供一种基于自监督学习的偏振图像去噪方法。

本发明首先介绍一种使用制作自监督学习数据集的方法，然后公开基于自监督学习的偏振图像去噪的具体实现方法，包括：

1)自监督偏振图像采集，对一个低信噪比场景，使用偏振相机采集一次，得到一组噪声偏振图像I

2)分角度计算斯托克斯矢量，对于步骤1采集的自监督偏振图像集中的一组包含n(n>＝4)个角度θ

本步骤中，在除去要计算的角度θ

3)分角度计算生成噪声图像

本步骤中，偏振斯托克斯关系为线性关系，计算时通过斯托克斯矢量内含的三个分量

4)去噪网络设计，首先选择适用于图像去噪任务的卷积神经网络f

本步骤中，去噪网络是针对偏振图像的，去噪网络含有n个子网络，每个子网络需要一个角度的偏振图像作为输入，输入通道数为1，所有角度的子网络的输出通道均为1，输出后要在通道维度进行合并操作，得到输出通道为n的去噪偏振图像。

5)损失函数设计，将生成噪声图像输入去噪网络，然后把输出与原始噪声图像计算像素损失，然后将原始噪声图像输入去噪网络，把输出与生成噪声图像计算正则损失，这样可以避免去噪图像过于平滑，最后将两部分损失函数结合作为总损失函数；

本步骤中，先将去噪网络的输出

6)去噪网络训练与测试，将生成噪声图像喂入步骤4设计的去噪网络中，按照步骤5设计的损失函数进行训练，训练完成后将未曾用于去噪网络训练的生成噪声图像输入网络进行测试，得到去噪后的偏振图像。

本发明的有益效果及优点在于：

1、本发明公开一种利用偏振信息的自监督学习数据集制作方法，主要使用不含所生成角度的其他角度的偏振图像通过斯托克斯矢量计算出要生成角度的偏振图像，这样可以保证生成偏振图像与原始偏振图像之间的独立关系，从而可以应用于自监督网络训练，因此采集数据集时只采集噪声图像数据即可，而不需要采集无噪声图像，大大降低了采集成本，有利于深度学习偏振图像去噪技术的进一步发展。

2、本发明公开一种自监督网络设计方法，将去噪网络按照偏振角度的个数进行复制，然后并行排列，每个子网络对应一个偏振角度，这样的优点是可以防止网络直接学习到从输入图像到真值图像的恒等映射，避免无效训练。

3、本发明公开一种自监督损失函数设计方法，先将配对偏振图像输入网络，把网络的输出与噪声偏振图像进行损失函数计算，然后将噪声偏振图像输入网络，将网络的输出与配对偏振图像进行损失函数的计算，这样设计损失函数的优点是既能对网络的训练做基本的约束，进行有效训练，又能防止去噪之后图像产生过平滑的效果。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得

明显和容易理解，其中：

图1为本发明基于自监督学习的偏振图像去噪方法的流程框图；

图2为本发明一个实施例的基于自监督学习的偏振图像去噪方法的流程图；

图3为本发明一个实施例的偏振图像的去噪及偏振信息复原效果示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。本发明适用于不同彩色偏振成像体制(分振幅、分焦平面等)和不同类别偏振信息成像方式(Stokes，Mueller等)，下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于自监督学习的偏振图像去噪方法，以基于分焦平面偏振图像的Stokes矢量成像方式为例。

参见附图1和附图2，本实施例的图像去噪方法包括：

S1，采集自监督偏振图像数据集，对于一幅场景，使用分焦平面偏振相机进行一次采集，获得原始噪声图像I＝[I

S2，分角度计算斯托克斯矢量，在本实施例中，采集到的分焦平面偏振图像包含0°，45°，90°，135°四个角度的偏振图像，这四幅图像分别表示为I

其中参数矩阵的最后一列均为0，这表示只有前三个角度的图像，即I

S3，分角度生成噪声图像，首先选取一个角度θ

然后将θ

可以看到公式(4)里的变换矩阵的对角线为0，这表示对于每个角度，其生成噪声图像和原始噪声图像都是相互独立的。

S4，偏振图像去噪网络设计，在本实施例中，选择残差密集网络结构作为基础去噪网络，然后将网络复制四遍得到四个子网络，分别对应于四个偏振角度，即

其中θ为网络参数，c表示合并的网络。

S5，损失函数设计，首先将生成噪声图像

其中‖·‖

然后将原始噪声图像输入去噪网络，网络输出得到f

其中γ是该损失函数的系数，取值为0.2。因此最终的损失函数为像素损失和正则损失的和，表示为：

S6，去噪网络训练与测试，训练时将生成噪声图像

在本发明的实施例中，使用基于自监督学习的偏振图像去噪方法对偏振图像进行噪声去除，另外，还将基于三维块匹配去噪方法(BM3D)、基于有监督学习的去噪方法(Pol2GT)以及两种自监督去噪方法分别是Noise2Void(N2V)和Neighbor2Neighbor(N2N)进行对比，如图3所示。

从图3中可以看出本发明提出的基于自监督学习的偏振图像去噪算法能够有效去除偏振图像中的噪声，并且对于噪声极为敏感的偏振度图像与偏振角图像也可以有效地恢复其偏振信息，尤其是偏振角图像，本发明的方法恢复的细节信息更加清晰，更加接近真值图像，因此本发明具有较好的偏振图像去噪效果以及偏振信息恢复效果，另外值得注意的是，本发明所提方法的去噪效果和有监督学习的去噪效果相差无几，证实了本发明的有益性，能够降低卷积神经网络对成对数据集的依赖，有利于卷积神经网络去噪技术的进一步发展与应用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。