一种基于像素合并和无样本训练的超分辨叠层成像方法

技术领域

本发明涉及一种超分辨叠层成像方法，尤其涉及一种基于像素合并和无样本训练的超分辨叠层成像方法。

背景技术

叠层成像是近年来新兴的一种无透镜相位恢复技术，可实现大视场定量相位成像。在叠层成像系统中要求照明光束与物体进行相对阵列扫描，在待测物体上照明光斑的相邻扫描位置要重叠，同时通过CCD(Charge-Coupled Device，电荷耦合器件)记录衍射图像，用来恢复照明光和物体的复振幅。叠层成像具有视场大、无像差、成像范围广等优点，已被广泛应用于可见光、X射线和电子束等领域的研究。但叠层成像技术在实验中往往出现分辨率受限的情况。像素大小和采样间隔直接影响图像分辨率，较大的像素尺寸导致细节丢失；使用CCD采集时由于CCD本身性能及参数的影响，也会使最终重建图像的分辨率受到影响。因此，如何提高叠层成像重建图像的分辨率是研究人员们不断探索的研究方向。随着网络的发展以及计算能力的不断提高，深度学习技术结合计算成像通过将前端光学系统与后端计算机的图像处理相结合，使得成像打破了传统技术的限制。

中国专利公开号CN114066735A公开了一种基于人工神经网络的最小一乘的稀疏采样傅里叶叠层成像重建方法，该方法采用傅里叶叠层成像设备对图像进行稀疏采样,得到一系列低分辨率的采集图像，通过建立傅里叶叠层成像正向模型，将采集低分辨率图像顺序输入正向模型，比较人工神经网络仿真生成图像和采集图像最小绝对偏差，求有解约束的最小一乘问题；利用误差反向传播训练和更新人工神经网络权重，得到重建高分辨率的相位恢复图像。但该方法需要准备大量低分辨率图像进行训练，前期准备工作复杂，需要花费大量时间。如何使用少量样本乃至无样本进行图像超分辨率是目前研究的一个重要方向。

发明内容

发明目的：本发明目的是提出一种基于像素合并和无样本训练的超分辨叠层成像方法，无需大量样本，仅需自身图像即可实现超分辨率。

技术方案：本发明包括以下步骤：

预准备阶段：搭建叠层成像实验平台，采集K幅待测样品衍射图样作为原始数据，将采集到的K幅衍射图样直接带入叠层成像算法迭代i次重建图像，将获得的图像作为高分辨率图像T

训练阶段：调整无样本训练程序中的参数；将T

输出结果阶段。

所述预准备阶段具体为：

将采集到的K幅衍射图样直接带入叠层成像方法重建图像，迭代i次获得重建物函数O

对采集到的K幅衍射图样使用像素合并方法，使每幅衍射图样的像素尺寸增大c倍，像素数目减少c倍，c为放大倍数，随后将合并后的衍射图样带入叠层成像方法重建图像，迭代i次获得重建物函数O’

将T

所述像素合并时所采用的公式如下：

式中，I

所述无样本训练程序中的参数包括：迭代次数epoch，放大倍数s，学习率LR，裁剪尺寸size。

所述hr大小为(size×size)，lr大小为

所述数据对处理方法为：对hr-lr数据对进行随机角度α翻转。

所述数据对训练方法为：使用亚像素卷积法对低分辨率图像lr进行上采样，使用损失函数监控损失值，并保存训练好的超分辨模型。

所述损失函数为MSE损失函数，MSE损失函数

式中，W、H表示图像尺寸，c表示放大倍数，

所述MSE损失用于评估训练时对hr-lr数据对中lr进行亚像素卷积上采样生成的图像sr与hr在像素层面上的差异。

所述输出结果阶段为：调整输出阶段参数，与训练阶段训练超分辨模型时使用的参数一致，随后将预准备阶段获得的高分辨率图像T

有益效果：本发明利用像素合并的叠层成像方法和深度学习中的无样本训练方法实现图像超分辨率，提出了一种新的实现图像超分辨率的方法，与使用双三次插值进行下采样获得低分辨率图像的无样本训练方法相比，可进一步提高重建质量。

附图说明

图1是本发明的流程图；

图2是叠层成像实验装置图；

图3为叠层成像算法原理图；

图4为像素合并原理图；

图5为使用像素合并方法生成低分辨率图像的无样本训练原理图；

图6为在生物样品蕨茎实验中，本发明的方法与插值法及原无样本训练方法的对比图：图6(a1)为预准备阶段获得的高分辨率图像；图6(b1)为插值法重建的图像；图6(c1)为原无样本训练使用一张高分辨率图重建的图像；图6(d1)为本发明方法重建的图像；图6(a2)、图6(b2)、图6(c2)与图6(d2)为截取对应图像中相同部分的放大图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明的超分辨叠层成像方法包括以下步骤：

步骤一、预准备阶段：搭建如图2所示的叠层成像实验平台，采集K幅待测样品衍射图样作为原始数据。将采集到的K幅衍射图样直接带入叠层成像算法迭代i次重建图像，将获得的图像作为高分辨率图像T

(11)将采集到的K幅衍射图样直接带入叠层成像方法重建图像，迭代i次获得重建物函数O

(12)对采集到的K幅衍射图样使用如图4所示的像素合并方法，使每幅衍射图样的像素尺寸增大c倍，像素数目减少c倍，c为放大倍数，随后将合并后的衍射图样带入叠层成像方法重建图像，迭代i次获得重建物函数O’

式中，I

(13)将T

如图3所示，叠层成像算法具体步骤如下：

(1)设物函数为O(r)，照明光场函数为P(r)，r(x,y)为物平面坐标。CCD记录的第j个衍射图样的坐标为R

(2)将物函数估计和照明光场函数估计相乘，得到出射光场为

Ψ

其中，O

(3)将出射光场传播到CCD平面，CCD平面上的复振幅分布为

其中，|ψ

(4)用CCD实际记录的衍射光强替换Ψ

其中，I(u,R

(5)将更新后的衍射光场逆向传输回物面

(6)更新函数对物函数和照明光场函数进行更新

式中，“*”表示对应函数共轭，α和β为更新系数，取值范围为[0,1]；

(7)重复步骤(1)～(6)，对采集的每个衍射图像重复上述迭代步骤，同时将上次迭代得到的结果作为下一次迭代的初始猜测，重复上述过程直到重建误差足够小为止，误差函数为：

步骤二、训练阶段：调整无样本训练程序中的参数；将T

(21)调整训练所需参数，包括迭代次数epoch，放大倍数s，学习率LR，裁剪尺寸size等参数，epoch取值范围为(500,5000)，s取值范围为[2，3，4]中任一值，LR取值范围为(1e-4，5e-4)，size取值范围为

(22)计算退化模型：如图5所示的退化模型由T

(23)开始训练，在训练时使用亚像素卷积法对低分辨率图像lr进行上采样，使用损失函数监控损失值，并保存训练好的超分辨模型。其中，损失函数为MSE损失函数，MSE损失函数

式中，W、H表示图像尺寸，c表示放大倍数，

MSE损失用于评估训练时对hr-lr数据对中lr进行亚像素卷积上采样生成的图像sr与hr在像素层面上的差异。亚像素卷积法通过在卷积神经网络(CNN)中使用卷积层结构，将输入的低分辨率图像逐步转换成高分辨率图像。其采用三步走策略：首先使用普通卷积操作处理输入图像，然后通过像素重排将卷积后的特征图的像素重新排列，最后再应用卷积操作，使得输出具有更高的分辨率。

步骤三、输出结果阶段：调整输出阶段参数，与训练阶段训练超分辨模型时使用的参数一致，随后将预准备阶段获得的高分辨率图像T

实施例

使用氦氖激光器(632.8nm)作为光源并利用直径为2mm的光阑制造圆形探针，将待测生物样品(蕨茎样品)放置在x-y二维位移台上，样品步进为0.1mm，选择8位CCD相机(3672×5496个像素，像素大小2.4μm×2.4μm)采集7×7的衍射图样，物体到CCD的轴向距离为19.64mm。

在预准备阶段，首先将未经像素合并的衍射图样带入叠层成像算法重建图像，所获得的高分辨率图像为T

如图6(a1)所示即为预准备阶段获得的高分辨率图像T