一种基于FSRCNN的荧光显微图像超分辨方法

技术领域

本发明属于超分辨荧光显微成像领域，具体涉及一种基于FSRCNN的荧光显微图像超分辨方法，主要目的是为了提高荧光显微图像的分辨率。

背景技术

光学显微镜是科研人员探索微观世界的重要工具，然而传统的荧光显微镜所能观察到的图像难以满足科研人员的需求，而超分辨荧光显微镜的出现，突破了光学衍射极限的障碍，给生物、医学等领域的学者们，提供了强有力的技术支持，使得人们能够以更精准的时空分辨率来观察细胞内部丰富且复杂的亚细胞结构的动态过程。

超分辨荧光显微成像技术的提升方法之一是通过图像重建算法，提升传统荧光显微图像的分辨率。其中超分辨径向波动算法（SRRF）和超分辨光学波动成像（SOFI）是两种典型代表。SOFI算法的原理是基于记录时间序列的图像，对荧光波动进行统计分析，它通常利用量子点来标记样本，通过对染料独立随机闪烁特性进行积累量计算，定位分子质心来重构图像以实现超分辨，因而原始数据需求量非常大。SRRF方法是利用宽场成像中得到的时间序列图像中的荧光分子存在的随机波动特征来重建超分辨图像，该算法对荧光显微镜采集的图像具有较好的超分辨重建效果。从近年的发展来看，SRRF超分辨重建算法具有更好的应用前景，但由于传统的SRRF算法需要根据图像质量选择一定数量的宽场荧光图作为输入（通常荧光信号越弱需要的宽场荧光图数量越多）。因此该方法对活细胞的观察具有一定局限性，如不利于观察活细胞的连续动态过程。

发明内容

为了解决现有技术存在的问题，本发明提供了一种基于FSRCNN的荧光显微图像超分辨方法，该方法可以基于一张低分辨率荧光显微图像，获得与SRRF超分辨率重建图像相同分辨率的图像。同时还能缓解了SRRF算法中因多次曝光或曝光过度导致的荧光漂白问题。

本发明的大致步骤如下：

步骤1：针对多种细胞样本，采集良好成像条件下的普通荧光显微图像，利用超分辨径向波动算法（SRRF）获得对应的超分辨图像；

步骤2：将步骤1中的普通荧光显微图像和SRRF超分辨图像进行图像扩增，然后按比例划分成训练集、测试集和验证集；

步骤3：搭建快速超分辨卷积神经网络（FSRCNN）的算法环境，将步骤2整理好的训练集数据经FSRCNN网络训练并建立一个学习模型；

步骤4：利用验证集对得到的学习模型进行验证，通过将验证集中所有图像输入至训练好的学习模型中，获得预测输出，然后计算该预测输出与真值输出的均方误差（损失函数）。train_loss是训练数据上的损失，val_loss是在验证集上的损失，最后以train_loss和val_loss的变化趋势来验证FSRCNN网络的性能；

步骤5：测试集是指未曾在训练阶段使用过的数据，用于测试模型的性能。当最终训练模型确定后，将测试集中的所有图像输入至训练好的学习模型中，获得预测输出。通过计算预测输出与真值输出之间的结构相似度（SSIM）和峰值信噪比（PSRR）来定量评价模型性能；

步骤6：采集弱成像条件下的低分辨率荧光显微图像；

步骤7：使用快速超分辨卷积神经网络（FSRCNN）读取学习模型中的参数，对步骤6得到的低分辨率荧光显微图像进行超分辨率处理，由FSRCNN网络输出对应的高分辨率荧光显微图像。

优选的，步骤1中良好成像条件是指：能够采集到较好图像质量的成像条件，包括激光强度、CCD的曝光时间和灵敏度等参数设置。

优选的，步骤2中的图像扩增指通过随机裁剪、翻转或缩放的方法对数据集进行数据扩增。数据集扩增后对数据集进行随机分组，分为训练集、验证集和测试集。

优选的，步骤6中的弱成像条件是指：在能够采集到较好图像质量的成像前提下，将激光强度、CCD的曝光时间和灵敏度均下调1/5作为弱成像条件。

优选的，步骤4中均方误差（MSE）公式为：

优选的，步骤5中的结构相似性（SSIM）公式为：

优选的，步骤5中的峰值信噪比（PSNR）公式为：

优选的，如图2所示FSRCNN网络结构分为了5个部分，分别是特征提取、收缩、映射、扩展和反卷积，具体实现如下：

步骤1：特征提取层用d个大小为5*5的卷积核对输入的低分辨率荧光显微图像进行特征提取，得到低分辨率特征图；

步骤2：在特征映射的过程中，需要将低分辨率荧光显微图像特征映射到高分辨率特征图中，但是低分辨率特征图的维数一般很高，会极大地增加计算代价，所以需要使用收缩层对图像进行降维。通过用s个尺寸大小为1*1的卷积核来减少参数，然后将d维图像降维处理到s，从而减少计算量；

步骤3：映射层对低分辨率荧光显微图像特征进行非线性映射，将mapping层分为m（mapping层的个数，决定了SR的深度和复杂度）个小的mapping层，每个层的卷积核尺寸大小为3*3，卷积核的数目为s；

步骤4：直接使用低维的高分辨率特征进行图像恢复会导致重建的图像质量差，因此扩展层使用d个尺寸大小为1*1的卷积核进行升维；

步骤5：设置步长为n = k，使用1个尺寸大小设为9*9的卷积核对高分辨率图像特征进行反卷积操作，该操作可以看作是卷积的逆过程，通过上采样操作，接受高分辨率特征，最终输出对应的高分辨率图像。

本发明有益效果如下：

本发明的创新性在于将基于FSRCNN的图像超分辨算法应用于荧光显微成像领域，实现快速生成与SRRF超分辨率重建图像相同分辨率的图像，同时该技术在不牺牲分辨率的前提下提升了重建效果和执行效率，缓解了荧光样品的光漂白问题。并且在不改动硬件条件的前提下，通过图像处理的方法，以较小的代价获得了噪声少且细节清晰的高分辨率荧光显微图像。

附图说明

图1是超分辨径向波动算法(SRRF)原理图。

图2是快速超分辨卷积神经网络（FSRCNN）的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明了，以下结合附图及实施例对本发明进行详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本发明实施例提供一种基于FSRCNN的荧光显微图像超分辨方法，包括以下步骤：

步骤1：获取多种细胞样本，包括100个亚细胞结构的样本。对于同一种细胞样本，在成像条件良好的情况下采集250张普通荧光序列图像，然后输入到超分辨径向波动算法（SRRF）中获得相应的1张超分辨图像；

步骤2：整理图像数据集和准备训练数据，包括将步骤1中获得的超分辨图像通过随机裁剪、翻转或缩放的方法进行数据扩增。所述缩放指的是每张图像都被缩小为0.9、0、8、0.7和0.6，所述旋转指的是每幅图像的旋转度为90、180和270。数据集扩增后按7：1：2的比例对数据集进行随机分组，分为训练集、验证集和测试集；

为了准备训练数据，根据缩放因子n=3将上述过程中得到的训练集图像进行下采样到低分辨图像，然后制作一组大小

步骤3：搭建FSRCNN算法环境，将步骤2整理好的训练集数据经FSRCNN训练并建立所需要的学习模型；

步骤4：在模型训练过程中需要同时使用验证集进行测试以确保网络不会过拟合。具体步骤为：验证集为步骤2扩增后抽出的一小部分图像集，此部分不参与网络的学习过程。每次得到一个模型，验证集中所有普通荧光图像都会输入模型，得到模型输出的预测超分辨图，然后分别计算训练集和验证集的均方误差（损失函数），

其中MSE公式为：

train_loss是训练数据上的损失，val_loss是在验证集上的损失。若train_loss和val_loss降低且趋势一致说明模型仍在学习，可靠性高。如果train_loss持续降低但是val_loss开始增大说明模型过拟合，需要终止训练。如果train_loss和val_loss持续上升证明网络结构设计不当或者训练模型的超参数设置不当，需要终止训练；

步骤5：对步骤2-4训练得到的模型进行测试，且用图像评估参数对步骤2-4所获得的模型进行定量分析。将测试集中的图像输入到模型中，计算模型输出的预测结果和对应的SRRF超分辨图的结构相似度(SSIM)和峰值信噪比(PSNR)；

其中SSIM公式为：

其中PSNR公式为：

步骤6：在成像条件良好情况的前提下，将激光强度、CCD的曝光时间和灵敏度均下调1/5作为弱成像条件，然后在弱成像条件下采集低分辨率荧光显微图像5张；

步骤7：使用FSRCNN读取训练好的模型中的参数，对步骤6采集到的5张低分辨率荧光显微图像进行超分辨率处理，由FSRCNN网络输出噪声少且细节清晰的高分辨率荧光显微图像。

其中，FSRCNN网络实现步骤为：

1. 特征提取层用d个大小为5*5的卷积核对输入的低分辨率荧光显微图像进行特征提取，得到低分辨率特征图；

2. 在特征映射的过程中，需要将低分辨率荧光显微图像特征映射到高分辨率特征图中，但是低分辨率特征图的维数一般很高，会极大地增加计算代价，所以需要使用收缩层对图像进行降维。通过用s个尺寸大小为1*1的卷积核来减少参数，然后将d维图像降维处理到s，从而减少计算量；

3. 映射层对低分辨率荧光显微图像特征进行非线性映射，将mapping层分为m（mapping层的个数，决定了SR的深度和复杂度）个小的mapping层，每个层的卷积核尺寸大小为3*3，卷积核的数目为s；

4. 直接使用低维的高分辨率特征进行图像恢复会导致重建的图像质量差，因此扩展层使用d个尺寸大小为1*1的卷积核进行升维；

5. 设置步长为n = k，使用1个尺寸大小为9*9的卷积核对高分辨率图像特征进行反卷积操作，该操作可以看作是卷积的逆过程，通过上采样操作，接受高分辨率特征，最终输出对应的高分辨率图像。

以上内容对本发明的较佳实例和基本原理作了详细论述，但本发明并不局限于上述实施方式，熟悉本领域的技术人员了解在不违背本发明精神的前提下还会有各种等同变形和替换，这些等同变形和替换都落入本发明要求的保护范围。