一种基于深度学习的自聚焦透镜像差校正方法

技术领域

本发明属于光学显微成像领域，更具体地，涉及一种基于深度学习的自聚焦透镜像差校正方法。

背景技术

自聚焦透镜广泛应用于神经科学中的深部脑区研究，但其成像分辨率和成像深度都受到自身像差严重影响，导致获取的深部脑区的三维结构信息和动态信息缺失，不利于推动活体光学成像在脑空间信息学中的应用，不利于揭示大脑信息处理机制。为了解决这一问题，基于自适应光学的波前补偿技术被引入到光学显微成像技术中。

目前针对自聚焦透镜的像差校正多为通过一系列算法计算出每个方位上的波前畸变，然后应用空间光调制器件对波前进行补偿，由于自聚焦透镜每个方位上的像差表征不同，这类校正自聚焦透镜像差的方法需要进行多次成像，耗时费力，且需要额外的像差校正元件。

由此可见，如何快速且简易的对自聚焦透镜的像差进行校正，是当前亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习的自聚焦透镜像差校正方法，能够实现对自聚焦透镜像差的快速校正。

为实现上述目的，按照本发明的第一方面，提供了一种基于深度学习的自聚焦透镜像差校正方法，包括：

训练阶段：

S1，通过自聚焦透镜对测试样品进行成像，以所述自聚焦透镜的成像区域的内接正方形作为校正区域，将所述校正区域均匀划分为9个子图像A＝{a1,a2,…,a9}，并将ai作为一个训练对的输出；

S2，将样品台以步长D/3沿预设方向平移后，再次进行所述成像，将再次成像图像的校正区域均匀划分为9个子图像B＝{b1,b2,…,b9}，并将其中中心点与ai的中心点在所述预设方向上相距D/3的子图像作为所述训练对的输入；其中，所述预设方向与所述内接正方形的任意一组边长平行；

S3，随机移动样品台，重复S1-S2，直至获取预设数量的训练对；

S4，采用所述预设数量的训练对训练深度学习模型；

应用阶段：

通过自聚焦透镜对待成像样品进行成像，将成像图像均匀划分为9个子图像9个子图像K＝{k1,k2,…,k9}，并将K中除ki之外的其它子图像分别输入至训练好的深度学习模型得到像差校正后的子图像，并将其与ki进行拼接得到像差校正后的成像图像；

其中，D为所述内接正方形的边长，pi为P中位于中心位置的子图像，p＝a,b,k，P＝A,B,K。

按照本发明的第二方面，提供了一种基于深度学习的自聚焦透镜像差校正系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。

按照本发明的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行如第一方面所述的方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

为解决传统自适应光学用于自聚焦透镜像差校正中，需要多次成像，需要额外的校正元件的问题，本发明提供了一种基于机器学习快速实现自聚焦透镜像差校正的方法，结合自聚焦透镜中心位置像差小以及像差分布呈中心旋转对称的特性和机器学习理论，实现对自聚焦透镜像差的快速校正，操作简单且校正速度快，可以在没有像差校正元器件的情况下实现对自聚焦透镜的快速像差校正，解决了以往自聚焦透镜像差校正方法速度慢的问题，有利于神经科学中的深部脑区探索。

附图说明

图1为本发明实施例提供的基于深度学习的自聚焦透镜像差校正方法流程图；

图2中的(a)为中心位置近似无像差图像获取示意图，图2中的(b)为边缘位置有像差图像获取示意图；

图3中的(a)、(b)分别为本发明实施例提供的校正区域划分示意图之一、之二；

图4中的(a)、(b)分别为本发明实施例提供的样品台移动前、移动后的成像图像的校正区域划分示意图；

图5中的(a)、(b)、(c)分别为本发明实施例提供的待成像样品图像的校正区域划分、子图像旋转前、旋转后的示意图；

图6中的(a)为校正前的图像，图6中(b)为采用本发明实施例提供的方法进行像差校正后的图像。

在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：

1-激光光束，2-聚焦透镜，3-二向色镜，4-物镜，5-自聚焦透镜，6-样品台，7-套筒透镜，8-探测器。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供一种基于深度学习的自聚焦透镜像差校正方法，如图1所示，包括：

训练阶段：

S1，通过自聚焦透镜对测试样品进行成像，以所述自聚焦透镜的成像区域截取的内接正方形作为校正区域，将所述校正区域均匀划分为9个子图像A＝{a

具体地，采用如图2中的(a)、(b)所示的系统进行自聚焦透镜成像，经聚焦透镜2会聚的平行激光光束1透过二向色镜3到达物镜4，再经过自聚焦透镜5到达样品台6，样品发出的荧光由物镜收集经过二向色镜反射，通过套筒透镜7收集成像到探测器8上。

首先，对测试样品进行预成像，如图3中的(a)所示，从自聚焦透镜的成像区域截取内接正方形作为校正区域，该内接正方形的一组边长水平，另一组边长垂直；可以理解的是，也可以将如图3中的(b)所示的任意一个内接正方形作为校正区域，也即，内接正方形的边长也可以是任意倾斜的；并计算内接正方形的边长D。

在测量内接正方形的边长时，先调节自聚焦透镜的位置，使得自聚焦透镜在显微镜成像视场正中心(即将自聚焦透镜5放置在物镜4的正中心)，其次成像视场边缘定义为荧光强度降低到中心区域的5％-10％的边缘。

然后，依据自聚焦透镜中心像差小的特性，将中心位置成像结果认定为训练对的输出。如图3所示，将成像图像按预设划分方式进行划分得到9个子图像A＝{a

S2，将样品台以步长D/3沿预设方向平移后，再次进行所述成像，将再次成像图像的校正区域均匀划分为9个子图像B＝{b

具体地，依据自聚焦透镜像差分布呈中心旋转对称的特性，随机选取一个方位上的图像作为训练对的输入，其他方位上的图像结果可通过旋转获得。由于内接正方形的边长可以是任一方向，因此所述预设方向也可以为任一方向，但一旦选定方向后，后续训练和测试都要保证起始方向是选取的方向。

通过控制电动二维精密平移台将上述视场中的内容沿预设方向移动D/3再次进行成像，将成像图像将再次成像图像按预设划分方式进行划分得到9个子图像B＝{b

通过上述步骤S1-S2，获得一个训练对。

也即，以如图3中的(a)所示的校正区域为S1中的校正区域、S2中的预设方向为正西方向为例，在S1中，将内接正方形均匀划分为9个子图像A＝{a

在S2中，将样品台以步长D/3沿正西方向平移后，再次进行所述成像，如图2中的(b)所示，将成像图像将再次成像图像按预设划分方式进行划分得到9个子图像B＝{b

S3，随机移动样品台，重复S1-S2，直至获取预设数量的训练对。

具体地，所述训练对预设数量一般大于3000。

S4，采用所述预设数量的训练对训练深度学习模型；

具体地，采用S3得到的训练对训练深度学习模型，得到训练好的深度学习模型，将其作为像差校正模型。

深度学习具体是对训练对中的输入图像依次进行下采样处理进行特征提取、上采样处理后与输出图像建立非线性映射关系y＝f(u)，将其作为校正模型，其中u为训练对中输入图像，y为训练对中输出图像。

应用阶段：

通过自聚焦透镜对待成像样品进行成像，将成像图像均匀划分为9个子图像9个子图像K＝{k

其中，p

具体地，将对待成像样品的成像图像进行划分后，中心位置子图像k

由于自聚焦透镜的像差呈现中心旋转对称的特性，因此为了提高像差校正的精度，进一步地，所述将K中除k

将K`中位于k

分别将所述标准图像与旋转后的其它子图像输入至训练好的深度学习模型，将得到的结果按照所述对应角度再次旋转，使其恢复至旋转前的位置，得到像差校正后的子图像。

具体地，将除k

所述旋转的角度根据图像所处方位决定，如图4中的(a)～(c)所示，以如图3中的(a)所示的校正区域为S1中的校正区域、S2中的预设方向为正西方向为例，位于中心位置的子图像k

本发明实施例提供一种基于深度学习的自聚焦透镜像差校正系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如上述任一实施例所述的方法。

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行如上述任一实施例所述的方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。