一种大视场显微成像装置

技术领域

本公开涉及显微成像技术领域，特别涉及一种大视场显微成像装置。

背景技术

在显微成像技术中，通常需要将显微镜与相机相结合，由此对人眼无法观察到的微小目标进行拍摄。微小目标的尺寸通常在微米量级甚至纳米量级(例如小至数百微米及以下)，因此通常需要采用放大倍数很高(例如高达数十倍甚至数百倍以上)的显微物镜(价格在数千至数万)才能获得微小目标的清晰成像。同时，分辨率与视场的冲突一直存在，对目标的细节进行观察时往往会丢失整体的图像，需要通过扫描式的多次曝光组合出图像。

在诸如生物医学大视场显微成像、高精度工业检测等多个重要应用中，都需要对宏观上较大的目标有极高的成像分辨率需求。由于需要对目标进行清晰分辨的显微成像，必然造成成像视场的减小，因此在显微成像应用中，往往通过移动目标或成像系统进行多次拍摄来得到完整的高分辨率的目标图像。如果结合常规的显微成像技术来对微小目标进行拍摄，则通常需要使用价格昂贵的高倍显微物镜和对应的平移或扫描系统二者，并且由于扫描需要一定的时间，还需要始终目标严格处于显微物镜的物面，往往需要重量较大且造价高昂的稳定系统，或仅能用于平稳无振动的环境，这样的系统不仅成本高昂，而且严格限制了使用环境。

发明内容

本公开实施例的目的在于提供一种大视场显微成像装置，用以解决现有技术中显微成像设备造价高昂且使用不便的问题。

本公开的实施例采用如下技术方案：一种大视场显微成像装置，包括：相干光源，所述相干光源被配置为用相干光照射目标；光源范围调节器，所述光源范围调节器被配置为对所述相干光进行空间划分并使被不同空间区域内的所述相干光分别照射至所述目标的不同区域；空间光调制器，所述空间光调制器被配置为接收所述目标经过所述相干光照射后形成的衍射图案，并基于所述空间光调制器的预设编码图案对所述衍射图案进行编码以生成所述目标的编码衍射图案；成像传感器，所述成像传感器被配置为在所述成像传感器的单次曝光时间内接收来自所述空间光调制器的多个所述编码衍射图案，并生成所述目标的压缩编码衍射图案；其中，所述空间光调制器在所述成像传感器的单次曝光时间内多次切换所述预设编码图案，以使所述目标的不同区域被所述相干光照射后形成的多个所述衍射图案基于不同的所述预设编码图案以形成多个所述编码衍射图案。

在一些实施例中，所述空间光调制器被设置在所述目标的远场或傅里叶面所在的位置。

在一些实施例中，所述空间光调制器与所述成像传感器被定位成彼此光学共轭。

在一些实施例中，所述预设编码图案的像素被二进制编码为允许所接收的光以第一百分比到达所述成像传感器的第一类像素以及允许所接收的光以第二百分比到达所述成像传感器的第二类像素，所述像素的尺寸大于所述目标的衍射图案的布拉格间距。

在一些实施例中，所述预设编码图案的像素的二进制编码采用以下任意一种方式进行：随机编码方式；使所述目标的衍射图案的低频部分比所述目标的衍射图案的高频部分发生更多信息损失的编码方式；使所述目标的衍射图案的高强度部分比所述目标的衍射图案的低强度部分发生更多信息损失的编码方式。

在一些实施例中，所述光源范围调节器至少包括第一数字微镜阵列，或，多个第一掩膜板以及用于切换多个所述第一掩膜板的第一切换部件。

在一些实施例中，所述空间光调制器至少包括第二数字微镜阵列，或，多个第二掩膜板以及用于切换多个所述第二掩膜板的第二切换件。

在一些实施例中，所述光源范围调节器至少包括：设置在所述相干光源和所述目标之间的第一透镜组和孔径光阑；其中，所述第一透镜组被配置为使所述相干光准直，和/或，调整所述相干光的光束直径以使所述相干光完全覆盖所述目标；所述孔径光阑紧靠所述目标设置。

在一些实施例中，还包括：设置在所述目标和所述空间光调制器之间的傅里叶透镜，所述傅里叶透镜被配置为对所述相干光经过所述目标的衍射图案进行傅里叶变换，其中，所述目标被设置在所述傅里叶透镜的前焦面所在的位置，所述空间光调制器被设置在所述傅里叶透镜的后焦面所在的位置。

在一些实施例中，还包括：设置在所述傅里叶透镜的后焦面和所述空间光调制器之间的第二透镜组，所述第二透镜组被配置为使得所述目标的衍射图案在傅里叶变换之后被成像在所述空间光调制器的编码区域内。

在一些实施例中，还包括：设置在所述空间光调制器和所述成像传感器之间的第三透镜组，所述第三透镜组被配置为使得所述编码衍射图案被成像在所述成像传感器的感测区域内。

在一些实施例中，还包括：处理器，所述处理器被配置为与所述成像传感器通信，并根据所述预设编码图像以及时间顺序对所述成像传感器输出的所述压缩编码衍射图案进行解码以获得所述目标在不同时间处的多个所述衍射图案，并且对多个所述衍射图案进行相位恢复以重建所述目标被不同空间区域内的所述相干光分别照射的不同区域的图像。

本公开实施例的有益效果在于：通过相干光源结合光源范围调节器、空间光调制器以及成像传感器，利用相干光对目标进行照射实现相干衍生成像，在成像传感器单次曝光中还原具有大视场和高分辨率的目标图像，无需使用高倍相机进行重复拍摄，进而降低显微成像的设备成本，并简化显微成像装置的使用环境需求。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开第一实施例中大视场显微成像装置的结构示意图；

图2为本公开第一实施例中预设编码图案示意图；

图3为本公开第一实施例中压缩编码衍射图案的生成过程示意图；

图4为本公开第一实施例中相干衍射成像原理示意图；

图5为本公开第一实施例中对压缩编码衍射图案进行多帧重建和相位恢复的过程示意图；

图6为本公开第一实施例中相邻特征传递层关系示意图；

图7为本公开第一实施例中去噪神经网络模型的示例结构示意图；

图8为本公开第一实施例中去噪神经网络模型从实空间信号提取子图像的过程示意图；

图9为本公开第一实施例中大视场显微成像装置进行透射相干衍射成像时的结构示意图；

图10为本公开第一实施例中示例目标的不同拍摄结果示意图；

图11为本公开第二实施例中大视场显微成像方法的流程示意图。

具体实施方式

此处参考附图描述本公开的各种方案以及特征。

应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本公开的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本公开进行了描述，但本领域技术人员能够确定地实现本公开的很多其它等效形式，它们具有如权利要求的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所申请的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。

在显微成像技术中，通常需要将显微镜与相机相结合，由此对人眼无法观察到的微小目标进行拍摄。微小目标的尺寸通常在微米量级甚至纳米量级(例如小至数百微米及以下)，因此通常需要采用放大倍数很高(例如高达数十倍甚至数百倍以上)的显微物镜(价格在数千至数万)才能获得微小目标的清晰成像。同时，分辨率与视场的冲突一直存在，对目标的细节进行观察时往往会丢失整体的图像，需要通过扫描式的多次曝光组合出图像。

在诸如生物医学大视场显微成像、高精度工业检测等多个重要应用中，都需要对宏观上较大的目标有极高的成像分辨率需求。由于需要对目标进行清晰分辨的显微成像，必然造成成像视场的减小，因此在显微成像应用中，往往通过移动目标或成像系统进行多次拍摄来得到完整的高分辨率的目标图像。如果结合常规的显微成像技术来对微小目标进行拍摄，则通常需要使用价格昂贵的高倍显微物镜和对应的平移或扫描系统二者，并且由于扫描需要一定的时间，还需要始终目标严格处于显微物镜的物面，往往需要重量较大且造价高昂的稳定系统，或仅能用于平稳无振动的环境，这样的系统不仅成本高昂，而且严格限制了使用环境。

为了解决上述问题，本公开的第一实施例提出了一种大视场显微成像装置，通过相干光源结合光源范围调节器、空间光调制器以及成像传感器，利用相干光对目标进行照射实现相干衍生成像，在成像传感器单次曝光中还原具有大视场和高分辨率的目标图像，无需使用高倍相机进行重复拍摄，进而降低显微成像的设备成本，并简化显微成像装置的使用环境需求。

图1示出了本实施例中大视场显微成像装置的结构示意图。如图1所示，该显微成像装置主要包括相干光源102、光源范围调节器106、空间光调制器114以及成像传感器116，其中，光源范围调节器106将相干光源102出射的相干光经过空间划分后照射至待成像的目标110的不同区域上，使其产生相干光衍射，而相干光衍射对应生成的目标110不同区域的衍射图案被空间光调制器114接收，经过空间光调制器114内预设的编码图案编码后形成编码衍射图案传输至成像传感器116，成像传感器116在其单次曝光时间内接收编码衍射图案进行压缩以得到压缩编码衍射图案，压缩编码衍射图案包含了目标110的多帧衍射图案信息，只需要通过多帧重建和相位恢复处理即可得到目标110不同区域的原始图像，进而得到目标110的整体图像。

本实施例采用相干衍射成像技术进行显微成像，由于其分辨率远高于直接成像的分辨率，特别适合于对微小目标进行成像，并可以通过傅里叶采集将小的空间域转换到大的频域。越是微小的目标，对应的空间频谱分布范围越大，需要的采样精度越低，在进行时域压缩时的信息损失越小。并且，空间频率的部分缺失仅会造成图像分辨率的略微降低，而不会影响图像的完整性。由此，相干衍射成像技术有助于大视场显微成像装置实现高的空间分辨率，无需使用高倍镜头或限制更严苛的使用环境条件也可达到良好的成像效果。

具体地，相干光源102包括但不限于激光器等可以发出相干光的设备，相干光的波长可以为任意合适的波长，例如近红外波长等。目标110可以是任意微小目标，也可以是任意需要高分辨率大视场成像的目标或者离散地分布在一定范围内的微小目标等，本实施例并不限制目标100是一个完整的微小物体或者是一个整体尺寸较大的被摄物体的局部微小区域。光源范围调节器106具体被配置为调整相干光源102的照射范围，通过对相干光进行空间划分，使目标110在同一个时间内仅有部分区域被空间划分后不同区域内的相干光照射，进而实现相干衍射成像。

在一些实施例中，目标110的衍射图案可以是通过相干光被目标110反射得到的光形成的，也可以是通过相干光被目标110透射得到的光形成的，具体可以根据具体应用场景(例如，根据目标110的透射率、反射率等光学性质)选择将大视场显微成像装置配置为透射相干衍射成像或反射相干衍射成像。

在实际实现光源范围调节器106时，可使用第一数字微镜阵列进行相干光的空域分割，第一数字微镜阵列中包括多个微反射镜，每个微反射镜的旋转角度可被数字地配置为将该微反射镜所接收到的光反射以进入下一系统部件或不进入下一系统部件，即每个微反射镜均可以控制其所接收到的相干光是否出射至目标110，以实现目标110不同区域的照射。或者，光源范围调节器106还可以通过多个第一掩膜板和用于切换多个第一掩膜板的第一切换部件实现相干光的分割，多个第一掩膜板可以按照阵列排布，在第一切换部件的控制下实现第一掩膜板允许相干光从中通过以被后续任何光学元件接收或不允许相干光从中通过的效果；或者，光源范围调节器106还可以包括具有被布置为单缝或小孔等多种编码方式的掩膜板和相应的切换部件，用以实现相干光的不同部分被掩膜板反射或透射至目标110的不同区域。无论光源范围调节器106具体如何实现，其目的均为控制不同空间区域的相干光照射至目标110的不同区域，实际实现时也可使用其他装置或结构以实现相应功能。

空间光调制器114住要用于接收被相干光照射的目标110的衍射图案，并根据其自身预设的编码图案对衍射图案进行像素级的空间调制，以生成编码衍射图案。在本实施例中，空间光调制器114的预设编码图案的像素被二进制编码为允许所接收的光以第一百分比到达成像传感器的第一类像素以及允许所接收的光以第二百分比到达成像传感器的第二类像素，像素的尺寸大于目标的衍射图案的布拉格间距。这里的第一百分比和第二百分比均可以为0至100％中的任意一个百分比，二者可以相同也可以不同。参考图2，标记有“1”的白色方块可以表示允许所接收的光到达成像传感器116，此时第一百分比可以是100％，而标记有“0”的黑色方块则不允许所接收到的光到达成像传感器116，此时第二百分比则对应为0；或者，标记有“1”的白色方块可以表示允许所接收的光的80％到达成像传感器116，此时第一百分比可以是80％，而标记有“0”的黑色方块则允许所接收到的光的20％到达成像传感器116，此时第二百分比则对应为20％，具体百分比的设置可以根据实际需求调整，本实施例不进行限制。另外，在一些实施例中，空间光调制器114的编码图案的像素也可以被多进制编码，例如可以被多进制编码为允许所接收的光按照多个不同预设百分比的其中一个到达成像传感器116。

在一些实施例中，空间光调制器114的编码图案可以采取随机编码方式。另外，当视场尺寸固定时，各帧衍射图案的低频部分可能具有较高的相似性，因此在一些实施例中，空间光调制器114的编码图案可以采取使目标110的衍射图案的低频部分比目标110的衍射图案的高频部分发生更多信息损失的编码方式，这样既可以避免对低频部分的过采集，又可以使高频部分具有比单帧采集更高的信噪比。需要注意的是，本实施例中所提到的衍射图案的低频部分主要指衍射图案中靠近衍射中心的部分(例如图3的任意一个衍射图案中位于图案中心的部分)，距离中心越近，频率越低，而高频部分则指代衍射图案中远离中心的部分(例如图3的任意一个衍射图案中位于图案边缘的部分)，距离中心越远，则频率相应增加，实际上并没有明确的频率值来划分低频和高频，因此在进行编码时可根据实际的频率变化情况设置相应变化的信息损失程度即可。在一些实施例中，空间光调制器114的编码图案可以采取使目标110的衍射图案的高强度部分比目标110的衍射图案的低强度部分发生更多信息损失的编码方式，即对于衍射图案中亮度越高的位置，可以使编码图案在对应位置出现黑色小块的概率越高。需要注意的是，本实施例所提到的高强度部分和低强度部分主要指衍射图案的亮度呈现，亮度越高则强度越高，并且没有设置一个具体的亮度值来划分高强度部分和低强度部分，在编码时可根据相对的亮度差异进行设置即可。实际上，可以以任何期望的编码方式来设置编码图案。

与光源范围调节器106类似的，空间光调制器114也具有多种不同的实现方式。在一些实施例中，其可以通过第二数字微镜阵列实现，该第二数字微镜阵列同样包括多个微反射镜，每个微反射镜的旋转角度均可被数字地配置。例如，如果要将预设编码图案二进制编码为允许所接收的光到达成像传感器116或不允许所接收的光到达成像传感器116，则可以将数字微镜阵列的每个微反射镜的旋转角度数字地配置为将该微反射镜所接收到的光反射以被成像传感器116接收或不被成像传感器116接收。替代地，也可以将数字微镜阵列的每个微反射镜的旋转角度数字地配置为使该微反射镜所接收到的光的反射光的不同预设百分比被成像传感器116接收。数字微镜阵列可以通过数字配置各个微反射镜的旋转角度来提供空间光调制器114的不同编码图案，每个微反射镜充当预设编码图案的像素。

在一些实施例中，空间光调制器114还可以包括多个第二掩模板和用于切换多个第二掩模板的第二切换部件。例如，如果要将预设编码图案二进制编码为允许所接收的光到达成像传感器116或不允许所接收的光到达成像传感器116，则多个第二掩模板中的每个第二掩模板可以包括被布置为阵列并且各自被配置为允许光从中通过以被成像传感器116接收或不允许光从中通过以被成像传感器116接收的多个区域。替代地，也可以将每个区域配置为允许所接收的光的不同预设百分比到达成像传感器116，这里可以通过为不同区域的第二掩膜板配置不同透射率的材料来实现。多个第二掩模板可以提供空间光调制器114的不同编码图案，第二掩模板的每个区域充当编码图案的像素。

在一些实施例中，空间光调制器114可以包括具有被布置为阵列的多个区域的掩模板以及用于移动该掩模板以使目标110的衍射图案被该掩模板的多个区域中的不同区域接收的移动部件。例如，如果要将预设编码图案二进制编码为允许所接收的光到达成像传感器116或不允许所接收的光到达成像传感器116，则该掩模板的多个区域中的每个区域可以包括被布置为阵列并且各自被配置为允许光从中通过以被成像传感器116接收或不允许光从中通过以被成像传感器116接收的多个子区域。替代地，也可以将每个子区域配置为允许所接收的光的不同预设百分比到达成像传感器116。掩模板的多个区域中的不同区域可以提供空间光调制器114的不同编码图案，区域的每个子区域充当编码图案的像素。

成像传感器116可以是具有图像采集功能的设备，例如摄像机、录像机甚至是具有拍照功能的手机，由于本实施采用相干衍射原理进行成像，在实际实现时对成像传感器116的倍数、视场等参数要求不高。本实施例中的成像传感器116可以与空间光调制器114被定位成彼此光学共轭，以便将空间光调制器114的编码衍射图案成像到成像传感器116上。具体地，成像传感器116可以被配置为在成像传感器116的单次曝光时间内接收来自空间光调制器114的多帧编码衍射图案以生成目标110的单个压缩编码衍射图案，而空间光调制器114则在成像传感器116的曝光时间内多次切换预设编码图案，以将目标110在成像传感器116的曝光时间内的不同时间处被照亮的不同位置的多个衍射图案按照相应的不同预设编码图案进行编码来生成上述的多帧编码衍射图案。也就是说，空间光调制器114可以在成像传感器116的曝光时间内以预设切换速度定期切换不同的预设编码图案，多帧编码衍射图案中的每帧编码衍射图案均是对上述多个衍射图案中的相应一帧衍射图案按照空间光调制器114在该帧衍射图案的时间处的预设编码图案编码得到的。

图3为压缩编码衍射图案的生成过程示意图。如图3所示，目标110可以在成像传感器116的曝光时间进行高分辨率的大面积成像，但本公开的大视场显微成像装置100并不是通过直接成像来获得目标110的图像，而是通过相干衍射成像获得目标110在成像传感器116的单次曝光时间期间的不同时间t

本实施例有效地提高了大视场显微成像装置的空间分辨率和视场，由于空间光调制器114可以在成像传感器116的单次曝光时间内多次切换不同编码图案以生成与目标110在成像传感器116的曝光时间内的目标110被照明的不同位置处的多帧衍射图案和空间光调制器114在相应时间处的编码图案对应的多帧编码衍射图案，因此通过控制成像传感器116的曝光时间和空间光调制器114的编码图案的切换速度，即可实现采集目标的衍射图像帧率的调整，以获得目标的衍射图案的多帧压缩编码情况。

图4示出了本实施例的相干衍射成像原理。如图4所示，通过相干光U

其中P(x)指示成像视场FoV，

U

因此，成像传感器检测到的压缩信号强度I(x)可以通过下式来表示。

其中Δt是成像传感器的曝光时间(积分时间)。

将式(3)写成离散形式并考虑测量噪声，则

其中Y、U

令U′

y＝Φu+g (6)

其中

Φ＝[Φ

其中Φ

基于上述内容，在实际进行空间光调制器114定位时，可将其定位在目标110的远场或者说定位在夫琅禾费衍射区域中，也可以定位在目标110的傅里叶面上，以便空间光调制器114接收并编码目标110的衍射图案。

进一步地，显微成像装置还应当包括处理器118用以实现成像传感器116所生成的压缩编码衍射图案的后续处理，以实现目标110在单次曝光期间被分别照明部分的多帧图像。在本实施例中，成像传感器116可以与处理器118通信并且被配置为将压缩编码衍射图案传输到该处理器118，压缩编码衍射图案虽然包含了丰富的时间和空间信息，但是具有较小的数据量，便于在数据存储和传输中节省存储空间和传输带宽。该处理器118可以被配置为根据空间光调制器114在成像传感器116的单次曝光时间内的各个预设编码图案及其时间顺序对压缩编码衍射图案进行解码以获得目标110在不同时间处被照亮位置的多个衍射图案，并且对多个衍射图案进行相位恢复以重建目标110被不同空间区域内的相干光分别照射的不同区域的图像。在实际实现时，处理器118可以包括在显微成像装置中，也可以由位于装置外部的任何计算设备提供，只要能保证成像传感器116可以实现与处理器118的通信即可。

在实际实现时，处理器118可以利用神经网络模型来从压缩编码衍射图案恢复目标在不同时间处的多帧衍射图案。例如，处理器118可以被配置为通过具有多个阶段的多帧重建神经网络模型对压缩编码衍射图案进行解码以获得目标在不同时间处的多帧衍射图案。如图5所示，多帧重建神经网络模型可以包括第一阶段和第二阶段，但这仅仅是示例性的而非限制性的，其也可以包括多于两个阶段。多帧重建神经网络模型的每个阶段可以包括投影模块、特征提取模块和特征积分模块。投影模块可以被配置为将该阶段的输入从压缩域映射到信号域以获得多个信号图，多个信号图在数量上与压缩编码衍射图案所对应的多帧衍射图案相同(例如结合参考图3，数量为T)。在一些示例中，投影模块可以被配置为执行解析求解。但是解析求解的结果可能是粗糙的而不是最优的，因此需要将投影模块的输出结果输入到后面的特征提取模块和特征积分模块中进一步处理。在一些示例中，特征提取模块和特征积分模块可以各自包括多个3D卷积层。作为非限制性示例，特征提取模块可以包括卷积核大小依次为5×5×5、3×3×3、1×1×1、3×3×3的4个3D卷积层，特征积分模块可以包括卷积核大小依次为3×3×3、3×3×3、1×1×1、3×3×3的4个3D卷积层。

多帧重建神经网络模型例如可以将重建过程建模为以下优化问题：

其中，R(u)表示正则化部分，并且τ表示正则化参数。该多帧重建神经网络模型结合了基于优化的算法和基于学习的算法的优点，既能灵活适用于不同应用场景，又能快速获得高质量重建结果。由于y是已知的(即成像传感器116的压缩编码衍射图案)，Φ也是已知的(即所设置的各个预设编码图案)，因此通过求解上述优化问题可以将压缩图像高效复原成压缩前的多帧图像。因此在每个阶段，模型可执行以下两个步骤：

u

v

其中v

在一些实施例中，多帧重建神经网络模型的每个阶段还可以包括设置在特征提取模块和特征积分模块之间的用于传递提取的特征的多个特征传递层s

其中

因此，可以不再需要全部保存各个激活层的激活值。

可以理解，以上多帧重建神经网络模型仅仅是示例性的而非限制性的，可以利用具有其它构造的神经网络模型或者可以利用除神经网络模型以外的现在已知或以后开发的其它合适方法来从压缩编码衍射图案重建目标在不同时间处的多帧衍射图案。

与此同时，可以使用任何合适的处理来对重建的多帧衍射图案进行相位恢复，以获得目标的多帧原始图像。现有进行相位恢复的算法例如包括Gerchbrg-Saxton(G-S)算法、混合输入-输出(Hybrid Input-Output，HIO)算法、误差下降(Error Reduction，ER)、杨-顾(YG)算法等迭代投影算法等。例如，参考图5，图5示出了利用经典HIO处理对通过多帧重建神经网络模型重建的多帧衍射图案进行相位恢复的过程。其中，F

上述实空间校正可以用于检查更新变量的坐标是否属于支持集S，β则为超出S的部分向算法提供了反馈。经过实空间校正的实空间信号f

为了更好地应对实际测量时可能存在的各种噪声水平，本实施例在具体实现时还通过结合去噪处理的相位恢复处理来对多帧衍射图案中的每帧衍射图案进行相位恢复以重建目标的与该帧衍射图案对应的一帧图像。图5以HIO处理为例，在HIO处理的每次迭代中引入去噪模块，该去噪模块可以基于神经网络模型。具体地，在一些实施例中，处理器118可以被配置为在针对多帧衍射图案中的每帧衍射图案进行的HIO处理的每次迭代中，将经过实空间校正的实空间信号输入去噪神经网络模型以进行去噪并将经过去噪的实空间信号用于下一次迭代，去噪神经网络模型可以被配置为：从所接收的经过实空间校正的实空间信号提取出多个子图像；将多个子图像与针对该帧衍射图案设置的噪声水平图输入多层神经网络；从多层神经网络输出多个去噪子图像，多个去噪子图像在数量和尺寸上与多个子图像相同；以及将多个去噪子图像整合为去噪的实空间信号。图7示出了根据本公开的一些实施例的去噪神经网络模型的示例结构。图7中的卷积层可以是2D卷积层，其例如可以采用3×3的卷积核大小。在其中一些卷积层中，还可以设置批归一化层BN和/或激活函数层(例如ReLU层)。在一些实施例中，从所接收的经过实空间校正的实空间信号提取出多个子图像可以包括：将该实空间信号的图像划分为多个初级区域，多个初级区域中的每个初级区域包括多个次级区域，多个次级区域在数量上与多个子图像相同；将多个子图像中的每个子图像提取为包括各个初级区域中的相应一个次级区域。例如参考图8，假设经过实空间校正的实空间信号f

图9示出了本实施例中大视场显微成像装置进行透射相干衍射成像时的结构示意图，其同样包括目标110、相干光源102、光源范围调节器106、空间光调制器114以及成像传感器116，上述组件与图1相同在此不进行重复赘述。如图8所示，显微成像装置中还可以包括设置在各个组件之间的透镜或透镜组，用以实现各处光束的直径大小以及覆盖范围。其中，在相干光源102和目标110之间的光源范围调节器106还可以具体设置为通过第一透镜组104和孔径光阑(图8中未示出)实现相干光源的照射范围，第一透镜组104包括一个或多个透镜，其被配置为使由相干光源102所发出的相干光准直和/或调整相干光的光束直径使得相干光将目标110完全照亮，其可以被配置为形成光学4F系统，并结合紧靠目标设置的孔径光阑或可动反射镜实现目标110的不同区域被分别照射的效果。应当了解的是，一般情况下，可以将第一透镜组104结合数字微镜阵列或掩膜板、切换部件形成的光源范围调节器106同时使用，如图8所示的效果，进而实现对照射至目标110的相干光的精细控制，达到最优的衍射效果。

显微成像装置还可以包括设置在目标110和空间光调制器114之间的傅里叶透镜112，用以对目标的衍射图案进行傅里叶变换，使得能够在近场获得准确的衍射结果。在一些实施例中，目标110可以被定位在傅里叶透镜112的前焦面上，空间光调制器114可以被定位在傅里叶透镜112的后焦面(即傅里叶面FP)上。在一些实施例中，装置也可以进一步包括设置在傅里叶透镜112的后焦面FP和空间光调制器114之间的第二透镜组118。第二透镜组118可以包括一个或多个透镜，其可以被配置为使得目标110的衍射图案在被傅里叶透镜112进行傅里叶变换之后被成像在空间光调制器114的编码区域内。其中，空间光调制器114的编码区域即为空间光调制器114的具有编码图案的区域。如果目标原尺寸很小，则目标的衍射图案在FP处的傅里叶变换频谱可能过大，此时可以通过第二透镜组118将傅里叶变换频谱缩小成像在空间光调制器114的编码区域内；如果目标原尺寸较大，则目标的衍射图案在FP处的傅里叶变换频谱可能较小，此时可以通过第二透镜组118将傅里叶变换频谱扩大成像在空间光调制器114的编码区域内。换言之，第二透镜组118可以被配置为使目标的衍射图案的傅里叶变换频谱合适地成像在空间光调制器114的编码区域内，既能使空间光调制器114对整个频谱进行编码，又能使频谱尽可能大。在一些实施例中，第二透镜组118可以被配置为形成光学4F系统。

在一些实施例中，装置还可以包括设置在空间光调制器114和成像传感器116之间的第二三透镜组120，第二三透镜组120可以包括一个或多个透镜其可以被配置为使得由空间光调制器114生成的编码衍射图案被成像在成像传感器116的感测区域内。在一些实施例中，第二三透镜组120包括透镜和显微物镜，其可以被配置为形成光学4F系统，以使由空间光调制器114生成的编码衍射图案与成像传感器116匹配。由于装置100利用相干衍射成像，因此显微物镜不需要具有高放大倍数，例如其放大倍数可以不到十倍，或者不到四倍，或者可以是二倍。

应当了解的是，除上述实施例中提到的透镜或透镜组，在实际进行大视场显微成像装置实现时，还可以具有附加的或替代的其他光学部件以优化光路设计，本实施例在此不进行详细赘述。

图10示出了示例目标的不同拍摄结果示意图。其中，示例目标是刻穿在不锈钢板上的微小单词“westlake”，其笔画宽度仅为20微米，不锈钢板总长度约为10毫米。图10中的(a)部分示出了该目标的压缩编码衍射图案，(b)部分示出了用常规的高倍高帧率相机逐张直接拍摄的八张目标各部分图像，(c)部分示出了对(a)的压缩编码衍射图案进行根据本实施例的多帧重建和利用经典HIO处理的相位恢复获得的八张目标图像，(d)部分示出了对(a)的压缩编码衍射图案进行根据本实施例的多帧重建和利用结合去噪神经网络模型的HIO处理的相位恢复获得的八张目标图像。对比(b)、(c)、(d)可见，即使没有利用价格昂贵的高倍透镜和高帧率相机，也可以通过根据本实施例的时间压缩的相干衍射成像结合后续处理还原出目标的整体高分辨率图像，并且在结合去噪处理后恢复质量得到进一步提高。另外，从(a)、(c)、(d)可以看到，从单次曝光的压缩采集中恢复了八帧目标不同部分的图像，随着时间的推移观察到了目标的不同部分被分别照亮，展现了本公开的技术可以通过单次曝光恢复出目标完整的高分辨图像。

本实施例通过相干光源结合光源范围调节器、空间光调制器以及成像传感器，利用相干光对目标进行照射实现相干衍生成像，在成像传感器单次曝光中还原具有大视场和高分辨率的目标图像，无需使用高倍相机进行重复拍摄，进而降低显微成像的设备成本，并简化显微成像装置的使用环境需求。

本公开的第二实施例提供了一种大视场显微成像方法，其主要利用本公开第一实施例所提供的显微成像装置，对应实现如图11所示的方法，并具体包括如下步骤：

S10，用相干光照射目标；其中，目标为需要高分辨率成像的目标；

S20，接收目标的衍射图案并对其进行空间调制；其中，空间调制包括按照预设编码图案对目标的衍射图案进行编码以生成编码衍射图案，预设编码图案会定期切换成不同的图案内容；

S30，对在一段时间内用不同预设编码图案编码目标在不同时间处的衍射图案生成的多帧编码衍射图案进行压缩成像以生成目标的单个压缩编码衍射图案；其中，空间调制包括在一段时间内多次切换编码图案，以将目标在一段时间内的不同被照明区域的多帧衍射图案按照相应的不同编码图案进行编码来生成多帧编码衍射图案。

在一些实施例中，目标的衍射图案是通过相干光被目标反射得到的光形成的；或者目标的衍射图案是通过相干光被目标透射得到的光形成的。

在一些实施例中，目标的远场或傅里叶面进行空间调制。

在一些实施例中，还包括根据空间调制在一段时间内使用的各个编码图案及其时间顺序对压缩编码衍射图案进行解码以获得目标在不同时间处由于相干光照明区域改变产生的多帧衍射图案，并且对多帧衍射图案进行相位恢复以重建目标在不同空间位置处的多帧图像。

在一些实施例中，对压缩编码衍射图案进行解码包括通过具有多个阶段的多帧重建神经网络模型对压缩编码衍射图案进行解码以获得目标在不同时间处的多帧衍射图案，多个阶段的每个阶段包括：投影模块，被配置为将该阶段的输入从压缩域映射到信号域以获得多个信号图，多个信号图在数量上与多帧衍射图案相同；特征提取模块，被配置为从投影模块接收多个信号图以提取特征；特征积分模块，被配置为对提取的特征进行积分以获得该阶段的输出。

在一些实施例中，多个阶段中的每个阶段还包括：设置在特征提取模块和特征积分模块之间的用于传递提取的特征的多个特征传递层s

其中

在一些实施例中，对多帧衍射图案进行相位恢复包括通过结合去噪处理的相位恢复处理来对多帧衍射图案中的每帧衍射图案进行相位恢复以重建目标的与该帧衍射图案对应的一帧图像。

在一些实施例中，相位恢复处理是混合输入-输出HIO处理，并且其中，对多帧衍射图案进行相位恢复包括在针对多帧衍射图案中的每帧衍射图案进行的HIO处理的每次迭代中，将经过实空间校正的实空间信号输入去噪神经网络模型以进行去噪并将经过去噪的实空间信号用于下一次迭代，去噪神经网络模型被配置为：从所接收的经过实空间校正的实空间信号提取出多个子图像；将多个子图像与针对该帧衍射图案设置的噪声水平图输入多层神经网络；从多层神经网络输出多个去噪子图像，多个去噪子图像在数量和尺寸上与多个子图像相同；以及，将多个去噪子图像整合为去噪的实空间信号。

在一些实施例中，从所接收的经过实空间校正的实空间信号提取出多个子图像包括：将该实空间信号的图像划分为多个初级区域，多个初级区域中的每个初级区域包括多个次级区域，多个次级区域在数量上与多个子图像相同；将多个子图像中的每个子图像提取为包括各个初级区域中的相应一个次级区域。

本实施例利用相干光对目标进行照射实现相干衍生成像，在一定时间内还原具有大视场和高分辨率的目标图像，无需使用高倍相机进行重复拍摄，进而降低显微成像的设备成本，并简化显微成像装置的使用环境需求。

在说明书及权利要求中的词语“左”、“右”、“前”、“后”、“顶”、“底”、“上”、“下”、“高”、“低”等，如果存在的话，用于描述性的目的而并不一定用于描述不变的相对位置。应当理解，这样使用的词语在适当的情况下是可互换的，使得在此所描述的本公开的实施例，例如，能够在与在此所示出的或另外描述的那些取向不同的其它取向上操作。例如，在附图中的装置倒转时，原先描述为在其它特征“之上”的特征，此时可以描述为在其它特征“之下”。装置还可以以其它方式定向(旋转90度或在其它方位)，此时将相应地解释相对空间关系。

在说明书及权利要求中，称一个元件位于另一元件“之上”、“附接”至另一元件、“连接”至另一元件、“耦合”至另一元件、“耦接”至另一元件、或“接触”另一元件等时，该元件可以直接位于另一元件之上、直接附接至另一元件、直接连接至另一元件、直接耦合至另一元件、直接耦接至另一元件或直接接触另一元件，或者可以存在一个或多个中间元件。相对照的是，称一个元件“直接”位于另一元件“之上”、“直接附接”至另一元件、“直接连接”至另一元件、“直接耦合”至另一元件、“直接耦接”至另一元件或“直接接触”另一元件时，将不存在中间元件。在说明书及权利要求中，一个特征布置成与另一特征“相邻”，可以指一个特征具有与相邻特征重叠的部分或者位于相邻特征上方或下方的部分。

如在此所使用的，词语“示例性的”意指“用作示例、实例或说明”，而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其它实现方式优选的或有利的。而且，本公开不受在技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。

如在此所使用的，词语“基本上”意指包含由设计或制造的缺陷、器件或元件的容差、环境影响和/或其它因素所致的任意微小的变化。词语“基本上”还允许由寄生效应、噪声以及可能存在于实际的实现方式中的其它实际考虑因素所致的与完美的或理想的情形之间的差异。

另外，仅仅为了参考的目的，还可以在本文中使用“第一”、“第二”等类似术语，并且因而并非意图限定。例如，除非上下文明确指出，否则涉及结构或元件的词语“第一”、“第二”和其它此类数字词语并没有暗示顺序或次序。

还应理解，“包括/包含”一词在本文中使用时，说明存在所指出的特征、整体、步骤、操作、单元和/或组件，但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件以及/或者它们的组合。

在本公开中，术语“提供”从广义上用于涵盖获得对象的所有方式，因此“提供某对象”包括但不限于“购买”、“制备/制造”、“布置/设置”、“安装/装配”、和/或“订购”对象等。

如本文所使用的，术语“和/或”包括相关联的列出项目中的一个或多个的任何和所有组合。本文中使用的术语只是出于描述特定实施例的目的，并不旨在限制本公开。如本文中使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外清楚指示。

本领域技术人员应当意识到，在上述操作之间的边界仅仅是说明性的。多个操作可以结合成单个操作，单个操作可以分布于附加的操作中，并且操作可以在时间上至少部分重叠地执行。而且，另选的实施例可以包括特定操作的多个实例，并且在其它各种实施例中可以改变操作顺序。但是，其它的修改、变化和替换同样是可能的。可以以任何方式和/或与其它实施例的方面或元件相结合地组合以上公开的所有实施例的方面和元件，以提供多个附加实施例。因此，本说明书和附图应当被看作是说明性的，而非限制性的。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。在此公开的各实施例可以任意组合，而不脱离本公开的精神和范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本公开的范围和精神。本公开的范围由所附权利要求来限定。