掌桥专利:专业的专利平台
掌桥专利
首页

高对比度各向同性高分辨荧光显微成像方法及成像系统

文献发布时间:2024-04-18 20:02:18


高对比度各向同性高分辨荧光显微成像方法及成像系统

技术领域

本发明属于荧光显微成像领域,更具体地,涉及高对比度各向同性高分辨荧光显微成像方法及成像系统。

背景技术

在荧光显微成像领域,成像结果的对比度和分辨率是反映系统性能的两个关键指标。传统的宽场显微镜在采集无散射的在焦信号的同时也捕获了散射背景信号,散射背景的干扰使得图像对比度下降,同时由于物理限制,传统显微镜轴向分辨率要比横向分辨率低数倍,难以实现各向同性高分辨成像。

共聚焦显微镜通过在探测端放置和衍射极限一个量级的小孔(pinhole),只让无散射的焦面信号通过,进行背景滤除,实现高对比度的成像结果。结构照明显微镜使用强度呈正弦变换的照明光斑进行照明,照明光斑在成像焦面位置呈正弦分布,只有未散射的焦面信号受到正弦照明调制,通过算法可以解调出受照明调制的在焦信号,滤除背景信号,实现高对比度。线照明调制显微镜使用激光束高斯分布的天然特性,对样本进行照明调制,再结合算法重建同样可以实现高对比度成像。但是无论是共聚焦显微镜、结构照明显微镜还是线照明调制显微镜都使用单物镜进行照明和探测,显微镜的分辨率取决于其数值孔径,受限于工艺和物理极限,难以实现高轴向分辨率从而实现各向同性高分辨。

光片显微镜将照明端和探测端分离,通过光束整形或者扫描的方式形成薄片状激光(照明光片)进行照明,在垂直于照明光片的方向进行探测。系统的横向分辨率等于探测物镜的横向分辨率,轴向分辨率取决于照明光片的厚度,当激光束填满照明物镜后瞳时,照明光片最薄处由照明物镜数字孔径决定,系统的轴向分辨率与照明物镜的横向分辨率相当。因此,光片显微镜容易实现各向同性高分辨率成像,特别是其中的轴向扫描光片,将照明光片最薄处(束腰位置)沿着照明光轴方向进行扫描,同时相机跟随照明光斑进行逐行曝光,从而在整个成像视场中都保持各向同性高分辨率。虽然轴向扫描光片显微镜只探测被照明光片激发的荧光信号,抑制了离焦信号,相比宽场显微镜具有一定的对比度提升,但是与共聚焦显微镜、结构照明显微镜、线照明调制显微镜采用物理或者调制的方式相比,其难以实现对于散射背景的强抑制。对于未经过光学透明或者透明不完全的生物组织成像,散射背景仍然是影响图像对比度的关键因素。

因此亟需发展一种能够同时实现高对比度各向同性高分辨的荧光显微成像,将其用于观察具有较强散射的大样本深处信号和无法进行光透明的活体组织,获得高质量三维高分辨率数据集,对于生物学研究具有重大意义。

发明内容

针对现有技术的以上缺陷或改进需求,本发明提供了高对比度各向同性高分辨荧光显微成像方法及成像系统,其目的在于解决现有技术中采用照明光片进行荧光成像时样本内的散射背景难以去除的技术问题。

为实现上述目的,按照本发明的一个方面,提供了高对比度各向同性高分辨荧光显微成像方法,包括以下步骤:

S1,提供照明光片,并使所述照明光片沿其光轴方向对样本进行轴向扫描;

S2,在垂直于所述照明光片光轴的方向上探测所述照明光片束腰位置处的荧光信号,获得轴向扫描光片数据;同时在所述照明光片光轴的方向上探测所述照明光片束腰位置处的荧光信号,获得多线线共聚焦数据;

S3,使用解调算法去除所述多线线共聚焦数据中的散射背景,获得线照明调制数据;

S4,根据所述线照明调制数据计算所述轴向扫描光片数据内的散射背景强度,并去除所述轴向扫描光片数据内的散射背景,以重建出高对比度各向同性高分辨荧光图像。

上述技术方案通过照明光片激发样本内的荧光信号,照明光片在其轴向上对样本进行轴向扫描,使用照明光片束腰激发样本内不同深度的荧光信号,通过S2同时获取两个方向上的荧光信号,然后利用S3和S4来去除轴向扫描光片数据内的散射背景,从而可以重建出高对比度各向同性高分辨荧光图像。现有技术中使用照明光片进行荧光成像仅在垂直方向上探测荧光信号,获得的轴向高分辨荧光图像中会混合照明以及探测过程中样本散射带来的背景,而本方法可以较好地抑制轴向扫描光片数据中的散射背景,最终获得高质量三维高分辨率数据集。

本发明还提供了高对比度各向同性高分辨荧光显微成像系统,包括:

光束整形模块,用于发射激光并将其整形为照明光片;

轴向扫描模块,用于在所述照明光片的光轴方向上调整所述照明光片的束腰位置;

光片探测模块,用于在垂直于所述照明光片光轴的方向上探测所述照明光片束腰位置所激发的荧光信号;

线照明探测模块,用于在所述照明光片的光轴方向上探测所述照明光片束腰位置所激发的荧光信号;

图像处理模块,根据所述光片探测模块和所述线照明探测模块探测的荧光信号计算所述光片探测模块探测的荧光信号中散射背景强度,并去除该散射背景,以重建出高对比度各向同性高分辨荧光图像。

上述技术方案基于现有的光片显微镜荧光成像的原理,将照明与探测分离,并增加了线照明探测模块和图像处理模块,可以用于实现前述的成像方法。本系统在垂直于照明光片光轴的方向上获取了轴向高分辨率的荧光信号,在照明光片光轴的方向上获取了轴向低分辨率的荧光信号,并且两路探测模块内均包含了低频的散射背景,因此,利用两路探测模块探测到的荧光信号来计算光片探测模块内的散射背景强度,再去除该散射背景后,就能恢复出具有高轴向分辨率的荧光图像,实现高对比度各向同性高分辨率。

附图说明

图1是本发明系统的结构示意图;

图2是本发明轴向扫描过程中的线照明调制模块实现多线共聚焦探测的原理示意图;

图3是本发明中照明光片对样本进行轴向扫描的原理示意图;

图4是本发明方法的流程示意图;

图5是本发明方法中S4的流程示意图;

图6是分别采用现有的轴向扫描光片方法、线照明调制方法和本方法对同一样本进行处理的效果对比图。

图中,11、激光器;12、半波片;13、第一扩束透镜;14、第二扩束透镜;15、柱透镜;16、投影透镜;17、第一反射镜;21、偏振分束立方;22、四分之一波片;23、远程聚焦物镜;24、微型反射镜;25、扫描移动台;26、第一透镜;27、第二透镜;28、第二反射镜;29、照明物镜;31、探测物镜;32、第三反射镜;33、第一套筒透镜;34、第一滤波片;35、面探测器;41、二向色镜;42、第二套筒透镜;43、第二滤光片;44、多线探测器。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示,本发明提出高对比度各向同性高分辨荧光显微成像系统,包括:

光束整形模块,用于发射激光并将其整形为照明光片;

轴向扫描模块,用于在照明光片的光轴方向上调整照明光片的束腰位置;

光片探测模块,用于在垂直于照明光片光轴的方向上探测照明光片束腰位置所激发的荧光信号;

线照明探测模块,用于在照明光片的光轴方向上探测照明光片束腰位置所激发的荧光信号;

图像处理模块,根据所述光片探测模块和所述线照明探测模块探测的荧光信号计算所述光片探测模块探测的荧光信号中散射背景强度,并去除该散射背景,以重建出高对比度各向同性高分辨荧光图像。

具体地,光束整形模块可以通过振镜扫描激光来形成或者使用柱透镜15对扩束后的激光的一个维度进行压缩形成。在一些实施例中,光束整形模块可以依次包括激光器11、扩束镜组、柱透镜15。

光束整形模块的工作原理为:激光器11发射激光,扩束镜组包括第一扩束透镜13和第二扩束透镜14,可以将激光器11发出的激光的光束直径增加到合适大小,而柱透镜15则对增加了光束直径后的激光进行一个维度的压缩,从而形成照明光片。

进一步地,光束整形模块还包括有半波片12、投影透镜16,半波片12位于激光器11与扩束镜组之间,用于调整出射激光的偏振方向。投影透镜16位于柱透镜15远离扩束镜组的一侧,用于调整形成的照明光片的尺寸,使之缩小到以覆盖成像视场。由于光束整形模块提供的照明光片会进入轴向扫描模块,因此在投影透镜16与轴向扫描模块之间还可以根据情况设置第一反射镜17,用于对照明光片进行转向和准直。

具体地,轴向扫描模块可以使用远程聚焦方法、可调声学梯度折射率指数透镜、电控可变焦透镜或者微机械可变反射镜等方案来实现。在一些实施例中,轴向扫描模块依次包括偏振分束立方21、远程聚焦物镜23、微型反射镜24和扫描移动台25。扫描移动台25可以是直线电机、丝杆或者音圈电机等。轴向扫描模块是对光束整形模块提供的照明光片进行轴向位置调整,因此,照明光片通过偏振分束立方21进入到轴向扫描模块内,再依次经过远程聚焦物镜23、微型反射镜24后又会沿轴向扫描模块内的原光路返回。并且,轴向扫描模块还包括照明物镜29,照明物镜29位于远程聚焦物镜23远离微型反射镜24的一侧光路上,照明光片经过远程聚焦物镜23、微型反射镜24反射返回后其光束发散角改变,照明物镜29则可将调整了发散角后的照明光片投影于照明物镜29的焦面上。

轴向扫描模块工作原理为:照明光片从光束整形模块进入偏振分束立方21被反射,然后经过远程聚焦物镜23达到微型反射镜24处发生反射,再沿远程聚焦物镜23返回至偏振分束立方21,经偏振分束立方21透射、照明物镜29聚焦后投影于照明物镜29的焦面上。其中,微型反射镜24安装在扫描移动台25上,通过扫描移动台25带动微型反射镜24沿光轴方向移动,来调节微型反射镜24反射后的光斑焦点与远程聚焦物镜23焦点的距离,从而可以改变远程聚焦物镜23后的光束发散角,进而达到在照明光片光轴的方向上调节其束腰位置的功能。

进一步地,轴向扫描模块还包括有四分之一波片22,设置在偏振分束立方21和远程聚焦物镜23之间,偏振分束立方21、四分之一波片22以及半波片12可以共同实现对照明光片的透射反射比控制,以将经过远程聚焦物镜23的光强损失降至最低。进一步地,轴向扫描模块还包括有一组透镜,设置在偏振分束立方21与照明物镜29之间,具体包括第一透镜26和第二透镜27,用于匹配远程聚焦物镜23和照明物镜29的光瞳。在该组透镜与照明物镜29之间,可进一步设置第二反射镜28,以准直和调整照明光片的走向。

具体地,光片探测模块包括探测物镜31、第一套筒透镜33、面探测器35。

光片探测模块工作原理为:照明光片经照明物镜29投影后,会激发样本产生荧光信号,将探测物镜31的光轴垂直于照明物镜29的光轴设置,面探测器35选择具有逐行扫描功能的,那么探测物镜31就可以只收集照明光片最薄处,即束腰位置处所激发的荧光信号,从而在整个成像视场保持均一的高分辨率。第一套筒透镜33与探测物镜31配合可以实现低像差放大。

进一步地,第一套筒透镜33和所探测器之间还设置有第一滤光片。这是因为,荧光信号依次经过探测物镜31、第一套筒透镜33后聚焦于面探测器35上,照明光片在样本内除了激发出荧光信号外,还会在样本内出现反射与散射现象,照片光片产生的反射与散射光会与荧光信号混合在一起被面探测器35采集。在第一套筒透镜33与面探测器35之间设置第一滤光片,用于滤除荧光信号中混合的反射及散射光。由于探测物镜31需垂直于照明物镜29设置,因此,为了使光路设计更加合理、节省空间,还可以在探测物镜31与第一套筒透镜33之间设置第三反射镜32,用于调整荧光信号的走向。

具体地,线照明探测模块依次包括二向色镜41、第二套筒透镜42、多线探测器44。样本内照明光片束腰位置处激发的荧光信号同时还可以被照明物镜29收集。因此,本发明在照明光片的光轴方向上设置了线照明探测模块,用于探测沿照明光片光轴方向的荧光信号,线照明探测模块与光片探测模块分别从相互垂直的两个方向收集荧光信号。线照明探测模块内要实现高通量多线共焦探测,那么,多线探测器44需要能够同时读出多线数据,同时需要具备子阵列或者感兴趣区域模式以提升拍摄帧率,可以选用电荷耦合元件(CCD)或者科研级互补金属氧化物半导体等(sCMOS)。

线照明探测模块工作原理为:荧光信号经照明物镜29收集后,沿轴向扫描模块内的光路到达微型反射镜24处发生反射,然后在偏振分束立方21处进一步发生反射。该过程中,荧光信号会两次经过偏振分束立方21,第一次经过时为透射,第二次经过时通过反射达到二向色镜41处。该过程中照明光片与荧光信号重合,而照明光片与荧光信号的光波长不同,因此可以通过二向色镜41来进行分离,照明光片在二向色镜41处发生反射不发生透射,而荧光信号在二向色镜41处发生透射而不发生反射。即:荧光信号经过偏振分束立方21反射后至二向色镜41处发生透射,再经过第二套筒透镜42聚焦于多线探测器44内,从而该光路上的荧光信号采集。如图2所示,在轴向扫描过程中,照明光片激发了样本不同深度的荧光信号,荧光信号被照明物镜29收集后,根据深度的不同呈现发散或者聚焦状态,光线和等光程面在图2中用实线表示,照明物镜29收集后,在远程聚焦物镜23处聚焦成点,经过微型反射镜24反射后,聚焦位置正好位于远程聚焦物镜23的焦点上,因此再次通过远程聚焦物镜23后呈现平行状态,反射光线和等光程面在图中用虚线表示。

进一步地,第二套筒透镜42和多线探测器44之间还设置有第二滤光片43。同理,该照明物镜29收集荧光信号的光路上,荧光信号中也会混合照明光片在样本内产生的反射与散射光,因此,在第二套筒透镜42与多线探测器44之间设置第二滤光片43,用于滤除残留的反射与散射光。

在整个系统的扫描过程中:利用光束整形模块来提供照明光片,然后通过轴向扫描模块调节照明光片的束腰位置,样本可以与照明光片的光轴之间呈任意夹角放置。如图3所示,样本表面与照明光片的光轴之间呈45°夹角放置时,轴向扫描模块在照明光片的光轴方向上调整其束腰位置,可以激发样本内不同深度的荧光信号,每调整一次轴向位置,光片探测模块即曝光一次,直到完成样本内所有深度的荧光信号采集,就可以获得样本内一个层的荧光图像,然后沿水平方向平移样本,使照明光片投影至样本的下一层,重复上述操作,获得样本内下一层的荧光图像,最终可以完成对整个样本的三维成像。

具体地,图像处理模块包括线照明调制单元,接收多线探测器44探测到的荧光信号,形成多线线共聚焦数据,并去除其中的散射背景,获得线照明调制数据;

轴向扫描光片单元,接收面探测器35探测到的荧光信号,获得轴向扫描光片数据;

投影单元,将轴向扫描光片数据沿着所述照明光片的光轴方向进行投影,获得投影后的轴向扫描光片数据;

计算单元,根据线照明调制数据计算投影之后的轴向扫描光片数据内的散射背景强度,作为投影之前的轴向扫描光片数据内的散射背景强度;

重建单元,根据轴向扫描光片数据内的散射背景强度计算轴向扫描光片数据的在焦信号占比,然后重建出高对比度各向同性高分辨荧光图像。

在一些实施例中,线照明调制单元可以采用以下算法去除多线线共聚焦数据中的散射背景:对多线线共聚焦数据内的中间行线共聚焦数据进行累加,然后减去边缘行的线共聚焦数据。

投影单元可以采用以下算法实现:

计算单元可以采用以下算法实现:B

重建单元可以采用以下算法实现:I

通过上述图像处理模块可以对面探测器35和多线探测器44分别探测到的荧光信号进行处理,最终去除掉散射背景,获得高对比度各向同性高分辨荧光图像。

本发明还提出高对比度各向同性高分辨荧光显微成像方法,如图4所示,包括以下步骤:

S1,提供照明光片,并使所述照明光片沿其光轴方向对样本进行轴向扫描;

S2,在垂直于所述照明光片光轴的方向上采集所述照明光片束腰位置处的荧光信号,获得轴向扫描光片数据;同时在所述照明光片光轴的方向上采集所述照明光片束腰位置处的荧光信号,获得多线线共聚焦数据;

S3,使用解调算法去除所述多线线共聚焦数据中的散射背景,获得线照明调制数据;

S4,根据所述线照明调制数据计算所述轴向扫描光片数据内的散射背景占比,并去除所述轴向扫描光片数据内的散射背景,以重建出高分辨荧光图像。

本方法利用散射背景的低频特性,通过线照明调制数据为轴向扫描光片数据提供参考,可以计算出轴向扫描光片数据中散射背景的占比分布,使用高低频分离的方式,保留了轴向扫描光片数据中的高频信号,滤除低频信号中属于散射背景的部分,实现了高对比度三维各向同性高分辨率荧光显微数据的获取,为后续将数据用于分割、识别等自动化数据处理流程从而高效分析具体生物学问题提供助力。

在一些实施例中,S1中提供照明光片可以采用前述的系统中的光束整形模块实现,使所述照明光片沿其光轴方向对样本进行轴向扫描则可以采用前述的系统中的轴向扫描模块实现。基于该系统实现时,需要将照明光片调整至最细,即调节光束整形模块中第一扩束镜和第二扩束镜的焦距比,来使照明光片聚焦维度填满照明物镜后瞳即可实现将照明光片调整至最细。

S2中获取轴向扫描光片数据可以采用前述的系统中的光片探测模块实现,获取多线线共聚焦数据则可以采用前述的系统中的线照明探测模块实现。

S3和S4则可以采用前述的系统中的图像处理模块实现。

具体地,S3中使用的解调算法可以采用现有的线照明解调算法。由于在使用多线探测器44进行多线共聚焦探测时,散射信号在不同行的强度是近似相等的,因此,可以对多线线共聚焦数据内的中间行线共聚焦数据进行累加,然后减去边缘行的线共聚焦数据,即可滤除多线线共聚焦数据中的散射背景,获得线照明调制数据。以6线线共聚焦数据为例,各行的线共聚焦数据强度依次为I

如图5所示,S4中根据线照明调制数据计算轴向扫描光片数据内的散射背景强度,包括以下步骤:

S400,将S3获得的线照明调制数据配准到轴向扫描光片数据上。这是因为在垂直于照明光片光轴方向上的探测光路和照明光片光轴方向上的探测光路可能存在差异,例如出现倍率差异、未对准差异等等,所以需要对线照明调制数据进行拉伸缩放或平移等刚性变换,使其以像素级精度配准到轴向扫描光片数据上。当然,如果两个探测光路不存在上述差异,也可无需进行此步骤。

S401,将轴向扫描光片数据沿着照明光片的光轴方向进行投影;

S402,计算投影之后的轴向扫描光片数据内的散射背景强度,作为投影之前的轴向扫描光片数据内的散射背景强度。

进一步地,S401中投影具体为:

其中,I

进一步地,S402中计算投影之后的轴向扫描光片数据内的散射背景强度,具体为:

B

在照明光片照射样本并激发荧光信号的过程中,照明光和荧光均会在样本内外出现散射现象,从而形成散射背景。因此,轴向扫描光片数据中包含了分辨率较高的荧光信号以及散射背景,多线线共聚焦数据中则包含有轴向分辨率较低的荧光信号以及散射背景,为了重建出高对比度各向同性高分辨荧光图像,需要去除轴向扫描光片数据中的散射背景。

本发明考虑到了在垂直于照明光片的光轴方向上和沿照明光片的光轴方向上的两路探测中的荧光信号具有相似性的,因为它们在样本内经过了相同厚度的组织和相似的生物结构,而散射背景又是低频信号。因此本发明利用了轴向分辨率较低的多线线共聚焦数据,将多线线共聚焦数据中的散射背景利用解调算法直接去除,然后将轴向扫描光片数据进行分辨率退化,即投影至多线线共聚焦数据的探测光路上,使轴向扫描光片数据的轴向分辨率降低至与线照明调制数据近似;再通过B

S4中获得轴向扫描光片数据内的散射背景强度之后,去除所述轴向扫描光片数据内的散射背景,以重建出高分辨荧光图像,包括以下步骤:

S403,去除所述轴向扫描光片数据内的散射背景,即计算轴向扫描光片数据的在焦信号占比,具体为:

其中mean代表均值滤波,contrast表示轴向扫描光片数据的在焦信号占比。

S404,根据S403的结果重建出高对比度各向同性高分辨荧光图像,具体为:

I

本方法通过同时捕获各向同性高分辨率的轴向扫描光片数据和高对比度的线照明调制数据,利用散射背景本身的低频特性,滤除轴向扫描光片数据中的低频散射背景,实现了轴向扫描光片数据对比度的提升,最终获得了高对比度各向同性高分辨荧光图像。

如图6所示,分别采用现有的轴向扫描光片方法、线照明调制方法和本方法对同一样本进行处理的效果对比图,将100微米未透明绿色荧光转基因鼠脑的脑片作为样本,其中(a)展示的未去除散射背景的轴向扫描光片数据,(b)展示的是线照明调制数据,(c)展示的是通过线照明调制数据计算散射背景强度,从而获得去除了散射背景的对比度增强的轴向扫描光片数据(即本方法所获得的高对比度各向同性高分辨荧光图像)。(a1)、(b1)和(c1)分别是(a)、(b)、(c)沿着X方向最大值投影的结果,在该方向,未去除散射背景的轴向扫描光片数据(a1)和线照明调制数据(b1)具有相似的分辨率,未去除散射背景的轴向扫描光片数据存在较大的散射背景干扰,本方法获得的数据(c1)实现了散射背景的抑制,图中用箭头指示。(a2)、(b2)和(c2)分别是(a)、(b)、(c)沿着Z方向的最大值投影结果,(a3)、(b3)和(c3)分别是(a2)、(b2)和(c2)图中虚线框的放大图,可以发现,线照明调制数据的分辨率(b3)明显差于未去除散射背景的轴向扫描光片数据(a3),本方法获得的数据(c3)保留了轴向扫描光片本身的高分辨率特性。因此本发明提出的方法结合了普通轴向扫描光片三维各项同性高分辨率和线照明调制高对比度的特性。

本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

技术分类

06120116576888