一种光调控器和照明装置
文献发布时间:2024-07-23 01:35:12
技术领域
本发明涉及光学领域,具体涉及一种光调控器和照明装置。
背景技术
目前主流的大规模并行测序(Massive Parallel Sequence,MPS)技术主要基于光学显微成像系统,通过光学显微成像系统可以采集待测样品的图像,基于图像可以完成对待测样品的检测,例如得到待测样品的碱基排列次序。然而光学显微成像系统存在光学衍射极限分辨率,这导致所采集到的图像的分辨率受限,继而限制了测序通量的提高。
针对光学衍射极限分辨率,如果采用超分辨成像技术,可以打破衍射极限,提高分辨率。具体地,例如通过照明光照射于待测样品,待测样品受激产生荧光,采用多张图像并进行图像重建来提高图像分辨率。目前有通过诸如光栅来对照明光进行调制,并将调制后的照明光照射于待测样品,然而这种方式的缺点是需要机械式旋转光栅,以实现不同方向上的条纹结构光照明,机械式旋转限制了成像速度。
发明内容
为解决上述问题,本发明提供一种光调控器和照明装置,下面具体说明。
根据第一方面,一种实施例中提供一种光调控器,包括:本体,所述体体包括第一区域和第二区域,所述第一区域具有第一透光率,所述第二区域具有第二透光率,所述第一透光率和所述第二透光率不同。
一实施例中,所述第一透光率大于第一透光率阈值,所述第二透光率小于第二透光率阈值,所述第一透光率阈值大于或等于第二透光率阈值。
一实施例中,所述第一透光率大于第二透光率,且差值大于第一阈值。
一实施例中,所述第一透光率大于70%、80%、90%或95%;和/或,所述第二透光率小于30%、20%、10%或5%。
一实施例中,所述第一区域为通光区域,所述第一透光率为100%;和/或,所述第二区域为阻光区域,所述第二透光率为0%。
一实施例中,所述第一区域具有第一折射率,所述第二区域具有第二折射率;所述第一折射率小于第一折射率阈值,所述第二折射率大于第二折射率阈值,所述第一折射率阈值小于或等于第二折射率阈值。
一实施例中,所述第一折射率小于所述第二折射率,且差值大于第二阈值。
一实施例中,所述第一区域具有第一反射率,所述第二区域具有第二反射率;所述第一反射率小于第一反射率阈值,所述第二反射率大于第二反射率阈值,所述第一反射率阈值小于或等于第二反射率阈值。
一实施例中,所述第一反射率小于所述第二反射率,且差值大于第三阈值。
一实施例中,所述第一区域具有第一厚度,所述第二区域具有第二厚度;所述第一厚度小于第一厚度阈值,所述第二厚度大于第二厚度阈值,所述第一厚度阈值小于或等于所述第二厚度阈值。
一实施例中,所述第一厚度小于所述第二厚度,且差值大于第四阈值。
一实施例中,所述第一区域具有多个,所述第二区域具有多个。
一实施例中,多个所述第一区域和多个所述第二区域非规则地分布于所述本体。
一实施例中,多个所述第一区域和多个所述第二区域随机分布于所述本体。
一实施例中,多个所述第一区域的总面积和多个所述第二区域的总面积,两者比例为1:3至3:1之间。
一实施例中,多个所述第一区域的总面积和多个所述第二区域的总面积,两者的比例为1:1。
一实施例中,所述本体在各单位面积区域内随机分布有第一数量范围的所述第一区域;和/或,所述本体在各单位面积区域内随机分布有第二数量范围的所述第二区域。
一实施例中,所述第一数量范围为120至1500;和/或,所述第二数量范围为120至1500。
一实施例中,多个所述第一区域和多个所述第二区域以使得光场调制度大于第五阈值的方式分布于所述本体。
一实施例中,所述光场调制度等于所述本体或所述本体一确定行的光强差与光强和的比值;所述光强差为光强最大值与光强最小值的差,所述光强和为光强最大值与光强最小值的和。
一实施例中,所述第一区域和所述第二区域的形状相同。
一实施例中,所述第一区域和所述第二区域均为正方形,或均为三角形。
一实施例中,所述本体为片状。
一实施例中,在所述本体设置第一材料以形成所述第一区域,设置第二材料以形成所述第二区域。
一实施例中,所述本体为透明本体,在所述透明本体上设置第二材料以形成所述第二区域,所述透明本体上未设置所述第二材料的区域形成所述第一区域。
一实施例中,所述第二材料为金属Cr。
根据第二方面,一种实施例提供一种照明装置,包括:。
光源,用于发出照明光;以及,
如本文任一实施例所公开的光调控器,所述光调控器位于所述照明光的光路上。
一实施例中,所述的照明组件还包括滤光片、非球面透镜和物镜中的至少一者;所述滤光片位于所述照明光的光路上,用于对所述照明光进行滤光;所述非球面透镜位于所述照明光的光路上,用于控制所述照明光进入物镜的光束口径;所述物镜位于所述照明光的光路上,用于将照明光投射至待测样品。
一实施例中,所述照明光的光路上依次分布所述滤光片、所述非球面透镜、所述光调控器和所述物镜。
一实施例中,所述光调控器的第一区域具有第一径长A1,第二区域具有第二径长A2;其中,A1/K≥r且A2/K≥r,K为光束通过所述物镜后的缩小倍数,r为所述物镜的衍射极限分辨率。
依据上述实施例的光调控器和照明装置,其中光调控器包括本体以及设置于本体的第一区域和第二区域,所述第一区域具有第一透光率,所述第二区域具有第二透光率,所述第一透光率和所述第二透光率不同;本申请通过光调控器能够对照明光进行调制得到图案化的照明光,该图案化的照明光具有较高的调制度。
附图说明
图1为一种实施例的光调控器的微观结构示意图;
图2(a)为一种实施例中第一区域和第二区域规则分布于本体的示意图;
图2(b)为一种实施例中第一区域和第二区域规则分布于本体的示意图;
图3为两种不同的光调控器的对比示意图;
图4为一种实施例中照明装置的结构示意图;
图5为一种实施例中照明装置的结构示意图;
图6(a)为一种实施例中测序装置的结构示意图;
图6(b)为一种实施例中测序装置的结构示意图;
图7为一种实施例中测序装置的结构示意图;
图8为一种实施例中测序装置的结构示意图;
图9为一种实施例的图像采集的方法的流程图;
图10为一种实施例的芯片表面的预设图案为正方形排布的点阵的示意图;
图11(a)为图10对应的正方形排布的点阵的一种预设移动规则所涉及的轨迹的示意图;
图11(b)为图10对应的正方形排布的点阵的另一种预设移动规则所涉及的轨迹的示意图;
图12为一种实施例的芯片表面的预设图案为三角形排布的点阵的示意图;
图13(a)为图12对应的三角形排布的点阵的预设移动规则所涉及的轨迹的示意图;
图13(b)为图12对应的三角形排布的点阵的预设移动规则所涉及的轨迹的示意图;
图14为一种实施例中载物台移动来进行视场切换的示意图;
图15(a)为一种实施例中载物台移动来进行图案化的照射光更新和视场的切换的轨迹示意图;
图15(b)为一种实施例中载物台移动来进行图案化的照射光更新和视场的切换的轨迹示意图;
图16为一种实施例的图像采集与图像重建算法并行的方法的流程图;
图17为一种实施例的图像采集与图像重建算法并行的方法的流程图;
图18为一种实施例的图像采集与图像重建算法并行的方法的流程图;
图19为一种实施例中图像采集与图像重建算法并行的时序图的一个示意图;
图20为一种实施例的图像重建方法的流程图;
图21为一种实施例中能够根据视场的一组图像进行图像重建得到该视场重建后的图像的流程图;
图22为一种实施例中确定达到迭代收敛的流程图;
图23为一种实施例中确定达到迭代收敛的流程图;
图24为一种实施例中重建图像的CV值、归一化的收敛系数分别与迭代次数的关系示意图;
图25为一种实施例中确定达到迭代收敛的流程图;
图26为一种实施例中迭代次数、重建图像的CV值分别与步进系数的关系示意图;
图27为一种实施例的确定重建后的图像的尺寸的方法的流程图;
图28为一种实施例的图像重建方法的流程图;
图29为一种实施例的原始图像的示意图;
图30为图29所示的原始图像的频谱图;
图31为一种实施例的三个频率尺寸值的示意图;
图32为一种实施例中六种频率尺寸范围的示意图;
图33为一种实施例的重建图像的频谱范围的示意图;
图34为一种实施例的原始图像与重建图像的对比示意图;
图35为一种实施例的原始图像与重建图像的对比示意图;
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”,如无特别说明,均包括直接和间接连接。
本文中,术语“测序”又可称为“核酸测序”或“基因测序”,三者在表述上可以互换,均指核酸分子中碱基或核苷酸(包括核苷酸类似物)类型和排列顺序的测定。
一些方案中,通过将照明光照射于待测样品,再采集待测样品的图像来完成对待测样品的检测。更进一步地,待测样品在照明光的照射下会受激发射荧光,通过光学显微成像系统(以下简称“光学系统”或“成像系统”)采集待测样品的图像来完成对待测样品的检测。
本申请实施例中,待测样品可以为各种借助图像完成或辅助完成性能或参数检测的样品,包括生物样品,示例性的:生物组织、细胞或细胞群、核酸分子、酶、蛋白质、生物分子等;化学样品,示例性的,材料、混合物或组合物、有机分子、无机分子、含有有机分子和/或无机分子的表面、由有机分子和/或无机分子组成的表面等;以及其他能够通过图像特征进行检测的样品,不限于列举情形。本申请实施例所指的“性能或参数”,包括对样品进行定量或定性涉及到的各种指标,包括但不限于:浓度、含量、样品组成和/或类型、结构、尺寸等等,但不限于列举。
作为一种示例,待测样品可以是核酸分子,所称的核酸分子例如可以是DNA和/或RNA,也可以是单链和/或双链和/或包含单链或双链核酸序列的复合物。核酸分子可以固定在芯片表面。芯片的结构没有严格限制,作为一种示例,芯片你可以为具有上、中、下三层的结构,又可称为三明治结构,或者为具有上下两层的结构。在一些示例中,上层为透明的玻璃层,中层或下层为透明或不透明的基底层,通过中层镂空或下层表面内陷可以形成阵列排布的流体通道,流体通道可容纳液体并为反应提供物理空间。在一些示例中,流体通道的上表面和/或下表面设置大量离散化的微孔(例如一百万、一千万、一亿、十亿或更多),微孔呈圆形、矩形孔或其他特定形状,这些微孔在流体通道的上表面和/或下表面呈阵列化排布形成阵列图案,阵列图案包括但不限于三角形、四边形、五边形、六边形、八边形。微孔的直径一般在500nm以下,微孔的密度例如可以是10
一些方案中,照明光由光源发出,可以通过光调控器对照明光进行调控,并使得经调控后的照明光照射于待测样品中。本申请实施例中,“光调控器”是指用于调控光的特征的光学元件、光学器件或光学传感器,其中,光的特征包括光的强度、透过率、相位、振幅等,但不限于此。
请参照图1,本申请一些实施例中提供一种光调控器10,光调控器10包括本体11,本体11包括第一区域11a和第二区域11b,下面具体说明。
一些实施例中,第一区域11a具有第一透光率,第二区域11b具有第二透光率,第一透光率和第二透光率不同。
需要说明的是,透光率是指物体对光的透过程度,可以用百分比或小数表示,表示光透过物体的程度;透光率越高,光透过物体的程度越高,反之,透光率越低,光透过物体的程度越低。透光率直接影响光的传播性能。
图1为一个示例,在图1中白色的区域表示第一区域11a,黑色区域第二区域11b,可以理解地,图1仅为一个示例,并不用于限定第一区域11a、第二区域11b的数量以及分布方式。
一些示例中,第一透光率大于第一透光率阈值,第二透光率小于第二透光率阈值,第一透光率阈值大于或等于第二透光率阈值。由此,通过调控第一透光率阈值和第二透光率阈值,可以使得第一区域11a和第二区域11b之间形成一定的透光差异,从而使得透过光调控器10的光呈现不同的特征,如光强度特征,以形成满足预期效果的结构光。
一些示例中,第一透光率大于第二透光率,且差值大于第一阈值。
可以理解地,第一区域11a的第一透光率的第二区域11b的第二透光率可以基于实际需求来制定和设计。
在一些实施例中,第一透光率大于或等于70%。例如,第一透光率大于70%、80%、90%或95%。在一些实施例中,第二透光率大于或等于30%。例如,第二透光率小于30%、20%、10%或5%。
一些示例中,第一区域11a为通光区域,也即第一透光率为100%。
一些示例中,第二区域11b为阻光区域,也即第二透光率为0%。
在一种实施方式中,第一区域11a具有第一折射率,第二区域11b具有第二折射率;第一折射率和第二折射率不同。由此,可以通过在第一区域11a和第二区域11b之间形成折射率差异,来增加两个区域的透光差异,形成满足预期效果的结构光。该方式还可以丰富形成结构光的途径。
需要说明的是,本申请实施例所指的折射率,既可以是相对折射率,也可以是绝对折射率。其中,光从介质1射入介质2发生折射时,入射角与折射角的正弦之比叫做介质2相对介质1的折射率,即“相对折射率”。而“绝对折射率”可以看作介质相对真空的折射率。折射率可以表示在两种(各向同性)介质中光速比值的物理量。
一些示例中,第一折射率小于第一折射率阈值,第二折射率大于第二折射率阈值,第一折射率阈值小于或等于第二折射率阈值。
一些示例中,第一折射率小于第二折射率,且差值大于第二阈值。
可以理解地,第一区域11a的第一折射率的第二区域11b的第二折射率可以基于实际需求来制定和设计。
在另一种实施方式中,第一区域11a具有第一反射率,第二区域11b具有第二反射率;第一反射率和第二反射率不同。由此,可以通过在第一区域11a和第二区域11b之间形成反射率差异,来增加两个区域的透光差异,形成满足预期效果的结构光。该方式还可以丰富形成结构光的途径。
需要说明的是,光的反射率是表示物体反射光的能力,这可以通过物体表面反射的光量和它所接受的光量之比来定义和计算,可以用百分比或小数表示。
一些示例中,第一反射率小于第一反射率阈值,第二反射率大于第二反射率阈值,第一反射率阈值小于或等于第二反射率阈值。
一些示例中,第一反射率小于第二反射率,且差值大于第三阈值。
可以理解地,第一区域11a的第一反射率的第二区域11b的第二反射率可以基于实际需求来制定和设计。
可以理解的是,第一区域11a和第二区域11b之间可以同时存在折射率差异和反射率差异。
在一种实施方式中,第一区域11a具有第一厚度,第二区域11b具有第二厚度;第一厚度与第二厚度不同。由此,可以通过第一区域11a和第二区域11b之间的厚度差异,在两个区域之间形成透光差异,形成满足预期效果的结构光。该方式还可以丰富形成结构光的途径。
一些示例中,第一厚度小于第一厚度阈值,第二厚度大于第二厚度阈值,第一厚度阈值小于或等于第二厚度阈值。
一些示例中,第一厚度小于第二厚度,且差值大于第四阈值。
本申请实施例中,第一区域11a和第二区域11b在本体11上的形状没有严格限制。一些示例中,第一区域11a和第二区域11b的形状相同,例如都是长方形、或三角形,等等。当然,可以理解的是,第一区域11a和第二区域11b的形状也可以不同。甚至在一些实施例中,每一个第一区域11a的形状随机,每一个第二区域11b的形状也随机。
一些实施例中,本体11为片状,例如长方形的薄片、正方形的薄片或圆形的薄片等。
一些实施例中,通过在本体11至少一表面设置第一材料以形成第一区域11a,设置第二材料以形成第二区域11b。即本体10表面形成第一材料的区域为第一区域11a,本体11表面形成第二材料的区域为第二区域11b。
一些实施例中,本体11为透明本体,在透明本体上设置第二材料以形成第二区域11b,透明本体上未设置第二材料的区域形成第一区域11a。此时,第二材料的透光率低于透明本体,使得第一区域11a和第二区域11b之间形成透光率差异。
在一些实施例中,第二材料为透光率低于50%的材料。一些实施例中,第二材料可以为金属材料,示例性的,第二材料为金属Cr。
以上是关于第一区域11a和第二区域11b的一些说明。
一些实施例中,第一区域11a具有多个,第二区域11b具有多个,也即本体11上设置有多个第一区域11a和多个第二区域11b。
多个第一区域11a和多个第二区域11b规则或非规则地分布。一些实施例中,多个第一区域11a和多个第二区域11b非规则地分布于本体11。可以理解地,这里非规则是指第一区域11a和第二区域11b在本体11上的分布是没有规则。
下面是有规则的分布的几个示例,这些示例都不属于上述的非规则分布的情况。
请参照图2(a),是有规则的分布的示例1:本体11分布有多行区域,一行区域全部是第一区域11a,接下来一行区域全部是第二区域11b,接下来一行区域又全部是第一区域11a,如此交替;其中,图中白色填充的方块表示第一区域11a,灰色填充的方块表示第二区域11b。
请参照图2(b),是有规则的分布的示例2:本体11分布有多行区域,每行区域都是间隔设置第一区域11a和第二区域11b。其中,图中白色填充的方块表示第一区域11a,灰色填充的方块表示第二区域11b。
一些实施例中,多个第一区域11a和多个第二区域11b随机地分布于本体11。这在设计过程中可以通过随机算法来计算第一区域11a和第二区域11b在体体11上的位置。
一些实施例中,多个第一区域11a的总面积和多个第二区域11b的总面积,两者比例为1:3至3:1之间,也即,本体11上所有第一区域11a的总面积和所有第二区域11b的总面积,两者比例为1:3至3:1之间;进一步地,两者的比例为1:1,即两者总面积相等。
一些实施例中,本体11的表面可以被划分为多个单位面积,任意一个单位面积的区域内随机分布有第一数量范围的第一区域11a,例如第一数量范围可以是120至1500。
一些实施例中,本体11的表面可以被划分为多个单位面积,任意一个单位面积的区域内随机分布有第二数量范围的第二区域11b,例如第二数量范围可以是120至1500。
需要说明的是,单位面积的形状可以是正方形、长方形、圆形、三角形等。单位面积的单位例如可以是微米的平方。
一些实施例中,通过将多个第一区域11a和多个第二区域11b以不规则甚至随机的方式设置于本体11的对应位置上,以使得光调制度大于第五阈值的方式分布于本体11,也即,通过本体11上设置的多个第一区域11a和多个第二区域11b的位置使得光调制度大于第五阈值。
本申请实施例中,光调制度等于选定区域或范围内的光强差与光强和的比值;其中,光强差为光强最大值与光强最小值的差,光强和为光强最大值与光强最小值的和。
在一种实施例中,当选定区域为本体11时,光强最大值为本体11范围内的光强最大值,光强最小值为为本体11范围内的光强最小值。在另一种实施例中,当选定区域为本体11的部分区域时,光强最大值为本体11选定区域内的光强最大值,光强最小值为为本体11选定区域内的光强最小值。其中,选定区域的形状没有限制,可以包括条形对应的区域,也可以为其他各种形状对应的区域。切当选定区域的形状为条形时,条形的宽可以足够窄,以使得对应的条形以线的方式呈现。应当理解的是,线可以为直线,也可以为曲线,甚至可以为随机形成的线。
作为一个示例,光调制度等于本体11一确定行的光强差与光强和的比值;光强差为光强最大值与光强最小值的差,光强和为光强最大值与光强最小值的和。其中,光强最大值为该行对应的区域内的光强最大值,光强最小值为为该行对应的区域内的光强最小值。
图3为本申请一些实施例的光调控器10与传统光调控器的对比示意图,其中(a)表示传统的诸如微透镜阵列的示意图,(b)表示照明光经(a)所示的微透镜阵列后得到的图案化的照明光,(c)表示在(b)中虚线所标示的一确定行的光强度,(d)表示本申请一实施例的光调控器10的示意图,(e)表示照明光经(d)所示的光调控器10后得到的图案化的照明光,(f)表示在(e)中虚线所标示的一确定行的光强度。
本申请实施例中,光强最大值I
I
I
由此可知,光调制度m的计算公式如下:
对于图(a)所示的传统的诸如微透镜阵列,(c)中归一化的光强最大值与最小值分别为0.2586与0.2482,所以光调制度为:m=0.0205;
对于图(d)所示的本申请一实施例的光调控器10,(f)中归一化的光强最大值与最小值分别为0.2626与0.2365,所以光调制度为:m=0.0523;
因此,(d)所示的本申请一实施例的光调控器10,其光调制度远高于(a)所示的传统的诸如微透镜阵列,其将光调制度提升为原来的
以上是光调控器10的一些说明。光调控器10通过对照明光进行调制得到图案化的照明光,该图案化的照明光具有较高的光调制度。
请参照图4,本申请一些例中还公开了一种照明装置20,照明装置20包括光源21和本文任一实施例所述的光调控器10;请参照图5,一些实施例的照明装置20还包括滤光片22、非球面透镜23和物镜24中的至少一者。需要说明的是,图4和图5中的实线箭头是表示光路。
一些实施例中,光源21用于发出照明光。光源21可以采用LED或激光等来实现。
一些实施例中,滤光片22位于照明光的光路上,用于对照明光进行滤光。
一些实施例中,非球面透镜23位于照明光的光路上,用于控制照明光进入物镜24的光束口径。
一些实施例中,物镜24位于照明光的光路上,用于将照明光投射至待测样品。
一些实施例中,照明光的光路上依次分布滤光片22、非球面透镜23、光调控器10和物镜24。
一些实施例中,光调控器10的第一区域11a具有第一径长A1,第二区域11b具有第二径长A2;其中,A1/K≥r且A2/K≥r,K为光束通过物镜24后的缩小倍数,r为物镜24的衍射极限分辨率。
需要说明的是,第一径长A1是用于衡量第一区域11a的大小,在第一区域11a为长方形时,第一径长A1是指第一区域11a的长边长或短边长,在第一区域11a为正方形时,第一径长A1是指第一区域11a的边长,在第一区域11a为三角时,第一径长A1是指第一区域11a的最长的边长,在第一区域11a为圆形时,第一径长A1是指第一区域11a的直径;类似地,第二径长A2是用于衡量第二区域11b的大小,在第二区域11b为长方形时,第二径长A2是指第二区域11b的长边长或短边长,在第二区域11b为正方形时,第二径长A2是指第二区域11b的边长,在第二区域11b为三角时,第二径长A2是指第二区域11b的最长的边长,在第二区域11b为圆形时,第二径长A2是指第二区域11b的直径。
本申请一些实施例的照明装置20能够应用于基因测序,通过将照明光投射至待测样品,从而激发待测样品产生荧光。
照明装置20通过引入光调控器10,使得投射于待测样品的照射光具有较高的光调制度,使得基于采集得到的原始图像所重建的图像具有更好的重建效果。
照明装置20通过引入光调控器10,使得投射于待测样品的照射光具有较高的光调制度,使得重建的图像所需要采集的原始图像的数量减少。
照明装置20通过引入非球面透镜23,可以控制照明光进入物镜24光束的口径——这可以通过调节非球面透镜23与物镜24之间的距离来实现,使得照明光束均匀照亮整个视场,更好地激发待测样品产生荧光。
在照明装置20应用于基因测序的一些实施例中,光源21可以用于发出具有波长为λ1和波长为λ2的照明光,每种波光可以激发两种碱基的荧光基团,从而实现A、T、G、C四种碱基的测序。
以上是照明装置20的一些说明。通过照明装置20能够得到图案化的照明光,该图案化的照明光具有较高的光调制度。
请参照图6(a)或图6(b),本申请一些例中还公开了一种测序装置100,测序装置100用于对待测样品进行基因测序,例如将照明光投射于待测样品使待测样品受激产生荧光,采集原始图像,对原始图像进行图像重建。
一些实施例的测序装置100包括照明装置20;一些实施例的测序装置100还包括图像采集装置30和处理器40。
一些实施例的测序装置100包括处理器40和存储器41。
一些实施例的测序装置100包括照明装置20、图像采集装置30、处理器40和存储器41。
下面对各部件进行说明。
一些实施例中,照明装置20用于将照明光投射于待测样品使待测样品受激产生荧光,图像采集装置30采集原始图像,处理器40用于对原始图像进行图像重建。一些实施例中,照明装置20可以为上文任一实施例所记载的照明装置20,在此不再赘述。一些实施例中,图像采集装置30包括相机31。
一些实施例中,存储器41用于存储程序。一些实施例中,存储器41用于存储数据,例如本文所涉及的原始图像,再例如本文所涉及的重建后的图像(即重建图像)。
一些实施例中,处理器40可以使用电路、单个或多个为特定用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(Digital SignalProcessor,DSP)、数字信号处理装置(Digital SignalProcessing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程门阵列(Field ProgrammableGate Array,FPGA)、中央处理器(Central ProcessingUnit,CPU)、图形处理器(graphicsprocessing unit,GPU)的一种或多种来实现。例如,处理器40可以包括图形处理器GPU;再例如,处理器40可以包括中央处理器CPU和图形处理器GPU。
一些实施例中,处理器40能够控制一些部件进行工作。
一些实施例中,处理器40能够通过执行存储器41的程序以实现本文任一实施例所记载的方法,或方法中的部分或全部步骤。
图7为光学系统的一个示例。
在图7中,照明装置20的照明光的光路(实线箭头)主要用于提供照明光,在具有光调控器10的实施例中,光调控器10通过对照明光进行调制从而使得投射于待测样品上的为图案化的照明光;照明装置20用于激发待测样品产生荧光信号。光源21可以采用现有技术的结构,也可以采用诸如图7所示的结构,,在图7所示的结构中,光源21包括激发波长为λ1的光源21a和激发波长为λ2的光源21b,采用双波长的光源21,以激发不同碱基上的荧光基团,从而实现A、T、G、C四种碱基的测序;具体来说,双波长光源21经二向色镜21c实现合束,后经诸如非球面透镜23的扩束后,光束经光调控器10的对照明光场进行调制产生图案化的照明光,以此,可以使图像采集装置30采集荧光信号形成的图像从而得到原始图像。
物镜24设置于照明的光路上,物镜24用于将图案化的照明光投射于放置在载物台61的待测样品并接收来自待测样品产生的荧光信号;相机31用于接收荧光信号,并采集得到原始图像。
产生的图案化的照明光经物镜24将图案化的照明光投射到样品表面。激发的荧光信号又被物镜24接收,经二向色镜组(第一二向色镜36a、第二二向色镜37a、第三二向色镜38a和第四二向色镜33、第五二向色镜32)、反射镜组(第一反射镜39a、第二反射镜34)和滤光片组(第一滤光片36b、第二滤光片37b、第三滤光片38b、第四滤光片39b),分别过滤出A、T、G、C四种碱基对应的荧光信号,并进入四个相机31实现随机照明宽场荧光成像,得到随机照明扫描宽场图像。其中,第五二向色镜32设置于照明光的光路上,用于将图案化的照明光反射至物镜24,以使图案化的照明光经物镜24后照射在待测样品上,以激发待测样品产生至少一种波长的荧光;例如,第五二向色镜32设置于物镜24的光轴上,并与物镜24的光轴呈45°夹角放置;第五二向色镜32还用于将物镜24接收的荧光透射至分光机构中,这在下文中还在进一步说明。
图像采集装置30通过成像光路(虚线箭头)来收集多波段荧光信号并成像。图像采集装置30可以采用现有技术的具体结构,也可以采用如图7所示的结构,图像采集装置30还包括有分光机构,以及能够复用第五二向色镜32,第五二向色镜32还用于将物镜24接收的荧光透射至分光机构中,使得不同的光束最终进入不同的相机31。
对于待测样品中A、T、G、C四种碱基对应的荧光信号的采集,可以采用如图7所示的光路结构;图像采集装置30对应包括四个相机,例如第一相机31a、第二相机31b、第三相机31c和第四相机31d。
第一二向色镜36a用于将透过第五二向色镜32的荧光进行分光形成第一光束和第二光束,第一二向色镜36a允许第一光束透过,以使第一光束经第一滤光片36b和第一筒镜36c后被第一相机31a接收,第一二向色镜36a将第二光束反射至第二二向色镜37a;具体的,将第一二向色镜36a设置于物镜24的光轴上,并以第五二向色镜32所在平面为参考面将第一二向色镜36a逆时针旋转90°设置,透过第五二向色镜32的荧光通过第一二向色镜36a分光形成第一光束和第二光束,其中第一光束透过第一二向色镜36a后,经第一滤光片36b和第一筒镜36c后被第一相机31a接收,第一滤光片36b和第一筒镜36c的均于光轴垂直设置,第二光束被第一二向色镜36a反射至第二二向色镜37a。
为了充分利用空间结构,还可以在第一光束的光路上增加第二反射镜34,用以改变第一光束的方向,然后将第一光束反射至第一滤光片36b,经第一筒镜36c后被第一相机31a接收。
第二二向色镜37a用于透射部分第二光束形成第三光束,并反射部分第二光束经过第二滤光片37b和第二筒镜37c,以使部分第二光束被第二相机31b接收;具体的,第二二向色镜37a设置在第二光束的光轴上,且第二二向色镜37a以第五二向色镜32所在平面为参考面平行设置,用于透射部分第二光束形成第三光束,并反射部分第二光束至第二滤光片37b,其中第二滤光片37b和第二筒镜37c均设置在反射的部分第二光束的光轴上,并与该反射的部分第二光束的光轴垂直,第二滤光片37b滤光后的部分第二光束经第二筒镜37c被第二相机31b接收。
第三二向色镜38a用于透射部分第三光束形成第四光束并反射部分第三光束经过第三滤光片38b和第三筒镜38c,以使部分第三光束被第三相机31c接收;具体的,第三二向色镜38a设置在第三光束的光轴上,且第三二向色镜38a以第五二向色镜32所在平面为参考面平行设置,用于透射部分第三光束形成第四光束,并反射部分第三光束至第三滤光片38b,其中第三滤光片38b和第三筒镜38c均设置在反射的部分第三光束的光轴上,并与该反射的部分第三光束的光轴垂直,第三滤光片38b滤光后的部分第三光束经第三筒镜38c被第三相机31c接收。
第一反射镜39a用于反射第四光束,以使第四光束经过第四滤光片39b和第四筒镜39c被第四相机31d接收;具体的,第一反射镜39a设置在第四光束的光轴上,且第一反射镜39a以第五二向色镜32所在平面为参考面平行设置,用以反射第四光束至第四滤光片39b,其中第四滤光片39b和第四筒镜39c均设置在反射的第四光束的光轴上,并与该反射的第四光束的光轴垂直,第四滤光片39b滤光后的第四光束经第四筒镜39c被第四相机31d接收。
通过采用上述光路的排布方式,可以同时实现对A、T、G、C四种碱基对应的荧光信号的采集,同时还在保证超分辨成像精度的同时提高了成像光路系统的空间利用率。
一些实施例中,测序装置100还包括有对焦组件50,其中图中点划线箭头为对焦组件50的光路,对焦组件50主要用于实现自动对焦,便于采集焦深范围内的清晰图像。其中第四二向色镜33用于将对焦组件50发出的对焦光束反射至物镜24,以及透射上述的第一光束,第四二向色镜33还用于将从待测样品表面反射的对焦光束反射至对焦组件50,以实现对焦检测。
请参照图8,一些实施例的测序装置100还包括驱动装置60。
一些实施例中,驱动装置60用于驱动光调控器10移动,例如驱动光调控器10相对照明光移动,再例如驱动光调控器10相对物镜24移动。
一些实施例中,驱动装置60用于驱动载物台61移动,其中载物台61用于承载待测样品。
驱动装置60例如可以通过现有结构来实现,也可以通过将来出来的结构来实现,本文对此并不进行限制。例如驱动装置60可以通过滑台结构等来实现。
以上为测序装置100的一些说明。
本申请一些实施例中公开了一种图像采集的方法。一些实施例中,图像重建方法图像采集的方法能够应用于本文一些实施例所述的测序装置100,或者说,本申请实施例提供的图像采集,可以借助上述测序装置100来实现。应当理解的是,本申请下文提供的图像采集,也可以借助不同于上述测序装置100其他图像采集装置来完成。
请参照图9,一些实施例的图像采集的方法包括以下步骤:
步骤1100:对待测样品在至少一个视场下进行图像采集,每一个视场采集一组图像,一组图像包括多张原始图像。
视场(Field of View,FOV)是一个光学成像领域的概念,可以直接理解为:可以通过成像系统对目标对象进行光学成像(拍照)的过程中,图像采集装置如相机可以观察到的区域,即可视区域,或视野范围,即视场。
在一些实施情形中,对待测样品进行光学成像时,在一个视场下无法覆盖将待测样品的全部区域,因此,在对待测样品进行光学成像时,待测样品被划分为多个视场进行图像采集,具体的,图像采集装置在采集完待测样样品的一个视场的原始图像后,切换至待测样品的下一个视场继续采集原始图像,直到采集到待测样品的全部视场的原始图像。
在一种实现方式中,可以通过例如驱动装置60驱动载物台61移动来对待测样本不同区域进行成像,以实现视场的切换,即从一个视场切换至下一个视场。
在本申请的实施方式中,在对待测样品的至少一个视场进行图像采集时,每一个视场采集一组图像。应当理解的是,该一组图像对应于对同一视场下的待测样品进行多次图像采集获得的图像,但并不表示采集的对象或者说采集得到的图像完全相同。可以理解的,一组图像可以来源于对同一视场下的待测样品中的部分区域进行成像形成的图像,且每次对同一视场下的待测样品进行成像时,采集的待测样品中部分区域不同,或者说,一组图像可以来源于对同一视场下的待测样品在视场中呈现的不同形状或图案进行成像得到的图像。由此,采集得到的一组图像中的各图像各不相同。
在本申请的实施方式中,待测样品可以为本身具有一定的固相形状的样本,如待测表面,也可以是需要借助其他载体如芯片固定的待测样本,如核酸分子等。本申请对此不作限制。
本申请实施例中,对待测样品的同一个视场下进行图像采集得到的一组图像,均为原始图像,即一组图像包括多张原始图像,或者说,对待测样品的同一个视场下进行图像采集得到的一组图像,由多张原始图像组成。应当理解的是,本申请实施例所指的“原始图像”,是指图像采集装置成像后得到的、未经处理的图像。
本申请实施例中,同一视场下的待测样品在视场中呈现的不同形状或图案,可以通过多种方式实现。在一种可能的实施方式中,在采集同一视场的一组图像时,使照明光投射于待测样品上形成一组图案化的照明光。此时,每一图案化的照明光对同一视场下的待测样品进行照射(或投射),使待测样品在该视场中呈现不同的图案,对每一图案进行光学图像采集,即可得到待测样品来源于同一视场下的一组图像。
一些实施例中,对于同一视场:一组图案化的照明光包括多个不同的图案化的照明光,且这多个不同的图案化的照明光与该视场的一组图像所包括的多张原始图像一一对应。
也即,对于待测样品的任意一个视场(不妨称为视场F),视场F的一组图案化的照明光包括多个不同的图案化的照明光,且在当前视场下,对经每一个图案化的照明光的照射的待测样品分别采集一张原始图像,由此,这多个不同的图案化的照明光与该视场F的一组图像所包括的多张原始图像一一对应。
对于视场F:通过将图案化的照明光照射待测样品,然后在视场F采集多张原始图像。一些实施例中,在采集视场F的多张原始图像过程中:将视场F的一组图案化的照明光按照时序依次照射于(投射于)待测样品,每将这组的一个图案化的照明光照射于待测样品上后则采集视场F的一张原始图像,然后再将这组的下一个图案化的照明光照射于待测样品上,采集视场F的下一张原始图像,直到将这组的最后一个图案化的照明光照射于待测样品上并采集视场F的最后一张原始图像,至此,则采集完成了视场F的所有张原始图像。之后,再将待测样品从视场F切换至下一视场,在下一视场继续采集该下一视场的所有张原始图像,直到最后一个视场。如上所述,视场的切换,可以通过例如驱动装置60驱动载物台61移动来进行视场的切换,即从一个视场切换至下一个视场。
本申请实施例涉及到图案化的照明光以及图案化的照明化的切换、更新或说是变化,下面详细说明。
在一种实施方式中,在采集同一视场的一组图像时,通过光调控器的调制使得照明光投射于待测样品上形成该视场的一组图案化的照明光。一些实施例中,光调控器可以为上文一些实施例所公开的光调控器10,例如光调控器10包括本体11,本体11包括随机分布于本体11的多个第一区域11a和多个第二区域11b,第一区域11a具有第一透光率,第二区域11b具有第二透光率,第一透光率和第二透光率不同。为了节约篇幅,对于光调控器11的组成、类型以及可选情形,此处不再赘述。
一些实施例中,通过光调控器10投射的图案化的照明光为随机图案化的照明光,即组成一组图案化的照明光中的各图案化的照明光,图案随机呈现,没有严格的规律。相较于需要机械或人为调整投射照明光图案的方式,在获得同样的分辨效果的前提下,本申请实施例通过光调控器10产生随机图案化的照明光,可以减少图像采集数量。
本申请实施例中,可以通过对来源于同一视场的一组图像进行重建,将得到的重建图像作为该视场的输出图像,如超分辨图像。本申请在采集同一视场的一组图像时,通过光调控器10的调制使得照明光投射于待测样品上形成该视场的一组图案化的照明光,由于光调控器10具有较高的光调制度并使得一组图案化的照明光具有较好的随机性,因此能够降低同一视场所需要采集的原始图像的数量,例如降低为采集2至9张原始图像,也能够得到较好的超分辨效果。
此外,一些实施例中,对于待测样品的任意一个视场(不妨称为视场F),在采集视场F的多张原始图像过程中:通过调整光调控器10,使视场F内投射与待测样品上的照明光的图案发生改变,每改变一次图案化的照明光并采集对应的一张原始图像;通过设计预设移动规则能够降低同一视场所需要采集的原始图像的数量,例如降低为采集2至9张原始图像,也能够得到较好的超分辨效果。
下面具体说明。
一些实施例中,在采集同一视场的一组图像时,通过控制光调控器10按照预设移动规则移动以改变投射于该视场的图案化的照明光,得到该视场的一组图案化的照明光。
一些实施例中,光调控器10每发生一次移动,照明光的图案变化一次,即形成的图案化的照明光变化一次,因此同一视场的各原始图像是在不同的图案化的照明光下采集得到。
可以理解地,以待测样品的任意一个视场(不妨称为视场F)为例,通过将光调控器10按照预设移动规则移动,每移动一次改变或者说更新一次照射于视场F的图案化的照明光,并采集视场F的一张原始图像,在采集完视场F的最后一张原始图像后,再通过诸如驱动载物台61移动来将待测样品从视场F切换至下一视场,并在下一视场又继续采集该下一视场的一组原始图像,直到最后一个视场。
以上是通过控制光调控器10移动改变照射(或者说投射)于视场F的图案化的照明光,通过控制载物台61移动来进行视场的切换的一些说明。
在另一种实施方式中,在采集同一视场的一组图像时,通过控制待测样品按照预设移动规则移动以改变投射于该视场的图案化的照明光,得到该视场的一组图案化的照明光。应当理解的是,该实施方式中,待测样品按照预设移动规则移动,使投射于当前视场中的待测样品的照明光的图案发生变化,并不改变视场范围。待测样品的移动,可以通过调整待测样品相对光路的角度或倾斜度等方式实现。
一些实施例中,待测样品每发生一次移动,照明光的图案化变化一次,即形成的图案化的照明光变化一次,因此同一视场的各原始图像是在不同的图案化的照明光下采集得到。
可以理解地,以待测样品的任意一个视场(不妨称为视场F)为例,通过将待测样品按照预设移动规则(例如通过诸如驱动载物台61移动来实现待测样品的移动)移动,每移动一次改变或者说更新一次照射于视场F的图案化的照明光,并采集视场F的一张原始图像,在采集完视场F的最后一张原始图像后,再通过诸如驱动载物台61移动来将待测样品从视场F切换至下一视场,并在下一视场又继续采集该下一视场的一组原始图像,直到最后一个视场。
因此,不仅可以通过例如驱动装置60驱动载物台61移动来进行视场的切换,即从一个视场切换至下一个视场,还可以通过控制载物台61移动来改变照射(或者说投射)于视场F的图案化的照明光。因此,在整个过程,光调控器10不需要移动,光调控器10处于静止状态,整个过程中只需要移动载物台61,这可以复用原来用于移动载物台61来进行视场切换的结构,使得整体的结构变为更为简单并简化了时序和降低了结构成本。
不论是通过控制光调控器10按照预设移动规则移动以改变投射于该视场的图案化的照明光,还是通过控制待测样品按照预设移动规则移动以改变投射于该视场的图案化的照明光,都涉及到预设移动规则,下面对预设称动规则进行说明。
在再一种实施方式中,,在采集同一视场的一组图像时,可以通过同时控制光调控器10和待测样品按照预设移动规则移动以改变投射于该视场的图案化的照明光,得到该视场的一组图案化的照明光。
一些实施例中,预设移动规则由待测样品在芯片表面的预设图案所确定。由此,可以结合待测样品在芯片表面的图案,获得更多的图像细节,丰富采集的图像。可以理解的是,芯片为承载待测样品的载体,如基底或基板。示例性的,待测样品在芯片表面点阵排列,形成固定的预设图案。当待测样本自身以一定的固态形式形成表面时,待测样品在芯片表面的预设图案也可以理解为待测样品在表面的预设图案。
一些实施例中,预设移动规则包括一步或多步路径构成的轨迹。
一些实施例中,在芯片表面的预设图案为四边形排布的点阵时,预设移动规则包括:轨迹的拐点整体呈四边形或三角形;或者,轨迹与上述四边形的一边平行。
图10为芯片表面的预设图案为正方形排布的点阵的一个示例。同行相连的两个点与相邻行上与上述两个点同列的两个点形成正方形,以其中一个角作为中心的四个正方形,形成如图10所示的大正方形。
下面结合图11(a)和图11(b),对预设移动规则所涉及的轨迹进行说明;需要说明的是,图中N表示轨迹的节点数量,可以理解地,相邻的两个节点可以定义一步路径,图中各轨迹上还标示有各节点的序号,并通过轨迹上的箭头来表示移动方向。
一些示例中,在芯片表面的预设图案为四边形排布的点阵时,预设移动规则包括:轨迹的拐点整体呈四边形或三角形;一些示例中,轨迹的拐点整体呈四边形或三角形,包括以下任意一者:
(1)轨迹的节点包括四边形的中心和位于四边形各边上的节点,由四边形的中心到达四边形边上的一节点并由该节点按照一个方向遍历四边形边上的各节点,或者相反;其中,所述一个方向为顺时针方向或逆时针方向;
例如图11(a)中N=9时的第一个轨迹图就是一个示例;再例如
(2)Z字形或锯齿型的轨迹;
例如图11(a)中N=9时的第二个轨迹图就是一个示例;
(3)方波型的轨迹;
例如图11(a)中N=9时的第三个轨迹图就是一个示例;
(4)轨迹的节点包括四边形的四个顶点,由四边形的一个顶点到达相对的另一个顶点,再由该顶点到达相邻的另一个顶点,再由该顶点到达相对的另一个顶点;
例如图11(a)中N=4时的第一个轨迹图就是一个示例;
(5)轨迹的节点包括四边形的中心和四个顶点,由四边形的一个顶点经过中心到达相对的另一个顶点,再由该顶点到达相邻的另一个顶点,再由该顶点到达相对的另一个顶点;
例如图11(a)中N=5时的第二个轨迹图就是一个示例;
(6)轨迹的节点包括四边形的中心和四个顶点,由四边形的中心到达四边形边的一个顶点,再由四边形的该顶点按照一个方向遍历四边形边上的各顶点,所述一个方向为顺时针方向或逆时针方向。
例如图11(a)中N=5时的第一个轨迹图就是一个示例;
(7)轨迹的节点包括四边形的四个顶点,由四边形的一个顶点按照一个方向遍历四边形边上的各顶点,所述一个方向为顺时针方向或逆时针方向;
例如图11(a)中N=4时的第二个轨迹图就是一个示例;
(8)轨迹的节点包括三角形的三个顶点,由三角形的一个顶点按照一个方向遍历三角形上的各顶点,所述一个方向为顺时针方向或逆时针方向;
例如图11(a)中N=3时的第一个轨迹图就是一个示例;再例如图11(a)中N=3时的第二个轨迹图也是一个示例;
(9)轨迹的节点包括三角形的三个顶点和位于三角形的一个或多个边上的一个或多个节点,由三角形的一个节点按照一个方向遍历三角形上的节点,所述一个方向为顺时针方向或逆时针方向。
例如图11(a)中N=5时的第三个轨迹图就是一个示例;再例如图11(a)中N=4时的第三个轨迹图也是一个示例;再例如图11(a)中N=4时的第四个轨迹图也是一个示例。
一些示例中,在芯片表面的预设图案为四边形排布的点阵时,预设移动规则包括:轨迹与上述四边形的一边平行。图11(b)中四个轨迹图为相应的四个示例。
一些实施例中,在芯片表面的预设图案为三角形排布的点阵时,预设移动规则包括:轨迹的拐点整体呈六边形或三角形;或者,轨迹与上述三角形的一边平行。
图12为芯片表面的预设图案为三角形排布的点阵的一个示例。同行任意相邻的两个点与相邻行的另一个点形成三角形结构,在一些实施例中,相邻行的另一点位于同行两点连线的中线上,三角形形成等边三角形。
下面结合图13(a)和图13(b),对预设移动规则所涉及的轨迹进行说明;需要说明的是,图中N表示轨迹的节点数量,可以理解地,相邻的两个节点可以定义一步路径,图中各轨迹上还标示有各节点的序号,并通过轨迹上的箭头来表示移动方向。
一些示例中,在芯片表面的预设图案为三角形排布的点阵时,预设移动规则包括:轨迹的拐点整体呈六边形或三角形;一些示例中,轨迹的拐点整体呈六边形或三角形,包括以下任意一者:
(1)轨迹的节点包括六边形的中心和六个顶点,由六边形的中心到达其中一个顶点,再由该顶点按照一个方向遍历六边形的各顶点,或者相反;其中,所述一个方向为顺时针方向或逆时针方向;
例如图13(a)中N=7时的轨迹图就是一个示例;
(2)轨迹的节点包括六边形的各顶点,由六角形的一个顶点按照一个方向遍历六角形上的各顶点,所述一个方向为顺时针方向或逆时针方向;
例如图13(a)中N=6时的轨迹图就是一个示例;
(3)轨迹的节点包括三角形的三个顶点,由三角形的一个顶点按照一个方向遍历三角形上的各顶点,所述一个方向为顺时针方向或逆时针方向;
例如图13(a)中N=3时的两个轨迹图为相应的两个示例;
(4)轨迹的节点包括三角形的中心和三个顶点,由三角形的中心到达其中一个顶点,再由该顶点按照一个方向遍历三角形的各顶点,或者相反;其中,所述一个方向为顺时针方向或逆时针方向;
例如图13(a)中N=4时的轨迹图就是一个示例;
一些示例中,在芯片表面的预设图案为三角形排布的点阵时,预设移动规则包括:轨迹与上述三角形的一边平行。图13(b)中六个轨迹图为相应的六个示例。
以上是预设移动规则所涉及的轨迹的一些说明。
在具体按照预设移动规则所涉及的轨迹进行移动时还有多种策略,例如回到原点的策略,再例如原路返回的策略,下面具体。
一些实施例中,预设移动规则包括第一点、第二点,以及第一点和第二点之间的轨迹;在每个视场下,预设移动规则均为:从第一点开始按照第一点和第二点之间的预设轨迹移动到第二点。
也即,对于待测样品的任意一个视场F,视场F对应的预设移动规则均为:从第一点开始按照第一点和第二点之间的预设轨迹移动到第二点。
一些实施例中,对于任意相邻的两个视场(不妨称为视场F1和视场F2):在采集一个视场F1的一组图像时,控制光调控器10按照预设移动规则从第一点逐步移动到第二点以采集得到该视场F1的一组图像;在采集得到该视场F的最后一张原始图像后,控制光调控器10移动回第一点,并控制待测样品移动以切换至下一个视场F2;在采集下一个视场F2的一组图像时,控制光调控器10按照预设移动规则从第一点逐步移动到第二点以采集得到该下一视场F的一组图像。可以理解的是,本申请实施例中,光调控器10的逐步移动是相对预设移动规则而言,从预设移动规则的一个节点移动到另一个节点,可以视为光调控器10移动一步。
以上是通过控制光调控器10移动改变照射(或者说投射)于视场F的图案化的照明光,通过控制载物台61移动来进行视场的切换的一些说明。
由于采集每个视场的多张原始图像时,光调控器10均是从第一点开始逐步移动到第二点(每移动一次就能够改变或者说更新一次照射于该视场的图案化的照明光),这也意味着在从一个视场切换至下一个视场时,也需要将光调控器10从轨迹的最后一个节点(即上述第二点)移回至轨迹的第一个节点(即上述第一点),因此将这种移动策略称之为回到原点的策略。
一些实施例中,对于任意相邻的两个视场(不妨称为视场F1和视场F2):在采集一个视场F1的一组图像时,控制待测样品按照预设移动规则从第一点逐步移动到第二点以采集得到该视场F1的一组图像;在采集得到该视场F1的最后一张原始图像后,控制待测样品移动回第一点,并控制待测样品移动以切换至下一个视场F2;在采集下一个视场F2的一组图像时,控制待测样品按照预设移动规则从第一点逐步移动到第二点以采集得到该下一视场F2的一组图像。
以上是通过例如驱动装置60驱动载物台61移动来进行视场的切换,以及通过控制载物台61移动来改变照射(或者说投射)于视场F的图案化的照明光的一些说明。
由于采集每个视场的多张原始图像时,待测样品均是从第一点逐步移动到第二点(每移动一次就能够改变或者说更新一次照射于该视场的图案化的照明光),这也意味着在从一个视场切换至下一个视场时,也需要待测样品从轨迹的最后一个节点(即上述第二点)移回至轨迹的第一个节点(即上述第一点),因此将这种移动策略称之为回到原点的策略。
一些实施例中,预设移动规则包括第一点、第二点,以及第一点和第二点之间的轨迹;在相邻两个视场中,一个视场的预设移动规则为:从第一点开始,按照第一点和第二点之间的预设轨迹移动到第二点;另一个视场的预设移动规则为:从第二点开始,按照第一点和第二点之间的预设轨迹移动到第一点。
也即,对于任意相邻的两个视场:其中一个视场是从第一点按照预设轨迹移动到第二点,另一个视场则原回返回,从第二点按照预设轨迹移动回第一点。因此将这种移动策略称之为原路返回的策略。
一些实施例中,对于任意相邻的两个视场(不妨称为视场F1和视场F2),在采集一个视场F1的一组图像时,若该视场F1的预设移动规则为从第一点按照第一点和第二点之间的预设轨迹移动到第二点:则控制光调控器10按照预设移动规则从第一点逐步移动到第二点以采集得到该视场F1的一组图像;在采集得到该视场F1的最后一张原始图像后,控制待测样品移动以切换至下一个视场F2,在采集下一个视场F2的一组图像时,控制光调控器10按照预设移动规则从第二点逐步移动到第一点以采集得到该下一视场F1的一组图像。
一些实施例中,对于任意相邻的两个视场(不妨称为视场F1和视场F2),在采集一个视场F1的一组图像时,若该视场F1的预设移动规则为从第一点按照第一点和第二点之间的预设轨迹移动到第二点:则控制光调控器10按照预设移动规则从第二点逐步移动到第一点以采集得到该视场F1的一组图像;在采集得到该视场F1的最后一张原始图像后,控制待测样品移动以切换至下一个视场F2,在采集下一个视场F2的一组图像时,控制光调控器10按照预设移动规则从第一点逐步移动到第二点以采集得到该下一视场F2的一组图像。
以上是通过控制光调控器10移动改变照射(或者说投射)于视场F的图案化的照明光,通过控制载物台61移动来进行视场的切换的一些说明。
一些实施例中,对于任意相邻的两个视场(不妨称为视场F1和视场F2),在采集一个视场F1的一组图像时,若该视场F1的预设移动规则为从第一点按照第一点和第二点之间的预设轨迹移动到第二点:则控制待测样品按照预设移动规则从第一点逐步移动到第二点以采集得到该视场F1的一组图像;在采集得到该视场F1的最后一张原始图像后,控制待测样品移动以切换至下一个视场F2,在采集下一个视场F2的一组图像时,控制待测样品按照预设移动规则从第二点逐步移动到第一点以采集得到该下一视场F2的一组图像。
一些实施例中,对于任意相邻的两个视场(不妨称为视场F1和视场F2),在采集一个视场F1的一组图像时,若该视场F1的预设移动规则为从第二点按照第一点和第二点之间的预设轨迹移动到第一点:则控制待测样品按照预设移动规则从第二点逐步移动到第一点以采集得到该视场F1的一组图像;在采集得到该视场F1的最后一张原始图像后,控制待测样品移动以切换至下一个视场F2,在采集下一个视场F2的一组图像时,控制待测样品按照预设移动规则从第一点逐步移动到第二点以采集得到该下一视场F2的一组图像。
以上是通过例如驱动装置60驱动载物台61移动来进行视场的切换,以及通过控制载物台61移动来改变照射(或者说投射)于视场F的图案化的照明光的一些说明。
结合图11(a)、图11(b)、图13(a)和图13(b)中的一些轨迹示意图来对回到原点的策略和原路返回的策略进行说明;需要说明的是,图中S
不妨具体以图11(a)中N=9所示的任意一个轨迹图为例,将原路返回的策略的步数记为S
原路返回的策略从整体来看,所需要的扫描步数或者说移动步数相对较少,这可以缩短扫描总耗时,尤其是当N越小时,总耗时缩短的效果越显著。
在按照预设轨迹移动过程中,会对位移误差不断进行累积,回到原点的策略可以降低甚至清除掉移动的累计误差,使得每一步扫描的位移精度更高。
图14为通过例如驱动装置60驱动载物台61移动来进行视场的切换的示意图,图中每一个小方格即为一个视场,通过驱动载物台61来带动待测样品移动,从而逐个切换视场,直到最后一个视场。
在通过控制光调控器10移动改变照射(或者说投射)于同一视场的图案化的照明光,通过控制载物台61移动来进行视场的切换的一些示例中,在同一个视场内,光调控器10按照诸如图11(a)、图11(b)、图13(a)或图13(b)等所示的轨迹移动,在需要切换视场时,则控制载物台61按照诸如图14所示的移动路径来从一个视场切换至下一个视场。
在通过例如驱动装置60驱动载物台61移动来进行视场的切换,以及通过控制载物台61移动来改变照射(或者说投射)于视场F的图案化的照明光的一些示例中,在同一个视场内,载物台61按照诸如图11(a)、图11(b)、图13(a)或图13(b)等所示的轨迹移动,在需要切换视场时,则控制载物台61按照诸如图14所示的移动路径来从一个视场切换至下一个视场;图15(a)和图15(b)为两个示例。图15(a)为:在同一个视场内,载物台61按照诸如图11(a)N=9的第一个轨迹图移动,在需要切换视场时,则载物台61按照图14所示的移动路径来从一个视场切换至下一个视场的示例,其中在扫描完一个视场后,载物台61会回到视场中心。图15(b)为:在同一个视场内,载物台61按照诸如图11(a)N=9的第一个轨迹图移动,则载物台61按照图14所示的移动路径来从一个视场切换至下一个视场的示例,其中在扫描完一个视场后,载物台61不需要回到视场中心而是直接切换到下一个视场。
一些实施例中,图像采集和图像重建可以并行,从而节省时间。可以理解的是,图像采集的方法可以包括上文提及的图像采集方法,也可以为本申请实施例未提及的其他图像采集方法。即本申请实施例提供的图像采集和图像重建的并行操作,不受上述图像采集方法的限制。
下面结合实施例对图像采集和图像重建并行操作进行具体说明。
一些实施例中,对于任意一个视场(不妨称之为视场F)的一组图像中的两张相邻原始图像(不妨称之为原始图像P1和原始图像P2),进行以下动作:
动作一:控制相机31曝光以采集得到视场F在当前的图案化的照明光下的一张原始图像P1;
动作二:将采集到的一张原始图像P1采用重建算法进行处理;
动作三:控制光调控器10移动一次以更新一次图案化的照明光,以为同一视场F的下一张原始图像P2的采集作准备;例如控制所述光调控器10在预设移动规则下移动到下一节点以更新一次图案化的照明光,以为同一视场F的下一张原始图像P2的采集作准备;
其中,动作二和动作三在时序上至少部分重合,且两者均位于动作一之后。
一些实施例中,在进行完动作一至三之后,还进行以下动作:
动作四:控制相机31曝光以采集得到视场F的下一张原始图像P2;
动作五:将采集到的下一张原始图像P2采用重建算法进行处理;
一些实施例中,在下一张原始图像P2不是视场F的最后一张原始图像的情况下,进行动作六:控制光调控器10再移动一次以更新一次图案化的照明光,例如控制光调控器10在预设移动规则下移动到下一节点以更新一次图案化的照明光。
其中,动作五和动作六在时序上至少部分重合,且两者均位于动作四之后。
一些实施例中,在进行动作四之后,若上述的下一张原始图像P2是视场F的最后一张原始图像的情况下,则进行动作七而非动作六;动作七:控制待测样品移动以切换至下一个视场(不妨称该下一个视场为视场F2),以对下一个视场F2进行图像采集和重建算法的并行,直到当前的视场为最后一个视场。
其中,动作七和动作五在时序上至少部分重合,且两者均位于动作四之后。
如上所述,一些示例中,预设移动规则包括第一点、第二点,以及第一点和第二点之间的轨迹。在每个视场下,预设移动规则均为:从第一点开始按照第一点和第二点之间的预设轨迹移动到第二点;则动作七还包括:控制将光调控器10由第二点移回至第一点。或者,在相邻两个视场中,一个视场的预设移动规则为:从第一点开始按照第一点和第二点之间的预设轨迹移动到第二点;另一个视场的预设移动规则为:从第二点按照第一点和第二点之间的预设轨迹移动到第一点;则动作七还包括:控制将光调控器10停留在原地保持静止。
以上是通过控制光调控器10移动改变照射(或者说投射)于视场F的图案化的照明光,通过控制载物台61移动来进行视场的切换的一些说明。
一些实施例中,对于任意一个视场(不称称之为视场F)的一组图像中的两张相邻原始图像(不妨称之为原始图像P1和原始图像P2),进行以下动作:
动作一:控制相机31曝光以采集得到视场F在当前的图案化的照明光下的一张原始图像P1;
动作二:将采集到的一张原始图像P1采用重建算法进行处理;
动作三:控制待测样品移动一次以更新一次图案化的照明光,以为同一视场F的下一张原始图像P2的采集作准备;例如控制载物台61在预设移动规则下移动到下一节点以更新一次图案化的照明光,以为同一视场F的下一张原始图像P2的采集作准备;
其中,动作二和动作三在时序上至少部分重合,且两者均位于动作一之后。
一些实施例中,在进行完动作一至三之后,还进行以下动作:
动作四:控制相机31曝光以采集得到视场F的下一张原始图像P2;
动作五:将采集到的下一张原始图像P2采用重建算法进行处理;
一些实施例中,在下一张原始图像P2不是视场F的最后一张原始图像的情况下,进行动作六:控制待测样品再移动一次以更新一次图案化的照明光,例如控制载物台61在预设移动规则下移动到下一节点以更新一次图案化的照明光;
其中,动作五和动作六在时序上至少部分重合,且两者均位于动作四之后。
一些实施例中,在进行动作四之后,若上述的下一张原始图像P2是视场F的最后一张原始图像的情况下,则进行动作七而非动作六;动作七:控制待测样品移动以切换至下一个视场(不妨称该下一个视场为视场F2),以对下一个视场F2进行图像采集和重建算法的并行,直到当前的视场为最后一个视场。
其中,动作七和动作五在时序上至少部分重合,且两者均位于动作四之后。
如上所述,一些示例中,预设移动规则包括第一点、第二点,以及第一点和第二点之间的轨迹。在每个视场下,预设移动规则均为:从第一点开始按照第一点和第二点之间的预设轨迹移动到第二点;则动作七还包括:在控制待测样品移动以切换至下一个视场后,再控制将待测样品由第二点移回至所述第一点。或者,在相邻两个视场中,一个视场的预设移动规则为:从第一点开始按照第一点和第二点之间的预设轨迹移动到第二点;另一个视场的预设移动规则为:从第二点按照第一点和第二点之间的预设轨迹移动到第一点;则动作七还包括:在控制待测样品移动以切换至下一个视场后,控制将待测样品停留在原地保持静止。
以上是通过例如驱动装置60驱动载物台61移动来进行视场的切换,以及通过控制载物台61移动来改变照射(或者说投射)于视场F的图案化的照明光的一些说明。
以上是本申请一些实施例的图像采集的方法的说明。
可以看到,在一些示例中,图像采集和图像重建可以并行,从而节省时间。
因此,请参照图16,一些实施例还公开一种图像采集与图像重建算法并行的方法,其包括以下步骤:
步骤1300:利用显微成像系统多次更新照射在待测样品一个视场的照明光,并对该视场进行多次扫描成像,以获得多个原始图像;其中,每更新一次照明光进行一次扫描,一次扫描获得一个原始图像。
步骤1400:基于原始图像进行图像重建,以获得分辨率更高的重建后的图像;其中,图像重建与多次扫描成像并行进行,根据一部分原始图像开始图像重建。
请参照图17,一些实施例中,图像采集与图像重建算法并行的方法还包括步骤1500:在采集到一个视场的最后一张原始图像后,切换至下一个视场,以对下一个视场进行图像采集和重建算法的并行,直到当前的视场为最后一个视场。一些实施例中,步骤1500是通过移动承载待测样品的载物台61来从一个视场切换至下一个视场。
请参照图18,一些实施例中,图像采集与图像重建算法并行的方法还包括步骤1600:在将同一视场的最后一张原始图像采用重建算法进行处理得到该视场的重建后的图像后,基于重建后的图像得到所述待测样品的检测结果,例如进行碱基识别(例如基于碱基识别算法),得到碱基信息。
本文中可以通过处理器来执行重建算法,处理器可以为GPU。
一些实施例中,对于任意一个视场(不妨称为视场F),步骤1400进行图像采集和重建算法的并行可以这样来实现:每采集得到视场F的一张原始图像,将该张原始图像采用重建算法进行处理,并在采集到视场F的最后一张原始图像,将该最后一张原始图像采用重建算法进行处理,得到视场F的重建后的图像。
一些实施例中,重建算法包括迭代算法。
一些实施例中,对于同一个视场(不妨称为视场F),每输入视场F的一张原始图像,重建算法至少迭代一次。
一些实施例中,对于同一个视场(不妨称为视场F),扫描采集得到的视场F的第一张原始图像作为所述重建后的图像的估计值的初始值,以进行上述迭代算法。
重建算法在下文还在进行详细描述。
一些示例中,图像采集与图像重建算法并行的方法中所涉及的图像采集方法和过程可以参见上文对诸如图9所示的图像采集的方法的一些说明。
例如,对于任意一个视场(不妨称为视场F):更新一次在视场F照射待测样品的图案化的照明光,并控制进行图像采集得到视场F本次扫描的一张原始图像。一些实施例中,图案化的照明光由照明光经过诸如光调控器10而得到,控制光调控器10相对于照明光或者说物镜24的孔径进行移动,每移动一次能够更新一次图案化的照明光。一些实施例中,对于任意一个视场(不妨称为视场F):通过控制光调控器10相对于照明光或者说物镜24的孔径按照预设规则(或者说预设移动规则)移动以完成对视场F多次的扫描。预设移动规则可以参见上文的描述,在此不再赘述。
一些实施例中,对于任意一个视场(不称称之为视场F)的两张相邻原始图像(不妨称之为原始图像P1和原始图像P2),进行以下动作:
动作一:控制相机31曝光以采集得到视场F在当前的图案化的照明光下的一张原始图像P1;
动作二:将采集到的一张原始图像P1采用重建算法进行处理;
动作三:控制光调控器10移动一次以更新一次图案化的照明光,以为同一视场F的下一张原始图像P2的采集作准备;
其中,动作二和动作三在时序上至少部分重合,且两者均位于动作一之后。
需要说明的是,本文中重建算法处理器可以为GPU。一些实施例中,重建算法处理器可以是构成本文的处理器40中的一部分。
一些实施例中,在进行完动作一至三之后,还进行以下动作:
动作四:控制相机31曝光以采集得到视场F的下一张原始图像P2;
动作五:将采集到的下一张原始图像P2采用重建算法进行处理;
一些实施例中,在下一张原始图像P2不是视场F的最后一张原始图像的情况下,进行动作六:控制光调控器10再移动一次以更新一次图案化的照明光;
其中,动作五和动作六在时序上至少部分重合,且两者均位于动作四之后。
一些实施例中,在进行动作四之后,若上述的下一张原始图像P2是视场F的最后一张原始图像的情况下,则进行动作七而非动作六;动作七:控制待测样品移动以切换至下一个视场(不妨称该下一个视场为视场F2),以对下一个视场F2进行图像采集和重建算法的并行,直到当前的视场为最后一个视场。
其中,动作七和动作五在时序上至少部分重合,且两者均位于动作四之后。
上述动作涉及到通过控制光调控器10移动来更新图案化的照明光,这可以参见上文诸如图9所示的图像采集的方法的一些说明,尤其可以参照其中的预设移动规则的一些说明。
例如,预设移动规则包括第一点、第二点,以及第一点和第二点之间的轨迹。在每个视场下,预设移动规则均为:从第一点开始按照第一点和第二点之间的预设轨迹移动到第二点;动作七还包括:控制将光调控器10由第二点移回至第一点。或者,在相邻两个视场中,一个视场的预设移动规则为:从第一点开始按照第一点和第二点之间的预设轨迹移动到第二点;另一个视场的预设移动规则为:从第二点按照第一点和第二点之间的预设轨迹移动到第一点;动作七还包括:控制将光调控器10停留在原地保持静止。
以上是从所进行的动作的角度来说明图像采集和图像重建的并行,下面通过时序角度来说明图像采集和图像重建的并行。
一些实施例中,对于任意一个视场(不称称之为视场F)的两张相邻原始图像(不妨称之为原始图像P1和原始图像P2):
在第一时段,控制进行图像采集得到视场F在当前的图案化的照明光下的一张原始图像P1;
在第二时段,更新一次图案化的照明光以为同一视场F的下一张原始图像P2的采集作准备;
在第三时段,将在第一时段采集得到的一张原始图像P1采用重建算法进行处理;
其中,第二时段和第三时段至少部分重合,且两者均位于第一时段之后。
一些实施例中:
在第四时段,控制进行图像采集得到下一张原始图像P2;
在第五时段,在下一张原始图像P2不是视场F的最后一张原始图像的情况下,则更新一次图案化的照明光以为同一视场的再下一张原始图像(即在原始图像P2之后的下一张原始图像)的采集作准备;若下一张原始图像P2是视场F的最后一张原始图像,则切换至下一个视场(不妨称该下一个视场为视场F2),以对下一个视场F2进行图像采集和重建算法的并行,直到当前的视场为最后一个视场;
在第六时段,将在第四时段采集得到的下一张原始图像P2采用重建算法进行处理;
其中第四时段位于第三时段之后;第五时段和第六时段至少部分重合,且两者均位于第四时段之后。
以上为图像采集与图像重建算法并行的方法的一些说明。
可以看到,在硬件上涉及到相机曝光、驱动装置60驱动光调控器10和/或载物台61运动;在算法上涉及到诸如重建算法甚至进一步还涉及到碱基识别算法,通过上述图像采集与图像重建算法并行的方法,可以缩短每个视场重建图像的总耗时。
图19为图像采集与图像重建算法并行的时序图的一个示例,图中FOV1、FOV2和FOV3表示相邻的三个视场;每个视场的总耗时称为“节拍耗时”,在图19所示的示例中,在硬件上会采集多个视场的原始图像,每个视场采集的原始图像的数据不妨设为N,因此,在每个节拍耗时内,相机需要曝光N次——一个相机采集N张原始图像,每个相机所采集的N张原始图像用于重建一张图像,对于碱基来讲,则每种碱基类型对应一个相机或者说所重建的一张图像,因此四个相机31a至31d采集4N张原始图像,用于重建四张图像;在采集每个视场的原始图像时,图案化的照明光需要被更新,这涉及到光调控器10或载物台61的移动;在算法上,通过重建算法输出四张重建图像,即每种碱基类型对应一张重建图像,在通过重建算法输出重建图像后,基于所述重建后的图像得到待测样品的检测结果,例如由碱基识别算法对重建图像进行碱基识别,以输出碱基序列信息。可以看到:
(1)同一视场的所有原始图像采集完成后,重建算法与碱基识别算法是在局部上是串行的,也即需要通过重建算法得到一个视场的重建图像后才能够对该视场进行碱基识别;
(2)一个视场的“算法处理完成”时间,与下一视场的“图像采集完成”时间有重叠,但是这不影响节拍耗时,“节拍耗时”就等于“图像采集完成”时间。
(3)在一些方案中,对于同一个视场,重建算法是将得到的N张原始图像作为重建后的图像(即重建图像)的估计值的初始值,这意味着必须所有N张原始图像都采集完毕后,才能够进行重建算法,一方面重建算法需要集中处理N张原始图像,这导致耗时较长,且重建算法耗时与碱基识别算法耗时是串行的,并且在N较小的情况下,重建算法耗时与碱基识别算法耗时之和可能超过图像采集耗时,此时节拍时间会延长,导致“节拍耗时”大于“图像采集完成”时间;而本申请一些实施例中,对于同一个视场(不妨称为视场F),扫描采集得到的视场F的第一张原始图像作为所述重建后的图像的估计值的初始值,因此在采集得到第一张原始图像以后,即可开始进行重建算法,然后逐步采集视场F的后续原始图像,并逐步进行重建算法,这样将原本的“一整段的长耗时”分割成“N个片段的短耗时”,并且除第N个片段耗时外,其余第1至第(N-1)个片段耗时均与图像采集同步进行,实现了硬件与算法的并行功能,能够极大节省时间。
本申请一些实施例中公开了一种图像重建方法;一些实施例中,图像重建方法能够应用于本文一些实施例所述的测序装置100,但不限于测序应用,即图像重建方法可以用于其他应用领域。在一些实施例中,上文图像采集和图像重建可以并行中涉及的图像重建,图像重建的方法可以为本实施例提供的图像重建方法。
请参照图20,一些实施例的图像重建方法包括以下步骤:
步骤1000:采集待测样品在同一视场的多张原始图像。
如上所述,视场(Field of View,FOV)是一个光学成像领域的概念,可以直接理解为:可以通过成像系统对目标对象进行光学成像(拍照)的过程中,图像采集装置如相机可以观察到的区域,即可视区域,或视野范围,即视场。
在一些实施情形中,对待测样品进行光学成像时,在一个视场下无法覆盖将待测样品的全部区域,因此,在对待测样品进行光学成像时,待测样品被划分为多个视场进行图像采集,具体的,图像采集装置在采集完待测样样品的一个视场的原始图像后,切换至待测样品的下一个视场继续采集原始图像,直到采集到待测样品的全部视场的原始图像。
一些实施例中,可以通过例如驱动装置60驱动载物台61移动来对待测样本不同区域进行成像,以实现视场的切换,即从一个视场切换至下一个视场。
在本申请的实施方式中,待测样品可以为本身具有一定的固相形状的样本,如待测表面,也可以是需要借助其他载体如芯片固定的待测样本,如核酸分子等。本申请对此不作限制。
应当理解的是,本申请实施例所指的“原始图像”,是指图像采集装置成像后得到的、未经处理的图像。
为了便于说明,不妨将上述步骤1000所涉及的同一视场(单一视场)称为视场F,可以理解地,视场F可以是待测样品的任意一个视场。
一些实施例中,原始图像由图案化的照明光照射待测样品后在视场F采集得到。
一些实施例中,图案化的照明光由照明光经过光调控器而得到;光调控器可以为上文一些实施例所公开的光调控器10,例如光调控器10包括本体11,本体11包括随机分布于本体11的多个第一区域11a和多个第二区域11b,第一区域11a具有第一透光率,第二区域11b具有第二透光率,第一透光率和第二透光率不同。为了节约篇幅,对于光调控器11的组成、类型以及可选情形,此处不再赘述。
通过将图案化的照明光照射待测样品,然后在视场F采集多张原始图像。一些实施例中,在采集视场F的多张原始图像过程中:通过对待测样品在视场F按照预设规则进行逐步扫描,每扫描一次获取视场F的一张原始图像。
一些实施例中,控制光调控器10相对照明光或者说物镜24的孔径逐步相对移动,每移动一次完成一次扫描,也即每移动一次,采集视场F的一张原始图像,然后再移动一次,再采集视场F的一张原始图像,直到采集完视场F的最后一张原始图像。
一些实施例中,每移动一次使得图案化的照明光变化一次,因此视场F的各张原始图像是在不同的图案化的照明光下采集得到。
一些实施例中,控制光调控器10相对照明光或者说物镜24的孔径逐步相对移动过程中,是按照预设移动规则移动,每移动一次改变照射(或者说投射)于视场F的图案化的照明光。这在下文还会进一步详细说明。
可以理解地,通过对待测样品在视场F按照预设规则进行逐步扫描,在扫描到最后一步获取到视场F的最后一张原始图像后,则将待测样品从视场F切换至下一视场,直到最后一个视场。如上所述,视场的切换,可以通过例如驱动装置60驱动载物台61移动来进行视场的切换,即从一个视场切换至下一个视场。
以上是通过控制光调控器10移动改变照射(或者说投射)于视场F的图案化的照明光,通过控制载物台61移动来进行视场的切换的一些说明。
一些实施例中,控制待测样品相对照明光或者说物镜24的孔径逐步相对移动,每移动一次完成一次扫描,也即每移动一次,采集视场F的一张原始图像,然后再移动一次,再采集视场F的一张原始图像,直到采集完视场F的最后一张原始图像。一些实施例中,可以通过控制承载待测样品的载物台61移动来实现待测样品的移动。
一些实施例中,每移动一次使得图案化的照明光变化一次,因此视场F的各张原始图像是在不同的图案化的照明光下采集得到。
一些实施例中,控制待测样品相对照明光或者说物镜24的孔径逐步相对移动过程中,是按照预设移动规则移动,每移动一次改变照射(或者说投射)于视场F的图案化的照明光。这在下文还会进一步详细说明。
可以理解地,通过对待测样品在视场F按照预设规则进行逐步扫描,在扫描到最后一步获取到视场F的最后一张原始图像后,则将待测样品从视场F切换至下一视场,直到最后一个视场。
因此,不仅可以通过例如驱动装置60驱动载物台61移动来进行视场的切换,即从一个视场切换至下一个视场,还可以通过控制载物台61移动来改变照射(或者说投射)于视场F的图案化的照明光。
一些实施例中,步骤1000能够通过上文记载的一些实施例的图像采集的方法来采集待测样品在一个视场下的一组图像,每组图像包括多张原始图像。
可以看到,步骤1000用于采集图像,一些实施例中,步骤1000可以通过如上文记载的图像采集的方法来完成。
一些实施例中,步骤1000用于采集图像,下文的步骤2000则用于进行图像重建,步骤1000和步骤2000可以是串行也可是并行,在并行的情况,可以通过如上文记载的一些实施例的图像采集与图像重建算法并行的方法来完成。
步骤2000:根据视场的多张原始图像进行图像重建,得到视场重建后的图像。
因此,对于任意一视场,步骤2000能够根据该视场的一组图像进行图像重建,得到该视场重建后的图像(即重建图像)。
一些实施例中,本文中的重建图像为超分辨重建图像或者说超分辨图像。
步骤2000可以通过重建算法来完成图像重建。
下面对步骤2000进行详细说明。
请参照图21,步骤2000包括以下步骤:
步骤2100:对待测样品在视场F的真值图案、图案化的照明光和光学系统的描述函数中的一者或多者进行迭代以更新其估计值。
真值图案是指待测样品在图案化的照明光的照射下被激发产生荧光信号后,这些荧光信号在真实物理世界中展示出来的图案,通过相机对真实物理世界中的真值图案进行拍摄的过程中会损失真值图案的信息,也即:通过相机对真实物理世界中的真值图案进行拍摄得到的原始图像,并不能完全真实地呈现出真实物理世界中的真值图案;通过多张原始图像来进行图像重建,目的就是为了提高图像的分辨率,使得重建图像的分辨率尽可能被提高,从而重建图像能够尽可能地接近无损地去呈现真实物理世界中的真值图案。
一些实施例中,步骤2100基于差异函数对待测样品在视场F的真值图案、图案化的照明光和描述函数中的一者或多者进行迭代以更新其估计的值,例如基于差异函数利用随机梯度下降算法对待测样品在视场F的真值图案、图案化的照明光和描述函数中的一者或多者进行迭代以更新其估计的值,下文简称为估计值。
一个具体的示例可以这样来进行:
和/或,
和/或,
其中,imgSR,rpSR,PSFSR分别表示待测样品在视场F的真值图案的估计值、图案化的照明光的估计值和描述函数的估计值;imgSR
一个具体的示例还可以这样来进行:
和/或,
和/或,
其中,imgSR,rpSR,PSFSR分别表示待测样品在视场F的真值图案的估计值、图案化的照明光的估计值和描述函数的估计值;imqSR
一些实施例中,迭代步进k
和/或,
和/或,
其中,
一些实施例中,待测样品在视场F的真值图案的估计值的初始值为:
imgDF
一些实施例中,图案化的照明光的估计值的初始值为:
rpSR=1
一些实施例中,描述函数的估计值的初始值为:
其表示为对待测样品的真值图案的估计值的初始值imgSR进行二维傅立叶变换得到频谱,该频谱的幅值最大值的q倍频谱位置
一些实施例中,光学系统的描述函数为光学系数的光学传递函数对应的点扩散函数;一些实施例中,光学系数的光学传递函数基于物镜的数值孔径NA数值所生成。
一些实施例中,步进系数sf
一些实施例中,差异函数用于描述所采集的原始图像与原始图像的估计值之间的差异,原始图像的估计值基于待测样品在视场F的真值图案的估计值、图案化的照明光的估计值和描述函数的估计值计算得到。
一些实施例中,差异函数为C
可能理解地,在对待测样品在视场F的真值图案、图案化的照明光和光学系统的描述函数中的一者或多者进行迭代以更新其估计值的过程中,若迭代未达到收敛,则需要一直进行迭代,相邻的两次迭代过程中,前一次更新得到的待测样品在视场F的真值图案的估计值,图案化的照明光的估计值,描述函数的估计值会作为后一次迭代输入值以继续更新待测样品在视场F的真值图案的估计值,图案化的照明光的估计值,描述函数的估计值。
步骤2200:在确定达到迭代收敛后,基于待测样品在视场F的真值图案、图案化的照明光和光学系统的描述函数的估计值计算得到重建后的图像。也即,在确定达到迭代收敛后,基于待测样品在视场F的真值图案的最新估计值、图案化的照明光的最新估计值和光学系统的描述函数的最新估计值计算得到重建后的图像。
可以有一种或多种确定策略来判断是否达到迭代收敛,下面详细说明。
请参照图22,一些实施例中,步骤2200通过以下步骤来确定是否达到迭代收敛:
步骤2210:获取代价函数,代价函数用于描述视场F所采集的多张原始图像分别与原始图像的估计值之间的差异的总量。
一些实施例中,代价函数为:
步骤2212:基于代价函数确定是否达到迭代收敛。
随着迭代次数的增加,代价函数会越趋近于0;为了减少计算量,可以在获取基本相同的重建效果的前提下,减少迭代次数,这样在保证重建效果的前提能够提高重建效率。因此,一些实施例中,在代价函数小于一预设的代价阈值时,则可以停止迭代,即确定达到迭代收敛。
请参照图23,一些实施例中,步骤2200通过以下步骤来确定是否达到迭代收敛;每迭代一次:
步骤2220:计算得到本次迭代后的图像(指本次迭代后的重建图像)。
步骤2222:基于本次迭代后的图像计算图像评价指标。
在评价重建图像的效果时,图像评价指标可以分为两大类:参考型与非参考型。参考型评价指标有:结构相似度(structure similarity,SSIM),峰值信噪比(peak signal-to-noise ratio,PSNR),均方误差(mean square error,MSE)等;参考型评价指标基于参考图像通过计算重建图像与参考图像之间的差异性得出评价指标,可以选择原始图像作为参考图像。非参考型评价指标常见有:变异系数(coefficient of variation,CV),图像熵(image entropy)等;非参考型评价指标直接对重建图像进行特征提取与计算得出评价指标。
一些实施例中,步骤2222所涉及的图像评价指标包括非参考型的图像评价指标,例如变异系数和/或图像熵。
步骤2224:基于本次迭代后的图像的图像评价指标,计算本次迭代后的收敛指标。
在图像重建中,不同的图像评价指标差异较大,不利于直观观察收敛情况,以及根据收敛情况确定最少迭代次数,因此步骤2224通过图像评价指标来进一步计算收敛指标。
一些实施例中,步骤2224计算本次迭代后的图像的图像评价指标与上一次迭代后的图像的图像评价指标之间的差异,称为第一差异;步骤2224计算本次迭代后的图像的图像评价指标与第一次迭代后的图像的图像评价指标之间的差异,称为第二差异;步骤2224计算所述第一差异和所述第二差异这两者的差异,并作为收敛指标。
步骤2226:基于本次迭代后的收敛指标,确定是否达到迭代收敛
例如,步骤2224计算第一差异和所述第二差异的百分比作为收敛指标,步骤2226在百分比大于预设百分比时,确定达到迭代收敛。
一个示例可以是:
以变异系数CV为例,定义收敛系数cf(convergence factor)为:
即:这是计算|CV
请参照图25,一些实施例中,步骤2200通过以下步骤来确定是否达到迭代收敛:
步骤2230:获取达到迭代收敛所需最少的迭代次数与步进系数的函数关系,步进系数包括步进系数sf
步骤2232:步进系数集合中遍历地选取步进系数的值,以基于函数关系确定最少的迭代次数。
一些实施例中,函数关系基于步进系数、迭代次数和迭代后的图像(即迭代后重建图像)的图像评价指标所建立。
图像评价指标请参照上文的说明,在此不再赘述。
步骤2234:在迭代次数达到上述最少的迭代次数时,则确定达到迭代收敛。
随机梯度下降方法是一种非线性收敛方法,在此非线性收敛方法的基础上,提出一种进一步加速收敛的策略,可以称作二次非线性收敛方法;具体来讲,是在对迭代步进k
遍历步进系数sf
由于三位空间不便于直观展示如何选取最优步进系数以实现最少迭代步数,为了简化测试情况,不妨约束sf
以上说明了步骤2200如何来判断是否达到迭代收敛。
本文一些实施例的图像重建方法,其重建图像的尺寸可以通过本文一些实施例的确定重建后的图像的尺寸的方法来确定。
下面对如何确定一个较优的重建图像的尺寸进行说明。
采用照明光通过物镜24进行投射,那么理论上重建图像的超分辨倍数为2倍,所以通常在进行图像重建时,重建图像是原始图像大小的两倍,即X/Y两个维度分别扩大为原来的2倍。但是在实际成像中,一方面,物镜24的数值孔径(Numerical aperture,NA)代表着理论的分辨率极限,实际光学系统不可能达到理论极限;另一方面,为了对待测样品进行清晰成像,待测样品在芯片表面的图案上相邻点间最小间距通常小于阿贝衍射极限分辨率
因此,为了减小重建图像的数据量与运算量,节省算力资源,提高重建算法的重建速度,一些实施例中提供一种确定重建后的图像(即重建图像)的尺寸的方法。
请参照图27,一些实施例中,确定重建后的图像的尺寸的方法包括以下步骤:
步骤3000:获取采集的原始图像,其中重建后的图像(即重建图像)由多张原始图像重建得到。
步骤3100:对原始图像进行傅立叶变换得到频谱图。
步骤3200:基于频谱图获取特征频率尺寸值f
特征频率尺寸值f
截止频率尺寸值f
步骤3300:基于特征频率尺寸值f
一些示例中,步骤3300基于特征频率尺寸值f
例如,重建后的图像为四边形,重建后的图像的一边的长度为2*f
重建后的图像的相邻的另一边的长度为2*f
再例如,重建后的图像为圆形,重建后的图像的直径为2*f
一些示例中,步骤3300基于重建原始图像的处理器的傅立叶变换的约束,以及特征频率尺寸值f
一些实施例中,重建原始图像的处理器可以和能够执行上文提及的重建算法的处理器为同一个处理器。
一些实施例中,重建原始图像的处理器可以为GPU。
一些实施例中,重建原始图像的处理器可以是构成本文的处理器40中的一部分。
一些实施例中,步骤3300从满足傅立叶变换的约束的值当中,基于其中大于第一值的最小值确定重建后的图像的尺寸;第一值为2*f
例如,重建后的图像为四边形,重建后的图像的两边的长度均为满足傅立叶变换的约束的值当中大于第一值的最小值。
再例如,重建后的图像为圆形,重建后的图像的直径为:满足傅立叶变换的约束的值当中大于第一值的最小值。
一些实施例中,步骤3300从满足傅立叶变换的约束的值当中,基于其中与第一值最接近的值确定重建后的图像的尺寸;第一值为2*f
例如,重建后的图像为四边形,重建后的图像的两边的长度均为满足傅立叶变换的约束的值当中与第一值最接近的值。
再例如,重建后的图像为圆形,重建后的图像的直径为:满足傅立叶变换的约束的值当中与第一值最接近的值。
一些实施例中,满足所述傅立叶变换的约束的值为2
一些实施例中,重建后的图像为矩形;一些实施例中,重建后的图像为正方形。
请参照图28,一些实施例中公开了一种图像重建方法,包括以下步骤:
步骤4000:获取多张采集的原始图像。
步骤4000中所涉及的原始图像的采集,可以通过本文一些实施例所公开的图像采集的方法或图像采集与图像重建算法并行的方法来进行原始图像的采集。
步骤4100:确定重建后的图像的尺寸。
步骤4200:基于步骤4100所确定的尺寸,通过多张原始图像重建得到重建后的图像。
其中,步骤4100可以通过本文所记载的一些实施例中的确定重建后的图像的尺寸的方法,来确定重建后的图像的尺寸。
一些实施例中,重建后的图像的尺寸至少由与所述待测样品图案所关联的特征频率尺寸值f
特征频率尺寸值f
截止频率尺寸值f
一些实施例中,重建后的图像的尺寸与一个或多个频率尺寸范围相关,一个或多个频率尺寸范围包括2*f
例如,重建后的图像为四边形,重建后的图像的一边的长度为2*f
重建后的图像的相邻的另一边的长度为2*f
再例如,重建后的图像为圆形,重建后的图像的直径为2*f
一些实施例中,重建后的图像的尺寸还与重建上述重建后的图像(即重建图像)的处理器的傅立叶变换的约束相关。一些实施例中,重建原始图像的处理器可以和上文提及的重建算法的处理器为同一个处理器。一些实施例中,重建原始图像的处理器可以为GPU。一些实施例中,重建原始图像的处理器可以是构成本文的处理器40中的一部分。
一些实施例中,重建后的图像的尺寸由满足傅立叶变换的约束的值当中大于第一值的最小值所确定,第一值为2*f
例如,重建后的图像为四边形,重建后的图像的两边的长度均为满足傅立叶变换的约束的值当中大于第一值的最小值。
再例如,重建后的图像为圆形,重建后的图像的直径为:满足傅立叶变换的约束的值当中大于第一值的最小值。
一些实施例中,重建后的图像的尺寸由满足傅立叶变换的约束的值当中最接近于第一值的值所确定,第一值为2*f
例如,重建后的图像为四边形,重建后的图像的两边的长度均为满足傅立叶变换的约束的值当中与第一值最接近的值。
再例如,重建后的图像为圆形,重建后的图像的直径为:满足傅立叶变换的约束的值当中与第一值最接近的值。
一些实施例中,满足所述傅立叶变换的约束的值为2
一些实施例中,重建后的图像为矩形;一些实施例中,重建后的图像为正方形。
下面以所采集的原始图像为1024×1024像素,且待测样品在芯片表面的图案为三角形排列为例进行说明。
图29为原始图像的一个示例,经二维傅里叶变换以后得到其频谱图,见图30;三角形图案会生成特征频率峰,如图30中箭头所指处,图中显示了六个特征频率峰,特征频率峰对应的特征频率尺寸值记为f
从图31中,可以获取到特征频率尺寸值f
为了确定使得重建图像的尺寸尽可能小,同时又包含重建后的所有频谱信息,这里以2·f
此外,在实际工程实践中,为了提升傅里叶变换的速度,可以选择图形处理器(Graphic Processing Unit,GPU)进行图像重建(即执行图像重建算法),在图形处理器上实现傅里叶变换,而非选择中央处理器(Central Processing Unit,CPU)。
在GPU上进行图像重建时,为了实现最优效率,通过约束傅立叶变换的长度为L=2
图34为一个示例中原始图像与重建图像的对比效果。
图34中的图(a)表示原始图像,图(b)表示原始图像中白色实线框选区域的局部放大图,图(c)为原始图像经二维傅里叶变换得到二维频谱图。由于待测样品在芯片表面的图案为三角形排列,因此其频谱图上会生成六个特征频谱峰(如水平向右黑色箭头所示),下文中将特征频谱峰简称为频谱峰。
图34中的图(d)表示重建图像,图(e)表示重建图像中白色实线框选区域的局部放大图,图(f)为重建图像经二维傅里叶变换得到二维频谱图。可以看到,重建图像的频谱图上生成有十二个频谱峰(如水平向右黑色箭头所示)。
分辨率(R)与频率(f)关系为:
其中,ps为物方像素大小,f为归一化频率。观察图(f)可见,频谱中共有十二个频谱峰,呈内外两环分布。内环六个频谱峰与图(c)相同(如水平向右黑色箭头所示),外环六个频谱峰(如水平向左黑色箭头所示)的频率是内环六个频谱峰对应频率的两倍,对应的分辨率也提高了两倍。分别选择原始图像和重建图像的局部进行放大,如图(b)和图(e)所示,通过图(b)和图(e)能够更加直观地观察到重建图像的分辨率提高了,实现了超分辨效果。
图35为一个示例中原始图像与重建图像的对比效果。第一列的两个图像分别为针对碱基A的原始图像和重建图像,第二列的两个图像分别为针对碱基C的原始图像和重建图像,第三列的两个图像分别为针对碱基G的原始图像和重建图像,第四列的两个图像分别为针对碱基T的原始图像和重建图像;从图中可以看到,针对ACGT四个碱基通道的原始图像和重建图像,其重建图像的分辨率显著提高,原始图像中无法分辨的相邻点在重建图像中可以很好地被分辨开来;同时重建图像的对比度也显著更高。
本文参照了各种示范实施例进行说明。然而,本领域的技术人员将认识到,在不脱离本文范围的情况下,可以对示范性实施例做出改变和修正。例如,各种操作步骤以及用于执行操作步骤的组件,可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。另外,如本领域技术人员所理解的,本文的原理可以反映在计算机可读存储介质上的计算机程序产品中,该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用,包括磁存储设备(硬盘、软盘等)、光学存储设备(CD至ROM、DVD、BluRay盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器,使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中,该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行,这样存储在计算机可读存储器中的指令就可以形成一件制造品,包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上,从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程,使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。
虽然在各种实施例中已经示出了本文的原理,但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。
前述具体说明已参照各种实施例进行了描述。然而,本领域技术人员将认识到,可以在不脱离本披露的范围的情况下进行各种修正和改变。因此,对于本披露的考虑将是说明性的而非限制性的意义上的,并且所有这些修改都将被包含在其范围内。同样,有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而,益处、优点、问题的解决方案以及任何能产生这些的要素,或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体,皆属于非排他性包含,这样包括要素列表的过程、方法、文章或设备不仅包括这些要素,还包括未明确列出的或不属于该过程、方法、系统、文章或设备的其他要素。此外,本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。
具有本领域技术的人将认识到,在不脱离本发明的基本原理的情况下,可以对上述实施例的细节进行许多改变。因此,本发明的范围应仅由权利要求确定。
- 一种导光装置及照明装置
- 一种自动调整导光性的LED照明装置
- 一种发生90度光偏转的光连接器元件检测装置
- 用于由初级光产生次级光的转换器、包括转换器的照明装置和制造转换器及照明装置的方法
- 用于由初级光产生次级光的转换器、包括这种转换器的照明装置以及用于制造所述转换器和照明装置的方法