掌桥专利:专业的专利平台
掌桥专利
首页

切片的焦点地图获取方法、装置、计算机设备及存储介质

文献发布时间:2023-06-19 13:46:35


切片的焦点地图获取方法、装置、计算机设备及存储介质

技术领域

本申请涉及人工智能技术领域,特别涉及一种切片的焦点地图获取方法、装置、计算机设备及存储介质。

背景技术

数字切片扫描仪将传统实物切片转化为全切片数字图像(WholeSlideImages,WSI),使得切片的存储更加便捷,并且后续可以通过人工智能相关的技术对切片进行分析。在将切片转化为数字图像的过程中,为了消除切片本身的起伏而导致的扫描时的聚焦误差,数字切片扫描仪会在对切片进行正式扫描之前,通过预扫描获得切片上多个采样点的焦点位置,即切片的焦点地图(FocusMap)。

相关技术中为了获取切片的焦点地图,对切片上的每个采样点进行轴向的逐步扫描,即,将数字切片扫描仪样品平台水平方向移动到采样位置后固定,逐步改变轴向位置对该采样点进行多次扫描,通过图像清晰度算法(例如Brenner梯度算法,通过计算相邻两个像素灰度差的平方得到图像清晰度计算结果)确定最佳焦面,记录采集到该最佳焦面时对应的数字切片扫描仪样品平台的轴向位置。通过对切片上的每个采样点都进行上述轴向步进扫描,确定出切片的焦点地图。

但由于数字切片扫描仪在预扫描过程中对每个采样点都需要进行轴向步进扫描并采集多张切片扫描图像,导致预扫描耗时较长,效率较低;但如果减少采样点的个数,则会降低焦点地图的精度。如何在快速获得切片的焦点地图的同时保证焦点地图的精度,是需要解决的技术问题。

发明内容

本申请实施例提供了一种切片的焦点地图获取方法、装置、计算机设备及存储介质,能够使得数字切片扫描仪在预扫描过程中,在保证焦点地图的精度的前提下快速生成焦点地图,提高生成焦点地图的速度。所述技术方案如下:

根据本申请的一个方面,提供了一种切片的焦点地图获取方法所述方法包括:

通过数字切片扫描仪获取所述切片的目标采样点的切片扫描图像;

基于所述切片扫描图像的图像内容进行离焦信息预测,得到所述切片扫描图像的离焦信息;所述离焦信息用于指示所述目标采样点的轴向位置与所述目标采样点的焦面位置之间的偏离程度;

根据所述离焦信息计算所述目标采样点的焦面位置;

基于所述目标采样点的焦面位置,生成所述焦点地图。

根据本申请的另一方面,提供了一种切片的焦点地图获取装置,所述装置包括:

获取模块,用于通过数字切片扫描仪获取所述切片的目标采样点的切片扫描图像;

预测模块,用于基于所述切片扫描图像的图像内容进行离焦信息预测,得到所述切片扫描图像的离焦信息;所述离焦信息用于指示所述目标采样点的轴向位置与所述目标采样点的焦面位置之间的偏离程度;

计算模块,用于根据所述离焦信息计算所述目标采样点的焦面位置;

地图生成模块,用于基于所述目标采样点的焦面位置,生成所述焦点地图。

根据本申请的另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如本申请各个方面提供的切片的焦点地图获取方法。

根据本申请的另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有计算机指令,所述计算机指令由处理器加载并执行以实现如本申请各个方面提供的切片的焦点地图获取方法。

根据本申请的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述切片的焦点地图获取方法。

本申请实施例至少包括如下有益效果:

通过在获取到目标采样点的切片扫描图像后,对切片扫描图像的图像内容进行离焦信息预测,得到目标采样点的离焦信息,进而基于离焦信息计算目标采样点的焦面位置后,生成焦点地图,提供了一种高效的获取焦点地图的方法,仅需对一个采样点采集一张切片扫描图像即可进行离焦信息预测,节省了对每个采样点都进行轴向多次扫描的耗时。

附图说明

为了更清楚地介绍本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。

图1是本申请一个示例性实施例提供的一种切片的焦点地图获取方法的示意图;

图2是本申请一个示例性实施例提供的一种计算机系统的结构框图;

图3是本申请一个示例性实施例提供的离焦信息预测模型的训练方法的流程图;

图4是本申请一个示例性实施例提供的离焦信息预测模型的训练过程的示意图;

图5是本申请一个示例性实施例提供的一种切片的焦点地图获取方法的流程图;

图6是本申请一个示例性实施例提供的焦点地图的示意图以及根据焦点地图对切片进行扫描的效果图;

图7是本申请一个示例性实施例提供的一种切片的焦点地图获取方法的流程图;

图8是本申请一个示例性实施例提供的一种切片的焦点地图获取方法的流程图;

图9是本申请一个示例性实施例提供的一种切片的焦点地图获取装置的结构框图;

图10是本申请一个示例性实施例提供的计算机设备的框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

为了本申请实施例所示方案易于理解,下面对本申请实施例中出现的名词进行介绍。

人工智能(Artificial Intelligence,AI):是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning,ML):是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

深度学习(DeepLearning,DL):是机器学习领域中的一个新的研究方向,通过学习样本数据的内在规律和表示层次,学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助,最终使得机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。

数字切片:即虚拟切片,为实体切片通过扫描转化后获得的,使得实体切片得以在计算机设备中存储,并且便于分析。以数字切片为病理切片为例,数字切片上包含有实体切片上的所有病变信息。

随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的神经网络等技术,具体通过下文实施例进行说明。

相关技术中通过改变样品平台的轴向位置对切片的每个采样点进行多次扫描,获得多张切片扫描图像,选取其中图像清晰度最高的一张切片扫描图像,将采集该切片扫描图像时样品平台的轴向位置作为该采样点的焦面位置,焦面位置即使得数字切片扫描仪能够准确对焦该采样点,获取清晰的切片扫描图像的样品平台的位置。由于对每个采样点进行多次扫描,导致预扫描耗时很长;若为了减少预扫描耗时而减少采样点个数,则会导致焦点地图的精度下降。因此相关技术中的焦点地图获取方式无法达到快速与高精度之间的平衡。本申请提出的方法通过获取目标采样点的一张切片扫描图片,调用离焦信息预测模型对其进行离焦信息预测,即能得到该目标采样点的焦面位置,使得在使用数字切片扫描仪进行预扫描的过程中可以快速的得到高精度的焦点地图。

图1示出了切片的焦点地图获取方法的示意图。针对数字切片扫描仪当前使用的物镜,预先训练用于预测采样点的离焦信息的深度学习网络,即图1中的离焦信息预测网络18。

如图1所示,切片14为适于显微镜检验或数字切片扫描仪扫描的极薄片,例如,病理切片、材料切片,等等。为了获得切片的焦点地图,预先在切片14上选取若干采样点,对采样点进行扫描,获取切片扫描图像。以切片14放置的样品平台12所在平面作为X-Y水平平面,与X-Y水平平面垂直的方向为轴向方向,即Z方向,定义Z方向的正方向为垂直与X-Y水平平面且指向天空的方向;通过在X-Y平面水平移动样品平台12,可以对不同的采样点进行扫描;通过在Z方向移动样品平台12,可以对同一个采样点进行轴向扫描,采集该采样点在不同轴向位置的切片扫描图像。

示例性的,将数字切片扫描仪的样品平台12沿水平方向移动到物镜10对准第i个采样点的位置,对第i个采样点采集一张图像,得到切片扫描图像16,然后通过调用离焦信息预测网络18对第i个采样点采集的切片扫描图像16进行计算,得到第i个采样点的离焦信息为:离焦量Z=-3.5μm。

对于切片上的每个采样点,重复上述的采集切片扫描图像和通过离焦信息预测网络获取离焦信息的步骤,得到每个采样点的离焦信息,最后通过插值计算将三维焦点地图中的表示采样点的离焦信息的离散数据点连续起来,得到整个切片的焦点地图。

图2示出了本申请一个示例性实施例提供的一种计算机设备的结构示意图。该计算机设备可以为数字切片扫描仪的一部分,也可以为与数字切片扫描仪相连的服务器。该设备包括:总线101、处理器102、存储器103、切片扫描图像采集组件104。

处理器102包括一个或者一个以上处理核心,处理器102通过运行软件程序以及模块,从而执行各种功能应用以及信息处理。

存储器103通过总线101与处理器102相连。

存储器103可用于存储至少一个指令,处理器102用于执行该至少一个指令,以实现下述方法实施例中的各个步骤。

此外,存储器103可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,易失性或非易失性存储设备包括但不限于:磁盘或光盘,电可擦除可编程只读存储器(Electrically-Erasable Programmable Read Only Memory,EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM),静态随时存取存储器(Static Random Access Memory,SRAM),只读存储器(Read-Only Memory,ROM),磁存储器,快闪存储器,可编程只读存储器(Programmable Read-Only Memory,PROM)。

切片扫描图像采集组件104可用于采集目标采样点的切片扫描图像。例如,切片扫描图像采集组件104可以为数字切片扫描仪中的物镜。

图3示出了本申请一个示例性实施例提供的离焦信息预测模型的训练方法的流程图。示例性的,该方法可由图2所示的计算机设备执行。该方法包括如下步骤:

步骤210:通过数字切片扫描仪获取轴向扫描图像集;

通过数字切片扫描仪轴向步进扫描,获取轴向扫描图像集。

示例性的,设置扫描步长为0.5μm。对任一采样点,通过数字切片扫描仪轴向步进扫描,每隔0.5μm扫描一次该采样点,获取该采样点的轴向扫描图像集。

可选地,通过图像清晰度算法确定轴向扫描图像集中最清晰的一张图像,将该图像作为聚焦图像,将扫描得到聚焦图像的样品平台的轴向位置作为离焦量Z=0μm的焦面位置。

步骤220:获取训练样本集;

训练样本集包括:样本采样点图像和样本采样点的离焦信息标签。

示例性的,对于步骤210中获取的轴向扫描图像集,取离焦量Z=-10μm到离焦量Z=+10μm,且扫描步长为0.5μm的共计21张扫描图像,每张扫描图像都有与该扫描图像对应的离焦量标签。将每张扫描图像随机切出9张672*672大小的图片块,并将扫描图像的离焦量标签赋予给每个672*672大小的图片块。通过这种方式得到一个包含21*9张样本采样点图像,以及与样本采样点图像对应的样本采样点的离焦信息标签的训练样本集。

示例性的,通过上述获取训练样本集的方法,获取n个训练样本集。n的数值越大,最终训练得到的模型的准确性越高,但同时耗费的计算资源也越大。示意性的,n取1000,即获取1000个训练样本集用于训练离焦信息预测模型。

可选地,进行数据集增强操作来扩充用于训练的数据集,例如,进行旋转和镜像操作。

步骤230:将样本采样点图像输入离焦信息预测模型进行离焦信息预测,得到样本的预测离焦信息;

将步骤220中获取到的训练样本集输入离焦信息预测模型,得到离焦信息预测模型输出的预测离焦信息。

离焦信息预测模型可以是AlexNet、MobileNetV3、InceptionV3、ResNet50中的至少一种。

步骤240:计算预测离焦信息和离焦信息标签之间的误差损失;

将步骤230中获得的离焦信息预测模型预测得到的预测离焦信息与训练样本集中的样本采样点的离焦信息标签做差,得到误差损失。

步骤250:基于误差损失对离焦信息预测模型进行训练。

基于步骤240中得到的预测离焦信息和离焦信息标签之间的误差损失对模型进行训练,即,使得离焦信息预测模型经过预测得到的预测离焦信息不断逼近样本采样点的离焦信息标签。

示例性的,采用误差反向传播算法对离焦信息预测模型进行误差损失的反向传播,对离焦信息预测模型中的模型参数进行更新。在满足训练结束条件的情况下,结束对离焦信息预测模型结束训练。

示例性的,训练结束条件包括:训练次数达到预设次数,或者,误差损失减小到预设阈值以下。

基于图3示出的离焦信息预测模型的训练方法的流程图,图4示出了以MobileNetV3神经网络为例的离焦信息预测模型的训练过程的示意图。

数字切片扫描仪32通过轴向步进扫描获取轴向扫描图像集。轴向扫描图像集经过切割、数据集增强等操作获取训练样本集34,训练样本集34中包括样本采样点图像和样本采样点的离焦信息标签。将训练样本集34输入离焦信息预测模型36,得到预测离焦信息38。通过计算预测离焦信息38和训练样本集34中的离焦信息标签之间的误差损失,对离焦信息预测模型进行训练。

图5示出了本申请一个示例性实施例提供的切片的焦点地图获取方法的流程图。示例性的,该方法可由图2所示的计算机设备执行。该方法包括如下步骤:

步骤320:通过数字切片扫描仪获取切片的目标采样点的切片扫描图像;

目标采样点为预先在切片上选取的采样点。在切片上随机选取多个采样点;或者,相隔固定间隔选取采样点;再或者,根据实际情况在切片的不同区域采用不同方式设置采样点,等等。本申请对设置采样点的个数和选取采样点的方式不加以限制。

示例性的,将切片置于数字切片扫描仪的样品平台上。对于目标采样点中的第i采样点,通过将数字切片扫描仪的样品平台水平方向移动到物镜对准第i采样点的位置,扫描获取切片的第i采样点的切片扫描图像。其中,i为大于1的整数,第i采样点为目标采样点中的任一采样点。

可选地,预先选定数字切片扫描仪的参考焦面位置。参考焦面位置可以是已经为切片上的目标采样点中的任一采样点确定的焦面位置;或者,参考焦面位置可以是根据上一个采样点计算得到的焦面位置。将数字切片扫描仪的样品平台沿水平方向移动到物镜对准第i采样点的位置,轴向移动到参考焦面位置进行扫描,扫描获取第i采样点的切片扫描图像。

步骤340:基于切片扫描图像的图像内容进行离焦信息预测,得到切片扫描图像的离焦信息;

离焦信息用于指示目标采样点的轴向位置与目标采样点的焦面位置之间的偏离程度。

示例性的,调用预先训练的离焦信息预测模型对切片扫描图像的图像内容进行离焦信息预测,得到切片扫描图像的离焦信息,其中,离焦信息预测模型是用于预测离焦信息的神经网络模型。

步骤360:根据离焦信息计算目标采样点的焦面位置;

上述步骤中得到的离焦信息是通过数字切片扫描仪对目标采样点进行扫描得到的切片扫描图像获得的,因此通过该切片扫描图像得到的离焦信息是相对于得到该切片扫描图像时样品平台所在的轴向位置的相对信息。为了获得目标采样点的焦面位置,即目标采样点的焦面的绝对轴向位置,还需要经过参考焦面位置与离焦信息的结合计算得到。

示例性的,已知参考点的焦面位置,记录数字切片扫描仪的样品平台在参考点的焦面位置时的Z轴坐标为aμm,aμm即为参考点的焦面的绝对轴向位置。将数字切片扫描仪的样品平台的轴向位置固定在aμm的位置不再改变,定义该位置为Z=0μm。在通过第i采样点的切片扫描图像得到第i采样点的离焦信息为离焦量Z=bμm时,基于离焦信息和参考点的焦面位置可计算得到第i采样点的焦面位置为(a+b)μm,其中,b为一个可正可负的数值,b的符号用于指示第i采样点的焦面位置位于参考点的焦面的绝对轴向位置的上方或下方。

示例性的,将第i采样点计算得到的焦面位置确定为第i+1采样点的参考焦面位置。已知第一采样点的焦面位置为aμm,以第一采样点的焦面位置作为第二采样点的参考焦面位置,即定义第一采样点的焦面位置Z=0μm,通过第二采样点的切片扫描图像得到第二采样点的离焦信息为离焦量Z=bμm,基于离焦信息和参考焦面位置可计算得到第二采样点的焦面位置为(a+b)μm;接着,以第二采样点的焦面位置作为第三采样点的参考焦面位置,即定义第二采样点的焦面位置Z=0μm,通过第三采样点的切片扫描图像得到第三采样点的离焦信息为离焦量Z=cμm,基于离焦信息和参考焦面位置可计算得到第三采样点的焦面位置为(a+b+c)μm。后续采样点以此类推,基于离焦信息和参考焦面位置计算目标采样点的焦面位置。其中,b和c皆为可正可负的数值,b的符号用于指示第二采样点的焦面位置位于第一采样点的焦面位置的上方或下方,c的符号用于指示第三采样点的焦面位置位于第二采样点的焦面位置的上方或下方,后续离焦量以此类推。

步骤380:基于目标采样点的焦面位置,生成焦点地图。

上述步骤中获得了目标采样点的焦面位置,该焦面位置为数字切片扫描仪的样品平台轴向所在的绝对位置。采样点的焦面位置为离散的数据点,因此需要通过插值计算生成在空间中连续的焦点地图。插值计算是指在离散数据的基础上补插连续函数,使得连续的曲面或曲线通过全部给定的离散数据点。插值方法可以选择通过临近的两点进行插值计算、线性插值计算、三次样条插值计算,等等。本申请对插值计算的方法不加以限制。

通过插值计算基于离散的目标采样点的焦面位置生成连续的焦点地图,如图6中的焦点地图22所示。图6中的切片扫描图像24为预扫描中获得的,通过调用离焦信息预测模型对该切片扫描图像进行计算,得到离焦量为Z=3.8μm,再结合参考焦面位置得到该采样点的焦面位置,记入焦点地图中。在正式扫描的过程中,数字切片扫描仪按照焦点地图中指示的离焦量控制样品平台的轴向移动,获取正式扫描出的切片扫描图像26。通过图6中的预扫描过程中获得的切片扫描图像24和正式扫描中经过焦点地图校正轴向位置后获得的切片扫描图像26的对比,可以看到经过焦点地图的校正,数字切片扫描仪在正式扫描中可以获得更清晰的切片扫描图像。

综上所述,本实施例提供的方法通过对数字切片扫描仪获取的切片的目标采样点的切片扫描图像进行离焦信息预测,得到切片扫描图像的离焦信息,进而根据离焦信息获得目标采样点的焦面位置,基于焦面位置生成焦点地图,提供了一种节省预扫描耗时,且方便高效的切片的焦点地图获取方法。

本申请提供的方法可以大量节省数字切片扫描仪的预扫描过程的耗时,进而大幅提高数字切片扫描仪的扫描效率。

示例性的,假设采集每张切片扫描图像的曝光时间t

而本申请提供的方法仅需在参考点进行轴向扫描,采集15张切片扫描图像,对其余采样点仅需采集1张切片扫描图像即可预测离焦信息。即,对于参考点来说,耗费的时间t

通过上述计算可得,t

在对切片上的目标采样点进行扫描获取切片扫描图像之前,先选取参考点,获得该参考点的焦面位置,将该参考点的焦面位置作为参考焦面位置,再进行后续对目标采样点的扫描,获得目标采样点基于参考焦面位置的离焦信息。下述实施例中详细阐述这一过程。

图7示出了本申请一个示例性实施例提供的切片的焦点地图获取方法的流程图。示例性的,该方法可由图2所示的计算机设备执行。该方法包括如下步骤:

步骤410:对参考点进行轴向扫描,得到参考点的焦面位置;

参考点可以为目标采样点中的任意一个采样点;或者,参考点为数字切片扫描仪按一定顺序进行扫描时扫描的第一个采样点,等等。本申请对选取参考点的方式不加以限制。

通过数字切片扫描仪获取参考点在轴向上的切片扫描图像集,该切片扫描图像集包括按照固定扫描间隔采集的至少两个切片扫描图像;确定切片扫描图像集中清晰度最高的目标切片扫描图像;将目标切片扫描图像的采集位置,确定为参考点的焦面位置。

示例性的,对参考点进行轴向步进扫描,得到参考点的焦面位置。

示例性的,选取数字切片扫描仪按一定顺序进行扫描时扫描的第一个采样点作为参考点,按照扫描间隔固定为0.5μm进行扫描,获取参考点轴向上的切片扫描图像集。使用图像清晰度算法,例如,Brenner梯度图像清晰度算法,对切片扫描图像集进行图像清晰度计算,确定图像清晰度最高的切片扫描图像。获取采集该切片扫描图像时样品平台的轴向位置,将该轴向位置确定为参考点的焦面位置。

步骤422:将数字切片扫描仪的样品平台的轴向位置调整至参考焦面位置;

通过上述步骤获取到参考点的焦面位置,将该焦面位置作为数字切片扫描仪对后续采样点进行扫描的参考焦面位置。将数字切片扫描仪的样品平台轴向移动至参考焦面位置。

步骤424:通过数字切片扫描仪获取样品平台在参考焦面位置时的第i采样点的切片扫描图像;

步骤422中已将样品平台调整至参考焦面位置。在这一步骤中,将样品平台水平方向移动至物镜对准第i采样点的位置,通过数字切片扫描仪对第i采样点进行扫描获得第i采样点的切片扫描图像。

步骤442:调用离焦信息预测模型对第i个采样点的切片扫描图像的图像内容进行离焦信息预测,得到切片扫描图像的离焦信息;

离焦信息预测模型为针对数字切片扫描仪当前使用的物镜的倍数提前训练好的神经网络模型。训练离焦信息预测模型的具体步骤可参见步骤340中的说明,这里不再赘述。

调用离焦信息预测模型对步骤424中获取的第i采样点的切片扫描图像进行离焦信息预测。离焦信息预测模型根据第i采样点的切片扫描图像的图像内容进行离焦信息预测,得到切片扫描图像的离焦信息,例如,得到第i采样点的离焦量。

完成步骤442中对第i个采样点的切片扫描图像进行离焦信息预测后,对第i+1个采样点进行相同的操作,即,使得i=i+1,重新执行步骤424,直至所有的采样点都完成离焦信息预测。

步骤462:以参考焦面位置为基准,以切片扫描图像预测的离焦信息为相对离焦信息,计算第i采样点的焦面位置;

步骤442中得到的离焦信息为相对于参考焦面位置而计算得到的离焦信息,因此,为了获取第i采样点的焦面位置,即,第i采样点的焦面所在的绝对轴向位置,需要将参考焦面位置和离焦信息进行相加计算。

示例性的,在步骤410中得到参考点的焦面位置时,记录参考点的焦面位置的绝对轴向位置为aμm,定义参考点的焦面位置为参考焦面位置,即该平面的离焦量为Z=0μm。在步骤442中得到第i参考点的离焦信息为离焦量Z=bμm的情况下,计算得到第i参考点的焦面位置为(a+b)μm。

步骤480:基于目标采样点的焦面位置,生成焦点地图。

上述步骤中获得了目标采样点的焦面位置,该焦面位置为数字切片扫描仪的样品平台轴向所在的绝对位置。采样点的焦面位置为离散的,因此需要通过插值计算生成在空间中连续的焦点地图。插值计算是指在离散数据的基础上补插连续函数,使得连续的曲面或曲线通过全部给定的离散数据点。插值方法可以选择通过临近的两点进行插值计算、线性插值计算、三次样条插值计算,等等。本申请对插值计算的方法不加以限制。

综上所述,本实施例提供的切片的焦点地图获取方法,通过先对参考点进行轴向扫描获取参考点的焦面位置,将样品平台轴向固定在该焦面位置再对后续采样点进行扫描和预测,进而生成焦点地图,提供了一种在整个预扫描过程中不需要轴向移动样品平台的切片的焦点地图获取方法,使得预扫描的过程得以快速的实现,提高了数字切片扫描仪获得切片的焦点地图的效率。

对于表面起伏较大的切片,采用基于图7所示实施例的方法获取焦点地图可能会遇到问题,例如,采样点与参考点的轴向位置差超出离焦信息预测网络可以准确预测的范围。针对该问题,可以在预扫描的过程中通过调整参考焦面位置的方法来解决。

图8示出了本申请一个示例性实施例提供的切片的焦点地图获取方法的流程图。示例性的,该方法可由图2所示的计算机设备执行。该方法包括如下步骤:

步骤510:对第一参考点进行轴向扫描,得到第一参考点的焦面位置;

第一参考点可以为目标采样点中的任意一个采样点;或者,第一参考点为数字切片扫描仪按一定顺序进行扫描时扫描的第一个采样点,等等。本申请对选取第一参考点的方式不加以限制。

通过数字切片扫描仪获取第一参考点在轴向上的切片扫描图像集,该切片扫描图像集包括按照固定扫描间隔采集的至少两个切片扫描图像;确定切片扫描图像集中清晰度最高的目标切片扫描图像;将目标切片扫描图像的采集位置,确定为第一参考点的焦面位置。

示例性的,选取数字切片扫描仪按一定顺序进行扫描时扫描的第一个采样点作为第一参考点,按照扫描间隔固定为0.5μm进行扫描,获取第一参考点轴向上的切片扫描图像集。使用Brenner梯度图像清晰度算法对切片扫描图像集进行图像清晰度计算,确定图像清晰度最高的切片扫描图像。获取采集该切片扫描图像时样品平台的采集位置,将该位置确定为第一参考点的焦面位置。

步骤522:将数字切片扫描仪的样品平台的轴向位置调整至第一参考点的焦面位置;

通过上述步骤获取到第一参考点的焦面位置,将该焦面位置作为数字切片扫描仪对后续采样点进行扫描的参考焦面位置。将数字切片扫描仪的样品平台轴向移动至第一参考点的焦面位置。

步骤524:通过数字切片扫描仪获取样品平台在第i采样点对应的参考焦面位置时的第i采样点的切片扫描图像;

步骤522中已将样品平台调整至参考焦面位置,即第一参考点的焦面位置。在这一步骤中,将样品平台水平方向移动至物镜对准第i采样点的位置,通过数字切片扫描仪对第i采样点进行扫描获得第i采样点的切片扫描图像。

步骤542:调用离焦信息预测模型对第i采样点的切片扫描图像的图像内容进行离焦信息预测,得到切片扫描图像的离焦信息;

离焦信息预测模型为针对当前使用的物镜的倍数提前训练好的神经网络模型。训练离焦信息预测模型的具体步骤可参见步骤340中的说明,这里不再赘述。

调用离焦信息预测模型对步骤424中获取的第i采样点的切片扫描图像进行离焦信息预测。离焦信息预测模型根据第i采样点的切片扫描图像的图像内容进行离焦信息预测,得到切片扫描图像的离焦信息,例如,得到第i采样点的离焦量。

步骤544:判断第i采样点的切片扫描图像预测的离焦信息的绝对值是否大于预定门限的绝对值;

上述步骤中使用的离焦信息预测模型为基于样本采样点图像和样本采样点图像的离焦信息标签训练得到的,样本采样点图像的离焦信息标签属于目标取值范围内,预定门限是基于该目标取值范围来确定的。

示例性的,在训练离焦信息预测模型时采用的训练样本集包括离焦量从Z=-10μm到Z=10μm范围内的样本采样点图像和该样本采样点图像对应的离焦信息标签,该离焦信息标签属于目标取值范围内,即±10μm。

示例性的,确定预定门限为不超过目标取值范围的二分之一的数值,例如,±2μm,±3μm,±5μm,等等。选取的预定门限的绝对值越小,最终获得的切片的焦点地图的精度越高,但是由于样品平台的轴向位置移动变得更加频繁,会导致耗时的增加。

通过步骤542调用离焦信息预测模型预测得到第i采样点的离焦信息,将第i采样点的离焦信息的绝对值与预定门限的绝对值进行比较。在第i采样点的离焦信息的绝对值大于预定门限的绝对值的情况下,执行步骤546;在第i采样点的离焦信息的绝对值不大于预定门限的绝对值的情况下,保持样品平台的轴向位置不变,对第i+1采样点进行离焦信息预测,即,使得i=i+1,重新执行步骤524,直至对所有采样点都完成预测。

步骤546:将第i采样点的焦面位置更新为第i+1采样点对应的参考焦面位置;

第i采样点的离焦信息的绝对值大于预定门限的绝对值的情况下,执行本步骤。

通过步骤542得到第i采样点的离焦信息,该离焦信息的绝对值大于预定门限的绝对值代表了切片表面在第i采样点区域附近可能有较大起伏。为了使得对后续采样点的预测不超出离焦信息预测模型的预测范围,即训练离焦信息预测模型时采用的训练样本集中离焦信息标签属于的目标取值范围,将第i采样点的焦面位置更新为第i+1采样点对应的参考焦面位置。

示例性的,设定预定门限为±3μm,对第i采样点进行切片扫描图像获取时的参考焦面位置的绝对位置为aμm,通过离焦信息预测模型预测得到第i采样点的离焦量为Z=bμm。在判断b的绝对值大于3的情况下,将第i采样点的焦面位置更新为第i+1采样点对应的参考焦面位置,即,将数字切片扫描仪的样品平台轴向移动到第i采样点的焦面位置,记录第i采样点的焦面位置的绝对位置为(a+b)μm,并将第i采样点的焦面位置定义为离焦量为Z=0μm的参考焦面位置,对第i+1采样点进行采样预测操作。

完成步骤546之后,对第i+1采样点进行离焦信息预测,即,使得i=i+1,重新执行步骤524,直至对所有采样点都完成预测。

步骤562:以参考焦面位置为基准,以切片扫描图像预测的离焦信息为相对离焦信息,计算第i采样点的焦面位置;

步骤542中得到的离焦信息为相对于参考焦面位置而计算得到的离焦信息,因此,为了获取第i采样点的焦面位置,即,第i采样点的焦面所在的绝对轴向位置,需要结合参考焦面位置和离焦信息进行相加计算。

示例性的,在步骤510中得到参考点的焦面位置时,记录参考点的焦面位置的绝对轴向位置为aμm,定义参考点的焦面位置为参考焦面位置,即该平面的离焦量为Z=0μm。在步骤542中得到第i采样点的离焦信息为离焦量Z=bμm的情况下,计算得到第i采样点的焦面位置为(a+b)μm。在b的绝对值大于预定门限的绝对值的情况下,将第i采样点的焦面位置(a+b)μm作为第i+1采样点参考焦点位置,得到第i+1采样点的离焦信息为离焦量Z=cμm,得到第i+1采样点的焦面位置为(a+b+c)μm。

步骤580:基于目标采样点的焦面位置,生成焦点地图。

上述步骤中获得了目标采样点的焦面位置,该焦面位置为数字切片扫描仪的样品平台轴向所在的绝对位置。采样点的焦面位置为离散的,因此需要通过插值计算生成在空间中连续的焦点地图。插值计算是指在离散数据的基础上补插连续函数,使得连续的曲面或曲线通过全部给定的离散数据点。插值方法可以选择通过临近的两点进行插值计算、线性插值计算、三次样条插值计算,等等。本申请对插值计算的方法不加以限制。

可选地,本实施例中的步骤544可以省略,即执行完步骤542之后,依次执行步骤546、步骤562、步骤580。在这种执行方式中,在对第i采样点作出离焦信息预测后,将样品平台移动到预测得到的第i采样点的焦面位置,作为第i+1采样点对应的参考焦面位置,在该参考焦面位置采集第i+1采样点的切片扫描图像。采用这种方式获得的焦点地图精度较高,但由于对于每个采样点进行离焦信息的预测之前都有可能会要对数字切片扫描仪的样品平台做一次轴向移动,因此耗时较长。

综上所述,本实施例提供的切片的焦点地图获取方法,通过在两个采样点之间轴向位置相差较大的情况下,更新参考焦面位置,基于更新后的参考焦面位置获取后续采样点的切片扫描图像,并计算切片扫描图像的离焦信息,提供了一种根据实际情况调整样品平台轴向位置的切片的焦点地图获取方法,对于表面起伏较大的切片,通过更新参考焦面位置的方法使得采样点的轴向位置不超出离焦预测模型的预测范围,使得获取的切片的焦点地图精度更高。

在医院中,医生通过对病理切片的分析获得有关病情的信息,这就需要用到数字切片扫描仪将实体的病理切片转换为数字切片,方便医生通过计算机设备对病理切片进行分析。数字切片扫描仪先会对病理切片进行预扫描,在预扫描过程中获得该病理切片的焦点地图;然后再对该病理切片进行正式扫描,在正式扫描中通过焦点地图指示的离焦信息将样品平台的轴向位置移动至焦面位置,获取清晰的切片扫描图像,从而将切片扫描图像转换为数字切片,存储在计算机设备中。

采用本申请的焦点地图获取方法对病理切片进行预扫描时,可以采用两种方式快速获取精度高的焦点地图。对于表面起伏不大的病理切片,通过对病理切片上的参考点进行轴向扫描,将参考点的焦面位置作为参考焦面位置,基于参考焦面位置完成对后续所有点的离焦信息预测,这种方法可以在最短时间内获取病理切片的焦点地图;对于表面起伏较大的病理切片,根据实际情况改变参考焦面位置,在相邻的采样点之间轴向位置差超过预定值时,更新参考焦面位置,以保证对后续采样点的离焦信息的预测都在离焦信息预测模型可以准确预测的范围内,在保证了焦点地图的高精度的情况下,做到快速的生成病理切片的焦点地图。

下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。

图9是本申请一个示例性实施例提供的一种切片的焦点地图获取装置的结构框图。所述装置包括:

获取模块920,用于通过数字切片扫描仪获取所述切片的目标采样点的切片扫描图像;

预测模块940,用于基于所述切片扫描图像的图像内容进行离焦信息预测,得到所述切片扫描图像的离焦信息;所述离焦信息用于指示所述目标采样点的轴向位置与所述目标采样点的焦面位置之间的偏离程度;

计算模块960,用于根据所述离焦信息计算所述目标采样点的焦面位置;

地图生成模块980,用于基于所述目标采样点的焦面位置,生成所述焦点地图。

在一个可能的设计中,所述预测模块940,用于调用离焦信息预测模型对所述切片扫描图像的图像内容进行离焦信息预测,得到所述切片扫描图像的离焦信息;其中,所述离焦信息预测模型是用于预测离焦信息的神经网络模型。

在一个可能的设计中,所述离焦信息预测模型是采用如下步骤训练得到的:通过所述数字切片扫描仪获取轴向扫描图像集;获取训练样本集,所述训练样本集包括:样本采样点图像和所述样本采样点的离焦信息标签;将所述样本采样点图像输入所述离焦信息预测模型进行离焦信息预测,得到所述样本的预测离焦信息;计算所述预测离焦信息和所述离焦信息标签之间的误差损失;基于所述误差损失对所述离焦信息预测模型进行训练。

在一个可能的设计中,所述获取模块920,用于将所述数字切片扫描仪的样品平台的轴向位置调整至参考焦面位置,所述参考焦面位置是已经为所述切片中的一个采样点确定的焦面位置;通过所述数字切片扫描仪获取所述样品平台在所述参考焦面位置时的所述第i采样点的切片扫描图像;所述计算模块960,用于以所述参考焦面位置为基准,以所述切片扫描图像预测的离焦信息为相对离焦信息,计算所述第i采样点的焦面位置。

在一个可能的设计中,所述参考焦面位置包括所述切片中的第一参考点的焦面位置;所述获取模块920,还用于通过所述数字切片扫描仪获取所述第一参考点在轴向上的切片扫描图像集,所述切片扫描图像集包括按照固定扫描间隔采集的至少两个切片扫描图像;确定所述切片扫描图像集中清晰度最高的目标切片扫描图像;将所述目标切片扫描图像的采集位置,确定为所述第一参考点的焦面位置。

在一个可能的设计中,所述获取模块920,还用于将所述第i采样点的焦面位置更新为第i+1采样点对应的所述参考焦面位置。

在一个可能的设计中,所述离焦信息预测由离焦信息预测模型执行,所述离焦信息预测模型是基于样本采样点图像和所述样本采样点图像的离焦信息标签训练得到的,所述离焦信息标签属于目标取值范围内,所述预定门限是基于所述目标取值范围来确定的。

在一个可能的设计中,所述离焦信息预测模型可以是AlexNet、MobileNetV3、InceptionV3、ResNet50中的至少一种。

图10是根据一示例性实施例示出的一种终端的结构示意图。所述终端1000包括中央处理单元(Central Processing Unit,CPU)1001、包括随机存取存储器(Random AccessMemory,RAM)1002和只读存储器(Read-Only Memory,ROM)1003的系统存储器1004,以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述计算机设备1000还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(Input/Output,I/O系统)1006,和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。

所述基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中所述显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。所述基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1007及其相关联的计算机设备可读介质为计算机设备1000提供非易失性存储。也就是说,所述大容量存储设备1007可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory,CD-ROM)驱动器之类的计算机设备可读介质(未示出)。

不失一般性,所述计算机设备可读介质可以包括计算机设备存储介质和通信介质。计算机设备存储介质包括以用于存储诸如计算机设备可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机设备存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable ReadOnly Memory,EPROM)、带电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,EEPROM),CD-ROM、数字视频光盘(Digital Video Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机设备存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。

根据本公开的各种实施例,所述计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机设备运行。也即计算机设备1000可以通过连接在所述系统总线1005上的网络接口单元1012连接到网络1011,或者说,也可以使用网络接口单元1012来连接到其他类型的网络或远程计算机设备系统(未示出)。

所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理器1001通过执行该一个或一个以上程序来实现上述切片的焦点地图获取方法的全部或者部分步骤。

在示例性实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述各个方法实施例提供的切片的焦点地图获取方法。

在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中,通信设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该通信设备执行上述方面所述的切片的焦点地图获取方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

技术分类

06120113806055