基于图像的CNV活动性病灶检测方法及装置、电子设备

技术领域

本发明涉及图像处理领域，具体而言，涉及一种基于图像的CNV活动性病灶检测方法、装置、电子设备以及计算机存储介质。

背景技术

湿性年龄相关性黄斑变性(Wet Age-related Macular Degeneration,wAMD)由于脉络膜新生血管(Choroidal Neovascularization,CNV)的形成,可引起黄斑下液体及脂质渗漏、纤维疤痕产生，是一种与年龄相关的，发生在黄斑区域的退行性疾病。目前对于该疾病的判断，还是基于人工基于经验判断，标准不一，效率低下，准确性低。

随着人工智能技术的普及，急需一种智能检测技术，代替人工进行识别，提高准确性和效率。

发明内容

本申请实施例提供了一种基于图像的CNV活动性病灶检测方法，该方法提高了对代表CNV特征性病灶的检出率和效率。

本申请实施例提供了一种基于图像的CNV活动性病灶检测方法，包括：

获取待检测的光学相干断层扫描图像；

通过特征金字塔网络提取所述光学相干断层扫描图像多张不同尺寸的特征图；

通过区域生成网络在每张特征图中获得不同尺寸和不同长宽比的多个病灶候选区域；

通过分类回归网络根据多个病灶候选区域确定代表CNV活动性的病灶区域。

在一实施例中，在所述通过特征金字塔网络提取所述光学相干断层扫描图像多张不同尺寸的特征图之前，所述方法还包括：

根据预设的扫描区域，对所述光学相干断层扫描图像进行裁剪。

在一实施例中，所述不同尺寸包括128*128、256*256、512*512；所述不同长宽比包括1:2、1:1、2:1；所述病灶候选区域共9个。

在一实施例中，所述特征金字塔网络、区域生成网络和分类回归网络一起构成目标检测模型；在所述获取待检测的光学相干断层扫描图像之前，所述方法还包括：

获取已知病灶坐标的原始扫描图像；

从所述原始扫描图像中截取扫描区域作为第一样本图像，并更新所述第一样本图像中的病灶坐标；

对所述第一样本图像进行图像增强，得到第二样本图像，并更新所述第二样本图像的病灶坐标；

利用已知病灶坐标的第一样本图像和第二样本图像训练所述目标检测模型。

在一实施例中，对所述第一样本图像进行图像增强，包括：

对所述第一样本图像进行图像亮度变化或者随机旋转。

在一实施例中，在所述通过分类回归网络根据多个病灶候选区域确定代表CNV活动性的病灶区域之后，所述方法还包括：

根据所述代表CNV活动性的病灶区域的坐标，映射得到所述光学相干断层扫描图像中的病灶位置；

输出标记病灶位置的光学相干断层扫描图像。

本申请实施例还提供了一种基于图像的CNV活动性病灶检测装置，包括：

图像获取模块，用于获取待检测的光学相干断层扫描图像；

特征提取模块，用于通过特征金字塔网络提取所述光学相干断层扫描图像多张不同尺寸的特征图；

候选获得模块，用于通过区域生成网络在每张特征图中获得不同尺寸和不同长宽比的多个病灶候选区域；

分类回归模块，用于通过分类回归网络根据多个病灶候选区域确定代表CNV活动性的病灶区域。

在一实施例中，所述特征金字塔网络、区域生成网络和分类回归网络一起构成目标检测模型，所述装置还包括：

样本获取模块，用于获取已知病灶坐标的原始扫描图像；

样本截取模块，用于从所述原始扫描图像中截取扫描区域作为第一样本图像，并更新所述第一样本图像中的病灶坐标；

样本变化模块，用于对所述第一样本图像进行图像增强，得到第二样本图像，并更新所述第二样本图像的病灶坐标；

模型训练模块，用于利用已知病灶坐标的第一样本图像和第二样本图像训练所述目标检测模型。

本申请实施例还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行以上基于图像的CNV活动性病灶检测方法。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成以上基于图像的CNV活动性病灶检测方法。

本申请上述实施例提供的技术方案，获取待检测的光学相干断层扫描图像，通过特征金字塔网络提取所述光学相干断层扫描图像多张不同尺寸的特征图，通过区域生成网络在每张特征图中获得不同尺寸和不同长宽比的多个病灶候选区域，通过分类回归网络根据多个病灶候选区域确定代表CNV活动性的病灶区域，提高了对代表CNV特征性病灶的检出率以及检测效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的基于图像的CNV活动性病灶检测方法的应用场景示意图；

图2是本申请实施例提供的一种电子设备的示意图；

图3是本申请实施例提供的基于图像的CNV活动性病灶检测方法的流程示意图；

图4是本申请一实施例提供的目标检测模型的训练流程示意图；

图5是本申请一实施例提供的目标检测模型的完整训练流程示意图；

图6是本申请一实施例提供的样本图像的预处理过程；

图7为本申请一实施例示出的基于图像的CNV活动性病灶检测装置框图；

图8是图7对应实施例的基础上本申请另一实施例示出的基于图像的CNV活动性病灶检测装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1为本申请实施例提供的基于图像的CNV活动性病灶检测方法的应用场景示意图。如图1所示，该应用场景包括客户端110和服务端120，客户端110可以向服务端110发送已至病灶坐标的光学相干断层扫描图像(称为原始扫描图像)，进而服务端120可以从原始扫描图像中截取扫描区域，得到的图像称为第一样本图像，并更新第一样本图像的病灶坐标，采用多种数据增强方式将原始扫描图像进行数据增强，得到的图像称为第二样本图像(第二样本图像可以有多张)，并更新第二样本图像的病灶坐标，将已知病灶坐标的第一样本图像和第二样本图像合并得到新数据集。利用新数据集训练基于图像的CNV活动性病灶检测模型。在训练好基于图像的CNV活动性病灶检测模型之后，服务端120可以利用此基于图像的CNV活动性病灶检测模型采用本申请实施例提供的方法识别待检测的光学相干断层扫描图像中的病灶区域。

图2是本申请实施例提供的一种电子设备的示意图。该电子设备210可以作为服务端120，该电子设备210包括：处理器230；用于存储处理器230可执行指令的存储器220；其中，所述处理器230被配置为执行本申请实施例提供的基于图像的CNV活动性病灶检测方法。通讯接口240，用于电子设备210与外部设备的通讯；通讯总线250用于存储器220、处理器230和通讯接口240之间的通讯。

其中，存储器220可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)，可编程只读存储器(Programmable Red-Only Memory,PROM)，只读存储器(Read-Only Memory,ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器中还存储有多个模块，分别借由该处理器执行，以完成下述基于图像的CNV活动性病灶检测方法步骤。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器230执行以完成下述基于图像的CNV活动性病灶检测方法。

图3是本申请实施例提供的基于图像的CNV活动性病灶检测方法的流程示意图。如图3所示，该检测方法可以包括以下步骤S310-步骤S340。

步骤S310：获取待检测的光学相干断层扫描图像。

为进行区分，待检测的光学相干断层扫描图像是指未知是否存在代表CNV活动性的病灶区域的光学相干断层扫描图像。已知病灶坐标的光学相干断层扫描图像可以称为原始扫描图像，下文中的从原始扫描图像中截取的扫描区域可以称为第一样本图像，对第一样板图像进行图像增强后得到的图像可以称为第二样本图像。

其中，图像截取是指根据规定的裁剪尺寸，从原始OCT(Optical CoherenceTomography，光学相干断层扫描)图像中截取OCT B扫描图像，过滤掉左侧的en-face OCT图像和下方的基本信息，同时根据裁剪尺寸更新病灶坐标。

图像增强，也叫图像扩充、图像增广，通过对第一样本图像采用明暗变化、扭曲、裁剪、水平/竖直翻转、加入高斯/椒盐噪声、缩放等方法进行变化。从而扩充原数据集，增加模型泛化能力。

在一实施例中，获取到待检测的光学相干断层扫描图像之后，服务端可以根据预设的扫描区域，对待检测的光学相干断层扫描图像进行裁剪。

其中，裁剪也称为图像截取，预设的扫描区域可以是过滤掉左侧的en-face OCT图像和下方的基本信息后的区域。从待检测的光学相干断层扫描图像中截取预设的扫描区域作为模型的输入。

步骤S320：通过特征金字塔网络提取所述光学相干断层扫描图像多张不同尺寸的特征图。

特征图用来表征图像的特征。随着卷积块的增加，会出现特征图减小，原图上的小目标在特征图上的信息会变小或者消失。本申请实施例通过特征金字塔网络(FeaturePyramid Network,FPN)，即骨干网络，可以输出不同尺寸的多张特征图。也就是说，特征金字塔最后卷积层输出的特征图用于预测，中间卷积层输出的特征图也用于预测。同一病灶的不同实例之间在尺度和形状上具有多样性，且存在相当一部分病灶具有较小的尺寸，为进一步提升模型效果，本申请加入了FPN，实现多尺度下的检测。若不采用FPN时，只用最后卷积层输出的特征图进行预测，容易发生漏检的情况。

特征金字塔网络可以提前训练得到。Backbone(骨干网络)可以采用ResNet50、ResNet101、ResNeXt50_32x4d和ResNeXt101_32x8d进行特征提取。

步骤S330：通过区域生成网络在每张特征图中获得不同尺寸和不同长宽比的多个病灶候选区域。

其中，病灶候选区域是指可能属于病灶区域的候选框(称为anchor)。本申请实施例可以采用Two-stage类别的目标检测算法，先由算法生成一系列不同尺寸和不同长宽比的多个病灶候选区域，再通过卷积神经网络进行样本分类。Two-stage类别的目标检测算法可以采用Mask R-CNN、Cascade Mask R-CNN、GCNet、HRNetv2p和Scratch。区域生成网络可以RPN(region proposal network),即two-stage目标检测的第一个stage，用于检测目标区域。

区域生成网络通过特征金字塔网络输出的每张特征图上滑动一个3x3的网络，对于每个滑动窗口，以窗口中心为基准，生成不同尺寸，且长宽比不同的病灶候选区域共9个。其中，不同尺寸包括128*128、256*256、512*512；所述不同长宽比包括1:2、1:1、2:1，故一共可以得到9个病灶候选区域。通过对代表CNV活动性的4个特征性病灶信息进行统计分析，发现各病灶的高宽比范围较大(从3:1到1:10)，超出了常规anchor比例(1:2,1:1,2:1)，这会造成RPN网络漏检，针对这种情况，本方案在常规anchor比例的基础上增加了3:1,1:3,1:5,1:7和1:9，以增加RPN网络的检出率。

步骤S340：通过分类回归网络根据多个病灶候选区域确定代表CNV活动性的病灶区域。

其中，特征金字塔网络、区域生成网络以及分类回归网络可以通过第一样本图像和第二样本图像合并成的新数据集训练得到。将病灶候选区域的图像特征作为分类回归网络的输入，基于输出结果，可以确定该病灶候选区域是否属于代表CNV活动性的病灶区域。

在一实施例中，在上述步骤S340之后，本申请实施例提供的方法还包括：根据所述代表CNV活动性的病灶区域的坐标，映射得到所述光学相干断层扫描图像中的病灶位置；输出标记病灶位置的光学相干断层扫描图像。

举例来说，根据特征图中像素点坐标和光学相干断层扫描图像中对应像素点坐标之间的映射关系，将代表CNV活动性的病灶区域的坐标，通过映射关系，可以得到光学相干断层扫描图像(即原图)中的病灶位置，从而可以输出带有检测结果(即病灶未知)的原图。

其中，在上述实施例中特征金字塔网络、区域生成网络和分类回归网络一起构成目标检测模型，通过对样本数据集进行预处理，之后进行模型训练，可以得到目标检测模型，进而进行目标检测模型的部署。在一实施例中，目标检测模型可以通过对预训练模型进行参数调优得到。

其中，预训练模型采用自然图像进行训练，自然图像与医学图像的目标大小、高宽以及语义信息不同，对医学图像进行检测和分割时，根据具体数据集训练不同的网络结构，同时调整相关参数。其中，自然图像是指非完全医学图像。

图4是本申请一实施例提供的目标检测模型的训练流程示意图。如图4所示，该过程可以包括以下步骤S410-步骤S440。

步骤S410：获取已知病灶坐标的原始扫描图像。

原始扫描图像是指已知病灶坐标的光学相干断层扫描图像。原始扫描图像可以提前存储在本地，也可以从客户端获取。

步骤S420：从所述原始扫描图像中截取扫描区域作为第一样本图像，并更新所述第一样本图像中的病灶坐标。

其中，第一样本图像是指从原始OCT图像中截取扫描区域后得到的图像。举例来说，可以以图像其中一个顶点作为坐标原点，长宽作为x轴和y轴，由于原始扫描图像经过了裁剪，故坐标原点发生了变化，可以基于裁剪得到的图像，建立坐标系，得到新的病灶坐标。图像裁剪可以使模型检测聚焦于兴趣区域，进一步提升检测效果。

步骤S430：对所述第一样本图像进行图像增强，得到第二样本图像，并更新所述第二样本图像的病灶坐标。

其中，第二样本图像是指采用多种增强方式将第一样本图像进行图像增强后得到的图像。

图像增强是指通过亮度变化和随机旋转的方式将第一样本图像进行变化，得到变化后的图像称为第二样本图像，同时基于第二样本图像建立新的坐标系，更新病灶坐标。数据增强通常在数据量较少的情况下使用，可以有效增加模型的泛化能力，防止过拟合。

步骤S440：利用已知病灶坐标的第一样本图像和第二样本图像训练所述目标检测模型。

其中，将已知病灶坐标的第一样本图像和第二样本图像合并成新数据集，利用新数据集训练目标检测模型。

图5是本申请一实施例提供的目标检测模型的完整训练流程示意图。

步骤S510：获取原始图像。

其中，原始图像是指已知病灶坐标的原始扫描图像。

步骤S520：数据预处理。

图6是数据预处理过程，如图6所示，数据预处理包括图像裁剪和图像增强。带有标签的原始数据先进行扫描区域裁剪，标签坐标变换，得到第一样本图像。对第一样本图像进行多种方式的图像增强，例如图片亮度变化以及图片随机旋转，图片亮度变化后可以直接复制原标签，图片随机旋转后，可以对原标签进行坐标变换。图像增强后得到的所有图像可以统称为第二样本图像。第一样本图像和第二样本图像合并构成新的数据集，进行模型训练。

步骤S530：模型训练和测试。

其中，模型训练主要通过对预训练模型中进行参数调优。

其中，预训练模型采用自然图像进行训练，自然图像与医学图像的目标大小、高宽以及语义信息不同，对医学图像进行检测和分割时，根据上述步骤S520得到的数据集训练不同的网络结构，同时调整相关参数。

其中，自然图像是指非完全医学图像。

相关参数调优后进行模型测试，得出模型检出率的准确度。

步骤S540：模型部署。

其中，在步骤S530中的模型训练时，将OCT B扫描图像作为模型的输入，在实际应用时输入图像和输出结果图像均是原始OCT图。

在部署应用时，首先将原始OCT图像进行OCT B扫描区域裁剪，再将裁剪区域送入模型检测，检测之后，再将检测结果坐标映射回原图，根据映射回的原始图像返回带有检测结果的原始OCT图像。

图7为本申请一实施例示出的基于图像的CNV活动性病灶检测装置的框图。如图7所示，该装置包括：图像获取模块710、特征提取模块720、候选获得模块730以及分类回归模块740。

图像获取模块710，用于获取待检测的光学相干断层扫描图像；

特征提取模块720，用于通过特征金字塔网络提取所述光学相干断层扫描图像多张不同尺寸的特征图；

候选获得模块730，用于通过区域生成网络在每张特征图中获得不同尺寸和不同长宽比的多个病灶候选区域；

分类回归模块740，用于通过分类回归网络根据多个病灶候选区域确定代表CNV活动性的病灶区域。

图8是图7对应实施例的基础上本申请另一实施例示出的基于图像的CNV活动性病灶检测装置的框图。如图8所示，该装置包括：样本获取模块810、样本截取模块820、样本变化模块830以及模型训练模块840。

样本获取模块810，用于获取已知病灶坐标的原始扫描图像；

样本截取模块820，用于从所述原始扫描图像中截取扫描区域作为第一样本图像，并更新所述第一样本图像中的病灶坐标；

样本变化模块830，用于对所述第一样本图像进行图像增强，得到第二样本图像，并更新所述第二样本图像的病灶坐标；

模型训练模块840，用于利用已知病灶坐标的第一样本图像和第二样本图像训练所述目标检测模型。

上述装置中各个模块的功能和作用的实现过程具体详见上述基于图像的CNV活动性病灶检测方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。