黄斑区域眼底多病症分类方法、装置及存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种黄斑区域眼底多病症分类方法、装置及存储介质。

背景技术

近年来，随着医学成像采集设备的不断完善，以及图像处理、模式识别、机器学习等学科的不断发展，多学科交叉的医学图像处理和分析领域取得了丰硕的成果。这些成果对于辅助医生进行快速精确的诊断具有重大的意义。

尽管采用机器学习模型可以辅助医生对眼底黄斑区域进行病症分类诊断，但是仍然存在许多问题。例如用于学习的数据量少，对于罕见眼底疾病更少，而真实世界的数据较难获得。并且大量数据精准标记难度较大。对于医学领域的标记，尤其是基于像素的标记，难度较大，对于标记人员要求较高。以及仅仅输出分类结果，医生无法得知模型的判断依据，从而无法对分类模型进行评估并采用模型的分类结果。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种黄斑区域眼底多病症分类方法、装置及存储介质，能够帮助眼科医生更好地了解预测模型原理及依据。

本发明实施例一方面提供一种黄斑区域眼底多病症分类方法，包括以下步骤：对眼底照片的黄斑区域图像通过迁移学习的多病症分类任务进行分类，得到分类结果；所述眼底照片包括OCT眼底照片和UWF眼底照片；所述分类结果包括病斑图片；对所述病斑图片进行图片预处理，得到分割图片；基于图片可解释算法对所述分割图片生成病症特征描述，得到像素级别线索；根据所述像素级别线索，基于Gan网络进行图片增强，得到合成图片；根据所述分割图片和所述合成图片进行训练，得到基于像素级别的黄斑区域多病症分类系统；通过所述基于像素级别的黄斑区域多病症分类系统对眼底照片进行病斑识别，得到病斑识别结果；基于所述病斑识别结果，通过图片可解释算法生成病症特征热图。

根据本发明的一些实施例，所述方法还包括：基于图像分割算法对所述眼底照片进行视盘中心和黄斑中心凹检测，得到预测值和交叉熵；根据所述预测值，得到检测结果；所述检测结果包括黄斑中心凹；其中，所述图像分割算法包括但不限于FCN、Unet或基于视盘中心位置关系的图像分割算法。

根据本发明的一些实施例，所述对所述病斑图片进行图片预处理，得到分割图片至少包括以下各项中的一项：矫正左右眼、矫正倒置图片、图片归一化、基于黄斑中心凹的粗略分割及基于FOV分割模型的图片分割；所述基于黄斑中心凹的粗略分割包括：将OCT眼底照片以黄斑中心凹为中心，10mm为直径的分割边界；以及将UWF眼底照片以黄斑中心凹为中心，黄斑中心凹与试盘中心连接中点为边界分割。

根据本发明的一些实施例，所述方法还包括：获取经过所述粗略分割后的背景图片并进行像素标记，基于精准提取FOV算法进行训练，得到所述FOV分割模型；所述精准提取FOV算法包括但不限于FCN、U-net、Yolo、Inception。

根据本发明的一些实施例，所述基于Gan网络进行图片增强，得到合成图片包括：基于Gan网络，根据给定的病理特征和二值血管分割，进行病变位置和数量可控的眼底图像合成，得到合成图片。

根据本发明的一些实施例，所述分割图片和所述合成图片记为病斑分割图片，所述根据所述分割图片和所述合成图片进行训练，得到基于像素级别的黄斑区域多病症分类系统包括：对所述病斑分割图片进行像素数值化的像素标记；基于分类主干模型算法对所述病斑分割图片进行迁移学习，得到像素级别分类识别线索；其中，对类型为OCT眼底照片的病斑分割图片解冻所有层进行学习，其中训练权重等于初始权重；对除类型为OCT眼底照片以外的病斑分割图片解冻分类层进行学习；基于所述像素级别分类识别线索，得到图片级别分类模型；

其中，所述图片级别分类模型为：

若病症为二分类，则σ为sigmoid激活函数，否则σ为mse平方损失函数，并设置阈值；其中，m表示第m个病斑，M表示病斑个数，w

根据本发明的一些实施例，所述对眼底照片的黄斑区域图像通过迁移学习的多病症分类任务进行分类包括：采用以下各项算法中的一项或各项算法中的一项的变形的算法：AlexNet、VGG、GoogleNet、EfficientNet、ResNet、SENet、NiN、Wide ResNet、ResNext、DenseNet、FractalNet、MobileNets、NASNet。

本发明实施例另一方面提供一种黄斑区域眼底多病症分类装置，包括：第一模块，用于对眼底照片的黄斑区域图像通过迁移学习的多病症分类任务进行分类，得到分类结果；所述眼底照片包括OCT眼底照片和UWF眼底照片；所述分类结果包括病斑图片；第二模块，用于对所述病斑图片进行图片预处理，得到分割图片；第三模块，用于基于图片可解释算法对所述分割图片生成病症特征描述，得到像素级别线索；第四模块，用于根据所述像素级别线索，基于Gan网络进行图片增强，得到合成图片；第五模块，用于根据所述分割图片和所述合成图片进行训练，得到基于像素级别的黄斑区域多病症分类系统；第六模块，用于通过所述基于像素级别的黄斑区域多病症分类系统对眼底照片进行病斑识别，得到病斑识别结果；第七模块，用于基于所述病斑识别结果，通过图片可解释算法生成病症特征热图。

本发明实施例另一方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前文所述的方法。

本发明实施例至少实现以下有益效果：本发明实施例通过输入多种类型的眼底照片实现提高分类模型的容错性；通过图片可解释算法生成病症特征热图实现为眼科医生提供真实世界研究因果依据，帮助眼科医生更好的了解预测模型原理及依据，即病症识别的特征；通过深度学习，实现对眼底照片的病斑类型进行精准分类。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法的流程示意图；

图2为本发明实施例的黄斑区域多病症分类系统和FOV分割模型的训练流程示意图；

图3为本发明实施例的装置的模块示意框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

名词解释：

OCT：OCT血管造影是一种非接触性、分辨率高的眼底成像系统。其优点是应用分频幅去相关血管造影(split—spectrum amplitude—deeorrelation angiography，SSADA)算法，无需使用造影剂以高分辨率快速进行眼底血管成像，重复性强。此外，其采用传统的横断面扫面(B扫描)结合冠状面扫描(c扫描)的En—face模式获取三维数据图像，能直接观察到眼部病变范围、深度及新生血管长度、口径大小、面积等变化，具有重要的临床指导意义。

UWF：超广角眼底成像术，超广角眼底成像术(UWF)的问世，使通过小瞳孔看到几乎整个眼底的可能性不再是科幻。UWF使用便捷，免散瞳能看到82.5％的视网膜，超广角得到的视网膜成像达到200°，可以获得近乎全景的眼底像。UWF不仅可以采集超广角伪彩眼底像，还可以拍摄超广角眼底自身荧光(FAF)像、荧光素眼底血管造影(FFA)及脉络膜血管造影(ICGA)像。超广角眼底检查诊断新技术的应用，使我们对临床一些常见病的筛查、分型以及治疗都有一些新的认识。

视盘中心和黄斑中心凹：视盘是视神经的始端和血管的发源端，呈亮白色圆盘状，直径约为1.5mm。黄斑则在视盘的颞侧3.5mm处并稍下方，是视力最敏锐的部分。黄斑和视盘作为眼底图像的重要特征，在眼底图像分析中有重要作用。

FOV分割：The field of view，就是目标关注有效区域。

可解释性算法：目前很多机器学习模型可以做出非常好的预测，但是它们并不能很好地解释他们是如何进行预测的，很多数据科学家都很难知晓为什么该算法会得到这样的预测结果。对于眼底多病症的分类诊断，现有的方法一般是直接输出分类结果，对于医生而言无法得知其得到分类结果的依据，而可解释性算法能够提供判断依据。

GAN网络：生成对抗网络。GAN包含有两个模型，一个是生成模型(generativemodel)，一个是判别模型(discriminative model)。生成模型的任务是生成看起来自然真实的、和原始数据相似的实例。判别模型的任务是判断给定的实例看起来是自然真实的还是人为伪造的(真实实例来源于数据集，伪造实例来源于生成模型)。

病症特征热图：根据神经网络最后一层的权重值，权重大的像素点就会显示出来，从而形成特征可视化，该步骤只是告诉医护人员这个模型的这么预测的原理，即是因为这些显示的像素点较为重要才能得出的预测结果。这些权重较大的像素点极有可能是判断该病患为阳性的原因，也就是他的病症特征值所在地点。这个知识辅助医护人员理解和辅助诊断的可视化手段。

像素标记：采用标记软件进行描点标记，沿着图像分割区域进行描点连线，标记的区域会将像素点标记成一个特殊的值，一般为荧光色或者白色。

参照图1，本发明实施例的方法包括以下步骤：

S100、对眼底照片的黄斑区域图像通过迁移学习的多病症分类任务进行分类，得到分类结果；眼底照片包括但不限于OCT眼底照片和UWF眼底照片；分类结果包括病斑图片。本实施例采用包括但不限于OCT眼底照片和UWF眼底照片的多数据源，实现多数据源数据收集和输入，包括OCT/UWF等眼底照片。本实施例采用多数据源是为了提高模型的容错性，因为临床上的数据有可能是这些类别中的数据中的一种，如果只设定为OCT或者眼底相片等，那么在实际临床上一旦数据源不一样，该模型就不能用了，就像眼底照片也是有不同，有45°角，有98°角，也有200°，角度不同，都可能造成诊断结果不同。

S200、对病斑图片进行图片预处理，得到分割图片；原始的眼底图片需要经过包括矫正左右眼、矫正倒置图片、图片归一化及病斑分割等处理才能符合后续训练模型及识别病斑分类的需要，本步骤的预处理提高了病斑分类的准确度。

S300、基于图片可解释算法对分割图片生成病症特征描述，得到像素级别线索；尽管对眼底照片进行了分类处理，但是本实施例根据眼底照片中的哪一些像素判断该眼底照片的分类并不清楚，本步骤通过图片可解释性算法实现了特征区域标记，生成病症特征描述，从而得到基于原始眼底照片的像素级别的线索。可以理解的是，本实施例中的可解释算法包括但不限于CAM、GAP、Grad-CAM等多项图片可解释算法。

S400、根据像素级别线索，基于Gan网络进行图片增强，得到合成图片；针对数据量少，罕见眼底疾病的眼底照片更少的情况，本实施例通过生成对抗网络实现数据增强。可以理解的是，本实施例根据给定的病理特征和二值血管分割生成图像，且病变位置和数量完全可控。本实施例根据二值血管生成图像能够避免生成的图像遮住血管。本实施例的图片增强的原则也是在上述黄斑区域里面进行的。

S500、根据分割图片和合成图片进行训练，得到基于像素级别的黄斑区域多病症分类系统。

S600、通过基于像素级别的黄斑区域多病症分类系统对眼底照片进行病斑识别，得到病斑识别结果。

S700、基于病斑识别结果，通过图片可解释算法生成病症特征热图。本实施例该步骤得到的特征热图是根据神经网络最后一层的权重值得到的，权重大的像素点就会显示出来，从而形成特征可视化，该步骤能够告诉医护人员这个模型的这么预测的原理，即是因为这些显示的像素点较为重要才能得出的预测结果。这些权重较大的像素点极有可能是判断该病患为阳性的原因，也就是他的病症特征值所在地点。

可以理解的是，在进行步骤S100之前，需要对原始眼底照片进行黄斑中心凹检测，具体包括：基于图像分割算法对眼底照片进行视盘中心和黄斑中心凹检测，得到预测值和交叉熵；根据预测值，得到检测结果；检测结果包括黄斑中心凹。其中，预测值为

在一些实施例中，对病斑图片进行图片预处理，得到分割图片至少包括以下各项中的一项：矫正左右眼、矫正倒置图片、图片归一化、基于黄斑中心凹的粗略分割及基于FOV分割模型的图片分割；其中，基于黄斑中心凹的粗略分割包括：将OCT眼底照片以黄斑中心凹为中心，10mm为直径的分割边界；以及将UWF眼底照片以黄斑中心凹为中心，黄斑中心凹与试盘中心连接中点为边界分割。

在一些实施例中，本发明实施例的方法还包括：获取经过粗略分割后的背景图片并进行像素标记，基于精准提取FOV算法进行训练，得到所述FOV分割模型；所述精准提取FOV算法包括但不限于FCN、U-net、Yolo、Inception。具体训练步骤参照图2，对病斑分割后背景图片进行像素标记，标记为0。OCT图片与其他眼底图片相差较大，所以基于OCT分类训练模型的眼底图片迁移学习中，解冻所有层进行学习，其中训练权重＝初始权重，此外，其他眼底图片则直接解冻分类层进行迁移学习。其中，精准提取FOV算法的预测值：

参照图2，在一些实施例中，分割图片和合成图片记为病斑分割图片，基于像素级别的黄斑区域多病症分类系统的训练过程包括：

进行数据准备，如图2所示，输入图像共K个数据集，M个目标病斑。如：OCT输入数据(数量为M)；眼底照片输入数据1，(数量为a)；眼底照片输入数据1，(数量为b)；眼底照片输入数据1，(数量为c)……,其中：a>b>c>……

然后实现对多数据源的粗略分割(FOV图片分割)。

对病斑分割图片进行像素数值化的像素标记；其中，像素标记包括：病斑数据标记为n，

基于分类主干模型算法对病斑分割图片进行迁移学习，得到像素级别分类识别线索；其中，分类主干模型算法

本实施例中，图片级别分类模型为：

若病症为二分类，则σ为sigmoid激活函数，否则σ为mse平方损失函数，即

本实施例实现了通过分类主干模型算法的像素级别的病斑识别以及图片级病斑识别，图片级病斑识别为像素级别分类识别线索的融合。

在一些实施例中，对眼底照片的黄斑区域图像通过迁移学习的多病症分类任务进行分类包括：采用以下各项算法中的一项或各项算法中的一项的变形的算法：AlexNet、VGG、GoogleNet、EfficientNet、ResNet、SENet、NiN、Wide ResNet、ResNext、DenseNet、FractalNet、MobileNets、NASNet。

在一些实施例中，本发明实施例的基于像素级别的黄斑区域多病症分类系统的评价标准如下：

1.损失函数：

2.准确率：

参照图3，本发明实施例另一方面提供一种黄斑区域眼底多病症分类装置，包括：第一模块，用于对眼底照片的黄斑区域图像通过迁移学习的多病症分类任务进行分类，得到分类结果；眼底照片包括OCT眼底照片和UWF眼底照片；分类结果包括病斑图片；第二模块，用于对病斑图片进行图片预处理，得到分割图片；第三模块，用于基于图片可解释算法对分割图片生成病症特征描述，得到像素级别线索；第四模块，用于根据像素级别线索，基于Gan网络进行图片增强，得到合成图片；第五模块，用于根据分割图片和合成图片进行训练，得到基于像素级别的黄斑区域多病症分类系统；第六模块，用于通过基于像素级别的黄斑区域多病症分类系统对眼底照片进行病斑识别，得到病斑识别结果；第七模块，用于基于病斑识别结果，通过图片可解释算法生成病症特征热图。

本发明实施例另一方面提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前文的方法。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。