基于弱监督学习的眼底荧光造影图像渗漏点检测方法

技术领域

本发明涉及医学图像处理领域，特别涉及一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法。

背景技术

眼底荧光造影技术能够反映疾病早期视网膜屏障的受损状态，是眼底疾病诊断的“金标准”。眼底荧光造影图像中渗漏点的检测是眼底疾病诊断和治疗的重要步骤。目前在临床诊断中，眼底荧光渗漏点的检测通常是由专家进行人为标注，这种人工标注的方法不仅费时费力，还会引入人为误差。所以，提出一种有效的自动眼底荧光渗漏点检测方法是十分必要的。

现存自动眼底荧光渗漏点检测方法可大致分为两类：基于像素强度的方法和基于有监督学习的方法。基于像素强度的方法主要是通过对像素强度信息进行提取和分析以达到渗漏点检测的目的。此类方法虽然在渗漏点的检测中能够达到很高的检测精度和灵敏度，但是此方法的时间复杂度高，检测时间长，检测一幅图像需要20秒左右的时间。而基于有监督学习的方法高度依赖于标注数据的质量，此外，大量由专业医生标注的数据是很难获得的，这就在一定程度上限制了此类方法的泛化性能。

所以现在需要一种更可靠的方案。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法，以解决现有方法存在的方法复杂度高、检测时间长、需要大量标注数据的问题。

本发明的方法的核心思想为设计一个网络使其能够在输入图像和目标图像不成对的情况下，实现根据输入的异常眼底荧光造影图像生成其对应的正常表现的荧光造影图像；然后通过将异常图像与生成的正常图像做差，再进行二值化处理实现渗漏点的检测。由该方法的核心思想可知，该方法的重点和难点在于所设计的网络能够准确生成荧光渗漏点区域对应的正常表现，而保持异常图像中正常区域的不变，如此才可保证渗漏点的准确检测。

为实现上述目的，本发明采用的技术方案是：一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法，包括以下步骤：

1)从采集的眼底荧光造影图像报告中，筛选出无荧光渗漏的正常荧光造影图像报告以及含有荧光渗漏的异常荧光造影图像报告；

2)在步骤1所筛选出的荧光造影图像报告中，选择荧光造影图像作为训练数据集；

3)将训练数据集输入到预先设计的检测网络模型中，以正常荧光造影图像作为输入图像、异常荧光造影图像作为要学习的目标图像进行训练，且还以异常荧光造影图像作为输入图像、正常荧光造影图像作为要学习的目标图像进行训练，保存训练好的检测网络模型；

4)将待检测的含有荧光渗漏的异常荧光造影图像输入到训练好的检测网络模型中，该检测网络模型生成与该异常荧光造影图像对应的正常表现的荧光造影图像，然后再将该异常荧光造影图像和生成的正常表现的荧光造影图像做差，得到的图像再使用图像二值化方法处理，即得渗漏点的检测结果。

优选的是，所述检测网络模型包括两个生成网络、两个判别网络以及损失函数L，所述生成网络根据输入的异常荧光造影图像生成对应的正常表现的荧光造影图像以及根据输入的正常荧光造影图像生成异常荧光造影图像；

所述判别网络对生成的正常或异常荧光造影图像和输入的真实荧光造影图像图像进行判别；

所述损失函数L用于保证所述检测网络模型的稳定训练以及生成与真实眼底荧光造影图像尽可能一致的图像。

优选的是，所述生成网络包括若干残差注意力模块，所述残差注意力模块包括2个卷积核大小为3x3的卷积层和一个卷积注意力模块，所述卷积注意力模块包括通道注意力模块和空间注意力模块。

优选的是，所述通道注意力模块包括平均池化层、最大池化层和3个全连接层；

所述空间注意力模块包括平均池化层、最大池化层、concat层、卷积层以及激活函数。

优选的是，所述判别网络包括4个卷积核大小为4x4的卷积层和一个卷积核大小为1x1的卷积层，其中，4个卷积核大小为4x4的卷积层中每个卷积层后面均具有一个激活函数。

优选的是，所述损失函数L包括对抗损失函数L

L＝αL

其中，α，β，λ分别对抗损失函数L

两个生成网络分别为生成网络G

其中，x

所述循环一致性损失函数L

所述掩模损失函数L

其中，M

优选的是，其中，异常荧光造影图像对应的类激活图的二值化图的生成方法包括以下步骤：

Ⅰ、使用经ImageNet数据集预训练好的ResNet18网络来对正常荧光造影图像和异常荧光造影图像进行二分类；

Ⅱ、采用梯度权重类激活图方法，基于步骤Ⅰ的ResNet18网络来对图像分类中的关注点进行可视化，生成相应的类激活图，其中的关注点即荧光渗漏点所在区域；

Ⅲ、采用小阈值二值化方法对步骤Ⅱ生成的类激活图进行二值化处理，进而得到异常荧光造影图像对应的掩模图像。

优选的是，其中，α＝1，β＝10，λ＝10。

本发明还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现如上所述的方法。

本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。

本发明的有益效果是：本发明通过基于弱监督学习的方法实现了眼底荧光造影点的自动检测，本发明的方法的检测精度与现存基于像素强度的方法基本一致，不需要大量标注数据的，且本发明的方法降低了复杂度，检测时间短，检测一张图像仅需不到1秒的时间，大大提高了检测效率；本发明的针对眼底荧光造影图像的处理方法对眼底疾病的辅助诊断具有潜在的医学价值。

附图说明

图1为本发明的基于弱监督学习的眼底荧光造影图像渗漏点检测方法的流程图；

图2为本发明的实施例1中的四类眼底荧光血管造影图像；

图3为本发明的基于弱监督学习的眼底荧光造影图像渗漏点检测方法的原理示意图；

图4为本发明的检测网络模型的结构图；

图5为本发明的实施例1中的ResNet18网络的结构图；

图6为本发明的实施例1中的掩模图像计算结果；

图7为本发明的方法在公开数据集中的检测结果；

图8为本发明的方法在临床数据集中的检测结果。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

实施例1

本实施例的一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法，包括以下步骤：

S1、采集数据

从采集的眼底荧光造影图像报告中，筛选出无荧光渗漏的正常荧光造影图像报告以及含有荧光渗漏的异常荧光造影图像报告；其中含有荧光渗漏的异常荧光造影图像报告具体包括三类：含有视盘渗漏、块状渗漏和点状渗漏的荧光造影图像报告。参照图2，为四类眼底荧光造影图像。在所筛选出的荧光造影图像报告中，选择造影后期5-6分钟的荧光造影图像荧光造影图像作为训练数据集。

本实施例中，采集的荧光造影图像来自于常州第三人民医院，在2011年3月至2019年9月之间，来自462位患者的852只眼，年龄在7到86岁之间，通过海德堡共焦眼底血管造影仪(Spectralis HRA)实施眼底荧光素血管造影。眼底图像分辨率均为768x768像素，视场为30°，45°，和60°。

S2、数据整理

将训练数据集中的正常荧光造影图像既作为输入图像集也作为目标图像集，含有三种类型渗漏点的异常图像既作为输入图像集也作为目标图像集。

S3、构建检测网络模型并进行训练

将训练数据集输入到预先设计的检测网络模型中，以正常荧光造影图像作为输入图像、异常荧光造影图像作为要学习的目标图像进行训练，且还以异常荧光造影图像作为输入图像、正常荧光造影图像作为要学习的目标图像进行训练，保存训练好的检测网络模型。

本实施例中，检测网络模型包括两个生成网络(G

判别网络的主要任务是对生成的正常或异常荧光造影图像和输入的真实荧光造影图像图像进行判别；

损失函数L用于保证检测网络模型的稳定训练，以及使网络重点关注于荧光渗漏点及其周围区域的正常化生成，从而生成与真实眼底荧光造影图像尽可能一致的图像。

参照图4(b)和(c)，在一种优选的实施例中，生成网络包括9层残差注意力模块(图4中的Residual Block)，残差注意力模块包括2个卷积核大小为3x3的卷积层、一个卷积注意力模块以及激活函数ReLu，卷积注意力模块包括通道注意力模块和空间注意力模块。卷积注意力模块的加入可有助于网络对不同尺度、不同维度重要信息的提取。

其中，通道注意力模块包括平均池化层(图4中的Channel-wise Avg pooling)、最大池化层(图4中的Channel-wise Max pooling)和3个全连接层(图4中的FC)；在该模块中首先对输入的原始特征分别进行通道层的平均池化和最大池化操作，将池化操作后提取的向量作为3层全连接网络的输入，以生成通道层的权重值，将这些权重值应用于不同的特征通道上以实现对通道层的增强，权值越大的通道层其关注度越高。

其中，空间注意力模块包括平均池化层(图4中的Pixel-wise Avg pooling)、最大池化层(图4中的Pixel-wise Max pooling)、concat层、卷积层以及激活函数。在空间注意力模块中，对经过通道增强后的特征进行空间层的平均池化和最大池化操作，并将池化后的特征输入卷积层以得到空间层的权重分布，并以此权重系数来增强空间层的表示。

参照图4(d)，判别网络包括4个卷积核大小为4x4的卷积层和一个卷积核大小为1x1的卷积层，其中，4个卷积核大小为4x4的卷积层中每个卷积层后面均具有一个激活函数(ReLU或Tanh)。经过最后一层的1x1的卷积层可输出一个图像真伪的判断矩阵，矩阵中的每个元素分别代表判别网络对每个图像块的判断结果。

为保证网络的稳定训练并能生成与真实图像尽可能一致的图像，在一种优选的实施例中，损失函数L包括对抗损失函数L

L＝αL

其中，α，β，λ分别对抗损失函数L

两个生成网络分别为生成网络G

其中，x

其中，循环一致性损失函数用于保证生成的图像是输入图像所对应的图像形式，循环一致性损失函数L

为使生成器G

其中，M

进一步的实施例中，异常荧光造影图像对应的类激活图的二值化图的生成方法包括以下步骤：

Ⅰ、使用经ImageNet数据集预训练好的ResNet18网络来对正常荧光造影图像和异常荧光造影图像进行二分类；参照图5为ResNet18网络的结构图，分类训练中使用的是迁移学习技术，本实施例中将ResNet18网络的低层权重固定，并将最后一层的全连接层输出节点数设置2，通过对剩余层进行训练以实现对异常和正常眼底荧光造影图像的分类，最终得到了99.3％的分类准确率。

Ⅱ、采用梯度权重类激活图方法，基于步骤Ⅰ的ResNet18网络来对图像分类中的关注点进行可视化，生成相应的类激活图，其中的关注点即荧光渗漏点所在区域；

Ⅲ、采用小阈值二值化方法对步骤Ⅱ生成的类激活图进行二值化处理，进而得到异常荧光造影图像对应的掩模图像。参照图6，为掩模图像计算结果。

S4、眼底荧光造影图像渗漏点检测

将待检测的含有荧光渗漏的异常荧光造影图像输入到训练好的检测网络模型中，该检测网络模型生成与该异常荧光造影图像对应的正常表现的荧光造影图像，然后再将该异常荧光造影图像和生成的正常表现的荧光造影图像做差，得到的图像再使用图像二值化方法处理，即得渗漏点的检测结果。参照图7至8，分别为本发明的方法在公开数据集和临床数据集上的生成结果。本实施例中，检测一张图像仅需不到1秒的时间。

实施例2

一种存储介质，其上存储有计算机程序，该程序被执行时用于实现实施例1的方法。

实施例3

一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现实施例1的方法。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。