一种区域特征融合的高血压视网膜病变分类方法

技术领域

本发明涉及眼底图像分类领域，特别是涉及一种区域特征融合的高血压视网膜病变分类方法。

背景技术

高血压是一种长期医学疾病，是其他重大疾病(例如脑卒中、冠心病、肾衰竭等)的主要危险因素，因此对高血压的预防和治疗尤其重要，医学研究认为使用眼科镜对高血压性视网膜病变进行检测是高血压患者评估标准的一部分，通过眼底检测能够及早发现高血压疾病，达到对高血压防治的目的；然而，对高血压视网膜病变的检测耗时耗力，因此在早期筛查中开发出一种高血压视网膜病变检测系统来改善医疗效果是非常必要的。

目前关于高血压视网膜病变识别分类的问题已经有了一系列研究，高血压视网膜病变的识别与分类的研究大多是基于图像形态学的机器学习算法，还有一小部分基于深度学习算法；其中，基于图像形态学的机器学习算法属于传统分类算法针对数据量小的情况；少量的数据时，利用传统情感分类方法能够取得良好的分类效果；基于深度学习的方法是在海量数据、电脑硬件如GPU、CPU快速发展、深度学习模型已经在医疗影像领域取得了良好效果。

由于高血压视网膜病变的病灶特征不明显并且集中在血管方面，正常眼底图像动静脉比率为2:3，当动静脉比率值低于2:3就表明视网膜动脉狭窄，而动脉狭窄是判定存在高血压视网膜病变的重要依据之一，许多研究者通过测量动静脉比率来检测是否存在高血压视网膜病变；动静脉比率计算方法是基于圆的光强分布提出的，该方法首先使用RGB图像中的红色通道进行视盘检测，然后以视盘中心为圆心，以视盘直径为半径作一个圆，沿着该圆可以得到绿色通道的强度分布，该分布的凹陷部分可视为血管，并根据形状对其进行动静脉的分类，血管宽度大于7个像素的用于计算动静脉比率。

继机器学习后提出了全自动动静脉比率计算方法，该方法依次进行视盘的定位、感兴趣区域的确定、动静脉血管的分类、动静脉比率的计算；以往的研究多是通过计算动静脉比率对高血压视网膜病变进行识别与检测，没有依照其他病灶特征，识别依据单一，且传统形态学机器学习算法的缺点在于能够处理的数据量小，缺乏普遍性且识别精度不够高，在面对海量眼底图像时，传统机器学习算法就显得苍白无力，因此基于深度学习的医疗图像领域的算法应运而生。

发明内容

本文针对上述现有状况，提出了一种区域特征融合的高血压视网膜病变分类方法，该算法提出两个阶段模型，分别为高血压视网膜病变分类模型和动静脉交叉压迫分类模型，目的将局部特征动静脉交叉压迫分类模型与高血压视网膜病变分类模型相融合来增强高血压视网膜病变识别和分类效果，可缓解由于患者量增多出现的误诊、漏诊和医学水平不均衡的问题，减轻医生负担，并能尽早识别高血压视网膜病变，从而对高血压患者进行诊断与治疗。

为实现上述目的，本文提出的方案是：一种区域特征融合的高血压视网膜病变分类方法，具体步骤如下：

S1：获取拍摄的眼底图像；

S2：将眼底图像进行图像预处理，包括去除黑色背景、调整图像分辨率、图像归一化和数据扩增四个步骤；

S3：将预处理好的图像分别送入动静脉交叉压迫分类模型和高血压视网膜病变分类模型；

S4：在动静脉交叉压迫分类模型中，首先利用SeqNet对预处理的图像进行血管分割与动静脉分类；

S5：根据血管分割和动静脉分类后的结果，对结果眼底图像进行骨骼化，并利用角点检测检测出所有动静脉交叉点；

S6：将检测出的交叉点映射回原图，利用滑窗法对原图进行分割，提取感兴趣区域；

S7：将提取出的感兴趣区域图像块送入改进的ResNet50神经网络进行分类；

S8：在高血压视网膜病变分类模型中，将S2的结果直接送入VGG19神经网络进行分类；

S9：将S7和S8进行模型融合，并利用神经网络进行最终分类。

进一步的，上述方法，还包括：S10：基于训练的模型，传入眼底图像，对眼底图像进行自动识别与分类。

进一步的，步骤S2中图像归一化采用减去局部均值的方法，公式为：

I

其中I

进一步的，所述SeqNet主要由由两个部分组成，第一部分采用IterNet完成血管分割，IterNet由小型U-net多次迭代组成，第二部分采用另一个尺寸的U-net完成动静脉分类，并将输入图像中的背景像素进行遮罩，公式为：

x

其中x

进一步的，步骤S5中角点检测公式为：R＝det(M)-k(traceM)

更进一步的，M协方差矩阵公式为：

本发明由于采用上述技术方法，能够取得如下技术效果：通过减去局部均值和数据扩增对眼底图像进行预处理，能够增强血管特征和克服样本数量少且不均衡的问题；将高血压眼底区域特征动静脉交叉压迫分类模型与高血压眼底分类模型进行模型融合，能够达到提高高血压视网膜病变的识别与分类精度，采用深度学习的方法可以帮助医生在面对海量数据所面临的困难，从而节省医生的时间，大幅度提高工作效率。

附图说明

图1高血压视网膜病变模型分类结构图。

图2眼底图像预处理图。

图3SeqNet模型结构图。

图4血管分割效果图。

图5动静脉分类效果图。

图6图像骨骼化图。

图7动静脉交叉点检测图。

图8感兴趣区域提取图。

图9改进ResNet神经网络结构图。

具体实施方式

为了使本发明的实施例的目的、技术方案和优点更加清楚，下面结合附图对本发明实施例中的技术方案进行清楚完整的描述。

实施例1：如图1所示为本发明一个实施例的高血压视网膜病变分类方法模型结构图，本实施例提供一种区域特征融合的高血压视网膜病变分类方法，具体步骤如下：

1)接收拍摄的眼底图像；

2)对眼底图像进行去除黑色背景、调整图像分辨率、图像归一化和数据扩增的图像预处理算法；如图2所示为眼底图像预处理的效果图，通过效果图可以看出血管特征得到了增强，为了后续的操作，选择将图像分辨率调整为576*576；

3)将预处理好的图像送入动静脉交叉压迫模型；

4)采用SeqNet对图像进行血管分割和动静脉分类；如图3所示为SeqNet模型结构图，由结构图可以看出SeqNet主要由由两个部分组成，第一部分采用IterNet完成血管分割，IterNet由小型U-net多次迭代组成，第二部分采用另一个尺寸的U-net完成动静脉分类，并将输入图像中的背景像素进行遮罩；如图4、图5所示分别为血管分割图和动静脉分类图，通过这两个图可以看出SeqNet可同时进行血管分割和动静脉分类，为后续操作做了准备；

5)采用图像骨骼化算法对上一步骤得到的图像进行图像细化；采用角点检测算法对细化后的图像进行动静脉交叉点检测；如图6和图7所示分别为图像骨骼化效果图和动静脉交叉点检测图，可以看出所用算法的有效性，为后续操作做了准备；

6)将检测到的交叉点映射到原图；

7)采用滑窗法对具有交叉点的图像进行图像分割；

8)筛选图像块，保证每个图像块都有交叉点；如图8所示为感兴趣区域提取图，由图中可见，每个区域图像块都有交叉点，并将图中的动静脉交叉压迫进行了专业分级；如图9所示为改进ResNet网络结构图，将筛选好的图像块送入改进的ResNet神经网络模型进行分类；

9)将预处理好的图像送入高血压视网膜病变分类VGG19神经网络模型；

10)将动静脉交叉压迫分类模型与高血压视网膜分类模型进行模型融合；

11)采用神经网络对融合后的模型进行分类；

12)基于训练的模型，传入眼底图像，按已经训练好的特征，对高血压视网膜病变眼底图像进行识别与分类，根据高血压视网膜病变病灶特征主要集中在血管异常方面的先验知识，采用减去局部均值的方法对图像进行归一化；为了克服数据量少且样本不均衡的问题，采用镜像、旋转、缩放等方法对图像进行数据扩增。

本发明提出的区域特征融合的高血压视网膜病变分类方法，采用局部特征动静脉分类模型和整体高血压视网膜病变分类模型进行融合，达到加强整体高血压视网膜病变分类的效果。

可帮助医生尽早识别高血压视网膜病变，对高血压患者的诊断和治疗具有重大研究意义，同时深度学习的方法能够应对海量数据，可以减轻医生的负担，节省医生的时间，从而大大的提高了医生工作效率。

实施例2：本实施例对实施例1中出现的减去局部均值、SeqNet网络、角点检测和对图像特征进行深度学习的神经网络技术进行具体的解释说明。

(1)减去局部均值，公式为：I

其中I

(2)SeqNet主要由由两个部分组成，第一部分采用IterNet完成血管分割，IterNet由小型U-net多次迭代组成，第二部分采用另一个尺寸的U-net完成动静脉分类，并将输入图像中的背景像素进行遮罩，公式为：x

(3)角点检测，公式为：R＝det(M)-k(traceM)

更进一步的，M协方差矩阵公式为：

减去局部均值可增强眼底图像血管特征，数据扩增方法可克服高血压视网膜病变分类数据量少和不均衡的问题，为后续的血管分割、动静脉分类、交叉点检测和感兴趣区域提取做了充足的准备工作。

SeqNet第一部分采用IterNet完成血管分割。IterNet由小型U-net多次迭代组成，其深度比普通U-net大4倍，可仅从少量的标签进行学习且无需预训练和任何先验知识；第二部分采用另一个尺寸的U-net完成动静脉分类，并将输入图像中的背景像素进行遮罩，将视网膜原图与细化后的血管图像进行逐元素相乘，这样能够降低输入图像的复杂性，从而可使分类网络完全集中于发现血管的颜色、形状、厚度等方面的差异。该网络的优点是在保证血管分割和动静脉分类的性能的基础上可以同时完成两个任务。

神经网络算法是分类效果最好的一类模式匹配算法，但是单一的神经网络算法对高血压视网膜病变分类效果并不是很好，所以本发明采用区域特征融合的方法，将局部特征动静脉交叉压迫分类模型与整体高血压视网膜病变分类模型进行模型融合，以增强高血压视网膜病变分类模型的精度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，在任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。