基于神经网络的眼底病分类方法及装置

技术领域

本发明涉及神经网络技术领域，尤其涉及一种基于神经网络的眼底病分类方法、装置、电子设备及计算机可读存储介质。

背景技术

随着科学技术的发展，神经网络在生活中的应用越来越广泛。神经网络是按照一定规则将多个神经元连接起来的网络，是一种模仿人类神经系统的计算模型，通过对大量数据的学习和处理，实现对于各种类别事物的识别、分类和预测，在人工智能和机器学习领域中扮演着重要作用。

当前主要是通过单一的卷积神经网络对眼底病图像进行分类，通过对大量的已标记的眼底病图像进行训练，从而实现眼底病的分类。但是对于图结构数据分类问题，利用单一的卷积神经网络可能无法直接处理，并且单一的卷积神经网络常被认为是黑盒模型，分类过程的可解释性差。因此当前通过卷积神经网络对眼底病图像进行分类存在着分类效果差、效率低的问题。

发明内容

本发明提供一种基于神经网络的眼底病分类方法、装置及计算机可读存储介质，其主要目的在于解决当前通过卷积神经网络对眼底病图像进行分类存在着分类效果差、效率低的问题。

为实现上述目的，本发明提供的一种基于神经网络的眼底病分类方法，包括：

获取原始眼底图像集，对所述原始眼底图像集进行数据预处理，得到目标眼底图像集，将目标眼底图像集划分为训练集、验证集和测试集；

分别利用预构建的图神经网络模型及卷积神经网络模型对训练集进行特征提取，得到图神经特征向量及卷积特征向量；

将所述卷积特征向量和图神经特征向量进行融合，得到目标特征向量，利用所述卷积神经网络模型对目标特征向量进行分类，得到训练集眼底病类别；

基于训练集眼底病类别，利用预设的链式法则和随机梯度下降法调整卷积神经网络模型的模型参数，得到改良卷积神经网络模型；

基于验证集对所述改良卷积神经网络模型进行评估并调优，得到优化卷积神经网络模型；

基于测试集对所述优化卷积神经网络模型进行测试并评估所述优化卷积神经网络模型的泛化性和准确性，得到目标卷积神经网络模型；

接收当前待分类眼底图像，利用图神经网络模型和目标卷积神经网络模型对所述当前待分类眼底图像进行眼底病分类，得到当前眼底病类别。

可选地，所述对所述原始眼底图像集进行数据预处理，得到目标眼底图像集，包括：

删除原始眼底图像集中非眼底病图像、重复图像以及清晰度低的图像，得到初始眼底图像集；

将初始眼底图像集中的图像大小调整至预设尺寸，并删除所述初始眼底图像集中与眼底病不相关的区域，得到标准眼底图像集；

从所述标准眼底图像集中依次选出彩色图像，将所述彩色图像转换为灰色图像，得到通道数为1的目标灰色图像集；

获取眼底病类别标签集，根据所述眼底病类别标签集指定目标灰度图像集中目标灰度图像对应的眼底病类别标签，得到标定眼底病图像集；

将所述标定眼底病图像集的像素值缩放至[0,1]区间，并利用预设的数据增强技术增加标定眼底病图像集的多样性和鲁棒性，得到目标眼底图像集。

可选地，所述将目标眼底图像集划分为训练集、验证集和测试集，包括：

将目标眼底图像集进行随机洗牌，得到随机眼底图像集；

按照8:1:1的比例将随机眼底图像集划分为训练集、验证集和测试集。

可选地，所述分别利用预构建的图神经网络模型及卷积神经网络模型对训练集进行特征提取，得到图神经特征向量及卷积特征向量，包括：

加载预构建的图神经网络模型，其中，所述图神经网络模型包括输入层、隐藏层和输出层，隐藏层包括图卷积层；

利用预设的八邻域从训练集中获取图像像素之间的邻接关系，以图像像素为节点、图像像素之间的邻接关系为边构建初始图结构；

从训练集中提取目标眼底图像的像素值，将所述目标眼底图像的像素值作为初始图结构的节点的原始特征值，得到目标图结构；

依次识别目标图结构中的节点，从目标图结构中提取所述节点的邻居节点集并统计邻居节点集中邻居节点的节点个数；

将所述目标图结构输入所述图神经网络模型，在图神经网络模型中利用预设的平均池化法计算邻居节点集的原始特征值的均值，得到目标特征值，其中，所述平均池化法为：

其中，f表示目标特征值，w表示节点个数，h

将所述目标图结构所有节点的目标特征值进行汇聚，得到目标眼底图像的图神经特征向量；

加载预构建的卷积神经网络模型，其中，所述卷积神经网络模型包括输入层、隐藏层和输出层，隐藏层包括卷积层、池化层、全连接层和交叉熵损失函数，输出层包括Softmax激活函数；

识别卷积神经网络模型的顶部卷积层和顶部池化层，将所述顶部卷积层和顶部池化层作为目标层；

将训练集输入所述卷积神经网络模型中进行前向传播，利用目标层对所述训练集中的目标眼底图像执行卷积和池化，得到目标特征图；

提取并汇聚所述目标特征图的图像特征，得到卷积特征向量。

可选地，所述将所述卷积特征向量和图神经特征向量进行融合，得到目标特征向量，包括：

提取卷积特征向量的最大元素和最小元素；

基于卷积特征向量的最大元素和最小元素，利用预设的归一化公式对所述卷积特征向量进行归一化处理，得到卷积归一化向量，其中归一化公式为

其中，a表示卷积归一化向量，x

统计卷积归一化向量的元素个数，基于所述卷积归一化向量的元素个数，利用预设的标准化公式对所述卷积归一化向量进行标准化处理，得到卷积标准化向量，其中标准化公式为

其中，d表示卷积标准化向量，r表示卷积归一化向量中元素的序号，z

利用预设的矩阵乘法法则将卷积标准化向量转化为与图神经特征向量维度相同的目标卷积向量；

将所述目标卷积向量和图神经特征向量进行逐元素相加，得到目标特征向量

可选地，所述利用所述卷积神经网络模型对目标特征向量进行分类，得到训练集眼底病类别，包括：

将目标特征向量展平为一维向量，得到一维目标向量；

调用卷积神经网络模型的全连接层，将所述一维目标向量输入所述卷积神经网络模型的全连接层；

利用全连接层将一维目标向量映射到所述眼底病类别标签；

调用卷积神经网络模型的Softmax激活函数，利用所述Softmax激活函数输出所述眼底病类别标签的概率分布，得到训练集眼底病类别。

可选地，所述基于训练集眼底病类别，利用预设的链式法则和随机梯度下降法调整卷积神经网络模型的模型参数，得到改良卷积神经网络模型，包括：

调用卷积神经网络模型的交叉熵损失函数，利用交叉熵损失函数计算训练集的眼底病类别标签与训练集眼底病类别的损失值，其中交叉熵损失函数为：

其中，Loss表示损失值，y

根据所述损失函数，利用预设的链式法则逐层计算所述卷积神经网络模型中模型参数的参数梯度；

指定随机梯度下降法的学习率，基于所述参数梯度、损失值以及学习率，利用预设的随机梯度下降法更新卷积神经网络模型的模型参数，得到改良卷积神经网络模型。

可选地，所述基于验证集对所述改良卷积神经网络模型进行评估并调优，得到优化卷积神经网络模型，包括：

将验证集输入图神经网络模型，利用图神经网络模型提取验证集的图像特征，得到图验特征向量；

将验证集输入所述改良卷积神经网络模型，利用所述改良卷积神经网络模型提取验证集的图像特征，得到卷验特征向量；

融合所述图验特征向量和卷验特征向量，得到验证特征向量；

利用所述改良卷积神经网络模型对验证特征向量进行分类并输出，得到验证集眼底病类别；

根据所述验证集眼底病类别对所述改良卷积神经网络模型进行超参数调节，得到优化卷积神经网络模型。

可选地，所述利用图神经网络模型和目标卷积神经网络模型对所述当前待分类眼底图像进行眼底病分类，得到当前眼底病类别，包括：

将待分类眼底图像输入图神经网络模型，利用图神经网络模型提取所述待分类眼底图像的图像特征，得到待测图特征向量；

将所述待分类眼底图像输入目标卷积神经网络模型，利用目标卷积神经网络模型提取所述待分类眼底图像的图像特征，得到待测卷积特征向量；

融合所述待测图特征向量和待测卷积特征向量，得到待测特征向量；

利用所述目标卷积神经网络模型对待测特征向量进行分类，得到当前眼底病类别。

为了解决上述问题，本发明还提供一种基于神经网络的眼底病分类装置，所述装置包括：

数据预处理模块，用于获取原始眼底图像集，对所述原始眼底图像集进行数据预处理，得到目标眼底图像集，将目标眼底图像集划分为训练集、验证集和测试集；

卷积神经网络训练与优化模块，用于分别利用预构建的图神经网络模型及卷积神经网络模型对训练集进行特征提取，得到图神经特征向量及卷积特征向量；将所述卷积特征向量和图神经特征向量进行融合，得到目标特征向量，利用所述卷积神经网络模型对目标特征向量进行分类，得到训练集眼底病类别；基于训练集眼底病类别，利用预设的链式法则和随机梯度下降法调整卷积神经网络模型的模型参数，得到改良卷积神经网络模型；基于验证集对所述改良卷积神经网络模型进行评估并调优，得到优化卷积神经网络模型；基于测试集对所述优化卷积神经网络模型进行测试并评估所述优化卷积神经网络模型的泛化性和准确性，得到目标卷积神经网络模型；

眼底病分类模块，用于接收当前待分类眼底图像，利用图神经网络模型和目标卷积神经网络模型对所述当前待分类眼底图像进行眼底病分类，得到当前眼底病类别。

为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现上述所述的基于神经网络的眼底病分类方法。

为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于神经网络的眼底病分类方法。

相比于背景技术所述：本发明实施例为方便运用卷积神经网络模型对眼底病进行分类，通过数据预处理原始眼底图像集，得到训练集、验证集和测试集，为提高卷积神经网络模型分类的准确性和效率，分别利用图神经网络模型和卷积神经网络模型提取出训练集、验证集和测试集的图神经特征向量和卷积特征向量，融合所述图神经网络模型和卷积特征向量得到目标特征向量，利用卷积神经网络模型对所述目标特征向量进行分类，得到训练集眼底病类别，运用链式法则和随机梯度下降法调整卷积神经网络模型的参数，得到改良卷积神经网络模型，基于验证集眼底病分类和测试集眼底病分类的准确率，调整改良卷积神经网络模型的超参数，从而得到目标卷积神经网络模型，利用目标卷积神经网络模型实现眼底病分类。因此本发明提出的基于神经网络的眼底病分类方法、装置、电子设备及计算机可读存储介质，可以解决当前通过卷积神经网络对眼底病图像进行分类存在着分类效果差、效率低的问题。

附图说明

图1为本发明一实施例提供的基于神经网络的眼底病分类方法的流程示意图；

图2为本发明一实施例提供的基于神经网络的眼底病分类装置的功能模块图；

图3为本发明一实施例提供的实现所述基于神经网络的眼底病分类方法的电子设备的结构示意图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供一种基于神经网络的眼底病分类方法。所述基于神经网络的眼底病分类方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于神经网络的眼底病分类方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。

实施例1：

参照图1所示，为本发明一实施例提供的基于神经网络的眼底病分类方法的流程示意图。在本实施例中，所述基于神经网络的眼底病分类方法包括：

S1、获取原始眼底图像集，对所述原始眼底图像集进行数据预处理，得到目标眼底图像集，将目标眼底图像集划分为训练集、验证集和测试集。

可解释的，所述数据预处理是指在进行机器学习或数据分析任务之前对原始数据进行一系列的处理和转换操作，以达到提高数据质量、减少噪声、解决丢失值和标准化数据的目的，其中，所述数据预处理包括数据清洗、数据标注、数据修复以及数据增强。

本发明实施例中，所述对所述原始眼底图像集进行数据预处理，得到目标眼底图像集，包括：

删除原始眼底图像集中非眼底病图像、重复图像以及清晰度低的图像，得到初始眼底图像集；

将初始眼底图像集中的图像大小调整至预设尺寸，并删除所述初始眼底图像集中与眼底病不相关的区域，得到标准眼底图像集；

从所述标准眼底图像集中依次选出彩色图像，将所述彩色图像转换为灰色图像，得到通道数为1的目标灰色图像集；

获取眼底病类别标签集，根据所述眼底病类别标签集指定目标灰度图像集中目标灰度图像对应的眼底病类别标签，得到标定眼底病图像集；

将所述标定眼底病图像集的像素值缩放至[0,1]区间，并利用预设的数据增强技术增加标定眼底病图像集的多样性和鲁棒性，得到目标眼底图像集。

可解释的，对于所述删除所述初始眼底图像集中与眼底病不相关的区域，示例性的，通常瞳孔部分不包含与眼底病相关的信息，裁剪初始眼底图像集中的瞳孔部分，以减少噪声和语音信息干扰。

可解释的，所述数据增强技术是一种用于通过对原始数据进行各种变换和修改来增加数据集大小的数据修复技术，示例性的，通过旋转标定眼底病图像集提高标定眼底病图像集的多样性和鲁棒性。其中，常见的数据增强技术包括旋转、平移以及翻转。

本发明实施例中，所述将目标眼底图像集划分为训练集、验证集和测试集，包括：

将目标眼底图像集进行随机洗牌，得到随机眼底图像集；

按照8:1:1的比例将随机眼底图像集划分为训练集、验证集和测试集。

可解释的，所述随机洗牌是一种用于打乱数据顺序，增加数据随机性的数据处理技术，示例性的，目标眼底图像集中依次有糖尿病视网膜病变、高血压性视网膜病变、视神经病变三种眼底病，打乱眼底病的顺序，得到高血压性视网膜病变、视神经病变和糖尿病视网膜病变的排列顺序。

S2、分别利用预构建的图神经网络模型及卷积神经网络模型对训练集进行特征提取，得到图神经特征向量及卷积特征向量。

可解释的，所述图神经特征向量和卷积特征向量是指分别利用图神经网络模型和卷积神经网络模型对目标眼底图像进行提取得到的特征向量。

本发明实施例中，所述分别利用预构建的图神经网络模型及卷积神经网络模型对训练集进行特征提取，得到图神经特征向量及卷积特征向量，包括：

加载预构建的图神经网络模型，其中，所述图神经网络模型包括输入层、隐藏层和输出层，隐藏层包括图卷积层；

利用预设的八邻域从训练集中获取图像像素之间的邻接关系，以图像像素为节点、图像像素之间的邻接关系为边构建初始图结构；

从训练集中提取目标眼底图像的像素值，将所述目标眼底图像的像素值作为初始图结构的节点的原始特征值，得到目标图结构；

依次识别目标图结构中的节点，从目标图结构中提取所述节点的邻居节点集并统计邻居节点集中邻居节点的节点个数；

将所述目标图结构输入所述图神经网络模型，在图神经网络模型中利用预设的平均池化法计算邻居节点集的原始特征值的均值，得到目标特征值，其中，所述平均池化法为：

其中，f表示目标特征值，w表示节点个数，h

将所述目标图结构所有节点的目标特征值进行汇聚，得到目标眼底图像的图神经特征向量；

加载预构建的卷积神经网络模型，其中，所述卷积神经网络模型包括输入层、隐藏层和输出层，隐藏层包括卷积层、池化层、全连接层和交叉熵损失函数，输出层包括Softmax激活函数；

识别卷积神经网络模型的顶部卷积层和顶部池化层，将所述顶部卷积层和顶部池化层作为目标层；

将训练集输入所述卷积神经网络模型中进行前向传播，利用目标层对所述训练集中的目标眼底图像执行卷积和池化，得到目标特征图；

提取并汇聚所述目标特征图的图像特征，得到卷积特征向量。

可解释的，所述八邻域是指目标眼底图像中像素的上、下、左、右、左上、左下、右上以及右下方向。所述以图像像素为节点、图像像素之间的邻接关系为边构建初始图结构，示例性的，将像素与所述像素上、下、左、右、左上、左下、右上以及右下方向的像素用线连接，得到的连线即为初始图结构的边。

本发明实施例中，所述邻居节点是指直接与所述节点相连的节点，所述顶部卷积层和顶部池化层分别是指卷积神经网络模型中最靠近模型顶部的卷积层和池化层。

S3、将所述卷积特征向量和图神经特征向量进行融合，得到目标特征向量，利用所述卷积神经网络模型对目标特征向量进行分类，得到训练集眼底病类别。

本发明实施例中，所述将所述卷积特征向量和图神经特征向量进行融合，得到目标特征向量，包括：

提取卷积特征向量的最大元素和最小元素；

基于卷积特征向量的最大元素和最小元素，利用预设的归一化公式对所述卷积特征向量进行归一化处理，得到卷积归一化向量，其中归一化公式为

其中，a表示卷积归一化向量，x

统计卷积归一化向量的元素个数，基于所述卷积归一化向量的元素个数，利用预设的标准化公式对所述卷积归一化向量进行标准化处理，得到卷积标准化向量，其中标准化公式为

其中，d表示卷积标准化向量，r表示卷积归一化向量中元素的序号，z

利用预设的矩阵乘法法则将卷积标准化向量转化为与图神经特征向量维度相同的目标卷积向量；

将所述目标卷积向量和图神经特征向量进行逐元素相加，得到目标特征向量。

可解释的，所述逐元素相加是指对相同位置上的元素相加，示例性的，将目标卷积向量中与图神经特征向量一一对应的所有元素分别对应相加。

本发明实施例中，所述利用所述卷积神经网络模型对目标特征向量进行分类，得到训练集眼底病类别，包括：

将目标特征向量展平为一维向量，得到一维目标向量；

调用卷积神经网络模型的全连接层，将所述一维目标向量输入所述卷积神经网络模型的全连接层；

利用全连接层将一维目标向量映射到所述眼底病类别标签；

调用卷积神经网络模型的Softmax激活函数，利用所述Softmax激活函数输出所述眼底病类别标签的概率分布，得到训练集眼底病类别。

可解释的，所述展平是指一种将多维数据转化为一维数据的降维技术，示例性的，将三维的目标特征向量转化为一维目标向量。

可解释的，所述Softmax激活函数是一种输出概率分布的激活函数，示例性的，利用Softmax激活函数将全连接层的输出转换为类别概率分布，概率最高的类别为眼底病类别。

S4、基于训练集眼底病类别，利用预设的链式法则和随机梯度下降法调整卷积神经网络模型的模型参数，得到改良卷积神经网络模型。

所述基于训练集眼底病类别，利用预设的链式法则和随机梯度下降法调整卷积神经网络模型的模型参数，得到改良卷积神经网络模型，包括：

调用卷积神经网络模型的交叉熵损失函数，利用交叉熵损失函数计算训练集的眼底病类别标签与训练集眼底病类别的损失值，其中交叉熵损失函数为：

其中，Loss表示损失值，y

根据所述损失函数，利用预设的链式法则逐层计算所述卷积神经网络模型中模型参数的参数梯度；

指定随机梯度下降法的学习率，基于所述参数梯度、损失值以及学习率，利用预设的随机梯度下降法更新卷积神经网络模型的模型参数，得到改良卷积神经网络模型。

可解释的，所述链式法则是指从输出层逆向逐层计算参数的梯度，示例性的，首先根据交叉熵损失函数和Softmax激活函数得到输出层梯度，再利用输出层梯度计算隐藏层梯度。

可解释的，所述随机梯度下降法是一种用于更新模型参数以最小化损失函数的优化算法。所述学习率是控制模型参数更新步长的超参数，通过设置学习率的大小，可以控制模型参数更新的快慢。

S5、基于验证集对所述改良卷积神经网络模型进行评估并调优，得到优化卷积神经网络模型。

所述基于验证集对所述改良卷积神经网络模型进行评估并调优，得到优化卷积神经网络模型，包括：

将验证集输入图神经网络模型，利用图神经网络模型提取验证集的图像特征，得到图验特征向量；

将验证集输入所述改良卷积神经网络模型，利用所述改良卷积神经网络模型提取验证集的图像特征，得到卷验特征向量；

融合所述图验特征向量和卷验特征向量，得到验证特征向量；

利用所述改良卷积神经网络模型对验证特征向量进行分类并输出，得到验证集眼底病类别；

根据所述验证集眼底病类别对所述改良卷积神经网络模型进行超参数调节，得到优化卷积神经网络模型。

可解释的，所述图验特征向量和卷验特征向量分别是指从验证集的目标眼底图像集中提取的图神经特征向量和卷积特征向量。

可解释的，所述改良卷积神经网络模型的超参数包括批量大小、正则化参数以及迭代次数。

本发明实施例中，根据所述验证集眼底病类别对所述改良卷积神经网络模型进行超参数调节，得到优化卷积神经网络模型，包括：

比较验证集的眼底病类别标签与验证集眼底病分类，并统计验证集眼底病分类中与验证集的眼底病类别标签相同的图像数目；

利用预设的准确率计算公式计算改良卷积神经网络模型的准确率，其中，准确率计算公式为：

其中，p表示准确率，q表示验证集眼底病分类中与验证集的眼底病类别标签相同的图像数目，m表示验证集的图像数目。

根据所述改良卷积神经网络模型的准确率评估改良卷积神经网络模型的性能，得到改良模型评估，其中，若所述改良卷积神经网络模型的准确率大于等于0.8，则改良卷积神经网络模型的性能较好，若所述改良卷积神经网络模型的准确率小于0.5，则改良卷积神经网络模型的性能较差；

根据所述改良模型评估调整改良卷积神经网络模型的超参数，得到新卷积神经网络模型；

重复所述提取图验特征向量、提取卷验特征向量、融合图验特征向量和卷验特征向量、卷验特征向量分类、计算准确率、评估模型性能以及调整超参数6个步骤，得到性能优化卷积神经网络模型。

S6、基于测试集对所述优化卷积神经网络模型进行测试并评估所述优化卷积神经网络模型的泛化性和准确性，得到目标卷积神经网络模型。

本发明实施例中，所述基于测试集对所述优化卷积神经网络模型进行测试并评估所述优化卷积神经网络模型的泛化性和准确性，得到目标卷积神经网络模型，包括：

将测试集输入图神经网络模型，利用图神经网络模型提取验证集的图像特征，得到图测特征向量；

将验证集输入改良卷积神经网络模型，利用改良卷积神经网络模型提取验证集的图像特征，得到卷测特征向量；

融合所述图测特征向量和卷测特征向量，得到测试特征向量；

利用所述优化卷积神经网络模型对测试特征向量进行分类，得到测试集眼底病分类；

比较测试集集的眼底病类别标签与测试集眼底病分类，并统计测试集眼底病分类中与测试集的眼底病类别标签相同的图像数目；

利用预设的准确率计算公式计算优化卷积神经网络模型的准确率；

根据所述优化卷积神经网络模型的准确率评估优化卷积神经网络模型的泛化性和准确性，其中，若所述优化卷积神经网络模型的准确率大于等于0.8，则优化卷积神经网络模型的性能较好，若所述优化卷积神经网络模型的准确率小于0.5，则优化卷积神经网络模型的性能较差；

若所述优化卷积神经网络模型的性能较差，则对所述优化卷积神经网络模型进行审查和调整，得到目标卷积神经网络模型；

若所述优化卷积神经网络模型的性能较好，则所述优化卷积神经网络模型即为目标卷积神经网络模型。

S7、接收当前待分类眼底图像，利用图神经网络模型和目标卷积神经网络模型对所述当前待分类眼底图像进行眼底病分类，得到当前眼底病类别。

可解释的，所述利用图神经网络模型和目标卷积神经网络模型对所述当前待分类眼底图像进行眼底病分类，得到当前眼底病类别，包括：

将待分类眼底图像输入图神经网络模型，利用图神经网络模型提取所述待分类眼底图像的图像特征，得到待测图特征向量；

将所述待分类眼底图像输入目标卷积神经网络模型，利用目标卷积神经网络模型提取所述待分类眼底图像的图像特征，得到待测卷积特征向量；

融合所述待测图特征向量和待测卷积特征向量，得到待测特征向量；

利用所述目标卷积神经网络模型对待测特征向量进行分类，得到当前眼底病类别。

可解释的，所述将待分类眼底图像输入图神经网络模型是指将待分类图像转化为图结构数据从输入层输入图神经网络模型。

相比于背景技术所述：本发明实施例为方便运用卷积神经网络模型对眼底病进行分类，通过数据预处理原始眼底图像集，得到训练集、验证集和测试集，为提高卷积神经网络模型分类的准确性和效率，分别利用图神经网络模型和卷积神经网络模型提取出训练集、验证集和测试集的图神经特征向量和卷积特征向量，融合所述图神经网络模型和卷积特征向量得到目标特征向量，利用卷积神经网络模型对所述目标特征向量进行分类，得到训练集眼底病类别，运用链式法则和随机梯度下降法调整卷积神经网络模型的参数，得到改良卷积神经网络模型，基于验证集眼底病分类和测试集眼底病分类的准确率，调整改良卷积神经网络模型的超参数，从而得到目标卷积神经网络模型，利用目标卷积神经网络模型实现眼底病分类。因此本发明提出的基于神经网络的眼底病分类方法、装置、电子设备及计算机可读存储介质，可以解决当前通过卷积神经网络对眼底病图像进行分类存在着分类效果差、效率低的问题。

实施例2：

如图2所示，是本发明一实施例提供的基于神经网络的眼底病分类装置的功能模块图。

本发明所述基于神经网络的眼底病分类装置100可以安装于电子设备中。根据实现的功能，所述基于神经网络的眼底病分类装置100可以包括数据预处理模块101、卷积神经网络训练与优化模块102及眼底病分类模块103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

所述数据预处理模块101，用于获取原始眼底图像集，对所述原始眼底图像集进行数据预处理，得到目标眼底图像集，将目标眼底图像集划分为训练集、验证集和测试集；

所述卷积神经网络训练与优化模块102，用于分别利用预构建的图神经网络模型及卷积神经网络模型对训练集进行特征提取，得到图神经特征向量及卷积特征向量；将所述卷积特征向量和图神经特征向量进行融合，得到目标特征向量，利用所述卷积神经网络模型对目标特征向量进行分类，得到训练集眼底病类别；基于训练集眼底病类别，利用预设的链式法则和随机梯度下降法调整卷积神经网络模型的模型参数，得到改良卷积神经网络模型；基于验证集对所述改良卷积神经网络模型进行评估并调优，得到优化卷积神经网络模型；基于测试集对所述优化卷积神经网络模型进行测试并评估所述优化卷积神经网络模型的泛化性和准确性，得到目标卷积神经网络模型；

所述眼底病分类模块103，用于接收当前待分类眼底图像，利用图神经网络模型和目标卷积神经网络模型对所述当前待分类眼底图像进行眼底病分类，得到当前眼底病类别。

详细地，本发明实施例中所述基于神经网络的眼底病分类装置100中的所述各模块在使用时采用与上述的图1中所述的基于神经网络的眼底病分类方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。

实施例3：

如图3所示，是本发明一实施例提供的实现基于神经网络的眼底病分类方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11、总线12和通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如实施例1所述的基于神经网络的眼底病分类方法的程序。

其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于神经网络的眼底病分类程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如基于神经网络的眼底病分类程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的基于神经网络的眼底病分类程序是多个指令的组合，在所述处理器10中运行时，可以实现实施例1所述的基于神经网络的眼底病分类方法。

具体地，所述处理器10对上述指令的具体实现方法可参考图1至图2对应实施例中相关步骤的描述，在此不赘述。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。

本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现实施例1所述的基于神经网络的眼底病分类方法。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。