图像处理方法和装置、筛查系统、计算机可读存储介质

技术领域

本公开涉及计算机技术领域，特别涉及一种图像处理方法和装置、筛查系统、计算机可读存储介质。

背景技术

糖尿病视网膜病变(简称糖网病变)，是糖尿病患者常见的慢性并发症。对糖网病变的早期筛查能够有效防止视觉的进一步恶化。

发明内容

根据本公开的一些实施例，提供了一种图像处理方法，包括：获取待处理图像；利用第一特征提取器提取待处理图像的第一特征；利用第一分类器，根据第一特征对待处理图像进行第一分类；在分类结果为第一结果的情况下，利用第二特征提取器提取待处理图像的第二特征；利用第二分类器，根据第二特征对待处理图像进行第二分类；输出第二分类的分类结果。

在一些实施例中，利用第一特征提取器提取待处理图像的第一特征包括：利用并行级联的多个第一特征提取器分别提取待处理图像的多个第一特征，并对提取的第一特征进行融合，其中，根据融合后的第一特征对待处理图像进行第一分类；和/或，利用第二特征提取器提取待处理图像的第二特征包括：利用并行级联的多个第二特征提取器分别提取待处理图像的多个第二特征，并对提取的第二特征进行融合，其中，根据融合后的第二特征对待处理图像进行第二分类。

在一些实施例中，待处理图像为眼底照片；第一特征包括糖尿病视网膜病变的特征、非糖尿病视网膜病变的特征；第二特征包括糖尿病视网膜病变的特征、除糖尿病视网膜病变外的其他眼底病变的特征。

在一些实施例中，第一分类包括将眼底照片分类为包括糖尿病视网膜病变的特征的照片、或不包括糖尿病视网膜病变的特征的照片，第一结果表示眼底照片包括糖尿病视网膜病变的特征；第二分类包括将眼底照片分类为包括糖尿病视网膜病变的特征的照片、或包括其他眼底病变的特征的照片。

在一些实施例中，所述图像处理方法还包括：在分类结果为第二结果的情况下，利用第三特征提取器提取待处理图像的第三特征；利用第三分类器，根据第三特征对待处理图像进行第三分类；输出第三分类的分类结果。

在一些实施例中，第二结果表示眼底照片不包括糖尿病视网膜病变的特征；第三特征包括无眼底病变的特征、其他眼底病变的特征；第三分类包括将眼底照片分类为不包括眼底病变的特征的照片、或包括其他眼底病变的特征的照片。

在一些实施例中，第一分类器、第二分类器、和第三分类器中的至少一种为Xgboost分类器。

在一些实施例中，利用第三特征提取器提取待处理图像的第三特征包括：利用并行级联的多个第三特征提取器分别提取待处理图像的多个第三特征，并对提取的第三特征进行融合，其中，根据融合后的第三特征对待处理图像进行第三分类。

在一些实施例中，所述图像处理方法还包括：输入用户信息，并关联存储用户信息和分类结果。

在一些实施例中，所述多个第一特征提取器包括不同种类的第一特征提取器；和/或，所述多个第二特征提取器包括不同种类的第二特征提取器。

在一些实施例中，所述多个第一特征提取器包括3个第二特征提取器，分别为SE-ResNet、ResNext、InceptionV3网络。

在一些实施例中，所述多个第二特征提取器包括3个第二特征提取器，分别为SE-ResNet、ResNext、InceptionV3网络。

在一些实施例中，对提取的第一特征进行融合包括：将提取的多个第一特征进行横向拼接，得到融合后的第一特征。

在一些实施例中，对提取的第二特征进行融合包括：将提取的多个第二特征进行横向拼接，得到融合后的第二特征。

根据本公开的另一些实施例，提供了一种图像处理装置，包括：获取单元，被配置为获取待处理图像；第一特征提取器，被配置为提取待处理图像的第一特征；第一分类器，被配置为对待处理图像进行第一分类；第二特征提取器，被配置为在分类结果为第一结果的情况下，提取待处理图像的第二特征；第二分类器，被配置为根据第二特征对待处理图像进行第二分类；输出单元，被配置为输出第二分类的分类结果。

根据本公开的又一些实施例，提供了一种图像处理装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述任一实施例所述的图像处理方法。

根据本公开的再一些实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的图像处理方法。

根据本公开的其他实施例，提供了一种糖尿病视网膜病变的筛查系统，包括：前述任一实施例所述的图像处理装置，被配置为对用户的眼底照片进行分类。

在一些实施例中，所述筛查系统还包括:图像传感器，被配置为拍摄用户的眼底照片。

在一些实施例中，所述筛查系统还包括:输入设备，被配置为输入用户信息；存储器，被配置为关联存储用户信息和分类结果。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1是示出根据本公开一个实施例的图像处理方法的流程图；

图2是示出根据本公开一个实施例的图像处理装置的框图；

图3是示出根据本公开另一个实施例的图像处理装置的框图；

图4A是示出根据本公开一个实施例的筛查系统的框图；

图4B是示出根据本公开另一个实施例的筛查系统的框图；

图5A是示出根据本公开一个实施例的辅助诊断系统的示意图；

图5B是示出根据本公开一个实施例的私有化版本辅助诊断系统的业务流程图；

图5C是示出根据本公开一个实施例的SaaS版本辅助诊断系统的业务流程图；

图6是示出用于实现本公开一个实施例的计算机系统的框图。

应当明白，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外，相同或类似的参考标号表示相同或类似的构件。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置应被解释为仅仅是示例性的，而不是作为限制。

本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

利用机器学习对图像进行分类在各种领域是非常普遍的。特征提取是机器学习的关键问题，提取的特征的好坏直接影响分类器的分类精度和泛化性能。

在一种相关技术中，通过分类器对人工提取的若干项目特征，如血管轮廓，红色病变(微血流)，亮度病变(渗出、棉絮斑)等进行识别和判断，以达到对糖尿病视网膜病变进行筛查的目的。相关技术中的特征提取是通过对数据预处理，然后结合先验知识提取关键的特征，或是用主成分分析法、卡方检验法、互信息选择法等进行特征提取。这类人工提取特征的方法有一定的局限性，因为主要依靠先验知识，很难利用大数据的优势，提取的特征有限，无法充分利用图像中的信息，致使在实际应用中准确性受限，鲁棒性不高。

示例而言，在医疗领域，上述问题是明显的。例如，在糖尿病视网膜病变的筛查中，人工提取特征的方法无法充分利用眼底照片中的信息，在实际应用中会有很多其他视网膜病变会被误判为糖尿病视网膜病变。

随着深度学习的发展，深度神经网络能从大量的原始数据中学习更加高层的特征信息，用于分类，省去了复杂的特征提取和选择的过程。

在另一种相关技术中，通过深度卷积神经网络实现自动从训练数据中学习所需的特征并进行分类判断，在测试数据上达到了一定的准确率。目前应用在糖尿病视网膜病变识别的深度学习算法，相比于传统的人工特征提取方法，进一步的提高了筛查性能，但所用的卷积神经网络所提取的特征还不够全面，对糖尿病视网膜病变的筛查性能还不够好，仍有提升的空间。

针对该问题，本公开提出一种图像处理方法，能够充分利用眼底照片的信息，进一步提高糖尿病视网膜病变筛查的性能，以便辅助医生快速、精准、有效的对糖尿病视网膜病变进行筛查。

在如下实施例中，以医疗领域的糖网筛查为例，说明本公开图像处理方法的实施过程。本领域技术人员可以理解，本公开的图像处理方法在其它的领域中同样是可以适用的。

图1是示出根据本公开一个实施例的图像处理方法的流程图。图像处理方法可由图像处理装置执行。

如图1所示，图像处理方法包括以下步骤：S1，获取待处理图像；S2，利用第一特征提取器提取待处理图像的第一特征；S3，利用第一分类器，根据第一特征对待处理图像进行第一分类。

在一些实施例中，待处理图像为用户的眼底照片。例如，利用图像传感器拍摄用户的眼底照片，并且将眼底照片传输到图像处理装置。第一特征包括糖尿病视网膜病变的特征、非糖尿病视网膜病变的特征。非糖尿病导致的视网膜病变表示不包括糖尿病视网膜病变的特征，既包括正常无病变的情形，也包括除糖尿病视网膜病变之外的其他病变的情形。相应地，第一分类包括将眼底照片分类为包括糖尿病视网膜病变的特征的照片、或不包括糖尿病视网膜病变的特征的照片。

在另一些实施例中，利用第一特征提取器提取待处理图像的第一特征包括：利用并行级联的多个第一特征提取器分别提取待处理图像的多个第一特征，并对提取的第一特征进行融合。相应地，根据融合后的第一特征对待处理图像进行第一分类。

在一些实施例中，多个第一特征提取器包括不同种类的第一特征提取器。例如，多个第一特征提取器包括3个第一特征提取器，分别为SE-ResNet、ResNext、InceptionV3网络。

并行级联例如为多个第一特征提取器接受同样的待处理图像，每个第一特征提取器各自输出提取的第一特征。即，不同的第一特征提取器输出不同的第一特征。

在一些实施例中，融合的方式包括拼接。例如，多个第一特征提取器提取的第一特征分别为T1＝[t11,t12,t13,t14],T2＝[t21,t22,t23,t24]……Tn＝[tn1,tn2,tn3,tn4]。将多个第一特征进行拼接，例如进行横向拼接，得到的融合后的第一特征即T＝[t11,t12,t13,t14，t21,t22,t23,t24……tn1,tn2,tn3,tn4]。

接下来，根据第一分类的结果，确定后续的执行步骤，即执行步骤S4。

在第一分类的分类结果为第一结果的情况下，执行以下步骤：S41，利用第二特征提取器提取待处理图像的第二特征；S51，利用第二分类器，根据第二特征对待处理图像进行第二分类；S6，输出分类结果，例如输出第二分类的分类结果。

在一些实施例中，第一结果表示眼底照片包括糖尿病视网膜病变的特征。第二特征包括糖尿病视网膜病变的特征、除糖尿病视网膜病变外的其他眼底病变的特征。第二分类包括将眼底照片分类为包括糖尿病视网膜病变的特征的照片、或包括其他眼底病变的特征的照片。第二分类的分类结果表示眼底照片包括糖尿病视网膜病变的特征或包括其他眼底病变的特征。

在另一些实施例中，利用第二特征提取器提取待处理图像的第二特征包括：利用并行级联的多个第二特征提取器分别提取待处理图像的多个第二特征，并对提取的第二特征进行融合。相应地，根据融合后的第二特征对待处理图像进行第二分类。这里的并行级联和融合可以采取与第一特征的处理相类似的方式。

在一些实施例中，多个第二特征提取器包括不同种类的第二特征提取器。例如，多个第二特征提取器包括3个第二特征提取器，分别为SE-ResNet、ResNext、InceptionV3网络。

在第一分类的分类结果为第二结果的情况下，执行以下步骤：S42，利用第三特征提取器提取待处理图像的第三特征；S52，利用第三分类器，根据第三特征对待处理图像进行第三分类；S6，输出分类结果，例如输出第三分类的分类结果。

在一些实施例中，在分类结果为第二结果的情况下，也可以直接输出第一分类的分类结果，无需执行第三特征的提取和分类。

在一些实施例中，第二结果表示眼底照片不包括糖尿病视网膜病变的特征。第三特征包括无眼底病变的特征、其他眼底病变的特征。第三分类包括将眼底照片分类为不包括眼底病变的特征的照片、或包括其他眼底病变的特征的照片。相应地，第三分类的分类结果表示眼底照片包括其他眼底病变的特征或不包括眼底病变的特征。

在另一些实施例中，利用第三特征提取器提取待处理图像的第三特征包括：利用并行级联的多个第三特征提取器提分别取待处理图像的多个第三特征，并对提取的第三特征进行融合。相应地，根据融合后的第三特征对待处理图像进行第三分类。这里的并行级联和融合可以采取与第一特征的处理相类似的方式。

在一些实施例中，多个第三特征提取器包括不同种类的第三特征提取器。例如，多个第三特征提取器包括3个第三特征提取器，分别为SE-ResNet、ResNext、InceptionV3网络。

下面将结合示例详细描述如何训练各特征提取器和分类器。

在一些实施例中，可以在不同的数据集上，训练不同的特征提取器。例如，第一特征提取器用于提取眼底照片中糖网病变的特征和非糖网病变(包括正常和其他病变)的特征。第二特征提取器用于提取眼底照片中糖网病变的特征和其他眼底病症的特征。这里，可以仅关注待处理的眼底照片中的非正常眼底照片，而不关注正常眼底照片，因为第二特征提取器旨在区分出糖网病变的特征和其他病变的特征。第三特征提取器用于提取眼底照片中正常和非糖网病变的其他病变的特征。

例如，可以对眼底照片进行标注，属于糖尿病视网膜病变的标签为1，其他情况(包含正常和其他病变)标签为0，构建数据集1。还可以对眼底照片进行另一种标注，即仅标注病变的眼底照片例如，糖网病变的标签为1，其他病变的标记为0，构建数据集2。正常眼底照片标签为0，非糖网病变的其他病变眼底照片的标签为1，构建数据集3。通过规范数据集，对不同的数据集进行不同方式的标注，可以训练关注不同特征的多种深度网络，能够充分利用眼底照片中的信息。

在一些实施例中，上述3个数据集是相互独立且不重复的。可以将3个数据集都以一定的比例(例如为8：1：1)分为训练集、验证集和测试集。3个数据集的训练集和验证集分别用于训练和验证多个特征提取网络。

例如，可以通过对多个经典图像分类深度神经网络的迁移学习，来训练特征提取器。这里的经典图像分类深度神经网络例如为SE-ResNet，ResNext，InceptionV3。迁移学习是一种机器学习方法，指的是一个预训练的模型被重新用在另一个任务中。在本申请实施例中即，将已有训练好的模型(即迁移学习的对象)作为预训练模型，在训练集和验证集上训练特征提取器。例如，当训练集和验证集的损失(loss)趋于平缓时，截取这些模型中间某一层之前的参数和网络，构成特征提取器。不同的层所提取的特征和特征维度都有差别，可以用于更多的任务。这样能提取到眼底照片的深度特征。

在一些实施例中，截取各模型倒数第二层之前的参数和网络，构成特征提取器。当然，截取的参数和网络也可以包括模型的倒数第二层的的参数和网络。因为所迁移的模型一般是分类模型，各模型网络的倒数第二层一般是全连接层，倒数第二层之前的层例如包含输入层和隐藏层，具体的层数和神经元数量等结构会依据迁移的模型而变化。具体实施例中，迁移的模型数量和用于提取特征的网络层可不同。

在一些实施例中，可以将多个特征提取器提取到的深度特征进行融合，构成深度特征集。

作为一个示例，分别迁移SE-ResNet，ResNext，InceptionV3网络和模型，在数据集1、数据集2和数据集3的训练集和验证集上训练分类模型。因为数据集的设置，在数据集1上训练的模型，关注眼底照片糖网病变的特征，和非糖网(正常和其他病变)的特征；在数据集2训练的模型，更加关注非正常眼底照片中，糖网病变的特征和其他眼底病症的特征；在数据集3训练的模型，更加关注眼底照片中正常和非糖网病变的其他病变的特征。模型训练过程中，当训练集和验证集loss趋于平缓时，停止训练。

用数据集1训练的第一特征提取器可以包括n个，例如分别为feature_extraction1_1、feature_extraction1_2、feature_extraction1_3、……、feature_extraction1_n，其中n为正整数。将n个第一特征提取器提取的特征按样本进行拼接，构成融合的第一特征数据集1。

在一些实施例中，训练3个第一特征提取器，例如feature_extraction1_1、feature_extraction1_2、feature_extraction1_3分别为SE-ResNet、ResNext、InceptionV3模型。可以将3个第一特征提取器提取的第一特征进行横向拼接，得到融合的第一特征数据集1。

用数据集2训练的第二特征提取器可以包括m个，例如分别为feature_extraction2_1、feature_extraction2_2、feature_extraction2_3、……、feature_extraction2_m，其中m为正整数。m可以与n相同，也可以不同。将m个第二特征提取器提取的特征按样本进行拼接，构成融合的第二特征数据集2。

在一些实施例中，训练3个第二特征提取器，例如feature_extraction2_1、feature_extraction2_2、feature_extraction2_3分别为SE-ResNet、ResNext、InceptionV3模型。可以将3个第二特征提取器提取的第二特征进行横向拼接，得到融合的第二特征数据集2。

用数据集3训练的第三特征提取器可以包括k个，例如分别为feature_extraction3_1、feature_extraction3_2、feature_extraction3_3、……、feature_extraction3_k，其中k为正整数。k可以与m、n相同，也可以不同。将这k个第三特征提取器提取的特征按样本进行拼接，构成融合的第三特征数据集3。

在一些实施例中，训练3个第二特征提取器，例如feature_extraction3_1、feature_extraction3_2、feature_extraction3_3分别为SE-ResNet、ResNext、InceptionV3模型。可以将3个第三特征提取器提取的第三特征进行横向拼接，得到融合的第三特征数据集3。

各个融合的特征数据集可以用于训练相应的分类器。在一些实施例中，第一分类器、第二分类器、和第三分类器中的至少一种为Xgboost分类器。例如，第一分类器、第二分类器、和第三分类器均为Xgboost分类器。Xgboost分类器的分类算法是基于Boosting的一种集成学习方法。采用Xgboost分类器能够防止过拟合，提高分类的准确率，并行优化能够提升算法效率。

例如，通过并行级联多个深度神经网络，并将多个网络中间层的特征输出进行拼接融合，用于训练Xgboost分类器。在不同的数据集上，训练不同的Xgboost分类器。还可以将多个数据集的数据放到一起，用于测试模型的整体性能。

分别用融合的各个特征数据集，采用10折交叉验证，训练3个Xgboost分类器，分别为XGB_classfication1、XGB_classfication2、XGB_classfication3。10折交叉验证(10-fold cross-validation)用来测试算法准确性，即可将数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验。集成多个模型提取的深度特征训练的Xgboost分类器，关注眼底照片中更加多样的高层特征，能一定程度的提高分类性能。

在应用中，先并行级联第一特征提取器feature_extraction1_1-n，将提取的特征拼接后用XGB_classfication1进行分类。根据其分类结果，串行级联XGB_classfication2或XGB_classfication3。若XGB_classfication1分类为1，将原始眼底照片馈入到并行级联feature_extraction2_1-m提取深度特征，再用XGB_classfication2进行分类，分类结果作为最终结果输出。若XGB_classfication1分类为0，则可以直接输出最终分类结果为0。当然，也可以进一步将原始眼底照片馈入到并行级联的feature_extraction3_1-3提取深度特征，再用XGB_classfication3进行分类。

相比单一分类模型，级联分类模型能够对糖网病变和非糖网病变的其他病变进行更有效的识别，能够进一步提高对糖网病变筛查的准确率。测试结果表明：相比单一分类模型，级联分类模型的准确度、特异性、阳性预测值都有大幅提升。

在上述实施例中，通过深度神经网络提取特征值，用于训练分类器，避免了复杂的人工提取特征的过程。另外，融合多个深度神经网络提取眼底照片的特征，使得特征的维度增大，从而训练的糖尿病视网膜病变筛查分类器具有更好的性能和泛化能力。

图2是示出根据本公开一个实施例的图像处理装置的框图。

如图2所示，图像处理装置20包括：获取单元210，被配置为获取待处理图像，例如执行步骤S1；第一特征提取器220，被配置为提取待处理图像的第一特征，例如执行步骤S2；第一分类器230，被配置为对待处理图像进行第一分类，例如执行步骤S3；第二特征提取器241，被配置为在分类结果为第一结果的情况下，提取待处理图像的第二特征，例如执行步骤S41；第二分类器251，被配置为根据第二特征对待处理图像进行第二分类，例如执行步骤S51。

在一些实施例中，图像处理装置20还包括：输出单元260，被配置为输出分类结果，例如执行步骤S6，输出第二分类的分类结果。例如，输出单元260可以利用显示器、播放器等输出分类结果。

在一些实施例中，图像处理装置还包括：第三特征提取器242，被配置为在分类结果为第二结果的情况下，提取待处理图像的第三特征，例如执行步骤S42；第三分类器252，被配置为根据第三特征对待处理图像进行第三分类，例如执行步骤S52。相应地，输出单元260被配置为输出第三分类的分类结果，例如执行步骤S6。应当理解，输出260也可以被配置为输出第一分类的分类结果。

图3是示出根据本公开另一个实施例的图像处理装置的框图。

如图3所示，图像处理装置30包括：存储器310以及耦接至该存储器310的处理器320。存储器310配置成存储执行图像处理方法对应实施例的指令。处理器320被配置为基于存储在存储器310中的指令，执行本公开中任意一些实施例中的图像处理方法中的一个或多个步骤。

应当理解，前述图像处理方法中的各个步骤都可以通过处理器来实现，并且可以软件、硬件、固件或其结合的任一种方式实现。

除了图像处理方法、装置之外，本公开实施例还可采用在一个或多个包含有计算机程序指令的非易失性存储介质上实施的计算机程序产品的形式。因此，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意实施例中的图像处理方法。

本公开实施例还提供一种糖尿病视网膜病变的筛查系统，包括前述任一实施例所述的图像处理装置。

图4A是示出根据本公开一个实施例的筛查系统的框图。

如图4A所示，筛查系统4A包括图像处理装置40A。图像处理装置40A被配置为执行前述任一实施例所述的图像处理方法。图像处理装置40A的结构可以类似于前述的图像处理装置20或30，被配置为对用户的眼底照片进行分类。

在一些实施例中，筛查系统4A还包括：图像传感器410，被配置为拍摄用户的眼底照片。图像传感器例如为摄像头。

筛查系统4A可以实现为本地服务的方式，即图像传感器、图像处理装置均位于用户端。

在一些实施例中，筛查系统4A还包括：输入设备430，被配置为输入用户信息。输入设备430例如，可以通过文字、声音或图像等方式获取用户信息。筛查系统4A还可以包括：存储器440，被配置为关联存储用户信息和分类结果。输入设备430和存储器440均可以位于用户端。

图4B是示出根据本公开另一个实施例的筛查系统的框图。图4B与图4A的不同之处在于图像处理装置位于云端，且筛查系统还包括通信单元。下面将仅描述图4B与图4A的不同之处，相同之处不再赘述。

图4B中的筛查系统4B实现为云服务的方式。如图4B所示，图像传感器410位于用户端，而图像处理装置40B位于云端，云端的图像处理装置40B可以同时或分时为多个用户提供服务。

对于在图像传感器410与图像处理装置40B位于不同侧的情况下，例如，图像传感器410位于用户端，而图像处理装置40位于云端，筛查系统4B在用户端和云端分别包括：通信单元421，被配置为从将用户端拍摄的眼底照片传输到图像处理装置；和通信单元422，被配置为将图像处理装置对眼底照片的分类结果传输到用户端。

通信单元之间例如可以通过网络进行通信。网络可以是无线网络、有线网络、和/或无线网络和有线网络的任意组合，可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者Wi-Fi等通信方式。

本公开实施例还提供一种糖尿病视网膜病变的辅助诊断系统，能够实现前述任一实施例所述的图像处理方法，例如通过软件实现糖网病视网膜病变的自动筛查，提升诊断效率、准确率。在一些实施例中，系统还保存用户的历史报告，便于病程管理。

根据本公开实施例，辅助诊断系统可分为私有化版本和SaaS版本。私有化版本满足医院不能连接外网的需求，SaaS版本适用于基层医疗，受费用限制不能购买服务器的情况下为其提供云服务，将眼底数据上传至云端进行处理返回处理结果。

图5A是示出根据本公开一个实施例的辅助诊断系统的示意图。如图5A所示，辅助诊断系统5包括服务器51、数据库52、终端计算机53、打印机54。

对于私有化版本，前述的图像处理装置可以与服务器51、数据库52、终端计算机53、打印机54一起均位于用户端(例如医院)，用于输入用户信息、提供辅助诊断服务、输出(如打印)分类结果等。前述的图像传感器、输入设备、存储器等可以是终端计算机53的组成部分。打印机54是前述的输出单元的一种实现方式。

对于SaaS版本，辅助诊断系统5还包括服务器50。前述的图像处理装置可以与服务器50、服务器51均位于云端，用于对图像进行分类，提供辅助诊断服务；而图像传感器、输入设备等可以与终端计算机53、打印机54一起均位于用户端，用于拍摄图像、输入用户信息、打印分类结果等。例如，图像传感器、输入设备等可以是终端计算机53的组成部分。终端计算机53通过服务器51与服务器50和数据库52进行数据交互。

图5B是示出根据本公开一个实施例的私有化版本辅助诊断系统的业务流程图。如图5B所示，私有化版本主要有医生账号管理、辅助诊断和历史报告查看的功能。

医生账号管理主要包括如下功能：

(1)机构成功购买并安装后，机构使用配置好的账号和密码进行登录，进入“医生管理”页面；

(2)点击“创建医生账号”，进入“医生信息”页面，填写医生信息，“姓名”、“医生电话”均为必填信息；

(3)点击“确定”，医生账号创建完成；

(4)点击医生信息右侧的“重置密码”，账号的密码被重置为初始密码“ret123”；

(5)在搜索框中输入医生姓名，点击搜索按钮搜索医生信息；

(6)点击“重置”按钮，恢复医生列表；

(7)点击“诊断数量”按钮，可根据诊断数量升序、降序排列；

(8)点击“开启/停用”下的图标，可实现医生账号的开启和停用设置。

辅助诊断主要包括如下功能：

(1)成功购买并安装后，医生使用机构生成的账号、密码完成登陆，进入“诊断分析”页面；

(2)在“患者信息录入”区域填写患者信息，“姓名”、“性别”、“出生日期”为必填信息，“手机号”、“患者自述”为选填，建议填写，以便更加全面的了解患者情况；注意：请正确输入患者信息，信息输入错误会导致信息错配或丢失。

(3)分别点击左眼、右眼图片上传框中的“+”，上传眼底图片，上传图片时注意区分左右眼，图片上传错误或是上传失败点击“重新上传”按钮，重新上传图片；

(4)点击“开始分析”按钮，进行数据分析，10s左右分析完成，自动跳转至“诊断分析界面”，若长时间未返回结果，提示“网络超时或异常，请重试”，重新点击“开始分析”按钮；

(5)在“诊断分析结果”界面，填写“医嘱”信息，“医嘱”

为必填项；

(6)点击“完成”按钮，生成报告并保存报告信息；

(7)点击“打印”按钮，打印报告，也可点击“下载”，下载报告。

历史报告查看主要包括如下功能：

(1)成功购买并安装后，机构使用配置好的账号和密码进行登录，进入“医生管理”页面；医生使用机构生成的账号、密码完成登陆，进入“诊断分析”页面；

(2)点击“历史报告”，进入历史报告页面。

图5C是示出根据本公开一些实施例的SaaS版本辅助诊断系统的业务流程图。如图5C所示，SaaS版本主要有有机构账号管理、医生账号管理、辅助诊断和历史报告查看的功能。

机构账号管理主要包括如下功能：

(1)帐号管理员成功登入系统，进入“机构管理”页面；

(2)点击“创建机构账号”，进入“创建机构账号”页面，填写机构信息，“机构名称”和“邮箱账号”均为必填信息，机构创建成功后需机构管理员登录邮箱，验证登录；

(3)点击“资料详情”可查看机构的详细信息；

(4)点击“开启/停用”下的按钮，设置机构账号开启和停用；

(5)点击“审核申请”，进入审核申请页面，显示机构审核列表；

(6)点击审核申请页面中的“审核中”，进入机构详细信息页面；

(7)审核机构信息，符合要求点击“通过审核”机构可使用账号，否则点击“点击退回申请”。

医生账号管理主要包括如下功能：

(1)机构成功购买并安装后，机构使用账号和密码进行登录，进入“医生管理”页面；

(2)点击“创建医生账号”，进入“医生信息”页面，填写医生信息，“姓名”、“性别”、“出生日期”、“医生电话”、“医生职称”、“执业年限”、“职业资格证号”均为必填信息；

(3)点击“确定”，医生账号创建完成；

(4)点击医生信息右侧的“修改资料”重置密码”，跳转至“医生信息”页面，可对医生信息页面的信息进行修改；

(5)在搜索框中输入医生姓名，点击搜索按钮搜索医生信息；

(6)点击“重置”按钮，恢复医生列表；

(7)点击“诊断数量”按钮，可根据诊断数量升序、降序排列；

(8)点击“开启/停用”下的图标，可实现医生账号的开启和停用设置。

SaaS版本的辅助诊断功能中，(1)-(6)与私有化版本操作相同，但点击完成后可自动生成二维码，用户(例如患者)可通过扫描二维码查看报告，并可通过相应的移动健康服务号查看历史报告，二维码扫描完成后跳转至辅助诊断报告页面。

SaaS版本的历史报告查看功能与私有化版本操作相同。

图6是示出用于实现本公开一个实施例的计算机系统的框图。

如图6所示，计算机系统可以通用计算设备的形式表现，该计算机系统可以用来实现上述实施例的图像处理方法。计算机系统包括存储器610、处理器620和连接不同系统组件的总线600。

存储器610例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行显示方法的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。

处理器620可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。

总线600可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。

计算机系统还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间可以通过总线600连接。输入输出接口630可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口640为软盘、U盘、SD卡等外部存储设备提供连接接口。

至此，已经详细描述了本公开的各种实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。