一种疾病辅助检测系统、方法、设备及存储介质

技术领域

本发明涉及神经网络领域，特别涉及一种疾病辅助检测系统、方法、设备及存储介质。

背景技术

在眼底图像中，一张图片可能包含多种症状，不同的图像如果包含相同的症状，则它们可能患有相同或者相似的疾病，这就导致若针对大量的眼底图像数据，都通过医生进行人工分析，工作量较大，因此需要进行眼病的辅助诊断。但是目前在影像科医生或者智能眼底仪器对眼底图像进行分析标注症状后，根据以往的诊断病例和症状进行一个初步的辅助诊断的手段，往往由于图片可能包含多种症状以及对应多种疾病。无法做出精确地判断，并且效率较低，因此，如何改善辅助诊断的效果是本领域有待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种疾病辅助检测系统、方法、设备及存储介质，可以将图像数据建模成异构图的形式，把眼病的诊断转化为异构图中的链路预测问题，然后基于异构图神经网络和元路径在异构图上进行结点之间的链路预测，提供更加有效地眼病辅助诊断结果。其具体方案如下：

第一方面，本申请提供了一种疾病辅助检测系统，包括：

异构图构建模块，用于获取预设图像数据集中的目标数据，根据所述目标数据构建异构图和所述异构图对应的特征矩阵；

实例提取模块，用于根据预设任务场景生成对应的元路径，并根据所述异构图和所述特征矩阵提取所述元路径对应的元路径实例；

链路预测模块，用于利用预设图神经网络生成所述元路径实例得到对应的目标特征表示，根据所述目标特征表示进行所述异构图的链路预测，以根据预测结果确定疾病检测结果。

可选的，所述异构图构建模块，包括：

数据获取单元，用于获取所述预设图像数据集中的图像数据、所述图像数据对应的症状数据和所述图像数据对应的疾病数据；

异构图构建单元，用于将所述图像数据、所述症状数据和所述疾病数据作为异构图节点构建所述异构图和所述异构图对应的特征矩阵。

可选的，所述异构图构建模块，包括：

特征矩阵生成单元，用于将所述图像数据、所述症状数据和所述疾病数据作为异构图节点构建所述异构图，并利用预训练模型提取所述图像数据的第一特征和所述症状数据的第二特征，根据所述第一特征和所述第二特征生成特征初始化的特征矩阵。

可选的，所述实例提取模块，包括：

元路径生成单元，用于根据所述预设任务场景将所述图像数据和所述疾病数据作为元路径起点生成所述元路径；

实例提取单元，用于确定与所述元路径起点类型相同的目标异构图节点，并提取所述目标异构图节点对应的所述元路径实例。

可选的，所述链路预测模块，包括：

特征表示确定单元，用于利用预设图神经网络遍历所述目标异构图节点对应的所有所述元路径实例，以确定所述目标异构图节点的初始特征表示；

特征表示融合单元，用于根据预设特征融合方法融合所述目标异构图节点在若干所述元路径下的若干所述初始特征表示，生成所述目标异构图节点的所述目标特征表示。

可选的，所述链路预测模块，包括：

链路预测单元，用于确定所述目标异构图节点的所述目标特征表示的内积，对所述内积进行归一化，并利用预设激活函数基于归一化结果进行所述异构图的链路预测。

可选的，所述疾病辅助检测系统，还包括：

模型训练单元，用于将所述异构图中不存在的边作为负边，将存在的边作为正边，最大化所述正边和所述负边之间所述链路预测结果的差值，将差值作为所述异构图的损失进行反向传播以完成模型训练。

第二方面，本申请提供了一种疾病辅助检测方法，包括：

获取预设图像数据集中的目标数据，根据所述目标数据构建异构图和所述异构图对应的特征矩阵；

根据预设任务场景生成对应的元路径，并根据所述异构图和所述特征矩阵提取所述元路径对应的元路径实例；

利用预设图神经网络生成所述元路径实例得到对应的目标特征表示，根据所述目标特征表示进行所述异构图的链路预测，以根据预测结果确定疾病检测结果。

第三方面，本申请提供了一种电子设备，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述的疾病辅助检测方法。

第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的疾病辅助检测方法。

本申请中异构图构建模块，用于获取预设图像数据集中的目标数据，根据所述目标数据构建异构图和所述异构图对应的特征矩阵；实例提取模块，用于根据预设任务场景生成对应的元路径，并根据所述异构图和所述特征矩阵提取所述元路径对应的元路径实例；链路预测模块，用于利用预设图神经网络生成所述元路径实例得到对应的目标特征表示，根据所述目标特征表示进行所述异构图的链路预测，以根据预测结果确定疾病检测结果。这样一来，本申请可以将图像数据建模成异构图的形式，把眼病的诊断转化为异构图中的链路预测问题，然后基于异构图神经网络和元路径在异构图上进行结点之间的链路预测，提供更加有效地眼病辅助诊断结果，提高眼病辅助诊断的效率和结果的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种疾病辅助检测系统流程图；

图2为本申请提供的一种疾病辅助检测方法流程图；

图3为本申请提供的一种具体的疾病辅助检测方法流程图；

图4为本申请提供的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在眼底图像中，不同的图像如果包含相同的症状，则它们可能患有相同或者相似的疾病，这就导致若针对大量的眼底图像数据，都通过医生进行人工分析，工作量较大，因此需要进行眼病的辅助诊断。本申请可以将图像数据建模成异构图的形式，把眼病的诊断转化为异构图中的链路预测问题，然后基于异构图神经网络和元路径在异构图上进行结点之间的链路预测，提供更加有效地眼病辅助诊断结果，提高眼病辅助诊断的效率和结果的准确度。

参见图1所示，本发明实施例公开了一种疾病辅助检测系统，包括：

异构图构建模块11，用于获取预设图像数据集中的目标数据，根据所述目标数据构建异构图和所述异构图对应的特征矩阵。

本实施例中，首先通过异构图构建模块获取预设图像数据集中的目标数据，根据目标数据构建异构图和异构图对应的特征矩阵。在进行异构图的构建时，可以通过数据获取单元获取预设图像数据集中的图像数据、图像数据对应的症状数据和图像数据对应的疾病数据，然后利用异构图构建单元将图像数据、症状数据和疾病数据作为异构图节点构建异构图。异构图构建完成后，通过特征矩阵生成单元利用预训练模型提取图像数据的第一特征和症状数据的第二特征，根据第一特征和第二特征生成特征初始化的特征矩阵。

可以理解的是，眼底图像数据集，即预设图像数据集中包含眼底图像数据，眼底图像所包含的症状数据，眼底图像患有的疾病数据。相应的，构造一个异构图，异构图包含三种类型的结点：眼底图像结点、症状结点和疾病结点，分别对应眼底图像数据，症状数据和疾病数据。这样一来，眼底图像结点和疾病结点之间的边代表对应的眼底图像患有该疾病，眼底图像结点和症状结点之间的边代表眼底图像中包含相应的症状。基于上述异构图，眼病诊断问题就可以看作在异构图中，已知眼底图像结点及其与对应症状结点之间的连接边，去预测眼底图像结点和哪些疾病结点之间可能存在边，如果存在边则说明眼底图像患有对应的疾病，可以将疾病预测的需求转换为异构图中的链路预测问题。并且在构建完异构图后，为每个结点构建初始化特征。对于眼底图像结点，可以使用训练好的预训练模型去提取对应的眼底图像的特征，例如，使用VGG16(Visual Geometry Group Network，视觉几何群网络)模型。疾病特征可以采用独热编码。症状特征也可以使用训练好的预训练模型进行特征的提取，本实施例中使用的也是VGG16模型。需要指出的是，为了方便后续步骤对特征进行处理，所有特征的维度都要相同，例如将所有初始特征的维度设置为512维，从而得到一个特征初始化后的异构图G和相应的特征矩阵H。这样一来，把眼底图像数据建模成异构图的形式，异构图包括症状结点，眼底图像结点和疾病结点，这样通过症状的关联就转换为图像结点与症状结点之间的边关联，而眼底图像结点和疾病结点之间的边则代表眼底图像患有对应的疾病，从而眼病的辅助诊断就可以看作预测眼底图像结点与疾病结点是否存在边，即异构图中的链路预测问题，可以更加直观地进行辅助诊断。

同时，可以理解的是，基于上述异构图模型，在模型构建的过程中，可以通过模型训练单元将异构图中不存在的边作为负边，将存在的边作为正边，最大化正边和负边之间链路预测结果的差值，将差值作为异构图的损失进行反向传播以完成模型训练。

实例提取模块12，用于根据预设任务场景生成对应的元路径，并根据所述异构图和所述特征矩阵提取所述元路径对应的元路径实例。

本实施例中，通过实例提取模块根据预设任务场景生成对应的元路径，并根据异构图和特征矩阵提取元路径对应的元路径实例。具体的，在进行元路径实例提取时，可以通过元路径生成单元根据预设任务场景将图像数据和疾病数据作为元路径起点生成元路径；然后通过实例提取单元确定与元路径起点类型相同的目标异构图节点，并提取目标异构图节点对应的元路径实例。

本实施例首先基于任务场景设计与任务相关的元路径，上述元路径的起点是眼底图像结点和疾病结点，并且可以理解的是元路径一般要求是对称的，但也可使用不对称的。同时在设计元路径时，眼底图像相关的元路径要和疾病相关的元路径的数量要保持一致。然后对于每个眼底图像结点和疾病结点，提取其在每条与其相关的元路径下的实例，即起点类型与结点类型相同的元路径下的实例。可以理解的是，实例中包含潜在的关联信息和结构信息，每个结点在每条元路径下只有一个实例，实例包含所有符合元路径结构的路径。

链路预测模块13，用于利用预设图神经网络生成所述元路径实例得到对应的目标特征表示，根据所述目标特征表示进行所述异构图的链路预测，以根据预测结果确定疾病检测结果。

本实施例中，通过链路预测模块利用预设图神经网络生成元路径实例得到对应的目标特征表示，根据目标特征表示进行异构图的链路预测，以根据预测结果确定疾病检测结果。

在进行特征表示时，对于每个眼底图像结点和疾病结点使用图神经网络去对实例进行处理，得到结点的特征表示，例如使用一个2层的GAT(Graph Attention Networks，图注意力网络)模型。对于每一个实例，最终得到该结点在该实例中的表示，即该结点在实例对应的元路径下的表示，然后遍历所有的实例就可得到结点在所有元路径下的特征表示。然后融合不同元路径下结点的表示，例如把不同元路径下的表示直接连接在一起，有助于可以保留全部的信息，然后得到眼底图像结点和疾病的最终特征表示。可以理解的是，在进行特征表示融合时，也可以根据实际需求选取其他相应的融合方法，在此不做具体阐述。

具体的，通过特征表示确定单元利用预设图神经网络遍历目标异构图节点对应的所有元路径实例，以确定目标异构图节点的初始特征表示；然后通过特征表示融合单元根据预设特征融合方法融合目标异构图节点在若干元路径下的若干初始特征表示，生成目标异构图节点的目标特征表示。

在上述目标特征表示的基础上，通过链路预测单元确定目标异构图节点的目标特征表示的内积，对内积进行归一化，并利用预设激活函数基于归一化结果进行异构图的链路预测。例如，计算眼底图像结点与疾病结点的特征表示的内积，然后把结果归一化，在上述过程中，可以使用sigmoid激活函数，这样一来，可以得到眼病图像结点与疾病结点之间边存在的可能性，以便根据结果去进行眼病的诊断。

通过上述技术方案，本实施例中通过异构图构建模块通过数据获取单元获取预设图像数据集中的图像数据、图像数据对应的症状数据和图像数据对应的疾病数据，然后利用异构图构建单元将图像数据、症状数据和疾病数据作为异构图节点构建异构图。异构图构建完成后，通过特征矩阵生成单元利用预训练模型提取图像数据的第一特征和症状数据的第二特征，根据第一特征和第二特征生成特征初始化的特征矩阵。实例提取模块根据预设任务场景生成对应的元路径，并根据异构图和特征矩阵提取元路径对应的元路径实例；链路预测模块通过特征表示确定单元利用预设图神经网络遍历目标异构图节点对应的所有元路径实例，以确定目标异构图节点的初始特征表示；然后通过特征表示融合单元根据预设特征融合方法融合目标异构图节点在若干元路径下的若干初始特征表示，生成目标异构图节点的目标特征表示。这样一来，本实施例眼底图像及相关数据被建模成异构图，用异构图中的链路预测来实现眼病的诊断。然后在基于元路径的异构图神经网络特征提取中，使用元路径去获取数据之间的关联关系，然后融合不同元路径下结点的特征。并且使用余弦相似度去预测结点间边存在的概率，进而实现眼病的诊断。可以将图像数据建模成异构图的形式，把眼病的诊断转化为异构图中的链路预测问题，然后基于异构图神经网络和元路径在异构图上进行结点之间的链路预测，提供更加有效地眼病辅助诊断结果，提高眼病辅助诊断的效率和结果的准确度。

参见图2所示，本发明实施例公开了一种疾病辅助检测方法，包括：

步骤S11、获取预设图像数据集中的目标数据，根据所述目标数据构建异构图和所述异构图对应的特征矩阵。

本实施例中，首先获取预设图像数据集中的图像数据、图像数据对应的症状数据和图像数据对应的疾病数据，然后将图像数据、症状数据和疾病数据作为异构图节点构建异构图G。异构图构建完成后，利用预训练模型提取图像数据的第一特征和症状数据的第二特征，根据第一特征和第二特征生成特征初始化的特征矩阵H。

步骤S12、根据预设任务场景生成对应的元路径，并根据所述异构图和所述特征矩阵提取所述元路径对应的元路径实例。

本实施例中，根据预设任务场景将图像数据和疾病数据作为元路径起点生成元路径；然后确定与元路径起点类型相同的目标异构图节点，并提取目标异构图节点对应的元路径实例。

步骤S13、利用预设图神经网络生成所述元路径实例得到对应的目标特征表示，根据所述目标特征表示进行所述异构图的链路预测，以根据预测结果确定疾病检测结果。

本实施例中，利用预设图神经网络遍历目标异构图节点对应的所有元路径实例，以确定目标异构图节点的初始特征表示；然后根据预设特征融合方法融合目标异构图节点在若干元路径下的若干初始特征表示，生成目标异构图节点的目标特征表示。最终可以在链路预测时，确定目标异构图节点的目标特征表示的内积，对内积进行归一化，并利用预设激活函数基于归一化结果进行异构图的链路预测。

通过上述技术方案，如图3所示，本实施例首先获取预设图像数据集中的图像数据、症状数据和疾病数据，并作为异构图节点构建异构图G，以及利用预训练模型提取图像数据的第一特征和症状数据的第二特征生成特征初始化的特征矩阵H。然后根据预设任务场景将图像数据和疾病数据作为元路径起点生成元路径；确定与元路径起点类型相同的目标异构图节点，提取目标异构图节点对应的元路径实例。最后利用预设图神经网络遍历目标异构图节点对应的所有元路径实例，并生成对应的目标特征表示的内积，利用预设激活函数基于归一化结果进行异构图的链路预测。这样一来，可以把眼底图像数据建模成异构图的形式，通过症状的关联就转换为图像结点与症状结点之间的边关联，而眼底图像结点和疾病结点之间的边则代表眼底图像患有对应的疾病，基于异构图神经网络和元路径在异构图上进行结点之间的链路预测，可以提供更加有效地眼病辅助诊断结果，提高眼病辅助诊断的效率和结果的准确度。

进一步的，本申请实施例还公开了一种电子设备，图4是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图4为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的疾病辅助检测方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的疾病辅助检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的疾病辅助检测方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。