一种胶质母细胞瘤患者总体生存时间预测系统

技术领域

本申请涉及预测系统技术领域，特别是涉及一种胶质母细胞瘤患者总体生存时间预测系统。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

胶质母细胞瘤（GBM）是成人中最常见和致命的IV级恶性脑肿瘤，胶质母细胞瘤（GBM）患者的中位总体生存时间通常小于15个月。准确预测胶质母细胞瘤（GBM）患者的总体生存（OS）时间对于制定治疗计划和合理安排医疗资源至关重要。然而，胶质母细胞瘤（GBM）的表型异质性导致患者预后极差、治疗反应率低以及个体间的总体生存时间差异很大。因此，需要开发一种精确的算法来自动预测胶质母细胞瘤（GBM）患者的总体生存时间。

总体生存时间指的是从病人确认患有疾病开始至因任何原因引起死亡的时间，自动预测胶质母细胞瘤（GBM）患者的总体生存时间是一项回归任务，深度学习方法因其自动学习层级信息的卓越能力，在医学图像处理的分类和回归方面取得了巨大进展。

其中，脉冲神经膜系统是一种受生物神经网络中神经元之间利用脉冲进行信息交互的生物现象启发的膜计算模型，脉冲神经膜系统被认为是第三代神经网络。脉冲神经膜系统及其变体是简单的二维图结构，其中，图的顶点表示神经元，图的边表示神经元之间的突触，每个神经元都有一定数量的脉冲和规则。脉冲神经膜系统具有强大的并行性、鲁棒性，使其能够有效地解决一些实际应用问题。此外，能够在图形处理单元（GPU）中对脉冲神经膜系统进行仿真，进一步有效的解决了一些难点问题。

然而，当前的脉冲神经膜系统是简单的二维有向图膜结构。简单的二维有向图膜结构导致神经元只能将信息传递给与其相连的神经元，不能进行分层计算和非结果储存，也无法表示多级网络结构，不能满足复杂的实际应用。这使得神经元只能在平面内通信，忽略了真实神经元能够在平面、层次和跨膜结构上进行生物交流，从而限制了模型的学习能力，影响总体生存时间的预测。

此外，现有技术中，有不少的模型已经被应用在磁共振成像（MRI）上对脑肿瘤患者的总体生存时间进行预测。但是，很少有研究基于组织病理学图像对脑肿瘤患者的总体生存时间进行预测。

发明内容

为了解决现有技术的不足，本申请提供了一种胶质母细胞瘤患者总体生存时间预测系统、电子设备及计算机可读存储介质，将超图引入脉冲神经膜系统，执行复杂的层次计算、存储中间结果和处理高阶关系，从组织病理学图像中对胶质瘤患者的总体生存时间进行预测。

第一方面，本申请提供了一种胶质母细胞瘤患者总体生存时间预测系统；

一种胶质母细胞瘤患者总体生存时间预测系统，包括：

获取模块，被配置为：获取组织病理学图像；

生存时间预测模块，被配置为：将组织病理学图像输入基于超图的脉冲神经膜系统，获取总体生存时间预测结果；其中，基于超图的脉冲神经膜系统包括第一超上神经元、第二超上神经元和第三超上神经元，第一超上神经元用于对组织病理学图像进行预处理，第二超上神经元用于根据预处理后的组织病理学图像选择与生存相关的簇，第三超上神经元用于根据与生存相关的簇进行总体生存时间预测；第一超上神经元、第二超上神经元和第三超上神经元内部均设置有超边神经元，第一超上神经元、第二超上神经元和第三超上神经元外部均设置有输入/输出神经元。

进一步的，所述将组织病理学图像输入基于超图的脉冲神经膜系统，获取总体生存时间预测结果的实现过程如下：

输入/输出神经元读取组织病理学图像并将其转换为脉冲和脉冲序列并发送至第一超上神经元；

第一超上神经元筛选脉冲和脉冲序列，提取有效切片并发送至第二超上神经元；

第二超上神经元通过k-means算法将有效切片聚类为K个簇，选择与生存相关的簇并发送至第三超上神经元；

第三超上神经元基于与生存相关的簇，通过总体生存时间预测模型进行总体生存时间预测，获取总体生存时间预测结果并发送至输入/输出神经元；其中，所述总体生存时间预测模型包括总体生存时间预测网络和基因型分类网络；

输入/输出神经元输出总体生存时间预测结果。

进一步的，第一超上神经元中的多个超顶点神经元分别同时获取多个组织病理学图像的脉冲和脉冲序列，根据平面规则，按行顺序将组织病理学图像的脉冲和脉冲序列划分为大小为1024×1024像素的切片的脉冲和脉冲序列；

根据筛选规则，删除大小小于1024×1024像素或背景颜色大于50%的切片的脉冲和脉冲序列。

进一步的，平面规则表示为

筛选规则表示为

其中，

进一步的，第二超上神经元通过k-means算法将有效切片聚类为K个簇并将K个簇分别迁移至第二超上神经元中的K个超顶点神经元；

将K个簇分别输入第二超上神经元中的k个超边神经元中的分类模型，获取预测精度；

通过平面规则和层次规则，根据阈值和预测精度对簇进行筛选，获取与生存相关的簇。

进一步的，采用交叉熵损失函数对分类模型进行约束，交叉熵损失损失函数表示为

其中，

进一步的，所述第三超上神经元基于与生存相关的簇，通过总体生存时间预测模型，获取总体生存时间预测结果包括：

将与生存相关的簇分别输入第三超上神经元中的第四超边神经元和第五超边神经元；

在第五超边神经元中，通过基因型分类网络，提取基因型特征，获取基因型分类结果；

在第四超边神经元中，通过总体生存时间预测网络，提取图像特征，根据图像特征获取总体生存时间预测结果；总体生存时间预测网络和基因型分类网络并行进行总体生存时间预测和基因型分类。

进一步的，所述第三超上神经元基于与生存相关的簇，通过总体生存时间预测模型进行总体生存时间预测，获取总体生存时间预测结果还包括：

通过跨膜规则，将基因型分类结果发送至第四超边神经元，其中，基因型分类结果为基因型特征的脉冲和脉冲序列；

在第四超边神经元中，通过总体生存时间预测网络，根据图像特征和基因型特征，获取总体生存时间预测结果。

进一步的，采用均方根误差损失函数对总体生存时间预测网络进行约束，均方根误差损失函数表示为

其中，

进一步的，所述第三超上神经元基于与生存相关的簇，通过总体生存时间预测模型进行总体生存时间预测，获取总体生存时间预测结果还包括：

通过输入/输出神经元输出总体生存时间预测结果和基因型分类结果。

第二方面，本申请提供了一种电子设备；

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如下步骤：

获取组织病理学图像；

将组织病理学图像输入基于超图的脉冲神经膜系统，获取总体生存时间预测结果；其中，基于超图的脉冲神经膜系统包括第一超上神经元、第二超上神经元和第三超上神经元，第一超上神经元用于对组织病理学图像进行预处理，第二超上神经元用于根据预处理后的组织病理学图像选择与生存相关的簇，第三超上神经元用于根据与生存相关的簇进行总体生存时间预测；第一超上神经元、第二超上神经元和第三超上神经元内部均设置有超边神经元，第一超上神经元、第二超上神经元和第三超上神经元外部均设置有输入/输出神经元。

第三方面，本申请提供了一种计算机可读存储介质；

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如下步骤：

获取组织病理学图像；

将组织病理学图像输入基于超图的脉冲神经膜系统，获取总体生存时间预测结果；其中，基于超图的脉冲神经膜系统包括第一超上神经元、第二超上神经元和第三超上神经元，第一超上神经元用于对组织病理学图像进行预处理，第二超上神经元用于根据预处理后的组织病理学图像选择与生存相关的簇，第三超上神经元用于根据与生存相关的簇进行总体生存时间预测；第一超上神经元、第二超上神经元和第三超上神经元内部均设置有超边神经元，第一超上神经元、第二超上神经元和第三超上神经元外部均设置有输入/输出神经元。

与现有技术相比，本申请的有益效果是：

1、本发明提出了一种基于超图的脉冲神经膜系统，该系统将超图理论引入到脉冲神经膜系统中，使神经元能够在平面、层次和跨膜结构上表达高阶关系；基于脉冲神经膜系统的最大并行性和强鲁棒性，可以在集成学习框架中并行执行多个具有不同初始配置的总体生存时间预测模型，以提高总体生存时间预测精度，并降低时间复杂性；基于超图的脉冲神经膜系统将超图理论引入到脉冲神经膜系统中，使神经元能够在平面、层次和跨膜结构上表达高阶关系，解决了经典脉冲神经膜系统存在的问题。

2、本发明提出了三类神经元来描述神经元之间的高阶关系，还设计了神经元之间的三种规则，以将模型扩展到平面、层次和跨膜计算，从而提高基于超图的脉冲神经膜系统解决实际问题的学习能力。

3、本发明通过基于超图的脉冲神经膜系统，开发了从组织病理图像中预测胶质母细胞瘤（GBM）患者总体生存时间的模型，基于超图的脉冲神经膜系统在集成学习框架中并行地执行多个具有不同初始化设置的总体生存时间预测模型，以提高总体生存时间预测的精度并降低时间复杂性。

4、本发明对组织病理学图像进行处理，组织病理学图像揭示了疾病进展和相关的分子过程，并包含了关于肿瘤形态学表型的丰富信息；使用组织病理学图像预测总体生存时间可以学习到丰富的与总体生存时间相关的表型特征，从而可以有效的预测胶质瘤患者的总体生存时间，提高总体生存时间预测的准确性。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本申请实施例提供的流程示意图；

图2为本申请实施例提供的超图示例图；

图3为本申请实施例提供的图2中的超图示例对应的脉冲神经膜系统的示例图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本申请使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

术语解释：

经典的脉冲神经膜系统：由

(1)

其中，

表示两个神经元之间的突触；

分别表示输入和输出神经元；/>

（a）脉冲规则

(2)

如果神经元

（b）遗忘规则

(3)

如果神经元

在脉冲神经膜系统中，所有神经元都并行工作。在一个神经元内，满足条件的多个规则将随机串联触发。在计算过程中，将通过添加全局时钟来生成名为脉冲序列的二进制序列。当神经元发出一个脉冲时，这个时刻将标记为“1”，否则，将标记为“0”。

超图：超图是图论的一个分支，它的超边可以包含多个顶点。给定一个超图

(4)

实施例一

现有技术中，一方面，脉冲神经膜系统的神经元只能在平面内通信，限制了模型的学习能力；另一方面，利用磁共振成像进行预测，磁共振成像包含的形态学表型信息不够丰富；从而影响了总体生存时间的预测精度。

因此，本发明将超图引入脉冲神经膜系统可以获得三类新的神经元，即超顶点神经元、超边神经元和超上神经元。特别是，超顶点神经元是基于超图的脉冲神经膜系统的基础神经元，其内部没有任何神经元。基础神经元层定义为一组超顶点神经元，超边神经元是包含多个超顶点神经元的神经元。超上神经元内部有超边神经元，外部有输入/输出神经元，用于输入和输出脉冲的神经元是输入/输出神经元。

本申请提供了一种胶质母细胞瘤患者总体生存时间预测系统。接下来，结合图1-图3对本实施例公开的一种胶质母细胞瘤患者总体生存时间预测系统进行详细说明。

一种胶质母细胞瘤患者总体生存时间预测系统，包括：

获取模块，被配置为：获取组织病理学图像，其中，组织病理学图像来自于癌症基因组图谱的胶质母细胞瘤（GBM）队列中110例患者的组织病理学图像。

生存时间预测模块，被配置为：将组织病理学图像输入基于超图的脉冲神经膜系统，获取总体生存时间预测结果；其中，基于超图的脉冲神经膜系统包括第一超上神经元、第二超上神经元和第三超上神经元，第一超上神经元用于对组织病理学图像进行预处理，第二超上神经元用于根据预处理后的组织病理学图像选择与生存相关的簇，第三超上神经元用于根据与生存相关的簇进行总体生存时间预测；第一超上神经元、第二超上神经元和第三超上神经元内部均设置有超边神经元，第一超上神经元、第二超上神经元和第三超上神经元外部均设置有输入/输出神经元。

如图2所示，图2为一个超图示例，超图

对应的神经元结构如图3所示，其中，第一超顶点神经元集合

接下来，本实施例定义一个

(5)

（1-1）

（1-2）

上述超神经元的形式可表示为

当

（1-2-1）平面规则

平面规则只能在相同类别的相连神经元之间执行（例如，两个相连的超顶点神经元/超边神经元/超上神经元）。

(6)

神经元

（1-2-2）跨膜规则

得益于超图的结构，两个超顶点神经元

(7)

神经元

（1-2-3）层次规则

层次规则可以在具有层次关系的相连神经元之间实现，例如

(8)

神经元

此外，每个神经元

(9)

（1-3）

（1-4）

（1-5）

基于超图的脉冲神经膜系统的格局可以通过所有神经元的脉冲数量和带着权重的脉冲序列来表示，基于超图的脉冲神经膜系统的初始格局可以表示为：

。

通过执行规则从一个格局转换为另一个格局的过程称为计算，在每个格局中，不同的神经元并行执行其规则，神经元内的规则串行工作。格局从初始格局

基于超图的脉冲神经膜系统的膜结构如图1所示，包括第一超上神经元、第二超上神经元、第三超上神经元和输入/输出神经元，第一超上神经元、第二超上神经元和第三超上神经元内部均设置有超边神经元，第一超上神经元、第二超上神经元和第三超上神经元外部均设置有输入/输出神经元。

示例性的，生存时间预测模块的实现流程如下：

（101）输入/输出神经元读取组织病理学图像并将其转换为脉冲和脉冲序列并发送至第一超上神经元；其中，组织病理学图像是彩色图像，R，G，B

为了将组织病理学图像转换为由脉冲和相应的脉冲序列表示的像素，在输入/神经元

具体的，对于一张组织病理学图像

（102）第一超上神经元筛选脉冲和脉冲序列，提取有效切片并发送至第二超上神经元；

具体的，首先，m张组织病理学图像的脉冲和脉冲序列分别通过层次规则（10）（11）分别发送到m个第一超顶点神经元

(10)

(11)

(12)

(13)

(14)

(15)

其中，

（103）第二超上神经元通过k-means算法将有效切片聚类为K个簇，选择与生存相关的簇并发送至第三超上神经元；

具体的，为了进一步获得与生存相关的切片的表型特征并删除无用切片用于总体生存时间预测，通过第二超上神经元

然后，采用ResNet-50网络（

(16)

(17)

(18)

(19)

其中，

具体来说，总体生存时间分为两类：长期（中位总体生存时间>365天）和短期（中位总体生存时间<365天）。最后，在第四超顶点神经元

(20)

其中，

对于簇

(21)

(22)

其中，

选出的与生存相关的簇的脉冲和脉冲序列

(23)

(24)

其中，

（104）第三超上神经元基于与生存相关的簇，通过总体生存时间预测网络和基因型分类网络并行进行生存时间预测和基因型分类，获取基因型分类结果和总体生存时间预测结果并发送至输入/输出神经元；

具体的，与生存相关的簇的脉冲和脉冲序列通过层次规则（25）和平面（26）发送到第三超边神经元

具体而言，n倍的与生存相关的簇通过层次规则（

为了使用基因型辅助总体生存时间预测，通过第六超边神经元

(25)

(26)

(27)

其中，

(28)

(29)

其中，

(30)

其中，

(31)

(32)

其中，

（105）输入/输出神经元输出总体生存时间预测结果和基因型分类结果。

在没有规则可以执行后，脉冲和带着权重的脉冲序列通过层次规则（

(33)/>

其中，

为了验证本实施例提供的胶质母细胞瘤患者总体生存时间预测系统的效果，利用来自癌症基因组图谱的胶质母细胞瘤队列进行评估。

本实施例提出的胶质母细胞瘤患者总体生存时间预测系统是使用 Pytorch 框架在具有32GB内存的NVIDIA Tesla V100 GPU上实现的，Adam优化算法用于迭代更新网络权重以优化模型，初始学习率被设置为10

在训练期间，Batch size为16，epoch为100，阈值

实验中评估指标分别为：均方根误差（RMSE）、平均绝对误差（MAE）和皮尔逊相关系数（CC），通过5折交叉验证之后，本实施例的预测结果的RMSE、MAE和CC分别为218.0±120.8、197.7±122.2和0.515，优于其他最先进系统。

实施例二

本发明实施例二提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，完成如下的步骤：

获取组织病理学图像；

将组织病理学图像输入基于超图的脉冲神经膜系统，获取总体生存时间预测结果；其中，基于超图的脉冲神经膜系统包括第一超上神经元、第二超上神经元和第三超上神经元，第一超上神经元用于对组织病理学图像进行预处理，第二超上神经元用于根据预处理后的组织病理学图像选择与生存相关的簇，第三超上神经元用于根据与生存相关的簇进行总体生存时间预测；第一超上神经元、第二超上神经元和第三超上神经元内部均设置有超边神经元，第一超上神经元、第二超上神经元和第三超上神经元外部均设置有输入/输出神经元。

实施例三

本发明实施例三提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如下的步骤：

获取组织病理学图像；

将组织病理学图像输入基于超图的脉冲神经膜系统，获取总体生存时间预测结果；其中，基于超图的脉冲神经膜系统包括第一超上神经元、第二超上神经元和第三超上神经元，第一超上神经元用于对组织病理学图像进行预处理，第二超上神经元用于根据预处理后的组织病理学图像选择与生存相关的簇，第三超上神经元用于根据与生存相关的簇进行总体生存时间预测；第一超上神经元、第二超上神经元和第三超上神经元内部均设置有超边神经元，第一超上神经元、第二超上神经元和第三超上神经元外部均设置有输入/输出神经元。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。