一种融合异质临床特征的诊断预测方法

技术领域

本发明涉及人工智能技术领域，特别涉及一种融合异质临床特征的诊断预测方法。

背景技术

诊断预测(Diagnosis Prediction,DP)是医学领域机器学习方法的主要应用场景之一，旨在预测患者未来的健康状况，以提高个人健康护理的质量。具体的，诊断预测任务的目标是从患者的历史电子医疗记录(Electronic Healthcare Records,EHR)中预测患者可能患有的疾病情况，患者的EHR数据通常由一系列入院就诊记录组成，每次就诊包括入院和出院时间戳以及一组临床事件，如诊断、医学程序、药物说明、检查结果等。通过分析这些数据，预测得到未来该患者可能患有的疾病情况。

当前的诊断预测方法以基于深度学习的方法为主，通常需要大量数据才能获得较好的预测性能。但是一些罕见病的医学代码在EHR数据中的出现频率往往很低，这部分代码面临训练数据不充足的问题，因此如何针对这些罕见的代码训练鲁棒的预测模型成为当下具有挑战性的任务。

有工作表明，利用图结构的领域知识可以显著提高模型对数据不足的鲁棒性，并有利于提升预测性能。目前的图方法都着重挖掘诊断关系图的空间结构特征，却忽略了基于诊断记录构造的诊断关系图的时间上可能存在联系，这在一定程度上限制了模型的表现。

从模型输入的角度出发，当前大多数诊断预测模型都是在利用患者的就诊记录信息(每次就诊患有哪些疾病)的基础上进行学习和预测。然而，在现实的医生诊断流程中，显然不会仅仅根据过去的病史就给出结论，而是要结合一些患者个人信息和临床特征(检查结果等)来综合判断。相应的，患者的EHR数据不仅仅包含其每次就诊所患有的疾病情况，也包括了患者的个人基本信息、症状、检查结果等，忽视这些信息不可避免地对预测结果有所影响。

发明内容

为了克服以上问题，本发明结合患者的疾病史和患者临床检测结果进行预测，以更加准确地预测患者疾病类型。

本发明首先构建患者的疾病诊断记录关系图，采用动态图神经网络ST-GCN捕获结构信息和时序信息，对疾病关系图进行编码；其次，选择并提取EHR数据中的时序临床特征，使用Britis网络进行缺失插补和患者临床特征进行编码；最后，针对上述两种特征信息，使用门控互补Transformer模型进行有选择的保留和融合疾病表示和临床特征表示，使用融合表示预测患者的疾病类型。具体技术方案如下：

一种融合异质临床特征的诊断预测方法，其特征在于，包括以下步骤：

步骤1，从患者的诊断记录中提取疾病名称，结合ICD-Tree，生成疾病关系图；

步骤2，利用动态图神经网络ST-GCN对疾病关系图中的结点疾病向量表示进行编码，得到疾病的最终向量表示；

步骤3，对患者临床特征进行编码，得到临床特征的向量表示；

步骤4，融合疾病的最终向量表示和临床特征的向量表示，预测疾病类型；其中，所述步骤2包括：

步骤21，将疾病关系图中的结点的向量表示投影为高维向量表示；

步骤22，对每个时刻的疾病关系图，通过空间维度的卷积操作将邻居结点的信息加入高维向量表示；

步骤23，对每个时刻的疾病关系图，通过时间维度的卷积操作将一段时期内的疾病关系图进行求和，获得最终的所有疾病结点集合的向量表示。进一步的，在步骤1中，从患者的诊断记录中提取疾病名称，在ICD-Tree的叶子节点中进行查找疾病名称，找到对应的结点后，保留从该结点到根节点的路径，对每一个疾病进行同样的处理后，将路径组合为患者本次的疾病关系图，并计算获得该疾病关系图的邻接矩阵A。

进一步的，在步骤21中，使用通道数量为d个、大小为1*1的卷积核对结点向量表示空间从低维投影到N×d维，从而得到结点的高维向量表示x′

进一步的，在步骤22中，空间卷积操作用公式表示为：

D

其中，A为输入的邻接矩阵，I为单位矩阵，D为度矩阵，W

进一步的，在步骤23中，时间维度的卷积操作用公式表示为：

h

其中，GCN(x′

进一步的，在步骤3中，使用双向循环编码器Britis补充临床特征信息序列的缺失值，并生成患者的临床特征的向量表示。

进一步的，在步骤4中，使用门控互补的Transformer对疾病表示和临床特征表示进行异质信息的融合，得到的融合表示经过前馈神经网络FFN和sigmoid激活函数进行分类，预测疾病的ICD编码。

进一步的，其特征在于，所述门控互补的Transformer具有对称结构，门控互补的Transformer相对于传统的Transformer(单个Transformer)是一对对称的Transformer单元，每个Transformer单元增加了混合门、保留门、双向门控循环和池化模块，其中，双向门控循环和池化模块对输入信息进行编码，并将编码送到混合门和保留门；保留门生成主信息保留比例，并与输入信息相乘后送入add&归一化层；混合门输出辅助信息注入比例，并与多头注意力机制的输出相乘后送入add&归一化层。

进一步的，其特征在于，所述步骤4包括：

将最终的疾病向量表示h

其中，

其中

上述过程得到的门信号

m

其中，

综合两种信息的输出过程用下面公式描述：

其中m

最终，门控互补Transformer单元输出表示：

经过异质信息融合模块，会得到以临床特征为主信息的输出h

h

h

h

进一步的，在训练时，还包括：

步骤5：使用交叉熵计算损失：

使用反向传播算法步骤1到步骤4中的参数进行调整。

本发明的优势在于：

(1)有效利用了EHR数据中的时序临床特征，融合疾病信息和临床特征检查结果信息共同进行诊断预测，更加符合真实诊疗逻辑。

(2)动态图神经网络在融合了医疗概念知识的同时，充分利用了图的结构信息和时序依赖信息。

(3)受益于引入的异质临床特征以及图结构的诊断记录建模，可以较好地处理低频ICD代码和短就诊记录数据的预测问题。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一个实施例的融合异质临床特征的诊断预测方法的流程示意图；

图2为本发明一个实施例的诊断记录、1CD-Tree和疾病关系图的示意图；

图3为本发明一个实施例的ST-GCN对诊断记录疾病进行编码的示意图；

图4为本发明一个实施例的门控互补Transformer进行融合的示意图；

图5为本发明一个实施例的门控互补Transformer单元的内部详细构造；

图6为本发明一个实施例的融合异质临床特征的诊断预测方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的融合异质临床特征的诊断预测方法，如图1和6所示，包括：

步骤1，根据患者诊断记录构建患者疾病关系图：从患者的诊断记录中提取疾病名称，结合1CD-Tree，生成疾病关系图；

步骤2，利用动态图神经网络ST-GCN对疾病关系图结点对应的疾病向量表示进行编码，得到疾病的最终向量表示；

步骤3，对患者临床特征进行编码：如果临床特征信息序列有缺失值，使用双向循环编码器Britis生成补充，并进行临床特征编码，得到临床特征的向量表示；

步骤4，融合疾病的最终向量表示和临床特征的向量表示，预测疾病类型：使用门控互补的Transformer对疾病的最终向量表示和临床特征的向量表示进行异质信息的融合得到融合表示，融合表示经过前馈神经网络FFN和sigmoid激活函数进行分类，预测疾病的1CD编码。

在步骤1中，从患者的某次结构化诊断记录(病历，病历中有诊断出的疾病)提取疾病名称，构成“疾病诊断记录”子图，其中的结点代表诊断记录中的疾病米名称，如图2所示，“疾病诊断记录”子图表示某次诊断结果为患者患有{肠胃炎，脑血栓，高血压}。ICD-Tree子图是世界卫生组织开发的国际统一的国际疾病分类(1CD)的层级结构视图，ICD-Tree中叶子结点(1，2，3，8，10)是具体的疾病结点，祖先结点(4，5,6,7,9)可代表与叶结点相近的新型疾病，针对“疾病诊断记录”的每一个具体的疾病，在ICD-Tree的叶子节点中进行查找，找到对应的节点后，保留从该结点到根节点的路径，例如，“疾病诊断记录”中的疾病1，在ICD-Tree中查找，发现从1往上还有6、7结点，则将ICD-Tree中结点(1，6,7)移植到疾病关系图中。对每一个疾病进行同样的处理后，得到患者本次的疾病关系图，需要注意的是疾病关系图中除了某次诊断结果(结点1,2，3)外，还包含有其他待预测的疾病类型(结点5～10，不是过去诊断记录结果，但是可能作为预测结果)，如图2所示，黑色结点是本次诊断记录带有的疾病，白色结点不是此次诊断结果。可以用一个邻接矩阵A来表示生成的疾病关系图，当结点i，j存在边(ICD-Tree中结点和边移植到疾病关系图中)时A

步骤1将普通的诊断记录文本转化为图的形式，清晰地描述了诊断记录中疾病之间的联系，而一般的神经网络很难直接从文本中学习到疾病之间的关系，但图的形式，可以由图神经网络进行学习，从而得到各疾病之间的关系。

在步骤2中对疾病关系图的结点向量化并进行编码：为疾病关系图中的结点对应向量表示赋初值，利用动态图神经网络ST-GCN的升维、空间维度的卷积和时间维度的卷积得到最终的疾病结点向量形式表示，具体包括：

步骤21，将疾病关系图中的结点的向量表示投影为高维向量表示；

疾病关系图中结点的向量表示＝[x

使用通道数量d、大小为1*1的卷积核对结点向量表示空间从低维投影到高维(N×d维)，从而得到结点的高维向量表示x′

x′

其中，W

步骤22，对于每个时刻的疾病关系图，通过空间维度的卷积操作将邻居结点的信息加入到疾病结点(疾病关系图的结点)的高维向量表示中。空间卷积操作用公式表示为：

其中，A为步骤1中的邻接矩阵，I为单位矩阵，D为度矩阵，W

空间维度的卷积操作把结点的邻居结点对应向量的信息加入到该节点对应向量中，不断调整着疾病间的联系程度。例如，图2的邻接矩阵中第7行为A

步骤23，对每个时刻疾病关系图，通过时间维度的卷积操作对空间维度的卷积操作结果进行进一步处理，将一段时期内的疾病信息加入到疾病结点的高维向量表示中。

每次诊断记录都会构造出一张疾病关系图，每次构造的图中结点对应的向量表示会有不同。现实中疾病预测是会考虑患者的多次诊断记录，因此可以把患者历次诊断记录中的疾病情况进行综合，从而概括出患者一段时期内的疾病表示，这显然比单次诊断记录构造的疾病向量表示更可靠。

时间维度的卷积操作用公式表示为：

h

其中，GCN(x′

步骤2完成后，可以看作疾病表示用向量描述每个疾病，而且由于ST-GCN的空间维度的卷积操作利用疾病关系图中疾病的联系(ICD中的边，邻接矩阵A)，两个疾病向量表示中还会隐含疾病间联系紧密程度(向量加法运算实际上是拉近向量间的夹角，相当于拉近距离，增强联系)，又由于时间维度的卷积操作把多个疾病关系图相加，最终的向量表示又包含患者一段时期的全部患病情况。

在步骤3中，对患者临床特征信息进行编码。如果患者临床特征信息有缺失，使用双向循环编码器Britis补充临床特征信息序列的缺失值(临床特征是由医院检测，不能每次进行全面检测)，并得到患者的临床特征的向量表示；使用的一组患者临床特征监测数据如表1所示：

表1

Britis编码器使用双向循环动态学习临床特征监测数据中缺失值，考虑到了序列数据的稀疏性、不规律性和相关性，缺失值被视为双向循环网络中的变量，可以在前向传播中被高效的更新，使用Britis编码器处理临床特征信息，得到临床特征向量表示，如公式：

h

其中，W

γ

γ

其中，δ

c

其中，x

计算

其中，

β

β

基于历史信息的插值

值得注意的是，所有的插值权重系数β

步骤3将临床特征中的缺失值作为待计算的变量，而不是简单取中值，缺失值被视为双向循环网络中的变量，可以更好地拟合实际情况的数值。

在步骤4中融合疾病和临床特征表示并进行患者疾病类型预测，使用门控互补的Transformer对疾病表示和临床特征表示进行异质信息的融合，得到的融合表示经过前馈神经网络FFN和sigmoid激活函数进行分类，预测疾病的1CD编码，具体包括：

门控互补的Transformer结构如图5所示，门控互补的Transformer具有对称结构，处理一对互补的输入信息，例如在步骤2、3中得到的疾病表示的编码h

门控互补的Transformer相对于传统的Transformer(单个Transformer)是一对对称的Transformer单元，且每个单元增加了混合门、保留门、双向门控循环和池化模块，其中，双向门控循环和池化模块对输入信息(输入为主信息或辅助信息)进行编码，并将编码送到混合门和保留门；保留门生成主信息保留比例，并与输入信息相乘后送入add&归一化层；混合门输出辅助信息注入比例，并与多头注意力机制的输出相乘后送入add&归一化层。

主信息保留比例和辅助信息注入比例受门控信号控制，保留门信号g

g

g

其中，g

h

h

h

其中θ

上述过程得到的门信号g

m＝MH-ATT(Q，K，V)

其中，Q＝W

综合主信息x

其中m为辅助信息，x

最终，门控互补Transformer单元输出表示：

经过图5所示的异质信息融合流程，左边单元以h

将二者进行拼接后得到h

h

h

h

例如，在图4中的输出结果中486和038.9(ICD编码，对应某种疾病)对应的概率为1，预测患者这次可能患有“不明病原体肺炎”和“不明败血症”。

步骤4利用门控互补的Transformer融合疾病和临床特征表示中的信息，不是直接拼接也不是人工设置比例求和，让门控互补的Transformer根据不同的情况自动计算融合表示进行，可以更准确模拟实际情况中两种信息对诊断疾病结果的贡献程度。

在训练时，对上述过程中步骤2的ST-GCN、步骤3中的Britis编码器、步骤4中的门控Transformer的参数进行优化时，使用交叉熵计算损失：

得到损失后，进一步使用反向传播算法对融合异质临床特征的诊断预测方法整个流程中，步骤2的ST-GCN、步骤3中的Britis编码器、步骤4中的门控Transformer的参数进行调整。即，步骤1、2、3、4是一个整体，方法中所有的参数一起更新。

本发明有效利用了EHR数据中的时序临床特征，融合疾病信息和检查结果信息共同进行诊断预测，更加符合真实诊疗逻辑；利用动态图神经网络在融合了医疗概念知识的同时，充分利用了图的结构信息和时序依赖信息；受益于引入的异质临床特征以及图结构的诊断记录建模，模型可以较好的处理低频ICD代码和短就诊记录数据的预测问题。

表2为将本发明与其他诊断预测方法在MIMIC-III数据集上进行对比实验的结果，MIMIC-III数据集包含有患者的诊断记录和临床特征检测数据，实验的评价指标是precision@k(表示对k个疾病进行预测的精度)，结果表明，本发明(表2中Ours)较其他方法在疾病预测的精度有一定的提升。

表2

本领域普通技术人员可以理解：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。