一种基于多模态电子病历数据的院内死亡风险预测方法

技术领域

本发明属于医疗大数据技术领域，具体涉及一种基于多模态电子病历数据的院内死亡风险预测方法。

背景技术

医疗健康的主要开销之一是重症监护室(ICU)的重症护理，重症护理的一个重要内容是预防患者死亡。随着电子病历数据(EMR)系统的广泛使用，医院收录了患者在ICU住院期间产生的大量EMR数据，这些数据一部分来自于对患者不同的生命信号的监测，包括心率、体温、血压、反映患者群体特征的人口学统计数据，它们通常以结构化数据的形式记录在EMR数据中，另外还有一部分来自于专业医务人员在患者住院期间记录的非结构化的临床文本数据，如图1所示为患者的多模态EMR数据示意图；充分利用EMR数据可以用于预测患者在ICU住院期间的健康状况，有助于管理医院昂贵且稀缺的医疗资源。

近年来，基于患者的历史EMR数据预测患者的院内死亡风险已逐渐成为医疗健康领域的一项重要研究工作，其中，大部分研究基于患者的EMR序列数据学习患者的健康状况表征，并在基于EMR数据的许多临床预测任务中取得了优异的性能；除了序列数据，EMR中的临床文本数据中也记录了医务人员利用他们的专业知识对患者进行的重要分析，随着自然语言处理方法的流行，一些方法提出利用患者临床文本中蕴含的医疗信息用于临床预测，目前，基于EMR临床文本的研究工作证明了临床文本数据对于临床预测是非常重要的。

尽管EMR的序列数据和临床文本中均包含重要的健康信息，但是，现有的大多数研究侧重于单独使用其中一种数据开展工作，导致这些方法只能反映患者片面的健康状况。最新的研究表明，以跨模态的方式融合这两种数据类型，可以提高模型的预测性能；EMR中的多模态数据可以相互补充，相互影响，提供更全面的病人健康状况信息，例如，医生会根据患者的历史监测数据记录相应的医嘱，同时，医生也会根据临床文本中记录的诊断信息制定接下来的监测方案，因此，有效融合这两种模态的数据对于临床预测任务是非常重要的。

由于临床时间序列数据和临床文本数据之间存在差异，针对这两种模态的数据进行融合具有一定的挑战性，目前的临床预测任务中的多模态学习大多通过简单的特征拼接来融合这两种模态的数据，或者分别从结构化和非结构化数据中提取特征，然后将两个特征拼接起来，均没有考虑模态之间相关性和复杂性；此外，两种模态数据之间存在差异性，具体来说，临床序列数据是稀疏的纵向医疗数据，具有连续性和时序性等特点；临床文本数据由非结构化的医疗笔记组成，内容形式灵活多样；同时，目前在临床领域的多模态学习任务中，大部分研究不能够针对不同模态的特点进行对应的表征学习，在真实的临床环境中，存活的患者数量大于死亡的患者数量，导致院内死亡风险预测任务存在不平衡的关系问题。

综上所述，目前融合两种模态电子病历数据的方法没有充分考虑模态之间的复杂性和关联性，同时基于多模态数据的院内死亡风险预测方法也存在难以解决的问题。

发明内容

本发明的目的在于提供一种考虑充分模态间的差异性和关联性、提高预测精确、提升实际应用性的基于多模态电子病历数据的院内死亡风险预测方法。

本发明提供的这种基于多模态电子病历数据的院内死亡风险预测方法，包括如下步骤：

S1.获取ICU患者的历史电子病历数据集；

S2.采用步骤S1获取的数据集，通过预处理的方式构建多模态数据集，并划分为训练数据集、验证数据集和测试数据集；

S3.基于多模态特征提取模块和特征融合与预测模块，构建院内死亡风险预测初步模型；

S4.采用步骤S2得到的训练数据集对步骤S3得到的院内死亡风险预测初步模型进行训练，并采用验证数据集和测试数据集进行验证和测试，得到院内死亡风险预测模型；

S5.获取待预测目标的病历数据，并输入到步骤S4得到的院内死亡风险预测模型，得到待预测目标的院内死亡风险预测结果；

步骤S1所述的获取ICU患者的历史电子病历数据集，具体包括：

选择在ICU住院时间超过48小时的患者的病历数据和患者住院后前48小时的所有临床笔记；

将患者划分为正样本和负样本，选择ICU住院死亡的患者为正样本，其他为负样本；

步骤S2所述的采用步骤S1获取的数据集，通过预处理的方式构建多模态数据集，并划分为训练数据集、验证数据集和测试数据集，具体包括：

(2-1)结构化的临床序列数据：

对于每位患者，从他们的电子病历中选择重要的临床变量作为输入预测模型的临床时序变量，并抽取人口学数据作为输入预测模型的静态变量，统一定义为结构化的序列数据；

将结构化的序列数据按照设定的比例随机划分为结构化训练数据集、结构化验证数据集、结构化测试数据集；

(2-2)非结构化的临床文本数据：

对于非结构化的临床样本数据，选取患者住院后前若干个小时的所有临床笔记，并按照时间先后顺序排列，将患者住院前的临床文本作为初始临床笔记加入到临床文本中；对每条临床笔记进行了初步预处理；将患者的临床文本数据按照步骤(2-1)中设定的比例随机划分为对应的临床文本训练数据集、临床文本验证数据集和临床文本测试数据集；

(2-3)选择步骤(2-1)中的结构化临床序列数据集和步骤(2-2)中的临床文本数据集，进行一一对应，构建最终的多模态数据集；

划分多模态数据集为训练数据集、验证数据集和测试数据集，训练数据集包括结构化训练数据集、临床文本训练数据集；验证数据集包括结构化验证数据集、临床文本验证数据集；测试数据集包括结构化测试数据集、临床文本测试数据集；

具体实施时，包括如下步骤：

多模态数据包括：临床时间序列数据X、人口学统计数据S、临床文本数据C；

采用下述公式定义临床时间序列数据X：

其中，T表示患者的临床事件数或时间步；

采用下述公式定义人口学统计数据S：

其中，M表示人口学统计变量的数量；

采用下述公式定义临床文本数据C：

其中，N表示患者的临床笔记的个数；

基于上述定义，采用下述公式定义院内死亡风险预测问题：

其中，

通过上述定义将院内死亡风险预测问题划分为二元分类问题；

考虑单个患者的数据，忽略上述公式中定义的患者索引p；

步骤S3所述的基于多模态特征提取模块和特征融合与预测模块，构建院内死亡风险预测初步模型，具体包括：

(3-1)将步骤S2得到的结构化训练数据集中的数据输入到Multi-Modal EMR预测模型的序列特征提取模块，获取序列特征和序列上下文表征；具体包括：

基于局部和全局时序表征学习与人口统计学数据嵌入方法(LGTRL-DE)构建序列特征提取模块；

模块通过LGTRL-DE方法学习EMR的序列特征和序列上下文表征，采用下述公式表示LGTRL-DE方法的计算过程：

z；[u

其中，

(3-2)将步骤S2得到的临床文本训练数据集中的数据输入到Multi-Modal EMR预测模型的文本特征提取模块，获取临床文本特征；具体包括：

所述的文本特征提取模块采用在MIMIC-III数据集和PubMed文章上预训练好的Word2Vec模型作为初始化模型，采用原始临床文本数据

其中，

基于获取的词嵌入矩阵，采用不同核大小的一维卷积层并行学习不同粒度水平的文本语义信息；每个卷积层的输出采用ReLU激活函数和最大池化(Max Pool)操作，用于减少维度并得到文本语义特征；将不同粒度水平的文本语义特征拼接起来，得到患者的临床文本特征e；采用下述公式表示计算过程：

其中，

(3-3)采用多模态特征提取模块对步骤(3-1)获取的序列特征和序列上下文表征与步骤(3-2)获取的临床文本特征进行学习处理，获取最终的多模态特征；具体包括：

1)采用动态匹配机制探索临床文本对序列数据的相关性：

将文本特征向量e通过多层感知机(MLP)嵌入到与序列上下文矩阵U相同的共享空间中；将文本特征向量作为匹配向量访问序列上下文矩阵U＝[u

其中，W

2)采用Transformer学习不同模态之间的交互信息：

Transformer将每个特征视为一个字符，把两种模态的特征(文本特征e和序列特征z)拼接后经过线性映射得到早期多模态特征

其中，

3)结合步骤1)获取的动态匹配机制输出g和步骤2)获取的Transformer的输出

利用共享的MLP层将输出g和

其中，⊙表示逐元素乘操作；W

(3-4)将步骤(3-3)获取得到多模态特征输入到特征融合与预测模块，获取患者的全面表征，并预测患者的死亡风险；具体包括：

所述的特征融合与预测模块使用自适应特征融合方法获取患者的全面表征，并用于预测；特征融合与预测模块引入两个权重

α＝sigmoid(W

β＝sigmoid(W

其中，W

α、β之间存在下约束关系：

α＝α/(α+β)

β＝1-α

α+β＝1

采用下述公式表示患者最终的全面表征s：

其中，⊙表示逐元素乘操作；

将患者表征s输入sigmoid函数激活的全连接层，用于预测患者的院内死亡风险，采用下述公式表示计算过程：

其中，W

步骤S4所述的采用步骤S2得到的训练数据集对步骤S3得到的院内死亡风险预测初步模型进行训练，并采用验证数据集和测试数据集进行验证和测试，得到院内死亡风险预测模型，具体包括：

采用步骤S3计算得到的风险预测值和真实的风险值，通过联合损失函数计算模型的损失值，并根据损失值对模型的参数进行优化；

采用下述公式计算第一损失函数L(Θ)

其中，y

采用下述公式计算第二损失函数：

其中，下标i和j表示具有不同标签的患者索引；y

采用下述公式表示最终的联合损失函数L(Θ)：

L(Θ)＝L(Θ)

其中，λ表示联合损失函数的超参数。

本发明方法提供的这种基于多模态电子病历数据的院内死亡风险预测方法，通过对多模态的电子病历数据进行建模，生成用于预测的全面患者健康表征；本发明方法考虑充分模态间的差异性和关联性、提高预测精确、提升实际应用性。

附图说明

图1为本发明方法的方法流程示意图。

图2为本发明方法的动态匹配机制的工作方式示意图。

图3为本发明方法的图Multi-Modal EMR模型示意图。

图4为本发明方法的Multi-Modal EMR模型训练过程示意图。

具体实施方式

如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于多模态电子病历数据的院内死亡风险预测方法，包括如下步骤：

S1.获取ICU患者的历史电子病历数据集；具体包括：

选择在ICU住院时间超过48小时的患者的病历数据和患者住院后前48小时的所有临床笔记；

本发明方法中选择的数据来自MIMIC-III数据集，MIMIC-III数据集包含丰富的结构化数据和大量的非结构化临床文本；

本发明方法中使用两条筛选标准挑选患者队列，第一条标准是患者必须是在ICU住院时长超过48小时的成年患者(年龄不低于18岁)，因此住院时长少于48小时的患者和未成年患者被排除在外；第二条标准是患者在ICU住院后的最初48小时内记录了医生的临床笔记，因此，住院后最初48小时内不包含任何临床笔记的患者被排除在外；

将患者划分为正样本和负样本，选择ICU住院死亡的患者为正样本，其他为负样本；

经过筛选，本发明方法得到包含16143例ICU住院记录的患者队列，其中包含14100例负样本和2043例正样本；

S2.采用步骤S1获取的数据集，通过预处理的方式构建多模态数据集，并划分为训练数据集、验证数据集和测试数据集；具体包括：

(2-1)结构化的临床序列数据：

对于每位患者，从他们的电子病历中选择重要的临床变量作为输入预测模型的临床时序变量，并抽取人口学数据作为输入预测模型的静态变量，统一定义为结构化的序列数据；

对于临床序列数据，本发明方法选取时序临床变量序列和人口学统计数据；共选择17个重要的临床变量，临床变量中包括数字连续变量和分类离散变量，本发明方法对连续变量进行归一化处理，将离散变量视为one-hot向量，将其与连续变量串联起来，并对临床变量中的缺失值进行前向填充；其次，本发明方法提取患者的年龄、性别、种族、身高、体重等静态信息作为患者的人口学数据，与临床变量一样，对于连续变量进行归一化处理，对于性别和种族等分类特征，本方法将其离散为one-hot向量，并将其与连续变量拼接得到完整的人口学数据；

将结构化的序列数据按照设定的比例随机划分为结构化训练数据集、结构化验证数据集、结构化测试数据集；本发明方法中设定比例为7:1:2；

(2-2)非结构化的临床文本数据：

对于非结构化的临床样本数据，选取患者住院后前若干个小时的所有临床笔记，并按照时间先后顺序排列，将患者住院前的临床文本作为初始临床笔记加入到临床文本中；对每条临床笔记进行了初步预处理，包括清除下划线等特殊符号、对句子和单词进行标记、将大写字母转换为小写字母；将患者的临床文本数据按照步骤(2-1)中设定的比例随机划分为对应的临床文本训练数据集、临床文本验证数据集和临床文本测试数据集；

对于临床文本数据，本发明方法选取MIMIC-III数据集的NOTEEVENTS表中患者住院后前48小时的所有临床笔记；

(2-3)选择步骤(2-1)中的结构化临床序列数据集和步骤(2-2)中的临床文本数据集，通过ICU住院号进行一一对应，构建最终的多模态数据集；

划分多模态数据集为训练数据集、验证数据集和测试数据集，训练数据集包括结构化训练数据集、临床文本训练数据集；验证数据集包括结构化验证数据集、临床文本验证数据集；测试数据集包括结构化测试数据集、临床文本测试数据集；

具体实施时，包括如下步骤：

多模态数据包括：临床时间序列数据X、人口学统计数据S、临床文本数据C；

采用下述公式定义临床时间序列数据X：

其中，T表示患者的临床事件数或时间步；

采用下述公式定义人口学统计数据S：

其中，M表示人口学统计变量的数量；

采用下述公式定义临床文本数据C：

其中，N表示患者的临床笔记的个数；

基于上述定义，采用下述公式定义院内死亡风险预测问题：

其中，

通过上述定义将院内死亡风险预测问题划分为二元分类问题；

考虑单个患者的数据，忽略上述公式中定义的患者索引p；

S3.基于多模态特征提取模块和特征融合与预测模块，构建院内死亡风险预测初步模型；具体包括：

(3-1)将步骤S2得到的结构化训练数据集中的数据输入到Multi-Modal EMR预测模型的序列特征提取模块，获取序列特征和序列上下文表征；具体包括：

基于局部和全局时序表征学习与人口统计学数据嵌入方法(LGTRL-DE)构建序列特征提取模块；

模块通过LGTRL-DE方法学习EMR的序列特征和序列上下文表征，采用下述公式表示LGTRL-DE方法的计算过程：

(3-1-1)通过具有线性整流单元(ReLU)的1层前馈网络(FFN)得到临床时间序列数据X的嵌入表征，采用下述计算公式表示：

r

其中，

(3-1-2)通过线性映射将人口学统计数据编码S到与临床序列嵌入表征r

d＝W

其中，

(3-1-3)采用Bi-GRU学习临床时序序列嵌入表征的时序依赖，并采用人口学数据的嵌入表征

以前向GRU为例，说明初始化过程：

令：

其中，

对于给定的r

通过上述方式能够得到后向GRU隐藏单元状态

前向、后向GRU隐藏单元的数量均为n

通过将

Bi-GRU输出得到隐藏状态如下所示：

H＝[h

(3-1-4)采用局部注意力机制用于从步骤(3-1-3)得到的隐藏状态H中学习包含患者临床事件重要性的局部表征，采用下述公式表示局部注意力机制的计算过程：

其中，

通过上述计算得到患者的局部表征：C＝[c

(3-1-5)采用堆叠L层的Transformer网络进一步从局部表征中学习全局时序依赖；

Transformer包含位置编码和L个连续的块；块中包含一个多头自注意力机制和一个两层的FFN；

医疗记录中的临床事件按照顺序进行排列，Transformer对于输入的顺序不够敏感，进而选择在局部向量c

e

其中，e

1≤2k-1≤n

进而被打包成矩阵/>

其中，

(3-1-6)采用Bi-GRU从两个方向动态的聚合多个时间步的上下文表征，通过这种方式有效的提取临床事件的上下文语义关联，从而形成稳健的统一动态特征表征向量，采用下述计算公式表示：

g

采用拼接操作融合动态特征表征向量g

基于上述步骤(3-1-1)至(3-1-6)，采用下述公式统一表示计算过程：

z；[u

其中，

(3-2)将步骤S2得到的临床文本训练数据集中的数据输入到Multi-Modal EMR预测模型的文本特征提取模块，获取临床文本特征；具体包括：

所述的文本特征提取模块采用在MIMIC-III数据集和PubMed文章上预训练好的Word2Vec模型作为初始化模型，采用原始临床文本数据

其中，

基于获取的词嵌入矩阵，采用不同核大小的一维卷积层并行学习不同粒度水平的文本语义信息；每个卷积层的输出采用ReLU激活函数和最大池化(Max Pool)操作，用于减少维度并得到文本语义特征；将不同粒度水平的文本语义特征拼接起来，得到患者的临床文本特征e；采用下述公式表示计算过程：

其中，

(3-3)采用多模态特征提取模块对步骤(3-1)获取的序列特征和序列上下文表征与步骤(3-2)获取的临床文本特征进行学习处理，获取最终的多模态特征；具体包括：

1)采用动态匹配机制探索临床文本对序列数据的相关性：

如图2所示为本发明方法的动态匹配机制的工作方式示意图：

将文本特征向量e通过多层感知机(MLP)嵌入到与序列上下文矩阵U相同的共享空间中；将文本特征向量作为匹配向量访问序列上下文矩阵U＝[u

其中，W

2)采用Transformer学习不同模态之间的交互信息：

Transformer将每个特征视为一个字符，把两种模态的特征(文本特征e和序列特征z)拼接后经过线性映射得到早期多模态特征

其中，

3)结合步骤1)获取的动态匹配机制输出g和步骤2)获取的Transformer的输出

利用共享的MLP层将输出g和

其中，⊙表示逐元素乘操作；W

(3-4)将步骤(3-3)获取得到多模态特征输入到特征融合与预测模块，获取患者的全面表征，并预测患者的死亡风险；具体包括：

所述的特征融合与预测模块使用自适应特征融合方法获取患者的全面表征，并用于预测；特征融合与预测模块引入两个权重

α＝sigmoid(W

β＝sigmoid(W

其中，W

α、β之间存在下约束关系：

α＝α/(α+β)

β＝1-α

α+β＝1

采用下述公式表示患者最终的全面表征s：

其中，⊙表示逐元素乘操作；

将患者表征s输入sigmoid函数激活的全连接层，用于预测患者的院内死亡风险，采用下述公式表示计算过程：

其中，W

S4.采用步骤S2得到的训练数据集对步骤S3得到的院内死亡风险预测初步模型进行训练，并采用验证数据集和测试数据集进行验证和测试，得到院内死亡风险预测模型；具体包括：

采用步骤S3计算得到的风险预测值和真实的风险值，通过联合损失函数计算模型的损失值，并根据损失值对模型的参数进行优化；

采用下述公式计算第一损失函数L(Θ)

其中，y

采用下述公式计算第二损失函数：

其中，下标i和j表示具有不同标签的患者索引；y

采用下述公式表示最终的联合损失函数L(Θ)：

L(Θ)＝L(Θ)

其中，λ表示联合损失函数的超参数；

如图3所示为本发明方法的图Multi-Modal EMR模型示意图：

本发明方法中的实验基于Python 3.7.0的Pytorch深度学习框架，训练使用NVIDIARTX 2080Ti显卡进行GPU加速；模型基于Adam优化器进行训练，学习率为5e-4，训练的batch size设置为128；训练epoch设定为100，并采用dropout策略和early-stopping策略防止模型过拟合，dropoutrate设置为0.5，当验证集的性能在15个epochs内没有提升时就停止训练；在经过大量预实验后，本发明方法提出的Multi-Modal EMR模型的各项超参数设置如下：序列特征嵌入维度n

S5.获取待预测目标的病历数据，并输入到步骤S4得到的院内死亡风险预测模型，得到待预测目标的院内死亡风险预测结果；

以下结合实施例，对本发明方法与现有技术进行对比：

(1)Ma等人通过多通道GRU分别嵌入临床特征序列，并使用多头自注意力机制来捕捉动态特征和静态人口学信息之间的相互依赖关系；它是一个单模态模型，仅使用EMR序列数据作为输入；

(2)Huang等人提出一种专门针对临床文本数据进行微调的模型，即ClinicalBERT，并在MIMIC-III数据集上进行了评估；该模型使用基于序列标注的方法处理临床预测任务，是一个单模态模型，仅使用EMR临床文本数据作为输入；本发明方法取其预训练好的模型并微调，以预测患者的院内死亡风险；

(3)Mikolov等人提出Word2Vec模型，旨在从文本数据中提取有效的词嵌入；本发明方法使用在MIMIC-III数据集和PubMed文章上预训练好的Word2Vec模型，冻结Word2Vec模型的参数，在院内死亡风险预测任务上进行微调；它是一个单模态模型，仅使用EMR临床文本数据作为输入；

(4)LGTRL-DE是基于EMR时序与人口学数据的院内死亡风险预测模型，使用EMR的结构化数据预测ICU患者的院内死亡风险预测；

(5)Deznabi等人提出的模型旨在将EMR时间序列数据与临床文本结合起来，采用简单的多模态特征融合策略进行院内死亡风险预测；该模型将患者的临床文本数据输入到经过微调的BERT模型中学习临床文本嵌入，然后通过平均操作获得临床文本的最终嵌入；接着，使用LSTM模型学习时间序列数据的嵌入；最后，将整体文本嵌入与时间序列数据嵌入通过拼接操作相结合，得到最终的患者表征，并用于预测院内死亡风险；

(6)Zhao等人提出一个统一的模型UniMed，旨在从多模态的EMR数据中学习患者的表征，并用于医疗预测任务该模型的输入为患者的静态人口学数据、临床时序数据和临床文本数据，使用编码器-解码器结构其中，UniMed在编码器中分别利用全连接神经网络、LSTM网络和预训练的ClinicalBERT模型学习三种模式数据的嵌入，并将这三种嵌入数据拼接后输入到解码器中。在解码器中，UniMed采用Transformer网络学习多模态数据的统一表征，并将该表征用于最后的医疗预测任务；UniMed是一个多任务学习架构，本方法使用其院内死亡风险预测任务的结果进行对比分析；

(7)Lyu等人提出一个基于Transformer的多模态模型，旨在将来自临床变量的时间序列数据与来自临床笔记的文本信息相融合，以提高院内死亡风险预测性能；该模型通过线性层和微调的ClinicalBERT模型，将包含临床变量的时序数据和临床文本数据调整到可共享的空间中；然后，利用Transformer网络共同学习两种模态特征的融合表征，并将该表征用于最终的预测；

(8)Khadanga等人基于临床文本和时间序列数据进行多模态学习，旨在提高院内死亡风险预测性能；该研究采用LSTM网络学习时序数据的嵌入，并使用Word2Vec方法和一维卷积神经网络学习临床文本的嵌入；最后，通过拼接策略，将临床文本和时间序列特征结合起来进行预测，证明了临床文本和时间序列数据可以显著提高预测性能；

(9)Yang等人提出一种多模态的神经网络模型，用于对EMR时序数据和临床笔记进行建模，旨在预测患者的院内死亡风险；该模型使用LSTM网络学习时序数据的嵌入，并使用Word2Vec方法和标签感知的CNN网络学习临床文本的嵌入，最后拼接这两种模态的嵌入，通过全连接层输出最后的预测结果；

(10)本发明方法的院内死亡风险预测属于二分类任务，采用AUROC、AUPRC、min(Se,P+)、F1-score和Recall这五个评价指标来评价所有方法的性能；其中，AUROC和AUPRC是针对不平衡数据分类最有参考价值的评价指标，min(Se,P+)是2012年Physionet/CinC挑战赛中提出的自定义指标；它们的值越大，表明模型区分正负样本的能力就越强，即预测精度越高；本发明方法报告MIMIC-III在测试集上各项性能指标的平均值和标准差；

将本发明方法和对比方法在相同的测试集上进行评估，实验结果如表1所示，表1给出了本发明方法提出的Multi-Modal EMR方法和所有基准模型在MIMIC-III测试集上的院内死亡风险预测性能，其中括号中的数字表示五折交叉验证实验的标准差；从实验结果中可以看到，本方法提出的Multi-Modal EMR模型在MIMIC-III数据集上取得了最好的性能，各项评价指标均达到最高水平；特别是，Multi-Modal EMR模型在这个数据集上的AUPRC值和F1-score值达到0.6046和0.5438，分别比基准模型提高了1.91％～9.71％和9.98％～20.66％；

表1Multi-Modal EMR方法和基准模型的预测性能比较表

从表1的结果可以看出，基于单模态数据的模型性能低于所有基于多模态数据的模型，这证明了多模态数据可以为患者学习更加有效和全面的表征；其中，Multi-ModalEMR和LGTRL-DE模型的实验结果相比有较为明显的提升，AUROC值和F1-score值分别提升了4.25％和14.67％；这表明，多模态学习可以了解更全面的患者健康状况，帮助实现精准预测；在基于BERT模型的基准模型中，使用简单特征融合策略的方法(Deznabi等人)不足以充分利用多模态数据中蕴含的信息，其AUROC和AUPRC值在所有的基准方法中均表现最低；与简单的特征融合方法不同，Zhao等人和Lyu等人在他们的方法中提出使用Transformer融合来自不同模态的数据；Transformer受益于其强大的多头自注意力机制，可以有效学习跨模态间的互动信息；因此，Zhao和Lyu等人所提出方法的预测性能相较于Deznabi等人有所提升，分别取得了0.8638和0.8687的AUROC值；这也证明了Transformer用于多模态融合的有效性，进一步展示了其在处理多模态数据时的潜力；此外，Lyu等人的方法中，对临床文本和序列数据的时间信息进行了更细粒度的处理，更能捕获文本数据和序列数据的相互依赖，因此性能相较于Zhao等人更先进；

通过基准模型的对比实验可以看出，基于Word2Vec模型的方法大体上优于基于BERT模型的方法；这是因为基于BERT的模型受限于文本的输入长度，例如ClinicalBERT模型的单次接受的文本输入长度不能超过512，而Word2Vec模型没有这种限制，可以更灵活地运用于多模态EMR数据的学习，适用于真实世界的临床文本数据；此外，实验证明，基于Word2Vec模型的方法平均训练时长仅为基于BERT模型的十分之一左右，更适合需要快速响应的院内死亡风险预测任务；因此，本发明方法在方法中使用Word2Vec模型提取临床文本嵌入；在基于Word2Vec模型的基准模型中，Yang等人提出的方法的性能略逊于Khadanga等人的方法；这是因为Yang等人提出的基于标签注意的CNN网络会引导模型在训练时更多的关注文本信息，减少了对时序数据的学习，导致学习到的患者表征不够全面，所以最终的死亡风险预测性能不佳；

与基准模型均采用简单的LSTM网络或线性网络处理序列数据不同，本发明方法提出的Multi-Modal EMR模型考虑到EMR序列数据的复杂性，使用LGTRL-DE模型作为序列特征提取器；它不仅可以从静态人口学数据序列和动态临床时间序列中充分学习患者个性化的健康状况，还考虑了局部和全局的临床事件依赖，因此，预测性能优于基准模型；除此之外，Multi-Modal EMR得益于动态匹配机制和Transformer，从多个层次学习跨模态数据间的交互信息和相关性，加强了多模态细粒度特征的融合；另外，Multi-Modal EMR通过自适应特征融合方法，根据实际情况为不同的患者的不同模态分配权重，实现个性化的学习；最后，Multi-Modal EMR通过联合损失函数，进一步区分正样本和负样本；本发明方法的以上贡献均对提高院内死亡风险预测性能起到了重要积极作用。