多尺度Transformer编码器网络及其构建方法以及应用

技术领域

本发明属于心电信号的处理分析技术领域，尤其涉及多尺度Transformer编码器网络及其构建方法以及应用。

背景技术

世界上患有心力衰竭的成年人大约有2600万，而且该病造成的死亡率在所有人患病种类中尤其之高。该病的特点：发病速度快、极易严重且分布地区广。因此，精准识别这些疾病及早治疗是非常关键的环节。心电图无创且直观，是医生诊断多数心脏疾病的常用辅助工具。由于心电信号（ECG信号）的复杂性，即使是业内专家仍然无法能够从心电信号中获取足够的信息去保证精准的诊断。近年来，很多研究人员开始将深度学习运用处理心电信号信息，CNN、ResNet、DenseNet、RNN、Fast-RNN、Transfomer、BERT等网络层出不穷，取得了较好的效果。

然而，首先心电信号本身的不稳定性及设备检测等外部噪声干扰等多重因素的影响，利用心电信号单模态数据进行深度学习出现了严重的分类受限，导致计算结果不精确。为了全面稳定且准确地分析心电信号，深挖心电信号的其他特征属性，综合全部的属性特征分析，构建以心电信号及其生成图像为基础的多模态数据特征结合的数据集，从而形成特征融合的多模态数据。

2017 年，Google 在论文 Attention is All you need 中提出了 Transformer模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。Transformer模型中处理序列数据具有可并行性，全局依赖考虑的优点。该模型对于临床问题，尤其是对于心电信号特征的处理仍然能够关注到相互部分。因此，在2019年，IEEEInternational Conference国际顶级会议中提出了用Transformer编码器网络对心律失常分类识别。而该网络的优点：（1）利用多头的注意力可以描述多个依赖的完整关系，关注到不同位置的表征信息。（2）残差连接将原始的输入位置嵌入与多头注意力之后的位置权重具体信息相加得到相互依赖注意机制的更加精确的信息。（3）最终能够形成特征全信息。但仍旧有一部分缺点：（1）运用该网络中的编码器单元最终进行全连接特征提取仍然能够造成绝大部分关键特征丢失。（2）运用多个Transformer编码器单元增加了时间与空间复杂度，造成训练时间长。

发明内容

为克服现有网络中的编码器单元最终进行全连接特征提取时，仍然能够造成绝大部分关键特征丢失；以及运用多个Transformer编码器单元增加了时间与空间复杂度，造成训练时间长的技术缺陷，本发明提供了多尺度Transformer编码器网络及其构建方法以及应用。

本发明提供了用于分析心电信号的多尺度Transformer编码器网络的构建方法，包括的步骤为：

步骤一、数据预处理：将正常的心电信号与心力衰竭患者的心电信号分别使用格拉姆角场、递归图和马尔可夫转换场转换为三种不同的图像数据，叠加为三通道图像矩形；将原始心电信号进行去噪处理，然后对去噪声之后生成的图像数据进行分割并添加至三通道图像矩阵中，形成多模态融合数据集；

步骤二、构建多尺度Transformer编码器网络模型：包括三个Transformer编码器单元、三个Convolution模块、三个liner模块、三个Interaction output模块和一个Pooling and Normalize模块，每个Transformer编码器单元的输出结果分为两路，其中一路顺次输入下一个Transformer编码器单元，另一路先经过Convolution模块进行多尺度卷积操作，再经过liner模块提取特征，三个liner模块的输出结果通过三个Interactionoutput模块进行两两交互，三个Interaction output模块的输出经过Pooling andNormalize模块进行全连接线性操作以及分类，最终通过Final output模块进行数据输出；其中每个Transformer编码器单元中包括三个串接的Transformer encoder block模块，每个Convolution模块中包括三个串接的Dense Block模块；

步骤三、将步骤一形成的多模态融合数据集按比例分为训练集和测试集，通过训练集对多尺度Transformer编码器网络模型进行多次训练优化，然后通过测试集对优化后的多尺度Transformer编码器网络模型进行测试，得出优化后的多尺度Transformer编码器网络模型的判断准确率；当判断准确率达到要求时，即得出最优的多尺度Transformer编码器网络模型。

在步骤二模型构建中，三个liner模块的输出结果通过三个Interaction output模块进行两两交互，实现三个输出进行交互提取其特征，这样通过多重角度的特征提取，能最大程度上避免图像中关键信息的丢失，并且最终两两交互能够增强从不同的角度对数据特征的全方位理解。多尺度的特征提取有助于避免关键特征丢失并形成更加全面整合的特征结果；构建三个Transformer encoder block能够减少计算参数，减小计算时间；最终两两交互特征提取能够使得输出结果更具有鲁棒性，该模型的训练时间大大缩短，最终心电信号分析准确率显著提高。

本发明还提供了一种用于分析心电信号的多尺度Transformer编码器网络，包括三个Transformer编码器单元、三个Convolution模块、三个liner模块、三个Interactionoutput模块和一个Pooling and Normalize模块，每个Transformer编码器单元的输出结果分为两路，其中一路顺次输入下一个Transformer编码器单元，另一路先经过Convolution模块进行多尺度卷积操作，再经过liner模块提取特征，三个liner模块的输出结果通过三个Interaction output模块进行两两交互，三个Interaction output模块的输出经过Pooling and Normalize模块进行全连接线性操作以及分类，最终通过Final output模块进行数据输出；其中每个Transformer编码器单元中包括三个Transformer encoder block模块，每个Convolution模块中包括三个Dense Block模块。

本发明还提供了用于分析心电信号的多尺度Transformer编码器网络在心力衰竭诊断中的应用。

本发明提供的技术方案与现有技术相比具有如下优点：本发明所述多尺度Transformer编码器网络中，多尺度的特征提取有助于避免关键特征丢失并形成更加全面整合的特征结果；构建三个Transformer encoder block能够减少计算参数，减小计算时间；最终两两交互特征提取能够使得输出结果更具有鲁棒性，最终心电信号分析准确率显著提高；所述方法流程简单，训练时间大大缩短；通过本发明所述方法构建的多尺度Transformer编码器网络，能对心电信号做出更准确的分析，对心力衰竭的诊断有重要帮助。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述Transformer编码器单元的结构示意图；

图2为背景技术中所述Transformer编码器网络的结构示意图；

图3为本发明所述多尺度Transformer编码器网络的结构示意图；

图4为本发明所述用于分析心电信号的多尺度Transformer编码器网络的构建方法的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在描述中，需要说明的是，术语 “第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。

下面结合附图对本发明的具体实施例进行详细说明。

在一个实施例中，如图1所示，公开了用于分析心电信号的多尺度Transformer编码器网络的构建方法，包括的步骤为：

步骤一、数据预处理：从MIT-BIH Normal Sinus Rhythm数据库获取正常的心电信号，从Beth Israel Deaconess Medical Centre心力衰竭数据库获取心力衰竭患者的心电信号，将正常的心电信号与心力衰竭患者的心电信号分别使用格拉姆角场、递归图和马尔可夫转换场转换为三种不同的图像数据，叠加为三通道图像矩形；将原始心电信号进行去噪处理，去噪处理包括去除零点漂移干扰和肌电干扰；将正常的心电信号数据集标签为1，将心力衰竭患者的心电信号数据集标签为0；然后对去噪声之后生成的图像数据进行分割并添加至三通道图像矩阵中，形成多模态融合数据集；

步骤二、构建多尺度Transformer编码器网络模型：包括三个Transformer编码器单元、三个Convolution模块、三个liner模块、三个Interaction output模块和一个Pooling and Normalize模块，每个Transformer编码器单元的输出结果分为两路，其中一路顺次输入下一个Transformer编码器单元，另一路先经过Convolution模块进行多尺度卷积操作，再经过liner模块提取特征，三个liner模块的输出结果通过三个Interactionoutput模块进行两两交互，三个Interaction output模块的输出经过Pooling andNormalize模块进行全连接线性操作以及分类，最终通过Final output模块进行数据输出；其中每个Transformer编码器单元中包括三个串接的Transformer encoder block模块，每个Convolution模块中包括三个串接的Dense Block模块；

步骤三、将步骤一形成的多模态融合数据集按比例分为训练集和测试集，通过训练集对多尺度Transformer编码器网络模型进行训练优化，训练优化过程为：将训练集输入至步骤二构建的多尺度Transformer编码器网络模型中，采用Adam优化器以及Relu损失函数，初始学习率设为0.001，直至多尺度Transformer编码器网络模型的损失不下降且准确率稳定，则停止训练并保存模型参数；通过测试集对优化后的多尺度Transformer编码器网络模型进行测试，得出优化后的多尺度Transformer编码器网络模型的判断准确率；当判断准确率达到要求时，即得出最优的多尺度Transformer编码器网络模型。具体数据输入时，将数据集按照8：2的比例分成训练集、测试集；且数据将以每批次大小132×132×3的维度输入，采用batch_size=64进行训练，即每次输入64个132×132×3大小维度。

在步骤二模型构建中，三个liner模块的输出结果通过三个Interaction output模块进行两两交互，实现三个输出进行交互提取其特征，这样通过多重角度的特征提取，能最大程度上避免图像中关键信息的丢失，并且最终两两交互能够增强从不同的角度对数据特征的全方位理解。多尺度的特征提取有助于避免关键特征丢失并形成更加全面整合的特征结果；构建三个Transformer encoder block能够减少计算参数，减小计算时间；最终两两交互特征提取能够使得输出结果更具有鲁棒性，该模型的训练时间大大缩短，最终心电信号分析准确率显著提高。

以下通过混淆矩阵来对比两个对比例以及本申请所述多尺度Transformer编码器网络对心电信号的分析准确率。

其中，第一组数据来自于第一对比文献G.Zhang,Y.J.Si,W.Y.Yang, and D.Wang, A robust multilevel DWT densely network for cardiovascular diseaseclassification, Sensors,vol.20,no.17, p.4777, 2020。第二组数据来取于第二篇对比文献Li D,Shi C,Zhao J,et al.Intra-Patient and Inter-Patient Multi-Classification of Severe Cardiovascular Diseases Based on CResFormer[J].Tsinghua Science and Technology,2022,28(2):386-404。

混淆矩阵记录真阳性、假阳性、真阴性、假阴性的数量，OA为正确分类占所有分类的比例，定义真阳性(TP)、假阳性(FP)、真阴性(TN)、假阴性(FN)：真阳性(TP)是预测为正，实际也为正的一类，假阳性(FP)是预测为正，实际为负的一类，真阴性(TN)是预测为负，实际为正的一类，假阴性(FN)是预测为负，实际也为负的一类。准确率(Acc)是当前类的正确分类与当前类的比例。特异性(Spe)是指被判定为阴性的样本占实际阴性样本的比例。灵敏度(Sen)是指在实际处于阳性类别的样本中判断为阳性类别的样本所占的比例。结果分析：上述表中展示了对于心衰分类的实验结果，从上述对比中发现本发明提出的模型在准确率、灵敏度、精确度、特异性所有性能评价指标中是最高的，证明了利用本发明所述方法能够充分地根据实际心电信号检测心衰。

在一个实施例中，还公开了一种用于分析心电信号的多尺度Transformer编码器网络，包括三个Transformer编码器单元、三个Convolution模块、三个liner模块、三个Interaction output模块和一个Pooling and Normalize模块，每个Transformer编码器单元的输出结果分为两路，其中一路顺次输入下一个Transformer编码器单元，另一路先经过Convolution模块进行多尺度卷积操作，再经过liner模块提取特征，三个liner模块的输出结果通过三个Interaction output模块进行两两交互，三个Interaction output模块的输出经过Pooling and Normalize模块进行全连接线性操作以及分类，最终通过Finaloutput模块进行数据输出；其中每个Transformer编码器单元中包括三个Transformerencoder block模块，每个Convolution模块中包括三个Dense Block模块。

在一个实施例中，还提供了用于分析心电信号的多尺度Transformer编码器网络在心力衰竭诊断中的应用。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。尽管参照前述各实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离各实施例技术方案的范围，其均应涵盖权利要求书的保护范围中。