一种基于深度学习的TACE疗效预测方法

技术领域

本发明涉及生物学技术领域，具体涉及一种基于深度学习的TACE疗效预测方法。

背景技术

肝细胞癌(HepatocellularCarcinoma,HCC)是全世界常见的原发性肝脏恶性肿瘤，每年有超过74.8万例新诊断的癌症。肝动脉化疗栓塞(TranscatheterArterialChemoembolization,TACE)是目前治疗中晚期肝癌的主要非手术治疗方法，该方法能够一定程度延长患者生存时间，且有效降低手术后患者肿瘤复发率，达到改善中晚期肝细胞癌疗效的目的。但据调查，有60％的HCC患者没有从该方法中收益，并且该方法同样会导致上腹疼痛、恶心、发烧等副作用，甚至可能导致严重的并发症。因此，在治疗前预测该方法对于HCC患者的治疗效果具有重大意义。

目前，主要通过巴塞罗那临床肝癌分期标准(BarcelonaClinicLiver Cancer,BCLC)作为选择依据，该系统考虑了患者的表现状态、肝脏疾病的严重程度、肿瘤大小、肿瘤数目、血管浸润和转移，将处于B期的HCC患者作为TACE疗法的首选患者，但同样处于B期的患者在肝功能与肿瘤负担方面也存在相当大差异，且该方法涵盖的个体因素差异存在局限。有研究结合CT图像与巴塞罗那临床肝癌分期系统来预测患者对TACE的疗效反应，该方法通过深度学习模型分割肿瘤区域，之后基于影像组学方法，经过特征提取、特征筛选，最后通过随机森林算法建模进行疗效预测。有研究通过MRI图像预测TACE对HCC患者的治疗效果，该方法同样基于影像组学方法，首先勾画病灶区域，之后提取大量图像特征，再通过LASSO回归模型筛选特征，之后利用机器学习模型对筛选的特征与相关临床信息进行建模。以上基于影像组学的方法流程较为复杂，且对TACE疗效预测的准确率提升较为有限。因此，需要一种流程简单便捷，且能够准确预测TACE疗效的方法。

发明内容

本发明的目的在于提供一种基于深度学习的TACE疗效预测方法，该基于深度学习的TACE疗效预测方法利用深度学习网络，并设计二阶段多模态融合模块，充分提取CT图像深层次特征并融合临床信息，这种先进的网络架构能够充分利用多种类型数据，达到比传统方法更优的效果，并且简化传统方法复杂的流程，为TACE的疗效预测提供了新思路，预测结果准确度高。

为实现上述目的，本发明采用以下技术方案：

一种基于深度学习的TACE疗效预测方法，包括以下步骤：

S1、获取数据，并对数据进行预处理；

S2、构建可实现多模态信息融合的预测模型，预测模型分为图像特征提取阶段与特征融合阶段；

S3、将预处理后的数据输入到预测模型中，依次进行图像特征提取与特征融合；

S4、对预测模型进行训练，并通过训练后的预测模型进行TACE疗效预测。

优选地，步骤S1的具体过程为：

S11、获取TCIA数据库的公开数据集HCC-TACE-SEG，该数据集HCC-TACE-SEG包含105例患者的CT图像数据与相关临床信息，并根据疾病进展时间是否小于14周将病例划分为两个类型；

S12、针对CT图像数据，将图像以勾画的肿瘤区域为中心进行裁剪，得到尺寸为C×360×360的图像，其中C表示CT图像的层数，再筛选出肿瘤区域面积最大的一层及其相邻两层图像，从而组成尺寸为3×360×360的三通道图像，最后对数据进行归一化，将像素值映射到0和1之间，得到预处理后的CT图像；

S13、针对临床信息，选取患者年龄、性别、是否吸烟、是否饮酒、BCLC分期、肝炎状况，将同一患者的不同临床信息拼接为向量形式，得到预处理后的临床信息。

优选地，步骤S2中在图像特征提取阶段，以深度学习模型ResNet18作为主体架构，并在深度学习模型ResNet18的基础上设计通道注意力机制模块，实现在图像特征提取过程中融入临床信息特征，以临床信息特征辅助图像特征提取；步骤S2中在特征融合阶段，设计交叉特征融合模块，以实现第二阶段的多模态融合，并将融合的特征作为模型输出，用以预测TACE疗效。

优选地，步骤S3中所述图像特征提取的具体过程为：

S31、将预处理后的CT图像输入深度学习模型ResNet18中，经过卷积层、批标准化层、激活函数层，得到基本图像特征M；

S32、将预处理后的临床信息中的临床信息特征，通过全连接层转化特征维度，并与图像特征进行匹配；

S33、利用预测模型中通道注意力机制模块，融合图像特征与临床信息特征；

S34、将融合特征继续传入深度学习模型ResNet18的残差模块，进一步提取特征，得到深层次图像特征；

步骤S3中所述特征融合的具体过程为：

S35、通过深层次图像特征生成对应的特征向量K与特征向量V；

S36、将原始临床信息转换为对应的特征向量Q；

S37、通过特征向量Q与特征向量K相乘，并将结果利用softmax函数进行转化，得到概率分布矩阵N；

S38、将概率分布矩阵N与特征向量V在通道维度相乘，得到融合特征向量，并将融合特征向量与深层次图像特征求和。

优选地，步骤S4的具体过程为：

S41、将数据集HCC-TACE-SEG以7:1:2划分为训练集、验证集、测试集；

S42、将训练集数据输入预测模型中，预测模型输出2维结果，分别代表属于每一类的概率，将概率表示为y，，利用交叉熵损失函数计算预测模型输出结果与真实标签y的差距，从而优化模型，该损失函数为：

其中，i表示第i个维度，K表示向量维度总数，y

S43、每轮训练之后，通过验证集数据评估预测模型效果；

S44、取在验证集上预测效果最优的预测模型作为最优预测模型，并将测试集数据输入到最优预测模型进行TACE疗效预测。

采用上述技术方案后，本发明具有如下有益效果：本发明的预测模型通过深度学习方法提取CT图像特征，能够提取比传统影像组学方法更丰富的图像特征，并且不需要精确勾画肿瘤区域，能够减轻临床医生压力，同时使流程更加简单便捷。除此之外，本发明的预测模型能够融合图像特征与多种临床信息(包含BCLC)，相比传统的仅依靠BCLC来决定是否对HCC患者使用TACE疗法，该方法充分融合了两种模态数据的互补信息，能够更加准确预测TACE的治疗效果，预测准确性高。

附图说明

图1为本发明的流程图；

图2为本发明的预测模型的框架图；

图3为本发明的图像数据预处理前后对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

如图1至图3所示，一种基于深度学习的TACE疗效预测方法，包括以下步骤：

S1、获取数据，并对数据进行预处理；

步骤S1的具体过程为：

S11、获取TCIA(TheCancerImmunomeAtlas)数据库的公开数据集HCC-TACE-SEG，该数据集HCC-TACE-SEG包含105例患者的CT图像数据与相关临床信息，并根据疾病进展时间是否小于14周将病例划分为两个类型；

S12、针对CT图像数据，将图像以粗略勾画的肿瘤区域为中心进行裁剪，得到尺寸为C×360×360的图像，其中C表示CT图像的层数，再筛选出肿瘤区域面积最大的一层及其相邻两层图像，从而组成尺寸为3×360×360的三通道图像，最后对数据进行归一化，将像素值映射到0和1之间，得到预处理后的CT图像；

S13、针对临床信息，选取患者年龄、性别、是否吸烟、是否饮酒、BCLC分期、肝炎状况，将同一患者的不同临床信息拼接为向量形式，得到预处理后的临床信息；

S2、构建可实现多模态信息融合的预测模型，预测模型分为图像特征提取阶段与特征融合阶段；

步骤S2中在图像特征提取阶段，以深度学习模型ResNet18作为主体架构，并在深度学习模型ResNet18的基础上设计通道注意力机制模块，实现在图像特征提取过程中融入临床信息特征，以临床信息特征辅助图像特征提取；步骤S2中在特征融合阶段，设计交叉特征融合模块，以实现第二阶段的多模态融合，并将融合的特征作为模型输出，用以预测TACE疗效；

S3、将预处理后的数据输入到预测模型中，依次进行图像特征提取与特征融合；

步骤S3中所述图像特征提取的具体过程为：

S31、将预处理后的CT图像输入深度学习模型ResNet18中，经过卷积层、批标准化层、激活函数层，得到基本图像特征M；

S32、将预处理后的临床信息中的临床信息特征，通过全连接层转化特征维度，并与图像特征进行匹配；

S33、利用预测模型中通道注意力机制模块，融合图像特征与临床信息特征；

S34、将融合特征继续传入深度学习模型ResNet18的残差模块，进一步提取特征，得到深层次图像特征；

步骤S3中所述特征融合的具体过程为：

S35、通过深层次图像特征生成对应的特征向量K与特征向量V；

S36、将原始临床信息转换为对应的特征向量Q；

S37、通过特征向量Q与特征向量K相乘，并将结果利用softmax函数进行转化，得到概率分布矩阵N；

S38、将概率分布矩阵N与特征向量V在通道维度相乘，得到融合特征向量，并将融合特征向量与深层次图像特征求和；

S4、对预测模型进行训练，并通过训练后的预测模型进行TACE疗效预测；

步骤S4的具体过程为：

S41、将数据集HCC-TACE-SEG以7:1:2划分为训练集、验证集、测试集；

S42、将训练集数据输入预测模型中，预测模型输出2维结果，分别代表属于每一类的概率，将概率表示为y，，利用交叉熵损失函数计算预测模型输出结果与真实标签y的差距，从而优化模型，该损失函数为：

其中，i表示第i个维度，K表示向量维度总数，y

S43、每轮训练之后，通过验证集数据评估预测模型效果；

S44、取在验证集上预测效果最优的预测模型作为最优预测模型，并将测试集数据输入到最优预测模型进行TACE疗效预测

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。