一种肿瘤影像的病灶区域预测分析方法、系统及终端设备

技术领域

本发明属于深度学习领域，具体涉及一种肿瘤影像的病灶区域预测分析方法、系统及终端设备。

背景技术

近年来人们患病呈现出上升趋势，而现代人们患病的主要原因分为三大类：一是由于人们心理因素导致的，由于人们工作压力逐渐增大、情绪波动异常导致的内分泌失调，免疫力的降低从而导致人们患病；二是由于物理学要素造成的，如生活作息不规律经常性熬夜、不健康的生活习惯如抽烟喝酒、大自然或工业生产医药学造成的电离辐射等，都会引起恶性肿瘤的发生；三是由于有机化学要素造成的，如烟草中的苯并芘，就具备明显的致癌物质功效，黄曲梅毒素可造成肺癌，还可以造成皮肤病、肝癌，现阶段堪称有机化学致癌物质也有岩棉、玻镁、镍、铬，芥子气，矿物质机油，二氯甲醚这些都会增加得病概率。

由于人们对于身体引起的症状不加以重视，因此当人们发现身体异常时通常处于中后期，从而大大提高了治疗的难度。无论是对前期的预防筛查还是对于后期的治疗，最有效的方法是通过医生观察电子计算机断层扫描(Computed tomography，CT)获得病灶区域的影像信息，再做出判断。但是由于肿瘤的数目大小不一，多为一个，有时也可为多个，并且由于临近器官组织的相似性，对比度等原因，造成良性、恶性肿瘤很难区别判断，加上传统的癌症诊断方式依靠医生肉眼进行观察判断，工作量大时不免造成误诊。因此采用计算机的方式来辅助医生进行判断。传统的基于计算机方法的医学图像分类方法主要是使用机器学习方法，该方法首先要运用贝叶斯、支持向量机、决策树等方法通过研究病灶区域图像的统计量特征，然后人为的进行特征筛选和降维，最后根据挑选出的优异特征来进行分类。近年来卷积神经网络的兴起摒弃了传统复杂特征的人为筛选，通过网络自动学习特征再进行分类预测，不但降低了工作量，还提升了工作量效率。卷积神经网络的输入主要是图像，再经过卷积之间的相关运算获取图像的特征，其中不但包括大小、形状和纹理特征等低级特征，还能够自动获取机器学习获取不到的高级特征及语义信息。然而，无论是通过使用何种网络结构，都是通过图像这个单一数据源进行分类，但是由于病人个体差异等很难通过单向数据源进行判断，因此目前的分类预测效果并不理想。

发明内容

针对现有技术中存在不足，本发明提供了一种肿瘤影像的病灶区域预测分析方法、系统及终端设备，克服现有技术中通过单向数据源进行判断的缺陷，提高分类预测效果。

本发明是通过以下技术手段实现上述技术目的的。

一种肿瘤影像的病灶区域预测分析方法，具体为：

采集数据：包括CT影像采集、规范命名及存储，诊断文本注释采集存储，根据病人信息获取评价指标-年龄、性别、卡氏性能状态、表观肿瘤生长速度和功能恶化速度；

预测分析：对采集的数据进行预处理，设计融合加权特征提取网络模型、动态卷积文本特征提取网络模型，分别用于提取图像和病史特征；利用CBOW网络模型提取诊断文本特征；最后构建双层融合加权网络模型，对病灶区域预测分析。

进一步地，所述融合加权特征提取网络模型具体为：

(1)训练一个生成器和判别器

生成器的输入是1×64×64的随机图像，生成器共分为11层，依次为5个下采样层、一个全连接层和5个上采样层；所述下采样层由3×3卷积+激活函数+最大池化组成，所述上采样层由3×3的反卷积+激活函数组成；

判别器的输入包括生成器的生成图像和原始图像，判别器由5个3×3的卷积+激活函数构成；

(2)通过特征块来提取原始图像的图像及语义信息，每一个特征块由批归一化层+激活函数+1×1卷积层+批归一化+激活函数+3×3卷积层构成；

(3)将生成器提取到的特征图与最后一个特征块得到的特征图进行融合，并经过加权块，加权块由全局平均池化+1×1卷积+批归一化+激活函数构成；将通过全局平均池化和卷积后获得的权重通过激活函数归一化到[0，1]，并加权到全局平均池化前所得到的特征图上，用于关注病灶区域最具有代表性的图像特征；

(4)病灶区域最具有代表性的图像特征经输出组输出，所述输出组由两个全连接层构成。

进一步地，所述动态卷积文本特征提取网络模型具体为：

所述动态卷积文本特征提取网络模型输入所述评价指标，经动态卷积文本特征提取网络模型中间的若干隐藏层，隐藏层中的卷积核的大小分别设置为1、2、3、4、5，通过不同大小的卷积核提取出不同维度的特征后，进行特征拼接，最后通过一个卷积核大小为11的卷积层进行输出。

进一步地，所述双层融合加权网络模型包括融合组、特征提取组以及输出组；

所述融合组对诊断文本特征以及病史特征进行融合操作，并经过1×3卷积+批归一化层+激活函数提取主要特征，再通过全局平均池化+1×1卷积+批归一化+激活函数获取特征图权重，并将权重加权到未经过全局平均池化前的特征图上，学习到两种文本特征中最具有代表性的文本特征；

所述特征提取组由16个特征块构成，每一个特征块由批归一化层+激活函数+1×1卷积层+批归一化+激活函数+1×3卷积层构成，使用特征块对融合后的特征进行特征提取；

所述输出组由由全局平均池化+全连接层+分类函数构成，通过输出组进行分类预测输出结果。

更进一步地，所述输出组分类函数公式为：

其中：z表示f(z

进一步地，所述卡氏性能状态根据病人的身体健康状态由医生进行判断并记录获得。

进一步地，所述表观肿瘤生长速度由肿瘤切片上的肿瘤体积除以医生诊断时的症状持续时间获得。

进一步地，所述功能恶化速度由卡氏性能状态除以诊断时的症状持续时间获得。

一种病灶区域预测分析系统，包括：

数据采集模块，用于采集影像数据、诊断文本和病史数据，并分别建立影像数据库、诊断文本数据库以及病史数据库；

预测分析模块，用于构建融合加权特征提取网络模型、动态卷积文本特征提取网络模型和双层融合加权网络模型，所述融合加权特征提取网络模型、动态卷积文本特征提取网络模型，分别用于提取图像和病史特征；所述双层融合加权网络模型，用于对病灶区域预测分析。

一种终端设备，包括处理器和存储器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行计算机程序时，实现上述病灶区域预测分析方法。

本发明的有益效果为：

(1)本发明采用双层融合加权网络模型结合诊断文本信息、病人病史以及肿瘤影像来对病灶区域进行预测分析，避免了人工提取筛查复杂特征的过程，充分融合三类不同方向的特征。

(2)本发明设计了融合加权特征提取网络模型，通过将特征块提取的低层特征与生成器获得的高层特征进行融合，来提取更加丰富的信息，实现特征增强；将融合特征进行加权处理，能够去除图像数据冗余特征，突出重要特征。

(3)本发明设计了动态卷积文本特征提取网络模型，通过采用不同大小的卷积核来充分利用病史信息下每个评价指标下的信息以及加强各类指标间的联系。

(4)本发明设计了双层融合加权网络模型，通过两次融合并加权处理，能够在去除相同媒体特征存在冗余的同时实现不同媒体特征融合，最后提取最佳特征并进行分类预测，显著提高肿瘤影像的分类预测效果。

(5)利用本发明输出的结果，使用者可以对肿瘤病灶区域进行更为精准的预测判断，能够发现早期症状并对预后提供最佳治疗方案。

附图说明

图1为本发明所述基于不同模态临床数据特征的肿瘤影像的病灶区域预测分析法流程图；

图2为本发明所述融合加权图像特征提取网络模型结构图；

图3为本发明所述CBOW网络模型结构图；

图4为本发明所述动态卷积文本特征提取网络模型结构图；

图5为本发明所述双层融合加权网络模型结构图。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1所示，一种肿瘤影像的病灶区域预测分析方法，具体步骤如下：

步骤(1)，采集影像数据、诊断文本和病史数据，建立影像、诊断文本以及病史数据库

1)影像数据从医院获取，由精密的、高质量的计算机断层扫描(CT)得到肿瘤影像切片；影像数据应包括不同病例、不同病灶类型以及应来自不同医院的数据；对获取得到肿瘤影像切片，每一张切片都必须以规范的名称进行命名，名称应为病灶类型_时期_序号.dcm，例如转移性肝腺癌的平扫期序号为32的切片，则命名为MET_PS_32.dcm；命名后形成影像数据库。

2)诊断文本信息由专业医师使用医学主题词表来对每一张影像切片进行注释以及诊断描述，并导入到文本文档(.txt)中，形成诊断文本数据库。

3)病史数据则是根据病人的病历本以及就诊记录，从医院数据库中进行获取；病史数据包括年龄、性别(男性用1表示，女性用0表示)，再根据病人的身体健康状态由医生进行判断并记录，从而获得卡氏性能状态(KPS)；根据切片上的肿瘤体积(TV)除以医生诊断时的症状持续时间(SD)，获取到表观肿瘤生长速度(ATGR)，利用卡氏性能状态(KPS)除以诊断时的症状持续时间(SD)得到功能恶化速度(SFSD)，将这些评价指标下得到的数据存入到excel中，形成病史数据数据库；

其中：每一张影像数据和每一个存放诊断文本信息的.txt文件以及excel中每一条数据必须一一对应。

步骤(2)，对采集的数据进行预处理，并设计融合加权特征提取网络模型(FWNet)、动态卷积文本特征提取网络模型(CMNet)，分别用于提取图像和文本特征；最后构建双层融合加权网络模型(DFWNet)，对病灶区域预测分析，流程结构如图1所示。

1)对影像数据进行预处理

针对采集到的CT影像，需要提取病灶区域，具体方法则是需要由专业医师在不改变文件格式以及文件内容的前提下将CT图像的病灶区域勾勒出来，然后进行图像预处理；由于CT值的单位是Hounsfield，简称为HU，范围是(-1024，3071)，而通过计算机断层扫描得到的文件类型是DICOM图像(.dcm)，范围是(0，4096)，因此需要通过如下公式进行转换：

HU＝pixel_value×rescale_slope+rescale_intercept

其中pixel_value表示像素值，rescale_slope和rescale_intercept则是通过读取每一张CT影像的头文件获取。

接下来将得到的HU进行范围限制，以便将病灶区域清晰显现(若为肝脏，则将范围限制为[-100，400]HU)；最后将所有勾勒出的病灶区域统一成64*64像素尺寸，并通过平移、旋转等操作对病灶区域图像进行数据增强。

2)对诊断文本信息进行分词预处理以及对病史特征进行向量化处理，具体过程为：

将存放在文本文档中的i类文本首先进行关键字分词，再利用空格隔开文本，变成字符串后移除停用词的同时去掉在该文本中只出过一次的词汇；其次是将分词过后的.txt文档用向量来进行表示，该表示法的数学表达式为：

其中：W

然后通过二维矩阵a[i][j]来存放词语j在i类文本中的W

3)根据所获得的病史数据，将其规范化表示；将excel的每一行输入用(年龄，性别，KPS，ATGR，SFSD)来进行表示，其中年龄、KPS、ATGR、SFSD需要填入具体数值，性别1表示男性、0表示女性。

4)构建融合加权特征提取网络模型(Fusion Weighting Network，简称FWNet)，来提取图像特征

为了能够提取图像更加丰富的信息，实现特征增强，因此通过将特征块提取的低层特征与生成器获得的高层特征进行融合。

如图2所示，具体方法是：首先训练一个生成器和判别器；生成器的输入是1×64×64的随机图像，1表示通道数，64表示图像大小，生成器一共分为11层，从左往右分别为5个下采样层、一个全连接层、5个上采样层，其中下采样层由3×3卷积+激活函数+最大池化组成，上采样层由3×3的反卷积+激活函数组成；影响图像经过生成器所形成的特征图大小分别为1×64×64、64×32×32、126×16×16、256×8×8、512×4×4、32768、512×4×4、256×8×8、126×16×16、64×32×32、1×64×64。在生成器中加入了短连接来提升性能，防止梯度消失。判别器由6个块构成，由5个3×3的卷积+激活函数构成，判别器的输入分为两部分：生成器的生成图像和原始图像；经过判别器所得到的特征图大小分别为1×64×64、64×32×32、128×16×16、256×8×8、512×4×4、32768。生成器通过自身的学习，使得输出的图像更加接近与原始图像，然后将生成的图像与原始图像一起送入到判别器中进行判别，然后生成器通过判别的结果不断进行优化生成更加真实的数据，当训练结束后，生成器中已经学习到了深层次图像的特征，因此将生成器作为特征提取器送入到后续网络中进行融合。

其次通过特征块来提取原始图像的图像及语义信息，每一个特征块由批归一化层+激活函数+1×1卷积层+批归一化+激活函数+3×3卷积层构成，特征块之间加入了短连接，来利用之前未经过该特征块的原始特征图的特征，实现特征重用的同时加强图像特征表达。由于增加了短连接，导致后面特征块的输入会很大，所以在特征块中使用1×1能够降低参数量；通过使用批归一化能够有效防止梯度消失；而线性变化在深层次神经网络中的表达能力通常较差，因此引入激活函数来提升网络表达能力；特征块能够得到病灶区域的语义特征的同时加速网络收敛速度，提升网络的稳定性。

将特征提取器提取到的特征图与最后一个特征块得到的特征图进行融合，并经过加权块，加权块由全局平均池化+1×1卷积+批归一化+激活函数构成；将通过全局平均池化和卷积后获得的权重通过激活函数归一化到[0，1]，并通过直连的通道加权到全局平均池化前所得到的特征图上，用于关注病灶区域最具有代表性的图像特征；其中所使用的激活函数公式为：

其中：x表示输入，a∈(0，1)。

输出组由两个全连接层构成，第一层用于图像特征的组合，第二层是为了对图像特征进行非线性变换，提升网络非线性表达能力和模型的学习能力，输出的维度即为所提取的特征，如图2所示。

利用融合加权特征提取网络模型提取图像特征使用交叉熵损失函数，公式如下所示：

其中：K表示种类数量；y为标签，若类别为i，则y

5)通过运用连续词汇学习模型(Continuous Bag-of-Words，简称CBOW)来提取文本特征

如图3所示，首先将输入向量通过V×N维的权重矩阵W，再连接到隐藏层，然后再通过一个N×V的权重矩阵W′后得到输出层；计算隐藏层h的输出公式表达如下：

其中x

其中

其中p表示概率，w表示每一结点的权重。

通过连续词汇学习模型，从而获取到训练好的文本特征。

6)通过构建动态卷积文本特征提取网络模型(Concatenation Muti-kernelNetwork，简称CMNet)来提取病史特征

如图4所示，为了能够充分利用每个评价指标下的信息以及加强各类指标间的联系，因此采用了动态卷积拼接提取特征的方法，将一维病史特征作为输入；该网络输入为一维临床向量，中间设有若干隐藏层，最后输出的临床特征大小与输入特征维度相同；隐藏层中的卷积核的大小分别设置为1、2、3、4、5，通过不同大小的卷积核提取出不同维度的特征后，再进行特征拼接，提取出的特征图维度分别为5、4、3、2、1，将其拼接后形成的维度为15；通过动态卷积文本特征提取网络模型，能够获得不同维度的特征，所得到的特征具有不同大小的感受野，其次将不同维度的特征进行拼接，能够从不同角度获得到病史特征，从而对每一部分的特征都进行了加强，最后通过一个卷积核大小为11的卷积层进行输出。

7)通过构建双层融合加权网络模型(Double Fusion Weighting Network，简称DFWNet)来对病灶区域进行预测分析

为了去除相同媒体特征存在冗余及实现不同媒体特征融合，设计了双层融合加权预测网络模型来对病灶区域进行预测分析，如图5所示，双层融合加权预测网络模型分为三个部分，融合组、特征提取组以及输出组。

由于诊断文本特征以及病史特征都为文本特征，其中会有一些重复的文本特征，因此首先将这两种特征先进行融合操作，并经过1×3卷积+批归一化层+激活函数来提取其主要特征，再通过全局平均池化+1×1卷积+批归一化+激活函数来获取特征图权重，且限制在[0，1]之间，并将权重加权到未经过全局平均池化前的特征图上，从而消除融合后重复文本特征的影响，更能学习到两种文本特征中最具有代表性的文本特征。将图像特征与加权后所得到最具有代表性的文本特征进行融合，使用特征块对融合后的特征进行特征提取，特征提取组由16个特征块构成，每一个特征块由批归一化层+激活函数+1×1卷积层+批归一化+激活函数+1×3卷积层构成。由于特征块之间存在短连接，文本与图像之间的信息能够更有效的利用，将最后一个特征块的输出与第一个特征块的输入进行相加，降低资源消耗，防止过拟合的同时解决梯度消失。

通过输出组进行分类预测输出结果，输出组由由全局平均池化+全连接层+分类函数构成，其中输出组分类函数公式表达如下：

其中z表示上一层的输出，即f(z

通过双层融合加权网络模型能够实现对于病灶区域的精准分类预测分析，最后通过该网络对所判断出的高概率类别进行高亮显示。

8)训练融合加权特征提取网络模型、动态卷积文本特征提取网络模型和双层融合加权网络模型

在Ubuntu16.04、NVIDIA GeForce GTX 1060Ti GPU的系统下采用Pytorch框架，将采集到的数据按照7：3的比例分为训练集和测试集这两大类，并采用随机梯度下降法训练网络，训练时每一批次值设置为32、初始学习率设置为0.001、总计迭代150次。训练过程中采用前向传播结合反向传播，对网络权值进行初始化后，将输入的数据经过网络后得到输出值，并求出该数据输入与输出值之间的误差，当误差大于期望值，通过反向传播算法更新权值，最后经过迭代后得到最终结果，此时模型训练结束。通过微调训练时的参数，以及在不同学习率和不同的损失函数来重复模型训练，最后选择效果最好的模型进行保存。

9)测试融合加权特征提取网络模型、动态卷积文本特征提取网络模型和双层融合加权网络模型

将所构建的测试集输入到所保存的效果最好的模型中进行输出。

一种肿瘤影像的病灶区域预测分析系统，包括数据采集模块和预测分析模块。数据采集模块，用于采集影像数据、诊断文本和病史数据，并分别建立影像数据库、诊断文本数据库以及病史数据库；预测分析模块，用于构建融合加权特征提取网络模型、动态卷积文本特征提取网络模型和双层融合加权网络模型。

上述肿瘤影像的病灶区域预测分析方法可以实现为一种计算机程序的形式，该计算机程序可以在计算机设备上运行，该计算机设备可以是服务器或终端。其中，服务器可以为独立的服务器，也可以为服务器集群；该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器；非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种肿瘤影像的病灶区域预测分析方法。处理器用于提供计算和控制能力，支撑整个计算机设备的运行。存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种肿瘤影像的病灶区域预测分析方法。该网络接口用于进行网络通信，如发送分配的任务等。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。