一种癌变区域综合检测装置及方法

技术领域

本发明涉及深度学习领域，特别是一种癌变区域综合检测装置及方法。

背景技术

癌症因其高致死率，持续地威胁着人类的生命和健康。尤其是肝癌和肺癌，近几年来始终是致死率极高的癌症。通常，当病人发现自己有相关症状时，实际已经处于癌症的中晚期。在医学上，医学影像诊断是进行癌症早期筛查的有效手段。然而，处于癌症早期时体现在医学影像上的癌变区域往往很小，癌变与其周边非癌变区域的差异不易区分，加之筛查过程中产生的影像规模很大、种类很多，即便是经验十分丰富的放射科医师也因巨大的工作压力而出现误诊、漏诊的情形。

针对上述情况，计算机辅助诊断系统成为放射科医师最为得力的助手。基于传统机器学习的检测方法利用有关方向梯度直方图和边缘算子等信息来提取一些低阶图像特征，其严重依赖于人工干预和先验知识，且执行速度相当慢。值得庆幸的是，以具有里程碑意义的2012 年为转折点，基于深度学习的医学影像检测方法在近几年开始流行起来，深度学习凭借卷积神经网络强大的特征提取能力，相较于传统的机器学习方法能够处理更高阶的语义特征，尤其在数字图像领域取得了相当显著的精度提升效果。

按照检测不同的整体算法和框架，可将基于深度学习的检测方法分为基于锚框的单阶段和两阶段检测方法以及基于无锚框的关键点检测方法。前者利用预定义的先验框或锚框，相当于以一种穷举的方式在特征图上滑动遍历所有可能存在目标的位置区域。单阶段力求前向传播一气呵成，直接从先验框出发进行回归和分类，执行速度很快，而两阶段则使用一种由粗到细的检测机制，通过区域提议先滤除大部分处于背景区域上的无关锚框，检测速度较慢但精度较高。基于无锚框的关键点检测方法则注重在目标的关键点(例如角点和中心点)等位置输出高响应特征，从这些位置出发进一步精准定位出最终的检测框。然而，无论是上述的何种方法，都是利用医学影像这一单源输入馈送至卷积神经网络中进行前向推理检测，且假阳即误检(预测出癌变区域，实为非癌变区域)出现的概率依旧较大。换言之，仅对检测网络的改进存在一定的精度提升瓶颈。

现有相关专利，如申请号为CN201911201347.1(一种乳腺病变检测方法和装置)、CN201910520291.X(一种基于深度残差网络的糖尿病性视网膜病变检测的方法)的专利，只是局限性的关注于某种器官或组织扫描的医学影像作为神经网络的输入，并实现病变检测。然而，如何利用临床测定信息作为额外的数据源输入神经网络进行文本分析，并利用其结果对神经网络的输出实施进一步的修正和完善，目前尚无相关方法问世。

发明内容

针对现有技术中存在不足，本发明提供了一种癌变区域综合检测装置及方法，将预测得出的患癌概率值加权至预测出的癌变置信度得分中，实现癌变区域的综合判定，以高精度、高性能的方式检测出癌变区域。

本发明是通过以下技术手段实现上述技术目的的。

一种癌变区域综合检测方法，具体为：

采集CT影像数据与临床数据；

预处理CT影像数据和临床数据，转化成适用癌变检测与分析子模块可输入的格式；

对预处理后且带有标注的CT影像数据进行癌变区域检测网络的训练，预测得到癌变区域的边界框坐标及对应的癌变置信度得分；

对预处理后且带有患癌风险等级的临床数据进行临床分析网络的训练，预测得到对应病人的患癌概率值；

将预测得出的患癌概率值加权至预测出的癌变置信度得分中，实现癌变区域的综合判定：对患癌概率值设定一个阈值0.5，将高于和低于所述阈值的部分分别拉伸至区间(0，1)，再利用指数函数e

筛去同一癌变区域的重复检测框并对边界框进行解码，输出当前病人的癌变区域及对应置信度得分。

进一步的技术方案，所述激励或惩罚采用如下公式：

其中，(P(object)*IOU(pred，gtBox))为置信度得分输出，P(object)是预测框中存在癌变区域的概率，IOU表征预测框pred与真实框gtBox的贴合程度；

进一步的技术方案，所述癌变置信度得分通过读取全部长度为5的向量保留，长度为5 指的是4个边界框属性以及1个目标置信度得分。

进一步的技术方案，所述检测网络及临床分析网络均采用卷积神经网络，所述卷积神经网络的训练采用方向传播学习法和随机梯度下降法。

更进一步的技术方案，所述检测网络通过若干次与特征提取下采样阶段相对应的上采样操作、侧向连接，形成类似金字塔一般的不同特征层级，在不同的层级上进行癌变区域的检测；每一金字塔层级内部包括若干次下采样，每一层下采样前均由n个残差块构成；所述残差块包括两个由卷积、批归一化和激活函数三步操作级联一体的组件，且残差块内部输入直连输出。

更进一步的技术方案，所述临床分析网络包括输入与量化、隐藏层和输出层。

一种癌变区域综合检测装置，包括数据采集模块、处理模块和可视化模块；

所述数据采集模块，用于从临床医师的日常工作流中获取训练神经网络的CT影像数据和临床数据；

所述处理模块，用于提取挖掘数据中的隐藏特征并输出预测；

所述可视化模块，用于输出当前病人的癌变区域及对应置信度得分；

所述处理模块包括癌变检测与分析子模块、预测结果加权处理子模块和检测结果后处理子模块；所述癌变检测与分析子模块，用于将采集的数据作为输入，经卷积神经网络后生成相应预测值；所述预测结果加权处理子模块，用于融合特征提取后的患癌概率值和预测出的癌变置信度得分；所述检测结果后处理子模块，用于筛去同一癌变区域的重复检测框并对边界框进行解码。

一种计算机可读存储介质，其存储的计算机程序使得处理器执行上述癌变区域综合检测方法。

本发明的有益效果为：本发明对预处理后且带有标注的CT影像数据进行癌变区域检测网络的训练，预测得到癌变区域的边界框坐标及对应的癌变置信度得分；对预处理后且带有患癌风险等级的临床数据进行临床分析网络的训练，预测得到对应病人的患癌概率值；将预测得出的患癌概率值加权至预测出的癌变置信度得分中，实现癌变区域的综合判定；将临床数据的患癌预测结果充分加权融入癌变置信度得分中，使得原本存在一定精度瓶颈的检测网络在遇到模棱两可的癌变区域时表现得更为“自信”，以高精度、高性能的方式检测出癌变区域；模拟临床上在早期判定病人疑似患癌区域究竟是否为癌症的综合诊断流程，使得利用本发明癌变区域综合检测方法设计出的整套计算机辅助检测系统成为放射科医师最得力的“助手”。

附图说明

图1为本发明癌变区域综合检测方法流程图；

图2为本发明检测网络的设计步骤示意图；

图3为本发明每一金字塔层级内部操作示意图；

图4为本发明临床分析网络的设计步骤示意图；

图5为本发明综合检测结果输出流程图；

图6为本发明综合检测装置构成示意图；

图7为本发明综合检测方法运行的计算机设备结构示意图。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1所示，一种癌变区域综合检测方法，本实施例以肝癌为例，具体包括如下步骤：

步骤(1)，影像数据与临床数据采集

影像数据采集时，采用先进的、高精密度的CT(计算机断层扫描)设备生成大量腹部平扫切片；而临床数据采集则源于临床医师的日常工作记录；在将影像数据与临床数据录入数据库或其他存储管理系统(例如图7中的存储数据集)时，需确保每位患者的信息能够一一对应，以便给后续癌变检测与分析子模块使用。

例如给定病人A，其每次平扫保存的各卷数据应当分别有组织地存放于名为“A_S*_V*”的文件夹中，此处的“S*”对应扫描次数索引，“V*”代表卷号，每一卷产生的切片也按扫描顺序依次命名放置于所述文件夹；而病人A的临床数据则按病人病史、血清化验信息、生理特征等归类到不同文件夹中。上述操作的目的在于方便后续处理模块和可视化模块对某个病人数据的处理和展示。

并非所有采集下来的影像切片数据都需保留，在一卷扫描出的切片中，开始和尾端的若干张切片往往并不包含肝脏(或其他特定器官和组织)，此时需要筛去这些无价值的切片。

步骤(2)，癌变检测与分析

步骤(2.1)，针对CT影像数据，由专业医师通过矩形框框取癌变的区域(或称标注)，标注后的矩形框信息应记录在与影像数据同名的.txt或.xml、.json格式文件中，其中应严格包括一组由(Cx，Cy，w，h)或(Xmin，Ymin，Xmax，Ymax)属性组成的数据，因为这两者都唯一确定了一个矩形框所处的位置，其中(Cx，Cy)代表中心点坐标，(w，h)代表矩形框的宽和高，(Xmin，Ymin)代表左上角角点坐标，(Xmax，Ymax)代表右下角角点坐标。

而对于临床数据，由临床医师凭借其丰富经验判定患癌症的风险等级，为尽可能减少给医师带来的额外工作压力，该患癌风险等级仅按高、中、低来划分。

接着对CT影像数据和临床数据进行预处理，将其转化为适合作为后续训练神经网络的期待输入形式。

CT影像数据预处理：原始的由机器直接生成的扫描切片格式为DICOM(.dcm)，这一格式无法作为输入直接馈送入神经网络进行训练或预测，需要借助Python相关库对这一格式进行转换，转换为.jpg或.png图像格式，也可以转换为二维数组；在转换过程中，还需注意肝脏(或其他器官和组织)对应的窗位和窗宽的限定(即亨氏单位HU值的限制)，以在最大程度上获取与周围器官的对比度(让肝脏尽可能显现)；对于肝脏，按照专业放射科医师的经验，将HU值限定在[-100，240]区间内，-100和240即为窗位，而两端点之间的距离则为窗宽；限定的公式展示如下：

其中，HU

临床数据预处理：将临床数据中的数字信息进行进一步的量化，将临床测得的数据距离正常范围数据的偏差值作为衡量单一指标下病人“严重性”的指标；例如，肝癌的一项很具参考价值的指标为甲胎蛋白AFP，若某人被测得的数据不在正常范围(即≥25ng/mL)，则距离这个值越远，给定的初始值就越大，具体变化的幅度还需由经验丰富的临床医师来定夺；若测得的数据处于正常范围中，则给定一个非0的很小的值(例如0.001)作为馈送入后续神经网络的初始值；值得注意的是，上述初始值的设定仅仅是为了缓和后续神经网络训练初期的难度。

步骤(2.2)，对预处理后且带有标注的CT影像数据进行癌变区域检测网络的训练，由于癌变区域在整张CT影响上所占面积比例较小，在硬件算力条件允许的情况下，可对图像整体通过双线性插值的方法进行适当放大，放大操作应遵循一定规则，并非随意放大，放缩的像素值通常取64或128的整数倍，这是由后续检测网络下采样的比例来决定的；将放大后的图像馈送至检测网络进行训练；同样，对预处理后且带有最终患癌风险等级的临床数据进行临床分析网络的训练。检测网络及临床分析网络均采用卷积神经网络。

步骤(2.2.1)，卷积神经网络的训练

在Ubuntu系统的pytorch框架下，将经过预处理的6000张腹部CT影像数据按7：2：1的比例分为训练集、验证集和测试集；按照临床数据采集来源所涉及的人员数目，也按上述比例将临床数据划分为对应的训练集、验证集和测试集；神经网络的训练采用方向传播学习算法，搭配随机梯度下降方法；根据一次前向推理计算出的loss值，进行反向传播迭代更新神经网络每一带参层的权重和偏置(若有)；经过一定训练迭代次数后，若训练集上loss和验证集上loss均趋于收敛，则神经网络训练完成。值得注意的是，检测网络及临床分析网络的训练完全可以单独分开，两者之间无任何耦合。

图2所示为检测网络的设计，具体为：

1)特征金字塔：在特征提取(骨干网络)阶段结束后，通过若干次与特征提取下采样阶段相对应的上采样操作、侧向连接，形成类似金字塔一般的不同特征层级，在不同的层级上施加对应的检测头进行癌变区域的检测；旨在适应不同大小的癌变区域，遍历到更广更多的疑似癌变区域；图3为每一金字塔层级内部操作示意。

2)特征提取：此阶段包括若干次下采样过程(池化层)，旨在更深的语义上提取特征；所有的池化层都是核大小为3*3、步长为2的卷积操作；而在每一层下采样前都是由n个残差块构成。

3)残差块：内部包括两个由卷积、批归一化和激活函数三步操作级联一体的组件，并增加一条由残差块内部输入直连输出的捷径通路。

图4所示为临床分析网络的设计，具体为：

1)输入与量化：在临床数据采集完成后，需要通过一预先确定好的量化指标，将各指标下的数字信息转换为可供临床分析网络输入的形式；

2)隐藏层：临床数据分析网络可被视为一个大的隐藏层(黑盒)，网络的组成可以是若干个卷积模块(卷积+批归一化+非线性激活，且卷积层卷积核的设置为1、3交替)、残差块或者是更为复杂的网络模块；隐藏层的内部又可分为两大部分，前一部分是针对病人病史量化数据、生理特征量化数据以及血清化验量化数据的单独前向传播(各项指标可以更多，图中仅为举例，但一旦确定，后期不可任意更改)，旨在学习上述三大临床数据来源各自内部指标的权重分配；而后一部分主要是针对学习三大临床数据来源之间的权重分配(即学习到哪种指标或者哪类临床数据对于评估患癌风险等级具有主导作用)；

3)输出层：在隐藏层最后经过若干全连接层后，可得到一预测输出的患癌概率值，该值会对后续预测结果加权处理子模块起到关键性作用，并且在训练时被医师评估的真实值(例如高风险为0.99)直接监督。

卷积神经网络的损失函数采用均方误差：

其中，n为一个训练批次中样本总数，

步骤(2.2.2)，前向推理及预测

将步骤(2.2.1)划分出来的测试集数据馈送至训练完毕的神经网络中，对于CT影像数据，则预测得到癌变区域的边界框坐标及对应的癌变置信度得分；相应地，对于临床数据，则预测得到该对应病人患癌的概率值。

步骤(3)，预测结果加权处理

将上述步骤(2.2.2)中预测得出的患癌概率值加权至预测出的癌变置信度得分中，实现癌变区域的综合判定。

步骤(3.1)，对预测出的所有检测框进行后处理操作前截断

在本发明实现的检测网络中，其每个预测输出被编码为(N

步骤(3.2)，加权综合处理

将步骤(3.1)与临床分析网络的预测输出进行加权处理，以模拟整个综合的(肝)癌早期综合检测流程。具体地，对临床分析网络的输出(患癌概率值)设定一个阈值0.5，并且对高于和低于该值的部分分别拉伸至区间(0，1)，再利用指数函数e

其中，·左半部分为上述步骤(3.1)的置信度得分输出，P(object)代表预测框中存在目标(癌变区域)的概率，IOU体现了预测框pred与真实框gtBox的贴合程度；右半部分即比例因子，P

进行激励或惩罚的期望目的在于：假设最终执行肝癌(或其他癌症)检测时，置信度阈值设为0.2，并且存在一预测框置信度0.25实为假阳(错误预测)，在经过比例因子的惩罚后 (病人患肝癌的概率较低)，降为0.15成为真阴，即单一检测网络的影像输出预测会因病史血清信息的综合分析而变得更为坚定，这也完全符合医师在肝癌早期检测中的工作流程，即有时在影像学上表现模糊，但通过临床数据分析其患癌概率较大；有时通过临床数据分析不出是否患癌，但影像学上却有清晰表现。置信度得分输出和目标概率的综合判定才是最佳方案。

步骤(4)，检测结果后处理

后处理主要通过非极大值抑制NMS算法将重复检测的区域筛去，并且将特征图大小的坐标值映射回原图大小。

NMS算法旨在剔除针对同一个目标的重复检测框，在执行完成后，除保留某个病变区域对应的置信度阈值最高的预测框以外，其余所有大于预先设定IOU阈值的预测框都将被滤去。

将特征图大小的坐标值映射回原图大小又称为边界框的解码操作，为后续输出可视化提供真实的原图上的坐标值，便于观察和展示。

步骤(5)，检测结果输出可视化

该步骤包括获取原图、绘制图层、展示图像三大步骤，参见图5，具体为：

步骤(5.1)，直接获取检测网络的输入端原始图像；

步骤(5.2)，依据加权综合处理后的得分值，包括后处理阶段完成后的边界框坐标值，在原始图像上绘制出相应的矩形框，将加权处理后的得分值标定于边界框左上角；

步骤(5.3)，对于综合判定后，患癌概率较高的病变区域进行额外的加亮处理，便于医师进行观察和进一步的分析；在展示的同时，需将数据实时保存至该病人对应的文件夹中，以便医师的后续查看。

图6所示为癌变区域综合检测装置，包括数据采集模块、处理模块和可视化模块；

数据采集模块，用于从临床医师的日常工作流中获取训练神经网络必要的影像数据和临床文本数据，建立供后续可复用的高组织性的数据集；

处理模块，用于提取挖掘数据中的隐藏特征并输出预测；

可视化模块，用于解析所述处理模块的输出预测向量，并传递给显示器，以输出渲染当前病人的癌变区域及对应置信度得分；

所述处理模块，包括：癌变检测与分析子模块，用于将采集的数据作为输入，经卷积神经网络后生成相应预测值；预测结果加权处理子模块，用于融合特征提取后的患癌概率值和预测出的癌变置信度得分，提升检测置信度；检测结果后处理子模块，用于筛去同一癌变区域的重复检测框并对边界框进行解码。

图7示出本发明运行综合检测方法的计算机设备结构，具体为：

显示器，用于将综合检测结果可视化输出至图形用户界面；输入/输出接口，用于连接各输入和输出设备；内存，用于将存储数据集的数据读出，并由CPU直接调度、加工存放；中央处理器CPU，用于对内存中的原始数据进行加工，包括影像数据以及临床文本数据的前期预处理操作；图形处理器GPU，用于加速神经网络的训练，提升例如反向传播过程中复杂梯度计算的效率；显存，用于存储内存传递过来的批量数据。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。