基于多模态融合与深度学习的肝脏血管分割方法及系统

技术领域

本发明属于医学图像处理技术领域，尤其涉及一种基于多模态融合与深度 学习的肝脏血管分割方法及系统。

背景技术

目前，人工智能和医疗相结合的产品和应用已不再少数，如肺结节智能检 测、心血管检查、各类肿瘤疾病智能诊断等等，皆表现出非常不错的效果，极 大的推动了医疗技术领域的进步。医学CT影像是经过物理和化学的方式形成的 图像，人体各个器官或病变因为吸收物理光线能力的不同或者化学剂的影响而 表现密度上的不同，通过CT影像，医生可以在视觉上分辨人体内部结构。但在 一些特殊环境下，专业的医生依旧无法高效、准确辨别细微器官和病变情况。 计算机视觉和医学影像一直联系非常紧密，通过神经网络模型可以实现对医学 影像中目标对象的分割，使目标实体显现的更加清晰。尤其是U-Net神经网络 模型，将常见的卷积神经网络变成U型结构让左右对应网络层桥接，其深度依 然是整个网络的层数，保证能够学习到更好的类别特征。

据研究估计，中国超过五分之一的人群受到肝脏疾病的困扰。根据2018年 国际癌症研究中心报告，中国的肝癌发病率位居男性癌症第三、死亡率第二， 基于人口规模估计，中国的肝癌患者人数全球最多。目前临床治疗肝癌方法主 要有肝脏肿瘤切除术、肝脏移植术、基于增强CT图像引导的射频/微波消融术 等，而精准掌握肝脏血管边缘、血管分支和血管与病灶关系是这些手术成功的 关键。单个患者做CT检查产生的影像切片约为200～500张，通过影像专家对 CT扫描切片中的肝脏血管进行手动分割费时、费力且容易出错。因此，结合人 工智能技术和计算机视觉实现肝脏血管的自动分割和三维模型重建，是目前最 为有效的解决方法之一。

目前，关于肝脏血管分割算法的研究较少，国内尚没有成熟的技术或产品 公布。主要原因有以下三点：一是，不同患者、不同肝脏疾病显影差异相对较 大，一些传统算法不能统一化处理；二是，肝脏和肝脏血管在密度上表现差别 不大，同质性强，不易区分；三是，肝脏血管细小、模糊，不易标注，缺乏大 量有效数据集。现有技术中基于灰度或梯度的经典血管分割算法，如三维区域 生长、模糊聚类等，无法有效解决低对比度的肝脏血管分割；而一般的深度学 习网络模型，训练数据集规模受限，且容易受到血管和肝脏正负样本不均衡的 影响。

通过上述分析，现有技术存在的问题及缺陷为：现有技术中基于灰度或梯 度的经典血管分割算法无法有效解决低对比度的肝脏血管分割；而且一般的深 度学习网络模型，训练数据集规模受限，且容易受到血管和肝脏正负样本不均 衡的影响。

解决以上问题及缺陷的难度为：

算法优化方面，一是绝大多数肝脏血管细小且分辨度有限，肝脏血管与肝 脏区域的对比度低，肝脏病灶区域干扰性强，导致肝脏血管特征很难捕捉，对 肝脏血管的数据处理和模型的识别能力何提出很大挑战；二是肝脏血管与肝脏 区域正负样本比例极不均衡，需要通过有效手段大量减少负样本；三是不同患 者肝脏影像差异性很大，需要大量增加数据多样性，提升模型准确性。基于此 本研究提出三种不同的改进方法：一是利用多模态融合的方法预分割肝脏血管， 过滤掉非血管区域的噪声干扰；二是对预分割的肝脏血管区域进行膨胀，取出 膨胀后的非血管区域为负样本；三是持续增加和矫正数据参与模型训练，用与 算法相互反馈的系统不断拓展其规模。

解决以上问题及缺陷的意义为：本发明提高了血管分割效率和精准度，减 轻医务人员工作负担及主观失误；同时本发明基于精准分割的肝脏血管进行三 维建模，完整、立体展现肝脏血管形态和细小分支，辅助疑难病变的诊断和肝 脏手术方案决策。

发明内容

针对现有技术存在的问题，本发明提供了一种基于多模态融合与深度学习 的肝脏血管分割方法及系统。

本发明是这样实现的，一种基于多模态融合与深度学习的肝脏血管分割方 法，所述基于多模态融合与深度学习的肝脏血管分割方法，包括：

步骤一，信息处理服务器从安全端口获取患者的基本信息和DICOM格式的 CT图像序列。该策略在保障数据安全性的同时可以无障碍的从系统中获取到患 者的原始数据，为本算法后续实施的一系列改进措施提供数据保障。

步骤二，级联肝脏分割模块，获取对应的肝脏掩码，自动调整窗宽、窗位 转换为PNG格式灰度图片，根据掩码取出肝脏部分。该策略可以有效的排除掉 患者CT影像中非肝脏区域的干扰，并将DICOM格式转换为PNG格式，为进 一步预分割肝脏血管做准备。

步骤三，通过Hessian矩阵提取血管纹理的梯度特征；通过聚类算法获得血 管局部信息；将二者通过模型进行融合预分割获得血管局部图像。该步骤是本 发明的核心，旨在获得真实的血管核心图像信息，排除非血管区域的干扰，为 进一步血管精细分割提供根本依据。

步骤四，采用开运算去除预分割血管中的噪音，使用膨胀算法扩充血管区 域，将其与肝脏原图做与运算构造新的肝脏图像。该步骤能够有效的去除步骤 三中血管区域的噪音，同时有效的解决了数据不平衡的问题。

步骤五，通过gRPC，信息处理服务器将处理后的图像传输给U-Net血管分 割算法服务器进行计算，算法服务器再将结果传回给信息处理服务器。该步骤 完成本方法中数据的高速传输以及在算法服务器中的高速运算，实现模型高效 的肝脏血管分割能力。

步骤六，信息处理服务器将检查者信息和血管分割结果传入肝脏血管三维 重建模型，三维重建模型返回VTK格式的三维重建结果。该步骤将本方法精细 化分割的肝脏血管进行三维重建，以便于保存和管理患者肝脏血管分割的结果 并进行展示，为后续相关应用和研究提供条件。

进一步，所述步骤二中，自动调整窗宽、窗位转换为PNG格式灰度图片具 体过程为：自适应调整DICOM影像窗宽、窗位，以使肝脏血管出现最佳显影效 果，构建像素级别的肝脏血管图像增强方法。

进一步，所述步骤二中，根据掩码取出肝脏部分具体过程为：级联肝脏分 割模块，获取对应的肝脏掩码，分割影像序列中肝脏区域。

进一步，所述步骤三中，将二者通过模型进行融合预分割获得血管局部图 像的具体过程为：

采用双通道的输入融合肝脏血管特征，通道一输入肝脏图像的灰度值，并 做归一化处理，进而通过聚类算法获取血管核心区域；

通道二输入肝脏图像经过Hessian矩阵处理后的血管纹理信息；

通过Hessian矩阵计算特征值λ

进一步，所述通过模型对上述两通道结果加权融合获得血管核心区域图像； 通过开运算去除噪音数据；

采用膨胀算法，扩充去除噪音后的血管图像，将其作为掩码在肝脏原图中 预分割出血管及外周区域，形成新的数据集。

进一步，所述步骤五中，信息处理服务器将处理后的图像传输给U-Net血 管分割算法服务器进行计算过程中，血管分割方法以U-Net架构为基础的深度 学习网络通过改进模块结构、损失函数、训练策略等提升肝脏血管识别效能。

进一步，所述步骤六中，信息处理服务器将检查者信息和血管分割结果传 入肝脏血管三维重建模型中，进行肝脏血管分割，具体为：

采用U-Net模型训练集，训练集标签由医学影像专业技师勾画和矫正，重 复迭代训练模型，直至结果性能满足预设目标。

进一步，所述U-Net模型为U-Net架构深度学习网络模型，训练集标签由0、 1、2构成，0标记图片背景，1标记肝脏血管，2标记血管外周肝脏区域。

进一步，所述肝脏血管分割在信息处理服务器中采用预处理肝脏数据，通 过gRPC，将处理后的图像输入训练好的U-Net模型，输出肝脏血管精细化分割 结果。

本发明另一目的在于提供一种实施所述基于多模态融合与深度学习的肝脏 血管分割方法的基于多模态融合与深度学习的肝脏血管分割系统，所述基于多 模态融合与深度学习的肝脏血管分割系统，包括：

信息和图像获取模块，用于获取检查者的基本信息和CT图像；

图像信息处理模块，信息处理服务器对将要进行肝脏血管分割的图像进行 预处理操作；

肝脏血管分割模块，信息处理服务器将处理好的通信传输给血管分割算法 服务器进行计算，算法服务器再将结果传回给信息处理服务器；

血管三维重建模块，用于将模型分割的血管图像重建成三维立体的肝脏血 管树模型；

信息存储模块，用于将分割好的血管数据、三维血管模型和CT检查者基本 信息存放在特定数据库和文件存储区域。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提 出三种不同的改进方法：一是利用双通道的图像融合算法提取肝脏血管局部信 息，预分割肝脏血管，过滤掉大面积的不含血管的肝脏区域，让网络更容易学 习血管特征；二是采用膨胀算法膨胀血管周围区域作为负样本，使训练集正负 样本均衡；三是大量增加数据样本自身的多样性，用与算法相互反馈的系统不 断拓展其规模，数据集持续增加与矫正，迭代训练神经网络模型；三种不同的 改进方法具体为：(1)本发明针对肝脏血管图像对比度低、血管模糊、血管很 小、噪声干扰强等问题，提出了一种基于双通道的图像融合方法预分割肝脏血管，提取肝脏血管灰度和梯度特征，过滤掉大面积的不含血管的肝脏区域，让 网络更容易学习肝脏血管特征。(2)本发明针对肝脏血管图像数据集正负样本 不均衡的问题，采用血管预分割结果进行膨胀后的血管外周区域为负样本，人 工精准标记的血管作为正样本训练模型，有效提升了模型性能。(3)本发明针 对肝脏血管手动三维重建工作量大、易出错，一般的自动重建模型难以重建出 包含血管较细分支的问题，采用两级血管分割方法：借助传统算法，提取多项 血管特征，预分割出所有包含肝脏血管的区域；用高性能的AI模型，不断增加 数据集，并由专家持续矫正数据训练模型，精细化分割出细小血管，解决肝脏 血管细支三维重建难的问题。

本发明借助经典的机器学习算法获取肝脏血管及周围局部信息，结合深度 学习模型精准分割肝脏血管，能使较细小、模糊的肝脏血管分支识别出来，有 效提升了肝脏血管分割的精准度和精细度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所 需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下 还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于多模态融合与深度学习的肝脏血管分割方 法流程图。

图2是本发明实施例提供的基于多模态融合与深度学习的肝脏血管分割系 统结构示意图。

图中：1、信息和图像获取模块；2、图像信息处理模块；3、肝脏血管分割 模块；4、血管三维重建模块；5、信息存储模块。

图3是本发明实施例提供的基于多模态融合与深度学习的肝脏血管分割过 程中数据处理流程图。

图4是本发明实施例提供的图像处理模块采用不同算法对图像处理结果对 比示意图；

图中：图(a)原图；图(b)Hessian算法处理结果；图(c)双通道融合算 法处理结果；图(d)开运算去噪处理结果；图(e)血管膨胀处理结果；图(f) 膨胀结果和原图与运算的结果。

图5是本发明实施例提供的模型算法实现过程示意图。

图6是本发明实施例提供的模型算法分割效果对比图，在对细小血管识别 及血管分割完整性方面与只采用U-Net算法经过充分训练后的模型分割效果对 比图。其中，第一行为原图像，第二行为只采用U-Net模型分割效果，第三行 为本发明实施例分割效果图。

图7是本发明实施例提供的模型算法分割效果对比图，在对肝脏血管分割 中的噪音干扰方面与只采用U-Net算法经过充分训练后的模型分割效果对比图。 其中，第一行为原图像，第二行为只采用U-Net模型分割效果，第三行为本发 明实施例分割效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例， 对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以 解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于多模态融合与深度学习 的肝脏血管分割方法及系统，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的基于多模态融合与深度学习的肝脏血管 分割方法，包括：

S101：信息处理服务器从安全端口获取患者的基本信息和DICOM格式的 CT图像序列。

S102：级联肝脏分割模块，获取对应的肝脏掩码，自动调整窗宽、窗位转 换为PNG格式灰度图片，根据掩码取出肝脏部分。

S103：通过Hessian矩阵提取血管纹理的梯度特征；通过聚类算法获得血管 局部信息；将二者通过模型进行融合预分割获得血管局部图像。

S104：采用开运算去除预分割血管中的噪音，使用膨胀算法扩充血管区域， 将其与肝脏原图做与运算构造新的肝脏图像。

S105：通过gRPC，信息处理服务器将处理后的图像传输给U-Net血管分割 算法服务器进行计算，算法服务器再将结果传回给信息处理服务器。

S106：信息处理服务器将检查者信息和血管分割结果传入肝脏血管三维重 建模型，三维重建模型返回VTK格式的三维重建结果。

本发明提供的基于多模态融合与深度学习的肝脏血管分割方法业内的普通 技术人员还可以采用其他的步骤实施，图1的本发明提供的基于多模态融合与 深度学习的肝脏血管分割方法仅仅是一个具体实施例而已。

本发明实施例提供的S102中，自动调整窗宽、窗位转换为PNG格式灰度 图片具体过程为：自适应调整DICOM影像窗宽、窗位，使肝脏血管出现最佳显 影效果，构建像素级别的肝脏血管图像增强方法。

本发明实施例提供的S102中，根据掩码取出肝脏部分具体过程为：级联肝 脏分割模块，获取对应的肝脏掩码，分割影像序列中肝脏区域。

本发明实施例提供的S1023中，将二者通过模型进行融合预分割获得血管 局部图像的具体过程为：

采用双通道的输入融合肝脏血管特征，通道一输入肝脏图像的灰度值，并 做归一化处理(px/256)，进而通过聚类算法获取血管核心区域；

通道二输入肝脏图像经过Hessian矩阵处理后的血管纹理信息。通过Hessian 矩阵计算特征值λ

其中，R

通过模型对上述两通道结果加权融合获得血管核心区域图像；

通过开运算去除噪音数据；

采用膨胀算法，扩充去除噪音后的血管图像，将其作为掩码在肝脏原图中 预分割出血管及外周区域，形成新的数据集。

本发明实施例提供的S105中，信息处理服务器将处理后的图像传输给 U-Net血管分割算法服务器进行计算过程中，血管分割方法以U-Net架构为基础 的深度学习网络通过改进模块结构、损失函数、训练策略等提升肝脏血管识别 效能。

本发明实施例提供的S106中，信息处理服务器将检查者信息和血管分割结 果传入肝脏血管三维重建模型中，进行肝脏血管分割，具体为：

采用U-Net模型训练集，训练集标签由医学影像专业技师勾画和矫正，重 复迭代训练模型，直至结果性能满足预设目标。

U-Net架构深度学习网络模型，训练集标签由0、1、2构成，0标记图片背 景，1标记肝脏血管，2标记血管外周肝脏区域。

肝脏血管分割在信息处理服务器中采用预处理肝脏数据，通过gRPC，将处 理后的图像输入训练好的U-Net模型，输出肝脏血管精细化分割结果。

如图2所示，本发明实施例提供的基于多模态融合与深度学习的肝脏血管 分割系统，包括：

信息和图像获取模块1，用于获取检查者的基本信息和CT图像。

图像信息处理模块2，信息处理服务器对将要进行肝脏血管分割的图像进行 预处理操作。

肝脏血管分割模块3，信息处理服务器将处理好的通信传输给血管分割算法 服务器进行计算，算法服务器再将结果传回给信息处理服务器。

血管三维重建模块4，用于将模型分割的血管图像重建成三维立体的肝脏血 管树模型。

信息存储模块5，用于将分割好的血管数据、三维血管模型和CT检查者基 本信息存放在特定数据库和文件存储区域。

下面结合具体实施例对本发明的技术方案作进一步的描述。

本发明中信息处理服务器通过安全端口从医疗信息系统(如PACS、RIS等) 检索出检查者的基本信息和DICOM格式的CT影像序列；自动调整窗宽、窗位 转换为PNG格式灰度图片，级联肝脏分割模块，获取肝脏掩码，根据掩码取出 肝脏部分。通过多模态影像融合算法预分割血管；数据输入采用两个通道，通 道1输入肝脏图像的灰度值的聚类结果，通道2输入肝脏图像经过Hessian矩阵 处理后的血管梯度信息；对结果进行去噪、膨胀等操作形成新的图像。通过gRPC， 信息处理服务器将处理后的图像传输给算法服务器进行计算，获得肝脏血管的 精细化分割结果，算法服务器再将结果传回给信息处理服务器。信息处理服务器存储处理完的检查者信息和血管分割结果，并调用肝脏血管三维重建模型， 三维重建模型返回VTK格式的三维重建结果。

本发明是基于自改进算法的肝脏血管AI分割模型，并且携带算法数据集持 续反馈增长系统。本发明的主体算法基于团队的自研算法，算法的核心如图3 所示。由信息处理服务器从安全端口获取检查者的基本信息和CT图像序列；利 用多模态图像融合算法获取肝脏血管局部信息，去除噪音干扰；然后通过gRPC， 信息处理服务器将处理后的图像传输给具有高性能GPU的算法服务器，在算法 服务器利用已训练好的基于U-Net深度神经网络模型进行计算，并将计算结果 传回给信息处理服务器；信息处理服务器一方面存储已经处理完成的检查者信 息和血管分割结果，另一方面，调用血管三维重建模块，将模型分割的血管图 像重建成三维立体的肝脏血管树模型，返回VTK格式的三维重建结果。其中一 些预测结果不好的数据集会收集起来，通过专业标注团队矫正后，放入数据集 再进行训练。

如图4所示，展示了肝脏血管图像融合过程中采用不同算法对图像处理结 果对比示意图。图4(a)为肝脏原图；使用Hessian矩阵计算特征值λ

本发明肝脏血管分割算法实现过程主要分为4个阶段，即：分离肝脏、提 取血管局部信息、U-Net模型分割血管、肝脏血管3D建模，该实现过程如图5 所示。

实施例一：在对细小血管识别及血管分割完整性方面，采用相同的训练数 据集(做CT扫描的患者共200例，图像数据共约15000张)，充分训练本发明 所述方法与只采用U-Net模型的方法。两种方法对肝脏血管的分割效果对比如 图6所示，其中，第一行为原图像，第二行为只采用U-Net模型分割效果，第 三行为本发明实施例分割效果图。图中用红色方框圈出了只采用U-Net模型分 割的不足，体现出了本发明实施例在对细小血管识别及血管分割完整性方面具 有一定优势。

实施例二：在对肝脏血管识别的噪声干扰方面，采用相同的训练数据集(做 CT扫描的患者共200例，图像数据共约15000张)，充分训练本发明所述方法 与只采用U-Net模型的方法。两种方法对肝脏血管的分割效果对比如图7所示， 其中，第一行为原图像，第二行为只采用U-Net模型分割效果，第三行为本发 明实施例分割效果图。图中用红色方框圈出了只采用U-Net模型会受到噪声干 扰出现“假阳性”的错误分割，体现出了本发明实施例具有较强的抗噪声干扰 的性能。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合 来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中， 由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普 通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在 处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸 如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载 体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路 或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、 可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的 处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的 保护范围之内。