基于图像配准的目标区域标注方法

技术领域

本发明涉及医学影像图片处理领域，尤其涉及一种基于图像配准的目标区域标注方法。

背景技术

医学影像学(medical imagine)是应用医学成像技术对人体疾病进行诊断和在医学成像技术引导下应用介入器材对人体疾病进行微创性诊断及治疗的医学学科，是临床医学的重要组成部分。随着医学影像技术的发展,影像诊断在疾病诊断中的作用变得越来越重要。医学影像技术主要包括X线检查计算机断层成像(Computed Tomography,CT)超声(Ultrasound)和磁共振成像(Magnetic Resonance Imaging,MRI)等影像辅助，临床医生可以通过上述成像图像，直观和清晰地观察正常和病变组织的解剖结构,为临床诊断制定治疗和随访方案，同时也为生物医学研究提供科学依据。由于近年来医学影像的输出数据呈几何级增长，临床医生和研究者需要利用计算机进行医学图像的自动处理和分析,而图像分割是医学图像处理和定量分析的关键步骤之一。

近年来,大数据数据挖掘、云计算、人工智能等分析技术的出现及迅猛发展,为分析原发性肝癌(肝癌)患者的大量数据提供了便捷的手段，而各种处理大数据的工具背后都有机器学习(machine learning)的应用。

由于单中心的医学图像数据集样本数量小,同时涉及对伦理、患者隐私等方面的保护要求，医学图像收集相对困难。而目前单中心的数据量往往不能满足机器学习的需求,图像标注能大大减少对数据量的需求。但是，手动标注图像需要耗费大量人力，医学图像的标注者更需要相关专业的医学背景,导致获得高质量的医学图像标注甚至比获得医学图像代价更高。

图像标注任务目前已经成为深度学习中一个重要的分支,是结合计算机视觉和自然语言处理的综合性任务。

在图像相关的科学研究，尤其是图像识别领域的研究中，通常需要对病灶进行手动或半自动的标注，研究多期增强检查的图像时，就需要同时观察多期图像，在标注过程中为了同时把多期的病灶标注出来，我们希望有一种方法能同时标注四期图像，即1次标注能同时完成四期标注的要求，无需对四期的图像进行重复标注，增加标注的效率，同时标注的标准符合规范，满足深度学习的要求。

目前尚无解决该问题的有效办法，因此，研究出一种基于肝脏CT/MRI多期增强检查(平扫期、动脉期、门静脉期、延迟期)图像配准基础上的目标区域标注方法，具有良好的应用前景和市场价值。

发明内容

有鉴于此，本发明的目的在于提供一种基于图像配准基础上的目标区域标注方法，通过确定目标区域，对目标区域进行最小化精确标注的方法，使四个期的目标区域通过一次标注，即完成同步四期标注，提高工作效率，为目前国内外肝脏疾病的图像识别等领域提供参考。

为了实现上述目的，本发明采用的技术方案一为：

一种基于图像配准的目标区域标注方法，其特征在于，包括以下步骤：

S1：筛选配准后的CT或MRI影像，使用医学影像处理软件打开该影像，导入

平扫期、动脉期、门脉期、平衡期四个序列，四期同时在显示界面上展示；

S2：分别在所述四个显示界面中，调整至肝脏出现的第一个层面，按照肝脏出现的第一个层面到最后一个层面的顺序，四个显示界面同步，逐层浏览；

S3：在所述四个显示界面中同步逐层对比肝脏灰度的变化，判断出感兴趣区域ROI；

S4：初始标注：用带有A颜色的画笔，在四期中的任何一期图像中，调整至标注模式，将鼠标移动到感兴趣区域ROI边缘外1mm内，在感兴趣区域ROI边缘任一点钟方向双击鼠标左键形成一个起始标注点，沿起始标注点2-3mm的感兴趣区域ROI边缘再次标注点，则相邻的两点自动连线，依据此方法连续标注，最后一个标注点和起始标注点重合，在感兴趣区域ROI边缘1mm内完整的勾画出一个多边形的类球形,其他三期图像中同步联动出现标注框；

S5:调整标注：分别在其他三期标注框中，用鼠标点击标注点，将其它时期在感兴趣区域ROI内的点以离心的方向移动至感兴趣区域ROI外边缘1mm内，该期超过感兴趣区域ROI外1mm的标注点不做调整；

S6:重复S4、S5的标注方法，完成一个感兴趣区域ROI内所有病灶层面的标注；

S7:保存带有标签信息的NII格式标注图像，并以住院号命名。

进一步的，所述步骤S1中的配准后的CT或MRI影像所采用的配准方法为：

S1:记录需配准的病例对应的住院号及检查时间；

S2:根据住院号及检查时间在图像储存服务器中下载格式为dicom的CT或MRI图像，将图像保存至以住院号命名的文件夹中；

S3:使用医学影像处理软件打开所述病例的文件夹，导入平扫期、动脉期、门静脉期、延迟期四个序列图像,在显示器中分成四个显示界面显示；

S4:分别在所述四个序列图像中找出门静脉右支主干所在层面，在平扫期中出现门静脉右支主干的层面，分别逐层测量门静脉右支主干的长轴长度Lx，取Lx数值最大的层面记做平扫期的基准层面，重复上述步骤分别记录动脉期、门静脉期、延迟期的基准层面处于各自期相的第几张图片，记为a、b、c、d；

S5:取a、b、c、d中最小的值Nmin与最大值Nmax，允许存在多个相同最大值或最小值；

S6:分别计算a、b、c、d与Nmin的差值ΔXa、ΔXb、ΔXc、ΔXd，并分别删除对应期相前ΔXa、ΔXb、ΔXc、ΔXd张图片，若某一期与Nmin的差值为0，则无需删减；

S7:分别计算a、b、c、d与Nmax的差值ΔYa、ΔYb、ΔYc、ΔYd，并分别删除对应期相后ΔYa、ΔYb、ΔYc、ΔYd张图片，若某一期与Nmax的差值为0，则无需删减；

S8:经删减后得到配准后的平扫期、动脉期、门静脉期、延迟期图像。

进一步的，所述步骤S1中的医学影像处理软件为ITK-SNAP。

进一步的，所述步骤S3中灰度的对比采用密度测量工具。

上述技术方案一的关键构思在于：基于肝脏CT/MRI平扫+多期增强扫描检查图像配准基础之上的四期联动的标注方法。经过四期图片配准后，使得目标区域，亦称感兴趣区域(ROI)在Z轴上基本达到一致，但在X、Y轴上，由于体位、呼吸以及血管搏动等的影响，肝脏的位置、形态在四期中略有差别，使得目标区域在每个期的图像中的坐标不一致。基于对目标区域的四期图片联合对比学习研究，需要对四期图像中的目标区域进行逐一标注。为减少人工标注工作量，采用一个开源软件“ITK-SNAP 3.8”，使四期图片在同一个页面同时展示，展示方式为2*2界面。利用软件自带的勾画工具，在原始图像上贴近目标进行边界标注，尽量应用最小化得边框，使得全部四期的目标区域完全在一个多边形的边框内，从而减少了大量重复的工作量。

附图说明

图1所示为一种基于图像配准的目标区域标注方法标注流程图；

具体实施方式

下面结合附图和具体实施例对本发明做进一步的说明如下：

如图1所示，本发明提供的一种基于图像配准的目标区域标注方法，包括以下步骤：

S1：筛选符合条件的配准后的病例图像，使用ITK-SNAP 3.8打开所述病例的CT/MRI影像文件夹，导入平扫期、动脉期、门脉期、平衡期四个序列，四期同时在显示界面上展示；

S2：分别在所述四个显示界面中，调整至肝脏出现的第一个层面，按照肝脏出现的第一个层面到最后一个层面的顺序，四个显示界面同步，逐层浏览；

S3：在所述四个显示界面中同步逐层对比肝脏灰度的变化，判断出感兴趣区域ROI；判定病灶(感兴趣区域ROI)的原理：肝脏的密度或信号在四期图像中都存在差异，同理，病灶的密度或信号在四期图像中都存在差异。而肝脏与病灶的密度或信号在每一期图像中对比也存在差异。这些差异的变化在图像上表现为灰度的变化，根据不同时期病灶灰度的变化、不同时期病灶-肝脏灰度的相对变化，我们可以用来识别病灶并给予定性。由于人的肉眼仅能识别16个灰阶，就是从黑到白仅能区分16种灰度的变化。而不同扫描机器、不同的造影剂、造影剂给药的速度和浓度、甚至人体血管结构的不同等等，均影响密度和信号的变化，这些差异主要依赖肉眼判断，目前无一个统一的数值标准。在肉眼判断不明确的情况下，借助ITK-SNAP 3.8上密度测量工具进行测量

S4：初始标注：用带有A颜色的画笔，在四期中的任何一期图像中，调整至标注模式，将鼠标移动到感兴趣区域ROI边缘外1mm内，在感兴趣区域ROI边缘任一点钟方向双击鼠标左键形成一个起始标注点，沿起始标注点2-3mm的感兴趣区域ROI边缘再次标注点，则相邻的两点自动连线，依据此方法连续标注，最后一个标注点和起始标注点重合，在感兴趣区域ROI边缘1mm内完整的勾画出一个多边形的类球形,其他三期图像中同步联动出现标注框；

S5:调整标注：分别在其他三期标注框中，用鼠标点击标注点，将其它时期在感兴趣区域ROI内的点以离心的方向移动至感兴趣区域ROI外边缘1mm内，该期超过感兴趣区域ROI外1mm的标注点不做调整；

S6:重复S4、S5的标注方法，完成一个感兴趣区域ROI内所有病灶层面的标注；

S7:保存带有标签信息的NII格式标注图像，并以住院号命名。

步骤S1中的配准后的CT或MRI影像所采用的配准方法为：

S1:记录需配准的病例对应的住院号及检查时间；

S2:根据住院号及检查时间在图像储存服务器中下载格式为dicom的CT或MRI图像，将图像保存至以住院号命名的文件夹中；

S3:使用医学影像处理软件打开所述病例的文件夹，导入平扫期、动脉期、门静脉期、延迟期四个序列图像,在显示器中分成四个显示界面显示；

S4:分别在所述四个序列图像中找出门静脉右支主干所在层面，在平扫期中出现门静脉右支主干的层面，分别逐层测量门静脉右支主干的长轴长度Lx，取Lx数值最大的层面记做平扫期的基准层面，重复上述步骤分别记录动脉期、门静脉期、延迟期的基准层面处于各自期相的第几张图片，记为a、b、c、d；

S5:取a、b、c、d中最小的值Nmin与最大值Nmax，允许存在多个相同最大值或最小值；

S6:分别计算a、b、c、d与Nmin的差值ΔXa、ΔXb、ΔXc、ΔXd，并分别删除对应期相前ΔXa、ΔXb、ΔXc、ΔXd张图片，若某一期与Nmin的差值为0，则无需删减；

S7:分别计算a、b、c、d与Nmax的差值ΔYa、ΔYb、ΔYc、ΔYd，并分别删除对应期相后ΔYa、ΔYb、ΔYc、ΔYd张图片，若某一期与Nmax的差值为0，则无需删减；

S8:经删减后得到配准后的平扫期、动脉期、门静脉期、延迟期图像。

应用实施例一：

记录需配准的病例对应的住院号及检查时间。

根据住院号及检查时间在图像储存服务器中下载格式为dicom的图像(以MR图像为例)，将图像保存至以住院号命名的文件夹中。

使用dicom浏览器(以北京麦迪克斯科技有限公司MedExWebMIM 6.00.0208为例进行说明)打开该病例的文件夹，导入图像，2*2分屏显示平扫期、动脉期、门静脉期、延迟期四个序列，四个序列的总张数均为72张，层厚均为3mm，左上角为平扫期，右上角为动脉期，左下角为门静脉期，右下角为延迟期。

分别在所述四个期中记录出现门静脉右支主干的层面数，平扫期为第26-30层，动脉期为第26-29层，门静脉期为第27-31层，延迟期为第29-32张层。

在平扫期中的第26-30层逐层测量门静脉右支主干的长轴长度，分别为15.44mm、17.00mm、18.09mm、16.50mm、14.30mm，则记录最大值18.09mm所在的层面第28层为平扫期基准层面。

在动脉期中的第26-29层逐层测量门静脉右支主干的长轴长度，分别为14.88mm、17.65mm、11.76mm、10.95mm，则记录最大值17.65mm所在的层面第27层为动脉期基准层面。

在门静脉期中的第28-30逐层测量门静脉右支主干的长轴长度，分别为13.85mm、15.93mm、10.08mm，则记录最大值15.93mm所在的层面第29层为门静脉期基准层面。

在延迟期中的第29-31逐层测量门静脉右支主干的长轴长度，分别为12.79mm、13.90mm、10.15mm，则记录最大值13.90mm所在的层面第30层为延迟期基准层面。

取28、27、29、30中最小的值为27与最大值为30。

28、27、29、30与最小值27的差值分别为1、0、2、3，并分别删除对应期相前1、0、2、3张图片。

28、27、29、30与最大值30的差值分别为2、3、1、0，并分别删除对应期相后2、3、1、0张图片。

经删减后的平扫期、动脉期、门静脉期、延迟期图像总张数相同为69张且基准层面所在图像在四个期中的序号相同为第27张，因此达到配准目的。

筛选符合条件的配准后的病例图像，使用ITK-SNAP 3.8打开所述病例的CT/MRI影像文件夹，导入平扫期、动脉期、门脉期、平衡期四个序列，四期同时在显示界面上展示；

分别在所述四个显示界面中，调整至肝脏出现的第一个层面，按照肝脏出现的第一个层面到最后一个层面的顺序，四个显示界面同步，逐层浏览；

在所述四个显示界面中同步逐层对比肝脏灰度的变化，判断出感兴趣区域ROI；

初始标注：用带有A颜色的画笔，在四期中的任何一期图像中，调整至标注模式，将鼠标移动到感兴趣区域ROI边缘外1mm内，在感兴趣区域ROI边缘任一点钟方向双击鼠标左键形成一个起始标注点，沿起始标注点2mm的感兴趣区域ROI边缘再次标注点，则相邻的两点自动连线，依据此方法连续标注，最后一个标注点和起始标注点重合，在感兴趣区域ROI边缘1mm内完整的勾画出一个多边形的类球形,其他三期图像中同步联动出现标注框；

调整标注：分别在其他三期标注框中，用鼠标点击标注点，将其它时期在感兴趣区域ROI内的点以离心的方向移动至感兴趣区域ROI外边缘1mm内，该期超过感兴趣区域ROI外1mm的标注点不做调整；

S6:重复S4、S5的标注方法，完成一个感兴趣区域ROI内所有病灶层面的标注；

S7:保存带有标签信息的NII格式标注图像，并以住院号命名。

应用实施例二：

记录需配准的病例对应的住院号及检查时间。

根据住院号及检查时间在图像储存服务器中下载格式为dicom的图像(以MR图像为例)，将图像保存至以住院号命名的文件夹中。

使用dicom浏览器(以北京麦迪克斯科技有限公司MedExWebMIM 6.00.0208为例进行说明)打开该病例的文件夹，导入图像，2*2分屏显示平扫期、动脉期、门静脉期、延迟期四个序列，四个序列的总张数均为72张，左上角为平扫期，右上角为动脉期，左下角为门静脉期，右下角为延迟期。

分别在所述四个显示界面中大致上寻找门静脉右支主干所在层面，显示界面停留在门静脉右支主干所在层面，此时的四期显示的图像分别是第36、38、41、43张。

在上述四个显示界面中，以门静脉主干右支的形状为主，以肝脏形状、肝脏与其他脏器的相对位置为辅，四个显示界面层面相互比较进行微调，确保四个序列寻找到的基准层面的门静脉右支主干形态尽可能一致，且周围的组织、肝脏的轮廓也尽可能保持一致，即在人体纵轴上的偏差最小，分别记录平扫期、动脉期、门静脉期、延迟期的基准层面为35、37、40、43。

取35、37、40、43中最小的值为35与最大值为43。

35、37、40、43与最小值35的差值分别为0、2、5、8，并分别删除对应期相前0、2、5、8张图片。

35、37、40、43与最大值43的差值分别为8、6、3、0，并分别删除对应期相后8、6、3、0张图片。

经删减后的平扫期、动脉期、门静脉期、延迟期图像总张数相同为64张且基准层面所在图像在四个期中的序号相同为第35张，因此达到配准目的。

筛选符合条件的配准后的病例图像，使用ITK-SNAP 3.8打开所述病例的CT/MRI影像文件夹，导入平扫期、动脉期、门脉期、平衡期四个序列，四期同时在显示界面上展示；

分别在所述四个显示界面中，调整至肝脏出现的第一个层面，按照肝脏出现的第一个层面到最后一个层面的顺序，四个显示界面同步，逐层浏览；

在所述四个显示界面中同步逐层对比肝脏灰度的变化，判断出感兴趣区域ROI；

初始标注：用带有A颜色的画笔，在四期中的任何一期图像中，调整至标注模式，将鼠标移动到感兴趣区域ROI边缘外1mm内，在感兴趣区域ROI边缘任一点钟方向双击鼠标左键形成一个起始标注点，沿起始标注点3mm的感兴趣区域ROI边缘再次标注点，则相邻的两点自动连线，依据此方法连续标注，最后一个标注点和起始标注点重合，在感兴趣区域ROI边缘1mm内完整的勾画出一个多边形的类球形,其他三期图像中同步联动出现标注框；

调整标注：分别在其他三期标注框中，用鼠标点击标注点，将其它时期在感兴趣区域ROI内的点以离心的方向移动至感兴趣区域ROI外边缘1mm内，该期超过感兴趣区域ROI外1mm的标注点不做调整；

S6:重复S4、S5的标注方法，完成一个感兴趣区域ROI内所有病灶层面的标注；

S7:保存带有标签信息的NII格式标注图像，并以住院号命名。

本发明通过人工对目标区域的精确标注，得到标注后的CT/MRI多期增强扫描的图像，最大化的利用标注图像的有限资源用于深度学习。

本发明已由上述相关实施例和附图加以描述，然而上述实施例仅为实施本发明的范例。必须指出的是，已揭露的实施例并未限制本发明的范围。相反地，包括于权利要求的精神及范围的修改及均等设置均包括于本发明的范围内。