基于数据增强的动脉瘤风险评估的装置和存储介质

技术领域

本申请涉及医学图像处理领域，更具体地，涉及一种基于数据增强的动脉瘤风险评估的装置和存储介质。

背景技术

动脉瘤是多种异常因素作用局部血管所致的动脉壁的瘤样突起，是常见的脑血管病之一。其最严重的并发症是破裂，致死率及致残率极高。因此，正确检出动脉瘤，并评估其破裂风险，对预防动脉瘤破裂，指导动脉瘤的治疗意义重大。通过CTA图像、MRA图像或DSA图像可以确诊动脉瘤，能明确瘤体的大小、部位、与周围组织的关系、动脉壁的钙化、瘤内血栓以及动脉瘤破裂后形成的血肿，为进一步手术提供较为精确的信息。

深度神经网络作为一种基于人工智能的学习模型，在图像识别、特征学习方面具有较强的能力，可通过训练学习数据的内在规律，训练好的深度神经网络可以成功应用于新的数据。但深度神经网络的良好能力建立在大量训练数据的基础上，而现实中动脉瘤数据有限，不足以支持深度神经网络的学习训练，直接影响了使用深度神经网络进行动脉瘤的分割，以及后续基于动脉瘤分割进行风险评估时的效果。

发明内容

提供了本申请以解决现有技术中存在的上述问题。

需要一种基于数据增强的动脉瘤风险评估的装置和存储介质，能够采用生成对抗神经网络或者手动方式，利用少量动脉瘤数据，将不包含动脉瘤的血管分割图像进行数据增强，生成大量的包含动脉瘤的合成图像数据，使用大量的包含动脉瘤的合成图像数据去训练分割神经网络，最终基于训练好的分割神经网络对患者的血管图像进行动脉瘤的分割，并计算所述动脉瘤的参数和进行风险评估。

根据本申请的第一方案，提供一种基于数据增强的动脉瘤风险评估的装置，该装置包括处理器，其配置为获取不包含动脉瘤的第一血管分割图像和包含动脉瘤的第二血管分割图像；利用所述第二血管分割图像，采用第一生成对抗神经网络或者手动方式，对所述第一血管分割图像进行数据增强，生成包含动脉瘤的第三血管分割图像；获取待检测的包含动脉瘤的血管分割图像，其中包含血管的分割结果；利用将所述第三血管分割图像作为训练样本训练好的第一分割神经网络，对待检测的包含动脉瘤的血管分割图像进行动脉瘤的分割；基于所述动脉瘤的分割结果和所述血管的分割结果计算所述动脉瘤的参数，并根据所述动脉瘤的参数进行风险评估。

根据本申请的第二方案，提供一种基于数据增强的动脉瘤风险评估的装置，该装置包括处理器，其配置为获取不包含动脉瘤的第一血管分割图像和包含动脉瘤的第二血管分割图像；利用所述第二血管分割图像，采用第一生成对抗神经网络或者手动方式，对所述第一血管分割图像进行数据增强，生成包含动脉瘤的第三血管分割图像；获取包含动脉瘤的第一血管造影图像；基于所述第三血管分割图像，采用第二生成对抗神经网络，利用所述第一血管造影图像来生成包含动脉瘤的第二血管造影图像；获取待检测的包含动脉瘤的血管造影图像和对应的血管的分割结果；利用将所述第二血管造影图像作为训练样本训练好的第二分割神经网络模型，对待检测的包含动脉瘤的血管造影图像进行动脉瘤的分割；基于所述动脉瘤的分割结果和所述血管的分割结果计算所述动脉瘤的参数，并根据所述动脉瘤的参数进行风险评估。

根据本申请的第三方案，提供一种非暂时性计算机可读存储介质，其上存储有可执行指令，所述可执行指令由处理器执行时实现基于数据增强的动脉瘤风险评估的方法，包括获取不包含动脉瘤的第一血管分割图像和包含动脉瘤的第二血管分割图像；利用所述第二血管分割图像，采用第一生成对抗神经网络或者手动方式，对所述第一血管分割图像进行数据增强，生成包含动脉瘤的第三血管分割图像；获取待检测的包含动脉瘤的血管分割图像，其中包含血管的分割结果；利用基于所述第三血管分割图像作为训练样本训练好的第一分割神经网络，对待检测的包含动脉瘤的血管分割图像进行动脉瘤的分割；基于所述动脉瘤的分割结果和所述血管的分割结果计算所述动脉瘤的参数，并根据所述动脉瘤的参数进行风险评估。所述可执行指令由处理器执行时还可以实现基于数据增强的动脉瘤风险评估的另一方法，包括获取不包含动脉瘤的第一血管分割图像和包含动脉瘤的第二血管分割图像；利用所述第二血管分割图像，采用第一生成对抗神经网络或者手动方式，对所述第一血管分割图像进行数据增强，生成包含动脉瘤的第三血管分割图像；获取包含动脉瘤的第一血管造影图像；基于所述第三血管分割图像，采用第二生成对抗神经网络，利用所述第一血管造影图像来生成包含动脉瘤的第二血管造影图像；获取待检测的包含动脉瘤的血管造影图像和对应的血管的分割结果；利用基于所述第二血管造影图像作为训练样本训练好的第二分割神经网络模型，对待检测的包含动脉瘤的血管造影图像进行动脉瘤的分割；基于所述动脉瘤的分割结果和所述血管的分割结果计算所述动脉瘤的参数，并根据所述动脉瘤的参数进行风险评估。

利用根据本申请各个实施例的基于数据增强的动脉瘤风险评估的装置和存储介质，其能利用少量动脉瘤数据，将不包含动脉瘤的血管分割图像进行数据增强，生成大量的包含动脉瘤的合成图像数据，基于合成图像数据训练分割神经网络，利用训练好的分割神经网络实现对包含动脉瘤的血管分割图像或血管造影图像中动脉瘤的准确分割，并在动脉瘤分割的基础上基于动脉瘤的参数进行风险评估，能够提高动脉瘤分割和风险评估的准确性和可靠度。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。

图1（a）示出根据本申请实施例1的基于数据增强的动脉瘤风险评估的方法的流程图；

图1（b）示出根据本申请实施例1的采用生成对抗神经网络方式进行数据增强的方法的流程图；

图1（c）示出根据本申请实施例1的第一血管分割图像；

图1（d）示出根据本申请实施例1的包含动脉瘤的第三血管分割图像；

图2（a）示出根据本申请实施例2的基于数据增强的动脉瘤风险评估的方法的流程图；

图2（b）示出根据本申请实施例2的采用手动方式进行数据增强的方法的流程图；

图3（a）示出根据本申请实施例3的基于数据增强的动脉瘤风险评估的方法的流程图；

图3（b）示出根据本申请实施例3的采用生成对抗神经网络方式进行数据增强的方法的流程图；

图4（a）示出根据本申请实施例4的基于数据增强的动脉瘤风险评估的方法的流程图；

图4（b）示出根据本申请实施例4的采用手动方式进行数据增强的方法的流程图；

图5示出根据本申请实施例1的采用生成对抗网络方式合成动脉瘤分割数据的流程图；

图6示出根据本申请实施例1的采用生成对抗网络方式合成动脉瘤造影数据的流程图；

图7示出根据本申请实施例1的动脉瘤风险评分界面；

图8示出根据本申请实施例1的3年/5年动脉瘤生长风险图；以及

图9示出根据本申请实施例1的基于数据增强的动脉瘤风险评估的装置的框图。

具体实施方式

为使本领域技术人员更好的理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述，但不作为对本申请的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。

实施例1

图1（a）示出根据本申请实施例1的基于数据增强的动脉瘤风险评估的方法的流程图。图1（b）示出根据本申请实施例1的采用生成对抗神经网络方式进行数据增强的方法的流程图。如图1（a）和图1（b）所示，一种基于数据增强的动脉瘤风险评估的方法包括：

在步骤S11中，获取不包含动脉瘤的第一血管分割（分割也称为mask）图像和包含动脉瘤的第二血管分割图像，上述第一血管分割图像例如可以是如图1（b）中的21、图1（c）（根据本申请实施例1的第一血管分割图像）中的21、图2（b）中的21、图3（b）中的21、图4（b）中的21所示的类似的图像，所述第一血管分割图像不包含动脉瘤。在一些实施例中，所述第一血管分割图像为CTA（Computed Tomography Angiography，CT血管造影）图像、MRA（Magnetic Resonance Angiography，磁共振血管成像）图像或者DSA（DigitalSubtraction Angiography，数字减影血管造影）图像中的至少一种，经过自动、半自动或手动分割后的图像。在本实施例中，以CTA图像经过自动分割后的图像作为示例。

在步骤S12中，利用包含动脉瘤的第二血管分割图像，采用第一生成对抗神经网络，对所述第一血管分割图像进行数据增强，生成包含动脉瘤（如图1（d）根据本申请实施例1的包含动脉瘤的第三血管分割图像中的222所示）的第三血管分割图像（如图1（b）中的22、图1（d）中的22、图2（b）中的22、图3（b）中的22、图4（b）中的22等所示）。

下面结合图5对上述步骤S12的一种具体实现进行详细描述。图5示出根据本申请实施例1的采用生成对抗网络方式合成动脉瘤分割数据的流程图。在本实施例中，所述第一生成对抗神经网络例如可以包括第一生成器501和第一判别器502，如图5所示，步骤S12具体可以包括：将所述第一血管分割图像（如图5中的21所示）作为所述第一生成器501的输入，将所述第一生成器501输出的第一生成血管分割图像（如图5中的23所示）与所述第二血管分割图像（如图5中的24所示）一同输入所述第一判别器502进行判别，直至所述第一判别器502输出的判别结果大于或者等于第一阈值为止，并将该第一生成血管分割图像作为第三血管分割图像。步骤S12也可以描述为将无动脉瘤的第一血管分割图像作为第一生成对抗神经网络中的第一生成器501的输入，输出“假”的有动脉瘤的第一生成血管分割图像；“假”的有动脉瘤的第一生成血管分割图像与真实的有动脉瘤的第二血管分割图像一起送入第一判别器502进行判别，如此循环往复，直到第一生成器501输出的“假动脉瘤分割图像”达到以假乱真，第一判别器502不能正确识别其与真实的第二血管分割图像为止，即可将该第一生成血管分割图像作为第三血管分割图像。至此，通过第一生成器501和第一判别器502能够将所述不包含动脉瘤的第一血管分割图像进行数据增强，得到包含动脉瘤的第三血管分割图像，生成的包含动脉瘤的第三血管分割图像和真实的包含有动脉瘤的血管分割图像一样，均能作为训练样本，用于训练第一分割神经网络。通过这种方法能够利用少量的真实的包含动脉瘤血管分割图像，以基于神经网络的生成方式，高效地生成大量逼真的包含动脉瘤的血管分割合成图像数据。

在步骤S13中，首先获取待检测的包含动脉瘤的血管分割图像，其中包含血管的分割结果，然后利用基于所述第三血管分割图像作为训练样本训练好的第一分割神经网络，对待检测的包含动脉瘤的血管分割图像进行动脉瘤的分割。

在本实施例中，所述第一分割神经网络为点云神经网络，例如PointNet、PointNet++等，不限于此，也可以是其他可以对点云进行处理的神经网络。在一些实施例中，点云可以是平面或空间中包含坐标的数据的集合，由于第三血管分割图像和待检测的包含动脉瘤的血管分割图像中所包含的是血管和动脉瘤的填实的图像信息，因此，在血管分割的图像信息中可以提取出血管和动脉瘤的坐标信息的情况下，可以应用点云神经网络，实现对待检测的包含动脉瘤的血管分割图像中的动脉瘤的分割。

在本实施例中，待检测的包含动脉瘤的血管分割图像为血管分割图像，可以直接从血管分割中分割出动脉瘤。所示待检测的包含动脉瘤的血管分割图像为CTA图像、MRA图像或者DSA图像中的至少一种，经过自动、半自动或手动分割后的图像。本实施例，以CTA图像，经过自动分割后的图像作为示例。

在步骤S14中，基于所述动脉瘤的分割结果和待检测的血管分割图像中所包含的血管的分割结果计算所述动脉瘤的参数，并根据所述动脉瘤的参数进行风险评估。在一些实施例中，结合血管的分割结果所计算的动脉瘤的参数包括但不限于瘤位置、瘤体积、瘤颈宽度、瘤最大径、瘤宽度、瘤高度、瘤纵横比和瘤入射角度中的至少一种。所述瘤位置例如包括颈内/大脑前/前交通动脉、大脑中动脉、后交通/后循环动脉等，不同位置的动脉瘤破裂和发展的风险也不相同。所述瘤体积为动脉瘤的三维大小。所述瘤颈宽度为贯穿瘤颈两条边缘线的长度。所述瘤最大径为瘤顶一点到瘤颈中点最大距离。所述瘤宽度为垂直于动脉瘤最大径的最大径或瘤内垂直于最大径的最大长度。所述瘤高度为瘤顶到瘤颈平面最大的垂直距离。所述瘤纵横比为瘤高度与瘤颈宽度之比。所述瘤入射角度为载瘤动脉的中轴线与动脉瘤主轴线(瘤颈中点与动脉瘤顶最远点的连线)之间的夹角。所述瘤位置、瘤体积、瘤颈宽度、瘤最大径、瘤宽度、瘤高度、瘤纵横比和瘤入射角度均为反映动脉瘤特征的指标，因此作为对动脉瘤进行风险评估的依据。具体的风险评估方法将在下文中结合图7和图8进行说明。

本实施例基于生成对抗神经网络，利用少量真实的包含动脉瘤的第二血管分割图像，就能将不包含动脉瘤的血管分割图像进行数据增强，生成大量的包含动脉瘤的血管分割图像，作为训练样本，去训练第一分割神经网络，解决了现实中动脉瘤数据不足导致无法使用深度学习模型或训练后的模型准确度不够的问题；然后基于合成的动脉瘤数据（包含动脉瘤的血管分割图像），使用第一分割神经网络实现动脉瘤自动检测分割，并计算动脉瘤参数以进行动脉瘤破裂等发展风险的评估。本申请的基于神经网络的动脉瘤风险评估的方法可以实现动脉瘤分割和风险评估等诊断流程的自动化，提高了医生的诊断效率和准确性。

在本实施例中，根据所述动脉瘤的参数进行风险评估具体包括：根据所述动脉瘤的参数、患者的病史、患者的生理信息等确定动脉瘤的风险分值（如图7所示），基于所述风险分值判定所述患者的动脉瘤的破裂等发展风险（如图8所示）。结合图7所示的ELAPSS评分标准，基于所述动脉瘤的多个参数以及不同患者的实际身体状态，其中，动脉瘤的参数包括但不限于瘤位置、瘤体积、瘤颈宽度、瘤最大径、瘤宽度、瘤高度、瘤纵横比和瘤入射角度中的至少一种，在图7所示的ELAPSS评分标准中，还考虑了动脉瘤的形状是否规则等，患者的病史，例如是否有既往SAH（Subarachnoid Hemorrhage，蛛网膜下腔出血）等，以及诸如患者的年龄和种族（或生活的地域）等患者的生理信息。参考上述信息能够对患者的动脉瘤破裂和其他风险进行综合考量和量化分析，所得到的评估结果更准确可信。

在图7中进行风险评分时所考虑的动脉瘤的参数包括：动脉瘤位置、直径和形状。其中动脉瘤位置若在颈内/大脑前、前交通动脉，则对应的分值为0分；若动脉瘤位置若在大脑中动脉，则对应的分值为3分；若动脉瘤位置在后交通/后循环动脉，则对应的分值为5分；若患者有既往SAH，则对应的分值为0分；若患者没有既往SAH，则对应的分值为1分；此外，还根据患者的年龄、种族对应不同的分值。需要说明的是，图7中所展示的并非本实施例的所有动脉瘤的参数。图8则以不同的图示，分别展示了在一定的置信区间下（95%置信区间），当前、3年和5年不同的动脉瘤生长的风险评分和分值的区间，以及属于不同风险评分下的病例数等，图中展示以直观的方式，为医生提供了进行风险判断的参考。

在一些实施例中，所述方法还包括：根据所述动脉瘤的参数判断动脉瘤的位置，基于动脉瘤的位置规划手术路线以供医生参考，也即，动脉瘤的大小形状等参数的计算能够帮助医生进行手术规划，例如，使用什么尺寸的弹簧圈进行填充等等。根据所述动脉瘤的参数判断动脉瘤的位置，基于动脉瘤的位置自动规划手术路线供医生参考，同时医生基于自身经验，对手术路线做出准确的判断。

实施例2

图2（a）示出根据本申请实施例2的基于数据增强的动脉瘤风险评估的方法的流程图。图2（b）示出根据本申请实施例2的采用手动方式进行数据增强的方法的流程图。如图2（a）和图2（b）所示，一种基于数据增强的动脉瘤风险评估的方法的步骤S21、步骤S23、步骤S24分别和实施例1中的S11、步骤S13、步骤S14均相同，在此不再重复说明。

实施例2与实施例1的区别在于：与步骤S12对应的步骤S22，利用包含动脉瘤的第二血管分割图像，采用手动方式对所述第一血管分割图像进行数据增强，生成包含动脉瘤的第三血管分割图像；其具体为：由用户手动在所述第一血管分割图像中标识出动脉瘤，以得到包含动脉瘤的第三血管分割图像。其中，用于标识或勾画动脉瘤的方式可以包括人工使用ITK-SNAP等工具，使用画笔工具在无动脉瘤的血管分割图像中的合适位置画出动脉瘤分割，得到有动脉瘤的血管分割图像。手动生成的与第一生成对抗神经网络生成的有动脉瘤的血管分割图像在效果方面没有大的区别，不会影响后续功能，但手动生成需要医生等使用者具有一定的相关经验，结合其自身经验，在恰当的位置增加动脉瘤分割，从而生成含有动脉瘤，并且多幅图像之间具有一定的差别，从而使所生成的图像数据集具有足够多样性的血管分割图像。

本实施例通过使用专业的画笔工具等在无动脉瘤的血管分割图像中的合适位置标识或勾画出动脉瘤分割，得到有动脉瘤的血管分割图像，实现数据增强，生成大量的包含动脉瘤的血管分割图像，作为训练样本，去训练第一分割神经网络，解决了现实中动脉瘤数据不足导致无法使用深度学习或模型准确度不够的问题；然后基于合成的动脉瘤数据（包含动脉瘤的血管分割图像），使用第一分割神经网络实现动脉瘤自动检测分割，并计算动脉瘤参数以进行破裂等发展风险评估。根据本申请实施例的基于神经网络的动脉瘤风险评估的方法能够在结合医生经验的同时，提高动脉瘤分割与诊断流程的自动化程度，可以提高医生诊断的准确度和诊断效率。

实施例3

图3（a）示出根据本申请实施例3的基于数据增强的动脉瘤风险评估的方法的流程图。图3（b）示出根据本申请实施例3的采用生成对抗神经网络方式进行数据增强的方法的流程图。如图3（a）和图3（b）所示，一种基于数据增强的动脉瘤风险评估的方法，包括：

在步骤S31中，获取不包含动脉瘤的第一血管分割图像和包含动脉瘤的第二血管分割图像。；此步骤和实施例1中的步骤S11基本相同，在此不再重复说明。

在步骤S32中，利用上述第二血管分割图像，采用第一生成对抗神经网络，对所述第一血管分割图像进行数据增强，生成包含动脉瘤的第三血管分割图像；此步骤和实施例1中的步骤S12基本相同，在此不再重复说明。

在步骤S33中，首先获取包含动脉瘤的第一血管造影图像，然后基于所述第三血管分割图像，采用第二生成对抗神经网络，利用上述第一血管造影图像来生成包含动脉瘤的第二血管造影图像。

在本实施例中，第二生成对抗神经网络包括第二生成器601和第二判别器602，如图6所示，步骤S33具体包括：将所述第三血管分割图像（如图6中的22）作为所述第二生成器601的输入，将所述第二生成器601输出的第二生成血管造影图像（如图6中的25）与所述第一血管造影图像（如图6中的26所示）一同输入所述第二判别器602进行判别，直至所述第二判别器602输出的判别结果大于或者等于第二阈值为止，并将该第二生成血管造影图像作为第二血管造影图像。步骤S33也可以描述为将有动脉瘤的第三血管分割图像作为第二生成对抗网络中的第二生成器601的输入，输出“假”的有动脉瘤的第二生成血管造影图像；“假”的有动脉瘤的第二生成血管造影图像与真实的有动脉瘤的第一血管造影图像一起送入第二判别器602进行判别，如此循环往复，直到第二生成器601输出的“假动脉瘤血管造影图像”达到以假乱真，第二判别器602不能正确识别其与真实的第一血管造影图像为止，即可将第二生成血管造影图像作为第二血管造影图像。至此，通过第二生成器601和第二判别器602能够将所述有动脉瘤的第三血管分割图像进行数据增强，得到有动脉瘤的第二血管造影图像，生成的包含动脉瘤的第二血管造影图像和真实的包含有动脉瘤的血管造影图像一样，均能作为训练样本，去训练第二分割神经网络。且通过这种方法能够利用少量的真实的包含动脉瘤血管分割图像和少量的真实的有动脉瘤的第一血管造影图像，快速高效地生成大量的动脉瘤合成数据，且基于神经网络，生成效率高，能够快速高效地生成动脉瘤合成数据。

在步骤S34中，首先获取待检测的包含动脉瘤的血管造影图像和对应的血管的分割结果，然后利用将所述第二血管造影图像作为训练样本训练好的第二分割神经网络模型，对待检测的包含动脉瘤的血管造影图像进行动脉瘤的分割。所述第二血管造影图像和真实的包含有动脉瘤的血管造影图像一样，均能作为训练样本。

在本实施例中，第二分割神经网络模型可以为3D UNet神经网络、3D VNet神经网络等分割型神经网络，在此不做具体限定。

在步骤S35中，基于所述动脉瘤的分割结果和待检测的包含动脉瘤的血管造影图像所对应的血管的分割结果，计算所述动脉瘤的参数，并根据所述动脉瘤的参数进行风险评估。此步骤和实施例1中的步骤S14相同，在此不再重复说明。

本实施例基于生成对抗神经网络（第一生成对抗神经网络），在利用少量真实的包含动脉瘤的血管图像生成大量的包含动脉瘤的血管分割图像的基础上，再次基于生成对抗神经网络（第二生成对抗神经网络），利用血管造影图像对生成的包含动脉瘤的血管分割图像进行增强，并将增强后的大量包含动脉瘤的血管造影图像作为训练样本，去训练适用于血管造影图像的分割神经网络，解决了现实中动脉瘤数据不足，特别是包含动脉瘤的血管造影图像数量不足，所导致的无法使用深度学习模型或模型准确度不够的问题。使用训练好的分割神经网络，能够实现对血管造影图像中动脉瘤的自动检测和准确分割，在此基础上计算动脉瘤参数，从而完成动脉瘤破裂等发展风险的评估。因此，本申请的基于神经网络的动脉瘤风险评估的方法不仅能够应用于血管分割图像，还能够用于血管造影图像中的动脉瘤的自动、准确分割，并为医生的高效、准确诊断和风险评估提供可靠的数据支持。

实施例4

图4（a）示出根据本申请实施例4的基于数据增强的动脉瘤风险评估的方法的流程图。图4（b）示出根据本申请实施例4的采用手动方式进行数据增强的方法的流程图。如图4（a）和图4（b）所示，一种基于数据增强的动脉瘤风险评估的方法的步骤S41、步骤S43、步骤S44、步骤S45分别和实施例3中的S31、步骤S33、步骤S34、步骤S35基本相同，在此不再重复说明。

实施例4与实施例3的区别在于：在与步骤S32对应的步骤S42中，利用包含动脉瘤的第二血管分割图像，采用手动方式对所述第一血管分割图像进行数据增强，生成包含动脉瘤的第三血管分割图像；其具体为：由用户手动在所述第一血管分割图像中标识或勾画出动脉瘤，以得到包含动脉瘤的第三血管分割图像。而实施例4的步骤S42和实施例1的步骤S12基本相同，在此不再重复说明。

本实施例首先使用专业的画笔工具等在无动脉瘤的血管分割图像中的合适位置标识或勾画出动脉瘤分割，得到有动脉瘤的血管分割图像，初步实现数据增强，再基于生成对抗神经网络（第二生成对抗神经网络），再次进行数据增强，基于有动脉瘤的血管分割图像生成大量的有动脉瘤的血管造影图像，解决了现实中动脉瘤数据不足，特别是包含动脉瘤的血管造影图像数量不足，所导致的无法使用深度学习模型或模型准确度不够的问题。使用训练好的分割神经网络，能够实现对血管造影图像中动脉瘤的自动检测和准确分割，在此基础上，结合待检测血管造影图像对应的血管分割，计算出动脉瘤参数，从而完成动脉瘤破裂等的风险评估。因此，本申请的基于神经网络的动脉瘤风险评估的方法，能够结合医生的相关经验，对动脉瘤数据进行扩增，不仅能够适用于血管分割图像，还能够用于血管造影图像中的动脉瘤的自动、准确分割，从而为医生的高效、准确诊断和风险评估提供可靠的数据支持。

根据本申请的实施例还包括一种基于数据增强的动脉瘤风险评估的装置。图9示出根据本申请实施例1的基于数据增强的动脉瘤风险评估装置的框图。如图9所示的基于数据增强的动脉瘤风险评估装置900至少包括处理器，例如可以包括图像处理器901，图像处理器901可以配置为执行本申请上述各个实施例所述的基于数据增强的动脉瘤风险评估的方法的步骤。基于数据增强的动脉瘤风险评估装置900还可以包括接口，例如网络接口907。借助于网络接口907，动脉瘤风险评估装置可以连接到网络（未示出），例如但不限于医院中的局域网或互联网。网络可以将动脉瘤风险评估装置与诸如图像采集装置（未示出）的外部装置、医学图像数据库908、图像数据存储装置909连接。图像采集装置可以是能够获取图像的任何装置，例如CTA成像装置、CAG成像装置、DSA成像设备、MRI成像设备、CT成像设备、PET成像设备、超声设备、荧光透视设备、SPECT成像设备或用于获得患者的医学图像的其他医学成像设备。例如，成像装置可以是肺部CT成像装置等。

在一些实施例中，基于数据增强的动脉瘤风险评估装置900可以是专用智能装置或通用智能装置，例如，为图像数据采集和图像数据处理任务定制的计算机，或者置于云端的服务器。基于数据增强的动脉瘤风险评估装置900还可以被集成到图像采集装置中。

图像处理器901可以是包括一个或多个通用处理设备（诸如微处理器、中央处理单元（CPU）、图形处理单元（GPU）等）的处理设备。更具体地说，图像处理器901可以是复杂指令集计算（CISC）微处理器、精简指令集计算（RISC）微处理器、超长指令字（VLIW）微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。图像处理器901也可以是一个或多个专用处理设备，例如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、数字信号处理器（DSP）、片上系统（SoC）等等。如本领域技术人员将理解的，在一些实施例中，图像处理器901可以是专用处理器，而不是通用处理器。图像处理器901可以包括一个或多个已知处理设备，诸如由英特尔公司制造的Pentium TM、Core TM、Xeon TM或Itanium TM系列的微处理器，由AMD公司制造的Turion TM、Athlon TM、Sempron TM、Opteron TM、FX™、Phenom™系列的微处理器或太阳微系统（Sun Microsystems）制造的各种处理器的任一种。图像处理器901还可以包括图形处理单元，诸如来自Nvidia公司制造的GeForce®、Quadro®、Tesla®系列的GPU，由英特尔公司制造的GMA、Iris TM系列的GPU或者由AMD 公司制造的Radeon TM系列GPU。图像处理器901还可以包括加速的处理单元，诸如AMD公司制造的桌面A-4（6,8）系列，英特尔公司制造的Xeon Phi TM系列。所公开的实施例不限于任何类型的处理器或处理器电路，这些处理器或处理器电路以其他方式被配置为满足如下计算需求：识别、分析、计算、维护和/或提供大量成像数据或操纵此类成像数据以与所公开的实施例一致。另外，术语“处理器”或“图像处理器”可以包括多于一个处理器，例如，多核设计或多个处理器，所述多个处理器中的每个处理器具有多核设计。

动脉瘤风险评估装置900还可以包括存储器904，以及输入/输出902和图像显示器903等。图像处理器901可以执行存储在存储器904中的计算机程序指令的序列，以执行本文公开的各种操作、过程、方法。

图像处理器901可以通信地耦合到存储器904并且被配置为执行存储在其中的计算机可执行指令。存储器904可以包括只读存储器（ROM）、闪存、随机存取存储器（RAM）、诸如同步DRAM（SDRAM）或Rambus DRAM的动态随机存取存储器（DRAM）、静态存储器（例如，闪存、静态随机存取存储器）等，其上以任何格式存储计算机可执行指令。在一些实施例中，存储器904可以存储一个或多个图像处理程序905的计算机可执行指令。计算机程序指令可以被图像处理器901访问，从ROM或者任何其他合适的存储位置读取，并加载到RAM中供图像处理器901执行。例如，存储器904可以存储一个或多个软件应用程序。存储在存储器904中的软件应用程序可以包括例如用于通用计算机系统的操作系统（未示出）以及软控制设备。此外，存储器904可以存储整个软件应用程序或仅存储软件应用程序的一部分（例如图像处理程序905）以能够由图像处理器901执行。另外，存储器904可以存储多个软件模块，用于实现与本申请一致的动脉瘤风险评估方法。

此外，存储器904可以存储在执行计算机程序时生成/缓存的数据，例如医学图像数据906，其包括从图像采集装置、医学图像数据库908、图像数据存储装置909等发送的医学图像。图像处理器901可以执行图像处理程序905以实现用于本申请的动脉瘤风险评估方法。在一些实施例中，当执行图像处理程序905时，图像处理器901可以将数据增强过程中的数据以及第一生成对抗神经网络、第二生成对抗神经网络、第一分割神经网络、第二分割神经网络传输到存储器904，以便将其保留作为医学图像数据906。可选地，存储器904可以与医学图像数据库908通信以从中获得图像，以供其他医学动脉瘤风险评估装置视需要访问、获得和利用。

输入/输出902可以被配置为允许动脉瘤风险评估装置接收和/或发送数据。输入/输出902可以包括允许动脉瘤风险评估装置与用户或其他机器和设备通信的一个或多个数字和/或模拟通信设备。例如，输入/输出902可以包括允许用户提供输入的键盘和鼠标。

网络接口907可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤的高速数据传输适配器、USB 9.0、闪电、无线网络适配器如WiFi适配器、电信（9G、4G / LTE等）适配器。装置900可以通过网络接口连接到网络。网络可以提供局域网（LAN）、无线网络、云计算环境（例如，作为服务的软件、作为服务的平台、作为服务的基础设施等）、客户端-服务器、广域网（WAN）等的功能。

除了显示医学图像之外，图像显示器903还可以显示其他信息。图像显示器903可以是LCD、CRT或LED显示器等。

这里描述了各种操作或功能，其可以被实现为软件代码或指令或被定义为软件代码或指令。这样的内容可以是可直接执行（“对象”或“可执行”形式）的源代码或差异代码（“增量”或“块”代码）。软件代码或指令可以存储在计算机可读存储介质中，并且当被执行时，可以使机器执行所描述的功能或操作，并且包括用于以机器可访问的形式存储信息的任何机构（例如，计算设备，电子系统等），诸如可记录或不可记录介质（例如，只读存储器（ROM）、随机存取存储器（RAM）、磁盘存储介质、光存储介质、闪存设备等）。

这里描述的示例性方法可以至少部分地是机器或计算机实现的。一些示例可以包括用指令编码的计算机可读介质或机器可读介质，所述指令可操作以配置电子设备执行如以上示例中所述的方法。这种方法的实现可以包括软件代码，诸如微代码、汇编语言代码、更高级的语言代码等。各种程序或程序模块可以使用各种软件编程技术来创建。例如，可以使用Java、Python、C、C++、汇编语言或任何已知的编程语言来设计程序段或程序模块。一个或多个这样的软件部分或模块可以被集成到计算机系统和/或计算机可读介质中。这种软件代码可以包括用于执行各种方法的计算机可读指令。软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在一个示例中，软件代码可以诸如在执行期间或其他时间有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上。这些有形的计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘（例如，光盘和数字视频盘）、磁带盒、存储卡或棒、随机存取存储器（RAM），只读存储器（ROM）等。

根据本申请的实施例还提供一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行根据本申请各个实施例的基于数据增强的动脉瘤风险评估方法的步骤。在一些实施例中，例如可以获取不包含动脉瘤的第一血管分割图像和包含动脉瘤的第二血管分割图像；利用所述第二血管分割图像，采用第一生成对抗神经网络或者手动方式，对所述第一血管分割图像进行数据增强，生成包含动脉瘤的第三血管分割图像；获取待检测的包含动脉瘤的血管分割图像，其中包含血管的分割结果；利用基于所述第三血管分割图像作为训练样本训练好的第一分割神经网络，对待检测的包含动脉瘤的血管分割图像进行动脉瘤的分割；基于所述动脉瘤的分割结果和所述血管的分割结果计算所述动脉瘤的参数，并根据所述动脉瘤的参数进行风险评估。

在另外一些实施例中，还可以获取不包含动脉瘤的第一血管分割图像和包含动脉瘤的第二血管分割图像；利用所述第二血管分割图像，采用第一生成对抗神经网络或者手动方式，对所述第一血管分割图像进行数据增强，生成包含动脉瘤的第三血管分割图像；获取包含动脉瘤的第一血管造影图像；基于所述第三血管分割图像，采用第二生成对抗神经网络，利用所述第一血管造影图像来生成包含动脉瘤的第二血管造影图像；获取待检测的包含动脉瘤的血管造影图像和对应的血管的分割结果；利用基于所述第二血管造影图像作为训练样本训练好的第二分割神经网络模型，对待检测的包含动脉瘤的血管造影图像进行动脉瘤的分割；基于所述动脉瘤的分割结果和所述血管的分割结果计算所述动脉瘤的参数，并根据所述动脉瘤的参数进行风险评估。

此外，尽管在此描述了说明性实施例，但是范围包括具有基于本申请的等效要素、修改、省略、组合（例如，跨各种实施例的方案的组合）、调整或变更的任何和所有实施例。权利要求中的要素将基于权利要求中使用的语言进行宽泛地解释，而不限于本说明书中或在本申请的存续期间描述的示例。此外，所公开的方法的步骤可以以任何方式进行修改，包括通过重新排序步骤或插入或删除步骤。因此，意图仅仅将描述视为例子，真正的范围由以下权利要求及其全部等同范围表示。

以上描述旨在是说明性的而非限制性的。例如，上述示例（或其一个或多个方面）可以彼此组合使用。在阅读以上描述之后，例如本领域普通技术人员可以使用其他实施例。而且，在以上详细描述中，可以将各种特征组合在一起以简化本申请。这不应被解释为意图未请求保护的公开特征对于任何权利要求是必不可少的。因此，以下权利要求作为示例或实施例结合到具体实施方式中，其中每个权利要求自身作为单独的实施例，并且可以预期这些实施例可以以各种组合或置换彼此组合。应参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定本发明的范围。