掌桥专利:专业的专利平台
掌桥专利
首页

图像分析方法及相关装置、电子设备、存储介质

文献发布时间:2023-06-19 11:35:49


图像分析方法及相关装置、电子设备、存储介质

技术领域

本申请涉及图像处理技术领域,特别是涉及一种图像分析方法及相关装置、电子设备、存储介质。

背景技术

CT(Computed Tomography,计算机断层扫描)和MRI(Magnetic ResonanceImaging,核磁共振扫描)等医学图像在临床具有重要意义。例如,通过分析医学图像中目标对象(如,肝脏等脏器)表面形态,能够辅助医生进行临床应用。

目前,表面形态的分析往往需要医生手动完成,且依赖于特定模态(如,钆剂增强的肝胆期)的医学图像,故图像分析的效率和普适性均较低。有鉴于此,如何提高图像分析的效率和普适性成为亟待解决的问题。

发明内容

本申请提供一种图像分析方法及相关装置、电子设备、存储介质。

本申请第一方面提供了一种图像分析方法,包括:获取包含目标对象的医学图像;对医学图像中目标对象进行边缘提取,得到至少一个对象边缘;基于至少一个对象边缘,得到目标对象的表面形态。

因此,通过获取包含目标对象的医学图像,并对医学图像中目标对象进行边缘提取,从而得到至少一个对象边缘,从而基于至少一个对象边缘,得到目标对象的表面形态。故此,能够不依靠人工进行图像分析,且由于通过提取医学图像中目标对象的对象边缘,得到目标对象的表面形态,故也无需依赖于特定模态的医学图像,因此能够提高图像分析的效率和普适性。

其中,基于至少一个对象边缘,得到目标对象的表面形态,包括以下任一者:提取至少一个对象边缘的边缘特征,并基于预设分类器,对边缘特征进行第一预测,得到目标对象的表面形态;基于预设神经网络,对至少一个对象边缘进行第二预测,得到目标对象的表面形态。

因此,通过提取至少一个对象边缘的边缘特征,并基于预设分类器,对边缘特征进行第一预测,得到目标对象的表明平整情况,或通过预设神经网络,对至少一个对象边缘进行第二预测,得到目标对象的表面形态,从而能够基于预设分类器或预设神经网络进行表面形态的预测,能够有利于提高预测效率和准确性。

其中,边缘特征包括以下至少一种:对象边缘的平均曲率、对象边缘与对象边缘平滑处理后的平滑边缘之间的偏移量。

因此,将边缘特征设置为包括以下至少一者:对象边缘的平均曲率、对象边缘与对象边缘平滑处理后的平滑边缘之间的偏移量,能够有利于降低预设分类器所需处理的信息量,从而能够有利于降低计算负荷。

其中,在边缘特征包括对象边缘的平均曲率的情况下,提取至少一个对象边缘的边缘特征,包括:获取对象边缘若干个位置处的平均曲率;对获取到的平均曲率进行统计,得到平均曲率的第一统计情况;其中,第一统计情况包括以下至少一者:获取到的平均曲率的平均值、获取到的平均曲率的分位值、获取到的平均曲率的极值。

因此,在边缘特征包括对象边缘的平均曲率的情况下,获取对象边缘若干个位置处的平均曲率,从而对获取到的平均曲率进行统计,得到平均曲率的第一统计情况,且第一统计情况包括以下至少一者:获取到的平均曲率的平均值、获取到的平均曲率的分位值、获取到的平均曲率的极值。故此,能够利用平均曲率的第一统计情况来表示目标对象的形态学信息,能够有利于提高边缘特征的表达力。

其中,在边缘特征包括偏移量的情况下,提取至少一个对象边缘的边缘特征,包括:对对象边缘进行平滑处理,得到平滑边缘;获取对象边缘上若干个点与平滑边缘上对应点之间的偏移量;对获取到的偏移量进行统计,得到偏移量的第二统计情况,其中,第二统计情况包括以下至少一者:获取到的偏移量的平均值、获取到的偏移量的分位值、获取到的偏移量的极值。

因此,在边缘特征包括偏移量的情况下,对对象边缘进行平滑处理,得到平滑边缘,从而获取对象边缘上若干个点与平滑边缘上对应点之间的偏移量,并对获取到的偏移量进行统计,得到偏移量的第二统计情况,且第二统计情况包括以下至少一者:获取到的偏移量的平均值、获取到的偏移量的分位值、获取到的偏移量的极值。故此,能够有利于提高目标对象形态学信息的准确性。

其中,医学图像包括在第一方向堆叠的多个二维图像;基于预设神经网络,对至少一个对象边缘进行第二预测,得到目标对象的表面形态,包括:将至少一个对象边缘沿第二方向投影至同一平面,得到待处理图像;利用预设神经网络对待处理图像预测,得到目标对象的表面形态。

因此,医学图像包括在第一方向堆叠的多个二维图像,从而将至少一个对象边缘沿第二方向投影至同一平面,得到待处理图像,并利用预设神经网络对待处理图像预测,得到目标对象的表面形态,能够有利于将三维信息降维为二维信息,从而能够有利于减少预设神经网络所需处理的数据量,进而能够有利于降低计算负荷。

其中,预设神经网络是在利用预设数据集预训练的基础上再训练得到的,且预设数据集中的训练图像均为红绿蓝三通道图像,待处理图像中与不同对象边缘对应的部分分别采用不同颜色表示;和/或,第一方向和第二方向平行。

因此,将预设神经网络设置为在利用预设数据集预训练的基础上再训练得到的,能够有利于在训练样本较少的情况下,基于预设数据集和少量训练样本即可训练得到预设神经网络,且预设数据集中的训练图像均为红绿蓝三通道图像,待处理图像中与不同对象边缘对应的部分分别采用不同颜色表示,从而能够有利于使待处理图像匹配预设神经网络的数据输入形式,进而能够有利于提高预测的准确性;将第一方向设置为与第二方向平行,能够有利于提高待处理图像上,与对象边缘相关的信息的丰富度,从而能够有利于提高预测的准确性。

其中,目标对象为肝脏,对象边缘位于肝脏的腹面。

因此,将目标对象设置为肝脏,将对象边缘设置位于肝脏的腹面,能够有利于分析得到肝脏的表面形态,且由于对象边缘位于肝脏的腹面,从而能够有利于提高表面形态的参考价值。

其中,医学图像包括在第一方向堆叠的多个二维图像;对医学图像中目标对象进行边缘提取,得到至少一个对象边缘,包括:对医学图像进行肝脏检测,得到至少一个二维图像中的肝脏区域;获取肝脏区域的边缘线上最远离人体正面的第一特征点和最靠近人体左侧的第二特征点;将第一特征点和第二特征点之间靠近人体外侧的部分边缘线,作为肝脏的对象边缘。

因此,医学图像包括在第一方向堆叠的多个二维图像,通过对医学图像进行肝脏检测,得到至少一个二维图像中的肝脏区域,并获取肝脏区域的边缘线上最远离人体正面的第一特征点和最靠近人体左侧的第二特征点,从而将第一特征点和第二特征点之间靠近人体外侧的部分边缘线,作为肝脏的对象边缘,能够有利于快速且准确地获取到位于肝脏腹面的对象边缘。

其中,表面形态包括以下任一者:表面平整、表面欠平整;和/或,在基于至少一个对象边缘,得到目标对象的表面形态之后,方法还包括:将表面形态添加至医学图像所属的检测人员的检测报告中。

因此,将表面形态设置为包括以下任一者:表面平整、表面欠平整,能够有利于确定目标对象表面平整或欠平整,从而能够有利于为医生临床提供辅助信息;而将表面形态添加至医学图像所属的检测人员的检测报告中,能够有利于提高检测报告的制作效率。

本申请第二方面提供了一种图像分析装置,包括图像获取模块、边缘提取模块和结果获取模块,图像获取模块用于获取包括目标对象的医学图像;边缘提取模块用于对医学图像中目标对象进行边缘提取,得到至少一个对象边缘;结果获取模块用于基于至少一个对象边缘,得到目标对象的表面形态。

本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像分析方法。

本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像分析方法。

上述方案,通过获取包含目标对象的医学图像,并对医学图像中目标对象进行边缘提取,从而得到至少一个对象边缘,从而基于至少一个对象边缘,得到目标对象的表面形态。故此,能够不依靠人工进行图像分析,且由于通过提取医学图像中目标对象的对象边缘,得到目标对象的表面形态,故也无需依赖于特定模态的医学图像,因此能够提高图像分析的效率和普适性。

附图说明

图1是本申请图像分析方法一实施例的流程示意图;

图2a是二维图像一实施例的示意图;

图2b是人体坐标系一实施例的示意图;

图3是对象边缘提取的一实施例的状态示意图;

图4是提取边缘特征一实施例的流程示意图;

图5是提取边缘特征另一实施例的流程示意图;

图6是利用预设神经网络预测表面形态一实施例的流程示意图;

图7是本申请图像分析装置一实施例的框架示意图;

图8是本申请电子设备一实施例的框架示意图;

图9是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图,对本申请实施例的方案进行详细说明。

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。

请参阅图1,图1是本申请图像分析方法一实施例的流程示意图。

具体而言,可以包括如下步骤:

步骤S11:获取包含目标对象的医学图像。

在一个实施场景中,目标对象可以根据实际应用需要进行设置。具体地,目标对象可以包括但不限于脏器,例如,在需要获取脾脏表面形态时,目标对象可以为脾脏;或者,在需要获取肾脏表面形态时,目标对象可以为肾脏,在此不做限定。在一个具体的实施场景中,为了辅助医护人员进行肝硬化、肝纤维化等的筛查,目标对象具体可以为肝脏,从而可以通过本公开实施例中的步骤,获取肝脏表面形态,进而可以辅助医护人员根据肝脏表面形态,来筛查肝硬化、肝纤维化等。需要说明的是,本公开实施例以及下述公开实施例中,表面形态可以包括表面平整情况,例如具体可以包括但不限于表面平整、表面欠平整等等。

在一个实施场景中,医学图像具体可以包括以下任一者:CT图像、MR图像,在此不做限定。仍以目标对象是肝脏为例,肝脏的医学图像可以是与任一造影时长对应的图像,例如:平扫期图像、动脉期图像、门脉期图像、延迟期图像等,在此不做限定;或者,肝脏的医学图像也可以是在未注入造影剂的情况下(即平扫情况下)扫描到的图像。

步骤S12:对医学图像中目标对象进行边缘提取,得到至少一个对象边缘。

在一个实施场景中,医学图像可以是三维图像,具体可以包括在第一方向堆叠的多个二维图像。在一个具体的实施场景中,第一方向可以与人体从头至脚的方向平行,在此情况下,可以取横断面上各层图像,得到多个二维图像。

在一个实施场景中,在医学图像包括在第一方向堆叠的多个二维图像的情况下,可以对医学图像进行目标检测,得到二维图像中目标对象的目标区域,并获取目标区域的至少部分边缘线,作为目标对象的对象边缘,通过对多个二维图像分别执行上述处理,即可得到至少一个对象边缘。

在一个具体的实施场景中,可以获取目标区域的全部边缘线,作为目标对象的对象边缘。

在另一个具体的实施场景中,也可以获取目标区域的部分边缘线,作为目标对象的对象边缘。例如,在目标对象为肝脏的情况下,对象边缘具体可以位于肝脏的腹面。上述方式,将对象边缘设置为位于肝脏的腹面,能够依靠位于外形较为规律的腹面的形态学信息,来获取表面形态,从而能够有利于提高后续获取的表面形态的参考价值。在其他实施场景中,在目标对象为其他器官的情况下,对象边缘的设置方式可以以此类推,在此不做限定。

在另一个具体的实施场景中,在目标对象为肝脏且对象边缘位于肝脏腹面的情况下,可以对医学图像进行肝脏检测,得到至少一个二维图像中的肝脏区域,并获取肝脏区域的边缘线上最远离人体正面的第一特征点和最靠近人体左侧的第二特征点,从而以第一特征点和第二特征点为两个端点,可以将肝脏区域的边缘线分为两个段,且两段均以第一特征点和第二特征点作为端点,其中一段靠近人体内侧,另一段靠近人体外侧,在此基础上,可以取第一特征点和第二特征点之间靠近人体外侧的部分边缘线,作为肝脏的对象边缘。上述方式,可以快速提取到位于肝脏腹面的对象边缘。

具体地,请结合参阅图2a,图2a是二维图像一实施例的示意图,如图2a所示,右侧表示肝脏立体图,肝脏沿实线所示横断面提取得到图2a左侧所示的二维图像,需要说明的是,图中诸如Ⅰ、Ⅲ、Ⅳ、Ⅴ、Ⅵ、Ⅶ、Ⅷ、Ⅴ等罗马数字表示不同肝段,具体含义在此不再赘述。右上角圆点所示的特征点为二维图像中肝脏区域的边缘线上最远离人体正面的第一特征点,下侧圆点所示的特征点为二维图像中肝脏区域的边缘线上最靠近人体左侧的第二特征点,可见肝脏区域的边缘线被第一特征点和第二特征点分为均以第一特征点和第二特征点为端点的两个段,其中一段在图2a所示的二维图像中以实线表示,即靠近人体内侧的一段边缘线,另一段在图2a所示的二维图像中以虚线表示,即靠近人体外侧的一段边缘线,可以将该段边缘线作为肝脏的对象边缘。

具体地,请结合参阅图2b,图2b是人体坐标系一实施例的示意图,如图2b所示,人体坐标系可以由三个平面构成,即从正面观测人体的冠状面,从垂直于冠状面的侧面观测人体的矢状面,从垂直于冠状面的上方观测人体的横断面。基于此,垂直于冠状面且从人体正面向外的方向称之为前方(anterior),垂直于冠状面且从人体背面向外的方向称之为后方(posterior),垂直于矢状面且从人体右手侧向外的方向称之为右方(right),垂直于矢状面且从人体左手侧向外的方向称之为左侧(left),垂直于横断面且从人体头部向外的方向称之为上方(superior),垂直于横断面且从人体脚步向外的方向称之为下方(interior)。在此基础上,可以以人体右前下方一点(如,腹部右侧某一点)为坐标原点,建立RAI(Right、Anterior、Interior)坐标系,在该坐标系中,坐标轴I表示多个二维图像堆叠的第一方向,从而可以通过求取肝脏区域的边缘线在坐标轴A的极值,确定得到最远离人体正面的第一特征点,并通过求取肝脏区域的边缘线在坐标轴R的极值,确定得到最靠近人体左侧的第二特征点。

在又一个具体的实施场景中,为了提高获取目标区域的效率,可以预先训练一用于检测目标区域的分割网络,从而可以将医学图像作为该分割网络的输入数据进行处理,得到医学图像中目标对象的目标区域,进而可以根据医学图像中目标对象的目标区域,得到二维图像中的目标区域。具体地,分割网络具体可以包括但不限于:U-Net、V-Net等等,在此不做限定。

具体地,请结合参阅图3,图3是对象边缘提取的一实施例的状态示意图。如图3所示,以目标对象是肝脏为例,医学图像经过分割网络处理,能够得到医学图像中目标对象的目标区域,在此基础上,可以根据医学图像中目标对象的目标区域,得到二维图像中的目标区域,从而可以获取二维图像中目标区域的至少部分边缘线,作为目标对象的对象边缘,如图3右侧不同曲线代表从不同二维图像中提取得到的对象边缘,即横断面上不同层图像中提取到的对象边缘。在目标对象是其他器官的情况下,可以以此类推,在此不再一一举例。

在又一个具体的实施场景中,在医学图像是三维图像的情况下,在检测得到医学图像中目标对象的目标区域之后,还可以将目标区域归一化至预设尺寸,预设尺寸可以根据实际需要进行设置,如,32*512*512、16*256*256等,在此不做限定。上述方式,将目标区域归一化至预设尺寸,能够有利于降低不同尺寸的预设器官对于分析表面形态的影响,从而能够有利于提高表面形态的准确性。

步骤S13:基于至少一个对象边缘,得到目标对象的表面形态。

在一个实施场景中,如前所述,目标对象的表面形态可以包括但不限于平面平整情况,例如可以包括:表面平整、表面欠平整,在此不做限定。此外,根据实际应用需要,表面形态也可以按照平整程度具体包括:表面平整、表面轻微欠平整、表面严重欠平整等,在此不做限定。上述方式,将表面形态设置为包括以下任一者:表面平整、表面欠平整,能够有利于确定目标对象表面平整或欠平整,从而能够有利于为医生临床提供辅助信息。

在一个实施场景中,可以基于特征工程,提取至少一个对象边缘的边缘特征,并基于预设分类器,对边缘特征进行第一预测,得到目标对象的表面形态。上述方式,通过预设分类器进行表面形态的预测,能够有利于提高预测效率和准确性。

在一个具体的实施场景中,边缘特征可以包括但不限于:对象边缘的平均曲率、对象边缘与对象边缘平滑处理后的平滑边缘之间的偏移量,在此不做限定。例如,在边缘特征包括对象边缘的平均曲率的情况下,若平均曲率较大,或者,对象边缘上平均曲率较大的点较多,则可以认为目标对象表面欠平整,反之,若平均曲率较小,或者,对象边缘上平均曲率较大的点较少,则可以认为目标对象表面平整;而在边缘特征包括上述偏移量的情况下,若偏移量较小,则可以认为平滑处理后的平滑边缘与原始的对象边缘几乎一致,即可以认为原始的对象边缘本身就较为平滑,在此基础上可以认为目标对象表面平整,反之,若偏移量较大,则可以认为平滑后处理后的平滑边缘与原始的对象边缘有较多不一致之处或不一致之处的偏差较大,则可以认为原始的对象边缘本身欠光滑,在此基础上可以认为目标对象表面欠平整。其他情况可以以此类推,在此不再一一举例。

在另一个具体的实施场景中,预设分类器可以包括但不限于:支持向量机(Support Vector Machine,SVM)、随机森林(Random Forest),在此不做限定。

在又一个具体的实施场景中,在基于特征工程,利用预设分类器进行预测的情况下,可以获取包含目标对象的样本医学图像,且样本医学图像标注有目标对象表面的实际平整情况(如,表面平整或表面欠平整),并对样本医学图像中目标对象进行边缘提取,得到至少一个样本对象边缘,从而提取样本对象边缘的样本边缘特征,并基于与实际平整情况为表面平整的样本医学图像对应的样本边缘特征,以及与实际平整情况为表面欠平整的样本医学图像对应的样本边缘特征,对预设分类器进行训练,并在训练过程中调整预设分类器的参数。

在另一个实施场景中,也可以基于预设神经网络,对至少一个对象边缘进行第二预测,得到目标对象的表面形态。上述方式,通过预设神经网络进行表面形态的预测,能够有利于提高预测效率和准确性。

在一个具体的实施场景中,预设神经网络可以包括但不限于:Mobile-Net、VGG,在此不做限定。

在另一个具体的实施场景中,在基于预设神经网络进行预测的情况下,可以获取包含目标对象的样本医学图像,且样本医学图像标注有目标对象表面的实际平整情况(如,表面平整或表面欠平整),并对样本医学图像中目标对象进行边缘提取,得到至少一个样本对象边缘,从而利用预设神经网络对样本对象边缘进行预测,得到目标对象表面的预测平整情况,进而可以基于实际平整情况和预测平整情况之间的差异,调整预设神经网络的网络参数。

在一个实施场景中,在得到目标对象的表面形态之后,还可以将表面形态添加至医学图像所属的检测人员的检测报告中。上述方式,将表面形态添加至医学图像所属的检测人员的检测报告中,能够有利于提高检测报告的制作效率。

上述方案,通过获取包含目标对象的医学图像,并对医学图像中目标对象进行边缘提取,从而得到至少一个对象边缘,从而基于至少一个对象边缘,得到目标对象的表面形态。故此,能够不依靠人工进行图像分析,且由于通过提取医学图像中目标对象的对象边缘,得到目标对象的表面形态,故也无需依赖于特定模态的医学图像,因此能够提高图像分析的效率和普适性。

请参阅图4,图4是提取边缘特征一实施例的流程示意图。具体地,如前述公开实施例所述,通过提取对象边缘的边缘特征,可以基于预设分类器对边缘特征进行预测,得到目标对象的表面形态,在此情形下,在边缘特征包括对象边缘的平均曲率的情况下,可以通过如下步骤提取边缘特征:

步骤S41:获取对象边缘若干个位置处的平均曲率。

在一个实施场景中,可以每隔预设距离在对象边缘上取一个点,并获取取到的点的位置处的平均曲率。在另一个实施场景中,也可以在对象边缘上随机取若干个点,在此不做限定。

在一个具体的实施场景中,预设距离可以设置为一固定值,如0.5cm、1cm等等,在此不做限定。

在另一个具体的实施场景中,预设距离可以根据对象边缘的长度设置,例如,可以设置为对象边缘长度的十分之一、五分之一等等,在此不做限定。

为了便于描述,可以将取到的第i个点的平均曲率记为K

上述公式(1)中,u

步骤S42:对获取到的平均曲率进行统计,得到平均曲率的第一统计情况。

本公开实施例中,第一统计情况包括以下至少一者:获取到的平均曲率的平均值、获取到的平均曲率的分位值、获取到的平均曲率的极值。

在一个实施场景中,分位值具体可以包括但不限于:25分位值(即下四分位值)、50分位值(即中位置)、75分位值(即上四分位值)等等,在此不做限定。

在另一个实施场景中,极值具体可以包括以下至少一者:极大值、极小值,在此不做限定。上述方式,通过对获取到的平均曲率进行统计,得到平均曲率的第一统计情况,能够获取到表征目标对象边缘整体的第一统计情况,从而能够有利于提高后续预测表面形态的准确性。

区别于前述实施例,在边缘特征包括对象边缘的平均曲率的情况下,获取对象边缘若干个位置处的平均曲率,从而对获取到的平均曲率进行统计,得到平均曲率的第一统计情况,且第一统计情况包括以下至少一者:获取到的平均曲率的平均值、获取到的平均曲率的分位值、获取到的平均曲率的极值。故此,能够利用平均曲率的第一统计情况来表示目标对象的形态学信息,能够有利于提高边缘特征的表达力。

请参阅图5,图5是提取边缘特征另一实施例的流程示意图。具体地,如前述公开实施例所述,通过提取对象边缘的边缘特征,可以基于预设分类器对边缘特征进行预测,得到目标对象的表面形态,在此情形下,在边缘特征包括对象边缘的偏移量的情况下,可以通过如下步骤提取边缘特征:

步骤S51:对对象边缘进行平滑处理,得到平滑边缘。

在一个实施场景中,可以利用傅氏变换对对象边缘进行平滑处理,从而得到对象边缘的平滑边缘。

在另一个实施场景中,也可以利用Savitzky-Golay算法对对象边缘进行平滑处理,从而得到对象边缘的平滑边缘。

步骤S52:获取对象边缘上若干个点与平滑边缘上对应点之间的偏移量。

在一个实施场景中,可以采用Procrustes分析法,将对象边缘和其平滑处理得到的平滑边缘进行对齐,从而可以确定对象边缘上各个点在平滑边缘上的对应点,进而可以获取对象边缘上若干个点与平滑边缘上对应点之间的偏移量。

在另一个实施场景中,如前述公开实施例所述,对象边缘上若干个点之间可以间隔预设距离。此外,也可以在对象边缘上随机取若干个点,在此不做限定。

在一个具体的实施场景中,预设距离可以设置为一固定值,如0.5cm、1cm等等,在此不做限定。

在另一个具体的实施场景中,预设距离可以根据对象边缘的长度设置,例如,可以设置为对象边缘长度的十分之一、五分之一等等,在此不做限定。

步骤S53:对获取到的偏移量进行统计,得到偏移量的第二统计情况。

本公开实施例中,第二统计情况包括以下至少一者:获取到的偏移量的平均值、获取到的偏移量的分位值、获取到的偏移量的极值。

在一个实施场景中,分位值具体可以包括但不限于:25分位值(即下四分位值)、50分位值(即中位置)、75分位值(即上四分位值)等等,在此不做限定。

在另一个实施场景中,极值具体可以包括以下至少一者:极大值、极小值,在此不做限定。上述方式,通过对获取到的偏移量进行统计,得到偏移量的第一统计情况,能够获取到表征目标对象边缘整体的第二统计情况,从而能够有利于提高后续预测表面形态的准确性。

区别于前述实施例,在边缘特征包括偏移量的情况下,对对象边缘进行平滑处理,得到平滑边缘,从而获取对象边缘上若干个点与平滑边缘上对应点之间的偏移量,并对获取到的偏移量进行统计,得到偏移量的第二统计情况,且第二统计情况包括以下至少一者:获取到的偏移量的平均值、获取到的偏移量的分位值、获取到的偏移量的极值。故此,能够有利于提高目标对象形态学信息的准确性。

请参阅图6,图6是利用预设神经网络预测表面形态一实施例的流程示意图。本公开实施例中,医学图像包括在第一方向堆叠的多个二维图像,则对应于至少一个二维图像可以通过前述公开实施例中的步骤,提取得到对应的对象边缘,在此情形下,本公开实施例具体可以包括如下步骤:

步骤S61:将至少一个对象边缘沿第二方向投影至同一平面,得到待处理图像。

在一个实施场景中,第一方向与第二方向平行。在一个具体的实施场景中,请结合参阅图2b,第一方向和第二方向均与图2b所示的坐标轴S(或坐标轴I)平行,即第一方向和第二方向均表示人体头部至脚部的方向。上述方式,能够有利于提高待处理图像上,与对象边缘相关的信息的丰富度,从而能够有利于提高预测的准确性。此外,第一方向与第二方向也可以不同。

在一个实施场景中,预设神经网络是在利用预设数据集(如,ImageNet自然图像数据集)预训练的基础上再训练得到的,且预设数据集中的训练图像均为红绿蓝三通道图像,则待处理图像中与不同对象边缘对应的部分分别采用不同颜色表示。上述方式,将预设神经网络设置为在利用预设数据集预训练的基础上再训练得到的,能够有利于在训练样本较少的情况下,基于预设数据集和少量训练样本即可训练得到预设神经网络,且预设数据集中的训练图像均为红绿蓝三通道图像,待处理图像中与不同对象边缘对应的部分分别采用不同颜色表示,从而能够有利于使待处理图像匹配预设神经网络的数据输入形式,进而能够有利于提高预测的准确性。

步骤S62:利用预设神经网络对待处理图像预测,得到目标对象的表面形态。

在将至少一个对象边缘沿第二方向投影至同一平面,得到二维的待处理图像之后,可以利用预设神经网络对待处理图像进行预测,得到目标对象的表面形态。具体地,如前述公开实施例所述,预设神经网络可以包括但不限于:Mobile-Net、VGG,此外,预设神经网络也可以包括ResNet等,在此不做限定。

区别于前述实施例,医学图像包括在第一方向堆叠的多个二维图像,从而将至少一个对象边缘沿第二方向投影至同一平面,得到待处理图像,并利用预设神经网络对待处理图像预测,得到目标对象的表面形态,能够有利于将三维信息降维为二维信息,从而能够有利于减少预设神经网络所需处理的数据量,进而能够有利于降低计算负荷。

请参阅图7,图7是本申请图像分析装置70一实施例的框架示意图。本申请图像分析装置70包括:图像获取模块71、边缘提取模块72和结果获取模块73,图像获取模块71用于获取包括目标对象的医学图像;边缘提取模块72用于对医学图像中目标对象进行边缘提取,得到至少一个对象边缘;结果获取模块73用于基于至少一个对象边缘,得到目标对象的表面形态。

上述方案,图像获取模块、边缘提取模块和结果获取模块,图像获取模块用于包括目标对象的医学图像;边缘提取模块用于对医学图像中目标对象进行边缘提取,得到至少一个对象边缘;结果获取模块用于基于至少一个对象边缘,得到目标对象的表面形态。

在一些公开实施例中,结果获取模块73具体用于以下至少一者:提取至少一个对象边缘的边缘特征,并基于预设分类器,对边缘特征进行第一预测,得到目标对象的表面形态;基于预设神经网络,对至少一个对象边缘进行第二预测,得到目标对象的表面形态。

区别于前述实施例,通过提取至少一个对象边缘的边缘特征,并基于预设分类器,对边缘特征进行第一预测,得到目标对象的表明平整情况,或通过预设神经网络,对至少一个对象边缘进行第二预测,得到目标对象的表面形态,从而能够基于预设分类器或预设神经网络进行表面形态的预测,能够有利于提高预测效率和准确性。

在一些公开实施例中,边缘特征包括以下至少一种:对象边缘的平均曲率、对象边缘与对象边缘平滑处理后的平滑边缘之间的偏移量。

区别于前述实施例,将边缘特征设置为包括以下至少一者:对象边缘的平均曲率、对象边缘与对象边缘平滑处理后的平滑边缘之间的偏移量,能够有利于降低预设分类器所需处理的信息量,从而能够有利于降低计算负荷。

在一些公开实施例中,结果获取模块73包括平均曲率获取子模块,用于在边缘特征包括对象边缘的平均曲率的情况下,获取对象边缘若干个位置处的平均曲率,结果获取模块73包括第一统计子模块,用于对获取到的平均曲率进行统计,得到平均曲率的第一统计情况;其中,第一统计情况包括以下至少一者:获取到的平均曲率的平均值、获取到的平均曲率的分位值、获取到的平均曲率的极值。

区别于前述实施例,在边缘特征包括对象边缘的平均曲率的情况下,获取对象边缘若干个位置处的平均曲率,从而对获取到的平均曲率进行统计,得到平均曲率的第一统计情况,且第一统计情况包括以下至少一者:获取到的平均曲率的平均值、获取到的平均曲率的分位值、获取到的平均曲率的极值。故此,能够利用平均曲率的第一统计情况来表示目标对象的形态学信息,能够有利于提高边缘特征的表达力。

在一些公开实施例中,结果获取模块73包括平滑处理子模块,用于在边缘特征包括偏移量的情况下,对对象边缘进行平滑处理,得到平滑边缘,结果获取模块73包括偏移获取子模块,用于获取对象边缘上若干个点与平滑边缘上对应点之间的偏移量,结果获取模块73包括第二统计子模块,用于对获取到的偏移量进行统计,得到偏移量的第二统计情况其中,第二统计情况包括以下至少一者:获取到的偏移量的平均值、获取到的偏移量的分位值、获取到的偏移量的极值。

区别于前述实施例,在边缘特征包括偏移量的情况下,对对象边缘进行平滑处理,得到平滑边缘,从而获取对象边缘上若干个点与平滑边缘上对应点之间的偏移量,并对获取到的偏移量进行统计,得到偏移量的第二统计情况,且第二统计情况包括以下至少一者:获取到的偏移量的平均值、获取到的偏移量的分位值、获取到的偏移量的极值。故此,能够有利于提高目标对象形态学信息的准确性。

在一些公开实施例中,医学图像包括在第一方向堆叠的多个二维图像,结果获取模块73包括投影子模块,用于将至少一个对象边缘沿第二方向投影至同一平面,得到待处理图像,结果获取模块73包括预测子模块,用于利用预设神经网络对待处理图像预测,得到目标对象的表面形态。

区别于前述实施例,医学图像包括在第一方向堆叠的多个二维图像,从而将至少一个对象边缘沿第二方向投影至同一平面,得到待处理图像,并利用预设神经网络对待处理图像预测,得到目标对象的表面形态,能够有利于将三维信息降维为二维信息,从而能够有利于减少预设神经网络所需处理的数据量,进而能够有利于降低计算负荷。

在一些公开实施例中,预设神经网络是在利用预设数据集预训练的基础上再训练得到的,且预设数据集中的训练图像均为红绿蓝三通道图像,待处理图像中与不同对象边缘对应的部分分别采用不同颜色表示;和/或,第一方向和第二方向平行。

区别于前述实施例,将预设神经网络设置为在利用预设数据集预训练的基础上再训练得到的,能够有利于在训练样本较少的情况下,基于预设数据集和少量训练样本即可训练得到预设神经网络,且预设数据集中的训练图像均为红绿蓝三通道图像,待处理图像中与不同对象边缘对应的部分分别采用不同颜色表示,从而能够有利于使待处理图像匹配预设神经网络的数据输入形式,进而能够有利于提高预测的准确性;将第一方向设置为与第二方向平行,能够有利于提高待处理图像上,与对象边缘相关的信息的丰富度,从而能够有利于提高预测的准确性。

在一些公开实施例中,目标对象为肝脏,对象边缘位于肝脏的腹面。

区别于前述实施例,将目标对象设置为肝脏,将对象边缘设置位于肝脏的腹面,能够有利于分析得到肝脏的表面形态,且由于对象边缘位于肝脏的腹面,从而能够有利于提高表面形态的参考价值。

在一些公开实施例中,医学图像包括在第一方向堆叠的多个二维图像,边缘提取模块72包括肝脏检测子模块,用于对医学图像进行肝脏检测,得到至少一个二维图像中的肝脏区域,边缘提取模块72包括特征点获取子模块,用于获取肝脏区域的边缘线上最远离人体正面的第一特征点和最靠近人体左侧的第二特征点,边缘提取模块72包括边缘线提取子模块,用于将第一特征点和第二特征点之间靠近人体外侧的部分边缘线,作为肝脏的对象边缘。

区别于前述实施例,医学图像包括在第一方向堆叠的多个二维图像,通过对医学图像进行肝脏检测,得到至少一个二维图像中的肝脏区域,并获取肝脏区域的边缘线上最远离人体正面的第一特征点和最靠近人体左侧的第二特征点,从而将第一特征点和第二特征点之间靠近人体外侧的部分边缘线,作为肝脏的对象边缘,能够有利于快速且准确地获取到位于肝脏腹面的对象边缘。

在一些公开实施例中,表面形态包括以下任一者:表面平整、表面欠平整。

区别于前述实施例,将表面形态设置为包括以下任一者:表面平整、表面欠平整,能够有利于确定目标对象表面平整或欠平整,从而能够有利于为医生临床提供辅助信息。

在一些公开实施例中,图像分析装置70还包括情况添加模块,用于将表面形态添加至医学图像所属的检测人员的检测报告中。

区别于前述实施例,将表面形态添加至医学图像所属的检测人员的检测报告中,能够有利于提高检测报告的制作效率。

请参阅图8,图8是本申请电子设备80一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82,处理器82用于执行存储器81中存储的程序指令,以实现上述任一图像分析方法实施例中的步骤。在一个具体的实施场景中,电子设备80可以包括但不限于:微型计算机、服务器,此外,电子设备80还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。

具体而言,处理器82用于控制其自身以及存储器81以实现上述任一图像分析方法实施例中的步骤。处理器82还可以称为CPU(Central Processing Unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器82可以由集成电路芯片共同实现。

上述方案,能够提高图像分析的效率和普适性。

请参阅图9,图9为本申请计算机可读存储介质90一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令91,程序指令91用于实现上述任一图像分析方法实施例中的步骤。

上述方案,能够提高图像分析的效率和普适性。

在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

相关技术
  • 图像分析方法及相关装置、电子设备、存储介质
  • 图像分析方法和相关装置、设备、存储介质
技术分类

06120112984195