图像处理方法及图像处理系统

技术领域

本发明涉及图像处理方法及图像处理系统。尤其涉及在基于深度学习的图像处理方法中，可以兼顾深度学习中的推理(inference)过程的准确性和速度的图像处理方法及图像处理系统。

背景技术

深度学习是目前对图像进行分割(segmentation)、分类(classification)和检测(detection)等图像处理的重要技术手段。完整的深度学习框架包括两个主要部分，即训练(training)过程和推理(inference)过程。训练过程向模型输入带标签(或称真值：GT，Ground Truth)的训练数据集，计算输出的检测结果与真值之间的目标函数(损失函数)，通过梯度下降、随机梯度下降等方法对网络参数进行校正使得损失函数最小化，反复进行该过程直到网络输出的检测结果与真值之间的误差满足规定的精度，使模型达到收敛状态，减少模型预测值的误差，完成模型的训练。推理过程是指向已训练好的模型输入不带标签的现场数据(live data)来获得实际检测值的过程。

其中在推理过程中，在使用已训练好的模型去推理图像时会出现结果不准确的情况，这种推理结果的不准确在图像的某些特殊部分，例如器官的边缘、肿瘤的边缘、因器官的局部切除等导致的器官缺损部位等的边界部分尤为明显。

现有技术中提出了一些改进深度学习中推理准确度的方法。例如专利文献1(US2019/0205606A)公开了一种基于人工智能的医学图像分割方法和系统，其可以对同一套图像自适应地采取合适的算法进行推理处理。具体来说，专利文献1的技术是根据图像的扫描协议、图像的器官特征等特点自动选取一个或多个合适的深度学习模型进行分割。当选取多个模型时，采取模型级联(concatenate)的方式，将上一个模型的推理结果和原始图像级联起来，作为下一个模型的输入。

专利文献2(US10825168B2)公开了一种自动器官分割机器学习方法及系统，其关注于器官的分割，使用不同尺寸的图像块(patch)进行多通道的推理，然后将多通道推理的结果级联起来作为深度学习网络的最后一层的输入。

专利文献3(日本特开2022-002027)公开了一种使用了机器学习模型的学习装置以及推理装置，其判定对象数据是否具有能够容易地预测推理处理的推理结果的可预测区域，对作为可预测区域的数据区域执行规定的数据处理，并且将不是可预测区域的区域的推理所需的数据输出到机器学习模型，由此缩短数据处理的平均时间。

发明内容

现有技术中的问题

现有技术中为了提高推理过程的准确性，还尝试了通过进行改进的推理算法去做更精细的处理，这些改进后的推理处理被称为“增强推理(enhanced inference)”。增强推理的具体例子例如包括：在对图像进行分割时，可以加大推理时所采用的图像块(patch)之间的重叠率(overlap ratio)；在对图像进行分类时对每张图像都进行推理；在对图像进行检测时，可以对图像进行反转(flip)、缩放(scale)等之后再次进行推理。

现有技术中，在执行上述的增强推理时会对作为处理对象的全部图像采用这些增强的推理处理，而这必然会增加算法的处理时间，因此现有技术中存在着在采用增强推理的图像处理中，精确度和处理速度无法兼顾的技术问题。

用于解决技术问题的手段

本发明为解决上述现有技术的问题而做出。本发明提出了一种兼顾深度学习算法中推理处理的准确性和速度的新方法，将处理对象图像分为第一部分和第二部分，其中第一部分指的是处理对象图像中深度学习算法容易出现不准确结果的图像部分，例如是图像中的推理处理结果有跳变的部位附近的部分。第二部分是处理对象图像中的除第一部分之外的部分。针对一部分和第二部分分别使用不同的推理处理即第一推理处理和第二推理处理，例如针对第一部分使用精细的增强推理，针对第二部分则使用速度更快的通常的推理，随后将增强推理和通常推理的处理结果合成，作为整个图像的处理结果。

具体来说，根据本发明的一个方面，提供了一种图像处理方法，利用训练好的深度学习模型对图像数据进行推理处理，其特征在于，包括如下步骤：接收步骤，接收图像；确定步骤，确定所接收的图像中的第一部分和第二部分；推理步骤，利用所述深度学习模型，对所确定出的所述第一部分进行第一推理处理，对所确定出的所述第二部分进行第二推理处理，所述第一推理处理和所述第二推理处理是不同的推理处理；以及整合步骤，将所述第一推理处理和所述第二推理处理的结果整合，并输出整合后的推理结果。

根据本发明的另一个方面，提供了一种图像处理系统，利用训练好的深度学习模型对图像数据进行推理处理，其特征在于，具备：接收装置，接收图像；确定装置，确定所接收的图像中的第一部分和第二部分；推理步骤，利用所述深度学习模型，对所确定出的所述第一部分进行第一推理处理，对所确定出的所述第二部分进行第二推理处理，所述第一推理处理和所述第二推理处理是不同的推理处理；以及整合装置，将所述第一推理处理和所述第二推理处理的结果整合，并输出整合后的推理结果

根据本发明，将处理对象图像分为第一部分和除此之外的第二部分，其中第一部分指的是所述图像中的所述推理处理的结果有跳变的部位附近的部分。针对第一部分和第二部分分别进行不同的推理处理，具体来说是对第一部分使用精细的增强推理，而针对第二部分则使用速度更快的通常推理，随后将增强推理和通常推理的处理结果整合，作为整个图像的处理结果，从而能够实现深度学习模型推理时的准确性和速度的平衡，获得更为理想的推理结果。

附图说明

图1是表示有关本发明的图像处理系统的结构的一例的框图。

图2是用于说明有关本发明的图像处理系统执行的处理的特征的对比图。

图3是表示本发明的图像处理系统执行的处理的一例的流程图。

图4是根据本发明第1实施方式的图像处理系统确定第一部分和第二部分的处理过程的预处理的示意图。

图5A和图5B是根据本发明第1实施方式的图像处理系统确定第一部分和第二部分的处理过程的示意图。

图6是根据本发明第1实施方式的图像处理系统确定第一部分和第二部分的原理及其效果的示意图。

图7是根据本发明第1实施方式的图像处理系统进行的步骤S200的处理状况的示意图。

图8是根据本发明第1实施方式的图像处理系统进行的步骤S300的处理状况的示意图。

图9A和图9B是根据本发明第1实施方式的图像处理系统进行的步骤S500的处理状况的示意图。

图10是根据本发明第2实施方式的图像处理系统确定第一部分和第二部分的处理过程的示意图。

图11是根据本发明第2实施方式的图像处理系统的深度学习模型在步骤S100中的处理状况的示意图。

图12是根据本发明第2实施方式的图像处理系统进行的步骤S200的处理状况的示意图。

图13是根据本发明第2实施方式的图像处理系统进行的步骤S300的处理状况的示意图。

图14是根据本发明第2实施方式的图像处理系统进行的步骤S500的处理状况的示意图。

具体实施方式

以下，参照附图详细地说明有关本申请的图像处理系统、图像处理方法及存储介质的实施方式。另外，有关本申请的图像处理系统、图像处理方法及存储介质不由以下所示的实施方式限定。此外，在以下的说明中，对于同样的构成要素赋予共同的标号并省略重复的说明。

首先，对本发明的图像处理系统的概要进行说明。本申请的图像处理系统可以以超声波诊断装置、CT成像装置、MRI成像装置等医用图像诊断装置的形式存在，也可以以工作站等形式独立存在。

图1是表示有关本发明的图像处理系统的结构的一例的框图。有关本实施方式的图像处理系统1利用深度学习神经网络对输入图像进行推理处理，如图1所示，图像处理系统1主要具有接收装置10、确定装置20、推理装置30和整合装置40，接收装置10用于接收处理对象的图像。确定装置20用于确定接收装置10所接收的图像中的第一部分和除第一部分之外的第二部分，本发明中所谓第一部分是处理对象图像中的深度学习模型的算法容易出现不准确结果的部分，例如是图像中的推理处理的结果有跳变的部位附近的部分，关于第一部分的详细内容将在后文中描述。推理装置30利用训练好的深度学习模型，对确定装置20所确定出的第一部分和第二部分分别进行不同的第一推理处理和第二推理处理。整合装置40对不同的推理处理各自获得的推理结果进行整合，并输出整合后的推理结果。

图像处理系统1可以例如装备在超声波诊断装置等图像处理系统中。这时，图像处理系统1还具备省略了图示的控制部、超声波探头、显示器、输入输出接口和装置主体等，接收装置10、确定装置20、推理装置30和整合装置40装备在控制部中，与这些超声波探头、显示器、输入输出接口与装置主体等可通信地连接。由于控制部、超声波探头、显示器、输入输出接口与装置主体的结构和功能等已为本领域技术人员熟知，因此省略其详细说明。

下面对有关本实施方式的图像处理系统1执行的处理进行详细说明。

图2是用于说明有关本发明的图像处理系统执行的处理的特征的对比图。

图2通过与现有技术的流程对比的方式说明本发明处理的特征。其中左侧为现有技术的图像处理的流程图，右侧为本发明的图像处理系统执行的处理的流程图。如图2所示，根据本发明的图像处理系统执行的处理中，步骤S100、步骤S200和步骤S300为本发明的特征步骤，其中，与现有技术中在步骤S20’中对图像整体采用增强推理不同，本发明首先在步骤S100中确定出处理对象的图像中的第一部分和第二部分，进而在步骤S200中，本发明对所确定出的第一部分和第二部分分别进行不同的推理处理即第一推理处理和第二推理处理，具体来说，如后文中结合图3详细描述的，针对第一部分使用精细的增强推理，而针对第二部分则使用速度更快的通常推理。随后在步骤S300中，本发明将增强推理和通常推理的处理结果整合，作为整个图像的处理结果。本发明的图像处理系统对处理对象的图像区分第一部分和第二部分，并分别执行不同的第一推理处理和第二推理处理，因此与对处理对象的图像整体执行增强推理处理的现有技术不同，本发明能够实现深度学习模型推理时的准确性和速度的平衡，获得更为理想的推理结果。

下面利用图3对本发明的图像处理系统所执行的处理的详细情况进行说明。

图3是表示本发明的图像处理系统执行的处理的一例的流程图。

首先在步骤S10中，图像处理系统1通过接收装置10接收处理对象的医学图像数据。

随后的步骤S100～步骤S300、以及步骤S30的处理在前文中结合图2已经进行了说明，在此不再赘述。

根据本发明的图像处理系统在步骤S300和步骤S30之间还可以具备S400的判断步骤以及S500的修正步骤，在步骤S400中，图像处理系统1判断整合后的算法结果是否满意，该步骤可以通过针对表示推理处理的结果的技术指标预先设定规定的阈值，将整合结果的该指标与该阈值进行比较来进行，也可以通过图像处理系统1的用户人为判断。

在步骤S400的判断结果为整合后的结果满意时(步骤S400，是)，处理进入步骤S30，输出算法结果并结束处理。相反，在步骤S400的判断结果为整合后的算法结果不满意时(步骤S400，否)，处理进入步骤S500，对步骤S100中确定出的第一部分进行修正，并针对修正后的第一部分及除此之外的第二部分继续进行步骤S200和步骤S300的处理，对整合后的算法结果再次执行步骤S400的判断，直到步骤S400的判断结果为“是”。步骤S500的处理可以通过图像处理系统1的修正功能根据预先设定的规则进行自动修正，也可以由用户通过图像处理系统1的用户接口进行人为修正。

步骤S400和步骤S500并不是必须的。如图2所示那样仅具备步骤S10、步骤S100～步骤S300、以及步骤S30的方法也可实现本发明的目的，实现本发明的效果。

以上说明了本发明的图像处理系统执行的处理的概要。下面分别以分割处理和分类处理为例，对本发明进行详细说明。

(第1实施方式)

第1实施方式是将本发明应用于图像分割的情况。

下面以针对肝脏的分割处理为例，结合图4～图9对本发明的第1实施方式进行详细说明。

首先结合图4～图6说明本发明的第1实施方式中步骤S100的确定第一部分和第二部分的处理。

图4是根据本发明第1实施方式的图像处理系统确定第一部分和第二部分的处理过程的预处理的示意图。图4中示出了针对一张处理对象图像执行分割处理时的例子，图中大的方框代表处理对象的整个图像，方框内的四个大的方块代表分割处理所针对的图像块，图像块内的深色小方块代表单个像素，小方块中的数字代表该像素的推理概率。这里的方框、方块的尺寸及数量均只是为便于说明而进行的示意性显示，图中的尺寸对比并不一定符合真实的尺寸比例，实际的数量也可能是图示数量以外的数量。这一点在所有附图中均是如此。

如图4所示，有关第1实施方式的图像处理系统针对医学图像数据进行针对肝脏的分割处理时，首先在步骤S100中由确定装置20通过深度学习模型对一张处理对象图像整体执行通常的推理。本发明中的所谓“通常的推理”意指相对增强推理而言精度更低、处理负荷更低、速度更快的轻度推理(light inference)。具体而言本发明的通常推理例如可以是如图4所示采用较大的图像块进行的推理。确定装置20在针对一张处理对象图像整体进行轻度推理之后，获得由整个图像中的各个像素的推理概率(inference probability)所构成的矩阵，其中推理概率是本发明中“推理结果指标”的一例，是指在针对处理对象图像进行目标区域(例如肝脏)的分割时，分割结果示出的该像素属于目标区域(肝脏)的概率。图4中，图像中的深色部分为目标区域(肝脏)，浅色背景部分为目标区域(肝脏)以外的区域。

如图4所示，在深色的肝脏区域的内部，轻度推理处理后获得的各像素的分割结果是该像素属于肝脏区域，相应地获得的各个像素的推理概率为1.0。在浅色区域，各像素的分割结果是该像素不属于肝脏区域，相对应地获得的各个像素的推理概率为0.0。而在深色区域和浅色区域的边界附近，各像素的分割结果是在0.0和1.0之间的一定概率上属于肝脏区域，相应地，图4中示出了例如位于边界上的四个像素各自的推理概率分别为0.52、0.50、0.50、0.48等。这样，在图4所示的处理对象图像中，在深色区域和浅色区域的边界的附近区域存在着推理处理的结果、即本实施方式中的推理概率例如从0.0跳变为比0.0大且比1.0小的值或者从1.0跳变为比0.0大且比1.0小的值这样的有跳变的部位，本实施方式中将这样的处理对象图像中的推理处理结果有跳变的部位附近的区域确定为第一部分。

在对图像进行分割的第1实施方式的情况下，本发明中的图像中的第一部分和第二部分指一张图像中的不同区域，具体来说第一部分和第二部分分别是指对分割来说重要的重点区域和对分割来说不重要的非重点区域。以下详细说明根据第1实施方式的图像处理系统确定第一部分和第二部分的过程。

图5A和图5B是根据本发明第1实施方式的图像处理系统确定第一部分和第二部分的处理过程的示意图。

在如图4所示获得了处理对象图像整体所包含的各个像素的推理概率矩阵之后，确定装置20如图5A和图5B所示根据推理概率矩阵确定第一部分和第二部分。

首先，如图5A所示，本实施方式中，确定装置20根据所获得的推理概率矩阵设定一个下限值比0大、上限值比1小的重点区域推理概率范围，将推理概率的值在所设定的该重点区域推理概率范围内的像素所构成的图像区域确定为是第一部分，将除此之外的图像区域确定为第二部分。

图5A中作为一例将下限值设定为0.05，将上限值设定为0.95，将与第一部分对应的重点区域推理概率范围设定为：

0.05≤推理概率≤0.95

就是说，根据第1实施方式，本发明将推理概率为0.05～0.95之间的像素所构成的图像区域即图5B中的深色的带有一定宽度的肝脏外轮廓区域确定为重点区域，将除此之外的像素，即满足

0≤推理概率＜0.05

或者

0.95＜推理概率≤1.0

的像素所构成的图像区域，也就是图5B中的浅色区域确定为非重点区域。本实施方式中，重点区域和非重点区域分别是第一部分和第二部分的一例。

以下结合图6说明步骤S100中第一部分和第二部分的确定方法的原理及其效果。

图6是以肝脏、肿瘤、肝脏的缺损部分的分割为例，示出根据本发明第1实施方式的图像处理系统确定第一部分和第二部分的原理及其效果的示意图。图6A是表示作为处理对象的真实图像的示意图，图6B是用于说明设定重点区域推理概率范围的原理及其效果的示意图，图6C是表示分割后的显示出第一部分和第二部分的图像的示意图。

如图6A所示，在作为处理对象的真实医学图像中，包含有作为分割对象的肝脏(图6A中的斜线部分)和肝脏中的肿瘤或者因手术切除等产生的缺损部分(图6A中的网格线部分)，在如上所述通过确定装置20利用轻度推理处理对图6A中的分割对象即肝脏、肿瘤、缺损部分进行分割之后，得到图6B所示的推理概率分布。图6B中横轴表示各像素的推理概率，纵轴表示归一化后的与推理概率对应的像素数量。从图6B中可以看出，在推理处理结果中，推理概率0和1附近的像素数最多，在稍稍远离0且比0大的下限值(例如0.05)和稍稍远离1且比1小的上限值(例如0.95)之间的范围中，像素数量均显著地少。因此本发明将这样的像素数量显著少的推理概率范围选择为重点区域推理概率范围，由此确定出与重点区域推理概率范围对应的重点区域(第一部分)及除此之外的非重点区域(第二部分)。

本实施方式中将重点区域推理概率范围设定为0.05至0.95之间，但这当然只是一个示例，本发明的重点区域推理概率范围不限于此。另外，本实施方式将重点区域推理概率范围设定为，下限值与0之间的差和上限值与1之间的差分别为0.05-1＝0.05和1-0.95＝0.05，下限值与0之间的差和上限值与1之间的差相等，但本发明不限于此，重点区域推理概率范围也可以设定为下限值与0之间的差和上限值与1之间的差并不相等。根据本发明，只要将推理概率0和1附近处像素的数量分布显著少的推理概率范围选择为重点区域推理概率范围即可。本发明中通过对像素数量进行归一化处理，通过归一化处理后的像素分布判断像素的数量分布显著少的范围，但是本发明显然不限于此，像素数量分布显著少的定义及其确定方式可以采用现有技术中本领域技术人熟知的其他方案，这并非是本发明的重点，在此不再详细说明。

在将重点区域推理概率范围设定为0.05至0.95之间后，根据第1实施方式的本发明的图像处理系统确定出如图6C所示的重点区域(第一部分)，从图6C中可以看出，在推理概率范围位于0.05和0.95之间的像素构成了有一定宽度的肝脏的外轮廓以及肿瘤和/或缺损部分的轮廓，该肝脏的外轮廓和肿瘤/缺损部分的轮廓是处理对象的医学图像进行分割的重点目标，通过本发明的确定步骤S100，上述肝脏的外轮廓以及肿瘤/缺损部分的轮廓区域被确定为重点区域(第一部分)，除此之外的区域被确定为非重点区域(第二部分)。

以上是对本发明的第1实施方式中步骤S100的确定第一部分和第二部分的处理的说明。

在完成了确定第一部分和第二部分的处理之后，本发明进入步骤S200的推理处理。

下面结合图7说明本发明的第1实施方式中步骤S200的推理处理。

图7是根据本发明第1实施方式的图像处理系统进行的步骤S200的处理状况的示意图。

在步骤S100确定出第一部分(重点区域)和第二部分(非重点区域)后，步骤S200对第一部分(重点区域)和第二部分(非重点区域)分别采用不同的推理处理即第一推理处理和第二推理处理。具体来说，推理装置30对所确定出的第一部分采用增强推理来作为第一推理处理。作为增强推理，可以如图7所示以第一部分为中心重新划分图像块进行推理。

除此之外，作为增强推理还可以列举将包含重点区域的图像块反转(flip)后再次进行推理，或者增大对重点区域进行推理处理时的各图像块之间的重叠率(patch overlapratio)等测试时增强方法(Test Time Augmentation)。本发明不限于此，增强推理处理还可以采用本领域技术人员熟知的其他用于分割的增强推理方案。推理装置30对第二部分采用处理负荷更小、速度更快的轻度推理处理来作为第二推理处理，这里，推理装置30可以直接使用之前在步骤S100的处理过程中用于确定第一部分和第二部分时对第二部分进行过的轻度推理处理的结果。直接使用步骤S100中的轻度推理处理的结果可以节省处理时间，减轻处理负荷，进一步加快处理速度，因此是优选的。本发明当然不限于此，也可以针对第二部分重新进行其他轻度推理处理作为第二推理处理。

在完成了推理处理之后，本发明进入步骤S300的整合处理。

接下来，结合图8说明本发明的第1实施方式中步骤S300的整合处理。

图8是根据本发明第1实施方式的图像处理系统进行的步骤S300的处理状况的示意图。

如图8所示，在步骤S300中，对步骤S200中获得的第一部分的增强推理和第二部分的轻度推理的处理结果进行整合，将整合后的处理结果作为完整的推理结果。

具体来说，本发明可以通过将第一部分的增强推理的结果和第二部分的轻度推理的结果直接叠加来进行推理结果的整合，在步骤S200中直接使用之前在步骤S100的处理过程中确定第一部分和第二部分时对第二部分进行过的轻度推理处理的结果的优选方式的情况下，可以将步骤S200获得的针对第一部分进行的增强推理的处理结果直接覆盖到步骤S100获得的第二部分的轻度推理结果上。另外，可以将第一部分的增强推理的结果和第二部分的轻度推理的结果按一定权重进行融合处理。在以肝脏为分割目标的情况下，步骤S300的整合处理的结果是如图8所示的完整的肝脏分割结果。

至此，本发明可以将步骤S300的处理结果输出，作为推理处理的最终结果。

另外，如上所述，作为优选实施方式，根据本发明的图像处理系统1在步骤S300和步骤S30之间还可以具备判断步骤S400以及修正步骤S500，在步骤S400中，图像处理系统1判断整合后的算法结果是否满意，在步骤S400的判断结果为“是”时，处理进入步骤S30，输出算法结果并结束处理。相反，在步骤S400的判断结果为“否”时，处理进入步骤S500，对步骤S100中确定出的第一部分和第二部分进行修正后再次回到步骤S200的处理。

关于步骤S400的判断处理的细节在上文中结合图3已经进行了说明，下面结合图9说明修正步骤S500的处理。

图9A和图9B是根据本发明第1实施方式的图像处理系统进行的步骤S500的处理状况的示意图。

如图9A所示，步骤S500的处理可以通过对重点区域推理概率范围的下限值和上限值进行调整来实现，这样的调整可以通过图像处理系统1的修正功能根据预先设定的规则自动进行，当然也可以由用户人为进行调整。另外，如图9B所示，步骤S500的处理还可以在例如图6C那样已经获得的重点区域(第一部分)和非重点区域(第二部分)的图像中直接通过用户界面进行修正来实现，这样的修正可以是用户通过鼠标点击图像中的相应区域并进行拖放等来实现，当然也可以由系统自动完成。

在执行了步骤S500之后，本发明的图像处理系统针对修正后的第一部分及除此之外的第二部分重新进行步骤S200和步骤S300的处理，并对整合后的算法结果再次执行步骤S400的判断，直到步骤S400的判断结果为“是”。

如上所述，步骤S400和步骤S500并不是必须的。即使不进行步骤S400和步骤S500的处理，同样可以实现本发明的目的，实现本发明的效果。

第1实施方式的总结

根据第1实施方式，本发明的推理处理用于对图像进行分割。第一部分是图像的分割中的重点的区域即重点区域，第二部分是图像的分割中的非重点的区域即非重点区域。确定步骤利用深度学习模型对图像执行分割，获得表示分割结果的图像中各个像素的推理结果指标，将推理结果指标在规定下限值和规定上限值之间的像素所构成的区域确定为重点区域，将除此之外的区域确定为非重点区域。推理步骤对重点区域进行基于增强推理的强化分割，将其结果作为重点区域的推理结果，并将确定步骤中的非重点区域的分割结果直接用作非重点区域的推理结果。这样，根据本实施方式，由于将处理对象的图像分为第一部分和除此之外的第二部分，针对第一部分和第二部分分别进行不同的推理处理即第一推理处理和第二推理处理，具体来说是对第一部分使用精细的增强推理处理，而针对第二部分则使用速度更快的通常的推理处理，随后将增强推理处理和通常推理处理的结果整合，作为整个图像的处理结果，从而能够自动实现深度学习模型推理时的准确性和速度的平衡，获得更为理想的推理结果。

关于深度学习的细节以及利用深度学习模型对图像进行分割的方法是本领域公知的，也并非是本发明的重点，在此不再详细说明。

在以上的说明中，以推理概率为例对第1实施方式的推理结果指标进行了说明，但本发明不限于此，除了采用推理概率外，例如还可以利用深度学习模型的推理不确定性(inference uncertainty)作为推理结果指标，或者也可以利用传统的图像处理方法找到图像像素的差异，作为推理结果指标从而找到图像的第一部分。关于推理不确定性的细节在例如Alex Kendall和Yarin Gal的论文“What Uncertainties Do We Need in BayesianDeep Learning for Computer Vision？”(31st Conference on Neural InformationProcessing Systems(NIPS 2017),Long Beach,CA,USA.)中有详细记载，在此省略详细说明。

(第2实施方式)

在上述的第1实施方式中，以分割为例对本发明的图像处理系统进行了说明，但是，实施方式并不限于此，例如也可以将本发明的图像处理系统用于图像的分类。

第2实施方式是将本发明应用于图像分类的情况，下面以用于例如肝脏的器官定位的分类处理为例，结合图10～图14对本发明的第2实施方式进行详细说明。

在第2实施方式的说明中，主要说明与上述第1实施方式的不同点。另外，在第2实施方式的说明中，对于与上述的第1实施方式相同的结构，标注相同的附图标记并省略说明。

首先结合图10～图11说明本发明的第2实施方式中步骤S100的确定第一部分和第二部分的处理。

在对图像进行用于器官定位的分类处理的第2实施方式的情况下，本发明中的图像中的第一部分和第二部分指多张图像中的不同张数范围，具体来说第一部分和第二部分分别是指多张图像中的对分类来说重要的重点张数范围和对分类来说不重要的非重点张数范围。

图10是根据本发明第2实施方式的图像处理系统确定第一部分和第二部分的处理过程的示意图。

图10中示出了针对一系列的处理对象图像执行用于例如肝脏定位的分类处理时的例子，如图10所示，根据本发明第2实施方式的图像处理系统对于例如针对人体的上半身获得的连续的多张2D图像的集合，利用多通道的深度学习模型对多张图像进行分类检测，将上述多张中的、分类检测结果中有跳变的图像附近的规定张数范围确定为重点张数范围(第一部分)，将除此之外的张数范围确定为非重点张数范围(第二部分)。具体来说，根据本发明第2实施方式的图像处理系统使用多通道输入的深度学习模型按每组图像进行分类检测，并将分类检测结果包含跳变的图像所在的组确定为重点张数范围

在图10所示的例子中，通过分类检测确定出例如图中深色部分的编号为④～⑥的图像组为包含肝脏的图像组

图11是根据本发明第2实施方式的图像处理系统的深度学习模型在步骤S100中的处理状况的示意图。如图11所示，在步骤S100中，通过多通道的深度学习模型可以一次推理出一组图像的分类结果。例如当通道数设置为10时，将10张2D图像作为模型的输入，经过一次推理，可以得到这10张图像中是否存在肝脏的结果。在本发明中，只要一组例如10张图像的推理结果为至少一张图像中存在肝脏，即认为该组图像中存在肝脏。通过调整通道数可以调整每组内的图像数量及相应的分组数量。

基于多通道深度学习模型的推理相对而言处理速度更快、处理负荷更低，但分类精度也更低，仅通过多通道深度学习模型进行的推理有可能产生不准确的结果。根据第2实施方式的确定装置20在针对一系列的处理对象图像进行基于多通道深度学习模型的推理之后，获得了表示整个图像中的各组图像的分类结果中是否包含有跳变部分的结果，并将分类结果中包含有跳变部分的图像组确定为重点张数范围(第一部分)，将除此之外的图像组确定为非重点张数范围(第二部分)，本实施方式的图像处理系统随后将针对重点张数范围(第一部分)进行更为精细的增强推理。

下面结合图12说明本发明的第2实施方式中步骤S200的处理。

图12是根据本发明第2实施方式的图像处理系统进行的步骤S200的处理状况的示意图。

在步骤S100确定出第一部分(重点张数范围)和第二部分(非重点张数范围)后，步骤S200对第一部分(重点张数范围)和第二部分(非重点张数范围)分别采用不同的推理处理即第一推理处理和第二推理处理。推理装置30如图12所示对所确定出的第一部分采用增强推理作为第一推理处理。具体来说，作为增强推理，可以如图12所示针对所确定出的第一部分中的每张图像进行基于单通道深度学习模型的推理，通过对于第一部分中的每张图像使用单通道的深度学习模型执行更精细的推理，可以得到每一张图像的更为精确的分类结果。

图12示出了基于单通道深度学习模型的推理作为增强推理的例子，本发明不限于此，第2实施方式的增强推理还可以采用本领域技术人员熟知的其他用于分类的增强推理方案。

推理装置30对第二部分采用处理负荷更小、速度更快的轻度推理作为第二推理处理，这里，和第1实施方式相同，第2实施方式的推理装置30可以直接使用之前在步骤S100中用于确定第一部分和第二部分时对第二部分已进行过的轻度推理的处理结果。同样，本发明当然不限于此，也可以针对非重点张数范围重新进行其他轻度推理处理作为第二推理处理。

在完成了推理处理之后，本发明进入步骤S300的整合处理。

接下来，结合图13说明本发明的第2实施方式中步骤S300的整合处理。

图13是根据本发明第2实施方式的图像处理系统进行的步骤S300的处理状况的示意图。

如图13所示，在步骤S300中，对步骤S200中获得的第一部分的增强推理和第二部分的轻度推理的处理结果进行整合，将两种部分的处理结果整合为完整的推理结果。

步骤S300的细节和第1实施方式相同，在此不再重复说明。

如图13所示，根据本发明第2实施方式的图像处理系统，在重点张数范围(第一部分)(组④和组⑥)中可以进一步获得虚线所代表的该位置处没有肝脏存在的图像和实线所代表的该位置处有肝脏存在的图像这样的更为精确的分类结果。

至此，本发明可以将步骤S300的处理结果输出，作为推理处理的结果。

另外，如上所述，与第1实施方式相同，作为优选的方式，根据第2实施方式的图像处理系统1在步骤S300和步骤S30之间也可以具备判断步骤S400以及修正步骤S500。

关于步骤S400的判断处理的细节与第1实施方式中结合图3进行的说明相同。下面结合图14说明第2实施方式的修正步骤S500的处理。

图14是根据本发明第2实施方式的图像处理系统进行的步骤S500的处理状况的示意图。

如图14所示，步骤S500的处理可以通过对重点张数范围(第一部分)的边界进行调整来实现，这样的调整与第1实施方式同样可以通过图像处理系统1的修正功能根据预先设定的规则自动进行，当然也可以由用户通过鼠标点击图像中的相应区域并进行拖放等来实现。

在执行了步骤S500之后，本实施方式的图像处理系统针对修正后的重点张数范围(第一部分)及除此之外的非重点张数范围(第二部分)重新进行步骤S200和步骤S300的处理，并对整合后的算法结果再次执行步骤S400的判断，直到步骤S400的判断结果为“是”。

与第1实施方式相同，本实施方式中步骤S400和步骤S500也不是必须的。即使不进行步骤S400和步骤S500的处理，同样可以实现本发明的目的，实现本发明的效果。

第2实施方式的总结

根据第2实施方式，本发明的推理处理用于基于图像分类对图像中包含的器官进行定位。接收步骤中接收连续的多张图像。第一部分是多张图像的分类中的重点的张数范围即重点张数范围，第二部分是多张图像的分类中的非重点的张数范围即非重点张数范围。确定步骤利用多通道的深度学习模型对多张图像进行分类检测，将多张中的、分类检测结果中有跳变的图像附近的规定张数范围确定为重点张数范围，将除此之外的张数范围确定为非重点张数范围。推理步骤利用单通道的深度学习模型对重点张数范围进行分类检测，将其结果作为重点张数范围的推理结果，并将确定步骤中的非重点张数范围的分类检测结果直接用作非重点张数范围的推理结果。这样，与第1实施方式相同，根据本实施方式，由于将处理对象的图像分为第一部分和除此之外的第二部分，针对第一部分和第二部分分别进行不同的推理处理即第一推理处理和第二推理处理，具体来说是对第一部分使用精细的增强推理处理，而针对第二部分则使用速度更快的通常的推理处理，随后将增强推理处理和通常推理处理的结果整合，作为整个图像的处理结果，从而能够自动实现深度学习模型推理时的准确性和速度的平衡，获得更为理想的推理结果。

根据本发明的图像处理系统，能够实现深度学习网络推理时的准确性和速度的平衡，在用于图像分割的第1实施方式中，在不改变推理准确度的情况下，本发明图像推理的图像块数可以减少到传统方法的一半以下。在用于图像分类的第2实施方式中，在不改变推理准确度的情况下，以1000张全身CT图像为例，轻度推理处理对每10张图像推理一次，而增强推理处理对每张图像都推理时，根据本发明的图像推理处理的次数可以减少到传统方法的20％以下。

(其他实施方式)

上述实施方式中以肝脏的分割、分类为例进行了说明，但本发明当然可以适用于肝脏以外的其他器官及组织结构的分割和分类、以及分割和分类以外的其他图像处理。

上述实施方式中说明的图像处理、分割、分类、深度学习模型和神经网络的训练和推理等均可以采用现有技术中的各种方式实现，这里省略详细的说明。

本发明不仅可以作为上述的图像处理系统实现，还可以作为图像处理方法、程序、存储有图像处理程序的介质来实现。

有关本申请的图像处理系统可以向医用图像诊断装置安装，也可以是图像处理系统单独执行处理的情况。在这样的情况下，图像处理系统具有执行与上述各步骤同样的处理的处理电路、和存储对应于各功能的程序及各种信息等的存储器。并且，处理电路经由网络从例如超声波诊断装置等的医用图像诊断装置或图像保管装置取得二维或三维的医用图像数据，使用所取得的医用图像数据执行上述的处理。这里，处理电路是通过从存储器将程序读出并执行而实现对应于各程序的功能的处理器。

在上述说明中使用的“处理器”的词语，例如是指CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)、或者面向特定用途的集成电路(Application Specific Integrated Circuit：ASIC，专用集成电路)、可编程逻辑器件(例如、单纯可编程逻辑器件(Simple Programmable Logic Device：SPLD)、复合可编程逻辑器件(Complex Programmable Logic Device：CPLD)、及现场可编程门阵列(FieldProgrammable Gate Array：FPGA))等的电路。处理器通过将保存在存储器中的程序读出并执行而实现功能。另外，代替向存储器保存程序而构成为，向处理器的电路内直接装入程序。在此情况下，处理器通过将装入在电路内的程序读出并执行而实现功能。另外，本实施方式的各处理器并不限于按照处理器构成为单一的电路的情况，将多个独立的电路组合而构成为1个处理器，实现其功能。

另外，在上述实施方式的说明中图示的各装置的各构成要素是功能概念性的，并不一定需要在物理上如图示那样构成。即，各装置的分散/合并的具体的形态并不限于图示的形态，可以将其全部或一部分根据各种负荷或使用状况等而以任意的单位在功能上或物理上分散/合并而构成。进而，由各装置进行的各处理功能可以其全部或任意的一部分由CPU及被该CPU解析执行的程序实现，或者作为连线逻辑的硬件实现。

此外，在上述实施方式中说明的处理方法可以通过由个人计算机或工作站等的计算机执行预先准备的处理程序来实现。该处理程序可以经由因特网等的网络而分发。此外，该处理程序也可以记录到硬盘、软盘(FD)、CD－ROM、MO、DVD、USB存储器及SD卡存储器等的Flash存储器等的能够由计算机读取的非暂时性的记录介质中，通过由计算机从非暂时性的记录介质读出来执行。

说明了本发明的几个实施方式，但这些实施方式是作为例子提示的，并非限定发明的范围。这些实施方式能够以其他的各种各样的形态实施，在不脱离发明的主旨的范围内能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围及主旨中，同样包含在本发明和其等价的范围中。