权重图像生成装置、方法及程序、判别器学习装置、方法及程序、区域提取装置、方法及程序以及判别器

技术领域

本发明涉及一种生成表示针对医用图像中所包含的关注区域的权重的权重图像的权重图像生成装置、方法及程序、判别器学习装置、方法及程序、区域提取装置、方法及程序以及判别器。

背景技术

近年来，随着CT(Computed Tomography：计算机断层摄影)装置及MRI(MagneticResonanee Imaging：核磁共振成像)装置等医疗设备的进步，使用更高品质的高分辨度的三维医用图像的图像诊断成为可能。还进行使用利用AI(Artificial Intelligenee：人工智能)技术进行了学习的判别器来自动提取这种三维医用图像中所包含的器官及病变等关注区域。然而，在自动提取关注区域的情况下，有可能发生过度提取及提取不足。在这种情况下，需要修正自动提取的关注区域的边界。

提出了一种自动修正如此提取的关注区域的边界的方法(参考日本特开2009-095644号公报)。另一方面，存在将由现有的判别器自动提取的关注区域用作学习数据来学习能够进行更高度的提取的判别器的情况。在这种情况下，为了提高学习的精度，需修正由现有的判别器提取的关注区域的边界并将其用作精度更高的学习数据。然而，即使使用日本特开2009-095644号公报中所记载的方法修正关注区域的边界，也难以准确地设定关注区域的边界。因此，实际上如下进行的情况较多：显示提取了关注区域的医用图像，并由用户通过手动操作进行关注区域的边界的修正。在通过手动操作修正关注区域的边界时，进行如下处理：显示医用图像，在所显示的医用图像中拖动圆形等光标，由此删除过度提取的区域或者追加提取不足的区域来对边界进行编辑。

发明内容

发明要解决的技术课题

然而，在成为提取对象的关注区域的边界不明确的情况下，存在所意图的关注区域的边界根据进行修正的用户而不同的情况。并且，即使是相同的用户，也存在关注区域的边界根据编辑时刻而变化的情况。并且，在修正边界的工作中，也存在变更用于规定边界的图像的阈值的情况。因此，在关注区域的边界不明确的情况下，在边界上反复进行区域的追加及删除来设定关注区域的边界。另一方面，在将如此设定了边界的关注区域用作学习数据来学习了判别器的情况下，对于由该判别器提取的关注区域，区域的边界也容易变得不稳定。因此，在使用如此学习的判别器的情况下，有可能错误地检测出关注区域。

本发明是鉴于上述情况而完成的，其目的在于能够反映边界的修正来在医用图像中设定区域。

用于解决技术课题的手段

基于本发明的权重图像生成装置具备：

显示控制部，将提取了至少一个关注区域的医用图像显示于显示部；

修正部，根据针对从所显示的医用图像中提取的关注区域的边界的修正指示来修正关注区域的边界；及

图像生成部，对所提取的关注区域设定初始权重系数，并对医用图像中的生成了修正指示的修正区域设定修正权重系数，由此生成对医用图像内的各像素将表示是关注区域的可能性的权重系数作为各像素的像素值的权重图像。

另外，在基于本发明的权重图像生成装置中，图像生成部可以根据修正指示的内容来设定不同的修正权重系数。

并且，在基于本发明的权重图像生成装置中，在修正指示为区域的追加指示的情况下，图像生成部可以对修正区域设定正的修正权重系数，在修正指示为区域的删除指示的情况下，图像生成部可以对修正区域设定负的修正权重系数。

并且，在基于本发明的权重图像生成装置中，在多个关注区域从医用图像中提取的情况下，

修正部可以根据针对多个关注区域各自的修正指示来修正多个关注区域各自的边界，

图像生成部可以对多个关注区域分别设定权重系数。

并且，在基于本发明的权重图像生成装置中，图像生成部可以根据对多个关注区域中的至少一个关注区域的权重系数设定的阈值来设定多个关注区域的边界。

并且，在基于本发明的权重图像生成装置中，在多个关注区域相邻的情况下，图像生成部可以根据对多个关注区域分别设定的权重系数来设定权重图像中的多个关注区域的边界。

并且，在基于本发明的权重图像生成装置中，图像生成部可以根据针对多个关注区域中的一个关注区域的修正指示来对一个关注区域以外的其他关注区域设定修正权重系数。

并且，在基于本发明的权重图像生成装置中，图像生成部可以根据关注区域的种类来设定不同的修正权重系数。

并且，在基于本发明的权重图像生成装置中，在医用图像为三维图像的情况下，图像生成部可以在显示于显示部的医用图像中将针对能够视觉辨认的像素的修正权重系数设为大于针对无法视觉辨认的像素的修正权重系数。

并且，在基于本发明的权重图像生成装置中，还可以具备设定针对权重系数的阈值的阈值设定部，

并且还可以具备从医用图像中提取与权重图像中权重系数为阈值以上的区域相对应的对应区域的对应区域提取部。

基于本发明的判别器学习装置具备：

学习数据获取部，获取由基于本发明的权重图像生成装置生成的权重图像及从医用图像中提取的对应区域的图像来作为学习数据；及

学习部，利用多个学习数据来学习在输入医用图像时输出医用图像中所包含的关注区域的判别结果的判别器。

基于本发明的判别器通过本发明的判别器学习装置进行了学习。

基于本发明的区域提取装置具备：

图像获取部，获取成为关注区域的判别对象的医用图像；及

本发明的判别器，判别医用图像中的关注区域。

另外，在基于本发明的区域提取装置中，还可以具备显示由判别器判别出的关注区域的判别结果的显示控制部。

基于本发明的权重图像生成方法将提取了至少一个关注区域的医用图像显示于显示部，

根据针对从所显示的医用图像中提取的关注区域的边界的修正指示来修正关注区域的边界，

对提取的关注区域设定初始权重系数，并对医用图像中的生成了修正指示的修正区域设定修正权重系数，由此生成对医用图像内的各像素将表示是关注区域的可能性的权重系数作为各像素的像素值的权重图像。

基于本发明的判别器学习方法获取通过基于本发明的权重图像生成方法生成的权重图像及从医用图像中提取的与权重图像中权重系数为阈值以上的区域相对应的对应区域的图像来作为学习数据，

利用多个学习数据来学习在输入医用图像时输出医用图像中所包含的关注区域的判别结果的判别器。

基于本发明的区域提取方法获取成为关注区域的判别对象的医用图像，

利用本发明的判别器判别医用图像中的关注区域。

另外，可以以用于使计算机执行的程序的形式提供基于本发明的权重图像生成方法、判别器学习方法及区域提取方法。

基于本发明的另一权重图像生成装置具备：

内部存储器，存储用于使计算机执行的命令；及

处理器，构成为执行所存储的命令，

处理器执行如下处理：

将提取了至少一个关注区域的医用图像显示于显示部，

根据针对从所显示的医用图像中提取的关注区域的边界的修正指示来修正关注区域的边界，

对所提取的关注区域设定初始权重系数，并对医用图像中的生成了修正指示的修正区域设定修正权重系数，由此生成对医用图像内的各像素将表示是关注区域的可能性的权重系数作为各像素的像素值的权重图像。

基于本发明的另一判别器学习装置具备：

内部存储器，存储用于使计算机执行的命令；及

处理器，构成为执行所存储的命令，

处理器执行如下处理：

获取通过基于本发明的权重图像生成方法生成的权重图像及从医用图像中提取的对应区域的图像来作为学习数据，

利用多个学习数据来学习在输入医用图像时输出医用图像中所包含的关注区域的判别结果的判别器。

基于本发明的另一区域提取装置具备：

内部存储器，存储用于使计算机执行的命令；及

处理器，构成为执行所存储的命令，

处理器执行如下处理：

获取成为关注区域的判别对象的医用图像，

利用本发明的判别器判别医用图像中的关注区域。

发明效果

根据本发明，能够准确地反映边界的修正来在医用图像中设定关注区域。

附图说明

图1是表示适用了基于本发明的实施方式的权重图像生成装置的诊断辅助系统的概要的硬件结构图。

图2是表示基于本发明的实施方式的权重图像生成装置的概略结构的图。

图3是表示显示于显示部的断层图像的图。

图4是用于说明关注区域的边界的修正的图。

图5是用于说明提取不足时的关注区域的边界的修正的图。

图6是用于说明过度提取时的关注区域的边界的修正的图。

图7是表示仅设定有初始权重系数的权重图像的图。

图8是表示修正权重系数之后的权重图像的图。

图9是表示修正权重系数之后的权重图像的图。

图10是用于说明关注区域的边界附近的权重系数的值的分布的图。

图11是表示在提取了对应区域的断层图像中显示有滑块的状态的图。

图12是表示所提取的第1关注区域及第2关注区域相邻的状态的图。

图13是表示对第1关注区域及第2关注区域分别设定有权重系数的权重图像的图。

图14是用于说明第1关注区域与第2关注区域相邻时的使用光标的权重系数的修正的图。

图15是用于说明第1关注区域与第2关注区域相邻时的权重系数的修正的图。

图16是表示在本实施方式中进行的权重图像生成处理的流程图。

图17是用于说明三维图像中的边界的修正的图。

图18是表示球状光标内的断层图像的图。

图19是用于说明在三维图像中修正权重系数时的权重系数的差异的图。

图20是表示内部包括基于本发明的实施方式的判别器学习装置的区域提取装置的概略结构的图。

图21是表示关注区域的判别结果的图。

图22是表示在本实施方式中进行的学习处理的流程图。

图23是表示在本实施方式中进行的区域判别处理的流程图。

具体实施方式

以下，参考附图对本发明的实施方式进行说明。图1是表示适用了基于本发明的实施方式的权重图像生成装置的诊断辅助系统的概要的硬件结构图。如图1所示，在诊断辅助系统中，基于本实施方式的权重图像生成装置1、三维图像摄影装置2及图像保管服务器3经由网络4以可通信的状态连接。

三维图像摄影装置2为通过对受检体的成为诊断对象的部位进行摄影而生成表示该部位的三维图像的装置，具体而言，为CT装置、MRI装置及PET(Positron EmissionTomography：正电子发射计算机断层扫描)装置等。由三维图像摄影装置2生成的三维图像发送到图像保管服务器3中进行保存。另外，在本实施方式中，三维图像摄影装置2为CT装置，其生成包含受检体的成为诊断对象的部位的CT图像来作为三维图像G0。并且，三维图像G0由多个断层图像构成。三维图像G0及构成三维图像G0的多个断层图像对应于本发明的医用图像。

图像保管服务器3为保存并管理各种数据的计算机，其具备大容量外部存储装置及数据库管理用软件。图像保管服务器3经由有线或无线网络4而与其他装置进行通信，并收发图像数据等。具体而言，经由网络获取包括由三维图像摄影装置2生成的三维图像G0的图像数据的各种数据，并保存于大容量外部存储装置等记录介质中进行管理。另外，图像数据的保存形式及经由网络4的各装置之间的通信根据DICOM(Digital Imaging andCommunication in Medicine：医学数字成像与通信)等协议来进行。

权重图像生成装置1是在一台计算机中安装了本实施方式的权重图像生成程序的装置。计算机可以为由进行诊断的医生直接操作的工作站或个人计算机，也可以为经由网络而与它们连接的服务器计算机。权重图像生成程序记录于DVD(Digital VersatileDisc：数字多功能光盘)或CD-ROM(Compact Disc Read Only Memory：光盘只读存储器)等记录介质中来提供，并从该记录介质安装于计算机中。或者，以能够从外部访问的状态存储于连接于网络的服务器计算机的存储装置或网络存储器(storage)中，并根据需要下载并安装于由医生使用的计算机中。

图2是表示通过在计算机中安装权重图像生成程序而实现的基于本实施方式的权重图像生成装置的概略结构的图。如图2所示，权重图像生成装置1中作为标准工作站的结构而具备CPU(Central Processing Unit：中央处理器)11、内部存储器(memory)12及存储器13。并且，权重图像生成装置1上连接有液晶显示器等显示部14以及键盘及鼠标等输入部15。

存储器13由硬盘驱动器等构成，其中存储有经由网络4而从图像保管服务器3获取的三维图像G0及包括处理中所需要的信息的各种信息。

并且，内部存储器12中存储有权重图像生成程序。权重图像生成程序规定如下处理作为使CPU11执行的处理：获取三维图像G0的图像获取处理；从三维图像G0中提取关注区域的关注区域提取处理；将三维图像G0显示于显示部14的显示控制处理；根据针对从所显示的三维图像G0中提取的关注区域的边界的修正指示来修正关注区域的边界的修正处理；对所提取的关注区域设定初始权重系数，并对三维图像G0中的生成了修正指示的修正区域设定修正权重系数，由此生成对三维图像G0内的各像素将表示是关注区域的可能性的权重系数作为各像素的像素值的权重图像的图像生成处理；设定针对权重系数的阈值的阈值设定处理；以及从三维图像G0中提取与由权重图像中权重系数为阈值以上的像素构成的区域相对应的对应区域的对应区域提取处理。

然后，由CPUl1按照程序执行这些处理，由此计算机作为图像获取部21、关注区域提取部22、显示控制部23、修正部24、图像生成部25、阈值设定部26及对应区域提取部27发挥作用。

图像获取部21从图像保管服务器3获取包含关注区域的三维图像G0。关注区域例如为成为诊断对象的、用户所关注的器官、病变、骨骼及软骨等结构物的区域。另外，在三维图像G0已存储于存储器13的情况下，图像获取部21可以从存储器13获取三维图像G0。

关注区域提取部22从三维图像G0中提取关注区域。为此，关注区域提取部22具备以从三维图像G0中提取关注区域的方式进行了机器学习的学习完成模型。学习完成模型由以提取成为诊断对象的器官、病变、骨骼及软骨等结构物作为关注区域的方式进行了深度学习(deep learning)的神经网络构成。若输入三维图像G0，则学习完成模型输出表示三维图像G0的各像素是否为关注区域的判别结果。然后，关注区域提取部22提取由被判别为关注区域的像素构成的区域作为关注区域。

另外，学习完成模型除了由进行了深度学习的神经网络构成以外，也可以由例如支持向量机(SVM(Support Vector Machine))、卷积神经网络(CNN(Convolutional NeuralNetwork))及递归神经网络(RNN(Recurrent Neural Network))等构成。并且，关注区域提取部22并不限定于具备进行了机器学习的学习完成模型。例如，也可以通过模板匹配等来提取关注区域。

显示控制部23将三维图像G0显示于显示部14。在本实施方式中，按照来自输入部15的指示依次显示构成三维图像G0的多个断层图像Dj(j＝1～n；n为断层图像的数量)。然后，在本实施方式中，用户对依次显示的断层图像Dj进行关注区域的边界的修正。图3是表示显示于显示部14的断层图像的图。另外，所显示的断层图像可以为轴向截面、矢状截面及冠状截面中任一截面的断层图像。在本实施方式中，如图3所示，例如显示腹部的轴向截面的一个断层图像Dk。

修正部24根据针对显示于显示部14的断层图像Dk中的关注区域的边界的、由用户发出的修正指示来修正关注区域的边界。图4是用于说明关注区域的边界的修正的图。另外，在图4中，为了说明而放大表示关注区域。如图4所示，在断层图像Dk中包含所提取的关注区域30的边界30L。另外，关注区域30作为掩模而包含于断层图像Dk中。掩模既可以仅表示关注区域30的轮廓，也可以在区域内施加有阴影线，还可以是区域内部由预先规定的颜色覆盖。在以下的说明中，将关注区域30设为在断层图像Dk中被掩模的区域。在此，由关注区域提取部22提取的关注区域30的提取结果未必一定准确，存在与断层图像Dk中所包含的实际的关注区域不一致的情况。例如，存在因过度提取而提取了比实际的关注区域大的关注区域30的情况。相反地，存在因提取不足而提取了比实际的关注区域小的关注区域30的情况。

在这种情况下，用户使用输入部15修正所提取的关注区域30的边界30L。具体而言，若从输入部15输入修正指示，则通过修正部24将圆形的光标40显示于显示部14。用户使用输入部15的鼠标移动光标40来进行修正指示，以使关注区域30的边界30L与实际的关注区域的边界一致。修正部24按照由用户发出的修正指示来修正关注区域30的边界30L。另外，光标40的形状并不限定于圆形，也能够设为矩形、三角形及箭头形状等任意的形状。

图5是用于说明提取不足时的关注区域的边界的修正的图。如图5所示，关于相对于实际的关注区域31而言，关注区域30的提取不足的区域A10，一边进行追加区域的指示，一边使光标40的外缘沿着实际的关注区域31的边界31L而例如沿箭头B的方向移动，由此进行将不足的区域A10追加到关注区域30中的指示。另外，追加区域的指示例如能够设为构成输入部15的鼠标的左键单击或预先规定的光标按下与鼠标单击的组合等，但并不限定于这些。

图6是用于说明过度提取时的关注区域的边界的修正的图。如图6所示，关于相对于实际的关注区域31而言，第1关注区域30过度提取的区域A11，一边进行删除区域的指示，一边使光标40的外缘沿着实际的关注区域31的边界31L移动，由此进行从关注区域30中删除过度提取的区域A11的指示。另外，删除区域的指示例如能够设为构成输入部15的鼠标的右键单击或预先规定的光标按下与鼠标单击的组合等，但并不限定于这些。

图像生成部25对所提取的关注区域设定初始权重系数，并对三维图像G0即断层图像Dk中的生成了修正指示的修正区域设定修正权重系数。然后，图像生成部25由此生成将表示是关注区域的可能性的权重系数作为各像素的像素值的权重图像W0。另外，权重图像W0的各像素对应于三维图像G0的各像素。在本实施方式中，例如将初始权重系数设为100，将对通过修正而追加的区域设定的修正权重系数设为+4，将对通过修正而删除的区域设定的修正权重系数设为-4。另外，初始权重系数及修正权重系数的值并不限定于这些值。例如，作为初始权重系数，也可以设为负值。并且，例如可以对所追加的区域设定负的修正权重系数，对所删除的区域设定正的修正权重系数。并且，也可以将修正权重系数设为正值，且使针对所追加的区域的修正权重系数的值大于针对所删除的区域的修正权重系数的值。

图7是表示仅设定有初始权重系数的权重图像W0的图。如图7所示，在权重图像W0中，被边界30L包围的与关注区域30相对应的区域的权重系数成为100，除此以外的区域的权重系数成为0。

另一方面，在图7所示的权重图像W0中，在如图5所示那样进行了追加区域A10的修正的情况下，对光标40所通过的区域设定+4的修正权重系数。即，对光标40所通过的从关注区域30的边界30L起内侧的部分设定+4的修正权重系数，因此该部分的权重系数成为104。并且，对光标40所通过的从关注区域30的边界30L起外侧的部分没定+4的修正权重系数，因此该部分的权重系数成为4。其结果，权重图像W0中的权重系数成为图8所示的值。

并且，在图7所示的权重图像W0中，在如图6所示那样进行了删除区域A11的修正的情况下，对光标40所通过的区域设定-4的修正权重系数。即，对光标40所通过的从关注区域30的边界30L起内侧的部分设定-4的修正权重系数，因此该部分的权重系数成为96。并且，对光标40所通过的从关注区域30的边界30L起外侧的部分设定-4的修正权重系数，因此该部分的权重系数成为-4。其结果，权重图像W0中的权重系数成为图9所示的值。

在此，在断层图像Dk中，在成为提取对象的关注区域30的边界不明确的情况下，存在所意图的关注区域30的边界根据进行修正的用户而不同的情况。并且，即使是相同的用户，也存在关注区域30的边界根据编辑时刻而变化的情况。并且，在修正边界的工作中，也存在变更用于规定边界的图像的阈值的情况。在这种情况下，为了提高关注区域提取部22所具备的判别器的学习精度，需修正关注区域30的边界而获取更高精度的学习数据。因此，在从断层图像中提取的关注区域30的边界不明确的情况下，用户反复进行在关注区域30的边界上追加区域或删除区域的编辑来确定关注区域30的边界。其结果，如图10所示，权重图像W0成为权重系数的值在关注区域的边界附近以等高线状分布的图像。

阈值设定部26设定用于提取权重图像W0中的关注区域的阈值。具体而言，通过由用户从输入部15进行输入来设定阈值即可。

在权重图像W0中，对应区域提取部27将阈值设定部26所设定的为阈值以上的区域的边界设定为关注区域30的边界，并从生成了权重图像W0的断层图像Dk(或三维图像G0)中提取与由权重图像W0中的权重系数为阈值以上的像素构成的区域相对应的区域作为对应区域。例如，在权重图像W0中的权重系数为如图10所示的值且将阈值设定为100的情况下，将权重系数为100的区域与96的区域的边界作为关注区域的边界而从断层图像Dk(或三维图像G0)中提取对应区域。

另外，也可以将对应区域提取部27所提取的对应区域显示于显示部14，并接收由看到所显示的对应区域的用户进行的阈值的变更。在该情况下，如图11所示，可以在显示部14显示滑块26A，并根据通过输入部15输入的滑动滑块26A的指示来接收阈值的变更。在此，在图11所示的滑块26A中，能够在50至100之间设定阈值。在该情况下，若通过滑块26A来变更阈值，则所提取的对应区域29的尺寸根据所设定的阈值而变更。即，若减小阈值，则所提取的对应区域29的尺寸变大，若增大阈值，则所提取的对应区域29的尺寸变小。

对应区域提取部27将由图像生成部25所生成的权重图像W0与对应区域建立对应关系而保存于存储器13中。或者，经由网络4而保管在图像保管服务器3等外部的保管装置中。另外，权重图像W0是分别针对三维图像G0中所包含的断层图像Dj生成的，因此保管的权重图像W0为三维图像。并且，对应区域也与权重图像W0同样为三维图像。

另外，存在在断层图像Dk中提取多个关注区域的情况。如此，在提取了多个关注区域的情况下，存在关注区域彼此相邻的情况。在这种情况下，对相邻的多个关注区域分别进行修正指示即可。例如，如图12所示，在第1关注区域31与第2关注区域32相邻的情况下，通过修正部24对第1关注区域31及第2关注区域32分别单独进行修正。由此，图像生成部25在权重图像W0中设定对第1关注区域31的第1权重系数，并设定对第2关注区域32的第2权重系数。图13是表示对第1关注区域31及第2关注区域分别设定有权重系数的权重图像的图。

另一方面，在第1关注区域31与第2关注区域32相邻的部分，可以将第1关注区域31及第2关注区域32中的任一关注区域的边界的修正反映在另一个关注区域的边界的修正中。例如，如图14所示，在使用光标40对第1关注区域31追加了区域A12的情况下，关于第1关注区域31，区域A12的权重系数为104。另一方面，在第1关注区域31与第2关注区域32相邻的部分，将第2关注区域32中的光标40所通过的区域(在图14中用虚线表示)的权重系数例如设为-2。由此，在图15所示的权重图像W0中，关于第1关注区域31，与第1关注区域31相对应的区域的中央附近的权重系数成为100，其外侧的权重系数成为104。另一方面，关于第2关注区域32，与第2关注区域32相对应的区域的中央附近的权重系数成为100，用斜线表示的光标40所通过的区域的权重系数成为98。另外，在图15中，在第1关注区域31与第2关注区域32相接的部分，仅示出第2关注区域32中的权重系数“98”。

在如此生成了权重图像W0的情况下，第1关注区域31与第2关注区域32的边界根据用于提取关注区域的阈值而不同。即，若将针对第2关注区域32的边界的阈值设为100，则第1关注区域31与第2关注区域32相邻的部分的边界成为线L1所示。并且，若将针对第2关注区域32的边界的阈值设为98，则第1关注区域31与第2关注区域32相接的部分的边界成为线L2所示。

接着，对本实施方式中所进行的权重图像生成处理进行说明。图16是表示在本实施方式中进行的权重图像生成处理的流程图。首先，图像获取部21获取三维图像G0(步骤ST1)。接着，关注区域提取部22从三维图像G0中提取关注区域(步骤ST2)。然后，显示控制部23将构成三维图像G0的多个断层图像Dj中的一个断层图像Dk显示于显示部14(步骤ST3)。

然后，修正部24根据用户使用输入部15输入的针对所提取的关注区域30的边界30L的修正指示来修正在断层图像Dk中提取的关注区域30的边界30L(步骤ST4)。根据修正部24的修正指示，图像生成部25生成权重图像(步骤ST5)。然后，判定是否生成了结束修正的指示(步骤ST6)，若步骤ST6被否定，则返回到步骤ST4。若步骤ST6被肯定，则阈值设定部26根据用户的指示来设定针对权重系数的阈值(步骤ST7)。然后，对应区域提取部27从断层图像Dk中提取与由权重图像W0中的为阈值以上的权重系数的像素构成的区域相对应的对应区域(步骤ST8)，并结束处理。

如此，在本实施方式中，将三维图像G0即断层图像Dk显示于显示部14，并接收针对所显示的断层图像Dk中的关注区域的边界的修正指示。并且，对所提取的关注区域设定初始权重系数，并对断层图像Dk中的生成了修正指示的修正区域设定修正权重系数，由此，生成对断层图像Dk内的各像素将表示是关注区域的权重的权重系数作为各像素的像素值的权重图像W0。在如此生成的权重图像W0中，关注区域具有与修正指示相对应的像素值。因此，根据权重图像W0的像素值，能够识别权重图像W0中的是关注区域的可能性。因此，根据本发明，通过参考权重图像W0，能够反映边界的修正来在断层图像Dk、进而在三维图像G0中设定关注区域。

另外，在上述实施方式中，依次显示构成三维图像G0的断层图像Dk来进行关注区域的修正及权重图像的生成。然而，也可以通过例如周知的投影法投影三维图像G0而显示于显示部14，并对所显示的三维图像G0进行关注区域的修正及权重图像W0的生成。

图17是用于说明三维图像G0中的边界的修正的图。如图17所示，在三维图像G0的投影图像G1中以二维状投影有呈三维形状的关注区域30。用户在所显示的投影图像G1中使用球状的光标41来修正边界，但实际显示于显示部14的是二维的投影图像G1，因此在投影图像G1上光标41看似圆形。因此，用户使用看似圆形的光标41在投影图像G1中修正关注区域30的边界。

在如此进行边界的修正的情况下，在三维图像G0上，如图18所示，在球状的光标41内沿纵深方向包含多个断层图像(在此为4个)D1～D4。在该情况下，在所显示的投影图像G1中将针对能够视觉辨认的像素的权重系数设为大于针对无法视觉辨认的像素的权重系数即可。例如，如图19所示，可以在投影图像G1中能够视觉辨认的断层图像D1中，将所追加的区域的修正权重系数设为+10，对于无法视觉辨认的断层图像D2～D4，越远离断层图像D1，则将修正权重系数依次减小至+8、+6、+4。

并且，在上述实施方式中，也可以根据关注区域的种类来设定不同的修正权重系数。例如，肺相关疾病虽有几十种，但能够将几十种疾病分类为小分类、中分类及大分类。在该情况下，与针对小分类的修正相比，针对大分类的修正对于关注区域的分类的影响更大。因此，优选将针对大分类的修正权重系数设为大于真能对小分类的修正权重系数。

接着，对本发明的判别器学习装置、判别器及区域提取装置的实施方式进行说明。图20是表示内部包括通过在计算机中安装判别器学习程序及区域提取程序而实现的判别器学习装置的区域提取装置的概略结构的图。如图20所示，区域提取装置50中作为标准工作站的结构而具备CPU51、内部存储器52及存储器53。并且，在区域提取装置50上连接有液晶显示器等显示部54以及键盘及鼠标等输入部55。

内部存储器52中存储有判别器学习程序及区域提取程序。判别器学习程序规定如下处理作为使CPU51执行的处理：获取由基于本实施方式的权重图像生成装置1生成的权重图像W0及从权重图像W0中提取的对应区域的图像来作为学习数据的学习数据获取处理；以及利用多个学习数据来学习在输入三维图像G0时输出三维图像G0中所包含的关注区域的判别结果的判别器的学习处理。并且，区域提取程序规定如下处理作为使CPU51执行的处理：获取成为关注区域的判别对象的三维图像G0的图像获取处理；及显示由判别器判别出的关注区域的判别结果的显示控制处理。

然后，由CPU51按照程序执行这些处理，由此计算机作为学习数据获取部61、学习部62、判别器63、图像获取部64及显示控制部65发挥作用。

学习数据获取部61从图像保管服务器3获取由权重图像生成装置1生成的权重图像W0及从三维图像G0中提取的对应区域的图像来作为学习数据。另外，在学习数据已存储于存储器13的情况下，学习数据获取部61可以从存储器13获取学习数据。

学习部62利用多个学习数据来学习用于在输入三维图像G0时判别三维图像G0中的关注区域的判别器63。在本实施方式中，在输入成为关注区域的提取对象的三维图像G0时，判别器63输出三维图像G0中所包含的关注区域的判别结果。具体而言，判别器63判别成为判别对象的三维图像G0的各体素是在关注区域还是在关注区域以外的区域，并输出其判别结果。因此，学习部62由多个学习数据(即，权重图像W0及对应区域的图像)获取预先规定的尺寸(例如3×3等)的区域内的特征量，并将所获取的特征量输入到判别器63中，进行判别器63的学习即机器学习，以输出关注区域的判别结果。另外，判别结果是例如以百分比表示了三维图像G0中所包含的各像素是关注区域的可能性的数值。并且，学习进行至预先规定的次数或关注区域的判别结果成为预先规定的可能性(例如99％)为止。

通过如此进行学习，生成如下判别器63：在输入三维图像G0时，将三维图像G0的体素分类为关注区域和关注区域以外的区域来判别三维图像G0中的关注区域。

另外，作为判别器63，能够使用支持向量机、深度神经网络、卷积神经网络及递归神经网络等。

图像获取部64从图像保管服务器3获取成为关注区域的提取对象的三维图像G0。另外，在三维图像G0已存储于存储器13的情况下，图像获取部64可以从存储器13获取三维图像G0。

显示控制部65将由判别器63判别出的关注区域的判别结果显示于显示部54。具体而言，在三维图像G0中强调显示所判别出的关注区域。图21是表示关注区域的判别结果的图。如图21所示，通过在三维图像G0中的一个断层图像Dk中对所判别出的关注区域70赋予阴影线来强调显示关注区域70。另外，代替阴影线的赋予，也可以利用轮廓线包围关注区域70来强调显示关注区域，也可以通过掩模关注区域70以外的区域来强调显示关注区域70。

接着，对本实施方式中的学习处理进行说明。图22是表示在本实施方式中进行的学习处理的流程图。首先，学习数据获取部61获取学习数据(步骤ST11)。接着，学习部62利用多个学习数据来学习在输入三维图像G0时判别三维图像G0中的关注区域的判别器63(步骤ST12)，并结束处理。

接着，对本实施方式中的区域判别处理进行说明。图23是基于本实施方式的区域判别处理的流程图。首先，图像获取部64获取成为关注区域的判别对象的三维图像G0(步骤ST21)。然后，判别器63判别三维图像G0中的关注区域(步骤ST22)。接着，显示控制部65显示由判别器63判别出的关注区域的判别结果(步骤ST23)，并结束处理。

另外，在上述实施方式中，权重图像生成装置具备关注区域提取部22，但并不限定于此。也可以在经由网络4而与权重图像生成装置连接的单独的装置中提取关注区域。并且，要获取的三维图像G0也可以为已提取了关注区域的三维图像。

并且，在上述实施方式中，例如作为图像获取部21、关注区域提取部22、显示控制部23、修正部24、图像生成部25、阈值设定部26、对应区域提取部27、学习数据获取部61、学习部62、判别器63、图像获取部64及显示控制部65等执行各种处理的处理部(ProcessingUnit)的硬件结构，能够使用以下所示的各种处理器(Processor)。上述各种处理器中除了包括如上所述的执行软件(程序)来作为各种处理部发挥作用的通用的处理器即CPU以外，还包括FPGA(Field Programmable Gate Array(现场可编程阵列))等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定的处理而以专用设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。并且，也可以由一个处理器构成多个处理部。

作为由一个处理器构成多个处理部的例子，第1，如以用户端及服务器等计算机为代表那样，有如下方式：以一个以上的CPU与软件的组合构成一个处理器，且该处理器作为多个处理部发挥作用。第2，如片上系统(System On Chip：SoC)等为代表那样，有如下方式：使用由一个IC(Integrated Circuit：集成电路)芯片实现包含多个处理部的系统整体的功能的处理器。如此，各种处理部作为硬件结构使用上述各种处理器中的一个以上而构成。

另外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件组合而成的电路(Circuitry)。

符号说明

1-权重图像生成装置，2-三维图像摄影装置，3-图像保管服务器，4-网络，11、51-CPU，12、52-内部存储器，13、53-存储器，14、54-显示器，15、55-输入部，21-图像获取部，22-关注区域提取部，23-显示控制部，24-修正部，25-图像生成部，26-阈值设定部，26A-滑块，27-区域提取部，29-对应区域，30-关注区域，30L-关注区域的边界，31-第1关注区域，32-第2关注区域，50-区域提取装置，61-学习数据获取部，62-学习部，63-判别器，64-图像获取部，65-显示控制部，70-所判别出的关注区域，A10-不足的区域，A11-过度提取的区域，A12-追加的区域，Dk、D1～D4-断层图像，L1、L2-表示边界的线，W0-权重图像。