诊断结果生成系统及其方法

技术领域

本发明涉及一种诊断结果生成系统及其方法。具体来说，一种可以将通过生物组织图像对疾病进行诊断的结果以机器和人类都能理解的形式输出的系统及其方法。

背景技术

病理学或病理科主要工作之一就是读取患者的生物图像，所进行的诊断是判断特定疾病的状态或征兆。这种诊断方式长期依赖于医务人员丰富的经验和知识。

近期，随着机器学习的发展，正在积极尝试通过计算机实现识别或分类图像等工作任务的自动化。尤其是，正在尝试利用机器学习的一种即神经网络(例如，使用卷积神经网络(Convolution neural network，CNN)的深度学习方法)使以往由资深医务人员熟练操作的诊断工作实现自动化。

特别是，通过使用神经网络(例如CNN)深度学习而进行的诊断，并不只是使以往资深医务人员的丰富经验和知识实现自动化，而是通过自学找到特征因素并推导出想要的答案，有时候反而能在图像中发现资深医务人员所不了解的疾病因素的特征。

通常，通过基于生物图像的神经网络诊断疾病时会使用生物图像的碎片，即图像块(patch，也称为图像块(tile))。也就是说，熟知该图像子块的医务人员将对特定疾病的状态(例如，癌症是否表达)进行注记(annotation)，并将这些已注记的大量的图像子块用作训练数据来学习神经网络。此时，所述神经网络可以是卷积神经网络。

但是，在这种方式下，经学习的神经网络只能根据对应图像子块的图像特征来判断该图像子块的疾病状态，而实际上，针对特定疾病判断特定生物组织的状态时，不仅要考虑所述特定生物组织本身，还要考虑所述特定生物组织的周围组织的状态(例如，形状、特定模式是否存在等)。但是，传统方式的不足之处是并不适用于此类情况。

另一方面，在传统的学习中，生物图像或图像块的颜色本身将作为输入数据输入。也就是说，通常由RGB的三个通道值定义的输入数据将被直接使用。

但是，在这种情况下，根据与生物图像相对应的生物组织染色所用的染色试剂的特性，经染色的组织的颜色可能会各不相同，这将直接影响到学习的神经网络。

因此，可能有必要强化神经网络的学习方式，以应对这种并非根源性组织图像特征的因染色等导致的非根源性颜色特征。

另外，根据图像块单元的诊断结果，按照各图像块判断疾病表达与否，当每一图像块的诊断结果直接可视化时，实际上可能会发生不是组织(细胞组织)的那部分也被可视化的问题。因此，可能需要一种能够精确掌握确诊为疾病的组织部分的可视化方法。

另一方面，对生物组织进行诊断后，为了便于该结果的管理或是与其他关联系统共享，需要以适当的方式和格式组织该诊断结果。

*先前的技术文献

-专利文献

韩国公开专利10-2016-0034814“伴随神经网络的客户端设备和包含该设备的系统”。

发明内容

技术课题

本发明旨在攻克的技术课题是提供一种将所述特定图像块以及周围图像块用于学习，使准确率得到进一步提高的基于神经网络的诊断系统及其方法，以判断有关特定图像块的疾病的状态(例如，疾病表达与否或显现疾病状态的指标等)。

另外，提供一种诊断系统及其方法，所利用的神经网络在诊断疾病表达与否时，具备非根源性图像特征的强烈的颜色特征。

另外，还提供了一种能够精确掌握疾病表达的组织部位的可视化方法以及可执行该方法的基于神经网络的诊断系统。

另外，提供一种系统及其方法，能够将基于生物组织的图像进行疾病诊断的结果用机器和人类都能理解的形式输出。

技术解决方法

根据本发明的一个方面，提供了一个诊断结果生成系统，包括：注记信息生成模块，生成体现生物图像幻灯片上是否存在疾病的诊断结果的注记信息的-其中，所述注记信息包括所述幻灯片的每一像素的疾病状态信息-；轮廓提取模块，从所述注记信息中提取至少一个轮廓；以及XML生成模块，生成包括所提取的至少一个轮廓的每一轮廓线信息的XML文档。

在一个实施例中，所述疾病状态信息可以包括正常、格利森模式3，格利森模式4和格利森模式5。

在一个实施例中，所述XML文档可以进一步包含提取的所述至少一个轮廓的各疾病状态信息。

在一个实施例中，其特征可以是所述疾病是前列腺癌。

在一个实施例中，所述诊断结果生成系统进一步包括利用所述幻灯片和神经网络输出所述疾病是否存在的诊断结果的诊断系统，所述注记信息生成模块可以根据所述诊断系统输出的诊断结果生成所述注记信息。

在一个实施例中，所述诊断系统包括：图像块神经网络，生成所述幻灯片分割为预设大小的每一个预设图像块是否存在疾病的图像块级别诊断结果；热图生成模块，基于所述幻灯片中包含的多个图像块中的每一图像块诊断结果而生成与所述幻灯片相对应的图像块级别热图图像；组织掩模图像生成模块，基于与所述幻灯片相对应的HSV(Hue-Saturation-Value)模型，生成与所述幻灯片相对应的组织掩模图；以及诊断结果可视化模块，基于所述图像块级别热图图像和所述组织掩模图像生成与所述幻灯片相对应的诊断结果。

在一个实施例中的所述组织掩膜生成模块，针对与所述幻灯片相对应的S空间进行图像二值化并生成第1二值化结果(这里，与所述幻灯片相对应的S空间是指与所述幻灯片相对应的HSV模型的饱和度值(Saturation)空间)，针对与所述幻灯片相对应的`1-V空间进行图像二值化并生成第2二值化结果(这里，与所述幻灯片相对应的V空间是所述幻灯片相对应的HSV模块的名义值(value)空间)，基于所述第1二值化结果和所述第2二值化结果可生成所述幻灯片相对应的组织掩膜图像。

在一个实施例中的所述诊断结果可视化模块，可以将条件随机场(ConditionalRandom Field)应用于所述图像块级别热图图像和所述组织掩膜面膜图像，从而生成与所述幻灯片相对应的疾病诊断可视化图像。

根据本发明的另一方面，提供一种诊断结果生成方法，包括：注记信息步骤，生成体现生物图像幻灯片上疾病是否存在这一诊断结果的注记信息(其中，所述注记信息所述注记信息包括所述幻灯片上每一像素的疾病状态信息)；轮廓提取步骤，从所述注记信息中提取至少一个轮廓；以及XML生成步骤，生成包含所提取的至少一个轮廓的轮廓线信息的XML文档。

在一个实施例中，所述诊断结果生成方法进一步包括：使用所述幻灯片和神经网络输出所述疾病是否存在的诊断结果的诊断步骤，而所述注记信息生成步骤可以包括根据所述诊断系统输出的诊断结果生成所述注记信息的步骤。

在一个实施例中，所述诊断步骤包括：图像块级别诊断步骤，使用神经网络生成所述幻灯片分割为预设大小的每一个预设图像块是否存在疾病的图像块级别诊断结果；热图生成步骤，基于所述幻灯片中包含的多个图像块中的每一图像块诊断结果，生成与所述幻灯片相对应的图像块级别热图图像；组织掩模图像生成步骤，基于与所述幻灯片相对应的HSV(Hue-Saturation-Value)模型，生成与所述幻灯片相对应的组织掩模图；以及诊断结果可视化步骤，基于所述图像块级别热图图像和所述组织掩模图像，生成与所述幻灯片相对应的诊断结果。

在一个实施例中，所述组织掩膜的生成步骤包括：对与所述幻灯片相对应的S空间进行图像二值化并生成第1二值化结果的步骤(这里，与所述幻灯片相对应的S空间是指与所述幻灯片相对应的HSV模型的饱和度值(Saturation)空间)；对与所述幻灯片对应的`1-V空间进行图像二值化并生成第2二值化结果的步骤(其中，与所述幻灯片对应的V空间是与所述幻灯片相对应的HSV模型的名义值(Value)空间)；以及基于所述第1二值化结果和所述第2二值化结果生成与所述幻灯片对应的组织掩膜图像的步骤。

在一个实施例中，所述诊断结果可视化步骤可以将条件随机场(ConditionalRandom Field)应用于所述图像块级别热图图像和所述组织掩膜图像，从而生成与所述幻灯片相对应的疾病诊断可视化图像。

根据本发明的另一方面，提供一种计算机程序，为了实施所述方法，安装在数据处理装置中，且记录在媒介上。

发明的效果

根据本发明的技术思想，在对特定图像块进行诊断时，所考虑的是一种宏观图像块，即不仅包括所述特定图像块，还包括周边图像块，提供能够判断所述特定图像块疾病状态的神经网络，从而有效提供更高的诊断精确度。

此外，根据本发明的技术思想，所输入的输入数据，不仅有图像块的原始颜色值(例如，RGB 3通道值)，同时还将灰度值作为输入数据使用，所以可以防止忽略仅使用灰度值时可能发生的颜色差异所体现的与疾病相关的图像特征，同时在疾病表达与否的诊断中，可能具备颜色的多种因素引起的变量上(variaton)强烈的特征，而非根源性图像特征。

另外，根据本发明的技术思想，所产生的效果是在判断疾病表达的图像块内，只有组织部分可以被区分并可视化。

此外，根据本发明的技术思想，通过生物组织图像对疾病进行诊断的结果能够以机器和人类都能理解的形式输出。

附图说明

为了更好地理解本发明的具体阐述中引用的图表，提供了每个附图的简要说明。

图1所示的是本发明技术思想涉及的诊断结果生成系统的系统结构概略图。

图2a所示的是本发明技术思想涉及的诊断结果生成系统的逻辑结构示意图。

图2b是本发明技术思想涉及的一种使用神经网络的疾病诊断系统的逻辑结构示意图。

图3是本发明的实施例涉及的诊断结果生成系统的硬件结构示意图。

图4a是在幻灯片上注记疾病区域的图像示意图。

图4b是本发明的一个实施例涉及的诊断结果生成系统所生成的XML文档的一个示例的示意图。

图5是本发明的实施例涉及的神经网络的示范性结构的示意图。

图6是本发明的另一个实施例涉及的神经网络的示范性结构的示意图。

图7a是幻灯片的一个示例的示意图。

图7b是图7a中幻灯片的热图的一个示例的示意图。

图7c是关于图7a中幻灯片的组织掩膜图像的一个示例的示意图。

图7d是诊断为疾病的部位的可视化结果图像的一个示例的示意图。

具体实施方式

本发明可以进行多种转换，可以有多种实施例，将在图纸上举例说明特定实施例，并在详细说明中进行具体阐述。但是，这并不是要将本发明限定于特定的实施形式，而应理解为包含在本发明思想及技术范围内的所有转换、等价物或替代物。在对本发明进行说明时，在认为有关已知技术的具体说明反而会使本发明的要点含糊时，则省略详细说明。

第一、第二等术语可以用于说明各种组件，但所述组件不能被所述术语限制。所述术语仅用于将一个组件与其他组件区分开来。

本申请中使用的术语只是用于说明特定实施例，并不是要限制本发明。单数的表达包括复数的表达，除非上下文中有明显不同的意思。

本说明书中“包含”或“具有”等术语是指说明书中记载的特征、数字、步骤、动作、组件、零件或它们的组合的存在，应理解为并不是事先排除一个或多个其他特征、数字、步骤、动作、组件、零件或它们的组合的存在或附加可能性。

另外，在本说明书中，一个组件将数据“传输”到另一个组件时，则意味着所述组件可以直接将所述数据传输到所述其他组件，也可以通过至少一个其他组件将所述数据传输到所述其他组件。相反，如果任意一个组件将数据“直接传输”到另一个组件，则意味着所述数据将从所述组件传输到其他组件，而并非通过其他组件。

以下，参照所附图纸，围绕本发明的实施例详细说明本发明。每个图形中提供的相同参考符号代表相同的部件。

本发明的技术思想涉及的诊断结果生成方法可以通过诊断结果生成系统执行。

图1所示的是本发明技术思想涉及的诊断结果生成系统的系统结构概略图。

参照图1，本发明的技术思想涉及的诊断结果生成系统100可以安装在预设服务器10上以实现本发明的技术思想。所述服务器10是指具有可实现本发明技术思想的计算能力的数据处理装置，可将通常可通过网络将客户端可以连接的数据处理装置以及个人计算机、移动终端等能够执行特定服务的任何设备定义为服务器，本发明技术领域的普通专家能够轻易地推断出这一点。

如图3所示，所述服务器10可以包括处理器11和存储器12。所述处理器11可以指能够驱动实现本发明技术思想的程序(12-1)的运算装置。所述处理器11可以生成特定疾病(如前列腺癌)的诊断结果。诊断结果可包括当生物组织图像幻灯片上存在疾病时，有关具体疾病部位的信息和/或各部位的疾病状态信息(例如疾病的进展程度等)。

另外，所述处理器11可以利用所述程序(12-1)和神经网络(Nerual Network，12-2)进行诊断。如下所述，所述神经网络(12-2)可以包括进行图像块级别诊断的图像块神经网络。

所述存储器12可指存储所述程序(12-1)和神经网络(12-2)的数据存储手段，也可以根据实施例通过多种存储手段实现。另外，所述存储器12所指的不仅包括所述服务器10中包括的主存储器，还包括所述处理器11中可能包括的临时存储器或内存等。

虽然所述诊断结果生成系统100在图1或图3中所示的是通过任何一个物理设备实现的，但本发明技术领域的普通专家将能够容易地推断出，可以按照本发明的技术思想并根据需要将多个物理设备有机地组合以实现诊断结果生成系统100。

在本说明书中，所述诊断结果生成系统100生成诊断结果可以指生成包括被诊断为疾病的部位的注记信息的电子形式文档的一系列过程。特别是，所述诊断结果生成系统100可以生成体现诊断结果的注记信息等可扩展注记语言(XML，eXtensible MarkupLanguage)形式的文档。XML文档是以人类和机器(计算机)都能识别的格式编码的文档，可以通过万维网联盟(WWWC，World Wide Web Consortium)以标准化的方式实现。

在一个实施例中，所述诊断结果生成系统100也可以利用生物组织图像幻灯片由人类或其他系统进行诊断，然后用经注记的被判断为疾病的部位这一结果生成XML文档。也就是说，对疾病诊断本身是由人类或其他系统执行的，只有以XML文档的形式输出的功能才由所述诊断结果生成系统100执行。

另一方面，在另一个实施例中，所述诊断结果生成系统100可以通过幻灯片直接对疾病进行诊断，并以XML文档的形式输出诊断结果。

所述诊断结果生成系统100在直接执行诊断时，所述诊断结果生成系统100可以通过输入生物组织表达的生物图像，即幻灯片的全部或所述幻灯片的部分图像块，执行输出本说明书中定义的输出数据的一系列过程，对此将在后文进行阐述。

如果所述诊断结果生成系统100包含在预设的服务器10中并实施时，则所述诊断结果生成系统100还可以与至少一个可连接到所述服务器10的客户端(例如，20、20-1)进行通信。在这种情况下，所述客户端(例如，20，20-1)可以将生物图像传输到所述诊断结果生成系统100，所述诊断结果生成系统100可以对所传输的生物图像执行基于本发明的技术思想的诊断。而且，诊断结果也可以被发送到所述客户端(例如，20，20-1)。

图2a是本发明一个实施例涉及的诊断结果生成系统的逻辑结构示意图。

参考图2a，所述诊断结果生成系统100可以包括注记信息生成模块110、轮廓提取模块120、XML生成模块130。根据实施例，所述诊断结果生成系统100还可以包括诊断系统200。根据名义实施例，上述组件中的某些部分可能不一定属于实施本发明所必需的组件，并且根据实施例，所述诊断结果生成系统100理应有可能包含更多的组件。例如，所述诊断结果生成系统100可以进一步包含用于与所述客户端(例如，20、20-1)通信的通信模块(未图示)。

所述诊断结果生成系统100可以指具有实现本发明技术思想所需的硬件资源(resource)和/或软件的逻辑性配置，并不一定意味着一个物理组件或一个设备。也就是说，所述诊断结果生成系统100可以是指为实现本发明的技术思想而具备的硬件和/或软件的逻辑结合，必要时可以配置为安装在彼此间隔的设备上，执行各自的功能，以实现本发明的技术思想的逻辑组件的集合。此外，所述诊断结果生成系统100还可以指为实现本发明技术思想的按各自的功能或作用而配置的各组件集合。所述注记信息生成模块110、轮廓提取模块120、XML生成模块130和/或所述诊断系统200可分别处于各不相同的物理装置，也可处于同一物理装置。根据另一个实施例，分别构成所述注记信息生成模块110、轮廓提取模块120、XML生成模块130和/或所述诊断系统200的软件和/或硬件的结合也可以处于互不相同的物理装置，处于各不相同的物理装置的各组件可以相互有机组合并配置成各所述模块。

此外，本说明书中的模块可以指用于执行本发明技术思想的硬件和用于驱动所述硬件的软件在功能上和结构上的组合。例如，所述模块可以指用于执行预设代码和所述预设代码的硬件资源(resource)的逻辑单元，并不一定指物理连接的代码或是一种硬件，这一点本发明技术领域的普通专家很容易推论。

所述注记信息生成模块110可以生成体现生物图像-幻灯片上是否存在疾病的诊断结果的注记信息。这时，注记信息可以包含所述幻灯片中各像素的疾病状态信息。

例如，如果幻灯片由N*M的像素组成，则与所述幻灯片相对应的注记信息是N*M的矩阵形式，矩阵中的每个值都可以有相应像素的状态信息。

另一方面，所述疾病状态可以包括正常、格里森模式3、格里森模式4和格里森模式5，注记信息可以具有与特定状态相对应的值。例如，所述注记信息中包含的每个疾病状态信息，所对应的像素为正常时，值可能为0，是格里森模式3时，则值可能为1，是格里森模式4时，则值为2，是Glisson模式5时，则值为3。

图4a是在幻灯片上疾病区域被注记的图像的示意图。如图4a所示，疾病区域可以根据疾病状态注记为特定的颜色。所述注记信息生成模块110可以将被注记的区域中与各像素相对应的注记信息的值设定为与相应像素的疾病状态所对应的值，从而生成注记信息。

所述轮廓提取模块120可以从所述注记信息中提取至少一个轮廓。在幻灯片中，每个被注记为疾病的个别区域都可以提取轮廓。

另一方面，所述XML生成模块130可以生成包含幻灯片诊断结果(更详细地说，是称为疾病区域的注记结果)的XML文档。

生成的XML文档可以包含由所述轮廓提取模块120提取的所述至少一个轮廓的各轮廓线信息。另外，所述XML文档可以进一步包含提取的所述至少一个轮廓的每个疾病状态信息。

图4b是所生成的XML文档的一个示例的示意图。在图4b所示的实施例中，每个注记区域可以由名为的标记来区分，相应区域的疾病状态信息可以指定为名为class的参数。另一方面，构成与该注记区域相对应轮廓的轮廓线的各个点可以通过至少一个<坐标，Coordinate>标记存储。

如上所述，根据本发明的技术思想，对幻灯片的诊断结果可以被分类至不同的注记区域，并通过标准化的格式以XML的形式生成。XML文档是人类和机器都能识别的一种文档形式，因此便于其他诊断者通过其掌握诊断结果，并可与其他系统轻松共享诊断结果。

另一方面，如上所述，本发明一个实施例涉及的诊断结果生成系统100可以直接对疾病进行诊断，为此，所述诊断结果生成系统100可以进一步包括利用神经网络进行诊断的诊断系统200，以下将对所述诊断系统200进行详细说明。

根据本发明的一个实施例，所述诊断系统200可以进行图像块级别诊断。图像块级别诊断可以指将所述幻灯片分割为图像块单元，并诊断分割的图像块是否表达了疾病。因此，所述诊断系统200可以从幻灯片上的图像块接收输入，并在该相应图像块上输出疾病是否表达。为此，神经网络应该可以学习并实现。

另一方面，执行图像块级别诊断的神经网络根据本发明的技术思想，不仅可以利用该图像块进行诊断，还可以进一步考虑该图像块的周边图像块来执行诊断。这些技术思想曾在本申请人申请的韩国专利申请(申请编号10-2016-0168176，利用神经网络的疾病诊断系统及其方法，以下简称“先前的申请”)中具体公开。如此，非常外围的区域，即与单独考虑与图像块相对应的区域执行诊断相比较，同时考虑到其周围的区域时，可以提高诊断的精确度。此外，根据本发明的技术思想，不仅是在特定图像块的周边图像块上，而是进一步综合考虑整个幻灯片上各图像块的位置、密集度和集群的大小等物理特征，可以更准确地判断幻灯片上是否存在疾病。先前的申请作为本发明的参考资料包括在内，其内容可视为本说明书中所载的内容。

另一方面，根据图像块级别诊断输出的状态信息可以是指特定疾病(例如，特定种类的癌症)在所述图像块所对应组织上是否表达的概率的信息。所述诊断系统200在出现特定标准值(阈值)以上的概率时，可以判断所述图像块为疾病(例如前列腺癌)表达的图像块。

当然，所述诊断系统200所显现的信息不仅是先前的申请中所公开的特定疾病的表达与否，还可以是指特定疾病的进展程度(或所述进展程度所对应的概率)。例如，将本发明的技术思想应用于前列腺癌的诊断时，则显现前列腺癌进展程度的指标“格里森模式(Gleason Pattern)”或“格里森评分(Gleason Score)”可以包含在所述神经网络输出的状态信息中。例如，格利森评分的分值为2到5，数字越大，说明前列腺癌表达的程度就越严重。因此，所述状态信息可能是指成为诊断对象的图像块所对应的生物组织对应格利森评分的特定值(例如3、4或5)的概率。

所述状态信息可以存在多个。例如，第一状态信息可以表示格利森评分为3的概率，第二状态信息可以表示格利森评分为4的概率，第三状态信息可以表示格利森评分为5的概率，与这些第一状态信息、第二状态信息和第三状态信息相对应的状态通道都可以在所述输出层上定义。根据实施例，状态信息也可以被定义为表示格利森评分有一定范围(例如，3至5，4至5等)的概率。也就是说，一个状态信息可与表达疾病进展状态的多个指标相对应。

在这种情况下，所述神经网络在格利森评分为3以上的状态信息超过预设的阈值时，则可以判断所述图像块是疾病图像块，即疾病表达的图像块。

另一方面，所述神经网络利用的阈值可多样化设定。根据实施例，可使用多个所述阈值。当然，根据阈值，特定的图像块可以判断为疾病表达的图像块，即疾病图像块，也可以判断为普通图像块。

根据本发明的技术思想，所述神经网络利用的阈值可能是多个，在这种情况下，根据多个阈值中的每个值，诊断出的疾病图像块可能会有所不同。

另一方面，所述诊断系统200还可以对执行的图像块级别诊断结果进行可视化。本说明书中对诊断结果的可视化可以指对诊断结果判断是疾病的部分赋予预设的视觉效果。视觉效果可能意味着视觉感知的效果。例如，通过可视化判断为疾病的部分可以用不同的颜色表示或强调。

所述诊断系统200可以利用本发明技术思想涉及的神经网络进行图像块级别诊断。当然，为了进行这种诊断，可以先执行学习所述神经网络的过程。

因此，所述诊断系统200可以是从外部接收基于本发明的技术思想学习的神经网络和利用所述神经网络来执行诊断的系统，也可以是执行所述神经网络的学习的系统。另外，所述诊断系统100可以是为了实现本发明的技术思想而制作的专用装置，而非通用的数据处理装置，在这种情况下，还可以具备用来扫描生物图像的手段等。

所述神经网络可以具有执行所述特定图像块的诊断的特征是，在对特定图像块进行诊断时，不仅要考虑如先前的申请中所公开的所述特定图像块本身的图像，还要考虑与所述特定图像块相邻的至少一个图像块的图像。通过这些技术思想，实际上为了诊断与特定图像块相对应的生物组织，不仅要考虑所述生物组织，还要考虑所述生物组织的周边组织的状态，这对于疾病的诊断很有意义，能有效提高精确度。另外，将生物图像分割成多个图像块时，图像块的分割方式的不同或经分割的区域是生物组织的哪一部位均可能会对诊断结果产生巨大影响。

当然，如上所述，所述神经网络可能不具有先前的申请中公开的特征，无论是在何种情况下，所述神经网络都可以为了对各图像块进行诊断的学习的神经网络。

这时，所述神经网络可以接受额外的通道作为图像块中每个像素的输入值，这与以往不同。所述附加通道可能是每个像素的灰度值。因此，所述神经网络可以接受每一图像块的输入，同时接受所述图像块中包含的各像素的原始值(例如，RGB)的3个通道以及额外附加的通道—灰色通道—作为输入。

在这种情况下，当生物图像的颜色可能会因与疾病相关的图像特征无关的因素(例如，诊断机构的特征、染色试剂等)而发生变化时，则可能会产生强大的效果。当然，如果只是单纯地利用灰色通道而不利用原始值时可能会发生问题，即与疾病相关的图像特征用颜色反映并表示出来时，这些重要信息可能无法在学习中得到反映的问题，这些问题也可以得到解决。

本发明的技术思想涉及的诊断系统200所利用的神经网络可包括微观神经网络和宏观神经网络。

所述微观神经网络可以是指利用特定的一个图像块进行学习，利用所述图像块自身的图像特征对所述图像块进行诊断的一系列过程的网络。

所述宏观神经网络可以是指利用的不仅是所述图像块，而是利用包含所述图像块以及至少一个所述图像块的相邻图像块的宏观图像块来进行学习的，并利用所述宏观图像块的整体图像特征对所述图像块进行诊断的一系列过程的网络。

因此，本发明的技术思想涉及的神经网络在对所述特定图像块进行诊断时所具有的特征是，对特定图像块进行诊断时不仅考虑所述特定图像块本身的图像，还考虑到至少一个所述特定图像块的相邻图像块的图像。通过这一技术思想，实际上，在诊断与特定图像块相对应的生物组织时，不仅要考虑所述生物组织，还要考虑所述生物组织的周围组织的状态，这十分有助于疾病的诊断，能有效提高准确度。另外，将生物图像分割成多个图像子块时，图像子块的分割方式或所分割的区域处于生物组织的哪一位置可能会对诊断结果产生巨大影响。

为了实现这种技术思想，所述诊断系统200逻辑上可以具有与图2b相同的配置。

图2b是利用本发明的实施例涉及的神经网络进行疾病诊断的诊断系统200的逻辑结构的示意图。

参考图2b，所述诊断系统200可包括控制模块210、存储神经网络的神经网络模块220、预处理模块230、热图生成模块240、组织掩膜生成模块250、诊断结果可视化模块260。根据本发明的实施例，所述组件中的部分组件也可能不一定是对应于实现本发明所必需的必要组件，并且实施例涉及的所述诊断系统200当然可能包含更多的组件。

所述诊断系统200可以指具有实现本发明技术思想所需的硬件资源(resource)和/或软件的逻辑性配置，并不一定意味着一个物理组件或一个设备。也就是说，所述诊断系统200可以是指为实现本发明的技术思想而具备的硬件和/或软件的逻辑结合，必要时可以配置为安装在彼此间隔的设备上，执行各自的功能，以实现本发明的技术思想的逻辑组件的集合。此外，所述诊断系统200还可以指为实现本发明技术思想的按各自的功能或作用而配置的各组件集合。例如，所述控制模块210、神经网络模块220、预处理模块230、热图生成模块240、组织掩膜生成模块250和/或诊断结果可视化模块260可分别处于各不相同的物理装置，也可处于同一物理装置。根据另一个实施例，分别构成所述控制模块210、神经网络模块220、预处理模块230、热图生成模块240、组织掩膜生成模块250和/或诊断结果可视化模块260的软件和/或硬件的结合也可以处于互不相同的物理装置，处于各不相同的物理装置的各组件可以相互有机组合并配置成各所述模块。

所述控制模块(210)包括控制所述诊断系统200中包含的其他配置(例如，所述神经网络模块220、预处理模块230、热图生成模块240、组织掩膜生成模块250、诊断结果可视化木块260等)的功能和/或资源。

所述控制模块210可以利用存储在所述神经网络模块120中的神经网络进行本发明技术思想所涉及的图像块级别诊断。如上所述，图像块级别诊断可以通过本发明技术思想涉及的基于深度学习的神经网络来实现。也就是说，在所述控制模块210的控制下，所述神经网络可以生成所述幻灯片被分割为预设大小的每个预设图像块中是否存在疾病的图像块级别诊断结果。

所述神经网络可能是指表达定义神经网络的一系列设计事项的信息的集合。在本说明书中，所述神经网络可以是卷积神经网络。

众所周知，所述卷积神经网络可以包含输入层、多个隐含层和输出层。多个隐含层的每一个都可以包含卷积层和池化层(或子采样层)。

卷积神经网络可以由函数、筛选、卷积步长(stride)、权重因子等来定义各个层。此外，输出层可定义为完全连接的前馈层(FeedForward layer)。

构成卷积神经网络的各层的设计事项广为人知。例如，对于多个层中包含的层数、用来定义所述多个层的卷积函数、池函数、激励函数可以分别使用已知的函数，也可以使用为实现本发明的技术思想而单独定义的函数。

根据本发明的实施例，进行图像块级别诊断的神经网络使用的是公开的DenseNet，此时，设计时可如先前的申请中所公开的，不仅可以考虑成为诊断对象的特定图像块，还可以考虑周围的图像块。此外，还可以使用各种神经网络，在任何情况下，所述神经网络都可以定义为接收特定图像块的输入，并输出与该特定图像块的疾病表达概率相对应的特征值。

所述控制模块210可以接收存储在所述神经网络模块220中的神经网络，即学习的神经网络中的输入数据，即各图像块输入。这时，如上所述，可以输入在原始值上附加了灰色通道值的值。当然，灰色通道值可以通过将像素的值转换为灰度值来获得。并且可以执行由神经网络定义的演算后输出输出数据，即与图像块相对应的疾病表达概率相对应的特征值。此外，根据实施例，为了进行后述的幻灯片级别诊断，还可以根据所述特征值是否为预设的阈值而输出该图像块表达了疾病与否。

所述神经网络模块220可以存储神经网络。所述神经网络可以指表达定义神经网络的一系列设计事项的信息的集合。在本说明书中，所述神经网络可以是卷积神经网络。

众所周知，所述卷积神经网络可以包含输入层、多个隐含层和输出层。多个隐含层的每卷积神经网络可以由函数、筛选、卷积步长(stride)、权重因子等来定义各个层。此外，输出层可定义为完全连接的前馈层(FeedForward layer)。

构成卷积神经网络的各层的设计事项广为人知。例如，对于多个层中包含的层数、定义所述多个层的卷积函数、池函数、激励函数可以分别使用已知的函数，也可以使用为实现本发明的技术思想而单独定义的函数。

举例来说，卷积函数可以是离散卷积和等。池函数可以是极大池化(max-pooling)、均值池化(average-pooling)等。激励函数可以是sigmoid、tanh、RELU(Rectified Linear Unit)等。

定义了这些卷积神经网络的设计事项后，定义了设计事项的卷积神经网络就可以存储在存储设备上。并且，当所述卷积神经网络学习后，每个层对应的权重因子可以是特定的。

也就是说，卷积神经网络的学习可以是指由各层的权重因子决定的过程。而且，当卷积神经网络学习后，所学习的卷积神经网络可以在输入层上接受输入数据的输入，并通过事先定义的输出层输出输出数据。

本发明的实施例涉及的神经网络可以通过选择所述众所周知的设计事项中的任何一个或多个来定义，也可以为所述神经网络定义独立的设计事项。

所述诊断模块110可以将输入数据输入到存储在所述神经网络模块220中的神经网络，即学习的神经网络中。并且可以在执行神经网络定义的演算后输出输出数据。

所述预处理模块230可以利用神经网络进行诊断前所需的生物图像的预处理。例如，所述生物图像的预处理可以包括将所述生物图像(即幻灯片)分割为预设大小的图像块(图像子块)的图像分割过程，并根据需要以适合于所述神经网络的方式进行适当的图像处理，这一点本发明技术领域的普通专家可以容易地推论出来。

另一方面，本发明的技术思想涉及的神经网络具有的技术特征为包括如上所述的微观神经网络和宏观神经网络。这类例子将参考图4进行具体说明。

图4是本发明的实施例涉及的神经网络的结构示意图。

参考图4，本发明的技术思想涉及的神经网络200包括微观神经网络和宏观神经网络。

微观神经网络包括多层210和输出层230。多层210包括输入层211和多个隐含层212。

宏观神经网络包括多层220和所述输出层230。所述多层220包括输入层221和多个隐含层222。

所述微观神经网络被定义为接受特定图像块30的输入，并输出特定图像块的诊断结果，即输出层230中定义的各输出数据。

另外，所述宏观神经网络被定义为接受包括所述特定图像块30以及包含所述特定图像块30的相邻图像块中至少一个宏观图像块40的输入，并输出所述特定图像块的诊断结果。

也就是说，本发明的技术思想涉及的神经网络200为了输出特定图像块30的诊断结果，不仅可以考虑特定图像块30的图像特征，还可以考虑与所述特定图像块30相邻的各图像块的图像特征来输出诊断结果。

虽然所述宏观图像块40在图4中所显示的是围绕图像块的3×3图像块的状况，但应该可以有多种实施例。

所述输出层230可以接受所述微观神经网络中包含的所述输出层230的前一层的第1前层(212-1)和宏观神经网络中包含的所述输出层230的前一层--第2前层(222-1)的每一个输出数据的输入，从而输出所述输出层230中定义的输出数据。所述第1前层(212-1)、所述第2前层(222-1)和所述输出层230可以是全连接。

定义所述输出层230的前馈(Feedforward)函数可以使用由输入层输入的输入数据作为结果通过神经网络200由输出层230输出输出数据的各种函数中的一种。

最终，所述神经网络200为了对特定图像块30进行诊断而学习时，同时考虑所述特定图像块30的图像特征和包含所述特定图像块30的宏观图像块40的图像特征，然后输出与大量训练数据的标注值相对应的输出层230的输出数据。

也就是说，为了学习所述神经网络200，使用了大量的训练数据，大量的训练数据可以包括一对特定图像块30和宏观图像块40。而且，宏观图像块40也可以利用所述特定图像块30的标注信息进行学习。

这样，所述神经网络200的学习可以同时考虑所述特定图像块30和所述宏观图像块40的图像特征，以输出与所述特定图像块30的标注信息相对应的输出数据。

而且，学习的神经网络200如果将成为诊断对象的目标图像块和对应于所述目标图像块的宏观图像块分别作为微观神经网络和宏观神经网络的输入层的输入数据输入，则可以输出所述目标图像块的诊断结果，即输出层230的输出数据。

如图5a所示，所述输出层230可以将成为诊断对象的特定图像块30的诊断结果作为输出数据输出。诊断结果至少可以包含所述特定图像块30的疾病状态的信息。关于疾病状态的信息可能仅仅是指特定疾病是否在特定图像块30中表达(或概率值)的信息。但是，根据疾病的种类，关于疾病状态的信息还可能包括显示疾病发展程度的更加具体的信息。

输出层并不仅仅如先前的申请中所公开的那样输出疾病的表达与否，而可以设计为输出多种附加信息。例如，可以包括显示疾病发展程度的信息和/或与所述状态通道的值相关联的关联因子的表达程度的关联因子信息。对此，由于先前的申请中已经详细公开，所以将省略详细的说明。

当使用图5a中所示的神经网络200时，还可以存在输入所述输出层230的输出数据后，输出与最终输入的图像块的疾病的表达概率相对应的特征值的并未在图5a中示意的层。

或者，如图5b所示，所述神经网络可以设计为具有代替图5a所示的输出多个状态通道和相关因子通道的层，且输出与所输入的图像块的疾病的表达概率相对应的特征值的层240。

根据本发明的另一个实施例，用于图像块级别诊断的神经网络可以设计为具有单一路径，而不是如图4所示的具有两条路径(微观网络和宏观网络各自的路径)的方式。这些实施例可能与图6所示相同。

图6是本发明的另一个实施例涉及的神经网络的一个示例的结构示意图。

参考图6，如上所述，神经网络可以定义为接受图像块单元的输入，并判断输入的图像块是否存在疾病。这时，如图所示，所述神经网络可以输入4通道(例如，RGB通道和灰色通道)的数据。

所输入的数据可以定义为通过卷积层、极大池化等多个层输出数据，即输出被输入的图像块是否为疾病图像块。这种神经网络可以使用公知的利用Dense Net模型的神经网络。并且可知，此时本发明的技术思想所涉及的所述神经网络与原来的Dense Net模型相比增加了1×1卷积，具有通过其确认内部特征图的效果。另外，Signoid函数被用作激励函数，但各种激励函数都可以被使用。

可以其他多种方式进行图像块级别诊断的神经网络可以被定义，这点本发明技术领域的普通专家很容易推论。

另一方面，根据本发明的技术思想，在判断为疾病表达的图像块内只将组织部分进行区分并可视化，以下将对此进行更为具体的说明。

再次参考图2，所述热图生成模块240可以基于所述幻灯片中包含的多个图像块中的每个图像块的诊断结果生成与所述幻灯片相对应的图像块级别热图图像。

所述热图生成模块240可以根据每个图像块的诊断结果来标记疾病图像块。在所述的图像块级别诊断中，每个图像块都根据是否为疾病进行分类(classified)，从而整个疾病图像块都可以标记为疾病。所述热图生成模块240可以生成如图7a所示的幻灯片热图。例如，所述热图生成模块240可以生成如图7b所示的热图。如图7b所示，以热图的形式将图像块级别诊断结果可视化，从而可使疾患部位显现出网格形状。

同时，所述组织掩模生成模块250可以在所述幻灯片上生成组织掩模图像。例如，所述组织掩模生成模块250可以生成如图6c所示的组织掩模图像。

所述组织掩模生成模块250生成组织掩模图像的方法具有以下特征。

更具体地进行如下说明。所述组织掩模生成模块250可以基于与所述幻灯片相对应的色调饱和度值(HSV)模型生成与所述幻灯片相对应的组织掩模图像。

在一个实施例中，所述组织掩模生成模块250可以在对应于所述幻灯片的S空间上执行图像二值化，以生成第1二值化结果。此时，所述幻灯片对应的S空间是由与所述幻灯片对应的HSV模型的饱和度值(Saturation)组成的空间。

所述组织掩模生成模块250可以利用大津阈值分割法(Otsu Threshholding)作为图像二值化方法。大津阈值分割法是一种应用于计算机视觉或图像处理领域的基于聚类的图像阈值化技巧。

此外，所述组织掩模生成模块250可以通过对与所述幻灯片相对应的空间`1-V执行图像二值化来生成第2二值化结果。此时，所述幻灯片上对应的V空间是由所述幻灯片上对应的HSV模型的名义值(Value)组成的空间(即具有w×h的大小，V通道的值(名义值)组成的矩阵(w是图像的宽度，h是图像的高度))，1-V空间是大小为w×h的填满了1的矩阵中减去V通道的值的空间。

另一方面，所述组织掩膜生成模块250可基于所述第1二值化结果和所述第2二值化结果生成与所述幻灯片相应的组织掩膜图像。

所述第1二值化结果和所述第2二值化结果可以包含对应于所述幻灯片的每个像素相对应的二进制值(例如0或1或者是0或255)，所述组织掩模生成模块150对应于所述幻灯片的每个像素，对应于所述像素的第1二值化结果的二进制值或与所述像素相对应的第1二值化结果的二进制值为1(或255)时，所述像素相对应的组织掩膜图像上的像素可判断为组织像素(该组织的像素)，否之(即当二进制值为0时)所述像素相对应的组织掩膜图像上的像素可判断为非组织像素(非该组织的像素)，由此可以生成与所述幻灯片对应的组织掩模图像。综上所述，所述组织掩膜生成模块250可以通过S空间的图像二值化结果和对1-V空间的图像二值化结果的逻辑求和演算来生成组织掩膜图像。

另一方面，所述诊断结果可视化模块260可基于所述图像块级别热图图像和所述组织掩膜图像生成与所述幻灯片对应的疾病诊断可视化图像。例如，所述诊断结果可视化模块260可以生成疾病诊断可视化图像，如图7d中所示。

在一个实施例中，所述诊断结果可视化模块260可以将条件随机场(ConditionalRandom Field)应用于所述图像块级别热图图像和所述组织掩膜图像，从而生成与所述幻灯片相对应的疾病诊断可视化图像。特别是，所述条件随机场的标签数为2，其特征是将所述图像块级别热图图像中包含的像素中阈值以下的像素转换为0。

更为详细的说明如下。

所述诊断结果可视化模块260可以输入原始组织图像(即幻灯片或图像块)、所述组织掩膜生成模块250生成的组织掩膜图像和所述热图生成模块240生成的所述图像块级别热图图像。从每个输入值的大小来看，原来的组织图像是RGB 3通道，因此大小为w×h×3，组织掩膜图像的大小为w×h，图像块级别热图图像也为w×h。另一方面，所述诊断结果可视化模块260可以将w×h的图像块级别热图图像转换为w×h×2。此时，w×h×[0]上包含原始图像块级别的热图图像，w×h×[1]上包含1-图像块级别热图图像的每个像素值。之后，对DMEN＝3取softmax函数，每个像素构成显现疾病(例如前列腺癌)的概率空间，根据这一概率，CRF算法会影响实际组织图像的形状并使其变形，从而使疾病图像可视化，以符合实际组织的形状。

特别是，在本发明的一个优选实施例中，所述组织掩膜生成模块150通过S空间的图像二值化结果和对1-V空间的图像二值化结果的逻辑求和运算，同时应用组织掩膜图像的生成方法和条件随机场(Conditional Random Field)的方法，可以非常准确地可视化幻灯片上诊断为疾病的部分。

将最终可视化结果的一个例子图7d和格子形状的热图-图7b进行比较，可以看出，图7d的形状更加模糊。

另一方面，本发明技术思想涉及的诊断结果可视化方法也可适用于以图像块为单位得出诊断结果的一般分类方法的诊断结果。在图像块单元一般分类的情况下，即使不是组织的部分也显示为疾病(见图7a)，但通过应用本发明技术思想涉及的诊断结果可视化方法，只有被诊断为疾病的组织部分才会与其他部分明确区分开来。

一方面，所述诊断结果可视化模块260所生成的疾病诊断可视化图像可由前述注记信息生成模块110提供，由轮廓提取模块120和XML生成模块130运行程序后生成包括诊断结果的XML文档。

另一方面，本说明书主要说明了本发明技术思想适用于前列腺癌的一个例子，但对于其他疾病也有必要运用本发明的技术思想，不仅要考虑特定组织，同时还需要考虑到该组织的周围组织的状态来对所述特定组织进行诊断，从而可进行更准确的诊断并使诊断结果可视化，这一点本发明技术领域的普通专家可以很容易地推断出来。

另一方面，根据实施例，所述诊断系统100可以包括处理器和存储由所述处理器所执行程序的内存。所述处理器可以包括单核CPU或多核CPU。内存可以包括高速随机访问内存，也可以包括非易失性内存，如一个或多个磁光盘存储设备、闪存装备或其他非易失性固态内存设备。处理器和其他组件对内存的访问可以由内存控制器控制。

另一方面，通过本发明的实施例涉及的神经网络的诊断方法可以以计算机可读的程序命令的形式实现，并存储在计算机可读的记录介质中，本发明的实施例涉及的控制程序和目标程序也可以存储在计算机可读的记录介质中。计算机可读的记录介质包括存储计算机系统可读数据的所有类型的记录设备。

记录在记录介质上的程序命令可能是专门为本发明设计和配置的，也可能是软件领域的业内人士都知道并使用的。

计算机可读记录介质例如硬盘、软盘和磁带之类的磁性介质(magnetic media)、诸如CD-ROM和DVD之类的光学介质(optical media)、诸如软盘(floptical disk)等光磁介质(magneto-optical media)、诸如储存并执行ROM、RAM、闪存等程序命令的特别配置的硬件装置。此外，计算机可读的记录介质分散在联网的计算机系统中，可以以分布式方式存储和运行计算机可读的代码。

程序命令的例子不仅包括编译器创建的机器语言代码，还包括使用解释器等以电子方式处理信息的设备，例如计算机可以执行的高级语言代码。

所述硬件设备可以配置为一个或多个软件模块来执行本发明的运作，反之同样如此。

本发明的前述说明仅用于举例说明，具备本发明所属技术领域常规知识的人可以理解，在不改变本发明的技术思想或本质特征的情况下，可以轻易地更改为其他具体形式。因此，以上所述各实施例应该理解为从各方面来说都只是例子，并不限定于此。例如，描述为单一形式的各个组件可以分开实施，同样，描述为分散的各组件也可以在组合的形式下实施。

本发明的范围如后述的专利权利请求范围所示，并不通过上述详细说明体现出来，专利权利要求范围的意义和范围以及从其统一概念导出的所有改变或变形的形式都应被解释为包含在本发明的范围内。

工业应用可能性

本发明可用于“一种诊断结果生成系统及其方法”。