基于监督学习的一致性诊断方法及其系统

技术领域

本发明涉及一种通过学习诊断疾病的方法及其系统。具体涉及的这种方法和系统具备多个通过神经网络并基于监督学习的已学习诊断系统，通过多个诊断系统达成一致而得出最终诊断结果，从而弥补基于监督学习的学习的漏洞。

背景技术

病理学或病理科主要工作之一就是读取患者的生物图像，所进行的诊断是判断特定疾病的状态或征兆。这种诊断是一种依赖于资深的业务熟练的医务人员的经验和知识的方式。

近期，随着机器学习的不断发展，正在积极尝试通过计算机实现识别或分类图像等工作任务的自动化。尤其是，正在尝试利用机器学习的一种即神经网络(例如利用卷积神经网络(Convolution neural network，CNN)的深度学习方法)使以往由业务熟练的医务人员执行的诊断工作实现自动化。

特别是，通过利用神经网络(例如CNN)进行深度学习的诊断并不只是使以往业务熟练的医务人员的经验和知识实现自动化，而是通过自主学习找到特征因素并找出想要的答案，有时候反而能在图像中发现业务熟练的医务人员所不了解的疾病因素的特征。

一般来说，通过利用生物数据(例如生物图像)的神经网络诊断疾病的方法是：熟练掌握生物数据的医疗人员对特定疾病的状态(例如癌症是否表达)进行标注(annotaion)，并利用已标注的多个数据作为学习数据来学习神经网络。也就是说，为了学习，对学习数据进行标注并通过标注的学习数据进行学习，这种学习方式被称为监督学习(supervised learning)。

但实际上，监督学习会使所学习系统的性能受到执行标注的标注主体的判断取向或倾向所产生的支配性影响。也就是说，学习诊断系统的诊断结果取决于标注主体的标注倾向或取向。

但是，实际上每一个要执行标注的每个标注程序会执行互不相同的标注，但现实中，要学习的生物数据中存在相当多的难以明确分类的生物数据。也就是说，即使是熟练的医疗人员进行标注，根据生物数据对疾病的表达与否或疾病的发展程度进行分类时，也可能会有不同的意见。

但是，在基于监督学习的已学习疾病诊断系统存在一个漏洞，就是取决于标注主体倾向的判断被作为诊断结果输出。

因此需要能够弥补这一漏洞的技术思想。

*现有技术文献

-专利文献

韩国授权专利10-20170057399“一种通过模块化强化学习的疾病诊断系统”

发明内容

技术课题

本发明想要实现的技术课题是提供一种方法和系统，即具备多个由互不相同的标注主体所学习的基于监督学习的诊断系统，对所预设的生物数据，根据所述多个诊断系统各自执行的诊断结果得出最终诊断结果，即为了导出诊断系统之间一致的诊断结果而弥补监督学习的漏洞的一种方法和系统。

并且，提供一种方法和系统，利用这些诊断系统达成一致得出的诊断结果可以重新学习个别诊断系统，从而有效提高这些诊断系统的性能。

课题解决手段

为实现所述技术课题的一种将通过监督学习来学习的诊断系统用于诊断疾病的方法包括：一致性诊断系统分别确认N(N是2以上的整数)个诊断系统(N个诊断系统的每个系统分别用由互不相同的标注(annotation)主体所标注的学习数据来学习的各系统)分别接受预设生物数据并输出的N个个别诊断结果的步骤；基于所述一致性诊断系统确认的所述个别诊断结果输出所述生物数据的一致性诊断结果的步骤。

所述基于监督学习的一致性诊断方法进一步包括：通过黄金标准(goldstandard)学习数据来学习的标准诊断系统确认输入所述生物数据后输出的标准个别诊断结果的步骤，根据所述一致性诊断系统确认的所述个别诊断结果，输出所述生物数据的一致性诊断结果的步骤可以包括根据所述个别诊断结果和所述标准个别诊断结果而输出所述一致性诊断结果的步骤。

基于所述一致性诊断系统确认的所述个别诊断结果而输出所述生物数据的一致性诊断结果的步骤的特征是以所述各诊断系统分别被赋予的加权值为基础，输出所述一致性诊断结果，所述加权值可以根据特定诊断系统输出与一致性诊断结果不同的个别诊断结果的输出次数来确定。

当所述特定诊断系统输出与一致性诊断结果不同的个别诊断结果时，则所述加权值可以根据所述所有个别诊断结果中输出所述不同的个别诊断结果的其他诊断系统的个数或比重来进一步确定。

基于所述一致性诊断系统确认的所述个别诊断结果输出所述生物数据的一致性诊断结果的步骤的特征是：以所述各诊断系统和所述标准诊断系统各自赋予的加权值为基础输出所述一致性诊断结果；赋予所述标准诊断系统的加权值高于赋予所述各诊断系统的加权值。

所述各诊断系统的特征是，预设的学习数据集分别学习分割为N个的分割学习数据集(任意一个分割学习数据集至少包括一个其他分割学习数据集中不包含的学习数据，各自由互不相同的主体标注的学习数据集)，然后输出疾病的诊断结果的系统。

所述基于监督学习的一致性诊断方法可以进一步包括特定生物数据的一致性诊断结果与所述特定生物数据的个别诊断结果不同的诊断系统，使用包括用所述一致性诊断结果标注的所述特定生物数据的学习数据进行再训练的步骤。

所述方法可以安装在数据处理装置中，并通过存储在计算机可读记录介质中的计算机程序实现。

用以解决所述技术课题的系统包括存储处理器和程序的存储器，所述程序确认N(N是2以上的整数)个诊断系统(N个诊断系统是指各自使用由不同的标注(annotation)主体标注的学习数据分别学习的各系统)分别输入各自预定的生物数据后输出的N个个别诊断结果，并以经确认的所述个别诊断结果为基础输出所述生物数据的一致性诊断结果。

所述程序可以进一步确认使用黄金标准(gold standard)学习数据学习的标准诊断系统输入所述生物数据后输出的标准个别诊断结果，并根据所述个别诊断结果和所述标准个别诊断结果输出所述一致性诊断结果。

所述程序的特征是基于赋予所述各诊断系统的加权值输出所述一致性诊断结果，所述加权值可以根据所述一致性诊断结果和所述各诊断系统的各个别诊断结果不同的情形次数来确定。

当所述特定诊断系统输出与一致性诊断结果不同的个别诊断结果时，还可以根据所述所有个别诊断结果中输出所述不同个别诊断结果的其他诊断系统的个数或比重进一步确定加权值。

所述程序的特特征是基于所述诊断系统和所述标准诊断系统分别赋予的加权值输出所述一致性诊断结果，赋予所述标准诊断系统的加权值高于赋予所述各诊断系统的加权值。

另外，用于所述一致性诊断系统诊断的生物数据中的特定生物数据的特证是，所述一致性诊断结果和所述各诊断系统中的特定诊断系统的个别诊断结果各不相同，所述特定诊断系统利用包括了作为所述一致性诊断结果的经标注的所述特定生物数据的学习数据进行再训练。

发明的效果

根据本发明的技术思想可以有效改善使用某一由标注主体标注的学习数据学习的基于监督学习的诊断系统诊断疾病时可能发生的诊断结果对标注主体的依赖性。

另外，根据本发明的技术思想，可以使用达成一致的诊断结果再学习各个别诊断系统，在这种情况下可有效提高各个别诊断系统的性能。

附图说明

为了更好地理解本发明详细说明中引用的附图，提供各附图的简要说明。

图1是实施本发明的技术思想涉及的基于监督学习的一致性诊断方法的简要系统结构的示意图。

图2是本发明实施例涉及的各诊断系统的简要组成的示意图。

图3是本发明实施例涉及的基于个别诊断结果而达成一致这一概念的示意图。

图4是本发明实施例涉及的学习数据的分割标注这一概念的示意图。

图5是利用本发明实施例涉及的一致性诊断结果重新学习个别诊断系统这一概念的示意图。

具体实施方式

本发明可以进行多种转换，可以有多种实施例，将在图纸上举例说明特定实施例，并在详细说明中进行具体阐述。但是，这并不是要将本发明限定于特定的实施形式，而应理解为包含在本发明思想及技术范围内的所有变换、等价物或替代物。在对本发明进行说明时，当认为有关已知技术的具体说明反而会使本发明的要点含糊时省略了详细说明。

第一、第二等术语可以用于对各种组件的说明，但所述组件不能被所述术语限制。所述各术语仅用于将一个组件与其他组件区分开来。

本专利申请中使用的术语只是用来说明特定实施例，并不是要限制本发明。单数的表达包括复数的表达，除非上下文中有明显不同的意思。

本说明书中“包含”或“具有”等术语是指说明书中记载的特征、数字、步骤、动作、组件、零件或它们的组合的存在，应理解为并不是事先排除一个或多个其他特征、数字、步骤、动作、组件、零件或它们的组合的存在或附加可能性。

另外，在本说明书中，一个组件将数据“传输”到另一个组件时，则意味着所述组件可以直接将所述数据传输到所述其他组件，也可以通过至少一个其他组件将所述数据传输到所述其他组件。相反，如果任意一个组件将数据“直接传输”到另一个组件，则意味着所述数据将从所述组件传输到其他组件，而非通过其他组件。

以下，将参照所附图纸，围绕本发明的实施例对本发明进行详细阐述。每一图形中提供的相同参考符号代表相同的部件。

图1是实施本发明的技术思想涉及的基于监督学习的一致性诊断方法的简要系统结构的示意图。

参照图1，为了实施本发明技术思想涉及的一种基于监督学习的一致性诊断方法，可以实施一致性诊断系统100。

所述一致性诊断系统100可从本发明技术思想涉及的多个(例如N个，N是2以上的整数)个别诊断系统(例如诊断系统1至诊断系统N，10～30)接收个别诊断结果(例如个别诊断结果1至个别诊断结果N)。并且，可以根据所接收的各个别诊断结果(例如个别诊断结果1至个别诊断结果N)输出一致性诊断结果。

所述各诊断系统(例如诊断系统1至诊断系统N，10～30)可以是分别输入基于监督学习而学习的预设的生物数据(例如生物图像)后，通过学习的神经网络将按照预先设定的类别(例如根据疾病表达与否或疾病发展程度进行分类)进行分类并将该结果作为诊断结果输出的系统。

所述各诊断系统(例如诊断系统1至诊断系统N，10～30)可以分别输入相同的生物数据，通过各自学习的神经网络输出各诊断结果，即所述各个别诊断结果(例如个别诊断结果1至个别诊断结果N)。

如上所述，各诊断系统(例如诊断系统1至诊断系统N，10～30)的每一个诊断结果都可能取决于标注主体的标注。也就是说，各诊断系统(例如诊断系统1至诊断系统N，10～30)都可以分别输出个别诊断结果，其对标注的学习数据具有依赖性。

为了弥补这一漏洞，本发明技术思想涉及的各诊断系统(例如诊断系统1至诊断系统N，10～30)可以是使用由不同的标注主体而标注的学习数据集进行学习的系统。

例如，诊断系统1(10)可以是由第1标注主体标注的第1学习数据集学习的系统，诊断系统2(20)可以是由第2标注主体标注的第2学习数据集学习的系统，诊断系统N(30)是由第N标注主体标注的第N学习数据集学习的系统。

在这种情况下，各诊断系统(例如诊断系统1至诊断系统N，10～30)均可具有依赖于用于学习的学习数据标注主体的判断取向或倾向的特征。

例如，输入相同生物数据(例如生物图像)的各诊断系统(例如诊断系统1至诊断系统N，10～30)优选的是输出相同的诊断结果，但如上所述，标注主体的判断倾向会影响诊断结果，在某些情况下会输出互不相同的诊断结果。也就是说，根据标注主体的倾向，各诊断系统(例如诊断系统1内诊断系统N，10-30)会对相同的生物数据输出不同的诊断结果。

但是，根据本发明的技术思想，这些漏洞可以通过利用多个诊断系统(例如诊断系统1至诊断系统N，10～30)的个别诊断结果的一致性诊断来弥补。

所述一致性诊断系统100可以根据各诊断系统(例如诊断系统1至诊断系统N，10～30)输出的个别诊断结果输出一致性诊断结果。一致性诊断结果可以是基于全部或部分个别诊断结果而生成的最终诊断结果。

为了输出一致性诊断结果，所述一致性诊断系统100在每一个个别诊断结果具有不同诊断结果的情况下，可以单纯地根据多数决得出一致性诊断结果。另外，所述一致性诊断系统100可以对每一个诊断系统(例如诊断系统1至诊断系统N，10～30)赋予加权值，并输出应用于与赋予的加权值相应的个别诊断结果的一致性诊断结果。

加权值可以根据各诊断系统(例如诊断系统1至诊断系统N，10～30)的诊断史来赋予。例如，在输出不同于一致性诊断结果的诊断结果的诊断系统中，加权值赋予过程可以由所述一致性诊断系统100驱动，以使加权值减少至预定标准。另外，加权值赋予过程可以单纯地考虑是否与一致性诊断结果不同，但也可以进一步考虑所有个别诊断结果中每一种诊断结果的个数。

例如，10个诊断系统实施后进行一致性诊断时，可以判断10个诊断系统中仅有某一个特定诊断系统没有对特定生物数据疾病表达，其余各诊断系统都可以出现了疾病表达。在这种情况下，可使所述特定诊断系统的加权值减少到事先确定的第1标准值(例如0.1)。

但是，在10个诊断系统中，判断有4个诊断系统对所述特定生物数据没有疾病表达，6个诊断系统都发现疾病表达。在这种情况下，即使一致性诊断结果是疾病的表达，4个诊断系统的加权值也可能只减少至预定的小于第1标准值(例如0.1)的第2标准值(例如0.05)。

也就是说，将一致性诊断结果假设为正确答案时，可以单纯地根据输出错误答案的次数来调整诊断系统的加权值，但即使特定诊断系统输出错误答案，也可以进一步考虑输出错误答案的诊断系统的数量，改变加权值的调整程度，或者在某些情况下，判断不是错误答案后不调整加权值。

此外，对用于得出一致性诊断结果的方式和各诊断系统(例如诊断系统1至诊断系统N，10～30)进行加权的各个方式，本发明技术领域的普通专家可容易地推论出来各种实施例。

根据实施例，所述一致性诊断系统100还可以进一步从后述的标准诊断系统40接收标准个别诊断结果。并且，还可进一步基于所接收的标准个别诊断结果输出一致性诊断结果。

标准诊断系统40可以指利用黄金标准(gold standard)学习数据学习的诊断系统。黄金标准学习数据可以指执行标准或理想标注的学习数据。这种黄金标准学习数据不是指由某一主体单纯标注的，而是由多个主体一致进行标注或者由多数主体的一致标准进行标注的数据。一般来说，利用这些黄金标准学习数据进行学习可能是优选的，但实际上生成黄金标准学习数据的成本可能很高，与利用黄金标准学习数据构建一个学习的诊断系统相比，具备多个由个别主体学习的诊断系统来构建一致性诊断结果反而能发挥出更高的诊断性能。这是因为，黄金标准学习数据的情况下，在对特定生物数据进行标注而产生不同的标注意见时，虽然只有少数意见被忽略的一致的标注才被反映在学习中，这是因为通过个别主体执行的标注逐一进行学习的各诊断系统(例如诊断系统1至诊断系统N，10～30)构建的情况下，少数意见至少会反映在个别诊断系统上的学习中，正如本发明申请的技术思想。

并且，在用于一致性诊断的多个诊断系统中，当包括标准诊断系统40时，可看到更高的诊断性能。

另外，一致性诊断系统100赋予标准诊断系统40高于每一个个别诊断系统(例如诊断系统1至诊断系统N，10～30)的加权值，可在反映各诊断系统(例如诊断系统1至诊断系统N，10～30)被赋予的加权值后得出一致性结果。

一方面，所述一致性诊断系统100与各诊断系统(例如诊断系统1至诊断系统N，10～30)或标准诊断系统40用不同的物理设备实现的情况虽然在附图1中图示，但所述一致性诊断系统100可以与所述各诊断系统(例如诊断系统1至诊断系统N，10～30)或所述标准诊断系统40中的至少一个在同一个物理设备上实现，这很容易由本发明技术领域的普通专家推论出来。

所述一致性诊断系统100只能执行本说明书中定义的功能，可以通过各种数据处理系统(例如计算机、服务器、智能手机或专用设备等)实现。

图2是本发明实施例涉及的各诊断系统的简要结构示意图。

首先，参照图2a，所述个别诊断系统(例如诊断系统1至诊断系统N，10～30)可以包括图2a所示的结构。标准诊断系统40的结构也可以与所述个别诊断系统(例如诊断系统1至诊断系统N，10～30)的相同，因此本说明书中只对个别诊断系统(例如诊断系统1至诊断系统N，10～30)进行说明。此外，个别诊断系统(例如诊断系统1至诊断系统N，10～30)也可以包含相同或相似的结构，因此本说明书只对各诊断系统(例如诊断系统1至诊断系统N，10～30)中的一种结构进行说明。

第1诊断系统10可以包括处理器11和存储器12。所述第1诊断系统10是指具有实施本发明技术思想的计算能力的数据处理装置，通常可以通过网络、客户端可访问的数据处理装置以及个人计算机、移动终端等能够执行特定服务的任何设备实现，这很容易由本发明技术领域的普通专家推论出来。

所述处理器11可以指能够驱动实现本发明技术思想的程序(12-1)的运算装置，所述处理器11可利用所述程序(12-1)和本发明技术思想定义的神经网络(Neural Network，12-2)执行诊断。所述神经网络可以是卷积神经网络，输入生物数据(例如图像)后可以通过学习的神经网络输出诊断结果。

所述程序(12-1)可以指为了通过监督学习学习神经网络(12-2)或利用学习的神经网络(12-2)执行诊断而定义的软件。

所述存储器12可以指储存所述程序(12-1)和神经网络(12-2)的数据存储手段，也可以根据实施例通过多种存储手段实现。另外，所述存储器12所指的除了包括在所述第1诊断系统10中的主存储器外，还可能是可以包括在所述处理器11中的临时存储器或内存等。

所述诊断系统100在图2中所示的是由任意一种物理设备实施的，但也可根据需要，可以由多个物理设备有机结合在一起来实现本发明技术思想涉及的第1诊断系统10，这很容易由本发明技术领域的普通专家推论出来。

以下，本说明书中的所述诊断系统(例如10)执行预定功能指的是诊断系统(例如10)中配备的处理器(例如11)使用所述程序(例如12-1)执行预定功能。

本说明书中，所述第1诊断系统10执行诊断可以是指输入生物数据后输出本说明书中定义的输出数据(例如诊断结果)的一系列处理过程。

所述第1诊断系统10可以按预定的单位单元输入生物数据。单位单元可以是像素单位，也可以是图像块或幻灯片单位。

第1诊断系统10的诊断结果可以是根据疾病类型的单纯的疾病表达与否或与其相应的值(例如概率等)，也可以是疾病表达情况下体现疾病状态程度的状态信息。

例如，如后所述，将本发明的技术思想应用于前列腺癌的诊断时，则显现前列腺癌进展程度的指标“格里森模式(Gleason Pattern)”或“格里森评分(Gleason Score)”可以包含在所述状态信息中。例如，格利森模式的分值为2到5，数字越大，说明前列腺癌表达的程度就越严重。因此，所述状态信息可能包括成为诊断对象的单位单元所对应的生物组织对应格利森模式的特定值(例如3、4或5)的概率所对应的信息或正常(即疾病未表达的情况)所对应的概率所对应的信息。

在任何情况下，所述第1诊断系统10都可以通过学习的神经网络(12-2)输出诊断结果。

另一方面，本发明技术思想涉及的一致性诊断系统100可以包括图2b所示的结构。

一致性诊断系统100也可以包括储存处理器110和程序121的存储器120。

所述一致性诊断系统100可以通过有线无线网络与个别诊断系统(例如诊断系统1至诊断系统N，10～30)和/或标准诊断系统40相关联，发送和接收实施本发明技术思想所需的信息。根据实施例，所述一致性诊断系统100可以安装在所述个别诊断系统(例如诊断系统1至诊断系统N，10～30)或标准诊断系统40中实施。在这种情况下，所述一致性诊断系统100可以共享个别诊断系统(例如诊断系统1至诊断系统N，10～30)或标准诊断系统40的硬件。

所述一致性诊断系统100的存储器120中存储的程序121接收并确认来自个别诊断系统(例如诊断系统1至诊断系统N，10～30)和/或标准诊断系统40的各诊断结果(例如个别诊断结果1至10和或标准个别诊断结果)。

所述一致性诊断系统100可以仅从使用不同标注主体标注的学习数据集分别学习的各诊断系统(例如诊断系统1至诊断系统N，10～30)接收个别诊断结果，但如上所述，还可以进一步从标准诊断系统40接收标准个别诊断结果。

在任何情况下，所述一致性诊断系统100都可以根据所接收的诊断结果生成一致性诊断结果并输出。

所述一致性诊断系统100生成一致性诊断结果的一个示例将参照图3进行说明。

图3是本发明实施例涉及的基于个别诊断结果达成一致这一概念的示意图。

参照图3，用来实施本发明的技术思想的各诊断系统(例如诊断系统1至诊断系统N，10～30)可以实现，一致性诊断系统100可以从每个诊断系统(例如诊断系统1至诊断系统N，10～30)接收相同生物数据的诊断结果。另外，图3举例说明了一致性诊断系统100进一步从标准诊断系统(STD，40)接收标准个别诊断结果的情况。

图3举例说明了诊断结果体现特定疾病表达与否的情况，但如前所述，根据神经网络(12-2)的不同实施例，各种形式的信息可以作为诊断结果输出。

根据一个示例，所述一致性诊断系统100可以简单地将诊断结果的各类别(例如疾病表达的O，疾病未表达的X)中拥有更多个数的种类特别指定为一致性诊断结果。

根据实施例，所述一致性诊断系统100可以对各诊断系统(例如诊断系统1至诊断系统N，10～30，标准诊断系统40)进行赋予加权值。

这些加权值可以对多数生物数据得出一致性诊断结果，同时可以以不同于一致性诊断结果的个别诊断结果的输出次数为基础进行调整。例如，诊断系统2的加权值可能为0.9，诊断系统1的加权值可能为1，这意味着诊断系统2输出与一致性诊断结果不同的个别诊断结果的情况至少存在一次。

所述一致性诊断系统100可以基于加权值通过重量因子反映的诊断结果生成一致性诊断结果。例如，当特定诊断系统输出的诊断结果为X，所述特定诊断系统的加权值为a(例如0.9)，则在导出一致性诊断结果的过程中，所述特定诊断系统的诊断结果可以判断为a个(0.9个)的X。通过这样的加权值反映可以将更多诊断结果的类别(例如O或X)判断为一致性诊断结果。

所述一致性诊断系统100可以按各诊断系统(例如诊断系统1至诊断系统N，10～30和/或标准诊断系统40)，只要输出与一致性诊断结果不同的个别诊断结果时，就可以通过降低预定值(例如0.1)来调整加权值。

另外，如上所述，即使特定诊断系统(例如诊断系统2)输出了与一致性诊断结果(例如O)不同的个别诊断结果(例如X)，进一步权衡输出所述不同个别诊断结果(例如X)的诊断系统(例如诊断系统1至诊断系统N，10～30和/或标准诊断系统40)的数量或比重(与所有诊断系统的数量相比的输出与所述特定诊断系统(例如诊断系统2)同一类型诊断结果的诊断系统的个数)后调整加权值。例如，当10个诊断系统中只有1个输出了不同的诊断结果时，将该系统的加权值调整为第1值(例如0.1)，当10个诊断系统中输出一定数量(例如3个)以上或一定比重(例如30％)以上的不同诊断时，将该系统的每一个加权值调整为第2值(例如0.3)。又或者，在一定数量或一定比重以上的情况下，即使输出了与一致性诊断结果不同的诊断结果，也有可能索性不调整该系统的加权值。

也就是说，后一种情况实际上有根据判断解释为不同诊断结果的余地，因此，可以通过适应性地调整与该诊断系统可靠性相对应的加权值，从整体上得出更可靠的诊断结果。

另外，如果进一步使用标准诊断系统40的诊断结果，所述一致性诊断系统100赋予标准诊断系统40的加权值可以比其他诊断系统(例如诊断系统1至诊断系统N，10～30)更高。

另一方面，本发明技术思想涉及的一致性诊断方法，当使用由相互不同的学习数据集学习的各诊断系统(例如，诊断系统1至诊断系统N，10～30和/或标准诊断系统40)时，也可以有效地得到诊断结果。如后述，当一致性诊断系统100对输出与一致性诊断结果不同诊断结果的诊断系统进行再学习时，可能会更有用。

图4是本发明实施例涉及的学习数据的分割标注这一概念的示意图。

参照图4，应用本发明技术思想涉及的一致性诊断方法时，如上所述，在利用各类标注主体进行不同标注的学习数据分别学习各诊断系统(例如诊断系统1至诊断系统N、10～30和/或标准诊断系统40)的情况下十分有效，而且在不同的诊断系统(例如诊断系统1至诊断系统N、10～30和/或标准诊断系统40)利用不同的学习数据进行学习时也很有效。

例如，如图4所示，经学习的引擎，即诊断系统的性能可能会因标注用于学习的学习数据的标注主体的倾向而异，但即使由同一个标注主体执行标注，使用哪一种学习数据也会产生影响。

因此，如图4所示，诊断系统1是通过学习数据集1学习的系统，诊断系统2是通过学习数据集2学习的系统，诊断系统3是通过学习数据集3学习的系统，诊断系统4是通过学习数据集4学习的系统。

每个学习数据集可能存在重复的学习数据，也可能不存在，每个学习数据集的标注主体可能相同，也可能不同。

在任何情况下，每个学习数据集各自学习的诊断系统的诊断结果都可能存在差异，为此，以往从选择学习数据集开始就需要花费相当大的精力和经费用于确定包括各种不同状况的广泛的学习数据集。

但是，根据本发明的技术思想，如果为了学习每一个诊断系统而只使用一定程度足够的学习数据集进行学习，那么即使是通过不同的学习数据集学习的诊断系统(例如诊断系统1至诊断系统N，10～30和/或标准诊断系统40)也可以通过一致性诊断结果得出更准确的诊断结果。

也就是说，学习数据集本身的偏向性在得出一致性诊断结果的过程中将变得不那么重要。

此外，对于对特定生物数据输出和一致性诊断结果不同的诊断结果的诊断系统，可以将所述特定生物数据标注为一致性诊断结果后进行再学习，在这种情况下，取决于标注主体的偏向性和/或取决于学习数据的偏向性会随着时间的推移而变得不那么重要，因此可以显著提高各个别诊断系统(例如诊断系统1至诊断系统N、10～30和/或标准诊断系统40)的性能。

这种示例将参照图5进行说明。

图5是利用本发明实施例涉及的一致性诊断结果再次学习个别诊断系统这一概念的示意图。

参考图5，例如，特定生物数据分别被输入到每一个诊断系统(例如诊断系统1至诊断系统N，10～30和/或标准诊断系统40)，各诊断系统(例如诊断系统1至诊断系统N，10～30和/或标准诊断诊断系统40)分别向一致性诊断系统100输出个别诊断结果。并且，此时一致性诊断系统100输出的一致性诊断结果输出可能为O，诊断系统2(20)输出的个别诊断结果可能为X。

在这种情况下，所述一致性诊断系统100可以存储输出与一致性诊断结果不同的个别诊断结果的诊断系统(例如诊断系统2)的有关信息、此时的所述特定生物数据和一致性诊断结果(例如O)。

并且，可以利用存储的信息再次学习所述诊断系统(例如诊断系统1至诊断系统N、10～30和/或标准诊断系统40)。

例如，经过预定的时间后，所述诊断系统2可以利用包括作为所述一致性诊断结果(例如，O)的经标记的所述特定生物数据的再学习数据集进行再学习。

也就是说，根据本发明的技术思想，可以收集输出了与一致性诊断结果不同的诊断结果的生物数据后再次重新学习各诊断系统(例如诊断系统1至诊断系统N，10～30和/或标准诊断系统40)。也就是说，由一致性诊断系统100存储的、导致输出与一致性诊断结果不同的诊断结果的生物数据可以作为学习数据反馈至个别诊断系统。在这种情况下，各诊断系统(例如诊断系统1至诊断系统N、10～30和/或标准诊断系统40)所具有的偏向性(例如，根据标注主体的倾向或学习数据本身的偏向性)能够得到改善。

本发明实施例涉及的一致性诊断方法可以作为计算机可读代码在计算机可读的记录介质上实现。计算机可读的记录介质包括存储计算机系统可读数据的所有类型的记录设备。计算机可读记录介质例如ROM、RAM、CD-ROM、磁带、硬盘、软盘和光数据储存装置等。此外，计算机可读的记录介质分散在联网的计算机系统中，可以以分布方式存储和运行计算机可读的代码。并且，用于实施本发明的功能性(functional)程序、代码和各代码段是很容易由本发明技术领域工程师推论出来的。

本发明参考图示的一个实施例进行了说明，但仅仅是举例说明，应该理解为只要掌握本技术领域的常规知识就可以由此进行各种变化和同等的其他实施例。因此，本发明真正的权利要求范围应该由权利要求范围的技术思想来定。

工业利用可能性

本发明可应用于“基于监督学习的一致性诊断方法及其系统”。