信息处理装置以及信息处理方法

技术领域

本发明涉及信息处理装置以及信息处理方法，该信息处理装置以及信息处理方法在对由内窥镜等检查装置取得的图像实施标注，生成训练数据，并使用该训练数据，生成推理模型时，能够高效地有效灵活运用所取得的图像数据。

背景技术

为了生成推理模型(AI模型)，提出有如下信号分析系统以及方法：首先，收集原始数据，从该原始数据中提取并解释数据的特征，以用于生成推理模型(参照专利文献1)。即，在该信号分析系统中，输入是原始信号数据，特征的起源被追溯到信号数据，被映射于区域/应用知识。而且，通过使用深度学习网络，提取特征，安装机器学习模型，以分析传感器数据，进行用于故障预测的因果关系分析。

现有技术文献

专利文献

专利文献1：日本特开2019-87221号公报

发明内容

发明要解决的课题

在上述的专利文献1中记载的信号分析系统中，能够持续地进行基于专家指示的分类，有效灵活运用数据。但是，用于生成原始数据的传感器的特性等按照每个传感器不同，因此，在进行深度学习生成机器学习模型(推理模型)的情况下，必须考虑每个机型(例如安装于装置的传感器等)的特性的差异，但关于这一点，在专利文献1中没有任何考虑。因此，在专利文献1中，当机型不同时，难以使每个机型的标注为相同的品质。

此外，有可能输入来自具有未知特性的传感器等的数据而生成机器学习模型(推理模型)，但关于这一点，在专利文献1中也未考虑。因此，在专利文献1中，也难以应对未知状况。

本发明正是鉴于这样的情况而完成的，其目的在于提供一种信息处理装置以及信息处理方法，该信息处理装置以及信息处理方法在输入了特性不同的传感器等的数据的情况、输入了可以说是未知状况这样的数据的情况下，能够高效地生成推理模型。

用于解决课题的手段

为了达成所述目的，第1发明的信息处理装置能够与训练部协作，该训练部为了针对从第1内窥镜连续地得到的图像进行特定的图像特征的判定，判定由所述第1内窥镜按照时间序列得到的图像组是在第1时机得到的图像组、还是在第2时机得到的图像组，将对在所述第2时机得到的图像组进行标注的结果作为训练数据进行训练而得到所述第1内窥镜用图像的图像特征判定用的第1推理模型，该信息处理装置具备分类部，该分类部利用生成了所述第1推理模型时的在第1时机得到的图像组，对新取得的来自所述第1内窥镜或第2内窥镜的图像组中的、作为训练数据候选的图像组进行分类。

第2发明的信息处理装置在所述第1发明中，该信息处理装置具备第2推理模型，该第2推理模型是将所述分类部从作为训练数据候选的图像组中选择出的图像作为训练数据而得到的，该第2推理模型与所述第1推理模型规格相同，但与由所述第2内窥镜取得的图像对应。

第3发明的信息处理装置在所述第1发明中，在使用基于由所述第1内窥镜按照时间序列得到的图像组的训练数据生成了同样规格的现有推理模型时，将未成为标注对象的图像设为无用图像。

第4发明的信息处理装置在所述第1发明中，为了生成所述第1推理模型而取得的、在所述第1时机得到的图像组和在所述第2时机得到的图像组记录于记录部。

第5发明的信息处理装置在所述第1发明中，该信息处理装置还具备第1委托部，该第1委托部根据通过所述第1推理模型对同一图像进行推理的结果的可靠性，委托对图像组进行训练数据用的标注，该训练数据用于生成对所述第1推理模型进行改良而得到的第3推理模型。

第6发明的信息处理装置在所述第1发明中，该信息处理装置还具备第2委托部，该第2委托部将从所述第2内窥镜取得并分类好的图像组分类为所述第2内窥镜用的推理模型生成用的图像组，并且委托对该分类好的图像组进行标注，以得到与所述第1推理模型规格相同但与由所述第2内窥镜取得的图像对应的推理模型。

第7发明的信息处理装置在所述第1发明中，该信息处理装置还具备输入判定部，该输入判定部根据向所述第1推理模型输入了图像时的结果，判定是否是来自所述第2内窥镜的图像。

第8发明的信息处理装置在所述第1发明中，还具有追加记录部，该追加记录部将元数据追加记录于构成所述图像组的各个图像。

第9发明的信息处理装置在所述第1发明中，所述分类部利用生成了所述第1推理模型时的在所述第1时机得到的图像组，判定其特征，从由与所述第1内窥镜不同的第2内窥镜取得的图像中，分类出标注候选图像。

第10发明的信息处理装置在所述第1发明中，所述第2时机是根据用于求出推理模型的输入输出的关系来决定的。

第11发明的信息处理装置具有推理引擎，该推理引擎设定有把第1内窥镜得到的现有训练数据用检查图像组的标注结果作为训练数据进行训练而得到的所述第1内窥镜用图像的图像特征判定用的第1推理模型，以针对由所述第1内窥镜得到的图像进行特定的图像特征的判定，该信息处理装置具备分类部，该分类部还利用生成了所述第1推理模型时的未用作所述训练数据的图像的图像组，对由与所述第1内窥镜不同的第2内窥镜取得的检查图像组进行分类。

第12发明的信息处理装置在所述第11发明中，该信息处理装置具有第2委托部，该第2委托部委托将对所述检查图像组进行标注的结果作为训练数据进行训练而生成第2推理模型。

第13发明的信息处理装置具有：训练部，其通过将由内窥镜得到的检查动态图像中包含的图像组作为训练数据进行训练，生成所述内窥镜用的第1推理模型；记录部，其将按照动态图像帧的时间信息对从所述检查动态图像中包含的图像帧中选择出训练数据时的图像组进行分类的结果与所述检查动态图像中的至少一部分一起记录；动态图像取得部，其在所述训练部进行用于生成与所述第1推理模型不同的第2推理模型的训练时，取得新的检查动态图像；以及选择部，其根据所述记录部中记录的分类图像组，从所述新的检查动态图像中选择新的训练数据候选。

第14发明的信息处理装置在所述第13发明中，所述第1推理模型是用于显示针对由所述内窥镜得到的图像的推理结果的推理模型。

第15发明的信息处理装置在所述第13发明中，所述检查动态图像中的至少一部分包含标注候选图像。

第16发明的信息处理方法能够与训练方法协作，该训练方法为了针对从第1内窥镜连续地得到的图像进行特定的图像特征的判定，判定由所述第1内窥镜按照时间序列得到的图像组是在第1时机得到的图像组、还是在第2时机得到的图像组，将对在所述第2时机得到的图像组进行标注的结果作为训练数据进行训练而得到所述第1内窥镜用图像的图像特征判定用的第1推理模型，在该信息处理方法中，利用生成了所述第1推理模型时的在第1时机得到的图像组，对新取得的来自所述第1内窥镜或第2内窥镜的图像组进行分类。

第17发明的训练方法具有以下步骤：分割步骤，根据时机，对由第1内窥镜得到的检查动态图像进行分割；图像分类步骤，将与分割的所述时机中的第1时机对应的帧从训练数据候选中除去，将与第2时机对应的帧采用为训练数据候选；记录步骤，按照每个分割的所述时机对所述检查动态图像进行图像分类并记录；以及使用所述训练数据候选中的至少一个对第1推理模型进行训练的步骤，该第1推理模型对所述检查动态图像的帧中包含的患部信息进行推理。

第18发明的训练方法在所述第17发明中，具备标注步骤，在该标注步骤中，将对与所述第2时机对应的帧进行标注的结果设为所述训练数据候选。

第19发明的训练方法在所述第17发明中，具有如下步骤：在生成与所述第1推理模型不同的第2推理模型时，取得新的检查动态图像的步骤；以及选择步骤，以反映了所述图像分类的结果的分类方式对所述新的检查动态图像进行分类，由此选择所述第2推理模型用的训练数据候选。

第20发明的推理模型生成方法针对在特定的检查时得到的内窥镜动态图像信息，将通过把该内窥镜动态图像中的与训练图像对应的帧设为标注信息而得到的动态图像信息作为训练数据，进而将多个检查结果的内窥镜动态图像同样地转化为训练数据，将包含插入图像或拔出图像的内窥镜动态图像输入到训练装置，以训练数据的帧成为输出的方式进行训练，生成推理模型。

发明效果

根据本发明，能够提供一种信息处理装置以及信息处理方法，该信息处理装置以及信息处理方法在输入了特性不同的传感器等的数据的情况、输入了可以说是未知状况这样的数据的情况下，能够高效地生成推理模型。

附图说明

图1A是示出本发明一个实施方式的信息处理系统及其周边系统的结构的框图。

图1B是示出本发明一个实施方式的信息处理系统及其周边系统中的一部分结构的框图。

图2是示出本发明一个实施方式的信息处理系统及其周边系统的图像数据和推理模型的生成的关系的图。

图3A是示出本发明一个实施方式的信息处理系统及其周边系统的新推理模型生成的动作的流程图以及示出输入图像的例子的图。

图3B是示出本发明一个实施方式的信息处理系统及其周边系统的新推理模型生成的动作的变形例的流程图。

图4是示出本发明一个实施方式的信息处理系统及其周边系统中现有推理模型能够对输入图像准确地推理的情况和现有推理模型无法对输入图像准确地推理的情况的图。

图5A是示出本发明一个实施方式的信息处理系统及其周边系统的内窥镜1的动作的流程图。

图5B是示出本发明一个实施方式的信息处理系统及其周边系统的信息处理系统的动作的流程图。

图5C是示出本发明一个实施方式的信息处理系统及其周边系统的内窥镜2的动作的流程图。

图6是示出本发明一个实施方式的信息处理系统及其周边系统的判定是现状改良、还是新模型、还是除此以外的动作的流程图。

图7是示出本发明一个实施方式的信息处理系统及其周边系统的训练装置中的动作的流程图。

图8是说明本发明一个实施方式的信息处理系统及其周边系统的用于推理应该进行标注的图像的推理模型的生成以及使用了所生成的推理模型的推理的图。

具体实施方式

本申请的信息处理装置以及信息处理方法高效地收集生成新的推理模型、已改良的推理模型时的新的训练数据。因此，在生成了已经具有实际业绩的推理模型时，利用在进行机器学习时使用的、所谓过去的训练数据的特征。多数情况下，在生成了已经具有实际业绩的推理模型时使用的过去的训练数据是非常费力地生成的。这是因为，从无数图像中选出拍摄到应该检测的对象物的图像已经花费大量的工夫。

因此，在本发明的一个实施方式中，在生成与通过如下训练数据进行训练而得到的推理模型同样的推理模型，该训练数据是对连续图像的一部分帧进行标注而得到的时，为了对训练数据用的帧进行标注，优选进行过多的图像帧的筛选，因此，模仿作为范本的推理模型的生成历史，在标注之前进行标注图像帧的筛选。即，设置有如下步骤；在生成作为范本的推理模型时，通过以连续图像中的设为标注对象外的图像帧为参考，设为新得到的连续图像中的标注候选图像，以用于新的(或已改良的)推理模型(例如，参照图3A的(a)的S5、S7、图3B的S103、S107、图5B的S29、S39等)。在具有实际业绩的规格的推理模型的情况下，关于训练数据，也可能具有实际业绩。因此，如果生成相似规格的推理模型，则进行模仿，选择训练数据候选的图像帧，由此减少多余的工夫。

推理模型在多种状况下被使用，哪怕以内窥镜为例，也具有如下的各种规格的推理模型：为了进行用于访问某处的引导而在该过程中进行导航显示等的推理模型、用于促使唤起医生注意以不漏看病变等的推理模型、在观察被认为是病变的对象时用于观察方法的引导的推理模型、以及用于鉴别其是什么的推理模型。在以下的例子中，主要通过鉴别用、观察用的推理模型进行说明，但当然也能够应用于其他规格的推理。均根据拍摄一系列检查、处置的情形而得到的动态图像，选择必要的帧而转化为训练数据。

例如，即使只是10分钟的检查时间，如果是为了重视流畅度而每秒连拍60帧而得到的动态图像，则也成为3万6千帧这样庞大的帧数。而且，在生成病变检测用的推理模型以用于消化器官内窥镜的情况下，从体腔到达消化器官内部的患部的访问图像保持不被使用的状态，该图像有庞大的帧数。此外，在确认到患部之后，内窥镜拔出时的图像也同样如此。因此，从去除了这样的部分的剩余图像中搜索患部的图像。另外，预先追加记录如下情况：在生成其他规格的推理模型时，有可能只有访问图像才重要。

接着，在该剩余图像中，也以不漏看多个区域的方式确认是否具有患部。通过进行该确认动作，分类为无患部确认图像和有患部确认图像，该有患部确认图像用于找出患部，并确认其是怎样的患部。通常，无患部确认图像占据大部分。选出有患部确认图像，由医生等专家观察拍摄有患部的帧，当在该部分具有患部时，实施标注。即使为了确认该患部仅花费1分钟，也有3600帧成为对象的帧。该每1帧的标注(病名、症状、范围的写入等)也花费庞大的工夫。

由于难以根据一个病例生成能够应对多个病例的推理模型，因此，期望针对仅将从图像组中去除了访问图像组、无患部确认图像的结果筛选为标注对象图像的信息处理过程进行研究。当未顺利地进行该筛选时，医生、专家必须进行专业领域以外的庞大工作。即，当未去除访问图像、无患部确认图像时，内窥镜图像保持庞大的状态，未能在对关键的有患部确认图像进行准确的区域指定等关键的作业上花费足够的时间，或者到进行关键的作业为止的无用时间会增加。因此，无法快速且高效地生成通过高质量的训练数据进行训练而得到的推理模型。

以上，说明了生成如下推理模型时的例子：确认患部，鉴别其是怎样的病变，检测患部的扩展范围。但是，不限于该例子，还存在准确地引导内窥镜操作的推理模型的生成、用于发现容易漏看的患部的防漏看用推理模型的生成。在生成该推理模型的情况下，应该引导内窥镜的操作的场景的图像、容易漏看的图像等成为训练数据。在这些情况下，也与上述的理由同样地，从高达数万张的帧数中选出成为与关键的场景对应的训练数据的候选的对象图像，委托专家进行标注并不能说是高效的。

即，在生成已有的推理模型的改良版、或者新生成同样规格的推理模型以用于所假定的机型以外等情况下，能够通过以在生成过去具有实际业绩的同样规格的推理模型时使用的图像筛选的方法为参考，高效地生成推理模型。通过使用内窥镜而取得的图像在每次检查时经过同样的过程被收集，在生成推理模型的过程中，即使不对内窥镜图像的全部帧赋予其是访问图像、其是无患部确认图像、有患部确认图像这样的信息，只要具有在生成大量的训练数据的过程中所选择的结果的信息，就能够沿用该信息，简单地筛选出怎样的图像可能成为训练数据。

即，在利用对连续图像的一部分帧进行标注而得到的训练数据进行训练来生成推理模型的情况下，需要从大量的帧中找出训练数据候选的过程。但是，如果是生成预先存在的范本规格的推理模型这样的条件，则以原始的连续图像中的、设为标注对象外的图像帧为参考，从新得到的连续图像中去掉对象外图像候选，从剩余的帧中确定标注候选图像即可，该原始的连续图像是生成了作为范本的推理模型生成时的训练数据时的连续图像。根据执行这样的步骤的训练方法、训练系统、程序，能够利用范本推理模型生成时的技术诀窍。

例如，还能够使用作为训练数据的图像和内窥镜图像整体，生成进行推理这样的特殊的推理模型。使用如上所述的构思，针对在特定的检查时得到的内窥镜动态图像信息，对该内窥镜动态图像中的、与训练图像对应的帧赋予标注信息，将通过该处理得到的动态图像信息设为训练数据。并且，对多个检查结果的内窥镜动态图像(也可以包含插入图像或拔出图像)同样地赋予标注，生成训练数据。当生成了训练数据时，能够通过将输入设为包含插入图像或拔出图像的内窥镜动态图像，并以输出成为训练数据帧的方式进行训练，生成推理模型。

在上述的生成推理模型的方法中，应该取得的训练数据图像遗漏的情况可能是以下的2个状况。即，在以下的2个状况中，假定有可能漏看训练数据候选。首先，作为该第1个状况，是使用所假定的内窥镜(已经具有生成了推理模型的实际业绩的内窥镜)的情况，但针对与此前完全不同的稀有病例、伴随与通常不同的手术这样的通常图案以外的内窥镜图像，所得到的图像以及观察、操作方法都不同，因此有可能作为训练数据而无法准确地进行推理。此外，作为该第2个状况，针对操作方法、画质等与所假定的内窥镜装置不同的内窥镜装置，有可能作为训练数据而无法准确地进行推理。关于这样的情况，为了尽可能不漏看，优选放宽应作为训练数据的图像的条件。因此，在本发明的实施方式中，采取如下方法：针对先例较少的情况，尽可能在考虑到意料之外的同时，从优先级低的开始丢掉，使得能够进行高效的应对。此外，对训练数据候选实施标注优选在病变鉴别时等由医生等专家进行，但也可以利用现有的推理模型进行其辅助。也存在如下方法：如果医生表示OK，则将其结果直接转化为训练数据。

以下，作为本发明的一个实施方式，对将本发明应用于信息处理系统及其周边系统的例子进行说明。该系统原本是生成或者改善第1内窥镜(例如现有的内窥镜)等检查装置用的推理模型而得到的系统，但也对生成了第1内窥镜等检查装置用的推理模型时的训练数据等进行管理。这是因为，在推理模型的改良、生成其他规格的推理模型时，或者为了明确推理模型的来历，优选对训练数据、作为该训练数据的基础的内窥镜图像等进行管理。但是，是不仅现有模型的改善，还考虑生成与第1内窥镜等检查装置不同的第2内窥镜等检查装置用的推理模型而组成的系统。在此所生成的第1内窥镜等检查装置用的推理模型针对从第1内窥镜等检查装置得到的图像判定是否存在癌等病变部等，进行特定的图像特征的判定(例如，参照图5B的S25)。

记载为对训练数据、作为该训练数据的基础的内窥镜图像等进行管理，以明确推理模型的来历，所谓作为基础的内窥镜图像，例如以动态图像这样的形式、或者适当地以医生在检查中拍摄到的静态图像这样的形式记录有在特定患者的内窥镜检查时得到的图像。按照每个患者、病例记录有动态图像或附带的静态图像，该动态图像由于是在将内窥镜插入体腔进行检查并从体腔拔出内窥镜的过程中得到的图像，因此由几分钟以上的图像帧列构成。该动态图像包含插入时、检查时、拔出时的沿着时间序列的图像组，具有发现患部并详查的图像、筛选出没有患部这样的图像组等，作为检查时的图像。即，说明了沿着各种时间轴的图像列的图像组被分为多个图像组的情况。也可以将多个图像组最简单地记载为第1图像组和第2图像组。

特别是如果将检查时的图像组分为两个，则可以将由第1内窥镜按照时间序列得到的图像组设为在第1时机得到的图像组(访问中途的无用图像)，此外也可以设为在第2时机得到的图像组(寻找肿瘤等患部的时机的必要图像)。例如，在判定是哪一个(例如，参照图3A的(a)的S5、图5B的S23、图3的(b)的图像Ps、Po等)的情况下，也可以说是第1时机、第2时机，但也可以将插入时、拔出时的图像组设为第3图像组、第4图像组。此外，可以认为也筛选出插入图像组和拔出图像组，并包含于第1时机。在此，说明为第2时机的图像包含患部图像。

在第1时机的图像组具有患部的情况下，也可以设为第2时机的图像组，在第2时机的图像组最终没有患部的情况下，也可以将其重新分类为第1时机的图像组。第1时机和第2时机不是将时间序列的图像组在特定的时刻分为两个，而是如这个为第1时机、这个为第2时机、再次出现第1时机这样按照时间序列在时间轴中将它们适当地划分为多个时机。

此外，信息系统与已经具有生成了生成完毕的推理模型的实际业绩的训练部(例如，图1B的训练部18)协作。该推理模型是第1内窥镜用图像的图像特征判定用的第1推理模型，作为训练数据，将如上所述对在第2时机得到的图像组进行标注的结果设为训练数据，来进行训练。

该信息处理系统是具有生成了第1内窥镜用的推理模型的实际业绩的信息处理系统，因此，针对其他种类的内窥镜等也在生成推理模型方面略高一筹。因此，也可以具有如下功能：根据需要利用适于生成第1推理模型的图像组，也针对与第1内窥镜不同的完全未知的第2内窥镜新生成推理模型、或者对训练数据进行集中管理，并具备如下分类部(例如分类部15)：在由第2内窥镜取得的图像组中对图像进行分类，使得高效地生成训练数据。

如上所述，在本发明的一个实施方式中，能够由与第1内窥镜不同的第2内窥镜对图像进行分类。因此，即使在第2内窥镜是与第1内窥镜不同的未知的内窥镜这样的情况下，信息处理系统也能够高效地收集适于生成第2内窥镜用的推理模型的图像。即，应用针对第1内窥镜生成了推理模型时的训练数据、技术、逻辑或技术诀窍等，实现高效化。即，具有如下实际业绩：在生成第1内窥镜用的训练数据时，按照每一个检查从大量汇集的动态图像帧中提取作为训练数据的帧，使用该训练数据，生成了推理模型。因此，在从第2内窥镜取得了一个检查的动态图像的情况下，能够以与利用第1内窥镜生成了推理模型时同样的构思，从取得动态图像中筛选能够用作训练数据的帧，以(通过训练数据进行训练而)生成第2内窥镜用的推理模型。

即，从在使用了第1内窥镜的一次检查时得到的一系列内窥镜图像中选择成为了训练图像的帧，将对一系列图像中的训练图像帧进行标注的结果设为训练数据，训练出推理模型即可。这是因为，仅通过一次检查，训练数据不足，因此，对更多的检查结果进行同样的处理。训练时的输入信息设为包含插入或拔出图像的内窥镜检查图像帧组，输出信息设为被采用为训练数据的帧，进行训练而生成推理模型。也可以采用如下构思：当生成了推理模型时，将第2内窥镜的检查图像组输入到推理模型，推理的结果是，输出训练数据候选。

图1A和图1B是示出本发明一个实施方式的信息处理系统及其周边系统的结构的框图。该系统具有信息处理系统10、图像系统20和记录部30。图1A示出该系统整体，图1B示出信息处理系统10内的控制部11和记录部30的内部结构。图像系统20包含于内窥镜等检查装置中，取得内窥镜图像等图像数据。信息处理系统10取得由图像系统20所取得的图像数据，该取得的图像数据记录于记录部30。此外，对所取得的图像数据实施标注而生成训练数据，并使用该训练数据生成推理模型。在灵活运用了推理模型19a的系统的情况下，优选能够证明该系统是通过怎样的训练数据进行训练而得到的，还要求来历的透明性，并记录于记录部30。

信息处理系统10设置于1个或多个服务器等。此外，记录部30也设置于服务器等。信息处理系统10和记录部30可以设置于同一服务器内，此外也可以分散地设置。此外，在本实施方式中，说明为训练部18设置于信息处理系统10内，但也可以设置于信息处理系统10的外部。图像系统20、信息处理系统10、记录部30能够分别经由互联网、内部网等通信网而连接，只要能够进行数据通信即可。

图像系统20如上所述设置于内窥镜等检查装置内。该图像系统20具有控制部21、处置部22、图像取得部23和显示部24。图像系统20除了上述的各部以外，还具有通信部(具有通信线路)，能够与信息处理系统10等经由通信部进行收发通信。

控制部21控制图像系统20整体。控制部21由具有CPU等处理装置、存储有程序的存储器等的1个或多个处理器构成，能够通过执行程序，控制图像系统20内的各部。

处置部22插入体内等内部，进行用于观察内部的处置。工业用内窥镜、医疗用内窥镜基本上是插入某个内部而对其中进行观察的摄像装置，但实际上不仅是摄像装置，还具有用于插入、观察的装置/机构。处置部22调节设置于内窥镜的前端部的摄像部的位置、朝向，根据需要，需要注水、抽吸等功能，因此，同时设置专用的管等，满足这些功能要求。此外，对用于进行活检、治疗的处置器具(活检钳子、圈套器、高频刀、注射针等)进行驱动。药剂投放等功能也包含于其中。并且，处置部22具有照明部等，照明部除了照射内部以外，还能够切换光源特性(波长等)，取得对象物的表面或比其更深的位置的对象物的反射图像等。此外，在具有能染色、荧光观察的功能的情况下，处置部22也可以具有这些对应功能。

图像取得部23包含拍摄镜头、摄像元件、摄像控制电路、图像处理电路等，取得图像数据。在检查时，内窥镜的前端部插入体内，能够由图像取得部23取得体内、例如食道、胃、肠内的图像数据。图像取得部23也可以具有变焦、近拍、3D信息取得的功能。此外，图像取得部23也可以具有多个摄像部，还可以如上所述与照射光的切换等协作，即使在相同的部分，也能够取得不同特性的图像，并进行各种图像分析。

图像取得部23在内窥镜的前端部被插入体内时，能够连续地取得图像。特别是关于沿着消化道等观察人体内部的内窥镜检查，例如从口、鼻、肛门等体腔插入，从开始该插入起开始确认用的观察，实际上在各种部位进行检查，从最后所插入的地方取出内窥镜并结束检查。因此，在内窥镜检查中，按照每个作为对象的检查得到极其相似的图像。一边确认拍摄结果一边在行进道路上行进的技术也可以说是汽车驾驶这样的技术，但上述的方面大不相同。因此，图像取得部23能够在内窥镜的前端部被插入体内时开始图像取得，并连续地取得图像，直到检查结束而从相同地方拔出为止。

在图1A中，输入图像P1、P2、P3是所连续地取得的图像(表现为动态图像，也可以是构成它们的各帧)数据。此外，输入图像SP是动态图像中的一帧，或者是医生或医疗从业者有意地取得以用于记录的所谓静态图像的图像数据。在多个推理模型被设计成判定在静止图像中的哪个部分拍入了怎样的部位的现状下，针对推理模型而言，采取输入图像这样的表现。在多数情况下，在推理时使用动态图像，将动态图像的各帧输入到推理模型，因此，也不需要特意注明为静态图像，而以容易理解的方式表现出来。当然，由于有时也根据多个帧进行推理，因此，在该情况下，输入图像不需要是静态图像。但是，当预先设为静态图像这样的表现时，容易想象在通常的照片图像中进行各种注释并记录这样的用途，因此，以沿用该图像的感觉将类别信息Pc与该输入图像SP关联起来。

类别信息Pc(上述注释的一种)例如是内窥镜的制造商、机型名称等与取得了图像的装置相关的信息。在图像P1～P3中，也可以对各个图像赋予类别信息，此外也可以将多个图像组转化为文件，将类别信息与该图像文件关联起来。画质等根据图像取得部23内的传感器、图像处理电路等而不同，但如果该类别信息Pc被赋予给图像数据，则容易理解是怎样的画质的特性。此外，类别信息Pc的下方的空栏是用于将其他注释记录为元数据的区域。如果将各种附带信息记录于该区域并与图像设为一组，则即使不特意判定图像的内容，只要观察元数据，就能够知晓是怎样的图像，或者通过拍摄时的条件、补充信息等其他信息对图像进行检索。当然，还能够使用这样的元数据，提高训练、推理的效率。如果在训练时赋予有标注信息等，则能够在推理时以多模态这样的方式进行高级推理。

显示部24具有显示器等，能够显示由图像取得部23取得的内窥镜图像。在该显示时，也一并显示由信息处理系统10内的推理引擎19推理出的显示内容25、即推理结果25a、可靠性25b。作为推理结果25a，以可知癌等病变部的位置的方式显示于由图像取得部23取得的内窥镜图像。

信息处理系统10具有控制部11和推理引擎19，该推理引擎19具备现有推理模型19a。控制部11控制信息处理系统10整体。控制部11由具有CPU等处理装置、存储有程序的存储器等的1个或多个处理器构成，能够通过执行程序，控制信息处理系统10内的各部。如图1B所示，在控制部11内设置有输入判定部12、图像相似判定部13、元数据赋予部14、分类部15、第1委托部16、第2委托部17、训练部18和记录控制部18A。关于现有推理模型19a是通过怎样的训练数据进行训练而得到的，还要求来历的透明性，在上述的记录部30中记录有来历/规格等信息。

输入判定部12被输入由图像取得部23取得的图像数据。在信息处理系统10和图像系统20经由互联网、内部网等通信网而连接的情况下，经由该通信网输入输入图像P1～P3、SP等图像数据、类别信息等。

此外，输入判定部12判定与该已输入的图像数据相关联的类别信息、元数据等。此外，也可以根据将由图像取得部23取得的图像输入到现有推理模型19a时的推理结果，判定是否是来自第2内窥镜的图像(例如，参照图5B的S23)。现有的推理模型19a是根据来自第1内窥镜的图像而生成的，因此，针对来自第2内窥镜的图像，推理结果的可靠性会降低。输入判定部12作为如下输入判定部发挥功能：根据将图像输入到第1推理模型时的结果，判定是否是来自第2内窥镜的图像(例如，参照图5B的S23)。输入判定部12作为如下动态图像取得部发挥功能：在训练部进行用于生成与第1推理模型不同的第2推理模型的训练时，取得新的检查动态图像(例如，参照图5B的S21)。

此外，在类别信息Pc未与输入图像相关联的情况下，输入判定部12考虑图像系统20的机型、画质(光学确定)、图像的照明的照射状况、图像的视场角、图像的形状等各种信息，判定输入图像的特性等。此外，也可以根据一起拍摄到图像内的处置器具的形状等，此外如果是动态图像，则根据操作的情形等，判定输入图像的特性等。这能够判定是来自怎样的设备的图像，或者即使是相同设备，也能够判定以怎样的用途使用，或者能够判定进行操作的医生、医疗从业者的技能等。

图像相似判定部13判定由输入判定部12输入的图像是否与记录部30的现有训练数据生成时检查图像组31内的第1时机图像部31c和第2时机图像部31d中记录的图像中的任意一个相似。在第1时机图像部31c和第2时机图像部31d中记录有在生成现有推理模型时采用哪个数据作为训练数据、未采用哪个数据作为训练数据、此外是否被采用为标注数据。例如，如果现有推理模型19a是鉴别用推理模型，则是在第1时机取得的图像、即医生等访问肿瘤等病变部时取得的图像。该第1时机图像部31c中记录的第1时机图像是通常不作为用于生成第1内窥镜用的现有推理模型(第1推理模型)的训练数据采用的图像。第2时机图像部31d中记录的第2时机图像是在第2时机取得的图像、即在医生等寻找肿瘤等病变部并进行详查的时机、或者是作为病变部采用的图像。

由于在内窥镜的特性上、安全上以及视觉上进行确认的操作是重要的，因此，直至特定部位检查为止的插入的过程、检查结束后的拔出的过程等也保留为图像，此外连续地朝向更深部、或者相反地被拉出的过程保留为图像。由于无论怎样的用户要对怎样的对象物使用怎样的器材，都是共同的图像变化的特性，因此，有效利用能够按照时间轴划分为这样的在第1时机取得的图像和/或在第2时机取得的图像、或者进一步在第3时机、第4时机取得的图像这样的特性，进行上述的相似判定。而且，例如，能够得到与插入时的图像同样的图像作为好像追溯时间这样的图像，以在拔出时通过相同的部位。这能够在将插入时图像设为第1时机图像时，将拔出时的图像作为相同的第1时机图像，并且作为与第2时机图像不同的图像进行分类。

此外，除此之外，还存在如下这样的状况：能够进行图像的分类，并作为由内窥镜得到的图像独有的相似图像，针对肿瘤等病变部(患部)，医生等对相同部位进行放大观察，或者通过光源波长的变更、图像处理特性的变更进行特殊观察。这些图像也可以全部分类为例如第2时机图像，并作为同样的图像来处理。此时，也可以将放大前后设为1组，或者将有无特殊(光)观察等设为1组来处理，将具有这样的组的图像作为第2时机图像来与第1时机图像进行区分。如以上所说明的那样，检查动态图像是时时刻刻地变化的记录有检查顺序的证据，作为以时间轴分类的静态图像帧的列进行整理是简单的。

因此，第1时机是医生等操作内窥镜等使其在体内移动到作为目标的部位的中途，在该情况下，例如在假定了检测位于患部的是怎样的肿瘤的推理模型的情况下，由于是没有训练数据候选的时机，因此，与医生等访问患部等的时机等对应。在此，列举这样的情况为例进行说明(参照图3的(b)的图像Ps)。在该第1时机能够取得的图像不以观察为目的，只要能够熟练地访问患部即可，只要是可知在不损伤内部的情况下将前端部送入体内的程度的画质即可。有时图像取得流动而跟不上内窥镜插入操作，有时抖动，是低画质。因此，对于生成观察并鉴别这样的推理模型而言不是适当的画质，作为无用图像不进行记录(例如，参照图3A的(a)的S3)。

在利用对连续图像的一部分帧进行标注而得到的训练数据进行训练而得到的推理模型的情况下，需要从大量的帧中找出训练数据候选的过程，会花费大量的工夫。但是，在本实施方式中，如果是生成与预先存在的范本同样规格的推理模型这样的条件，则使得以原始连续图像中的、设为标注对象外的图像帧为参考，从新得到的连续图像中去掉对象外图像候选，并从剩余的帧中确定标注候选图像，该原始连续图像是生成了范本的推理模型生成时的训练数据时的连续图像，因此，能够简单地生成训练数据。这样，关于重要度较低的图像，在生成了作为范本的规格的推理模型时，反映根据时机从动态图像等图像的列(按照时间序列得到的图像组)中取舍选择出的结果来确定。根据执行以上所说明的步骤的训练方法、训练系统、程序，能够灵活运用范本推理模型生成时的训练数据选择等技术诀窍。

但是，还存在如下情况：在生成安全的插入引导用推理模型的用途(规格)的情况下，反倒是重要度较低而去掉的图像变得重要，并应该记录。在该情况下，能够同样地进行无用图像(使优先级降低的图像)的构思即可。即，在生成了同样规格的现有推理模型时，将未成为标注对象的图像设为无用图像即可。

另一方面，第2时机是如下时机：医生等为了观察、鉴别以确认对象物而操作内窥镜等，使其在体内位于作为目标的部位附近，使内窥镜前端缓慢地移动，进行弯曲并且详查(参照图3的(b)的图像Po)。在该第2时机，医生等也伴随着通过注水等去除并抽吸污垢这样的控制，使内窥镜前端缓慢地移动并弯曲，此外改变画质，或者放大，或者拉动患部，或者改变确认的角度，或者进行特殊观察，或者进行染色、荧光观察。在该第2时机取得的图像是目标部位附近的图像，多数情况下，在图像内持续捕捉同样的部位，抖动也较少，是聚焦后的高画质的图像。在该时机所取得的图像至少能够判定为在与之前的第1时机不同的时机所得到的图像。

上述的在第1时机所取得的图像和在第2时机所取得的图像划分为与图像拍摄的时机对应的组，作为第1图像或第2图像记录于记录部30(参照图3A的(a)的S5、S7、图5B的S35、S37、S29)。当然，由于无法断言在明确的时间上的一点上被划分，因此，有时也无法对组之间的帧准确地进行编组，但多数情况下，在从大量的图像帧中找出训练数据的候选这样的用途中，不会成为问题。即使在编组不适当的情况下，也能够在转化为训练数据的过程中充分地修改编组。例如，在第2图像的特定帧成为了训练数据的情况下，通过相似图像检索从第1图像中判定并取出与该特定帧相似的帧，并重新分类为第2图像即可。第1图像是第1时机图像部31c中记录的第1时机图像，第2图像简单表述了第2时机图像部31d中记录的第2时机图像。

如上所述，图像相似判定部13根据图像的相似度，判定输入图像是与第1时机图像部31c中记录的第1时机图像相似、还是与第2时机图像部31d中记录的第2时机图像相似。在生成现有推理模型时，在第1时机图像部31c和第2时机图像部31d中记录有哪个数据是否成为了训练数据、以及哪个数据是否成为了标注数据。因此，如果利用在此记录的图像，则也会成为怎样的数据被作为训练数据采用并训练的证据，能够使用该图像，在出现新的图像时作为参考来进行分类，以用于今后的新的推理模型。在生成现有内窥镜用的推理模型时，预先在第1时机图像部31c、第2时机图像部31d中记录第1时机图像和第2时机图像。然后，信息处理系统10有时从多种内窥镜输入图像(例如，参照图2的输入图像PI1～PI3)。每当输入这些图像时，图像相似判定部13在生成相似规格的推理模型时，判定是否与记录有哪个数据是否成为了训练数据、哪个数据是否成为了标注数据的第1时机图像、第2时机图像相似。该判定结果发送到分类部15。

元数据赋予部14对图像数据赋予元数据。如后所述，作为元数据，类别信息31a、规格信息31b与现有训练数据生成时检查图像组31的图像数据(第1时机图像、第2时机图像)相关联。类别信息31a例如是内窥镜的制造商信息，是用作图像系统20的内窥镜的传感器、光学特性、图像处理电路的特性等。在生成推理模型时，收集每个内窥镜的制造商、机型等的图像，生成训练数据，并使用该训练数据，生成推理模型。这是因为，即使是适于某机型等的推理模型，针对其他机型等，推理的可靠性有时也降低。因此，将类别信息31a与图像关联起来。规格信息31b是使用图像文件32A生成了第1推理模型(现有推理模型)时的表示推理模型的规格的信息。规格信息包含在生成推理模型时使用了怎样的图像、推理模型的构造等与推理模型相关的各种信息。元数据赋予部14作为将元数据追加记录于构成图像组的各个图像的追加记录部发挥功能。

在灵活运用了现有推理模型19a的系统的情况下，优选能够证明该系统是通过怎样的训练数据进行训练而得到的，还要求来历的透明性，记录于该记录部30。记录部30中记录的图像文件还假定作为训练数据的基础的按照时间序列得到的图像组(例如，通过特定的内窥镜检查得到的动态图像)等。图像是从怎样的设备得到的、是拍摄什么而得到的、拍摄的日期时间等能够作为类别信息31a来通过元数据进行整理。也可以具有表示由该图像形成了怎样的推理模型的元数据、记录部30。在图1A和图1B中，记载有该推理模型19a的规格信息31b，有时也由相同的图像形成多个推理模型。此外，也可以使得能够记录该图像组的哪个部分(帧)成为了训练数据。

在本说明书中，为了便于理解，简化为能够将第1时机图像、第2时机图像的信息记录于第1时机图像部31c、第2时机图像部31d。除此以外，也可以通过是否成为了训练数据候选进行划分，也可以将实际上成为了训练数据的图像设为第2时机图像，也可以通过从动态图像(按时间序列得到的图像组)的开头起的经过时间、帧数等确定，也可以对图像帧附加标志等，并能够对其进行管理。也可以不按训练数据候选进行分类，而按成为了训练数据的图像进行分类并分开记录。可以将其设为第2时机图像，还可以将其进一步进行其他分类而分类为第3时机图像。

在本实施方式中，大致分为第1时机、第2时机，以表示能够将构成动态图像等按照时间序列得到的图像组的帧的特征划分为至少2个、即多个进行记录。此外，虽然所标注的图像不一定被作为训练数据采用，但如果在经过了标注这样的费事的作业的图像中存在相应的重要度而使得能够判别，则能够在生成其他推理模型时等利用，或者作为参考。另外，在图1B中，看起来图像文件仅对应一个推理模型信息，但有时也能够由相同的图像形成多个推理模型，此时，与其相应地单独整理并记录第1时机图像部31c、第2时机图像部31d。

另外，在图像系统20中，对输入图像赋予有类别信息Pc的情况下，类别信息31a也可以沿用该类别信息Pc。在类别信息Pc未与输入图像关联起来的情况下，输入判定部12只要考虑图像系统20的机型、画质(光学确定)、图像的照明的照射状况、图像的视场角、图像的形状等各种信息来赋予类别信息31a即可。此外，也可以根据一起拍摄到图像内的处置器具的形状等，此外如果是动态图像，则根据操作的情形等，判定并赋予类别信息31a。此外，在图1B中，仅针对现有训练数据生成时检查图像组31的图像文件32A赋予了规格信息31b，但也可以在使用检查图像组32生成了推理模型的情况下，记录该推理模型的规格信息。

分类部15根据图像相似判定部13中的判定结果，对输入图像进行第1时机图像或第2时机图像的分类。根据该分类结果，对输入图像附加表示是第1时机图像或第2时机图像的类别信息32a。第1时机图像有可能在生成市场上不太为人所知这样的未知的内窥镜(特征不清楚的内窥镜)用的第2推理模型时能够使用。

分类部15作为如下分类部(处理器)发挥功能：利用生成了第1推理模型时的在第1时机得到的图像组，从新取得的来自第1内窥镜或第2内窥镜的图像组中分类出作为训练数据候选的图像组(例如，参照图5B的S35、S37等)。在使用基于由第1内窥镜按照时间序列得到的图像组的训练数据生成了同样规格的现有推理模型时，分类部将未成为标注对象的图像设为无用图像(例如，参照图2的图像Plo等)。此外，分类部15作为如下分类部发挥功能：还包含并利用在生成了第1推理模型时未用作训练数据的图像组，对由与第1内窥镜不同的第2内窥镜取得的检查图像组进行分类(例如，参照图5B的S35、S37等)。

此外，分类部15利用生成了第1推理模型时的在第1时机得到的图像组的特征，对由与第1内窥镜(现有的内窥镜、特定制造商制造的内窥镜)不同的第2内窥镜取得的图像组进行分类。即，分类部15利用生成了第1推理模型时的在第1时机得到的图像组，(例如，通过第1时机图像组和第2时机图像组具有的特征的差异等)判定该图像组的特征，对由与第1内窥镜不同的第2内窥镜取得的图像在时间上进行分割，通过相同的规格、画质等性能进行比较，找出第1图像与第2图像的特征的差异，从现有训练数据生成时检查图像组的全部图像帧中对标注候选图像进行分类。

分类部15作为如下分类部发挥功能：还利用生成了第1推理模型时未用作训练数据的图像的图像组，判定其特征，从由与第1内窥镜不同的第2内窥镜取得的图像中分类出标注候选图像(例如，参照图5B的S35、S37等)。另外，第2时机根据求出推理模型的输入输出的关系(推理模型的规格)来决定。

记录控制部18A对由输入判定部12进行判定、由图像相似判定部13进行相似判定、由元数据赋予部14赋予元数据、由分类部15进行了分类的图像，进行向记录部30记录的记录控制。在进行向记录部30记录的记录控制时，将在现有训练数据生成时所输入的图像组记录于现有训练数据生成时检查图像组31，在生成现有训练数据以后，在通常的检查时所输入的图像组记录于检查图像组32。另外，使用了现有训练数据的现有推理模型不限于1个，可能具有多个，因此，在现有训练数据生成时检查图像组31中与各个现有推理模型相应地记录有多个图像文件31A。在图1A中，看起来仅具有一个图像文件31A，但记录有多个图像文件。

这样，新的检查图像记录于检查图像组32，以用于诊察或其证据，此外一并记录有现有训练数据生成时检查图像组31的图像文件组31A(如果能够协作，则无需是严格相同的存储器)。因此，通过对这些图像进行比较，容易判定检查图像组32的图像(动态图像)在哪个时机拍摄到怎样的部位或者存在怎样的事件等。之后，在图8中，该构思作为推理的一例而示出。这样，新取得并记录的图像组能够简单地按照每个时机进行分类。

第1委托部16委托训练部18使用在第2时机取得并且记录于现有训练数据生成时检查图像组31的第2时机图像部31d中的第2时机图像组，生成推理模型。该推理模型用作现有推理模型19a。此外，第1委托部16在生成现有推理模型19a之后，在使用第1内窥镜(现有的内窥镜、特定制造商制造的内窥镜)输入了内窥镜图像时，在具有此前未看到过这样的稀有图像的情况下，使用该图像，委托训练部18生成现有推理模型19a的改良推理模型(例如，参照图3A的(a)的S7、图5B的S27～S33等)。第1委托部16作为如下第1委托部发挥功能：根据通过第1推理模型对同一图像进行了推理的结果的可靠性，委托对图像组进行训练数据用的标注，该训练数据用于生成改良第1推理模型而得到的第3推理模型(参照图4的(a)、图3A的(a)的S7、图3B的S107、S109、图5B的S27～S33)。

用于委托生成现有推理模型的第1委托部16也可以不一定设置于该系统内。但该第1委托部具有取舍选择训练数据而生成了现有推理模型的实际业绩，与信息处理系统10具有某些协作，记录有训练数据的取舍选择结果作为现有训练数据生成时检查图像组31，因此，此时进行图示，以明确表达该第1委托部进行了将怎样的图像设为训练数据等控制。

第2委托部17委托训练部18从检查图像组32中记录的图像32b中使用适于生成第2内窥镜用推理模型的图像来生成推理模型。如后所述，在检查图像组32中记录有在生成现有推理模型之后由第1内窥镜(现有内窥镜、特定的制造商制造的内窥镜)、第2内窥镜进行了内窥镜检查时取得的图像数据。对这些图像数据中的、由第2内窥镜取得的图像数据赋予标注，将其设为训练数据。通过由该第2委托部17委托而生成的推理模型是在医生等使用第2内窥镜进行检查时使用的推理模型，该推理模型也可以作为第2推理模型而设定于图像系统20内的推理引擎19。

第2委托部17作为如下第2委托部发挥功能：将从第2内窥镜取得并分类好的图像组分类为第2内窥镜用的推理模型生成用的图像组，并且委托针对该分类好的图像组进行标注，以得到与第1推理模型规格相同但与由第2内窥镜取得的图像对应的推理模型(例如，参照图5B的S43)。第1委托部16和/或第2委托部17作为如下选择部发挥功能：根据记录部中记录的分类图像组，从新的检查动态图像中选择新的训练数据候选(例如，参照图7的S93等)。此外，第2委托部17作为如下第2委托部发挥功能：委托将对检查图像组进行标注的结果作为训练数据进行训练而生成第2推理模型(例如，参照图5B的S27～S33)。

训练部18从第1委托部16和第2委托部17接受委托，生成推理模型。训练部18具有推理引擎，输入训练数据，设定中间层的神经元的权重，以使推理结果与所标注的内容相同。

在此，说明深度学习。“深度学习(Deep Learning)”是对使用神经网络的“机器学习”的过程进行多层结构化而得到的。从前向后发送信息而进行判定的“正向传播型神经网络”是代表性的深度学习。正向传播型神经网络是最简单的，具有输入层、中间层以及输出层这3层即可，该输入层由N1个神经元构成，该中间层由N2个由参数给出的神经元构成，该输出层由N3个与待判别的类别的数量对应的神经元构成。输入层与中间层、中间层与输出层的各神经元分别通过连接加权来连接，中间层和输出层通过加上偏置值，能够容易地形成逻辑门。

神经网络只要能够进行简单的判别即可，可以是3层，但通过使中间层为多层，也能够在机器学习的过程中训练多个特征量的组合方法。近年来，从训练所花费的时间、判定精度、消耗能量的观点出发，9层～152层的神经网络为实用的。此外，也可以进行压缩图像的特征量的被称作“卷积”的处理，以最小限度的处理进行动作，利用在图案识别方面较强的“卷积型神经网络”。此外，也可以与能够处理更复杂信息的、含义根据顺序、次序而改变的信息分析对应地，利用双向传输信息的“递归型神经网络”(全连接递归神经网络)。

为了实现这些技术，也可以使用CPU、FPGA(Field Programmable Gate Array：现场可编程门阵列)等以往存在的通用的运算处理电路。但是，不限于此，由于神经网络的处理大多是矩阵的乘法运算，因此也可以利用专用于矩阵计算的被称作GPU(GraphicProcessing Unit：图形处理单元)、张量处理单元(TPU：Tensor Processing Unit)的处理器。近年来，这样的人工智能(AI)专用硬件的“神经网络处理单元(NPU)”被设计为能够与CPU等其他电路一起集成而组装，有时也成为处理电路的一部分。

除此以外，例如，还具有支持向量机、支持向量回归这样的方法，作为机器学习的方法。关于这里的训练，具有计算识别器的权重、滤波器系数、偏移的方法，除此以外，还具有利用逻辑回归处理的方法。在使机器判定某些内容的情况下，需要人教给机器判定的方法。在本实施方式中，采用了通过机器学习导出图像的判定的方法，但除此以外，也可以使用应用人通过经验法则/直观推理(heuristics)而获得的规则的规则库的方法。

训练部18在生成现有的推理模型时也能够使用。在生成现有的推理模型的情况下，训练部为了针对从第1内窥镜连续地得到的图像进行特定的图像特征的判定，将对第1内窥镜按照时间序列得到的图像中的在第2时机得到的图像组进行标注的结果作为训练数据进行训练，而得到第1内窥镜用图像的图像特征判定用的第1推理模型。在此，在第1时机得到的图像组被分类为访问中途的图像，在第2时机得到的图像组被分类为确认肿瘤等时的图像。关于标注，针对确认到肿瘤等的图像，标注肿瘤等位于图像帧内的何处、鉴别是怎样的肿瘤而得到的结果等即可。如果对这些标注完毕图像帧进行训练，则能够生成现有的推理模型。该现有推理模型的规格可以写作肿瘤的鉴别。虽然是反复，但也可以进行训练以生成其他规格的推理模型，但此时，图像组的划分、标注的内容不同。

因此，本实施方式中的生成现有的推理模型的训练部为了针对从第1内窥镜连续地得到的图像进行特定的图像特征的判定，而判定由第1内窥镜按照时间序列得到的图像组是在第1时机得到的图像组(访问途中的图像)、还是在第2时机得到的图像组(在寻找肿瘤等的时机得到的图像)，将对在第2时机得到的图像组进行标注的结果作为训练数据进行训练，而生成第1内窥镜用图像的图像特征判定用的第1推理模型。在本实施方式中，训练部18设置于信息处理系统10，但现有的推理模型生成用的训练部也可以不设置于信息处理系统10的内部，只要配置于外部，信息处理系统10能够与该训练部协作即可。

训练部18将由分类部从成为训练数据候选的图像组中选择出的图像作为训练数据，生成第2推理模型，该第2推理模型与第1推理模型规格相同，但与由第2内窥镜取得的图像对应(例如，参照图7的S89)。关于此处生成的第2推理模型，假定了与现有推理模型相同的规格，将该规格设定于推理引擎19。在现有推理模型进行癌等病变部的推理的情况下，对由第2内窥镜取得的图像进行癌等病变部的推理的同样规格的推理模型成为第2推理模型。这样，在同样规格的推理模型的情况下，已经在第1推理模型的训练中使用的图像的分类成为参考。

此外，训练部18作为如下训练部发挥功能：通过将由内窥镜得到的检查动态图像中包含的图像组作为训练数据进行训练，生成内窥镜用的第1推理模型。训练部18作为如下训练部发挥功能：为了对由第1内窥镜得到的图像进行特定的图像特征的判定，而将对第1内窥镜得到的第1图像组进行标注的结果作为训练数据进行训练，而得到第1内窥镜用图像的图像特征判定用的第1推理模型。另外，第1推理模型是用于针对由内窥镜得到的图像显示推理结果的推理模型。

在推理引擎19中设定有现有推理模型19a，但在该例子中，假定鉴别病变是什么的鉴别用推理引擎来进行说明。图像系统20向信息处理系统10发送由图像取得部23取得的图像(P1～P3、SP等)(例如，参照图5A的S13)。推理引擎19在输入了图像时，对是否具有癌等病变部、以及其位置等进行推理，向图像系统20发送推理结果(例如，参照图5B的S25)。图像系统20在输入了推理结果时，将推理结果25a和可靠性25b输出到图像系统20。图像系统20将接收到的推理结果25a和可靠性25b输出到显示部24。推理引擎19作为如下推理引擎发挥功能：设定有把第1内窥镜得到的现有训练数据用检查图像组的标注结果作为训练数据进行训练而得到的第1内窥镜用图像的图像特征判定用的第1推理模型，以针对由第1内窥镜得到的图像进行特定的图像特征的判定。

接着，对图1B所示的记录部30进行说明。记录部30也可以设置于具备信息处理系统10的服务器等的内部，此外也可以设置于信息处理系统10的外部的服务器等的内部。记录部30是能记录大量图像数据的能电改写的非易失性存储器。在记录部30中，能够记录在生成现有训练数据时使用的现有训练数据生成时检查图像组31、在生成现有训练数据之后从各种内窥镜输入的检查图像32和新推理模型的生成规格信息33。

现有训练数据生成时检查图像组31中记录为了生成适于现有内窥镜的推理模型而收集图像时的图像数据。如上所述，医生等使用现有的内窥镜(第1内窥镜)进行检查，此时取得并在现有训练数据的生成中使用的图像数据被作为现有训练数据生成时检查图像组记录于记录部30。在该现有训练数据的生成中使用在第2时机、即医生等发现患部的时机取得的第2时机图像。但是，在检查时，如上所述，能够还一起取得所谓第1时机的图像，该第1时机是将内窥镜插入体内、在发现患部之后直到从体内拔出内窥镜为止的期间、即第2时机以外的时机。该第1时机的图像应该是与现有训练数据生成时检查图像组31的第1时机图像部31c中记录的图像相同的图像，因此，当新输入了内窥镜图像时，参照第1时机图像，被整理为第1时机图像。

在生成用于现有内窥镜的推理模型时，该推理模型不限于单个，有时结合各种用途、机型，生成多个推理模型。因此，每当图像取得部23取得图像数据(还包含图像数据组)时，信息处理系统10生成图像文件32A。在现有训练数据生成时检查图像组31中记录有多个图像文件31A。各图像文件31A具有类别信息31a、规格信息31b、第1时机图像部31c和第2时机图像部31d。第1时机图像部31c中记录的第1时机图像相当于图像系统20所取得的图像lo、Pna、第2时机图像Pad1～Pad3(参照图2)等图像数据。

检查图像组32记录在为了生成现有训练数据而收集图像之后由第1内窥镜(现有内窥镜、特定的制造商制造的内窥镜)、第2内窥镜进行内窥镜检查时取得的图像数据。如上所述，信息处理系统10除了现有的内窥镜以外，有时还从未知的内窥镜输入图像(例如，参照图2的图像PI3)，还有时由现有的内窥镜输入图像。检查图像组32相当于这样的图像。使用该检查图像组32，生成新推理模型。此外，即使是现有的内窥镜，也具有偶尔能看到的图像，该情况下的检查图像组32用于改良现有推理模型。因此，将各种信息与信息处理系统10所取得的图像数据关联起来，并作为检查图像组32记录于记录部30。

如后所述，新推理模型生成规格信息33是使用检查图像组32的图像数据生成推理模型的情况下的、与用于生成推理模型的规格相关的信息。在生成推理模型时，需要与训练数据的总体相关的规格、推理模型的结构的定义等规格。此外，在改良现有的推理模型的情况下，记录追加训练数据的规格信息33a。

优选通过这样的记录对通过怎样的设备对怎样的输入进行怎样的输出这样的规格的信息进行准确地管理。由于通过这些信息对各推理模型的规格、此时使用的训练数据等进行了管理，因此，在将通过哪个推理模型进行了怎样的推理例如作为证据信息来记录、或者附加于图像、或者进行记录的情况下，也能够简单地参照。关于新的推理模型、所改良的推理模型，优选准确地验证与现有推理模型相比性能是相同、还是优异等。在无法得到通过现有模型判别出的结果这样的情况下，不能说是版本升级，因此，它们的通知事项、性能的界限等信息也优选在记录区域中被准确地管理。如果存在一些问题，则参照该记录区域即可。当然，也可以将现有推理模型的信息记录于此。

如上所述，在记录部30中记录有为了生成第1推理模型而取得的、在第1时机得到的图像组和在第2时机得到的图像组(例如，参照图2的图像Plo、Pad1～Pad3、Pna等)。即，不限于用于生成第1推理模型(现有推理模型)的在第2时机得到的图像组，还记录有在第1时机得到的图像。此外，记录部30作为如下记录部发挥功能：将按照动态图像帧的时间信息对从检查动态图像中包含的图像帧中选择出训练数据时的图像组进行分类的结果与检查动态图像中的至少一部分一起记录(例如，图5B的S35、S37等)。在本实施方式中，在取得训练数据用检查图像时，判定第1时机和第2时机，并根据该判定结果，记录图像数据。在图1B所示的记录部30中，也可以在记录检查图像组32时，判定是否是第1时机、第2时机，并一并记录该时机信息。另外，上述的检查动态图像中的至少一部分包含标注候选图像。

接着，使用图2，对本发明一个实施方式的信息处理系统及其周边系统中的图像的收集以及使用该图像的推理模型的生成进行说明。如上所述，本实施方式的信息处理系统10能够与各种内窥镜装置(图像处理系统20)连接，因此，发送来多种图像数据。信息处理系统10能够使用该多种图像数据，除了现有的推理模型以外，还生成改良型推理模型、新推理模型。改良型推理模型是对以往存在的现有推理模型进行改良而得到的推理模型。此外，新推理模型是完全新的类型，是如下推理模型：即使在输入了画质与此前的画质不同的图像数据的情况下，也能够准确地进行推理。该新推理模型是使用记录部30中记录的检查图像组32来生成的。

在图2中，图像Plo、Pad11～Pad3、Pna是在信息处理系统10生成现有推理模型19a时要作为研究对象的图像、或者已经作为研究对象的图像。这些图像是在生成现有的推理模型(特定的推理模型)时具有使用实际业绩的、且来历被整理的图像。在推理模型完善为具有实际业绩的情况下，包含非常重要的信息地对这些图像进行整理。

在图2中省略了图示，但信息处理系统10具有图1A所示的现有推理模型19a、图1B所示的输入判定部12、图像相似判定部13、元数据赋予部14，分类部15、第1委托部16、第2委托部17、训练部18和记录控制部18A。

信息处理系统10首先根据输入图像，生成现有推理模型19a。即，当输入了输入图像Plo、PI1～PI3、Pna时，输入判定部12根据图像的类别1等的信息，判定为是由特定的制造商制造的内窥镜取得的图像。然后，信息处理系统10排除输入图像中的、重要度较低的图像Plo，此外因某些原因而不采用图像Pna，委托对输入图像PI1～PI3的图像赋予表示癌等的位置的标注，而生成训练数据。信息处理系统10在使用基于由第1内窥镜按照时间序列得到的图像组的训练数据生成同样规格的现有推理模型时，将未成为标注对象的图像设为无用图像。当生成了训练数据时，训练部18使用该训练数据，生成现有推理模型19a。

这样，所整理并利用的图像组(图像Plo、PI1～PI3、Pna等)是包含怎样的图像被标注并转化为训练数据、或者无论怎样的图像被标注都未被用作训练数据等此前试错而得到的结果在内的重要的技术诀窍信息。即，关于能否成为新的训练数据候选，能够使用此前未使用的图像等进行判定，无论是一味地收集与未使用的图像相同的图像，还是完全没有起到任何作用，只要是该系统，就能够进行判定。但是，除了不应该使用的信息以外，还有可能包含新的信息，花费工夫最好仔细地考虑不应该使用的信息(所谓第1时机的图像)以外。在本实施方式中，利用该构思，高效地收集图像。

以下，具体说明现有推理模型19a的生成。图像Plo是重要度较低的图像，图像Pad1～Pad3是设为具有采用实际业绩的现有训练数据的图像，图像Pna是作为现有训练数据生成的，但没有采用实际业绩的图像。这些图像Plo、Pad1～Pad3和Pna均是由上述的特定制造商的内窥镜取得的图像。在此记作特定制造商的理由一般是，当内窥镜的制造商不同时，传感器、光学系统、图像处理等不同，因此，当混合存在由各种制造商取得的图像数据时，推理模型的可靠性降低。另外，即使制造商不同，如果传感器、光学系统、图像处理等相似，则有时也能够使用相似的范围内的图像数据，使用现有推理模型进行推理。因此，信息处理系统10在生成特定的推理模型的情况下，较好地判断并使用特定制造商的内窥镜的图像数据，生成较好地考虑到该机型的特性的推理模型19a。

现有推理模型可以说是通过初始的尝试而生成的产物，多数情况下，通过以各种试错、人力、或者手工作业、目视的方式选择出的训练数据生成。因此，该取舍选择的过程中的逻辑、技术诀窍、作为其结果被分类的图像是充满了无法用语言表达的程度的丰富信息的知识产权。如上所述，未使用的图像Plo是重要度较低的图像，具有图像数据51a和类别信息51b。图像Plo是由上述的特定制造商制造的内窥镜取得的图像，因此，作为类别信息61b，成为类别1。当以生成病变鉴别用的推理模型为例时，该图像Plo例如是在医生等使用内窥镜搜索病变部时所取得的图像(例如，参照图3的(b)的图像Ps)。关于搜索中的图像，由于摄像部移动，图像模糊而为低画质，此外清晰地拍摄到病变部的可能性较低。

在推理模型中存在各种规格的推理模型，但在此，假定对病变是什么进行推理的规格的推理模型来继续进行说明。在这样的情况下，认为在搜索图像中，稳当地观察到病变的图像较少，在此以特意简化，降低了优先级的例子进行说明。当然，如果是通过搜索图像防止漏看这样的用途的推理模型，则反而必须将搜索图像优先转化为训练数据，但在此，特意忽略这样的情况来进行说明。当然，只要与推理模型的规格匹配地对图像组进行整理，则在新生成重视搜索图像的推理模型的情况下，将第1时机的图像组优先转化为训练数据即可。

在根据图像的特性、拍摄到的图像的特征、图像变化的特征等判定为搜索图像的情况下，也可以分类为在生成鉴别用的推理模型时不需要的第1时机的图像组。此外，可以说进行动态图像中的、怎样的帧成为了训练数据的推理而不符合其结果。如上所述，本实施方式中的构思是在接下来的推理模型生成时想要利用在生成推理模型时不采用这样的图像的过程。

图像Pad1～Pad3是医生等使用内窥镜认为或许存在病变部而进行了详查时取得的图像。在鉴别用推理模型的情况下，由于有可能根据详查时的图像生成训练数据，因此，最好最初不分类为第1时机的图像。这些图像由于具有持续地观察相同部位的特征等，是摄像部静止或者运动较少的清晰的高画质图像，并且选择具有拍摄到病变部的可能性较高这样的特征的图像，设为第2时机的图像。此时，为了清楚地看到，有时施加清洗水、或者抽吸表面污垢、或者进行染色、或者通过光源、图像处理改变观察时的光的波长、图像表现。在最初对内窥镜图像进行分类并生成训练数据时，多数情况下，根据推理模型生成手册等选择第2时机图像。但是，在第二次以后的训练数据的生成时，优选使通过这样的手工作业进行的图像分类自动化。因此，在本实施方式中，采用如下这样的构思：参照将最初取得的图像转化为训练数据的过程，在接下来的推理模型生成时利用该过程。

图像Pna是未采用为现有训练数据的图像。关于该图像Pna的类别信息52e，由于该图像Pna是由特定的制造商制造的内窥镜取得的图像，因此，该图像Pna属于类别1，此外画质是能够使用的等级，此外赋予有与癌等病变部的位置相关的标注。但是，因某些理由而在生成现有推理模型19a时不采用。其理由是，例如，当使用该图像Pna生成推理模型时，可靠性降低，因此，存在除去的情况等。关于这样的图像，即使今后得到相似的图像，优先级被处理得高的可能性也较低。也可以是，能够根据需要将这样的图像分类为第1时机的图像。

这样，图像Plo、Pad1～Pad3、Pna是使用特定的制造商制造的内窥镜而取得的图像，信息处理系统10使用这些图像中的图像Pad1～Pad3，进行深度学习，生成现有推理模型19a。另外，在图2中，仅记载有1个重要度较低的图像Plo，此外仅记载有3个具有采用实际业绩的现有训练数据的图像Pad1～Pad3，此外仅记载有1个没有采用实际业绩的现有训练数据的图像Pna。但是，关于这些图像，当然实际上使用更多张的图像。

如上所述，在本实施方式中，在改良该推理模型或新生成其他机型用的推理模型时，能够充分地利用具有实际业绩的为了推理模型而集中整理出的各图像。关于是否具有实际业绩，今后为了解决AI的透明性的问题，需要在推理结果中明确表示推理的依据，具有显然性，此外该具有实际业绩的推理模型训练时的训练数据也由于透明性而需要根据需要被公开，这也具有显然性。

如上所述，当使用Pad1～Pad3生成现有推理模型19a时，图像系统20能够使用该现有推理模型19a，输入内窥镜图像P1～P3、SP，判定癌等的有无等。关于这样的推理模型，在无法得到如当初所想的性能的情况下，也可以再次重新进行训练。

当反复费力地经过试错而选择图像Pad1～Pad3并生成现有推理模型时，接着，信息处理系统10从各种内窥镜装置输入图像数据51b、51c、51d。对各个图像数据关联有类别1，作为类别信息52b、52c、52d，此外对各个图像数据赋予标注信息53b、53c、53d。赋予癌等病变部的位置，作为标注信息53b、53c、53d。

由于图2中的输入图像PI1的类别信息62a是类别1，并且是现有的内窥镜，因此，能够使用现有推理模型19a，对是否具有癌等病变部进行推理。例如，从内窥镜检查的最初到最后实时地将各图像帧输入到推理模型，当检测到被鉴别为有患部的帧等时，对病变部进行框显示、警告等，能够实现准确的鉴别。当进行该推理时，输出推理结果IO1和推理时的可靠性R1。此外，针对由医生输入特定的静态图像并委托了鉴别的情况，也可以表现同样的功能。

输入图像PI2是由与现有的内窥镜不同、与现有的内窥镜的制造商不同的制造商制造的内窥镜、以及现有的内窥镜的制造商制造但机型等不同的内窥镜取得的图像。该输入图像PI2有可能能够使用输入图像PI1用的现有推理模型19a进行推理。因此，此时，例如从内窥镜检查的最初到最后实时地将各图像帧输入到推理模型，当检测到被鉴别为有患部的帧等时，对病变部进行框显示、警告等，能够进行准确的鉴别。此外，针对由医生输入特定的静态图像并委托了鉴别的情况，也可以表现同样的功能。对输入图像进行如上所述的推理，输出推理结果IO2和此时的可靠性R2。在可靠性较低的情况下，由于是无法由现状的推理模型自信地判断出的病变，因此，收集属于类别2的图像，委托生成适于类别2的现状改良型的推理模型或新推理模型(例如，参照图6的S83、S87)。另外，此时的图像被记录为检查图像组32。

此外，输入图像PI3是属于类别3的图像，是由市场上不为人知的完全未知的内窥镜取得并具有与此前所取得的图像数据不同性质的特性的图像。因此，例如，针对从内窥镜检查的最初到最后实时地将各图像帧输入到推理模型、或者由医生输入特定的静态图像而委托了鉴别的输入图像PI3，以现有推理模型，有时也可能无法进行可靠性较高的推理。因此，上述的第2委托部17进行新推理模型的生成的委托。在该委托时，使用检查图像组32中记录的图像，生成新推理模型生成规格信息IF，该新推理模型生成规格信息IF包含追加训练数据规格TD。

这样，生成具有实际业绩的推理模型时的、图像的分类技术诀窍(图像Plo、Pad1～Pad3、Pna分类时的逻辑、这些图像的特征信息等)能够成为生成改良推理模型、新推理模型时的参考。如果能够对输入图像PI2、PI3高效地进行这样的分类，则能够立即筛选委托给专家的标注用图像，如果能够迅速地进行标注，则能够迅速地进入灵活运用了具有该标注结果的训练数据的推理模型的改良、新推理模型的训练工序。

概括按照怎样的步骤进行以上说明的内容。具有原本为了搭载推理模型而开发出的、换言之、根据时机对第1内窥镜得到的检查动态图像进行分割的分割步骤，将其暂时称为第1时机、第2时机。具有图像分类步骤，并具有记录步骤，在该图像分类步骤中，将与第1时机对应的帧从训练数据候选中除去，将与第2时机对应的帧采用为训练数据候选，在该记录步骤中，按照每个分割时机对检查动态图像进行图像分类并记录。关于这些步骤，针对图像Plo、Pad1～Pad3、Pna的处理进行了说明。如果利用此处的分类时的逻辑、这些图像的特征信息等，则在生成与第1推理模型不同但同样规格的第2推理模型(可以是改良推理模型，也可以是新模型)时，能够实现反映有效见解的高效的向训练数据的转化。即，设置取得将由该第2推理模型进行推理的新的检查动态图像的步骤、以及通过以反映了上述的图像分类结果的分类方式对该新的检查图像进行分类来选择第2推理模型用的训练数据候选的选择步骤。由此，能够实现迅速的推理模型开发(训练)。

另外，虽然具有使用训练数据候选中的至少一个进行训练而得到对检查动态图像的帧中包含的患部信息进行推理的第1推理模型的步骤，但只要设置标注步骤即可，该标注步骤中，关于此时的训练数据，将对与第2时机对应的帧进行标注的结果设为训练数据候选。换一种说法，也能够说明为如下装置、方法：通过将由内窥镜得到的检查动态图像中包含的图像组作为训练数据进行训练而生成了内窥镜用的第1推理模型的训练部能够继续进行进一步的追加训练、改良训练等。即，如果预先设置记录部，该记录部将按照动态图像帧的时间信息对预先从检查动态图像中包含的图像帧中选择出训练数据时的图像组进行分类而得到的结果与检查动态图像(也可以是至少一部分)一起记录，则该记录内容成为有效的过去资产。即，在训练部追加地进行训练等版本、假定设备与第1推理模型不同但规格相似的第2推理模型的训练时，只要设置动态图像取得部和选择部即可，该动态图像取得部取得新的检查动态图像，该选择部根据记录部中记录的分类图像组，从新的检查动态图像中高效地选择新的训练数据候选。

在生成该新推理模型时，当新开始收集属于类别3的图像时，需要大量的时间，因此，在本实施方式中，尽可能有效灵活运用已经在医生等检查时收集并作为检查图像32记录于记录部30的图像等。即，记录有在医生等检查时已取得的检查图像，并利用该图像(例如，参照图5B的S28、S29、S37等)。

新推理模型生成规格信息33和追加训练数据规格33a是用于生成对属于类别3的图像进行推理的新推理模型的规格信息。第2委托部17委托训练部18按照这些信息生成推理模型。能够根据该图像数据、图像数据的变化、所拍摄的图像中摄入的部位的图像特征或基于现有推理模型的推理结果、可靠性等，决定需要怎样特性的内窥镜用推理模型、要求针对怎样的患部图像进行推理。

接着，使用图3A所示的流程图，对新推理模型的生成的动作进行说明。但是，关于该新推理模型，已经具有同样规格的推理模型，设想了尽管是与其同样的规格，性能却进一步提升、在其他装置中也能够使用的新推理模型。因此，图3A所示的流程示出如下动作：存在特定规格的推理模型作为图1A的现有推理模型19a，生成模仿了该现有推理模型的规格的推理模型，作为新推理模型。可以具有多个图1A的推理引擎19，或者也可以具有多个现有推理模型19a。在该情况下，也可以具有选择新生成其中的哪个规格的推理模型的步骤。在此，由于以对现有规格的推理模型有特定的期待而进行推理的状况进行说明，因此，作为已经进行了规格选择的情况继续进行说明。

或者，图3A的流程通过信息处理系统10内的控制部11根据存储器中存储的程序控制信息处理系统10内的各部来实现。该流程能够从大量的图像中高效地取得新推理模型生成用的训练数据。

如上所述，在单纯的图像判定、状况判定中，设想为在以下的2个状况下可能存在重要的训练数据候选的漏看。作为该第1个状况，关于伴随着与此前完全不同的稀有病例、与通常不同的手术这样的除了通常图案以外的内窥镜图像数据组(帧组)，由于观察、操作的方法也不同，因此，得到的图像帧也有可能无法作为训练数据被准确地被判定并取得。作为该第2个状况，针对操作方法、画质等与所设想的内窥镜装置(已经具有生成了推理模型的实际业绩的内窥镜装置)不同的内窥镜装置，有可能无法准确地判定并取得训练数据。即，关于这样的情况，需要放宽应该设为训练数据的图像的条件，使得尽可能不漏看。因此，在本实施方式中，采取如下方法：针对这种先例较少的情况，尽可能考虑到意料之外的情况，从优先级低的开始丢掉，使得能够进行高效的应对。记作版本、假定设备与第1推理模型不同但规格相似的第2推理模型，但此处的第1个状况、第2个状况分别是版本升级、假定设备的扩展这样的状况，作为规格，设想了同样的规格。同样的规格是指假定能够将在相似状况下能取得的图像帧转化为训练数据。

考虑到上述的第1个状况的应对是将图3A的步骤S1分支为“是”的情况下的应对。这是来自已知装置的图像，但如果是此前未得到过的这样的图像，则认为可能存在某些改善的材料，优先设为训练数据候选。此外，考虑到上述的第2个状况的应对是将图3A的步骤S1分支为“否”的情况下的应对。由于这不是已知的内窥镜，因此，全部图像可能成为所谓“未看到过”的状况。但是，在这样的图像中，在作为内窥镜用于特定身体部位的检查的情况下，从体腔插入、访问、确认患部直到拔出为止的过程应该作为图像得到，因此，能够有效灵活运用基于生成了此前的已知内窥镜的推理模型时的、不需要怎样的图像、从怎样的图像中得到训练数据候选这样的逻辑、推理的判定。即，首先，去除重要度较低的图像，从剩余的图像中找出训练数据候选。

当新推理模型生成的流程开始时，首先，判定现有推理模型能否应对(S1)。在此，输入判定部12从图像系统20的图像取得部23输入图像数据等，判定能否使用现有推理模型19a进行推理。在该判定时，根据与图像数据相关联的类别信息判定。另外，在图2中的输入图像中的、属于类别2、3这样的图像有时未与类别信息关联。在该情况下，使用其他附加数据、与画质相关的信息、与画面的形状相关的信息等其他信息进行判定即可。此外，也可以不根据类别等判定，而根据推理的可靠性判定。

在步骤S1中的判定结果是现有推理模型能够应对的图像的情况下，仅收集未看到过的图像作为训练数据(S7)。由于步骤S1中的判定结果是现有推理模型能够应对，因此通常是看到过的图像(换而言之，与此前已取得的图像相似或者图像的特性与此前相同的图像)的可能性较高。该判定能够通过如下方法进行：如果记录有在生成了已经具有实际业绩的推理模型时使用的原始内窥镜图像(动态图像)(被记录为现有训练数据生成时检查图像组31)，则由相似度判定部13进行与那些原始内窥镜图像的特征的比较。进行相似度判定，特定的阈值以上的图像判定为相似图像(看到过的图像)即可。

此外，如果在生成现有推理模型时，还预先记录是否具有图像中的哪个部分被用作训练数据的实际业绩，则也能够同样地判定作为训练数据是否稀有。在这些判定中判定为不相似的图像能够判定为“此前未看到过的图像”。例如，针对在特定的检查时得到的内窥镜动态图像信息，将通过将该内窥镜动态图像中的、与训练图像对应的帧设为标注信息而得到的动态图像信息设为训练数据，进而对多个检查结果的内窥镜动态图像进行同样的训练数据的转化，生成现有推理模型。将包含插入图像或拔出图像的内窥镜动态图像输入到该现有推理模型，进行用作训练数据的帧成为输出的推理。此前未看到过的图像由于此前不具有成为训练数据的实际业绩，因此，有可能被漏看。因此，在该推理中，也可以选择可靠性不充分的图像，与此前已处理的内窥镜图像(或成为训练数据的图像)进行相似度判定，将相似度较低的图像作为稀有数据(稀有图像)来形成训练数据候选。即，在步骤S1中成为了判定对象的图像是此前未看到过的稀有图像的情况下，有可能能够将其用于提高现有推理模型的推理的可靠性。因此，在该步骤中，不收集此前看到过的图像，而仅收集未看到过的特殊(稀有)的图像，能够将该图像用作训练数据。

此外，在收集未看到过的稀有图像时，也可以收集如下图像作为未看到过的图像：在是否正常的判断中为不正常，当被认为是病变部时该判断的可靠性不高。在此，收集到的图像作为检查图像组32记录于记录部30。在该记录时，预先赋予表示是未看到过的稀有图像的元数据。关于是否是未看到过的稀有图像的判定方法的具体一例，使用图4的(a)之后叙述。

接着，在步骤S1的判定中，对判断为无法通过现有推理模型应对的情况进行说明。例如，针对在使用特定机型的内窥镜的特定的检查时得到的内窥镜动态图像信息，将通过将该内窥镜动态图像中的与训练图像对应的帧设为标注信息而得到的动态图像信息设为训练数据，进而对多个检查结果的内窥镜动态图像进行同样的训练数据的转化，生成现有推理模型。也可以将包含插入图像或拔出图像的内窥镜动态图像输入到该现有推理模型，进行用作训练数据的帧成为输出的推理。对来自规格、特性不同的内窥镜的图像进行该步骤中的推理。如上所述，相对于通过内窥镜检查得到的帧数，成为训练数据的候选的帧较少，因此，必须进行相当高精度的推理，并且，关于该情况这样的没有训练经验这样的画质的图像，认为可靠性进一步降低。相反，优选如下方法：生成对在使用特定机型的内窥镜的特定的检查时得到的一系列内窥镜图像中的、未成为训练图像的候选的帧进行标注而得到的训练数据，从而生成推理模型，将多个检查结果的内窥镜图像输入到该推理模型，并根据该推理结果，选择无法成为训练数据的图像，将除此以外的图像作为训练数据候选进行详查。

但是，在图3A所示的流程中，更简单地进行了例示，判定是否是重要度较低的图像(S3)，将除此以外的图像设为训练数据候选。重要度较低的图像是反映在生成作为范本的规格的推理模型时从动态图像等图像的列中根据时机取舍选择出的结果而确定的。例如，考虑如下方法：在将观察用、鉴别用推理模型设为范本规格的情况下，如果是访问图像，则无论怎样的内窥镜机型都是必要的，因此被取得(至少转化为电子数据)，并利用该访问图像，将该访问图像与其他部分(除了访问以外的部分)进行分离。关于对完全不同的机型的图像进行比较，比较对象过于不同，比较的可靠性有可能降低，但如果是相同的机型，则容易找出访问图像与除此以外的无患部确认图像、有患部确认图像的差异。而且，关于该差异，可以应用从具有实际业绩的已知的内窥镜图像中筛选出特定的训练数据候选部分(帧)时的逻辑，此外也可以应用推理。

即，针对生成了已知的推理模型时从第1内窥镜连续地得到的图像，可知为进行例如病变检测等特定的图像特征的判定而按照时间序列得到的图像组中哪个帧已经作为训练数据被采用。换而言之，能够判定是在第1时机得到的图像组、还是在第2时机得到的图像组。在此，从第2时机得到训练数据是已知的。即，由于具有训练部，该训练部将对在第2时机得到的图像组进行标注的结果作为训练数据进行训练，而得到第1内窥镜用图像的图像特征判定用的第1推理模型，因此，针对该训练部，设置分类部即可，该分类部利用生成了第1推理模型时的在第1时机得到的图像组的特征，对从与第1内窥镜不同的第2内窥镜取得的图像组进行分类。

即，如果能够预先使信息处理装置与上述的训练部协作，该信息处理装置从检查时的全部图像(帧)数据中高效地筛选如上所述的训练数据候选的图像组，则能够向已经具有实际业绩的训练部提供新的训练数据，进行高速的训练。即，上述的分类部能够利用生成了第1推理模型时的在第1时机得到的图像组，(例如通过第1图像组和第2图像组具有的特征的差异等)判定其特征，对从与第1内窥镜不同的第2内窥镜取得的图像在时间上进行分割，通过相同的规格、画质等性能进行比较，找出第1图像与第2图像的特征的差异，从特定检查图像的全部图像帧中对标注候选图像进行分类。

在此，假定如下情况进行了说明：自动地进行标注候选帧的选定，实际的标注由医生等专家进行并作为训练数据完成，但也可以由上述的第1推理模型进行标注本身。如果设置医生确认该结果的工序，则能够在确保质量的同时，进行高速的训练数据生成和推理模型生成。

医生等为了内窥镜检查而进行筛选时(访问中)的图像(例如参照图2的图像Plo、图3的(b)的图像Ps)是将内窥镜插入体内并使摄像部移动以搜索病变部等时的图像，图像流动，此外画质也低，不适于作为在改良现有的推理模型时使用的训练数据。在该步骤S3中，判定是否是这样的不适于作为训练数据的图像。另外，在该判定时，不仅以1张，也可以以连续图像为单位进行判定。即，即使仅1张图像的图像质量较低，如果通过连续图像进行评价，例如在访问时的引导显示用推理模型等的情况下，有时也能够用作训练数据。

如上所述，由于判定出设为训练数据的候选的可能性较低的、所谓重要度较低的图像，因此，只要收集该图像以外作为训练数据候选即可(S5)。在此，除去在步骤S3中判定为重要度较低的图像，收集重要度不低的图像数据作为训练数据。该图像相当于图3的(b)的观察中的图像Po，应该包含医生等仔细地观察(详查)了病变部的图像等。通过现有推理模型无法应对、难以由以往的推理模型进行推理的图像成为对新推理模型生成来说的宝贵的图像。因此，预先记录在此收集到的图像，作为检查图像组32(参照图1B)。在该记录时，预先赋予表示是未知的图像并且是新推理模型用图像的元数据。

如果能够这样针对每一个检查从高达数万张的内窥镜帧中筛选训练图像候选的图像帧，则能够不考虑除此以外的帧的情况而专注于应该对哪个进行标注而设为训练数据。因此，能够提高生成所改善或新生成的推理模型的效率。

当在步骤S3或步骤S5中收集到图像时，委托标注1或标注2(S9)。在此，第1委托部16使用在步骤S7中收集到的图像，委托用于生成现状改良型的推理模型的标注1。该标注1是用于生成如下训练数据的标注，该训练数据以已有的训练数据为主并且用于训练，因此，能够直接使用现有的标注工具等。

此外，在步骤S9中，第2委托部17使用在步骤S5中收集到的图像，委托用于生成新推理模型的标注2。关于该标注2，不知晓能否使用现有的训练数据(根据推理模型的完成情况)而需要得到该新的未知的内窥镜装置用的输出，不一定知晓与以往的规格相同的标注工具是否可以，因此，特意与标注1分开而设为标注2。另外，当标注1、2结束时，委托训练部18生成现状改良型推理模型或新推理模型。委托标注后，结束该流程。

在新推理模型生成的流程中，在针对输入图像进行癌等病变部的推理时，判定能否通过现有的推理模型推理，在能够推理的情况下，收集未看到过的稀有图像作为训练数据候选(参照S1“是”→S7)。在此，收集到的训练数据候选用作用于改良现有的推理模型的数据(例如，参照图6的S81、S83、S87)。此外，在无法通过现有的推理模型推理的输入图像的情况下，将除去重要度较低的图像后的该图像设为训练数据候选。在此收集到的训练数据候选被用作用于生成新推理模型的数据(例如，参照图6的S81“否”→S85“是”→S91)。

信息处理系统10从各种图像处理系统20(包含内窥镜)输入多种图像，其中，有时无法通过现有的推理模型推理。在本实施方式中，即使是未能推理这样的图像，也预先记录为检查图像组32(参照S5)，并在生成新推理模型时，能够高效地利用该图像。此外，即使在能够通过现有的推理模型推理这样的情况下，在与此前已取得的图像不同这样的情况(不相似这样的情况)下，也预先将该图像记录为检查图像组32，在改良现有推理模型的情况下，能够使用。

接着，使用图3B所示的流程图，说明新推理模型生成的动作的变形例。在图3A所示的流程中，在步骤S1中，判定现有推理模型能否应对，在无法应对的情况下，收集新推理模型生成用的图像(参照S3、S5)，另一方面，在能够应对的情况下，收集未看到过的稀有图像以用于改良推理模型(参照S7)。在该图3B所示的流程中，新推理模型生成用的图像是与能否通过现有推理模型应对无关地收集的(参照S101、S103)。在该收集之后，仅在现有推理模型能够应对的情况下(S105“是”)，收集未看到过的稀有图像以用于改良推理模型(参照S109)。

图3B的流程与图3A的流程相比，图3A的步骤S3、S5、S1、S7、S9分别进行与图3B的S101、S103、S105、S107、S109相同的处理，仅处理的顺序不同，因此，省略详细的说明，简单地进行说明。

当图3B的流程开始时，首先，进行是否是重要度较低的图像的图像判定(S101)。在此，分类部15根据相似图像判定部13对输入图像进行的判定的结果，判定是否是重要度较低的图像。如上所述，重要度较低的图像是反映在生成了设为范本的规格的推理模型时从动态图像等图像的列中根据时机取舍选择出的结果而确定的，例如，如果与在推理模型生成时未使用的图像相似，则判定为重要度较低。

接着，收集被判定为重要度较低的图像以外作为训练数据(候选)(S103)。在此，根据步骤S101中的判定结果，将设为重要度较低的图像以外作为训练数据(候选)记录于记录部30。即，从成为训练数据候选的图像组中选择出的图像记录于记录部。

当收集到重要度较低的图像以外作为训练数据(候选)时，与步骤S1同样地，针对输入图像，判定现有推理模型能否应对(S106)，在该判定结果是无法应对的情况下，与步骤S7同样地，仅收集未看到过的图像作为训练数据(候选)。当进行步骤S105、S107中的处理后，接着，与步骤S9同样地委托标注1或标注2(S109)，当委托结束时，结束该流程。

如上所述，在图3B的流程中，新推理模型生成用的图像收集能够与能否通过现有推理模型应对无关地进行。因此，能够广泛地收集多种图像。

接着，使用图4，说明步骤S1(参照图3A(图3B的S105))中的判定能否通过现有推理模型应对之后的处理的一例。图4的(a)是说明如下方法的图：在步骤S1(图3B的S105)中判定为现有推理模型能够应对的情况下，在步骤S7(图3的S107)中，判定是否是未看到过的图像。

在图4的(a)所示的例子中，预先准备设定有正常检测AI(推理模型)19a和病变检测AI(推理模型)19b这两种推理模型的推理引擎，使用这些AI(推理模型)对同一内窥镜图像PI4进行推理。在此，正常检测AI19A判定内窥镜图像PI4是否正常、换而言之内窥镜图像PI4是否异常。此外，病变检测AI19B判定在内窥镜图像PI4中是否具有病变部。对是否具有癌等病变部进行推理的推理模型一般相当于该病变检测AI。如果该病变检测AI设为第1推理模型，则正常检测AI相当于第3推理模型。

另外，设定于正常检测AI19b的推理模型通过将无病变的图像设为训练数据并使用该训练数据进行训练来生成。如上所述，该推理模型能够对输入图像是否正常进行推理。关于用于生成该推理模型的图像，例如收集在后述的图5B的步骤S27中判定为除此以外的图像即可。

如果内窥镜图像PI4正常，即在没有异常的情况下，正常检测AI19A判定为正常，病变检测AI19B判定为无病变。但是，图4的(a)所示的例子是现有推理模型不适于推理内窥镜图像PI4的情况，基于正常检测AI19A的推理结果为“异常”，另一方面，基于病变检测AI19B的推理结果为“无病变”。即，基于2个AI的判定结果矛盾。

这样，即使内窥镜图像PI4能够使用现有推理模型进行推理，在基于2个AI的判定结果矛盾的情况下，内窥镜图像PI4也可以说是未看到过的这样的稀有图像。在该情况下，作为未看到过的图像，在记录部30中预先记录为检查图像32，进行标注而生成训练数据，并使用该训练数据，在改良现有的推理模型时使用即可。

当相似图像判定部13判定为是上述的未看到过的稀有图像时，第1委托部16委托对该图像进行标注而生成训练数据，并使用该训练数据委托生成推理模型。即，第1委托部16作为如下第1委托部发挥功能：根据通过第1推理模型(例如，正常检测AI19a)对同一图像(例如，图像PI4)进行推理而得到的结果的可靠性，委托对图像组进行训练数据用的标注，该训练数据用于生成改良第1推理模型而得到的第3推理模型(例如，参照图4的(a)、图5B的S27～S33)。通过第1推理模型推理后，如果例如推理出是由第1内窥镜(特定制造商制造的内窥镜等)取得的图像即可，或者被推理为是针对其他病变准确地进行判定的推理模型，则也可以判定为具有可靠性。

图4的(b)所示的例子示出在步骤S1(图3B的S105)中判定为无法通过现有推理模型应对的情况。在该情况下，检测内窥镜图像PI5的图像变化速度，并判定是否是处于筛选(访问)中、即是否是医生等正在寻找病变部而使摄像部移动。此外，判定内窥镜图像PI5与体内的表面的距离是否是比规定距离近的距离(物体接近判定)。如果该判定结果是物体距离比规定距离近，则能够判定为医生等正在观察中。

这样，在判定为无法通过现有推理模型应对的情况下，根据图像变化速度，判定是否处于筛选中，此外根据物体距离，判定是否处于观察中。筛选中的图像等不重要的图像被过滤掉(即，除去不重要的图像)，重要的图像(例如，观察中的图像)预先作为检查图像组32记录于记录部30。对该图像实施标注，设为训练数据，在生成新推理模型时使用。

接着，使用图5A～图5C所示的流程图，说明本实施方式的信息处理系统和作为图像系统的内窥镜的具体动作。

图5A所示的流程图说明内窥镜1的主动作。信息处理系统10与各种内窥镜连接，从图像取得部取得各种信息。内窥镜1是特定的制造商制造的内窥镜，信息处理系统10有时根据来自该内窥镜1的图像，生成了现有推理模型19a。图5A所示的内窥镜1的主动作通过相当于内窥镜1的图像系统20内的控制部21控制图像系统20内的各部来实现。

当图5A的内窥镜1的流程开始时，首先，取得图像并显示(S11)。在此，图像取得部23取得内窥镜图像，在显示部24内的显示器上显示该内窥镜图像。医生等在观察该内窥镜图像的同时，操作内窥镜1，使内窥镜1的摄像部移动到目标的部位，并观察目标的部位。

当取得并显示图像时，接着，向信息处理系统10发送图像，取得推理结果(S13)。在此，控制部21经由通信部向信息处理系统10发送由图像取得部23取得的图像。此时，将机型信息(表示内窥镜1的信息)与图像信息一起向信息处理系统10发送(参照图5B的S23)。接收到图像的信息处理系统10使用推理引擎19的现有推理模型19a，对是否具有癌部等病变部进行推理，将该推理结果返回给内窥镜1(参照图5B的S25)。在图像系统20接收该推理结果时，也接收推理结果的可靠性。

接着，判定是否以高可靠性得到判定结果(S15)。在此，控制部21根据在步骤S13中接收到的推理的可靠性的结果，判定该可靠性是否比规定值高。在该判定结果是可靠性比规定值低的情况下，返回步骤S11。

另一方面，如果步骤S15中的判定结果是可靠性较高，则接着用框显示判定出的位置(S17)。在步骤S13中，推理引擎19对癌等病变部的有无进行推理，在有癌等病变部的情况下，对其位置进行推理，因此，内窥镜1接收该推理结果。在该步骤中，显示部24用框显示由推理引擎19推理的癌等病变部的位置。另外，显示方法当然也可以采用框以外的显示方法。此外，在该步骤中，也可以对内窥镜的操作者显示操作引导。例如，也可以显示“有出血的可能性”等。还可以预先准备引导用的推理模型，通过该推理模型输出引导，以进行该引导。当用框显示判定位置时，返回步骤S11。

接着，使用图5B所示的流程图，说明信息处理系统10的主动作。信息处理系统10如上所述与各种内窥镜连接，从图像取得部取得各种信息。该信息处理系统判定从多种内窥镜发送来的内窥镜图像是能够用于现状改良推理模型的图像、还是能够用于生成新推理模型的图像、还是除此以外的图像。然后，根据该判定结果，委托赋予标注而生成训练数据，委托生成推理模型。图5B所示的信息处理系统的主动作通过信息处理系统10的控制部11控制信息处理系统10内的各部来实现。

当图5B的信息处理系统的流程开始时，首先，成为图像取得等待状态(S21)。如上所述，信息处理系统10能够与各种内窥镜连接，从各个内窥镜发送来内窥镜图像。在该步骤S21中，控制部11预先设为等待状态，使得能够接收来自各种内窥镜的图像。

接着，当取得了图像时，判定是否是对象图像(S23)。在此，控制部11判定信息处理系统10接收到的图像是否是作为癌等病变部的有无等的判定对象的图像。在此，控制部11根据图像的场景等(例如，是体内的图像，是医生等进行详查时的图像等)，判定是否是对象图像。例如，在医生等对作为目标的部位(可能存在患部、肿瘤等病变部的部位等)进行详查的情况下，前端部在相同的位置停止，或者在其周边寻找。关于是否进行详查，可以分析内窥镜图像来判定，此外也可以根据医生等的操作状态来判定。在该判定的结果不是对象图像的情况下，返回步骤S21。

另一方面，在步骤S23中的判定结果是对象图像的情况下，发送推理结果和可靠性(S25)。在此，推理引擎19使用现有推理模型19a，对对象图像中是否具有癌等病变部进行推理，在有病变部的情况下，对其位置进行推理。此外，在推理时，也计算推理的可靠性。当基于推理引擎19的推理结束时，向图像的取得源发送推理结果及其可靠性(参照图5A的S13)。

接着，进行是现状改良、还是新模型、还是除此以外的判定(S27)。该流程中，控制部11判定是否具有此前未收集到这样的图像，将此前未收集到的图像设为训练数据。在此，首先，在生成推理模型时，由控制部11判定接收到的对象图像是适于生成现状改良型推理模型、还是适于生成新推理模型、还是除此以外。如上所述，信息处理系统10能够经由互联网等与多种内窥镜等检查装置连接，关于这些内窥镜等，既具有在生成了现有推理模型时使用的特定的制造商制造的内窥镜，又具有与该特定的制造商制造的内窥镜比较相似的内窥镜，还具有市场上不为人知这样的完全未知的内窥镜。在该步骤中，即使是除了特定的制造商制造以外的内窥镜图像，也对接收到的内窥镜图像进行步骤S23中的判定，以生成对癌等病变部进行推理的推理模型。关于该步骤S27中的判定，之后使用图6叙述判定的详细情况。

在步骤S27中的判定结果不是现状改良用、也不是新推理模型用的情况下，进行除此以外的处理(S28)。在此，记录被判定为不是现状改良、也不是新推理模型的图像。如后所述(参照图6的S81、S89)，由于是现有机型并且可靠性为40％～60％以外，因此，是明确了是否是癌等病变部的图像。因此，通过预先记录该图像并设为训练数据，能够生成用于对是无异常的情况进行推理的AI。当执行步骤S28中的处理时，返回步骤S21。

另一方面，在步骤S27中的判定结果是图像适于现状改良的情况下，接着，记录图像作为训练数据候选(S29)。在此，控制部11将适于生成现有改良用的推理模型的图像记录于记录部30，作为检查图像组32。例如，医生等此前未看到过的这样的稀有图像在改良现有的推理模型时有用。在将图像记录为检查图像组32时，优选预先记录表示是现有改良用的图像的类别信息作为元数据。

接着，委托标注(S31)。在此，控制部11委托赋予标注，以生成现状改良用的推理模型。关于标注，医生等专家将表示癌等病变部的位置的数据与图像数据关联起来。除了医生等专家手动地赋予标注以外，也可以使用AI等自动地赋予、或者以AI的建议为参考由专家赋予。

接着，取舍选择新训练数据并进行训练，生成改良推理模型(S33)。当赋予了标注时，能够生成新训练数据，因此，控制部11适当地取舍选择新训练数据。即，从新训练数据中取舍选择适于生成改良推理模型的训练数据。当进行新训练数据的取舍选择后，接着，第2委托部17委托训练部生成改良推理模型。关于训练，委托给信息处理系统10内的训练部18，但在信息处理系统10内不具有训练部的情况下，委托给外部的训练部。当委托生成改良推理模型后，返回步骤S21。

返回步骤S27，在判定结果是图像适于进行新推理模型的生成的情况下，进行现有训练数据用检查图像判定(S35)。如上所述，现有训练数据生成时检查图像组31在第1时机和第2时机取得，在生成适于现有内窥镜的推理模型时，记录图像数据。如上所述，第2时机是医生等在作为目标的部位进行详查的时机(例如，参照图3A的(b)的图像Po)，图像静止，是清晰度较高的高画质的图像。在该步骤中，图像相似判定部13判定取得图像是否与现有训练数据生成时检查图像组31相似。

接着，记录现有训练数据用检查图像组以外作为检查图像组(S37)。在该步骤中，控制部11仅将步骤S35中的判定中被判定为与现有训练数据用检查图像组不相似的图像作为检查图像组记录于记录部30，作为检查图像组32。该图像由市场上不为人知的完全未知的内窥镜取得的可能性较高，能够通过使用该图像进行推理，生成适于该完全未知的内窥镜的推理模型。

接着，委托标注，此外，未标注的图像追加到检查图像组(S39)。由于在步骤S37中判定为检查图像组的图像是由完全未知的内窥镜等取得的图像，因此，图像也是未知类型的图像。因此，委托赋予标注，以生成新推理模型。该标注除了由医生等专家手动地赋予以外，也可以利用AI等自动地进行。未进行标注的图像在本次的新推理模型的生成时不使用，但有可能在其他情况下在推理模型的生成时使用，因此，将该图像作为检查图像组32追加到记录部30。另外，在该记录时，预先赋予表示是无标注的图像的标签。

接着，将对检查图像组进行标注而得到的数据记录为新训练数据(S41)。当关于在步骤S37中记录的检查图像组的标注结束时，控制部11将该图像作为新训练数据记录于记录部30，作为检查图像组32。

接着，取舍选择新训练数据并进行训练，生成新推理模型(S43)。当生成了新训练数据时，接着，控制部11适当地取舍选择新训练数据。即，从新训练数据中取舍选择适于生成新推理模型的训练数据。当进行新训练数据的取舍选择后，接着，第2委托部17委托训练部生成新推理模型。关于训练，与生成改良推理模型的情况同样地委托给信息处理系统10内的训练部18，但在信息处理系统10内不具有训练部的情况下，委托给外部的训练部。当委托生成新推理模型后，返回步骤S21。

接着，使用图5C所示的流程图，说明内窥镜2的主动作。如上所述，信息处理系统10能够与各种内窥镜连接，从图像取得部取得各种信息。内窥镜2与内窥镜1不同，是由特定的制造商以外的制造商制造的内窥镜，可能是生成了图2的图像PI2或图像PI3的内窥镜。信息处理系统10不会根据来自该内窥镜2的图像，生成推理模型。图5C所示的内窥镜2的主动作通过相当于内窥镜2的图像系统20内的控制部21控制图像系统20内的各部来实现。

当图5C的内窥镜2的流程开始时，首先，取得图像，并显示该图像(S51)。在此，内窥镜2内的图像取得部23取得内窥镜图像，在显示部24内的显示器上显示该内窥镜图像。医生等在观察该内窥镜图像的同时，操作内窥镜2，使内窥镜2的摄像部移动到目标的部位，并观察目标的部位。

接着，判定是否进行推理辅助操作(S53)。在内窥镜2是市场上不为人知这样的未知的内窥镜的情况下，医生等操作者也有可能不熟悉。在这样的情况下，操作者有时会委托进行基于推理的辅助。为了委托推理辅助，例如，优选预先在内窥镜2中设置用于委托辅助操作的操作部件。此外，即使医生等操作者不进行委托操作，也可以根据内窥镜图像的分析结果、内窥镜的操作状态，自动地判別是否进行推理辅助操作。当然，也可以通过对是否需要辅助操作进行推理的推理模型来判定。在该步骤中的判定结果是操作者未要求推理辅助操作的情况下，成为等待状态。

在步骤S53中的判定结果是进行推理辅助操作的情况下，接着，向信息处理系统10发送图像，取得推理结果(S55)。在此，内窥镜2的控制部21经由通信部向信息处理系统10发送由图像取得部23取得的图像。此时，也可以将机型信息(表示内窥镜2的信息)与图像信息一起发送到信息处理系统10。接收到图像的信息处理系统10使用推理引擎19的现有推理模型19a，对是否具有癌部等病变部进行推理，将该推理结果返回给内窥镜2(参照图5B的S25)。在接收该推理结果时，也接收推理结果的可靠性。

接着，判定是否以高可靠性得到判定结果(S57)。在此，控制部21根据在步骤S55中接收到的推理的可靠性的结果，判定该可靠性是否比规定值高。在该判定结果是可靠性较低的情况下，返回步骤S53。

另一方面，如果步骤S57中的判定结果是可靠性较高，则接着用框显示判定出的位置(S59)。在步骤S55中，推理引擎19接收癌等病变部的有无的推理结果，在有病变部等的情况下，接收其位置的推理结果。在该步骤中，用框显示由推理引擎19推理出的癌等病变部的位置。另外，显示方法当然也可以采用框以外的显示方法。当用框显示判定位置时，返回步骤S51。

这样，在信息处理系统和内窥镜1、2的动作中，当信息处理系统10从图像系统(内窥镜1、2)接收到图像时，由推理模型19a进行推理，将推理结果返回给图像系统(参照S21～S25)。因此，在图像系统中，即使不具有推理引擎，也能够简便地知晓癌等病变部的有无、其位置。此外，在已取得的图像为即使是由现有的内窥镜取得的图像但也未看到过的这样的稀有图像的情况下，收集这些图像，生成现状改良型的推理模型(参照S29～S33)。

此外，在信息处理系统的动作中，在由与现有的内窥镜不同的完全未知的内窥镜(例如，图5C所示的内窥镜2)取得的图像的情况下，在与第1图像不相似的情况下，收集该图像作为检查图像，生成新推理模型(参照S35～S43)。必须收集大量的图像，以生成适于未知的内窥镜的图像的推理模型，但根据该系统，能够日常高效地利用从多种内窥镜收集来的图像。

接着，使用图6所示的流程图，对步骤S27(图5B参照)的是现状改良、还是新模型、还是除此以外的判定的动作的详细情况进行说明。

当图6的流程开始时，首先，判定机型信息等是否是现有的(S61)。机型信息是图5A中的内窥镜1、图5C中的内窥镜2等制造商名称、该制造商中的机型名称等信息。根据该机型信息等，判定在步骤S21、S23中接收到的图像是否是在生成现有推理模型19a时使用的由现有制造商制造的内窥镜取得的图像。机型信息有时包含于与图像相关联的类别信息等中，因此，控制部11根据类别信息，判定机型信息。在该步骤中，不限于机型信息，也可以根据模式、附件、手术方式等信息，判定是否与现有的机型相关。在表示机型信息等的标签数据等未附加于图像的情况下，也可以根据图像的特性、图像的形状等判定。

在步骤S61中的判定结果是机型信息等为现有的制造商的情况下，接着，判定癌判定的可靠性是否处于特定范围(S63)。在步骤S25(参照图5B)中，与进行癌等病变部的推理一起判定此时的推理的可靠性。推理的可靠性不是0％和100％这两种，能够取其中间的值。在可靠性为40％～60％的情况下，在使用现有推理模型进行了癌等病变部的估计的情况下，该推理结果为既不能说是正确、也不能说是错误的状态。在可靠性为0％的情况下，是现有推理模型完全不适合的情况，另一方面，在可靠性为100％的情况下，是现有推理模型完全适合的情况。在可靠性处于特定范围的情况下，示出了作为推理对象的内窥镜图像并非恰好适于现有推理模型，现有推理模型存在改良的余地。

因此，在步骤S83中的判定结果是可靠性未处于特定范围(40％～60％)的情况下，设为除此以外(S73)，进入图5B的步骤S28。另一方面，在步骤S83中的判定结果是可靠性处于特定范围的情况下，设为进行现状改良(S65)，进入图5B的S29。

返回步骤S61，在机型信息不是现有的内窥镜等的情况下，接着，考虑图像的质量特性的差异、手术方式，而判定是否是完全未知的机型(S67)。在该步骤中，判定输入图像是由完全未知的内窥镜机型取得的图像、还是由与现有的内窥镜无较大差异或者市场上已知的内窥镜机型取得的图像。由于步骤S61中的判定结果为“否”，因此，输入图像可以说是由非现有机型(为了生成现有推理模型而使用的机型)的内窥镜取得的图像。因此，控制部11考虑图像的质量特性的差异、手术方式，而判定是否是完全未知的机型。在考虑图像的质量特性的差异、手术方式时，考虑机型、画质(光学特性)、照明、视场角、操作的情况、处置器具等或可靠度。在外科用内窥镜等中，当手术方式不同时，推理模型不同，因此，也可以根据手术方式对设为新推理模型、还是设为现状改良模型进行切换。

在步骤S67中，在机型信息与信息处理系统10接收到的内窥镜图像相关联的情况下，根据该信息，判定是与生成了现有推理模型的机型无较大差异的内窥镜机型、还是完全未知的机型。此外，图像的画质(光学特性)、针对图像的照明、视场角等表现制造商的特征，因此，也能够根据这些信息，判定机型。并且，根据内窥镜的制造商，操作方法具有特征，此外要使用的处置器具等也不同，因此，能够根据所取得的图像(特别是动态图像)，判定机型。并且，也能够根据推理的可靠度，判定机型。

在步骤S67中的判定中被判定为内窥镜图像不是由完全未知的机型取得的情况下，设为新模型1(S69)。所取得的内窥镜图像不是现有机型，但与现有机型无较大差异，因此，可以说生成改良现有推理模型的程度的新推理模型即可。因此，在步骤S69中，指定生成新模型1，设为现状改良(S75)，进入图5B的步骤S29。

另一方面，在步骤S67中的判定中被判定为内窥镜图像是由完全未知的机型取得的情况下，设为新模型2(S69)。所取得的内窥镜图像是与现有机型完全不同的类型的机型，因此，生成新推理模型。因此，在步骤S71中，指定生成新模型2，设为新模型(S77)，进入图5B的步骤S35。

这样，在图6所示的判定流程中，根据机型信息、可靠性的范围以及画质、照明、视场角、操作处理、处置器具等图像的质量特性、手术方式，而判定取得了内窥镜图像的机型等，根据这些判定结果，进行要生成的推理模型的划分。即，能够根据这些图像的特性，高效地利用由信息处理系统10收集到、由各种各样的内窥镜取得的图像。

接着，使用图7所示的流程图，对训练装置(信息处理装置)的动作进行说明。该动作通过信息处理系统10内的训练部18根据存储器中存储的程序控制信息处理系统10内的各部来实现。可以是训练部18具有CPU等控制用处理器，以实现该流程，此外，也可以是控制部11控制信息处理系统10内的各部，使得实现该流程。并且，训练部18当然也可以设置于信息处理系统10的外部，而不设置于信息处理系统10内。

当图7的训练的流程开始时，首先，判定是否是对象场景(S81)。对象场景是观察癌等病变部等作为目标的部位的场景，此外除了观察以外，还是作为训练对象的场景。在此，信息处理系统10根据图像的场景等(例如是否是体内的图像并且是医生等进行详查时的图像等)，判定是否是对象图像。如上所述，该判定可以根据与图像相关联的机型信息进行，此外也可以根据画质(光学特性)、其他信息(参照图6的S67)进行。

在步骤S81中的判定结果为不是对象场景的情况下，记录为第1时机图像组(S83)。在该情况下，所取得的内窥镜图像是非对象场景、例如从插入了内窥镜时起到寻找作为目标的部位、然后拔出内窥镜为止的期间、即第1时机的图像。信息处理系统10将取得图像作为第1时机图像来记录于记录部30的第1时机图像部31c。

另一方面，在步骤S81中的判定结果为是对象场景的情况下，记录为第2时机图像组(S85)。在该情况下，由于是对象场景的图像，因此，多数情况下，是适于生成推理模型的图像。在以与生成现有的推理模型时使用的机型不同的机型拍摄到的图像的情况下，成为新推理模型生成用的图像。信息处理系统10将其作为第2时机图像来记录于记录部30的第2时机图像部31d。

接着，记录标注结果(S87)。在此，训练部18(控制部11)委托在图像中赋予表示癌等病变部的位置的标注，将被实施了该标注的图像、即训练数据记录于图像文件31A。另外，标注的赋予也可以利用AI等进行。

接着，进行训练(S89)。在此，在将在步骤S67中取得的被实施了标注的训练数据设为推理引擎的神经网络时，以输出癌等病变部的位置的方式进行机器学习，设定神经网络的加权。

当在步骤S69中进行训练后，接着，判定训练结果是否确保了高可靠性(S91)。关于该判定，尝试向推理模型输入测试数据，将其误差收敛于多大的范围、或者收敛于特定的误差的测试数据有多少与例如预先确定的基准值进行比较，由此进行是否确保了高可靠性的判断即可。

在步骤S71中的判定结果是未能确保高可靠性的情况下，进行图像的取舍选择(S93)。在此，除去使可靠性降低的图像，此外追加能够提高可靠性的图像。当进行图像的取舍选择后，返回步骤S81，反复进行上述的动作。

另一方面，在步骤S91中的判定结果是确保了高可靠性的情况下，记录推理模型、规格和版本等(S95)。由于形成了高可靠性的推理模型，因此，将该推理模型和生成该推理模型时的规格以及版本信息等记录于记录部30等。当记录这些后，决定推理模型，训练装置的动作结束。在此，在信息处理系统10接收到与被记录为检查图像组的图像相同种类的图像时，所生成的推理模型能够在进行癌等病变部的推理时使用。

这样，在图7所示的训练的流程中，信息处理系统10在进行用于生成推理模型的训练时，判断已输入的内窥镜图像是否是对象场景(S81)，如果是对象场景，则预先收集该图像作为第2时机图像(S85)，并使用该图像生成训练数据，从而生成推理模型(S87～S89)。因此，能够高效地利用信息处理系统10收集到的图像。

此外，如果不是对象场景，则记录为第1时机图像。第1时机图像不在用于生成推理模型的训练中直接使用(S89)，但通过与第2时机图像的对比，包含表示在推理模型中能够采用怎样的图像的信息。能够在生成新推理模型时，灵活运用该信息，在从此前蓄积的检查图像组32中选择新推理模型生成用的图像时使用。

以上所说明的本实施方式中的构思是如下构思：在具有特定规格的推理模型且进行训练而生成该推理模型时的训练数据、作为该训练数据的来源的动态图像等的来历可翻阅的情况下，能够在改良或者新生成同样规格的推理模型时，参照训练数据的来源动态图像、其中的成为训练数据的图像帧的关系，简单地找出新的训练数据候选的图像帧，并在标注工序中进行提示。该构思也能够通过对该训练数据候选的图像帧进行推理这样的实施例来实现。因此，使用图8，对推理模型的生成和使用该推理模型的推理进行说明，该推理模型在具有一系列图像(可以是动态图像，或者也可以是多个静态图像)的情况下，选择任意图像作为训练数据生成用的图像。

如上所述，在本实施方式中，为了高效地收集新的训练数据，而利用如下情况：在生成已经具有实际业绩的推理模型时，已从无数的图像中选择出拍摄有应该检测的对象物的图像。即，能够通过对一系列图像组中的、为了生成训练数据而选择出的图像进行标注并训练，生成提取作为标注候选的图像的推理模型。

图8示出用于使用此前得到的检查用动态图像(静态图像帧组)生成选出标注候选图像的推理模型的训练的方法(参照图8的(a))以及通过该训练而生成的推理模型中的输入输出的情况(图8的(b))。即，能够根据具有实际业绩的此前的检查动态图像与其中的训练数据的关系，生成从由庞大的帧数构成的检查动态图像中检测有限的帧的推理模型。

一系列检查动态图像Pm1～Pm3是作为训练数据的检查图像。如果将该一系列检查动态图像Pm1～Pm3分别作为1个图像来处理，将其中的任意图像指定为应该标注的图像，则能够与所谓照片图像中的面部检测技术同样地对其位于何处进行推理。

另外，在图8的(a)中，在一系列检查动态图像Pm1中，图像Pmi1是插入时的图像组，图像Pma1是应该标注的图像组，图像Pmr1是拔出时的图像组。如果在进行机器学习之前，具有一系列检查动态图像中的、标注为存在患部等病变部的图像(在此为检查图像Pma1)，则对该图像实施标注，以生成选出标注候选图像的推理模型。

其中，一系列检查动态图像Pm1～Pm3中包含庞大的图像，因此，数据量变得庞大。因此，也可以在根据需要进行各帧的像素的间隔剔除、帧自身或整体的压缩等之后，选择应该标注的图像，并转化为训练数据。此外，在图8的(a)中，列举动态图像为例进行了说明，但不仅是动态图像的数据，除此以外，也可以将每个某时机的处置信息Ti1、Ti2等作为数据的一部分加入。该信息也成为用于与图像的变化相匹配地检测特征的有用信息。另外，在图8的(a)中，仅示出Pm1～Pm3这3个检查动态图像，但表示检查动态图像的数量有多个。

这样，在本实施方式中，针对在特定的检查时得到的内窥镜动态图像信息(在图中，作为训练数据的检查图像Pm1)，将通过将内窥镜动态图像中的与训练图像对应的帧(在图中，应该标注的检查图像Pma1)设为标注信息而得到的动态图像信息设为训练数据，进一步针对多个检查结果的内窥镜动态图像生成同样的训练数据(图8的(a)的作为训练数据的检查图像Pma2、Pma3)。当生成了训练数据时，将包含插入图像或拔出图像的内窥镜动态图像输入到神经网络NNW的输入层In，以使输出层Out成为训练数据帧(Pma1～Pma3)的方式进行训练，生成推理模型。

另外，在说明本实施方式时，记载为以加入插入、拔出的图像为前提，但这不是必须的。换言之，沿袭了如下先例：以标准化这样的构思，遵循相同的规则、例如在检测面部图像之后检测眼睛会提高精度。因此，即使不包含插入、拔出，而包含作为训练数据候选的图像并包含其前后的动态图像，也能够生成同样的推理模型。此时，如果将处置、摄像方法的变化等转化为信息，并预先与图像同步地记录，则用于推理训练图像的候选独有的图像的信息量增加，能够进行良好的推理。

当通过图8的(a)所示的方法生成推理模型时，接着，将所生成的推理模型设定于图8的(b)所示的推理引擎InEn。当将新取得的检查动态图像Pmx输入到该推理引擎InEn的输入层In时，能够对哪个帧是应该标注的图像进行推理，并从输出层Out输出标注候选的图像。检查动态图像也可以包含处置时信息Tix1、Tix2等。在推理时进行如下推理即可：从被判定为巨大图像数据的图像数据中找出确实与训练数据相符的部分，该巨大图像数据是动态图像中包含的各图像按时间序列排列而成的、能够宛如全景合成图像那样表现。此外，如果能够有效灵活运用处置信息，则在推理时也利用该处置信息，对标注候选进行推理即可。

在这样的图8的(a)、(b)所示的方式中，推理模型判定第1时机的图像组、第2时机的图像组，从而对第2时机的图像组或其中的训练数据候选帧进行推理并判定。特别是，在同样的部位存在同样的患部这样的情况下，检查动态图像包含同样的图像信息，因此，能够进行高精度的推理。

因此，在本实施方式中的推理模型的生成方法中，针对在特定的检查时得到的内窥镜动态图像信息(例如，参照检查图像Pm1～Pm3等)，将通过将该内窥镜动态图像中的与训练图像对应的帧设为标注信息而得到的动态图像信息设为训练数据，进而对多个检查结果的内窥镜动态图像进行同样的训练数据的转化(例如，参照标注图像Pma1～Pma3等)，将包含插入图像或拔出图像的内窥镜动态图像输入到训练装置(参照神经网络NNW的输入层In)，以训练数据的帧成为输出的方式(参照神经网络的输出层Out)进行训练，生成推理模型。

如以上所说明的那样，在本发明的一个实施方式中，信息处理装置能够与训练部协作，该训练部为了针对从第1内窥镜取得的图像进行特定的图像特征的判定，而判定由第1内窥镜按照时间序列得到的图像组是在第1时机得到的图像组、还是在第2时机得到的图像组，将对在第2时机得到的图像组进行标注的结果作为训练数据进行训练，而得到第1内窥镜用图像的图像特征判定用的第1推理模型。该信息处理装置具有分类部，该分类部利用生成了第1推理模型(现有的推理模型)时的在第1时机得到的图像组，对新取得的来自上述第1内窥镜或第2内窥镜的图像组进行分类。因此，能够高效地收集生成与第1推理模型不同的第2推理模型用的图像。

此外，判定由第1内窥镜按照时间序列得到的图像组是在第1时机得到的图像组(访问中途的图像)、还是在第2时机得到的图像组(寻找并详查癌等病变部时的图像)，用于生成第2推理模型的图像组不限于第2时机，还从在第1时机得到的图像中选择图像。因此，能够也利用访问时的图像，能够高效地收集第2推理模型用的图像。

此外，在本发明的一个实施方式中，具有以下步骤：分割步骤，根据时机，对由第1内窥镜得到的检查动态图像进行分割(例如，第1时机或第2时机)；图像分类步骤，将与所分割的时机中的第1时机对应的帧从训练数据候选中除去，将与第2时机对应的帧采用为训练数据候选(例如，参照图5B的S35、S37等)；记录步骤，按照每个分割时机对检查动态图像进行图像分类并记录(例如，参照图5B的S37等)；以及使用训练数据候选中的至少一个对第1推理模型进行训练的步骤，该第1推理模型对检查动态图像的帧中包含的患部信息进行推理(例如，参照图7的S89等)。因此，能够高效地收集与第1推理模型不同的第2推理模型生成用的图像，生成推理模型。

此外，在本发明的一个实施方式中，具有标注步骤，在该标注步骤中，将对与第2时机对应的帧进行标注的结果设为训练数据候选(例如，参照图7的S85、S87等)。此外，在本发明的一个实施方式中，具有：在生成与第1推理模型不同的第2推理模型时取得新的检查动态图像的步骤(例如，参照图7的S81等)；以及选择步骤，通过以反映了图像分类结果的分类方式对新的检查动态图像进行分类，选择第2推理模型用的训练数据候选(例如，参照图7的S85、S87等)。

另外，在本发明的一个实施方式中，以内窥镜图像为中心进行了说明，但还能够应用于如下信息处理装置：除了内窥镜图像以外，还使用各种检查装置的图像，生成推理模型。即，期待从时间序列图像帧中选择训练图像候选的技术在各种领域中灵活运用。在本实施方式中，列举内窥镜特有的从体腔内的插入、拔出的例子，说明了按照时间序列、按照每个时机对在检查的过程得到的动态图像进行分类并分析的情况。但是，这样的所谓标准化的过程可以是任何领域，因此不限于内窥镜图像。

例如，在医疗现场，也考虑应用于超声波、放射线等其他图像诊断装置，此外也能够应用于手术室内的紧急时判定等。具有如下用途的推理模型：针对由监控摄像头等取得的图像，根据人的行为、运动、人群的状况变化等判定紧急时，发出辅助信息。在该例子中，从经时地得到的大量数据中找出特定的数据的过程也花费工夫。这样，只要是为了生成推理模型而需要训练数据并从大量信息中选出转化为训练数据的候选信息的技术，就能够应用本实施方式。当然，不限于图像信息。

此外，即使在病变检测这样的领域中，也具有鉴别、防漏看、教育用途等各种切入点的方法。除了应用于这样的领域以外，在插入引导、处置引导这样的应用中，只要需要需要训练数据并从大量信息中选出转化为训练数据的候选信息的技术，就能够应用本实施方式。

当然，离开医疗领域，例如在从高速公路的出入口进入并从出入口出来这样的自动驾驶的领域中，需要利用处于特定的过程中的动态图像帧部分，根据道路、桥、隧道等构造物、与其他车的关系、标识以及其他关系进行判定的各种状况判定推理模型，也能够应用本实施方式的构思。在将以怎样的构思生成了推理模型作为证据保留的情况下，也如本实施方式那样，通过明确从获得数据到选择训练数据候选的方法，能够防止黑盒化。

此外，在本发明的一个实施方式中，信息处理系统10、图像系统20、记录部30说明为分体，但也可以将它们中的2个构成为一体，还可以将3个构成为一体。此外，在本发明的一个实施方式中，控制部11、21说明为由CPU、存储器等构成的设备。但是，除了由CPU和程序以软件的方式构成以外，也可以由硬件电路构成各部的一部分或全部，也可以是根据由Verilog、VHDL(Verilog Hardware Description Language：Verilog硬件描述语言)等描述的程序语言而生成的门电路等硬件结构，还可以使用DSP(Digital Signal Processor：数字信号处理器)等利用了软件的硬件结构。当然，这些也可以适当地组合。

此外，控制部11、21不限于CPU，只要是发挥作为控制器的功能的元件即可，上述各部的处理也可以由构成为硬件的1个以上的处理器进行。各部例如可以是分别构成为电子电路的处理器，也可以是由FPGA(Field Programmable Gate Array：现场可编程门阵列)等集成电路构成的处理器中的各电路部。或者，也可以由1个以上的CPU构成的处理器读入记录介质中记录的计算机程序并执行，由此执行作为各部的功能。

此外，在本发明的一个实施方式中，信息处理系统10说明为具有控制部11、输入判定部12、图像相似判定部13、元数据赋予部14、分类部15、第1委托部16、第2委托部17和训练部18。但是，这些无需设置于一体的装置内，例如只要通过互联网等通信网连接即可，上述的各部也可以被分散。

此外，近年来，多数情况下，使用能够一并针对各种判断基准进行判定的人工智能，一并进行在此所示的流程图的各分支等这样的改良当然也属于本发明的范畴。针对这样的控制，如果用户能够输入好坏，则能够对用户的嗜好进行训练，在适合于该用户的方向上定制本申请所示的实施方式。

此外，关于本说明书中说明的技术中的、主要由流程图说明的控制，多数情况下，能够利用程序来设定，有时也保存到记录介质、记录部中。关于向该记录介质、记录部记录的方法，可以在产品出厂时记录，也可以利用所发布的记录介质，还可以经由互联网下载。

此外，在本发明的一个实施方式中，使用流程图对本实施方式中的动作进行了说明，但处理过程可以改变顺序，也可以省略任意的步骤，也可以追加步骤，还可以进一步变更各步骤内的具体处理内容。

此外，关于权利要求、说明书和附图中的动作流程，为了方便，即使使用“首先”、“接着”等表述顺序的词语进行了说明，在没有特别进行说明的部位，也不意味着必须按该顺序进行实施。

本发明不直接限定于上述实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式中公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。并且，可适当组合不同实施方式的结构要素。

标号说明

10：信息处理系统；12：输入判定部；13：图像相似判定部；14：元数据赋予部；15：分类部；16：第1委托部；17：第2委托部；18：训练部；19：推理引擎；19a：现有推理模型；20：图像系统；21：控制部；22：处置部；23：图像取得部；24：显示部；25：显示内容；25a：推理结果；25b：可靠性；30：记录部；31：现有训练数据生成时检查图像组；31A：图像文件；31a：类别信息；31b：规格信息；31c：第1时机图像部；31d：第2时机图像部；32：检查图像组；32a：类别信息；32b：图像；33：新推理模型生成规格信息部；33a：追加训练数据规格。