胶囊内窥镜图像器官分类方法、装置、设备及存储介质

技术领域

本发明涉及图像识别领域，特别是涉及一种胶囊内窥镜图像器官分类方法、装置、设备及存储介质。

背景技术

无线胶囊内窥镜是胃肠道疾病的一线诊断工具。由于胶囊内窥镜图像数量庞大，胶囊内镜医师检查工作是一项艰巨任务。

消化道器官一般包括食道、胃、小肠和大肠。但是由于消化道器官自身特征的相似性、胶囊内窥镜图像样本的数量少和差异性等原因，很难提供高性能的胶囊图像器官分类，导致胶囊内镜医师很难快速定位相应的器官。

因此，如何以低计算成本满足胶囊内窥镜图像器官分类需求，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种胶囊内窥镜图像器官分类方法、装置、设备及存储介质，可以实现胶囊内窥镜图像器官的自动化分类，帮助医生快速定位器官，计算成本低。其具体方案如下：

一种胶囊内窥镜图像器官分类方法，包括：

对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；

针对所述胶囊图像数据集，选择并修改预训练模型；

对修改后的所述预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；

通过所述胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；

结合所述待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。

优选地，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，对胶囊内窥镜图像样本进行图像增强，具体包括：

确定对胶囊内窥镜图像样本的图像变换方式；

根据确定的所述图像变换方式，确定不同的图像变换组合；

根据确定的所述图像变换组合，对所述胶囊内窥镜图像样本进行图像增强。

优选地，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，针对所述胶囊图像数据集，选择并修改预训练模型，具体包括：

针对所述胶囊图像数据集，选择Inception-V3、ResNet152和Efficient B0作为预训练模型，并对所述预训练模型进行结构修改。

优选地，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，对修改后的所述预训练模型进行迁移学习训练，具体包括：

对修改后的所述预训练模型的训练参数进行相应的设置；

采用ImageNet数据集的权重作为原始权重，使用所述胶囊图像数据集重新训练除分类输出层以外的所有层权重。

优选地，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，结合所述待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正，具体包括：

使用所述待分类器官图像对应的胶囊视频流上的路标信息，结合已有器官分类混淆矩阵数据分布特点，对初始分类结果进行更正。

优选地，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，对初始分类结果进行更正，具体包括：

将所有矩阵初始化为0，所有待调整图像序号集合和调整后图像序号集合设置为空值，并将器官之间的调节量比率设置为50％；

根据胶囊视频流上的路标信息和原始图像序号集合，计算图像调整量矩阵和所述待调整图像序号集合；

计算每个数据集所有模型混淆矩阵中邻近器官混淆量的比例，并保存到相应的比例矩阵；

获取相邻器官的混淆量的比例的最大值，并保存到最大值矩阵；

将获取的所述比例的最大值与对应的阈值进行比较后，重新计算相邻器官之间的调节量比率；

根据重新计算得到的所述调节量比率，重新计算所述图像调整量矩阵，并修改所述待调整图像序号集合；

在修改后的所述待调整图像序号集合中搜索所述原始图像序号集合中对应的序号，找到后从所述原始图像序号集合中删除所述序号并添加到所述调整后图像序号集合中，并将所述调整后序号集合中的所述序号添加到所述原始图像序号集合中。

本发明实施例还提供了一种胶囊内窥镜图像器官分类装置，包括：

图像增强模块，用于对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；

模型生成模块，用于针对所述胶囊图像数据集，选择并修改预训练模型；

迁移学习模块，用于对修改后的所述预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；

器官分类模块，用于通过所述胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；

分类更正模块，用于结合所述待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。

本发明实施例还提供了一种胶囊内窥镜图像器官分类设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述胶囊内窥镜图像器官分类方法。

本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述胶囊内窥镜图像器官分类方法。

从上述技术方案可以看出，本发明所提供的一种胶囊内窥镜图像器官分类方法，包括：对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；针对胶囊图像数据集，选择并修改预训练模型；对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；结合待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。

本发明提供的上述方法是基于深度卷积神经网络的胶囊内窥镜图像识别，主要包括图像增强、迁移学习、器官分类和分类更正这四部分，来实现胶囊内窥镜图像器官的自动化分类，能够帮助医生快速定位器官，提高疾病诊断的效率和准确性，降低计算成本。此外，本发明还针对胶囊内窥镜图像器官分类方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。

附图说明

为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的胶囊内窥镜图像器官分类方法的流程图；

图2为本发明实施例提供的胶囊内窥镜图像器官分类装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种胶囊内窥镜图像器官分类方法，如图1所示，包括以下步骤：

S101、对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；

需要说明的是，在图像增强技术中，是通过多种图像变换来增加图像的数量和多样性。然而，不同的图像变换方式产生不同的扩展胶囊图像数据集，进而影响深度卷积神经网络的训练结果。因此，有必要研究适应于不同深度卷积神经网络的图像增强方式，提高模型训练的性能。

S102、针对胶囊图像数据集，选择并修改预训练模型；

可以理解的是，由于消化道器官自身特征的相似性、胶囊内窥镜图像样本的数量少和差异性等原因，采用不同的深度卷积神经网络将导致胶囊图像器官分类的效果存在差异。因此，有必要选择合适的深度卷积神经网络，并根据需要修改模型的结构，从而减少模型的过拟合现象，提高模型的性能和通用性。

S103、对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；

需要说明的是，在迁移学习技术中，是通过把已训练好的模型(即预训练模型)参数迁移到新的模型来提高新模型训练效率。不同的微调方式和训练参数设置，对图像识别性能具有较大的影响。因此，选择合适的微调方式和设置合理的训练参数是至关重要的。在对预训练模型进行迁移学习训练的过程中，可以对不同预训练模型的训练参数进行相应的设置，使其适应于四种胶囊器官(食道、胃、小肠、大肠)分类。

S104、通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；

需要说明的是，待分类器官图像的文件名中包含与时间相关的序号。

S105、结合待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正；

需要说明的是，在胶囊内窥镜视频中，胶囊内窥镜图像之间具有时序关联性，一旦胶囊内窥镜图像按照时间顺序标好，图像的序列号就会从食道、胃、小肠到大肠逐渐增加。因此，可以根据图像序列号之间的关系进一步调整初始的分类图像，即对基于深度卷积神经网络的器官初始分类结果进行修正，从而提高器官分类的性能。

在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，首先对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；然后针对胶囊图像数据集，选择并修改预训练模型；之后对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；再通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；最后结合待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。该方法基于深度卷积神经网络的胶囊内窥镜图像识别，主要包括图像增强、迁移学习、器官分类和分类更正这四部分，来实现胶囊内窥镜图像器官的自动化分类，能够帮助医生快速定位器官，提高效率和准确性，降低计算成本。

在具体实施时，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，步骤S101对胶囊内窥镜图像样本进行图像增强，具体可以包括：确定对胶囊内窥镜图像样本的图像变换方式；根据确定的图像变换方式，确定不同的图像变换组合；根据确定的图像变换组合，对胶囊内窥镜图像样本进行图像增强。

在实际应用中，首先，基于图像增强的已有应用，选择常用的六种图像变换方式，包括：旋转、平移、横切变换、缩放、翻转、亮度增强；然后，基于胶囊内窥镜图像的特点，选择可能有利于胶囊内窥镜图像识别的变换组合方式，包括：旋转、旋转-亮度增强、旋转-平移、旋转-缩放、旋转-翻转-亮度增强、所有变换等；最后，对于不同的预训练模型，根据测试集上的器官分类结果，选择性能最好的变换组合作为训练集的图像增强方式。

在具体实施时，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，步骤S102针对胶囊图像数据集，选择和修改预训练模型，具体可以包括：针对所述胶囊图像数据集，选择三种典型深度卷积神经网络：Inception-V3、ResNet152和Efficient B0作为预训练模型，并对所述预训练模型进行结构修改。

需要注意的是，修改结构的方式可以为Inception-V3，添加三层，即GlobalAveragePooling层，具有50％概率不更新权重的dropout层和具有softmax激活函数的四分类输出层；ResNet152，添加三层，除了Flatten层，其他两层同Inception-V3的后两层，即dropout层和输出层；EfficientNet B0，添加两层，同Inception-V3的后两层，即dropout层和输出层。

在具体实施时，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，步骤S103对修改后的预训练模型进行迁移学习训练，具体可以包括：对修改后的预训练模型的训练参数进行相应的设置，如学习率＝0.001，训练次数＝100，批量大小＝10；采用ImageNet数据集的权重作为原始权重，使用胶囊图像数据集重新训练除分类输出层以外的所有层权重。每个模型的参数数量分别可以为：21,776,54(Inception-V3)、58,303,428(ResNet152)、4,012,672(EfficientNet B0)。

进一步地，在具体实施时，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，步骤S105结合所述待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正，具体可以包括：使用待分类器官图像对应的胶囊视频流上的路标信息，结合已有器官分类混淆矩阵数据分布特点，对器官分类结果进行修正。

在具体实施时，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，上述步骤中对器官分类的初始结果进行修正，具体可以包括以下步骤：

步骤一、将所有矩阵初始化为0，所有待调整图像序号集合Ψ

步骤二、根据胶囊视频流上的路标信息

步骤三、计算每个数据集所有模型混淆矩阵中邻近器官混淆量的比例，并保存到相应的比例矩阵

步骤四、获取相邻器官的混淆量的比例的最大值，并保存到最大值矩阵

步骤五、将获取的比例的最大值与对应的阈值进行比较后，重新计算相邻器官之间的调节量比率T

步骤六、根据重新计算得到的调节量比率T

步骤七、在修改后的待调整图像序号集合Ψ

基于同一发明构思，本发明实施例还提供了一种胶囊内窥镜图像器官分类装置，由于该装置解决问题的原理与前述一种窥镜图像器官分类方法相似，因此该装置的实施可以参见胶囊内窥镜图像器官分类方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的胶囊内窥镜图像器官分类装置，如图2所示，具体包括：

图像增强模块21，用于对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；

模型生成模块22，用于针对胶囊图像数据集，选择并修改预训练模型；

迁移学习模块23，用于对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；

器官分类模块24，用于通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；

分类更正模块25，用于结合所述待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。

在本发明实施例提供的上述胶囊内窥镜图像器官分类装置中，可以通过上述五个模块的相互作用，实现胶囊内窥镜图像器官的自动化分类，进而能够帮助医生快速定位器官，提高疾病诊断的效率和准确性，降低计算成本。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

相应地，本发明实施例还公开了一种胶囊内窥镜图像器官分类设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的胶囊内窥镜图像器官分类方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的胶囊内窥镜图像器官分类方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本发明实施例提供的一种胶囊内窥镜图像器官分类方法，包括：对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；针对胶囊图像数据集，选择并修改预训练模型；对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；结合待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。上述方法是基于深度卷积神经网络的胶囊内窥镜图像识别，主要包括图像增强、迁移学习、器官分类和分类更正这四部分，来实现胶囊内窥镜图像器官的自动化分类，能够帮助医生快速定位器官，提高疾病诊断的效率和准确性，降低计算成本。此外，本发明还针对胶囊内窥镜图像器官分类方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的胶囊内窥镜图像器官分类方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。