基于ResNet-50时间压缩的胃镜图片分类方法、装置和存储介质

技术领域

本发明涉及基于ResNet-50时间压缩的胃镜图片分类方法、装置和存储介质，属于医学图像智能处理技术领域。

背景技术

十二指肠溃疡是我国人群中常见病、多发病之一，是消化性溃疡的常见类型。好发于气候变化较大的冬春两季。男性发病率明显高于女性。与胃酸分泌异常、幽门螺杆菌(H.pylori)感染、非甾体抗炎药(NSAID)、生活及饮食不规律、工作及外界压力、吸烟、饮酒以及精神心理因素密切相关。十二指肠溃疡多发生在十二指肠球部(95％)，以前壁居多，其次为后壁、下壁、上壁。由于胃镜技术在十二指肠溃疡诊断方面效果显著，已被推荐为十二指肠溃疡的主要诊断方法。具体来说胃镜检查，可对十二指肠黏膜直接观察、摄像，还可在直视下取活组织作病理学检查，是诊断十二指肠溃疡的最主要方法。胃镜方法具有一定的优势，但是由于人为因素例如医生的经验水平不一致，或者疏忽等特殊情况会直接影响最后的十二指肠溃疡诊断情况，同时人眼观察胃镜图片也会耗费大量的时间。

发明内容

本发明的目的在于提供一种基于ResNet-50时间压缩的胃镜图片分类方法、装置和存储介质，用于解决现有技术中存在的问题。

为达到上述目的，本发明提供如下技术方案：

根据第一方面，本发明实施例提供了一种基于ResNet-50时间压缩的胃镜图片分类方法，所述方法包括：

获取胃镜图片；

对所述胃镜图片进行预处理；

将预处理后的所述胃镜图片输入至ResNet-50网络模型中，所述ResNet-50网络模型的前三种残差结构中每种残差结构之后设置有分支分类器，最后一种残差结构之后设置有主干分类器；

依次获取所述ResNet-50网络模型中每个分类器的分类结果，根据获取到的分类结果确定所述胃镜图片的最终分类结果。

可选的，所述依次获取所述ResNet-50网络模型中每个分类器的分类结果，根据获取到的分类结果确定所述胃镜图片的最终分类结果，包括：

依次获取每个分类器的分类结果；

在获取到每个分类器的分类结果之后，根据当前获取到的分类结果计算不确定性；

在计算得到的所述不确定性小于预设阈值时，则根据当前分类结果输出所述胃镜图片的最终分类结果，并停止获取之后各个分类器的分类结果。

可选的，所述方法还包括：

在计算得到的所述不确定性大于所述预设阈值时，则再次执行所述依次获取每个分类器的分类结果的步骤。

可选的，前两个分支分类器中每个分支分类器包括4个卷积层、1个池化层以及1个全连接层，第3个分支分类器包括1个池化层和1个全连接层，所述主干分类器包括1个池化层和1个全连接层。

可选的，所述对所述胃镜图片进行预处理，包括：

对所述胃镜图片进行缩放，裁剪，随机水平翻转以及标准化处理，得到标准化处理后的所述胃镜图片。

第二方面，提供了一种基于ResNet-50时间压缩的胃镜图片分类方法，所述方法包括：

获取样本胃镜图片，所述样本胃镜图片包括N1张十二指肠溃疡图片以及N2张十二指肠正常图片，N1和N2均为正整数；

对所述样本胃镜图片进行预处理；

通过预处理后的所述样本胃镜图片对初始化ResNet-50网络模型进行训练，得到训练后的ResNet-50网络模型，训练后的ResNet-50网络模型的前三种残差结构中每种残差结构之后设置有分支分类器，最后一种残差结构之后设置有主干分类器，训练后的ResNet-50网络模型用于在输入胃镜图片时输出所述胃镜图片的分类结果。

可选的，所述通过预处理后的所述样本胃镜图片对初始化ResNet-50网络模型进行训练，包括：

使用有标签的样本胃镜图片对所述初始化ResNet-50网络模型的主干部分进行训练，通过主干分类器得到分类结果，将计算得到的分类结果与样本对应的真实标签使用交叉熵损失函数进行损失计算，将所述ResNet-50网络模型拟合胃镜图像的真实分布。

可选的，所述通过预处理后的所述样本胃镜图片对初始化ResNet-50网络模型进行训练，还包括：

将所述主干分类器预测的概率分布蒸馏给各个分支分类器，分支自蒸馏使用无标签任务数据，将所述主干分类器的分类结果与分支分类器的分类结果使用相对熵损失函数KL散度进行损失计算。

第三方面，提供了一种基于ResNet-50时间压缩的胃镜图片分类装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如第一方面，或者第二方面所述的方法。

第四方面，提供了一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如第一方面，或者第二方面所述的方法。

通过获取胃镜图片；对所述胃镜图片进行预处理；将预处理后的所述胃镜图片输入至ResNet-50网络模型中，所述ResNet-50网络模型的前三种残差结构中每种残差结构之后设置有分支分类器，最后一种残差结构之后设置有主干分类器；依次获取所述ResNet-50网络模型中每个分类器的分类结果，根据获取到的分类结果确定所述胃镜图片的最终分类结果。解决了现有技术中人眼观察胃镜图片时由于医生经验水平等影响导致人为判断会存在误诊并且需要耗费大量时间的问题，达到了将胃镜图片输入至ResNet-50网络模型之后即可自动输出分类结果，在基本不影响分类准确度的情况下节省测试时间的效果。也即本申请在分类检测过程中不需要人工参与，减少人为因素的同时，可以为医生提供高效率的诊断参考，降低发病率和死亡率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下为本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1为本发明一个实施例提供的基于ResNet-50时间压缩的胃镜图片分类方法的方法流程图；

图2为本发明一个实施例提供的ResNet-50网络模型的结构示意图；

图3为本发明一个实施例提供的一种基于ResNet-50时间压缩的胃镜图片分类方法的方法流程图；

图4为本发明一个实施例提供的本申请的分类方法与现有ResNet-50网络模型的分类方法的测试结果的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

请参考图1，其示出了本申请一个实施例提供的基于ResNet-50时间压缩的胃镜图片分类方法的方法流程图，如图1所示，该方法包括：

步骤101，获取样本胃镜图片，所述样本胃镜图片包括N1张十二指肠溃疡图片以及N2张十二指肠正常图片，N1和N2均为正整数；

其中，N1和N2可以相同也可以不同，对此并不做限定。并且为了保证训练精度，N1和N2通常为数值较大的值。比如，在本实施例中，N1＝N2＝800。

步骤102，对所述样本胃镜图片进行预处理；

输入图像的预处理包括缩放，裁剪，随机水平翻转以及标准化四个部分。其中缩放是将所有不同输入图像的尺寸缩放为256*256*3的大小，随后裁剪为224*224*3的大小，目的是为了剪去胃镜图像四个边角的黑色冗余部分，随机翻转由参数P控制，P是图像翻转的概率，最后进行数据标准化得到最终的输入图像的特征。

步骤103，通过预处理后的所述样本胃镜图片对初始化ResNet-50网络模型进行训练，得到训练后的ResNet-50网络模型，训练后的ResNet-50网络模型的前三种残差结构中每种残差结构之后设置有分支分类器，最后一种残差结构之后设置有主干分类器，训练后的ResNet-50网络模型用于在输入胃镜图片时输出所述胃镜图片的分类结果。

在得到预处理后的样本胃镜图片之后，将预处理后的样本胃镜图片输入到初始化ResNet-50网络模型中进行训练，得到训练后的ResNet-50网络模型，训练后的ResNet-50网络模型的前三种残差结构中每种残差结构之后设置有分支分类器，最后一种残差结构之后设置有主干分类器，训练后的ResNet-50网络模型用于在输入胃镜图片时输出所述胃镜图片的分类结果。

其中，前两个分支分类器中每个分支分类器包括4个卷积层、1个池化层以及1个全连接层，第3个分支分类器包括1个池化层和1个全连接层，所述主干分类器包括1个池化层和1个全连接层。

本实施例中初始化ResNet-50网络模型一共由50个带有权重的层组成，使用的卷积核是1*1，3*3，1*1组成。请参考图2，ResNet-50主要分为6个部分，分别为conv1、conv2_x、conv3_x、conv4_x、conv5_x以及最后自适应全局池化层和全连接层部分组成。在conv2_x、conv3_x以及conv4_x后各增加一个分支分类器，conv5_x后增加一个主干分类器，每个分类器最后一层的全连接层包含2个神经元，得到最后的2个结果为分布概率，即分类为正常十二指肠的概率和十二指肠溃疡的概率。

可选的，在对初始化ResNet-50网络模型进行训练时，对主干和分支分别进行训练，主干训练时要使用有标签的任务数据，通过主干分类器得到分类结果，将分类结果与样本对应的真实标签使用交叉熵损失函数进行损失计算，将整个网络拟合胃镜图像的真实分布。经过一定次数迭代后，将取得最好效果的模型权重参数保存下来。训练分支时使用无标签任务数据，将主干分类器预测的概率分布蒸馏给分支分类器，即将主干分类器的分类结果p

其中，

经过上述训练之后，即可得到训练后的ResNet-50网络模型，此后当需要判断胃镜图片时，即可将胃镜图片输入至训练后的ResNet-50网络模型中，即可得到分类结果。

也即请参考图3，其示出了本申请一个实施例提供的基于ResNet-50时间压缩的胃镜图片分类方法的方法流程图，如图3所示，该方法包括：

步骤301，获取胃镜图片；

步骤302，对所述胃镜图片进行预处理；

本步骤所述侧预处理与步骤102中所述的预处理类似，在此不再赘述。

步骤303，将预处理后的所述胃镜图片输入至ResNet-50网络模型中，所述ResNet-50网络模型的前三种残差结构中每种残差结构之后设置有分支分类器，最后一种残差结构之后设置有主干分类器；

步骤304，依次获取所述ResNet-50网络模型中每个分类器的分类结果，根据获取到的分类结果确定所述胃镜图片的最终分类结果。

ResNet-50网络模型中包括4个分类器，实际实现时，每个分类器均可以输出一个分类结果，因此，实际实现时本步骤可以包括：

第一，依次获取每个分类器的分类结果；

在将预处理后的胃镜图片输入至ResNet-50网络模型之后，ResNet-50网络模型中的4个分类器均可以依次输出对应的分类结果。

第二，在获取到每个分类器的分类结果之后，根据当前获取到的分类结果计算不确定性；

首先经过第一层分类器，得到最后的分类分布概率P＝[p

第三，在计算得到的所述不确定性小于预设阈值时，则根据当前分类结果输出所述胃镜图片的最终分类结果，并停止获取之后各个分类器的分类结果。

设定预设阈值为threshold，如果计算出的不确定性小于threshold，则判断当前的分类是可信的，提前停止，如果p

第四，在计算得到的所述不确定性大于所述预设阈值时，则再次执行所述依次获取每个分类器的分类结果的步骤。

如果计算出的不确定性大于threshold，则判断当前的分类是不可信的，继续往下执行，直到遇到下一个分类器重新判断。

根据实验的结果，为了减少更多时间的同时保证准确率，建议预设阈值取为0.98附近，若预设阈值太高，则图像基本上经过一层分类器之后就终止，虽然时间减少了很多，但准确率会有一定程度的降低，若预设阈值太低，则图像基本上全部走完整个模型再进行分类，虽然保证了准确率，但是耗费的时间相比未改进的ResNet-50模型却更大。

图4为选取不同模型时耗费的时间、F值以及准确率的对比表格，可以看出，使用现有方案中的ResNet-50花费的时间较多，单个样本测试平均时间需要239毫秒，参数量为164584910，准确率达0.91。而本申请中的ResNet-50网络模型，单个样本测试时间需要129毫秒，参数量为77581814，相比现有方案中的ResNet-50网络模型，仅单个样本就减少了近一半时间，参数量为原来的一半，准确率达0.90，接近原模型，说明采用基于ResNet-50时间压缩的胃镜图片分类方法不仅时间耗费较少，同时在准确率上还能接近原有模型的性能。

综上所述，通过获取胃镜图片；对所述胃镜图片进行预处理；将预处理后的所述胃镜图片输入至ResNet-50网络模型中，所述ResNet-50网络模型的前三种残差结构中每种残差结构之后设置有分支分类器，最后一种残差结构之后设置有主干分类器；依次获取所述ResNet-50网络模型中每个分类器的分类结果，根据获取到的分类结果确定所述胃镜图片的最终分类结果。解决了现有技术中人眼观察胃镜图片时由于医生经验水平等影响导致人为判断会存在误诊并且需要耗费大量时间的问题，达到了将胃镜图片输入至ResNet-50网络模型之后即可自动输出分类结果，在基本不影响分类准确度的情况下节省测试时间的效果。也即本申请在分类检测过程中不需要人工参与，减少人为因素的同时，可以为医生提供高效率的诊断参考，降低发病率和死亡率。

此外，本申请中ResNet-50网络模型中设置多个分类器，根据每个分类器的分类结果进行判断进而在不确定性较低时即可提前终止并输出分类结果，也即既可以在第一、二、三个分类器提前输出，保证时间大大减少，也可以在第四个分类器输出，保证图像分类的准确率。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。