基于人工智能的疟原虫识别方法及设备

技术领域

本发明实施例涉及疟原虫识别技术领域，尤其涉及一种基于人工智能的疟原虫识别方法及设备。

背景技术

疟疾仍是严重威胁人类健康的传染病之一，全球受威胁人数超过30亿人，每年超过2亿人发病，40多万人死亡。疟原虫是疟疾的主要致病因素，疟原虫的检测是精确定位细胞中疟原虫的准确位置，有助于检测人员更好的发现疟疾。中国自2017年始已无本土疟疾发生，随着本土疟疾逐渐减少，检测疟原虫能力下降的问题逐渐突显出来。目前，镜检仍是疟原虫检测的常见方法，但该方法严重依赖检验人员的技能水平与经验，且境外以恶性疟流行为主，其它疟原虫均广泛存在，检验人员对不同虫种的鉴别也存在极大的困难，导致在少量数据下对疟疾种类的识别精度下降。因此，开发一种基于人工智能的疟原虫识别方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。

发明内容

针对现有技术存在的上述问题，本发明实施例提供了一种基于人工智能的疟原虫识别方法及设备。

第一方面，本发明的实施例提供了一种基于人工智能的疟原虫识别方法，包括：对疟疾的病理图像进行分割得到实用级图像；对实用级图像进行几何畸变及光照畸变并进行图像遮挡，对图像遮挡后的实用级图像进行数据增强并打马赛克，得到血细胞位置图像；将血细胞位置图像扩大，并增大疟原虫体与周边环境的对比度，得到第二血细胞位置图像；采用U形网络对第二血细胞位置图像进行分类，识别出第二血细胞位置图像中的疟原虫虫体。

在上述方法实施例内容的基础上，本发明实施例中提供的基于人工智能的疟原虫识别方法，所述对疟疾的病理图像进行分割得到实用级图像，包括：将疟疾的病理图像分割为固定像素值的图像，对分割后的图像进行旋转、调整比例及颜色变换，得到所述实用级图像。

在上述方法实施例内容的基础上，本发明实施例中提供的基于人工智能的疟原虫识别方法，所述对实用级图像进行几何畸变及光照畸变并进行图像遮挡，包括：对实用级图像进行几何畸变及光照畸变后，采用Random Erase、Cutout、Hide and Seek、Grid Mask或MixUp方法对畸变后的实用级图像进行图像遮挡。

在上述方法实施例内容的基础上，本发明实施例中提供的基于人工智能的疟原虫识别方法，所述对图像遮挡后的实用级图像进行数据增强并打马赛克，得到血细胞位置图像，包括：采用CutMix方法对图像遮挡后的实用级图像进行数据增强，采用Mosaic方法对图像遮挡后的实用级图像打马赛克，得到血细胞位置图像。

在上述方法实施例内容的基础上，本发明实施例中提供的基于人工智能的疟原虫识别方法，在所述采用Mosaic方法对图像遮挡后的实用级图像打马赛克之后，还包括：采用Self-Adversarial Training方法对打马赛克的图像遮挡后的实用级图像进行数据增强。

在上述方法实施例内容的基础上，本发明实施例中提供的基于人工智能的疟原虫识别方法，所述将血细胞位置图像扩大，并增大疟原虫体与周边环境的对比度，得到第二血细胞位置图像，包括：对血细胞位置图像进行膨胀，将像素值增大，从而增大疟原虫体与周边环境的对比度，得到第二血细胞位置图像。

在上述方法实施例内容的基础上，本发明实施例中提供的基于人工智能的疟原虫识别方法，所述采用U形网络对第二血细胞位置图像进行分类，包括：将第二血细胞位置图像输入U-net网络，U-net网络的上采样通道将第二血细胞位置图像向高层分辨率传播，U-net网络的扩展路径与收缩路径对称，且没有全链接层。

第二方面，本发明的实施例提供了一种基于人工智能的疟原虫识别装置，包括：

第一主模块，用于对疟疾的病理图像进行分割得到实用级图像；第二主模块，用于对实用级图像进行几何畸变及光照畸变并进行图像遮挡，对图像遮挡后的实用级图像进行数据增强并打马赛克，得到血细胞位置图像；第三主模块，用于将血细胞位置图像扩大，并增大疟原虫体与周边环境的对比度，得到第二血细胞位置图像；第四主模块，用于采用U形网络对第二血细胞位置图像进行分类，识别出第二血细胞位置图像中的疟原虫虫体。

第三方面，本发明的实施例提供了一种电子设备，包括：

至少一个处理器；以及

与处理器通信连接的至少一个存储器，其中：

存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种实现方式中任一种实现方式所提供的基于人工智能的疟原虫识别方法。

第四方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的基于人工智能的疟原虫识别方法。

本发明实施例提供的基于人工智能的疟原虫识别方法及设备，通过对分割后得到的实用级图像进行几何畸变及光照畸变并进行图像遮挡，对图像遮挡后的实用级图像进行数据增强并打马赛克，得到血细胞位置图像；将血细胞位置图像进行形态学操作得到第二血细胞位置图像，采用U形网络对第二血细胞位置图像进行分类，可以自动识别出第二血细胞位置图像中的疟原虫虫体，提高了对疟原虫虫体检测的效率和准确率，增强了对微小疟原虫虫体的检测能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于人工智能的疟原虫识别方法流程图；

图2为本发明实施例提供的基于人工智能的疟原虫识别装置结构示意图；

图3为本发明实施例提供的电子设备的实体结构示意图；

图4为本发明实施例提供的YOLO V4网络结构示意图；

图5为本发明实施例提供的U-net网络结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

通过图像检测技术得到每个血细胞的位置，然后每个血细胞进行图形学处理，在处理完成之后，然后对细胞图像进行图像分割，检测出该细胞内是否含有疟原虫。基于这种思想，本发明实施例提供了一种基于人工智能的疟原虫识别方法，参见图1，该方法包括：对疟疾的病理图像进行分割得到实用级图像；对实用级图像进行几何畸变及光照畸变并进行图像遮挡，对图像遮挡后的实用级图像进行数据增强并打马赛克，得到血细胞位置图像；将血细胞位置图像扩大，并增大疟原虫体与周边环境的对比度，得到第二血细胞位置图像；采用U形网络对第二血细胞位置图像进行分类，识别出第二血细胞位置图像中的疟原虫虫体。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别方法，所述对疟疾的病理图像进行分割得到实用级图像，包括：将疟疾的病理图像分割为固定像素值的图像，对分割后的图像进行旋转、调整比例及颜色变换，得到所述实用级图像。

具体地，由于病理切片需要在显微镜下放大一千倍才可以观察到虫体，所以在得到病理图像之后，首先对疟疾的病理图像进行处理，首先把原图像分割为固定像素值的图像(在另一实施例中，可以为1920*1280像素值、1720*1080像素值或900*700像素值)，然后对图像进行旋转，比例调整，颜色变换等处理用来做图像增强处理。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别方法，所述对实用级图像进行几何畸变及光照畸变并进行图像遮挡，包括：对实用级图像进行几何畸变及光照畸变后，采用Random Erase、Cutout、Hide andSeek、Grid Mask或MixUp方法对畸变后的实用级图像进行图像遮挡。

具体地，在图像检测的过程中使用YOLO V4作为图像检测的算法，YOLO V4使多种数据增强技术的组合，对于单一图片，除了经典的几何畸变与光照畸变外，还创新地使用了图像遮挡(Random Erase，Cutout，Hide and Seek，Grid Mask或MixUp)技术，对于多图组合混合使用了CutMix数据增强与Mosaic技术。除此之外，还使用了Self-AdversarialTraining(SAT)来进行数据增强。网络结构如图4所示。网络主要有以下三部分组成BackBone:CSPDarknet53；Neck:SPP+PAN；HEAD:YOLO HEAD。其中Backbone检测框是用来做特征提取，Neck是用来做特征融合，HEAD是用来得到检测框。由图4中可见，在CSPDarknet53中，对于608X608像素值的图像，其采用了5层递减的卷积核(304X304至19X19)，后三层卷积核通过process1至process3分别将结果输送至SPP+PAN模块，process1至process3的输出结果(y19、y38和y76)分别经过process5(y19)、process4(y38和y76)以及直接输出(y76)的方式，向YOLO HEAD部分输出。分别经过YOLO HEAD1输出y76,YOLO HEAD2输出y38,YOLOHEAD3输出y19。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别方法，所述对图像遮挡后的实用级图像进行数据增强并打马赛克，得到血细胞位置图像，包括：采用CutMix方法对图像遮挡后的实用级图像进行数据增强，采用Mosaic方法对图像遮挡后的实用级图像打马赛克，得到血细胞位置图像。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别方法，在所述采用Mosaic方法对图像遮挡后的实用级图像打马赛克之后，还包括：采用Self-Adversarial Training方法对打马赛克的图像遮挡后的实用级图像进行数据增强。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别方法，所述将血细胞位置图像扩大，并增大疟原虫体与周边环境的对比度，得到第二血细胞位置图像，包括：对血细胞位置图像进行膨胀，将像素值增大，从而增大疟原虫体与周边环境的对比度，得到第二血细胞位置图像。

具体地，在检测出每个血细胞的位置之后，通过图形学方法，对框内的图像进行形态学处理，包括膨胀，图像像素值变化等。目的是为了将检测框区域内小目标的扩大，以及使得疟原虫虫体和周围环境的对比度变大。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别方法，所述采用U形网络对第二血细胞位置图像进行分类，包括：将第二血细胞位置图像输入U-net网络，U-net网络的上采样通道将第二血细胞位置图像向高层分辨率传播，U-net网络的扩展路径与收缩路径对称，且没有全链接层。

具体地，在经过形态学处理之后，对图像进行分类操作。这里采用了U-net算法来进行图像分类。U-net(即U形网络)与FCN网络的不同之处在于，U-net的上采样依然有大量的通道，这使得网络将上下文信息向更高层分辨率传播，作为结果，扩展路径与收缩路径对称，形成一个U型的形状。网络没有全连接层并且只是用每一个卷积层的有效部分。网络结构如图5所示。在图5中，每一个矩形方块表示一个多通道特征图，特征图的通道数(如64、128等)标记在顶部，X-Y尺寸设置在矩形方块的左下边缘(如572X572，570X570等)。不同颜色的箭头代表不同的操作。图的左半部分是收缩路径(即上采样)，右半部分是扩展路径(即下采样)。需要说明的是，每经过一次上采样都会将通道数减半，再与收缩(下采样)路径对应的特征图进行拼接。在拼接之前进行crop裁剪是必要的(例如在图5中，6464大与5656，为了使这两个特征图能够顺利拼接，取6464中间部分5454的大小，然后拼接)，因为两者的尺寸并不相同(主要是因为valid conv造成的)。最后一层使用1X1大小的卷积核，将通道数降低至特定的数量(如像素点的类别数量)。U-net网络对于输入的大小也是有要求的。为了使得输出的分类图无缝拼接，重要的是选择输入块的大小，以便所有的2X2的池化层都可以应用于偶数的x层和y层。一个比较好的方法是从最下的分辨率从反向推导，比如说在网络结构中，最小的是32X32，沿着收缩路径的反向进行推导可知，输入图像的尺寸应该为572×572。

本发明实施例提供的基于人工智能的疟原虫识别方法，通过对分割后得到的实用级图像进行几何畸变及光照畸变并进行图像遮挡，对图像遮挡后的实用级图像进行数据增强并打马赛克，得到血细胞位置图像；将血细胞位置图像进行形态学操作得到第二血细胞位置图像，采用U形网络对第二血细胞位置图像进行分类，可以自动识别出第二血细胞位置图像中的疟原虫虫体，提高了对疟原虫虫体检测的效率和准确率，增强了对微小疟原虫虫体的检测能力。

本发明实施例提供的基于人工智能的疟原虫识别方法的深度学习模型的训练流程如下，对于Yolo-4来说，使用pytorch框架，训练参数如下：设置batch＝64；设置subdivisions＝16；设置max_batches＝classes*2000，其中classes＝1；设置steps为max_batches的80％,90％；设置width＝416，height＝416或任何32的整数倍，根据数据特点和显存容量决定；将每个[yolo]层的classes设置为1；将每个[yolo]层的上一层中的filters设置为(classes+5)x3，其中classes＝1；使用LabelImg准备label文件。

在图像分类识别方面，使用pytorch框架，并采用带动量的SGD方法，其中动量的值设为momentum＝0.99。初始化权值；权值的初始化对于模型的正确训练起着很大的作用，一个好的初始化应该保证网络中的每一个特征图有近似的单位方差。在这里使用服从标准差为

本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种基于人工智能的疟原虫识别装置，该装置用于执行上述方法实施例中的基于人工智能的疟原虫识别方法。参见图2，该装置包括：

第一主模块，用于对疟疾的病理图像进行分割得到实用级图像；第二主模块，用于对实用级图像进行几何畸变及光照畸变并进行图像遮挡，对图像遮挡后的实用级图像进行数据增强并打马赛克，得到血细胞位置图像；第三主模块，用于将血细胞位置图像扩大，并增大疟原虫体与周边环境的对比度，得到第二血细胞位置图像；第四主模块，用于采用U形网络对第二血细胞位置图像进行分类，识别出第二血细胞位置图像中的疟原虫虫体。

本发明实施例提供的基于人工智能的疟原虫识别装置，采用图2中的若干模块，通过对分割后得到的实用级图像进行几何畸变及光照畸变并进行图像遮挡，对图像遮挡后的实用级图像进行数据增强并打马赛克，得到血细胞位置图像；将血细胞位置图像进行形态学操作得到第二血细胞位置图像，采用U形网络对第二血细胞位置图像进行分类，可以自动识别出第二血细胞位置图像中的疟原虫虫体，提高了对疟原虫虫体检测的效率和准确率，增强了对微小疟原虫虫体的检测能力。

需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。例如：

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别装置，还包括：第一子模块，用于实现所述对疟疾的病理图像进行分割得到实用级图像，包括：将疟疾的病理图像分割为固定像素值的图像，对分割后的图像进行旋转、调整比例及颜色变换，得到所述实用级图像。

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别装置，还包括：第二子模块，用于实现所述对实用级图像进行几何畸变及光照畸变并进行图像遮挡，包括：对实用级图像进行几何畸变及光照畸变后，采用Random Erase、Cutout、Hide and Seek、Grid Mask或MixUp方法对畸变后的实用级图像进行图像遮挡。

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别装置，还包括：第三子模块，用于实现所述对图像遮挡后的实用级图像进行数据增强并打马赛克，得到血细胞位置图像，包括：采用CutMix方法对图像遮挡后的实用级图像进行数据增强，采用Mosaic方法对图像遮挡后的实用级图像打马赛克，得到血细胞位置图像。

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别装置，还包括：第四子模块，用于实现在所述采用Mosaic方法对图像遮挡后的实用级图像打马赛克之后，还包括：采用Self-Adversarial Training方法对打马赛克的图像遮挡后的实用级图像进行数据增强。

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别装置，还包括：第五子模块，用于实现所述将血细胞位置图像扩大，并增大疟原虫体与周边环境的对比度，得到第二血细胞位置图像，包括：对血细胞位置图像进行膨胀，将像素值增大，从而增大疟原虫体与周边环境的对比度，得到第二血细胞位置图像。

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于人工智能的疟原虫识别装置，还包括：第六子模块，用于实现所述采用U形网络对第二血细胞位置图像进行分类，包括：将第二血细胞位置图像输入U-net网络，U-net网络的上采样通道将第二血细胞位置图像向高层分辨率传播，U-net网络的扩展路径与收缩路径对称，且没有全链接层。

本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个处理器(processor)、通信接口(Communications Interface)、至少一个存储器(memory)和通信总线，其中，至少一个处理器，通信接口，至少一个存储器通过通信总线完成相互间的通信。至少一个处理器可以调用至少一个存储器中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。

此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本专利中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。