一种图像识别方法和装置

技术领域

本发明属于微生物识别的技术领域，具体涉及一种图像识别方法和装置。

背景技术

随着人类社会的不断发展和工业现代化，由于工业污水、生活污水的不断排放，水环境的质量越来越恶劣，水资源短缺也越来越严重。实现我国污水处理过程的优化和自动控制，提高污水处理效果具有重大的理论与显示意义。污水中活性污泥中的微生物种类与数量等“生物相”能够反应负荷情况、水质情况等水体质量（比如动物性鞭毛虫经常出现在超高负荷下，这种状态下，水质呈现黑色或灰黑色）进而通过水质状况可以依次调整污水处理过程中的工艺参数。

目前大多采用活泥微生物镜检来观察微生物状况来判断水质状况。

但是，目前传统的活泥微生物镜检存在明显的缺陷，大多停留在人工观测的阶段，能够有效采集到的数据有限，比较依赖于检测人员的经验，无法通过数据进行科学合理的量化分析研判，人工识别结果的准确度也难以保证。

发明内容

为了解决上述现有技术存在的问题和不足，本发明的目的是提供一种图像识别方法和装置，可以对含有微生物的水质进行自动检测，并提高微生物的识别精准度。

为了实现上述目的，本发明首先提供一种图像识别方法，包括：

获取待测对象的具备时序关系的多个待识别图像；

调用训练后的识别模型，识别模型包括定位单元、第一分类单元以及第二分类单元；

通过定位单元确定各待识别图像中待识别对象的位置信息；

根据位置信息，通过第一分类单元对待识别对象进行一级识别；

根据一级识别结果、位置信息，通过第二分类单元对待识别对象进行二级识别；

根据各待识别图像中待识别对象的二级识别结果，确定待测对象中待识别对象的识别结果。

可选地，第一分类单元包括特征提取模块、特征融合模块及一级分类模块，通过第一分类单元对待识别对象进行一级识别的步骤具体包括：

通过特征提取模块提取待测图像中待识别对象的外部特征；

通过特征融合模块对待识别对象的外部特征进行特征融合；

根据特征融合结果，通过一级分类模块，对待识别对象进行一级识别，获得一级识别结果。

可选地，第二分类单元包括整体识别模块和局部识别模块，通过第二分类单元对待识别对象进行二级识别的步骤具体包括：

通过整体识别模块，获取待识别对象的整体特征，根据待识别对象的整体特征获得第一预分类结果；

通过局部识别模块，获取待识别对象的局部特征，根据待识别对象的局部特征获得第二预分类结果；

根据第一预分类结果和第二预分类结果，获得待测对象的二级识别结果。

可选地，根据第一预分类结果和第二预分类结果，获得待测对象的二级识别结果的步骤具体包括：

获得第一预分类结果的分数和第二预分类结果的分数；

将第一预分类结果的分数和第二预分类结果的分数进行赋权，并相加，获得最终分数；

根据最终分数，确定待识别对象的二级识别结果。

可选地，图像识别方法还包括对识别模型进行训练，包括：

清洗识别模型的数据集中的数据，保留数据集中的有效数据；

更新数据集的数据，对有效数据进行畸变操作，生成新数据并扩充到数据集；

校正数据集的数据，将经过校正和标注后的数据存储到数据集中。

可选地，获取待测对象的具备时序关系的多个待识别图像的步骤之后包括提升图像质量的步骤，提升图像质量的步骤包括：

调整待识别图像的饱和度，以增强待识别图像的色彩对比度；

调整待识别图像的亮度，以增强待识别图像的亮度对比度。

本发明同时提供一种图像识别装置，包括：

图像获取单元，用于获取待测对象的具备时序关系的多个待识别图像；

识别模型，包括定位单元、第一分类单元以及第二分类单元，定位单元用于确定各待识别图像中待识别对象的位置信息，第一分类单元根据位置信息对待识别对象进行一级识别，第二分类单元用于根据一级识别结果、位置信息，对待识别对象进行二级识别；

数据处理单元，用于根据各待识别图像中待识别对象的二级识别结果，确定待测对象中待识别对象的识别结果。

可选地，第一分类单元包括：

特征提取模块，用于提取待测图像中待识别对象的外部特征；

特征融合模块，用于对待识别对象的外部特征进行特征融合；

一级分类模块，用于根据特征融合结果，对待识别对象进行一级识别，获得一级识别结果。

可选地，第二分类单元包括：

整体识别模块，用于获取待识别对象的整体特征，根据待识别对象的整体特征获得第一预分类结果；

局部识别模块，用于获取待识别对象的局部特征，根据待识别对象的局部特征获得第二预分类结果。

可选地，还包括图像预处理单元，用于调整待识别图像的饱和度，以增强待识别图像的色彩对比度，及调整待识别图像的亮度，以增强待识别图像的亮度对比度。

与现有技术相比，本发明的有益效果包括：通过识别模型的第一分类单元对包括微生物的待识别对象进行粗粒度的一级识别，获得微生物的一级识别结果，通过识别模型的第二分类单元对待识别对象进行细粒度的二级识别，获得微生物的比一级识别结果更精细的二级识别结果。本发明通过识别模型对待检测的微生物图像进行粗粒度和细粒度两个级别的自动识别，不用依赖于检测人员的主观经验，检测识别结果更加精准。

附图说明

为了更清楚地说明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例图像识别方法的步骤流程图；

图2是本发明实施例图像识别装置的模块连接图；

图3是本发明实施例微生物与水质状况的关系对照图；

图4是微生物的形态变化图；

图5是本发明实施例网络模型结构图；

图6是本发明实施例网络预测输出方式示意图；

图7是本发明实施例中目标区域边界框定位和预测的示意图；

图8是本发明实施例二级识别的步骤流程图；

图9是本发明实施例图像预处理的步骤流程图；

图10是本发明实施例图像识别装置的工作流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明，所属领域的技术人员应了解，本文中所描述的一个面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本发明实施例提供一种图像识别方法，可以应用于微生物识别，精准识别微生物的种类和数量，并根据微生物的种类和数量判别水质情况。

如图1和2所示，包括以下步骤：

步骤S1，获取待测对象的具备时序关系的多个待识别图像。

上述步骤中，待测对象可以为待测的微生物样本，具备时序关系的多个待识别图像可以为微生物样本视频中的部分连续帧图像。

步骤S2，调用训练后的识别模型1，识别模型1包括定位单元11、第一分类单元12以及第二分类单元13。

上述步骤中，识别模型1为可以深度学习的图像识别类的神经网络模型。

步骤S3，通过定位单元11确定各待识别图像中待识别对象的位置信息。

上述步骤中，待识别对象为待识别的微生物，定位单元11搜索检测待识别图像中存在待识别微生物的区域，获取待识别微生物在待识别图像中的位置信息。

步骤S4，根据位置信息，通过第一分类单元12对待识别对象进行一级识别。

上述步骤具体地包括：根据位置信息锁定待识别微生物的区域，然后第一分类单元12对待识别对象进行粗粒度的一级识别，获得一级识别结果。一级识别结果为粗粒度识别结果，包括微生物的一级分类，微生物的一级分类包括例如丝状菌、绒毛虫、肉足虫、鞭毛虫等大类。

S5，根据一级识别结果、位置信息，通过第二分类单元13对待识别对象进行二级识别。

上述步骤中，在微生物的大分类中，结合微生物的位置，第二分类单元13对待识别对象进行细粒度的二级识别，获得包括二级识别结果。二级识别结果为细粒度识别结果，包括微生物的二级分类和数量。微生物二级分类是在微生物一级分类基础上进行更精细的分类，例如将丝状菌大类细分为贝氏硫细菌、021N 型菌、浮游球衣菌等小类；绒毛虫大类细分为扭头虫、尾丝虫、累枝虫等等。

S6，根据各待识别图像中待识别对象的二级识别结果，确定待测对象中待识别对象的识别结果。

上述步骤可以具体包括，将待识别图像序列中每一帧微生物图像的微生物二级识别结果进行统计汇总，例如，所有待检测的图像帧中，微生物二级分类结果为扭头虫的最多，则可以确定当前的被检测样本中微生物主要为扭头虫。这样就获得了待测对象中待识别对象的识别结果。

每一种微生物都对应了一种水质状况，具体的对照表如图3所示。例如，当微生物识别结果为扭头虫时，扭头虫所处的水质一般呈黑色或灰黑色，有硫化氢臭味，代表污水处理处于超高负荷的工作状态。因此可以通过检测污水中微生物的状况，更科学合理的判别水质情况。

在基于计算机视觉的目标检测的任务中，微生物的类与类之间的差异相对较小，并且差异往往比较细微，甚至人眼都很难识别，需要相关专家才能进行准确判断。并且如图4所示，微生物在挤压、进食、运动等不同行为下，形态会发生较大改变，这更给目标识别带来了很大的困难。

本实施例的细粒度识别对微生物进行更加细致的分类，细粒度识别除能够对整体特征进行提取以外，能够通过注意力机制关注到更多局部信息，也就是对识别分类能够提供帮助的语义信息，从而提高微生物识别的准确率和鲁棒性。

本实施例的图像识别方法应用于微生物水质检测任务，可以不用依赖于检测人员的主观经验，通过识别模型1对待检测的微生物图像进行粗粒度和细粒度两个级别的识别，识别过程全部自动化，检测结果相较于人工检测更精准。

在本实施例中，第一分类单元12包括特征提取模块121、特征融合模块122及一级分类模块123，通过第一分类单元12对待识别对象进行一级识别的步骤具体包括：

通过特征提取模块121提取待测图像中待识别对象的外部特征；

通过特征融合模块122对待识别对象的外部特征进行特征融合；

根据特征融合结果，通过一级分类模块123，对待识别对象进行一级识别，获得一级识别结果。

本实施例的一种实施方式中，第一分类单元12可以为一种应用于目标检测的神经网络，例如PP-YOLO，PP-YOLO包括YOLO Backbone（骨干）骨干网络、YOLO Neck（颈部）特征融合网络和YOLO Head（头部）检测网络。通过本实施例的识别模型1，微生物的定位更加准确，有效解决局部遮挡、背景复杂等噪声因素。

具体地，特征提取模块121可以为YOLO Backbone骨干网络，具体采用数据集预训练的Resnet50-vd卷积神经网络，并使用可变形卷积层（DCN）代替深度残差网络（ResNet）中的一些卷积层，能够使得卷积核根据微生物检测图像内容发生自适应的变化，从而适应不同微生物的形状、大小等几何形变，为后续对微生物进行进一步的检测和识别打下基础。

利用YOLO Backbone骨干网络层提取特征，基于标准的2D卷积包括以下步骤：

用规则的网格R在输入特征映射x上采样，其中网格R定义了感受野的大小和扩张，简单定义R为一个扩张大小为1的3×3的卷积核：

R={(-1,-1),(-1,0)…,(0,1),(1,1)}。

对于传统卷积操作，输出特征映射y上的每个位置P

其中P

在可变形卷积中，规则网格R通过偏移{ΔP

现在采样是在不规则且有偏移的位置P

本实施例的一种实施方式中，特征融合模块122可以为YOLO Neck特征融合网络。若只通过YOLO Backbone骨干网络对图像特征进行目标检测和分类，存在多尺度变化问题，即仅关注深度神经网络的最后一层特征，而忽略了其他层的特征。如果某些微生物本身较小，具有的像素信息较少，在采样的过程中极易被丢失。所以利用FPN（特征金字塔网络）的形式进行多尺度变化增强，同时利用不同粒度的低级边缘、颜色特征和高级语义特征进行特征融合，从而获得更加准确鲁棒的位置信息。

在图5中，C3、C4、C5三个阶段的特征输入进FPN（feature pyramid networks）特征金字塔网络进行特征融合，将输出特征图定义为P3、P4、P5，对于一张W（宽）×H（高）的输入图像，输出特征图P

其中，W图像的宽度，H为图像的高度，i为图像的序号包括3、4、5。P3、P4、P5为特征融合后的图像。

本实施例的一种实施方式中，一级分类模块123可以为YOLO Head检测网络层。YOLO Head层是待测图像中微生物区域定位边界框和分类的预测部分，由两个卷积层组成，采用3×3卷积层和1×1卷积层得到最终的预测。最终对于每个对象，网络预测输出的通道数为3×(K+5)，其中3为上述特征融合网络产生的三个感兴趣区域框，K为微生物的类别序数。网络预测输出方式如图6所示，对于每个感兴趣区域，前K个参数为该区域为第K类微生物的概率，中间4个参数是对区域边界框定位

网络训练过程中由类别损失函数、边界框损失函数和对象损失函数三个损失函数联合对整个网络进行训练，每种损失函数的计算公式如下：

类别损失由交叉熵损失（Cross Entropy Loss）函数进行计算，用于衡量真实类别的概率分布和网络预测概率分布之前的差异，交叉熵的值越小，模型的分类预测效果越好。交叉熵损失

其中

对象损失(Object Loss)同样由交叉熵损失函数计算，只不过对于对象损失类别为2，交叉熵损失函数退化为下式：

边界框损失由IOU loss函数进行计算，IOU loss函数综合考虑边界框描述的4个变量包括左上角的横坐标和纵坐标，边界框的宽度和高度，通过这四个参数即可确定唯一的边界框。IOU loss函数赋予了这些参数的相关性，同时损失值具有尺度不变性，提升了模型对于小目标微生物的检测性能，边界框损失

其中，

在本实施例的一种实施方式中，第一分类单元12也可以使用transformer网络，transformer也可以应用于计算机视觉的图像分类、图像分割、目标检测任务中来。在第一分类单元12使用transformer的编码器和解码器来实现微生物的目标检测。

本实施例中，第二分类单元13包括整体识别模块131和局部识别模块132，通过第二分类单元13对待识别对象进行二级识别的步骤具体包括：

通过整体识别模块131，获取待识别对象的整体特征，根据待识别对象的整体特征获得第一预分类结果。具体地，如图8所示，整体识别模块131可以进行对象级别的分类识别（Object-level Classifier），局部识别模块132可以进行局部级别的分类识别（Part-level Classifier），整体识别模块131可以通过AlexNet（一种卷积神经网络）过滤网络对产生的目标区域进行挑选，将挑选出来的目标区域训练一个新的分类网络DomainNet用来进行整体级别的分类。第一预分类结果包括微生物的分类，和此分类结果的得分。

通过局部识别模块132，获取待识别对象的局部特征，根据待识别对象的局部特征获得第二预分类结果。具体地，局部识别模块132对DomainNet网络的中间层进行聚类，每一类对微生物的某个具有区分度的局部特征响应程度不同,因此可以训练n个部位分类器part detector，然后使用部位分类器part detector分别对过滤网络挑选出的目标区域进行SVM（支持向量机）分类得到分类结果。第二预分类结果包括微生物的分类，和此分类结果的得分。

本实施例中，根据第一预分类结果和第二预分类结果，获得待测对象的二级识别结果，此步骤具体包括：

获得所述第一预分类结果的分数和所述第二预分类结果的分数；

将所述第一预分类结果的分数和所述第二预分类结果的分数进行赋权，并相加，获得最终分数；

根据所述最终分数，确定所述微生物二级分类结果。

对第一预分类结果的分数和第二预分类结果的分数进行赋权，然后相加，获得最终的分数，当分数达到设定值时，则第二分类单元13识别出的微生物分类为有效结果。具体的计算公式如下：

其中Final_score是最终分数，object_score是整体识别模块131选择目标区域的softmax（归一化指数函数）值的均值，part_score是局部识别模块132通过SVM分类器产生的决策值，∂为权重系数。当∂为1时，最终分数就是object_score与part_score的简单相加。

在步骤S6中，本实施例也可以通过投票法获得最终微生物识别结果，具体的算法如下：

其中

本方法还包括对识别模型1进行训练的方法，包括以下步骤：

清洗识别模型1的数据集中的数据，对存储到数据集中的微生物检测图像的数据进行清洗，去除无效数据，保留有效数据。具体地可以清洗掉例如目标过小、图片模糊等情况的数据，防止其影响神经网络的训练。

更新数据集的数据，对有效数据进行畸变操作，生成新数据扩充并存储到数据集中。具体地，通过对已有数据进行一定程度的畸变，生成新的数据，训练样本的多样性，从而提高模型的鲁棒性。数据增强包括以下两种形式：一是光度畸变，例如调整图像亮度、对比度、色度、饱和度和噪声；二是几何畸变，例如加入随机缩放、剪切、翻转和反旋转等。

校正数据集的数据，将经过人工校正和标注后的微生物检测图像存储到数据集中。具体地，为保证数据集的准确率，校正数据集的数据由微生物领域相关专家进行数据标注，其中第一分类单元12需要标注微生物的外接矩形以及微生物一级分类结果，数据格式为PASCAL VOC数据集格式；第二分类单元13需要标注图片中对应的微生物二级分类结果，并分别存放在对应的类别文件夹中。

校正数据集的具体流程如下：

用户（微生物领域相关专家）在系统中上传微生物镜检的视频、图片，然后通过当前模型对微生物的位置和类别信息进行识别。

用户可以选择用矩形框或多边形框框选图片或视频帧中的微生物，并选择对应的微生物大类和子类别，若系统中没有对应类别，可以添加新类别标签。

用户点击上传数据可以将对应图片以及标注信息存储在数据库中，新增数据到达一定数量后，可以根据数据库中的信息在预先拟定的xml模板文件中写入标注内容，生成对应图片的xml标注文件，用于第一分类单元12的神经网络的训练。

将已标注的微生物对应区域从图像中截取出来，保存到对应子类别文件夹中，用于第二分类单元13的神经网络的训练。

在使用过程中，用户若对某些视频帧检测效果不满意，可以对其位置信息和分类进行人工标注，再根据系统预测结果以及人工修正结果，对每帧图像生成标注文件，并扩充模型训练的数据集。数据新增量达到一定数值时（比如500），系统会使用当前数据集自动对模型进行二次训练和优化，并将原始模型参数替换为最新的模型参数，形成一个学习、检测、再学习的闭环，便于不断沉淀镜检知识、积累工作经验。

在本实施例中，识别模型1的数据集包括：

训练集，用于更新定位单元11、第一分类单元12以及第二分类单元13的神经网络参数；

验证集，用于选择识别模型1需要使用的神经网络的模型；

测试集，用于测试神经网络的泛化能力是否达标。

训练集、验证集、测试集的数据量的比例可以划分为6:2:2。这样可以使数据集中的数据结构处于较优的状态，使识别模型1可以高效的学习和训练。

在本实施例的一种实施方式中，步骤S1之后还包括，对每一个微生物检测图像进行图像质量提升处理的步骤，包括：

调整微生物检测图像的饱和度，以增强微生物检测图像的色彩对比度；

调整微生物检测图像的亮度，以增强微生物检测图像的亮度对比度。

本实施例通过图像预处理单元2进行图像质量提升处理。具体地，图像预处理单元2通过直方图均衡化和Gamma（伽马）变换对输入图像进行饱和度增强和亮度增强，从而突出输入图像中的某些信息，同时削弱和去掉某些不重要的信息，使得图片更加使用户人类的视觉特征和及其的识别算法。

算法的主要思路是使用合适的变换方法对图片亮度和饱和度的增强，输入图片是使用RGB色彩模式进行显示的，由于直接对RGB图像进行增强可能会改变图像的色调，这些改变不但没有意义，反而会影响微生物的颜色信息对后续分类模型的效果。

具体的处理流程如图9所示，首先将图像由RGB色彩空间转换到HSI色彩空间，计算方法如下面的公式所示：

由此将亮度与色度分离开，得到图像的色调H、饱和度S以及亮度I，保持色调H不变，分别通过直方图均衡化和Gamma变换方式对S饱和度和亮度I进行增强，将增强后得图像再由HSI颜色空间转换至RGB空间，计算方法如下面的公式所示：

Gamma变换方法能够对图像整体过亮或整体过暗的情况进行修正，如公式下面公式所示：

其中

以

直方图均衡化方法将原始饱和度矩阵的直方图通过变换函数修正为均匀的直方图，如下面公式所示：

其中r为原始饱和度矩阵数值，

通过上述算法增加了饱和度数值的动态范围，从而达到了增强图像之间色彩的对比度，从而能够减弱图片噪声、背景复杂对后续检测带来的影响。

本实施例的图像识别方法有以下几项优势：

一、对硬件要求不高，只需输入镜检下的图片或视频即可，然后再通过神经网络去识别，不需要镜检设备有较高的放大倍数，也不需要较强计算能力的计算机设备去实现生物种类识别。

二、系统自动化强，易于操作，对检测人员的专业要求不高。本实施例能够自动对输入文件进行目标检测、细粒度识别，最终输出微生物种类以及数量。如果检测结果较差，用户还可以对其进行手工标注和修改，最终对检测数据、检测结果进行留存，用于以后进行查验。

三、检测结果更加准确，采用两步分类的方法，首先进行微生物粗粒度的定位和分类，然后再对某一大类进行更加细微准确的识别，实现更加准确的识别。

本实施例基于视觉计算，融合传统形态学、机器学习、深度学习的方法，可以对镜检生物进行检测、跟踪和分类识别，从而根据微生物的种类和数量。针对微生物存在类间差距较小，运动、捕食时会发生形变等问题，引入了细粒度识别方法，提高了算法的识别率和鲁棒性。建立了用户自主标注、更新数据的机制，形成学习、检测、再学习的闭环，便于不断沉淀镜检知识、积累工作经验。

本发明同时提供一种图像识别装置，如图2所示，包括：

图像获取单元4，用于获取待测对象的具备时序关系的多个待识别图像；

识别模型1，包括定位单元11、第一分类单元12以及第二分类单元13，定位单元11用于确定各待识别图像中待识别对象的位置信息，第一分类单元12根据位置信息对待识别对象进行一级识别，第二分类单元13用于根据一级识别结果、位置信息，对待识别对象进行二级识别；

数据处理单元3，用于根据各待识别图像中待识别对象的二级识别结果，确定待测对象中待识别对象的识别结果。

其中，第一分类单元12包括：

特征提取模块121，用于提取待测图像中待识别对象的外部特征；

特征融合模块122，用于对待识别对象的外部特征进行特征融合；

一级分类模块123，用于根据特征融合结果，对待识别对象进行一级识别，获得一级识别结果。

第二分类单元13包括：

整体识别模块131，用于获取待识别对象的整体特征，根据待识别对象的整体特征获得第一预分类结果；

局部识别模块132，用于获取待识别对象的局部特征，根据待识别对象的局部特征获得第二预分类结果。

本实施例的图像识别装置还可以包括图像预处理单元2，用于调整待识别图像的饱和度，以增强待识别图像的色彩对比度，及调整待识别图像的亮度，以增强待识别图像的亮度对比度。这样提升图像质量，利于识别模型1对带识别图像进行识别。

如图10所示，本发明实施例图像识别装置的工作流程如下，待识别图像以视频帧图像为例：

输入视频帧图像，图像预处理单元2读取视频帧图像，然后进行图像预处理，提升图像质量。

处理后的视频帧图像传输到定位单元11和第一分类单元12，定位单元11和第一分类单元12分别对每一帧图像进行目标区域定位和一级识别，获得检测的视频帧图像的微生物识别区和微生物的一级识别结果，包括定位框和粗粒度分类结果。

第二分类单元13获取定位框和粗粒度分类结果，然后进行二级识别，获得当前视频帧图像内微生物的二级识别结果。

判断视频帧图像是否读取完毕。若否，图像预处理单元2继续读取待检测的视频帧图像。若是，则综合所有帧图像获得微生物的二级识别结果，即细粒度的识别结果。

专家判断二级识别结果是否识别准确。若是，则生成标注文件；若否，则对数据进行人工校正与标注，然后存储到标注文件中。

再将标注文件反馈神经网络模型的数据集中，以供神经网络模型训练与调优。

将采集到的数据输入到数据集中，然后对数据进行校正标注，以及数据预处理。数据预处理包括对数据进行数据清洗、数据更新与增强。从而促进模型训练与调优。

本发明实施例采用上述图像识别方法，定位单元11、第一分类单元12和第二分类单元13可以采用神经网络模型，输入镜检下的图片或视频帧，即可对图片中的微生物进行检测识别和分类，不用依赖于检测人员的经验，检测结果更加精准。

本实施例的微生物水质检测装置可以利用活性污泥中的微生物群落的生存状态，进一步研究水体污染情况，生物群落中生活着各种水生生物，由于它们的群落结构、种类和数量的变化能反应水质污染状况。按照规定的采样、检测、技术方法获得各生物群落的种类和数量以及微生物的运动特征变化后，可依据污水生物系统法和生物指数法评价水污染的状况。微生物水质检测装置可以采用显微镜，对活性污泥中的微生物进行采集，对于得到的视频采用模式识别、机器学习、深度学习等方法进行分析，并且构建来自各个不同监测点、不同时间段的视频数据和特征数据的存储，之后对水资源数据进行分析，并能对水污染以及即将发生的水污染进行告警和预警。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令(计算机程序)来完成，或通过指令(计算机程序)控制相关的硬件来完成，该指令可以存储于计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例的硬件设备的存储介质中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的应用启动方法中任一实施例的步骤。

存储介质和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线电性连接，如可以通过总线连接。存储介质中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储介质中的软件功能模块，处理器通过运行存储在存储介质内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储介质可以是，但不限于，随机存取存储介质(RandomAccessMemory，简称：RAM)，只读存储介质(ReadOnlyMemory，简称：ROM)，可编程只读存储介质(ProgrammableRead-OnlyMemory，简称：PROM)，可擦除只读存储介质(ErasableProgrammableRead-OnlyMemory，简称：EPROM)，电可擦除只读存储介质(ElectricErasableProgrammableRead-OnlyMemory，简称：EEPROM)等。其中，存储介质用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储介质内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。处理器可以是一种集成电路芯片，具有信号的处理能力。述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本实施例中公开的各方法、步骤及逻辑流程框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。