基于计算机视觉的灵芝孢子粉显微图像识别方法及装置

技术领域

本发明涉及中药质量控制技术领域，尤其涉及一种基于计算机视觉的灵芝孢子粉显微图像识别方法及装置。

背景技术

灵芝为我国传统名贵中药，灵芝孢子粉是灵芝在生长成熟期从菌褶中弹射出来的极其微小的孢子，是灵芝的生殖细胞。现代研究表明，灵芝孢子粉含有多糖、三萜、甾醇、脂肪酸、维生素、氨基酸等成分，具有调节免疫、抗肿瘤、抗炎、抗癫痫、神经调节等活性，应用前景广阔。灵芝孢子为淡褐色至黄褐色，呈卵形，大小约3～12μm，内含一油滴。外层是主要由几丁质构成的双层孢壁，质地坚韧，耐酸碱，极难氧化分解，阻碍了多糖、三萜等活性成分在体内的释放和吸收。因此，目前主要通过破壁处理粉碎孢壁，提高活性成分的释放和吸收。未破壁的灵芝孢子粉原料含有瘪壳孢子、破损孢子以及完整孢子：瘪壳孢子在破壁(特别是超音速气流破壁)时由于饱满度低导致破壁率极低；破损孢子是指未破壁加工前就因自身及外界等因素致使孢壁破碎的灵芝孢子，这些孢子因孢壁破碎导致孢内的脂肪酸等成分暴露在空气中，非常容易氧化，导致过氧化值偏高，造成安全隐患。品种、生长环境、采集方式等因素均会对灵芝孢子粉的质量造成影响。因此，识别灵芝孢子粉原料中瘪壳、破损、完整灵芝孢子粉对于保障灵芝孢子粉的质量具有重要意义。

由于灵芝孢子大小仅有微米级别，现有的检测方法主要是通过扫描电镜采集放大倍数下的灵芝孢子粉电子显微图像，再通过人工判别的方式统计瘪壳孢子、破损孢子以及完整孢子(或孢子总数)，计算瘪壳率、破损率以及合格率等参数，来评价灵芝孢子粉原料的质量。这种检测方法耗时耗力，且检测结果具有主观性，亟需开发一种可客观、高效检测灵芝孢子瘪壳、破损以及总数的技术方法。

随着计算机视觉技术的发展，目标检测算法不断创新，在识别的准确度和效率上都远超人工检测，在现代生产中研究和应用广泛。目前，已有若干用于基于显微图像目标检测的孢子识别技术方法可见报导。

在中国专利申请文献CN104651462B中，公开了一种基于显微图像分析的稻瘟病菌孢子检测方法，获取孢子悬浮液中的孢子显微图像；然后利用图像光照校正、中值滤波、边缘检测、形态学运算对孢子显微图像进行处理，并结合形状特征参数，提取出只含孢子的显微图像；最后采用改进分水岭算法对粘连孢子进行分离，进而实现显微图像中孢子的检测和数量统计；利用图像光照校正、中值滤波、边缘检测、形态学运算对孢子显微图像进行处理，具体包括以下步骤：1)图像光照校正：1.1)图像分块：将图像I(i，j)进行M×N分块，其中M＝N＝4；

1.2)估算图像背景的灰度：计算每个图像块的像素灰度均值μ和标准差σ，然后以max(min，μ-3σ)作为该区域的背景灰度；其中min为该区域像素的最小灰度值；1.3)图像光照不均匀校正：从原始图像中减去步骤1.2)计算出的背景灰度图像，以校正光照不均匀；2)中值滤波采用3×3型滤波模板对光照校正后图像进行中值滤波处理；3)边缘检测采用Canny算子进行图像边缘检测，包括：3.1)用高斯滤波器平滑图像；3.2)利用一阶偏导的有限差分来计算梯度的幅值和方向，得到梯度图像；3.3)对梯度幅值进行非极大值抑制；3.4)用双阈值算法检测并且连接边缘；4)形态学运算：根据孢子形态特征，采用8×8的圆盘结构元素对边缘检测后的二值图像进行形态学闭运算，孢子内外环空洞均被填充，形成一个封闭的孢子区域；然后采用8×8的圆盘结构元素进行形态学开运算，去除图像中目标物上比结构元素小的突刺和无用边界，切断细长搭接而起到分离作用；采用改进分水岭算法对粘连孢子进行分离，具体如下：首先利用距离变换将只含孢子的二值图像转化为灰度图像，然后通过高斯滤波对孢子图像边缘进行平滑，使得每个孢子内部形成一个局部极小值，最后应用分水岭算法对粘连孢子进行分离。

在中国专利申请文献CN114299493A中，公开了一种孢子识别方法，包括以下步骤：S1、对孢子进行捕获；S2、将捕获到的孢子通过电子显微镜进行放大，获取孢子的显微图像，并将所述孢子的显微图像进行预处理；S3、对预处理后的孢子显微图像进行分割，以对粘连的孢子进行分离；S4、提取分离后孢子的特征，根据提取的特征与孢子库中标本进行对比，完成对孢子的识别。步骤S2包括以下步骤：S201、将捕获到的孢子通过电子显微镜进行放大，获取孢子的显微图像；S202、对所述孢子的显微图像进行灰度处理；S203、对经灰度处理后的孢子显微图像，利用中值滤波进行平滑处理；S204、利用直方图均衡化对经平滑处理后的孢子显微图像进行图像增强处理，完成对孢子显微图像的预处理。步骤S3包括以下步骤：S301、利用运用形态学算法对经预处理后孢子显微图像进行处理；S302、利用二维阈值化进对去除图像噪声后的孢子显微图像进行初始分割；S303、对经初始分割后的孢子显微图像作距离变换，并利用高斯滤波对孢子显微图像进行平滑处理；S304、利用分水岭算法对经高斯滤波平滑处理后的孢子显微图像进行再次分割，得到孢子的图像轮廓，完成对粘连的孢子分离。

通过不同的技术路径实现了显微图像中孢子的识别和数量的统计。但是上述方法无法满足智能检测待测灵芝孢子粉样品破损、瘪壳情况的需求。

现有技术至少存在以下不足：

1.只能检测孢子数量，但是瘪壳、破损孢子无法进行检测。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别方法及装置，步骤S1、采集灵芝孢子粉电子显微图像；步骤S2、对采集的灵芝孢子粉电子显微图像进行处理和计算，进行各孢子及孢子总数识别；步骤S3、采集不同角度不同环境下的多个灵芝孢子电子显微图像；步骤S4、对采集的所有灵芝孢子电子显微图像进行处理，制作数据集；步骤S5、基于YOLO网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用EIoULoss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型；步骤S6、将步骤S2识别出的各孢子图像输入训练好的孢子瘪壳和破损识别模型，进行孢子瘪壳和破损识别。本发明能够在识别孢子总数的前提下，进一步实现孢子瘪壳及破损的识别，减少人工检测的主观判断的影响，并进行批量处理。

本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别方法，包括如下步骤：

步骤S1、采集灵芝孢子粉电子显微图像；

步骤S2、对采集的灵芝孢子粉电子显微图像进行处理和计算，进行各孢子及孢子总数识别；

步骤S3、采集不同角度不同环境下的多个灵芝孢子电子显微图像；

步骤S4、对采集的所有灵芝孢子电子显微图像进行处理，制作数据集；

步骤S5、基于YOLO网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用EIoULoss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型；

步骤S6、将步骤S2识别出的各孢子图像输入训练好的孢子瘪壳和破损识别模型，进行孢子瘪壳和破损识别。

EIoULoss损失函数包含三个部分：重叠损失L

L

其中C

本发明在建立孢子瘪壳和破损识别模型时，基于YOLO网络模型，并添加小目标检测层，可以让网络更加关注小目标的检测，从而提高检测效果。改进后，虽然计算量和检测速度有所增加，但对小目标的检测精度有明显改善，能够用于识别孢子的瘪壳和破损。

优选地，步骤S1具体为待真空准备好后，加高压，根据设定的样品台参数和观测参数，选择活动光栏和调节工作距离，采集灵芝孢子粉电子显微图像。

优选地，步骤S1包括如下步骤：

步骤S101、选择样品载台，固定好样品；

步骤S102、设定样品台参数和观测参数；

步骤S103、待真空准备好后，加高压；

步骤S104、通过选择活动光栏和调节工作距离对显微图像进行调整；

步骤S105、设置图像采集条件和保存地址，采集并保存灵芝孢子粉电子显微图像。

优选地，步骤S2包括如下步骤：

S201、将灵芝孢子粉电子显微图像转换为单通道图片；

S202、对单通道图片进行直方图均衡化；

S203、对直方图均衡化后的灵芝孢子粉电子显微图像实施二值化处理，将其转换为黑白图片；

S204、对二值化后的孢子图像进行开运算，将粘连的孢子图像分开来；

S205、对开运算后的孢子图像进行闭运算，识别出各个孢子；

S206、根据连通区域的大小识别出孢子总数。

优选地，对单通道图片进行直方图均衡化采用如下单通道值变换函数进行：

其中，

p

k为图像归一化前的单通道值；

s

假设r为输入图像归一化后的单通道值，s为输出图像的单通道值，即r，s∈[0，1]。某随机变量的概率分布函数等于其概率密度函数的积分。若随机变量r的概率密度函数为p

当输出图像的单通道值均匀分布时，由于图像做了归一化，所以其概率密度p

在上述公式两边对s求导数后，在两边对r积分。得到能够让输出直方图均匀化的变换函数；

这个推导过程是建立在连续概率密度函数上的，而本发明的图像的概率密度是离散的。针对离散的情况，直接用求和代替积分。由于图像进行过归一化，故最终输出乘以255，得到单通道值变换函数，只要输入图像的概率密度，就可以得到输出图像的单通道值。

优选地，单通道图片为灰度图片。

优选地，步骤S4中对灵芝孢子电子显微图像集中的图像进行处理具体为：

将灵芝孢子电子显微图像集中的每个图像裁剪填充为预设长宽比；

对裁剪填充后的图像进行放大、错切、透视变换、平移或旋转中的至少一个操作来模拟各种环境下的孢子图像。

优选地，预设长宽比为0.5-2。

优选地，步骤S4中制作数据集具体包括如下步骤：

根据采集的不同角度不同环境下的多个灵芝孢子电子显微图像创建计算机视觉数据集格式的灵芝孢子电子显微图像；

通过标注工具对灵芝孢子电子显微图像中的灵芝孢子瘪壳及破损情况进行标注；

将标注后的灵芝孢子电子显微图像由计算机视觉数据集格式转化为YOLO格式，并按照预设比例将YOLO格式的多个灵芝孢子电子显微图像随机划分为训练集、测试集和验证集。

优选地，计算机视觉数据集格式为VOC2007格式。

优选地，步骤S5中的YOLO模型为YOLOv5模型。

本发明在建立孢子瘪壳和破损识别模型时，基于YOLO网络模型，并添加小目标检测层。以在YOLOv5网络输入640*640为例，其中进行了5次下采样，因此最后的检测特征图大小是20*20，40*40，80*80。其中最大的检测特征图80*80负责检测小目标，用于检测大小在8*8以上的目标。即如果原始图像中的目标宽或高小于8像素，则网络很难学习到其目标的特征信息。加入小目标检测层后，增加了160*160的检测特征图，用于检测4*4以上的目标，可以让网络更加关注小目标的检测，从而提高检测效果。改进后，虽然计算量和检测速度有所增加，但对小目标的检测精度有明显改善，能够用于识别孢子的瘪壳和破损。

优选地，步骤S5中添加的注意力机制包括SE注意力、CBAM注意力、ECA注意力和CA注意力中的任一个。

优选地，添加SE注意力机制。

SE注意力机制主要由挤压和激励构成。给定特征信道为C1的输入x，将一系列卷积变换为特征信道数为C2的特征，然后执行三个操作以重新校准先前获得的特征。

挤压：原始特征图(FeatureMap)的维度为HWC，其中H是高度，W是宽度，C是通道数。挤压就是对输入的特征图进行通道信息的全局平均池化，得到当前特征图的全局压缩特征量，获取挤压所得的1C后，加入一个FC全连接层(FullyConnected)，对每个通道的重要性进行预测，得到不同通道的重要性大小后激励到之前的特征图的对应通道上，再进行后续操作。在输入为x的条件下，c通道相关的输出公式如下：

在上式中z

激励：通过两层完全连通的瓶颈结构获得特征图中每个通道的权重，并将加权后的特征图作为下层的输入。目的是为了完全捕获通道之间的依赖。相关公式如下：

上式中T

优选地，还包括步骤S7，数据整合与输出，具体包括如下步骤：

S701、创建表格文件，读取灵芝孢子粉电子显微图像，并将灵芝孢子粉电子显微图像信息写入文件中；

S702、将步骤S2识别出的孢子总数信息写入文件；

S703、将步骤S6识别出的破损与瘪壳孢子的个数信息写入文件；

S704、计算检测合格率，将输出结果写入文件。

本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别装置，使用上述的任一基于计算机视觉的灵芝孢子粉显微图像识别方法进行灵芝孢子粉显微图像识别，包括灵芝孢子粉图像采集模块、孢子数量识别模块及孢子瘪壳和破损识别模块；

灵芝孢子粉图像采集模块，采集灵芝孢子粉电子显微图像及不同角度不同环境下的多个灵芝孢子电子显微图像；

孢子数量识别模块，对灵芝孢子粉图像采集模块采集的灵芝孢子粉电子显微图像进行处理，并从处理后的图像中识别出各孢子及孢子总数；

孢子瘪壳和破损识别模块，对灵芝孢子粉图像采集模块采集的不同角度不同环境下的多个灵芝孢子电子显微图像进行图像处理，制作数据集，基于YOLO网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用EIoULoss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型，并输入孢子数量识别模块识别出的各孢子图像进行孢子瘪壳和破损识别。

优选地，还包括数据整合与输出模块，创建表格文件，将采集的灵芝孢子粉电子显微图像信息写入文件中，将识别出的孢子总数信息写入文件，将识别出的破损与瘪壳孢子的个数信息写入文件，计算检测合格率，将输出结果写入文件。

与现有技术相对比，本发明的有益效果如下：

(1)本发明通过对YOLO网络模型改进，加入小目标检测层，添加注意力机制，对损失函数进行了优化，提高了对灵芝孢子粉破损、瘪壳检测的准确度。

(2)本发明能准确高效地对灵芝孢子粉显微图像进行检测获取孢子总数、破损孢子个数、瘪壳孢子个数，避免人员主观因素引起的误差，较为客观地获得检测结果。

(3)本发明通过数据的持久化存储操作，将孢子总数计数算法与孢子破损、瘪壳检测算法的检测结果信息系统的整合到一起，使之可以表格形式查看图片信息，可批量显示不同图片中孢子总数、破损孢子个数、瘪壳孢子个与合格率，提升了孢子质量检测环节中的检测效率。

附图说明

图1为本发明的一个实施例的基于计算机视觉的灵芝孢子粉电子显微图像识别方法的流程图；

图2为本发明的一个实施例的孢子总数检测图像处理过程示意图，其中，a为灰度原图，b为直方图均衡化后的图像，c为二值化后的图像，d为开运算后的图像，e为闭运算后的图像，f为孢子总数识别结果；

图3为本发明的一个实施例的直方图均衡化操作示意图，其中，a为原图，b为原图的数据分布示意图，c为直方图均衡化结果图像；d为直方图均衡化结果的分布示意图；e为直方图均衡化结果对应的灰度变换分布图；

图4灵本发明的一个实施例的芝孢子瘪壳、破损识别流程图；

图5为本发明的一个实施例的一个待检测孢子图像；

图6为图5中的灵芝孢子个数统计结果图；

图7为图5中的灵芝孢子破损、瘪壳识别结果图；

图8为本发明的又一个实施例的一个待检测孢子图像；

图9为图8中的的灵芝孢子个数统计结果图；

图10为图8中的灵芝孢子破损、瘪壳识别结果图；

图11为本发明的又一个实施例的基于计算机视觉的灵芝孢子粉显微图像识别方法流程图。

具体实施方式

下面结合附图1-10，对本发明的具体实施方式作详细的说明。

本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别方法，包括如下步骤：

步骤S1、采集灵芝孢子粉电子显微图像；

步骤S2、对采集的灵芝孢子粉电子显微图像进行处理和计算，进行各孢子及孢子总数识别；

步骤S3、采集不同角度不同环境下的多个灵芝孢子电子显微图像；

步骤S4、对采集的所有灵芝孢子电子显微图像进行处理，制作数据集；

步骤S5、基于YOLO网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用EIoULoss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型；

步骤S6、将步骤S2识别出的各孢子图像输入训练好的孢子瘪壳和破损识别模型，进行孢子瘪壳和破损识别。

EIoULoss函数基于CIoULoss函数进行了改进，EIoULoss函数的惩罚项是在CIoULoss函数的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和锚框的长和宽，该损失函数包含三个部分：重叠损失L

L

其中C

根据本发明的一个具体实施方案，步骤S1具体为待真空准备好后，加高压，根据设定的样品台参数和观测参数，选择活动光栏和调节工作距离，采集灵芝孢子粉电子显微图像。

根据本发明的一个具体实施方案，步骤S1包括如下步骤：

步骤S101、选择样品载台，固定好样品；

步骤S102、设定样品台参数和观测参数；

步骤S103、待真空准备好后，加高压；

步骤S104、通过选择活动光栏和调节工作距离对显微图像进行调整；

步骤S105、设置图像采集条件和保存地址，采集并保存灵芝孢子粉电子显微图像。

根据本发明的一个具体实施方案，步骤S2包括如下步骤：

S201、将灵芝孢子粉电子显微图像转换为单通道图片；

S202、对单通道图片进行直方图均衡化；

S203、对直方图均衡化后的灵芝孢子粉电子显微图像实施二值化处理，将其转换为黑白图片；

S204、对二值化后的孢子图像进行开运算，将粘连的孢子图像分开来；

S205、对开运算后的孢子图像进行闭运算，识别出各个孢子；

S206、根据连通区域的大小识别出孢子总数。

根据本发明的一个具体实施方案，对单通道图片进行直方图均衡化采用如下单通道值变换函数进行：

其中，

p

k为图像归一化前的单通道值；

s

假设r为输入图像归一化后的单通道值，s为输出图像的单通道值，即r，s∈[0，1]。某随机变量的概率分布函数等于其概率密度函数的积分。若随机变量r的概率密度函数为p

当输出图像的单通道值均匀分布时，由于图像做了归一化，所以其概率密度p

在上述公式两边对s求导数后，在两边对r积分。得到能够让输出直方图均匀化的变换函数；

这个推导过程是建立在连续概率密度函数上的，而本发明的图像的概率密度是离散的。针对离散的情况，直接用求和代替积分。由于图像进行过归一化，故最终输出乘以255，得到单通道值变换函数，只要输入图像的概率密度，就可以得到输出图像的单通道值。

根据本发明的一个具体实施方案，单通道图片为灰度图片。

根据本发明的一个具体实施方案，步骤S4中对灵芝孢子电子显微图像集中的图像进行处理具体为：

将灵芝孢子电子显微图像集中的每个图像裁剪填充为预设长宽比；

对裁剪填充后的图像进行放大、错切、透视变换、平移或旋转中的至少一个操作来模拟各种环境下的孢子图像。

根据本发明的一个具体实施方案，预设长宽比为0.5-2。

根据本发明的一个具体实施方案，步骤S4中制作数据集具体包括如下步骤：

根据采集的不同角度不同环境下的多个灵芝孢子电子显微图像创建计算机视觉数据集格式的灵芝孢子电子显微图像；

通过标注工具对灵芝孢子电子显微图像中的灵芝孢子瘪壳及破损情况进行标注；

将标注后的灵芝孢子电子显微图像由计算机视觉数据集格式转化为YOLO格式，并按照预设比例将YOLO格式的多个灵芝孢子电子显微图像随机划分为训练集、测试集和验证集。

根据本发明的一个具体实施方案，计算机视觉数据集格式为VOC2007格式。

根据本发明的一个具体实施方案，步骤S5中的YOLO模型为YOLOv5模型。

本发明在建立孢子瘪壳和破损识别模型时，基于YOLO网络模型，并添加小目标检测层。以在YOLOv5网络输入640*640为例，其中进行了5次下采样，因此最后的检测特征图大小是20*20，40*40，80*80。其中最大的检测特征图80*80负责检测小目标，用于检测大小在8*8以上的目标。即如果原始图像中的目标宽或高小于8像素，则网络很难学习到其目标的特征信息。加入小目标检测层后，增加了160*160的检测特征图，用于检测4*4以上的目标，可以让网络更加关注小目标的检测，从而提高检测效果。改进后，虽然计算量和检测速度有所增加，但对小目标的检测精度有明显改善，能够用于识别孢子的瘪壳和破损。

根据本发明的一个具体实施方案，步骤S5中添加的注意力机制包括SE注意力、CBAM注意力、ECA注意力和CA注意力中的任一个。

根据本发明的一个具体实施方案，添加SE注意力机制。

SE注意力机制主要由挤压和激励构成。给定特征信道为C1的输入x，将一系列卷积变换为特征信道数为C2的特征，然后执行三个操作以重新校准先前获得的特征。

挤压：原始特征图(FeatureMap)的维度为HWC，其中H是高度，W是宽度，C是通道数。挤压就是对输入的特征图进行通道信息的全局平均池化，得到当前特征图的全局压缩特征量，获取挤压所得的1C后，加入一个FC全连接层(FullyConnected)，对每个通道的重要性进行预测，得到不同通道的重要性大小后激励到之前的特征图的对应通道上，再进行后续操作。在输入为x的条件下，c通道相关的输出公式如下：

在上式中z

激励：通过两层完全连通的瓶颈结构获得特征图中每个通道的权重，并将加权后的特征图作为下层的输入。目的是为了完全捕获通道之间的依赖。相关公式如下：

上式中T

根据本发明的一个具体实施方案，还包括步骤S7，数据整合与输出，具体包括如下步骤：

S701、创建表格文件，读取灵芝孢子粉电子显微图像，并将灵芝孢子粉电子显微图像信息写入文件中；

S702、将步骤S2识别出的孢子总数信息写入文件；

S703、将步骤S6识别出的破损与瘪壳孢子的个数信息写入文件；

S704、计算检测合格率，将输出结果写入文件。

本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别装置，使用上述的任一基于计算机视觉的灵芝孢子粉显微图像识别方法进行灵芝孢子粉显微图像识别，包括灵芝孢子粉图像采集模块、孢子数量识别模块及孢子瘪壳和破损识别模块；

灵芝孢子粉图像采集模块，采集灵芝孢子粉电子显微图像及不同角度不同环境下的多个灵芝孢子电子显微图像；

孢子数量识别模块，对灵芝孢子粉图像采集模块采集的灵芝孢子粉电子显微图像进行处理，并从处理后的图像中识别出各孢子及孢子总数；

孢子瘪壳和破损识别模块，对灵芝孢子粉图像采集模块采集的不同角度不同环境下的多个灵芝孢子电子显微图像进行图像处理，制作数据集，基于YOLO网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用EIoULoss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型，并输入孢子数量识别模块识别出的各孢子图像进行孢子瘪壳和破损识别。

根据本发明的一个具体实施方案，还包括数据整合与输出模块，创建表格文件，将采集的灵芝孢子粉电子显微图像信息写入文件中，将识别出的孢子总数信息写入文件，将识别出的破损与瘪壳孢子的个数信息写入文件，计算检测合格率，将输出结果写入文件。

实施例1

根据本发明的一个具体实施方案，对本发明的基于计算机视觉的灵芝孢子粉显微图像识别方法进行详细描述。

本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别方法，包括如下步骤：

步骤S1、采集灵芝孢子粉电子显微图像；

步骤S2、对采集的灵芝孢子粉电子显微图像进行处理和计算，进行各孢子及孢子总数识别；

步骤S3、采集不同角度不同环境下的多个灵芝孢子电子显微图像；

步骤S4、对采集的所有灵芝孢子电子显微图像进行处理，制作数据集；

步骤S5、基于YOLO网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用EIoULoss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型；

步骤S6、将步骤S2识别出的各孢子图像输入训练好的孢子瘪壳和破损识别模型，进行孢子瘪壳和破损识别。

实施例2

根据本发明的一个具体实施方案，对本发明的基于计算机视觉的灵芝孢子粉显微图像识别方法进行详细描述。

本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别方法，包括如下步骤：

步骤S1、采集灵芝孢子粉电子显微图像；

步骤S2、对采集的灵芝孢子粉电子显微图像进行处理和计算，进行各孢子及孢子总数识别；

步骤S3、采集不同角度不同环境下的多个灵芝孢子电子显微图像；

步骤S4、对采集的所有灵芝孢子电子显微图像进行处理，制作数据集；

步骤S5、基于YOLO网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用EIoULoss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型；

步骤S6、将步骤S2识别出的各孢子图像输入训练好的孢子瘪壳和破损识别模型，进行孢子瘪壳和破损识别。

其中，步骤S2包括如下步骤：

S201、将灵芝孢子粉电子显微图像转换为单通道图片；

S202、对单通道图片进行直方图均衡化；

S203、对直方图均衡化后的灵芝孢子粉电子显微图像实施二值化处理，将其转换为黑白图片；

S204、对二值化后的孢子图像进行开运算，将粘连的孢子图像分开来；

S205、对开运算后的孢子图像进行闭运算，识别出各个孢子；

S206、根据连通区域的大小识别出孢子总数。

其中，对单通道图片进行直方图均衡化采用如下单通道值变换函数进行：

其中，

p

k为图像归一化前的单通道值；

s

实施例3

根据本发明的一个具体实施方案，对本发明的基于计算机视觉的灵芝孢子粉显微图像识别方法进行详细描述。

本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别方法，包括如下步骤：

步骤S1、采集灵芝孢子粉电子显微图像；

步骤S2、对采集的灵芝孢子粉电子显微图像进行处理和计算，进行各孢子及孢子总数识别；

步骤S3、采集不同角度不同环境下的多个灵芝孢子电子显微图像；

步骤S4、对采集的所有灵芝孢子电子显微图像进行处理，制作数据集；

步骤S5、基于YOLO网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用EIoULoss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型；

步骤S6、将步骤S2识别出的各孢子图像输入训练好的孢子瘪壳和破损识别模型，进行孢子瘪壳和破损识别。

其中，步骤S4中对灵芝孢子电子显微图像集中的图像进行处理具体为：

将灵芝孢子电子显微图像集中的每个图像裁剪填充为预设长宽比；

对裁剪填充后的图像进行放大、错切、透视变换、平移或旋转中的至少一个操作来模拟各种环境下的孢子图像。

其中，步骤S4中制作数据集具体包括如下步骤：

根据采集的不同角度不同环境下的多个灵芝孢子电子显微图像创建计算机视觉数据集格式的灵芝孢子电子显微图像；

通过标注工具对灵芝孢子电子显微图像中的灵芝孢子瘪壳及破损情况进行标注；

将标注后的灵芝孢子电子显微图像由计算机视觉数据集格式转化为YOLO格式，并按照预设比例将YOLO格式的多个灵芝孢子电子显微图像随机划分为训练集、测试集和验证集。

实施例4

根据本发明的一个具体实施方案，对本发明的基于计算机视觉的灵芝孢子粉显微图像识别方法进行详细描述。

本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别方法，包括如下步骤：

步骤S1、采集灵芝孢子粉电子显微图像；

步骤S2、对采集的灵芝孢子粉电子显微图像进行处理和计算，进行各孢子及孢子总数识别；

步骤S3、采集不同角度不同环境下的多个灵芝孢子电子显微图像；

步骤S4、对采集的所有灵芝孢子电子显微图像进行处理，制作数据集；

步骤S5、基于YOLO网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用EIoULoss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型；

步骤S6、将步骤S2识别出的各孢子图像输入训练好的孢子瘪壳和破损识别模型，进行孢子瘪壳和破损识别；

步骤S7，数据整合与输出。

其中，步骤S1具体为待真空准备好后，加高压，根据设定的样品台参数和观测参数，选择活动光栏和调节工作距离，采集灵芝孢子粉电子显微图像。

其中，步骤S1包括如下步骤：

步骤S101、选择样品载台，固定好样品；

步骤S102、设定样品台参数和观测参数；

步骤S103、待真空准备好后，加高压；

步骤S104、通过选择活动光栏和调节工作距离对显微图像进行调整；

步骤S105、设置图像采集条件和保存地址，采集并保存灵芝孢子粉电子显微图像

其中，步骤S2包括如下步骤：

S201、将灵芝孢子粉电子显微图像转换为单通道图片；单通道图片为灰度图片；

S202、对单通道图片进行直方图均衡化；

S203、对直方图均衡化后的灵芝孢子粉电子显微图像实施二值化处理，将其转换为黑白图片；

S204、对二值化后的孢子图像进行开运算，将粘连的孢子图像分开来；

S205、对开运算后的孢子图像进行闭运算，识别出各个孢子；

S206、根据连通区域的大小识别出孢子总数。

其中，对单通道图片进行直方图均衡化采用如下单通道值变换函数进行：

其中，

p

k为图像归一化前的单通道值；

s

其中，步骤S4中对灵芝孢子电子显微图像集中的图像进行处理具体为：

将灵芝孢子电子显微图像集中的每个图像裁剪填充为预设长宽比；预设长宽比为0.5-2；

对裁剪填充后的图像进行放大、错切、透视变换、平移或旋转中的至少一个操作来模拟各种环境下的孢子图像。

其中，步骤S4中制作数据集具体包括如下步骤：

根据采集的不同角度不同环境下的多个灵芝孢子电子显微图像创建计算机视觉数据集格式的灵芝孢子电子显微图像；

通过标注工具对灵芝孢子电子显微图像中的灵芝孢子瘪壳及破损情况进行标注；

将标注后的灵芝孢子电子显微图像由计算机视觉数据集格式转化为YOLO格式，并按照预设比例将YOLO格式的多个灵芝孢子电子显微图像随机划分为训练集、测试集和验证集。

其中，步骤S5中的YOLO模型为YOLOv5模型，步骤S5中添加的注意力机制包括SE注意力、CBAM注意力、ECA注意力和CA注意力中的任一个。

其中，步骤S7具体包括如下步骤：

S701、创建表格文件，读取灵芝孢子粉电子显微图像，并将灵芝孢子粉电子显微图像信息写入文件中；

S702、将步骤S2识别出的孢子总数信息写入文件；

S703、将步骤S6识别出的破损与瘪壳孢子的个数信息写入文件；

S704、计算检测合格率，将输出结果写入文件。

实施例5

根据本发明的一个具体实施方案，对本发明的孢子采集过程进行详细描述。

灵芝孢子粉电子显微图像采集部分，用于采集样品电子显微图像，操作步骤如下：

取直径1.5cm，厚度6mm的样品台，截取碳导电胶带双面胶5*6mm至样品台中央，取样品0.01g至导电胶上，均匀平铺，使用洗耳球吹扫导电胶弃去多余样品；

将带有样品的样品台放入离子溅射仪样品仓内，开机，进行喷金镀膜，离子溅射仪电流为30mA，镀膜时间约15秒。镀膜完成后，取出样品台；

真空室放气结束后，小心拉开舱门，持手柄取出样品台卡座底槽，取出样品台，旋紧样品台及样品台卡座，锁紧螺纹盘，高度不得过32mm，水平推入舱门，舱门关到位后开始抽舱室真空；

设置观测参数为电压15Kv，活动光栏大小选择1或2，通过图像聚焦后调整工作距离操作，不得小于5mm，待真空室准备好后，加高压；

通过选择活动光栏设定电镜放大倍数，一般调整至600倍即可观察到孢子粉，在1200倍可较好的观察到孢子的状态，在9000倍下能完整的观察到孢子粉的特征，然后结合聚焦情况手动调整工作距离，使得成像清晰；

调整好图像后，将采集参数Slow Resolution设定为1280×960，Speed/Integration设定为80s，采集并保存图像。

实施例6

根据本发明的一个具体实施方案，对本发明的孢子总数检测进行详细说明。

灵芝孢子总数检测部分，用于检测电子显微图像中灵芝孢子的个数，具体操作如图2所示，操作步骤如下：

将灵芝孢子图像转换为灰度图片。

将灰度图片执行直方图均衡化操作，将一幅图像的直方图分布变成近似均匀分布，从而增强图像的对比度。直方图均衡化执行函数如下：

其中，

p

k为图像归一化前的单通道值；

s

图3为灵芝孢子直方图均衡化对比图。图中的灰度原图整体偏暗，其灰度绝大多数分布在50～200之间，通过直方图均衡化后灰度均匀分布在0～255内，可以看到灵芝孢子和背景明显的区分开来。

对直方图均衡化后的灵芝孢子图像实施二值化处理，将其转换为黑白图片。

对二值化后的孢子图像进行开运算，消除背景区域的噪声并将粘连的孢子图像分开来。

对开运算后的孢子图像进行闭运算，消除孢子内部的噪声。

根据连通区域的大小计算孢子的个数，并在图像上打印孢子总数的个数信息。

实施例7

根据本发明的一个具体实施方案，对本发明的数据集的制作进行详细说明。

数据集制作部分，操作步骤如下：

采集图像数据：采集灵芝孢子图像。

图像处理：以1280*720修改640*640为例，对图像进行分割，将图像一分为四，得到4个640*480的图像，对其填充白边后即可得到640*640的图像。之后对图像执行放大、错切、对比度调整、平移、旋转等操作来模拟各种环境下的孢子图像。

创建VOC2007格式的数据集文件，在Annotations文件夹中保存标注的结果信息，在JPEGImages文件夹中存放图片文件，在predefined_classes.txt文件中填写类别信息。

数据标注：使用labelimg工具在图片中根据最小外接直立矩形的规则标注破损、瘪壳的灵芝孢子，其中“not_full”为瘪壳孢子的类别标签，“broken”为破损孢子的类别标签；将标注的类别信息与坐标位置信息保存到xml文件中。

数据集的格式转换与划分：将VOC标签格式转YOLO格式即通过代码把xml文件转换为txt文件，由并按照7：2：1随机划分训练集、测试集和验证集。在不同的集下，创建image文件夹用于存放图片，创建label文件夹用于存放txt文件，并创建yaml文件填写相关训练文件的位置信息和需要检测的类别。

实施例8

根据本发明的一个具体实施方案，对本发明的灵芝孢子破损、瘪壳模型训练与检测过程进行详细说明。

灵芝孢子破损、瘪壳模型训练与检测，用于检测电子显微图像中灵芝孢子破损、瘪壳的情况，以修改YOLOv5网络为例，具体操作流程如图4所示，操作步骤如下：

构建灵芝孢子破损、瘪壳检测模型：修改yaml配置文件添加小目标检测层，增加160*160的检测特征图，用于检测4*4以上的目标，在主干网络中添加SE模块，修改yolo文件，添加和运用SE模块，修改损失函数。

表1灵芝孢子粉电子显微图像识别模型性能

模型的训练：在训练之前对学习率、训练迭代次数等参数进行设置，启用数据增强，通过概率函数设置图像进行随机翻转、剪切、旋转、开启马赛克增强。执行训练代码，加载配置文件，完成训练后，得到模型训练的结果，其信息如表1所示。表中mAP表示精准率和召回率用作两轴绘图后形成的封闭区域面积，mAP@.5表示阈值大于0.5的平均mAP。可以看到改进后检测的精度有所提高。

灵芝孢子破损、瘪壳检测：执行检测代码，加载S2中所得较优的检测模型，将待检测孢子图像输入到改进的YOLOv5检测模型中进行识别打印预测框，并在图像上打印破损孢子与瘪壳孢子的个数信息。

实施例9

根据本发明的一个具体实施方案，对本发明的孢子信息统计过程进行详细说明。

以检测图片Image1、Image2为例，其中Image1如图5所示，Image2如图8所示。

通过python编程创建csv文件，为其添加表头，读取图片Image1、Image2，并打印图片信息。

调用孢子总数检测算法中孢子总数信息，并追加至csv文件中，图6为Image1的灵芝孢子个数统计结果图，图9为Image2的灵芝孢子个数统计结果图。

调用孢子破损、瘪壳识别中孢子破损、瘪壳个数信息，并追加至csv文件中，图7为Image1的灵芝孢子破损、瘪壳识别结果图，图10为Image2的灵芝孢子破损、瘪壳识别结果图。

运行合格率检测计算公式，计算灵芝孢子破损率、瘪壳率、合格率，并追加至csv文件中。表2为输出的csv文件信息。

表2灵芝孢子粉电子显微图像识别结果示例

实施例10

根据本发明的一个具体实施方案，对本发明的基于计算机视觉的灵芝孢子粉显微图像识别装置进行详细描述。

本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别装置，使用上述的任一基于计算机视觉的灵芝孢子粉显微图像识别方法进行灵芝孢子粉显微图像识别，包括灵芝孢子粉图像采集模块、孢子数量识别模块及孢子瘪壳和破损识别模块；

灵芝孢子粉图像采集模块，采集灵芝孢子粉电子显微图像及不同角度不同环境下的多个灵芝孢子电子显微图像；

孢子数量识别模块，对灵芝孢子粉图像采集模块采集的灵芝孢子粉电子显微图像进行处理，并从处理后的图像中识别出各孢子及孢子总数；

孢子瘪壳和破损识别模块，对灵芝孢子粉图像采集模块采集的不同角度不同环境下的多个灵芝孢子电子显微图像进行图像处理，制作数据集，基于YOLO网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用EIoULoss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型，并输入孢子数量识别模块识别出的各孢子图像进行孢子瘪壳和破损识别。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。