基于高光谱成像与深度学习的粮种品种分类方法

技术领域

本发明属于粮种品种分类领域，特别是涉及一种基于高光谱成像与深度学习的粮种品种分类方法。

背景技术

种子品种分类或鉴定起源于19世纪中叶。随后，出现了一系列常规的水稻种子品种分类方法，主要包括形态鉴定方法、生理生化鉴定方法、分子生物学鉴定方法等，这些方法各有优势，在实际应用中有很大差异。随着杂交技术的发展，不同农作物品种间出现了越来越多的混合特性，这给传统种子品种鉴别方法带来了巨大挑战。

与上述传统方法相比，新兴的机器学习方法能够快速、可靠地从大量数据中学习，具有无损、低成本的优点。虽然大多数机器学习方法都具有良好的性能，但它们在很大程度上依赖于人工生成的为特定任务设计的特征，从而限制了这些方法在复杂/困难情况下的适用性。此外，这类特征的功能可能不足以区分不同品种之间的细微变化或同一品种之间的巨大变化。因此，自动提取更具鉴别能力的特征被视为高光谱图像分类的关键。与人工生成的方法相比，深度学习方法能够有效地从高光谱图像中自动提取判别特征。目前，基于深度网络的高光谱图像分类方法一般可分为三类，包括光谱特征网络、空间特征网络和光谱空间特征网络。总体而言，综合考虑空间和光谱信息的模型具有更好的分类性能。最近，很多人尝试将注意力应用到深层神经网络上，极大地提高了它们的性能。因此，在深度学习模型中引入注意力机制具有重要意义。

由于高光谱数据的采集既昂贵又耗时，最终获取的图像数量不足以支持网络训练。数据扩充被视为解决这一问题的可行方法，通常都采用从现有样本中生成新样本的方式来解决。

针对以上问题，本发明提出一种基于高光谱成像与深度学习技术进行粮种品种分类的方法以解决现有技术中存在的问题。

发明内容

本发明的目的是提供一种基于高光谱成像与深度学习的粮种品种分类方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于高光谱成像与深度学习的粮种品种分类方法，包括以下步骤：

获取粮种的多通道高光谱图像，对所述多通道高光谱图像预处理得到预处理高光谱图像数据集，基于所述预处理高光谱图像数据集获得第一特征图；其中，所述预处理高光谱图像数据集包括若干拼接图像；

构建粮种品种分类网络模型，其中，粮种品种分类网络模型包括粮种品种分类模块；基于所述粮种品种分类模块指导训练所述粮种品种分类网络模型，得到训练后的粮种品种分类模型；

将所述拼接图像输入所述训练后的粮种品种分类模型，得到粮种品种分类结果。

可选的，对所述多通道高光谱图像预处理前，

基于白色聚四氟乙烯材质板和多元散射校正算法对多通道高光谱进行光谱校准和光谱数据基线修正。

可选的，对所述多通道高光谱图像进行预处理的过程包括：

将所述多通道高光谱图像进行分解，得到若干单通道高光谱图像，基于若干所述单通道高光谱图像，舍弃不清晰光谱波段对应的图像，得到预处理高光谱图像；

将所述预处理高光谱图像按种类标签分为若干图像子集，其中，各图像子集中包括若干单通道高光谱图像；

将各图像子集中若干所述单通道高光谱图像切割、拼接，得到若干拼接图像，其中，所述拼接图像的子图像来自同一波段。

可选的，将所述第一特征图输入所述粮种品种分类模块得到加权特征图的过程包括：

基于多种边缘检测算子提取所述第一特征图的纹理信息，得到各边缘检测算子对应的梯度图；

基于若干所述梯度图得到第二特征图；

基于所述第二特征图得到权重图；

基于所述第一特征图和所述权重图得到加权特征图。

可选的，所述粮种品种分类模块采用金字塔结构的混合梯度域注意力模块；

其中，所述金字塔结构的混合梯度域注意力模块包括金字塔模块。

可选的，基于多种边缘检测算子提取所述第一特征图的纹理信息，得到各边缘检测算子对应的梯度图，将若干所述梯度图级联后输入到卷积层进行特征提取和通道恢复，得到所述第二特征图；

其中，多种所述边缘检测算子包括Sobel、Scharr、Laplace、Roberts和Prewitt。

可选的，基于所述金字塔模块对所述第二特征图编码，得到权重图；其中，所述金字塔模块包括：七个卷积层、三个最大池化层和三个反卷积层；所述卷积层的卷积核数等于所述第二特征图的通道数，核的大小为3×3；所述最大池化层的内核大小设置为2×2，填充设置为1；所述反卷积层中的核大小设置为2×2，步长设置为2。

所述金字塔模块的一个重要特征是，该模块通过对五种经典图像算子提取的梯度图进行编码，重新分配特征图的适当权重，以有效地提取细节特征，同时减少噪声和干扰信息。

本发明的技术效果为：

本发明采用将外部先验知识引入到注意力机制的设计，使其朝着有益的方向极大地影响了模型学习的过程。本发明能够为网络学习过程中的特征图重新分配学习权重，使网络在训练的过程中更关注粮种的边缘与纹理信息。

本发明基于高光谱成像和深度学习技术，实现了一种简单、高效、无损和自动化的粮种品种鉴别方法，以丰富当前粮种品种鉴别技术体系，有助于进一步加强种子市场的监管力度，保障育种企业和稻农的合法权益。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的方法流程图；

图2为本发明实施例中的步骤二数据增强策略的示意图；

图3为本发明实施例中的步骤四混合梯度域注意力模块的网络结构图；

图4为本发明实施例中的验证实验流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1-3所示，本实施例中提供一种基于高光谱成像与深度学习的粮种品种分类方法，具体提供了一种包括基于高光谱成像与深度学习技术的水稻种子品种分类的方法，包括以下步骤：

步骤一、获取水稻种子的高光谱图像数据集，并进行数据预处理，将多通道的高光谱图像转换为一系列单通道图像，并根据先验知识舍弃部分不清晰的图像。

步骤二、如图2所示，根据数据增强策略，将每个具有200粒种子的高光谱图像随机分割成260*260的图像块，然后每四个图像块随机拼接成一幅图像。该方法极大地缓解了由于高光谱成像特性导致的训练集不足的问题。

步骤三、引入边缘检测算子。从网络的某一层接收一个大小为B×C×H×W的特征图作为输入，使用Sobel、Scharr、Laplace、Roberts与Prewitt边缘检测算子，检测并保留边缘，提取纹理信息。

(1)Sobel算子。它主要作为离散微分算子用于边缘检测。大小和方向的近似计算规则如下：

其中Gx和Gy分别表示具有水平和垂直边缘检测的图像。Sobel算子更适用于灰度梯度较大、噪声较大的图像。

(2)Scharr算子。通过增加像素值之间的间距，有效地提取出弱边缘信息，这是增强Sobel算子差异的一种实现。Scharr算子和Sobel算子的唯一区别在于它们的卷积核不同。

(3)Laplace算子。该算子是各向同性的，可以锐化任何方向的边界和线。它通常用于确定边缘像素是否位于图像的亮区或暗区。它是一种二阶导数算子，在边缘产生陡峭的零交叉，定义如下：

其中f表示数字图像，x表示水平方向，y表示垂直方向。

(4)Roberts算子。其目的是使用局部差分算子检测边缘，其定义如下：

该算子对垂直边缘的检测效果优于斜边缘。

(5)Prewitt算子。该算子使用两个方向模板对图像空间中的图像进行邻域卷积。一个方向模板用于检测水平边缘，另一个用于检测垂直边缘。

形式定义如下：

其中d指一阶导数运算。

步骤四、提出一种金字塔结构的混合域梯度注意力模块。连接步骤三中得到的5个通道数均为C的梯度图G

该注意力模块的一个重要特征是，该模块通过对五种经典图像算子提取的梯度图进行编码，重新分配特征图的适当权重，以有效地提取细节特征，同时减少噪声和干扰信息。由于输入和加权特征图大小相同，并且使用了点乘运算，因此该模块可以看作是基于混合梯度域设计的注意力模块，并且可以以低成本的方式与多个网络相结合，以获得更好的分类性能。

步骤五、输入特征图经过边缘检测算子以及混合梯度域注意力模块提取边缘及纹理特征后，其输出的权重图与输入图像相乘后的结果，继续由骨干网络进行训练，得到最终的分类结果。

实施例二

本实施例提供了一种基于高光谱成像与深度学习技术进行水稻品种分类方法的验证试验，如图4所示，包括：

步骤一、数据集的选取。选择的水稻种子有六大类。每类水稻种子包含50幅高光谱图像，其中35幅图像随机选取进行训练，其余15幅图像用于测试。我们分别在训练集和测试集上采用本发明提出的数据增强方法，最终得到每类水稻种子大小为520×520的7000幅训练图像和3000幅测试图像。

步骤二、实验的设置。在Windows 10机器的Pytorch 1.8.0框架中实现，并在配备第11代Intel(R)Core(TM)i7-11700K@3.60GHz CPU、NVIDIA Geforce RTX 3060Ti(12GB)GPU和32GB RAM的平台上进行训练和测试。CUDA和CUDNN也用于加速。此外，使用SGD优化器，原始学习率为0.04，并使用基本交叉熵作为损失函数。

步骤三、评价指标。

每种水稻种子的分类精度；总体分类精度；Kappa系数；Macro-F1。

步骤四、分类结果的评估。基于所提出的数据增强方法生成的水稻种子扩增高光谱图像集，采用了七种经典网络结构来定量评估所提出的混合梯度域注意力模块与边缘检测算子对水稻种子分类的有效性。根据七种网络结构在加入和不加入该注意力模块及边缘检测算子的情况下的分类结果，包括每类水稻种子的分类精度(AA)、总体分类精度(OA)、Macro-F1和Kappa系数(κ)，发现在引入边缘检测算子与加入混合梯度域注意力模块后，对于本文获得的水稻种子高光谱图像集，每个基线模型在总体精度、Macro-F1和Kappa系数方面都有显著提高。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。