一种粮食霉变粒识别神经网络和识别方法

技术领域

本发明涉及食品科学技术领域。更具体地，涉及一种粮食霉变粒识别神经网络、训练方法、识别方法、计算机设备和计算机可读存储介质。

背景技术

作为三大原粮之一的玉米在收储过程中的质量安全问题备受国民关注，质量评价结果直接关系到玉米入库时定等、定价及分类储存方式。霉变粒是衡量原粮质量的一项重要指标，也是粮食出入库检验流程的重点工作内容之一。玉米霉变所引起的安全问题不仅会给籽粒后期储存及加工带来经济损失，而且霉变后玉米的误食会危害人、畜健康。此外，2018年出台的GB1353-2018《玉米》标准中将霉变粒单独列为检测项，加强了对霉变粒的检出力度。因此，快速有效检出霉变粒数量，提前采取应对措施，是避免受污染的籽粒作为原料进入消费环节的关键手段。

目前玉米收购现场多数采用粮食行业内一致认可的人工感官评价方法对玉米霉变粒、不完善粒进行有效检出(通过人眼完成一份样品的检测需30～40分钟)。但人工质检依赖经验丰富的专业人员，且存在主观性强，再现性差，检测周期长等问题，难以满足现场快速批量检测的需求，严重影响了粮食收储现场质检工作效率。因此，迫切需要开发一种快速、无损、智能且便于现场操作的检测方法，替代人工质检完成霉变粒的鉴别工作。

发明内容

本发明的目的在于提供一种粮食霉变粒识别神经网络和识别方法，以解决现有技术存在的问题中的至少一个。

为达到上述目的，本发明采用下述技术方案：

第一方面，本发明提供一种粮食霉变粒识别神经网络，包括

第一卷积层，用于将光谱图像数据xi(Q×Q×256)进行第一卷积操作，得到第一层网络输出数据，其中所述光谱图像数据为对粮食样品的Q×Q大小感兴趣区域提取区域内像素点光谱图像得到的，其中，Q×Q是图像尺度，256是光谱波段数量；

第二卷积层，用于将所述第一层网络输出数据进行第二卷积操作，得到第二层网络输出数据；

最大池化层，用于将所述第二层网络输出数据进行池化操作，得到第三层网络输出数据xi(Q′×Q′×128)，其中Q′×Q′是池化处理后的图像尺度；

注意力机制模块，用于对所述第三层网络输出数据进行籽粒霉变图谱特征挖掘，得到第四层网络输出数据；

第三卷积层，用于将所述第四层网络输出数据进行第三卷积操作，得到第五层网络输出数据；

第四卷积层，用于将所述第五层网络输出数据进行第四卷积操作，得到第六层网络输出数据；

串联连接的第一全连接层、第二全连接层和第一分类器，其中第一全连接层接收第六层网络输出数据，第一分类器输出识别结果。

在一个具体实施例中，所述注意力机制模块包括

光谱域注意力机制网络，包括

全局均匀池化层，用于对所述第三层网络输出数据进行池化操作，得到全局均匀池化输出数据；

第五卷积层，用于对全局均匀池化输出数据进行第五卷积操作，得到第五卷积输出数据，其中卷积核大小为1×1×128/r，其中r为缩减率；

第六卷积层，用于对第五卷积输出数据进行第六卷积操作，得到第六卷积输出数据，其中卷积核大小为1×1×128；

上采样层，对所述第六卷积输出数据进行上采样操作，得到权重向量Pb(Q′×Q′×128)；

第一乘法加权模块，用于通过缩放操作将向量Pb加权到输入所述第三层网络输出数据xi(Q′×Q′×128)的每个波段上，获取光谱域注意力机制作用下的输出结果

图像域注意力机制网络，包括

串联连接的第七卷积层和第一重置模块，其中第七卷积层用于接收所述第三层网络输出数据，并由第一重置模块输出第一重置输出数据，其中第七卷积层卷积核大小为3×3×128/r；

串联连接的第八卷积层和第二重置模块，其中第八卷积层用于接收所述第三输出数据，并由第二重置模块输出第二重置输出数据，其中第八卷积层卷积核大小为3×3×128/r；

第二乘法加权模块，用于将第一重置输出数据加权到第二重置输出数据，得到第二乘法加权输出数据；

第二分类器，用于将第二乘法加权输出数据进行分类计算，得到第二分类输出数据；

串联连接的第九卷积层和第三重置模块，其中第九卷积层用于接收所述第三输出数据，并由第三重置模块输出第三重置输出数据，其中第九卷积层卷积核大小为1×1×128/r；

第三乘法加权模块，用于将第二分类输出数据加权到第三重置输出数据，得到特征向量pi(Q′×Q′×128)；

串联连接的第四重置模块和第十卷积层，所述第四重置模块用于接收特征向量pi(Q′×Q′×128)，所述第十卷积层输出第十卷积输出数据；

第一加法加权模块，用于将第十卷积输出数据加权到所述第三输出数据xi(Q′×Q′×128)上，获取获得图像域注意力机制作用下的输出结果

第二加法加权模块，用于将所述光谱域注意力机制作用下的输出结果

在一个具体实施例中，所述光谱图像数据为利用400～1000nm波段内可见/近红外高光谱成像系统采集玉米籽粒的光谱图像得到的。

在一个具体实施例中，r为2。

在一个具体实施例中，所述Q×Q为21×21。

第二方面，本发明提供一种针对粮食霉变粒识别神经网络进行训练的方法，包括

S200、准备训练集：对预先通过人工质检结果标记出籽粒霉变区域的样品划分出Q×Q大小感兴趣区域；

S204、提取区域内像素点光谱图像数据xi(Q×Q×256)；

S206、将图像数据xi(Q×Q×256)作为所述网络的输入；

S208、将交叉熵函数作为所述网络的代价函数，采用梯度下降法优化网络参数，根据代价函数和准确率和/或F-Score结果变化趋势获得最优网络参数。

在一个具体实施例中，所述第一分类器的表达式为

N个所述样本光谱图像数据x

在一个具体实施例中，所述网络训练中所使用的代价函数为

其中N代表样本数量，

在一个具体实施例中，所述准确率为

F-Score由精确率P和召回率R计算得出；

其中，TP为真样本被判别为真样本数量；FN为真样本被判别为伪样本数量；TN为伪样本被判别为伪样本数量；FP为伪样本被判别为真样本数量。

在一个具体实施例中，包括

获取待识别样品的感兴趣区域的光谱图像数据；以及

将所述图像数据输入所述网络得到识别结果。

第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面提供的方法。

第四方面，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请第一方面提供的方法。

本发明的有益效果如下：

本发明面向粮食行业，针对玉米收购现场霉变粒人工质检方法主观性强、费时费力，基于传统特征学习方法的快速检测模型表征能力差、批量检测受限的问题，提出了一种粮食霉变粒识别神经网络和识别方法，通过引入注意力机制聚焦霉变籽粒局部图谱特征信息，构建出了适用于霉变粒现场快速批量检测的定性判别模型，提高质检效率且方便粮食行业按质论价，保障农民种粮利益和国家粮食安全，有力的促进我国粮食收购质检事业的发展。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出根据本申请的一个实施例的粮食霉变粒识别神经网络模型架构图。

图2示出根据本申请的一个实施例的粮食霉变粒识别方法流程图。

图3示出根据本申请的一个实施例的光谱域注意力机制模块图。

图4示出根据本申请的一个实施例的图像域注意力机制模块图。

图5示出根据本申请的一个实施例的不同玉米品种粮食霉变粒识别神经模型Acc和Cost分布曲线图，(a)京科968、(b)郑单958、(c)先玉335、(d)吉第816。

图6示出适于用来实现本申请实施例的计算机设备的结构示意图

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

第一实施例

如图1所示本发明提供一种粮食霉变粒卷积识别神经网络，包括

第一卷积层，用于将光谱图像数据xi(Q×Q×256)进行第一卷积操作，得到第一层网络输出数据，其中所述光谱图像数据为对粮食样品的Q×Q大小感兴趣区域提取区域内像素点光谱图像得到的，其中，Q×Q是图像尺度，即像素点相乘，Q×Q为Q

第二卷积层，用于将所述第一输出数据进行第二卷积操作，得到第二层网络输出数据；

最大池化层，用于将所述第二层网络输出数据进行池化操作，得到第三层网络输出数据xi(Q′×Q′×128)，其中Q′×Q′是池化处理后的图像尺度；

注意力机制模块，用于对所述第三层网络输出数据进行籽粒霉变特征挖掘，得到第四层网络输出数据；

第三卷积层，用于将所述第四输出数据进行第三卷积操作，得到第五层网络输出数据；

第四卷积层，用于将所述第五输出数据进行第四卷积操作，得到第六层网络输出数据；

串联连接的第一全连接层、第二全连接层和第一分类器，其中第一全连接层接收第六层网络输出数据，第一分类器输出识别结果。

在一个具体实施例中，4组串联式卷积层(Conv1～Conv4)，所述卷积层全部采用3×3大小的卷积核，通道数分别为64、128、256、512；每个卷积操作后通过Batchnormalization处理避免过拟合并提高网络的泛化能力，进一步采用ReLU函数进行非线性变换。

在一个具体实施例中，采用核极限学习机(KELM)作为第一分类器。所述第一分类器的表达式为

N个所述样本光谱图像数据x

其中s＝(wj,bj,j＝1,2,…,L)，N个所述样本光谱图像数据x

在一个具体实施例中，所述注意力机制模块包括，如图3所示的光谱域注意力机制网络和如图4所示的图像域注意力机制网络。

光谱域注意力机制网络，包括

全局均匀池化层，用于对所述第三层网络输出数据进行池化操作，得到全局均匀池化输出数据；

第五卷积层，用于对全局均匀池化输出数据进行第五卷积操作，得到第五卷积输出数据，其中卷积核大小为1×1×128/r，其中r为缩减率；

第六卷积层，用于对第五卷积输出数据进行第六卷积操作，得到第六卷积输出数据，其中卷积核大小为1×1×128；

上采样层，对所述第六卷积输出数据进行上采样操作，得到权重向量Pb(Q′×Q′×128)；

第一乘法加权模块，用于通过缩放操作将向量Pb加权到输入所述第三层网络输出数据xi(Q′×Q′×128)的每个波段上，获取光谱域注意力机制作用下的输出结果

图像域注意力机制网络，包括

串联连接的第七卷积层和第一重置模块，其中第七卷积层用于接收所述第三层网络输出数据，并由第一重置模块输出第一重置输出数据，其中第七卷积层卷积核大小为3×3×128/r；

串联连接的第八卷积层和第二重置模块，其中第八卷积层用于接收所述第三输出数据，并由第二重置模块输出第二重置输出数据，其中第八卷积层卷积核大小为3×3×128/r；

第二乘法加权模块，用于将第一重置输出数据加权到第二重置输出数据，得到第二乘法加权输出数据；

第二分类器，用于将第二乘法加权输出数据进行分类计算，得到第二分类输出数据；

串联连接的第九卷积层和第三重置模块，其中第九卷积层用于接收所述第三输出数据，并由第三重置模块输出第三重置输出数据，其中第九卷积层卷积核大小为1×1×128/r；

第三乘法加权模块，用于将第二分类输出数据加权到第三重置输出数据，得到特征向量pi(Q′×Q′×128)；响应特征向量pi可表示为：

函数g(.)权重系数通过1×1×128/r卷积进行表征。函数f(.)通过高斯函数实现：

θ和

串联连接的第四重置模块和第十卷积层，所述第四重置模块用于接收特征向量pi(Q′×Q′×128)，所述第十卷积层输出第十卷积输出数据；

第一加法加权模块，用于将第十卷积输出数据加权到所述第三输出数据xi(Q′×Q′×128)上，获取获得图像域注意力机制作用下的输出结果

第二加法加权模块，用于将所述光谱域注意力机制作用下的输出结果

在一个具体实施方式中，r分别取1、2、4、8，根据网络收敛趋势及稳定性结果确定出本实例最佳缩减率r为2。

第二实施例

一种粮食霉变粒识别方法流程图如图2所示。

本发明提供一种对粮食霉变粒识别神经网络进行训练的方法，包括

S200、准备训练集：对预先通过人工质检结果标记出籽粒霉变区域的样品划分出Q×Q大小感兴趣区域；

在一个具体实施例中，收集玉米籽粒样品于实验室在4℃条件下储藏备用，由专业质检人员对玉米籽粒样品是否发生霉变进行人工感官判定(玉米霉变粒检测国家标准)，标记出籽粒霉变区域，为高光谱图像感兴趣区域划分提供依据。

根据人工质检结果归类样品为健康籽粒和霉变籽粒，随机选择一部分样品用于深度神经网络的训练及霉变籽粒识别模型的构建，另一部分样品作为独立样本用于模型的验证。

在一个具体实施例中，玉米品种包括京科968、郑单958、先玉335、吉第816，每个品种挑选800～1000粒作为代表性样品。不同品种玉米籽粒训练集和独立测试集样品数量分布如表1所示：

表1

针对每个品种训练集样本进一步随机选择2/3的样本用于判别模型的构建，剩余1/3的样本用于模型的测试。

利用400～1000nm波段内可见/近红外高光谱成像系统采集玉米籽粒高光谱图像数据。

S204、提取区域内像素点光谱图像数据xi(Q×Q×256)；

S206、将图像数据xi(Q×Q×256)作为所述网络的输入；

在一个具体实施例中，Q分别取9、13、17、21、25，将不同大小区域图像分别输入网络进行训练，根据网络收敛趋势及稳定性结果确定出本实例最佳图像感兴趣区域尺寸为21×21。

S208、将交叉熵函数作为所述网络的代价函数，采用梯度下降法优化网络参数，根据代价函数和准确率和/或F-Score结果变化趋势获得最优网络参数。

在一个具体实施例中，所述网络模型代价函数表示为：

其中N代表样本数量，

Acc的计算公式：

其中，TP为真样本被判别为真样本数量；FN为真样本被判别为伪样本数量；TN为伪样本被判别为伪样本数量；FP为伪样本被判别为真样本数量迭代训练过程中。

在一个具体实施例中，四种玉米样品粮食霉变粒识别神经网络Cost和Acc训练结果如图5所示，京科968、郑单958、先玉335、吉第816，粮食霉变粒识别神经网络网络的迭代次数epoch分别为450、382、402、380；训练集代价函数cost值分别收敛于0.1989、0.2011、0.186、0.1969，判别准确率Acc分别为0.9391、0.9058、0.9466、0.9248；测试集代价函数cost值分别收敛于0.2092、0.2196、0.2019、0.2054，判别准确率Acc分别为0.9153、0.8943、0.9223、0.9156。由此可知，搭建的粮食霉变粒识别神经网络对四种玉米籽粒高光谱数据的整体训练结果较为理想。

F-Score由精确率P和召回率R计算得出，模型性能评价指标计算公式如下：

其中，TP为真样本被判别为真样本数量；FN为真样本被判别为伪样本数量；TN为伪样本被判别为伪样本数量；FP为伪样本被判别为真样本数量。

在一个具体的实施例中，最终得到的结果是：粮食霉变粒识别神经网络模型对于玉米霉变粒的判别结果如下表2所示：针对训练集四种玉米籽粒样本，模型判别准确率(Acc)在93％～96％之间，F-score在95％～97％范围内，测试集中Acc在90％～93％之间，F-score在92％～96％范围内，模型具有可观的判别准确率和稳定性。其中针对先玉335品种玉米霉变粒判别结果最优，训练集和测试集Acc分别为95.69％和94.62％，F-score分别达到96.80％和95.74％。由此表明粮食霉变粒识别神经网络模型对于玉米籽粒是否霉变具有优越的识别能力。

表2

在一个具体实施例中，包括独立样品测试

将独立样品数据输入到建立的粮食霉变粒识别神经网络模型中，获取籽粒是否霉变的判定结果，完成模型性能的测试。

模型独立样品测试结果如表3所示：通过独立样本的测试模型Acc结果在88％～92％之间，F-score在90％～94％范围内，模型的整体判别能力良好。由此可知，本专利建立的粮食霉变粒识别神经网络模型能够用于玉米霉变粒快速无损批量检测。

表3

在一个具体实施例中，包括：

获取待识别样品的感兴趣区域的光谱图像数据；以及将所述图像数据输入所述网络得到识别结果。

本发明提出了一种粮食霉变粒识别神经网络和识别方法，通过引入注意力机制聚焦霉变籽粒局部图谱特征信息，构建出了适用于霉变粒现场快速批量检测的定性判别模型，提高质检效率且方便粮食行业按质论价，保障农民种粮利益和国家粮食安全，有力的促进我国粮食收购质检事业的发展。

第三实施例

图6示出了本申请的另一个实施例提供的一种计算机设备的结构示意图。图6显示的计算机设备50仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图6所示，计算机设备50以通用计算设备的形式表现。计算机设备50的组件可以包括但不限于：一个或者多个处理器或者处理单元500，系统存储器516，连接不同系统组件(包括系统存储器516和处理单元500)的总线501。

总线501表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备50访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器516可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)504和/或高速缓存存储器506。计算机设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统508可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线501相连。存储器516可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行实施例一的功能。

具有一组(至少一个)程序模块512的程序/实用工具510，可以存储在例如存储器516中，这样的程序模块512包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块512通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备50也可以与一个或多个外部设备70(例如键盘、指向设备、显示器60等)通信，还可与一个或者多个使得用户能与该计算机设备50交互的设备通信，和/或与使得该计算机设备50能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口502进行。并且，计算机设备50还可以通过网络适配器514与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器514通过总线501与计算机设备50的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器单元500通过运行存储在系统存储器516中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例一所提供的一种粮食霉变粒识别神经网络的建立方法和识别方法。

本申请针对目前现有的问题，制定一种粮食霉变粒识别神经网络的建立方法和识别方法的计算机设备，通过引入注意力机制聚焦霉变籽粒局部图谱特征信息，构建出了适用于霉变粒现场快速批量检测的定性判别模型，提高质检效率且方便粮食行业按质论价，保障农民种粮利益和国家粮食安全，具有广泛的应用前景。

第四实施例

本申请的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例一所提供的方法。在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。

计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明的描述中，需要说明的是，在本发明的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。