基于深度学习的霉变小麦THz图像检测方法、可读存储介质和电子设备

技术领域

本发明涉及图像处理技术领域，具体地，涉及一种基于深度学习的霉变小麦THz图像检测方法、可读存储介质和电子设备。

背景技术

太赫兹(THz)辐射又称THz波，频率范围在0.1～10THz之间，其波段介于微波和红外之间，位于宏观电子学与微观光子学的过渡区域。由于许多分子之间或分子内部的旋转与振动跃迁、核酸大分子的骨架振动以及晶体中晶格的低频振动吸收频率均在THz波段范围内，所以THz技术很适合用于生物大分子物质的检测。THz波具有无损穿透、低光子能量、指纹谱、高带宽等技术特性，目前已在农产品安全检测、生物医学等众多领域广泛应用。

小麦是我国种植面积最大、范围最广的粮食作物，收获后的小麦在储藏过程中，在储藏温度、水分等综合作用下易发生结露、霉变等，从而对人类和家禽构成健康威胁。目前常见的小麦品质检测方法是通过肉眼从小麦籽粒的外形、色泽、等外部品质进行识别，主观性较强，且无法对仅内部物质变化的小麦进行筛查。而小麦籽粒中不同的物质对THz波的吸收程度不同，因此在图像上展现出不同的颜色。

THz成像技术已在农产品内部品质检测方面有所应用，但是由于在THz图像采集过程中光源功率的轻微波动等因素的干扰，会出现图像分辨率较低、存在噪声等问题，造成图像关键信息及边缘细节的丢失，影响后续的质量检测工作，因此THz图像的去噪是质量检测之前不可缺少的一步。

发明内容

本发明的目的是：一种基于深度学习的霉变小麦THz图像检测方法、可读存储介质和电子设备，解决现有的THz成像技术对于霉变小麦质量检测精度不高的问题。

基于深度学习的霉变小麦THz图像检测方法，包括以下步骤：

S1、霉变小麦样品的培养以及样品待去噪图像的获取：

将正常小麦种子放入温度为35℃，相对湿度为95％的恒温恒湿箱中进行培养，分别于第三、六、九天取出不同霉菌生长阶段的小麦，得到正常、轻度霉变、中度霉变、重度霉变四种霉变程度的实验样品；然后采用THz三维层析成像系统，通过反射成像方式采集实验样品的THz图像，得到正常、轻度霉变、中度霉变、重度霉变小麦4类THz图像；获取的原始图像数据以三维形式存储，同时包含空间信息和光谱信息；

S2、对实验样品的THz图像进行去噪处理：

选择RRDB作为去噪网络的基线模型，将5个RRDB模块进行级联拼接，将步骤S1中获取的4类THz图像预设一定的数量进行类型标注，作为训练集输入模型，获取其全局特征；

构建双重注意力机制融合模块，在此模块中通道注意力机制与空间注意力机制并联拼接，并将此模块与基线模型并联，从而提高模型对权重更高的特征的关注度，提升去噪性能；

S3、对经过去噪处理的THz图像进行分类识别：

选择VGG16作为分类验证模型来验证去噪网络对于提升THz图像质量的有效性；以预设数量的带有类型标注的霉变小麦样品去噪后的图像中作为分类训练样本集，对VGG16图像分类网络进行训练，输出对应的分类识别结果；

若响应于分类结果的准确率低于预设的阈值，则对所用的VGG16网络进行参数调整，并对调整后的网络模型继续进行训练；

重复上述过程，直到输出的分类结果准确率高于所述阈值，即完成对VGG16分类网络的训练，生成霉变小麦THz图像分类模型。

所述步骤S1中，获取样品待去噪图像的具体步骤为：

101：将样品均匀放置于二维扫描平台上，对其进行反射成像；系统最大扫描范围是100mm×100mm，空间分辨率为0.1mm；每个像素点在90ps的扫描时间范围内获取9000个时域点的THz波形，将时域波形信号以三维形式存储；

102：将获得的时域波形信号通过傅里叶变换得到信号中的幅值和相位等信息，从而将时域信号转换为频域信号；定义为时域光谱信号，具体变换过程为：

103：对得到的三维频域信号进行切片操作，得到二维图像：三维图像数据的Z轴表示每个像素点的频域光谱的深度，通过对Z轴进行切片操作，得到二维的频域光谱图像。

所述步骤S2中，RRDB模块由数个密集块依照残差连接结构共同组成，每个密集块由三个卷积层与LReLU激活函数的拼接组件和一个卷积层级联而成；RRDB模块中的密集块让每一层卷积层的特征信息得到充分利用，从而提高残差网络的学习能力。

所述步骤S2中，此外，构建双重注意力机制模块，并将其与本方法中的基线模型进行并联拼接；

首先，将图像信息输入到一个卷积层中进行特征提取和下采样操作，同时也输入到通道注意力与空间注意力的并联模块中，再将两部分的输出特征图分别同时经过一个卷积层和Sigmoid激活函数处理，得到处理后的特征图和，并将特征图相加得到融合特征图；

再分别经过局部注意力和全局注意力机制的处理，从而提升对局部特征和全局特征的感知；

再将两个分支得到的特征图经过求和得到最终的特征图，并通过Sigmoid函数将其映射到[0，1]的范围，从而得到最终的输出结果。

在基线模型中，每个RRDB模块通过多级残差网络和密集连接,每个密集块的输出进行残差操作时都要乘以加权系数，其值默认为0.2。

所述步骤S3中，VGG16分类网络模型由13个卷积层和3个全连接层堆叠而成，整体可以划分为8块，前5块为卷积层，后3块为全连接层；前5块都由2-3个卷积层的堆叠和一个最大池化层组成，并且在同一块内，卷积层的通道数是相同的；

其中，卷积层由3×3的卷积核和ReLU激活函数构成，从而加强特征学习能力；最大池化层将图片尺寸缩小一半，从而起到降维作用；

该网络的卷积核数量随着网络的加深，从64增加到128、256、512,因此模型宽度增加,从而使网络各层学习到更为丰富的颜色、纹理细节特征。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时，使所述计算机可读存储介质所在设备执行所述的基于深度学习的霉变小麦THz图像检测方法。

一种电子设备，存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上所述的基于深度学习的霉变小麦THz图像检测方法。

本发明方法以霉变小麦为研究对象，针对原始THz图像特征不突出，分辨率低等问题，采用RRDB模块对图像进行降噪预处理，利用其密集连接机制最大限度地获取每一层卷积信息，使得输出的特征图能够包含原图像更多的特征信息。

进一步的，本方法中自主构建了一种双重注意力机制融合模块，通过调整权重在不同特征上的分配，使得主干网络去噪性能得到提升。发明通过将THz成像技术与深度学习算法相结合，将深度学习算法引入到THz成像领域对原始图像信息进行去噪处理，突出图像细节特征，使得在霉变小麦后续筛查中精度更高

附图说明

图1示出了本发明的流程图；

图2示出了本公发明中以RRDB为基线模型的图像去噪网络示意图；

图3示出了本本发明所述VGG16分类网络的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优势更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案作进一步解释说明。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，基于深度学习的霉变小麦THz图像检测方法，包括以下步骤：

S1、霉变小麦样品的培养以及样品待去噪图像的获取：

将正常小麦种子放入温度为35℃，相对湿度为95％的恒温恒湿箱中进行培养，分别于第三、六、九天取出不同霉菌生长阶段的小麦，得到正常、轻度霉变、中度霉变、重度霉变四种霉变程度的实验样品；然后采用THz三维层析成像系统，通过反射成像方式采集实验样品的THz图像，得到4类THz图像；获取的原始图像数据以三维形式存储，同时包含空间信息和光谱信息；

所述步骤S1中，获取样品待去噪图像的具体步骤为：

101：将样品均匀放置于二维扫描平台上，对其进行反射成像；系统最大扫描范围是100mm×100mm，空间分辨率为0.1mm；每个像素点在90ps的扫描时间范围内获取9000个时域点的THz波形，将时域波形信号以三维形式存储；进而用于获取霉变小麦原始图像数据集，

102：将获得的时域波形信号通过傅里叶变换得到信号中的幅值和相位等信息，从而将时域信号转换为频域信号；定义x(t)为时域光谱信号，具体变换过程为：

103：对得到的三维频域信号进行切片操作，得到二维图像：三维图像数据的Z轴表示每个像素点的频域光谱的深度，通过对Z轴进行切片操作，得到二维的频域光谱图像。

S2、对实验样品的THz图像进行去噪处理：采用深度学习的预处理算法，

选择RRDB作为去噪网络的基线模型，将5个RRDB模块进行级联拼接，将步骤S1中获取的4类THz图像预设一定的数量进行类型标注，作为训练集输入模型，获取其全局特征；

构建双重注意力机制融合模块，在此模块中通道注意力机制与空间注意力机制并联拼接，并将此模块与基线模型并联，从而提高模型对权重更高的特征的关注度，提升去噪性能；

所述步骤S2中，RRDB模块由数个密集块依照残差连接结构共同组成，每个密集块由三个卷积层与LReLU激活函数的拼接组件和一个卷积层级联而成；RRDB模块中的密集块让每一层卷积层的特征信息得到充分利用，从而提高残差网络的学习能力。

构建双重注意力机制模块，并将其与本方法中的基线模型进行并联拼接。

首先，将图像信息输入到一个卷积层中进行特征提取和下采样操作，同时也输入到通道注意力与空间注意力的并联模块中，再将两部分的输出特征图分别同时经过一个卷积层和Sigmoid激活函数处理，得到处理后的特征图s1和s2，并将特征图相加得到融合特征图X

X

再将两个分支得到的特征图经过求和得到最终的特征图，并通过Sigmoid函数将其映射到[0，1]的范围，从而输出最终的结果。

在基线模型中，每个RRDB模块通过多级残差网络和密集连接,每个密集块的输出进行残差操作时都要乘以加权系数β，其值默认为0.2。

S3、对经过去噪处理的THz图像进行分类识别：

选择VGG16作为分类验证模型来验证去噪网络对于提升THz图像质量的有效性；以预设数量的带有类型标注的霉变小麦样品去噪后的图像中作为分类训练样本集，对VGG16图像分类网络进行训练，输出对应的分类识别结果；

若响应于分类结果的准确率低于预设的阈值，则对所用的VGG16网络进行参数调整，并对调整后的网络模型继续进行训练；

重复上述过程，直到输出的分类结果准确率高于所述阈值，即完成对VGG16分类网络的训练，生成霉变小麦THz图像分类模型。

所述步骤S3中，VGG16分类网络模型由13个卷积层和3个全连接层堆叠而成，整体可以划分为8块，前5块为卷积层，后3块为全连接层。前5块都由2-3个卷积层的堆叠和一个最大池化层组成，并且在同一块内，卷积层的通道数是相同的；

其中，卷积层由3×3的卷积核和ReLU激活函数构成，从而加强特征学习能力；最大池化层将图片尺寸缩小一半，从而起到降维作用；

该网络的卷积核数量随着网络的加深，从64增加到128、256、512,因此模型宽度增加,从而使网络各层学习到更为丰富的颜色、纹理细节特征。

本发明方法以霉变小麦为研究对象，针对原始THz图像特征不突出，分辨率低等问题，采用RRDB模块对图像进行降噪预处理，利用其密集连接机制最大限度地获取每一层卷积信息，使得输出的特征图能够包含原图像更多的特征信息。进一步的，通过调整权重在不同特征上的分配，使得主干网络去噪性能得到提升。发明通过将THz成像技术与深度学习算法相结合，将深度学习算法引入到THz成像领域对原始图像信息进行去噪处理，突出图像细节特征，使得在霉变小麦后续筛查中精度更高。

一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，使所述计算机可读存储介质所在设备执行上述的基于深度学习的霉变小麦THz图像检测方法。

一种电子设备，包括：存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上所述的基于深度学习的霉变小麦THz图像检测方法。

本公开实施例的霉变小麦THz图像检测方法，用于代替人工对霉变小麦进行筛查与分类。具体使用时，图2示出了本公开实施例二中的去噪网络示意图。如图所示，基干网络201采用5个RRDB模块的级联组成的密集残差网络作为基线模型，利用其密集连接机制最大限度地获取每一层卷积信息，完善图像的细节信息，使得输出的特征图能够包含原图像更多的特征信息。

在基线模型中，每个RRDB模块通过多级残差网络和密集连接,每个密集块的输出进行残差操作时都要乘以加权系数β，其值默认为0.2。RRDB用优化的残差映射代替原始的卷积层,相邻的卷积层之间通过短连接，以提高残差网络的学习能力。

本发明对于构建的DAB模块，输入特征首先经过卷积层进行特征提取和下采样，以获得图像的特征表示，有助于捕捉图像的特征信息，同时经过SA和CA操作，得到处理后的特征图s1和s2，并将特征图相加得到融合的特征图X

样品图像经过预处理之后输入VGG16网络中进行分类识别操作。VGG16网络的结构如图3所示，整体可以划分为8块，前5块为卷积层，后3块为全连接层，整个网络的深度为16层。卷积核数量由64增加到128、256、512。经过逐层卷积操作，网络不断学习到各层特征，从而在模型训练过程中非线性表达能力增强，能拟合更为复杂的输入特征。

如果有实验数据，可以给补充出来数据图标结合说明方法的优点。以上描述仅用于说明本发明的技术方案非限制，应当理解所附权利要求书中所限定的主题未必局限于上面所描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。本领域技术人员对本发明技术方案所作的修改或同等替换，只要不脱离本发明的范围，均应涵盖在本发明的权利要求范围当中。