一种基于图像分析的烟叶成熟度状态识别方法及装置

技术领域

本发明涉及烟叶烘烤技术领域，更具体地，涉及一种基于图像分析的烟叶成熟度状 态识别方法及装置。

背景技术

图像分析技术是人工智能的一个重要领域。简单来说，图像分析就是利用计算机对 图像进行分析处理，以识别各种不同模式下的对像的技术。近几年，随着人工智能的发展和普及，尤其是深度学习相关技术的广泛研究和发展，图像分析技术也步入了一个新 的阶段，图像识别的主要方法由以往的融合机器学习的简单分析处理，逐渐向融合深度 神经网络为主的智能化分析方法转变。

在烟叶烘烤过程中，烘烤环境的温度和湿度的相关变化都会对烟叶烘烤质量造成影 响，因此，烟叶烘烤中需要对烟叶成熟度进行跟踪观察和检测，并适时调整温度和湿度等相关因素，以避免对烟叶的烘烤质量造成损失。目前，针对烟叶成熟度的识别检测， 主要是烟草相关单位专门组织人员培训烟叶烘烤师，烟叶烘烤师通过对整个烘烤进程进 行人工观察和检测，并手动调整烘烤阶段参数和烘烤曲线。然而烘烤过程中烟叶的成熟 度变化并不完全统一，人工识别检测主要依赖肉眼观察和主观判断，各个烟叶烘烤师对 烟叶成熟度的判断也存在差别，这些不定因素最后多会在一定程度上影响烟叶烘烤质量， 造成比较大的烘烤损耗。因此，可以使用对烘烤烟叶的图像采集观察，进而对烟叶成熟 度进行图像分析处理，智能识别烘烤进程中各阶段的烟叶成熟度，并利用分析结果自动 调整烘烤阶段参数和烘烤曲线。这样的智能识别方法，即避免了人工识别和调整出现的 不稳定因素，又通过自动化调整节省了相关人力资源。

发明内容

本发明提出一种基于图像分析的烟叶成熟度状态识别方法及装置，以解决上述烟叶烘烤成熟度识别过程中识别精度低、成本高等问题。因此，本发明采用以下技术方案。

第一方面，本发明提供一种基于图像分析的烟叶成熟度状态识别方法，包括以下步骤：

S1：在烟叶烘烤过程中，以预设周期采集烟叶烤房的原始数据，所述原始数据包括烘烤图像、烟叶烤房干球和湿球温度、烟叶烘烤时长；

S2：依据烘烤曲线，根据所述烟叶烤房干球和湿球温度及所述烟叶烘烤时长判断所述烟叶烤房的烟叶成熟度状态，得到烟叶成熟度初级判断结果；

S3：对所述烘烤图像预处理，提取所述烘烤图像中烟叶全局图像，得到烟叶全局图像；

S4：采用全卷积神经网络的分割模型对所述烟叶全局图像进行处理，提取所述烟叶全局图像中烟叶的局部图像；

S5：根据所述烟叶成熟度初级判断结果确定判断烟叶成熟度需要分析的图像，所述图像包括烟叶全局图像及烟叶的局部图像；

S6：采用卷积神经网络的烟叶成熟度状态识别模型，对所述烟叶全局图像及所述烟叶的局部图像进行识别，获取所述烟叶全局图像及所述烟叶的局部图像的成熟度状态及概率；

S7：根据所述烟叶全局图像及所述烟叶的局部图像的成熟度状态及概率，输出烟叶成熟度状态、烟叶成熟度状态概率。

进一步的，所述烟叶成熟度状态包括：变黄初期，变黄前期、变黄中期，变黄后 期、定色前期、定色中期、定色后期，干筋前期、干筋中期、干筋后期。

进一步的，所述步骤S3具体步骤包括：

S31：读取所述烘烤图像；

S32：将所述烘烤图像的RGB色彩空间转换为HSV色彩空间，并采用H通道图 像作为分割图像完成二值化分割，得到二值化分割图像；

S33：将所述二值化分割图像与所述烘烤图像进行对应，对所述二值化分割图像中烟叶区域的前景图像预处理以增强烟叶区域细节描述；

所述前景图像预处理具体为：

其中I(i,j)为截取烟叶RGB图像中的一个像素点，minI(i,j)是为(i,j)坐标点 处像素的RGB三通道最小值，N为每一行的像素数目，M为每一列的像素数目，I(i,j) 像素点的每个通道都减去RGB三通道中的最小值。

S34：在经过所述步骤S33处理的图像中，截取烟叶区域的图像，得到烟叶全局图像。

进一步的，所述烟叶的局部图像包括：叶耳局部图像、主脉局部图像、支脉局部图像、叶尖局部图像。

进一步的，获得所述步骤S4中所述分割模型的具体步骤为：

第一步、通过摄像头采集烟叶图像，作为所述烟叶分割训练样本集；

第二步、所述烟叶分割训练样本集图像标注及预处理；

第三步、训练模型卷积神经网络建立；

第四步、采用上一步所述卷积神经网络对所述标注及预处理后的烟叶分割训练样本 集进行迭代训练，得到所述分割模型。

进一步的，所述图像标注是将背景非烟叶各部位像素点进行数值化0的基础上，采用四个不同的数值对烟叶的叶耳局部图像、主脉局部图像、支脉局部图像、叶尖局部图 像中的像素点，进行统一的数值化描述，最后形成分割模型卷积神经网络训练需要分割 的Ground-Truth图像。

进一步的，训练模型的卷积神经网络构建步骤为：

(1)烟叶分割训练样本集图像输入训练模型卷积神经网络，通过第一个卷积组模块进行卷积运算，得到比输入烟叶图像分辨率降低4倍的卷积特征图像；

(2)通过第二个卷积组模块分辨率再次降低4倍，并对该层特征图像进行不同尺度的平均池化运算形成特征图像；

(3)通过单次卷积对池化后的各个特征图像进行卷积运算，获取不同尺度的上下文特征图像；

(4)通过通道注意力模块对上下文特征图像组进行通道加权选择，并通过一次卷积运算模块对加权后的上下文特征图像组进行5倍的通道压缩，形成最后的上下文特征 图像；

(5)将第一次卷积组模块输出的具有空间描述信息的空间特征图像和通道压缩后的上下文特征图像进行融合，并采用空间和通道注意力模块进行通道和空间选择，形成 具有上下文描述和空间描述的特征图像，并再次通过图像上采样输出和输入图像尺寸相 同的分割掩码图像。

进一步的，在所述步骤S5中：

对于所述变黄初期，变黄前期、变黄中期，主要分析叶尖局部图像和烟叶整体区域的变化，将所述叶尖局部图像、烟叶全局图像作为判断烟叶成熟度需要分析的图像；

对于所述定色前期，主要分析支脉部位和烟叶整体区域的变化，将所述支脉局部图 像、烟叶全局图像作为作为判断烟叶成熟度需要分析的图像；

对于所述定色中期、定色后期，主要分析主脉部位和烟叶整体区域的变化，将所述主脉局部图像、烟叶全局图像作为作为判断烟叶成熟度需要分析的图像；

对于所述干筋前期、干筋中期、干筋后期，主要分析叶耳局部图像和烟叶整体区域的变化，将所述叶耳局部图像、烟叶全局图像作为作为判断烟叶成熟度需要分析的图像。

进一步的，获得所述步骤S6中的烟叶成熟度状态识别模型的具体步骤为：

第一步、通过摄像头采集烟叶全局图像及烟叶的局部图像，作为所述烟叶成熟度状 态识别训练样本集；

第二步、所述烟叶成熟度状态识别训练样本集图像分类及预处理；

第三步、训练模型卷积神经网络建立；

第四步、采用上一步所述卷积神经网络对所述分类及预处理后的成熟度状态识别训 练样本集进行迭代训练，得到所述烟叶成熟度状态识别模型。

进一步的，所述烟叶成熟度状态识别训练样本集图像分类依据图像中烟叶不同的成 熟度状态依次从0到9分配类别标签进行归类。

进一步的，所述训练模型的卷积神经网络构建步骤为：

(1)将所述分类和预处理后的烟叶成熟度状态识别模型训练样本集的RGB图像输入所述训练模型卷积神经网络，通过两个卷积组模块形成相对于输入RGB分辨率降低 16倍的特征图像；

(2)通过平均池化对降低16倍的特征图像采用不同的池化尺度进行平均池化运算， 形成不同尺度的特征图像，并对池化后的各个特征图像进行单次卷积运算，获取不同尺 度的上下文特征图像；

(3)将各个上下文特征图像经过图像上采样，并进行通道组合形成上下文特征图像组；

(4)通过通道注意力模块对特征图像组进行通道加权选择，选择更有描述能力的特征通道，并通过一个卷积核为1*1的单次卷积运算将特征图像组合通道数目缩减5倍， 形成最后的具有上下文描述的特征图像；

(5)采用一个卷积组模块进一步将特征图像缩减2倍，并采用全连接模块对缩减后的特征图像进行运算，形成与烟叶成熟度状态分类数目一致的一维向量，采用Softmax函数进行量化，获取烟叶成熟度的状态和概率。

进一步的，根据步骤S6所获取的所述烟叶全局图像及所述烟叶的局部图像的成熟度状态一致时，输出两者一致的成熟度状态作为烟叶成熟度状态，输出两者概率的较大 者作为烟叶成熟度状态概率。

进一步的，根据步骤S6所获取的所述烟叶全局图像及所述烟叶的局部图像的成熟度状态不一致时，对所述烟叶全局图像及所述烟叶的局部图像的概率进行加权处理，输 出加权后的概率最大者对应的成熟度状态作为烟叶成熟度状态，输出加权后的概率最大 者对应的概率作为烟叶成熟度状态概率。

所述加权处理和判断公式如下：

其中，C为最后的烟叶成熟度状态，Cj为烟叶的局部图像的成熟度状态，Cq为烟 叶全局图像的成熟度状态，Pj为烟叶的局部图像概率，Pq为烟叶全局图像概率，Wj为 烟叶的局部图像概率权重系数，Wq为烟叶全局图像概率权重系数。

进一步的，所述烟叶的局部图像概率权重系数Wj＝0.6，所述烟叶全局图像概率权重系数Wq＝0.4。

第二方面，本申请提供一种基于图像分析的烟叶成熟度状态识别装置，包括：

数据采集模块：采集的数据包括烘烤图像、烟叶烤房干球和湿球温度、烟叶烘烤时长；

烟叶成熟度初级判断模块：依据所述烟叶烤房干球和湿球温度及所述烟叶烘烤时长判断所述烟叶烤房的烟叶成熟度状态；

烟叶全局图像预处理模块：对所述烘烤图像预处理，提取所述烘烤图像中烟叶全局图像，得到烟叶全局图像；

烟叶的局部图像分割模块：采用全卷积神经网络语义的分割模型对所述烟叶全局图像进行处理，提取所述烟叶全局图像中烟叶的局部图像；

用于烟叶成熟判断的图像分析模块：根据所述烟叶成熟度初级判断结果确定判断烟叶成熟度需要分析的图像，所述图像包括烟叶全局图像及烟叶的局部图像；

烟叶成熟度识别模块：采用卷积神经网络的烟叶成熟度状态识别模型，对所述烟叶全局图像及所述烟叶的局部图像进行识别，获得所述烟叶全局图像及所述烟叶的局部图像的成熟度状态及概率；

烟叶成熟度输出模块：根据所述烟叶全局图像及所述烟叶的局部图像的成熟度状态及概率，输出烟叶成熟度状态、烟叶成熟度状态概率。

第三方面，本申请提供一种基于图像分析的烟叶成熟度状态识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述 程序时实现所述的一种基于图像分析的烟叶成熟度状态识别方法的步骤。

第四方面，本申请提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的一种基于图像分析的烟叶成熟度状态识别方法的步骤。

本发明的有益效果在于：本发明通过对烟叶烘烤图像的多次分析，基于卷积神经网络模型实现自动化的烟叶成熟度状态识别，可以准确的对烟叶烘烤成熟度进行识别和检测。该方法相对于现在的人工识别检测方法，更加客观准确，能大幅度提升烟叶烘烤 质量，减少烟叶烘烤损失，可节省大量的人力和财力资源成本。

附图说明

图1为本发明提供的一种基于图像分析的烟叶成熟度状态识别方法的流程示意图；

图2为本发明提供的一种基于图像分析的烟叶成熟度状态识别方法的步骤S2中所述烘烤曲线示意图；

图3为本发明提供的一种基于图像分析的烟叶成熟度状态识别方法的步骤S32图像处理结果示意图；

图4为本发明提供的一种基于图像分析的烟叶成熟度状态识别方法的步骤S3处理得到的所述烟叶全局图像；

图5为本发明提供的一种基于图像分析的烟叶成熟度状态识别方法的步骤S4中烟叶分割模型迭代训练示意图；

图6为本发明提供的一种基于图像分析的烟叶成熟度状态识别方法的骤S4中烟叶分割模型输出的分割结果示意图；

图7为本发明提供的一种基于图像分析的烟叶成熟度状态识别方法的步骤S6中烟叶成熟度状态识别模型迭代训练示意图。

图8为本发明提供的一种基于图像分析的烟叶成熟度状态识别装置的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互 组合。下面将参考附图1-8并结合实施例来详细说明本申请。

参照图1，本发明一种基于图像分析的烟叶成熟度状态识别方法的实施例，如图1所示一种基于图像分析的烟叶成熟度状态识别方法的具体步骤为：

S1：在烟叶烘烤过程中，以预设周期采集烟叶烤房的原始数据，所述原始数据包括烘烤图像、烟叶烤房干球和湿球温度、烟叶烘烤时长；

S2：依据烘烤曲线，根据所述烟叶烤房干球和湿球温度及所述烟叶烘烤时长判断所述烟叶烤房的烟叶成熟度状态，得到烟叶成熟度初级判断结果；

S3：对所述烘烤图像预处理，提取所述烘烤图像中烟叶全局图像，得到烟叶全局图像；

S4：采用全卷积神经网络的分割模型对所述烟叶全局图像进行处理，提取所述烟叶全局图像中烟叶的局部图像；

S5：根据所述烟叶成熟度初级判断结果确定判断烟叶成熟度需要分析的图像，所述图像包括烟叶全局图像及烟叶的局部图像；

S6：采用卷积神经网络的烟叶成熟度状态识别模型，对所述烟叶全局图像及所述烟叶的局部图像进行识别，获取所述烟叶全局图像及所述烟叶的局部图像的成熟度状态及概率；

S7：根据所述烟叶全局图像及所述烟叶的局部图像的成熟度状态及概率，输出烟叶成熟度状态、烟叶成熟度状态概率。

在步骤S1中，具体的，在烟叶烘烤过程中，以预设采集周期采集烘烤图像、烟叶 烤房干球和湿球温度、烟叶烘烤时长数据，预设采集周期如5min、8min、10min、15min、 16min、20min等，此处列举数值仅用于举例说明，不做具体限定。

烘烤曲线是烟草密集烘烤行业统一的预设烘烤曲线，曲线以烘烤时长为横坐标，以干球和湿球温度为纵坐标。

在步骤S2中，依据烘烤曲线，根据所述烟叶烤房干球和湿球温度及所述烟叶烘烤时长判断所述烟叶烤房的烟叶成熟度状态，得到烟叶成熟度初级判断结果。

参照图2，烘烤曲线根据烟叶成熟度状态分为9个阶段，如图中虚线分割所示， 烟叶的成熟度状态包括：变黄初期，变黄前期、变黄中期，变黄后期、定色前期、定色 中期、定色后期，干筋前期、干筋中期和干筋后期，将这十类成熟度状态依次从0到9 进行烟叶成熟度状态类别编码，阶段编码如图2烟叶的成熟度状态后的括号内编码所示。

参照图2，烘烤曲线包括干球温度曲线和湿球温度曲线，每条线上部数字表示要到达的温度、湿度，下方数字表示该阶段时期的时长。水平代表恒温期，上升代表升温 期，每个烘烤阶段包括上升期和恒温期。本实施例，依据烘烤曲线，根据烟叶烤房干球 和湿球温度及烟叶烘烤时长初步判断烟叶烤房的烟叶成熟度状态。

在步骤S3中对所述烘烤图像预处理，提取所述烘烤图像中烟叶全局图像，得到烟叶全局图像。

具体的步骤S3包括：

S31：读取所述烘烤图像，获得所述烘烤图像的RGB色彩空间；

S32：将所述烘烤图像的RGB色彩空间转换为HSV色彩空间，并采用H通道图 像作为分割图像完成二值化分割，分得到二值化分割图像；

具体的，其二值化分割方法可以用以下公式描述：

其中其中I(i,j)为截取烟叶H通道图像中的一个像素点，Th为全局图像进行迭代求均值计算的二值化阈值，若像素点I(i,j)像素值大于阈值Th，则该像素点为1，否则 为0。

转换后的H通道图如图3左图所示，其二值化分割图像如图3右图所示。

S33：将二值化分割图像与烘烤图像原图进行对应，对二值化分割图像中烟叶区域的前景图像预处理以增强烟叶区域细节描述；

细节描述具体为：

其中I(i,j)为截取烟叶RGB图像中的一个像素点，minI(i,j)是为(i,j)坐标点 处像素的RGB三通道最小值，N为每一行的像素数目，M为每一列的像素数目，I(i,j) 像素点的每个通道都减去RGB三通道中的最小值。

S34：在经过步骤S33处理的图像中，截取烟叶区域的图像，得到烟叶全局图像。

其中I(i,j)为截取烟叶RGB图像中的一个像素点，minI(i,j)是为坐标点(i,j)处像素的RGB三通道最小值，N为每一行的像素数目，M为每一列的像素数目，像素点 的每个通道都减去三通道中的最小值。

步骤S4：采用结合多尺度语义描述、空间和通道注意力的深度全卷积神经网络语义的分割模型对所述烟叶全局图像进行处理，提取所述烟叶全局图像中烟叶的局部图像；

具体的，在烟叶全局图像中，进一步分解烟叶各部位，采用结合多尺度语义描述、空间和通道注意力的深度全卷积神经网络语义分割方法，分割出烟叶的各个局部图像， 包括：叶耳局部图像、主脉局部图像、支脉局部图像、叶尖局部图像。

获得分割模型的具体步骤为：

S41：烟叶分割训练样本集采集，通过摄像头采集各种光照条件下的各种角度、尺寸及不同成熟状态的烟叶图像，作为所述烟叶分割训练样本集，本实施例采集了2400 张摄像头采集各种光照条件下的各种角度、尺寸及不同成熟状态的烟叶图像，作为烟叶 训练样本集。

S42：所述烟叶分割训练样本集图像标注及预处理；

具体的，烟叶分割训练样本集图像标注具体操作为：

图像标注将背景非烟叶各部位像素点进行数值化0的基础上，采用四个不同的数值 对烟叶的叶耳局部图像、主脉局部图像、支脉局部图像、叶尖局部图像中的像素点，进行统一的数值化描述，最后形成分割模型卷积神经网络训练需要分割的Ground-Truth图像。本实施例中叶尖局部图像的像素用像素值1表示，主脉局部图像的像素点用像素值 2表示，支脉局部图像的像素点用像素值3表示，叶耳局部图像用像素值4表示，图像 的其余部位像素全置为像素值0。

具体的，烟叶分割训练样本集图像预处理具体操作为：

(1)将标注后的图像进行裁剪，并将裁剪的各个图像调整统一为512*512尺度大小。

(2)将步骤(1)的训练样本集中的图像进行旋转或翻转操作，形成扩增训练样本。旋转角度在0至20度范围随机取值，翻转方向随机取水平翻转或者纵向翻转，增加样 本多样性，提升卷积神经网络训练模型的泛化性能。

(3)将步骤(1)的训练样本集从RGB图像进行HSV色彩空间转化，转化为HSV色 彩空间，并对转化后的H通道、S通道和V通道图像进行不同系数的增强，增强系数取 值0.7至1.4，然后再将增强后的HSV空间图像转换回RGB图像，从而实现对训练样 本的色彩增强。

(4)将步骤(1)、步骤(2)和步骤(3)形成的训练样本集合并，作为卷积神经 网络训练样本集。

S43：训练模型卷积神经网络建立；

具体的，训练模型卷积神经网络如图5所示，图中CONV表示一次卷积运算，CONVs表示由是多个卷积核大小为3的卷积操作串联的卷积组模块，UPSAMPLE表示图像上采样， CA表示通道注意力模块，SCA表示空间和通道注意力模块。

训练模型的卷积神经网络构建步骤为：

(1)卷积神经网络训练样本集中RGB图像输入训练模型卷积神经网络，通过第一个多卷积运算串联的CONVs模块进行卷积运算，得到比输入烟叶图像分辨率降低4倍的 卷积特征图，所输出的特征图像保存了足够的空间描述信息。

(2)通过第二个多卷积运算串联的CONVs模块分辨率再次降低4倍，并对该层特 征图像进行不同尺度的平均池化运算形成特征图像；

具体的不同尺度为不同的池化尺度大小，总共为4个，既32*32、16*16、8*8、4*4，所获取的特征图像也是大小不同的，也就形成了特征金字塔图像。

Average池化可以描述为以下公式：

其中，g(m,n)是池化后的特征图像，m和n分别为池化运算前的特征图像的行列 位置，mean表示对图像进行均值计算，f

(3)通过单次卷积对池化后的各个特征图像进行卷积运算，获取不同尺度的上下文特征图像，不同尺度为不同的池化尺度大小，总共为4个，既32*32、16*16、8*8、4*4，并将各个上下文特征图像经过UPSAMPLE上采样，并通过通道组合形成上下文特 征图像组；

UPSAMPLE可以用以下公式描述：

其中，g(x,y)表示对特征图像位置(x,y)的点进行UPSAMPLE后的特征图像数值， f(x

(4)通过CA模块对上下文特征图像组进行通道加权选择，并通过CONV(1*1)模块对加权后的上下文特征图像组进行5倍的通道压缩，形成最后的上下文特征图像；

CA模块通过一个与特征图像组的通道数目相等的向量，将向量中的各个数值乘以各自的通道，进行通道加权，可以用以下公式加以描述：

其中I

(5)将第一次CONVs模块输出的具有空间描述信息的空间特征图像和通道压缩后的上下文特征图像进行融合，并采用SCA进行通道和空间选择，形成具有上下文描述和 空间描述的特征图像，并再次通过UPSAMPLE输出和输入图像尺寸相同的分割掩码图像。

SCA是由通道注意力CA和空间注意力SA组成，SA通过一个与特征图像的大小一 样的一个二维加权矩阵实现，将这个二维矩阵的数值与征图像组的各个特征图像进行点 乘，完成空间位置加权。可以用以下公式描述：

I

其中，I

第四步、采用上一步所述卷积神经网络对所述烟叶分割模型进行迭代训练。

具体的迭代训练过程为：

(1)将上述标注和预处理的烟叶分割训练样本集进行分组，每组8个样本，每个 样本包括RGB图像和与之对应的Grond-Truth图像。

(2)采用上述训练模型卷积神经网络，将每组样本的RGB图像输入网络，并计算 训练模型卷积神经网络输出的分割掩码图和标注的Grond-Truth图像之间的损失。

损失函数如下公式所示：

Loss＝μCELoss+(1-μ)DiceLoss

其中μ表示取值空间(0,1)的权重系数，一般取值0.5。

CELoss表示交叉熵损失，其描述公式如下：

其中

DiceLoss的定义如下：

其中，x表示输入的标注Grond-Truth图像，y表示训练模型卷积神经网络模型输出的分割掩码图像。

(3)所述损失函数的数值小于0.1时，整个迭代训练完成，得到训练后的分割模型。

将烟叶全局图像输入分割模型输出尺寸相同的分割图像，具体分割结果如图7所示， 截取烟叶各部位图像得到烟叶的局部图。

步骤S5：根据所述烟叶成熟度初级判断结果确定判断烟叶成熟度需要分析的图像， 所述图像包括烟叶全局图像及烟叶的局部图像。

具体的，结合步骤S2烟叶成熟度初级判断结果，依据烟叶成熟度状态选择需要重点分析的烟叶局部位置，并采取烟叶的局部图像与烟叶全局图像一并作为当前烟叶成熟度状态需要分析的图像，选择需要重点分析的烟叶的具体图像，整个选择过程为：

对于变黄初期，变黄前期、变黄中期，主要分析叶尖局部图像和烟叶整体区域的变化，将叶尖局部图像、烟叶全局图像作为判断烟叶成熟度需要分析的图像；

对于定色前期，主要分析支脉部位和烟叶整体区域的变化，将支脉局部图像、烟叶全局图像作为作为判断烟叶成熟度需要分析的图像；

对于定色中期、定色后期，主要分析主脉部位和烟叶整体区域的变化，将主脉局部图像、烟叶全局图像作为作为判断烟叶成熟度需要分析的图像；

对于干筋前期、干筋中期、干筋后期，主要分析叶耳局部图像和烟叶整体区域的变化，将叶耳局部图像、烟叶全局图像作为作为判断烟叶成熟度需要分析的图像。

步骤S6，采用结合多尺度语义描述、通道注意力的深度卷积神经网络的烟叶成熟度状态识别模型，对所述烟叶全局图像及所述烟叶的局部图像进行识别，获取所述烟叶 全局图像及所述烟叶的局部图像的成熟度状态及概率。

烟叶成熟度状态包括：变黄初期，变黄前期、变黄中期，变黄后期、定色前期、 定色中期、定色后期，干筋前期、干筋中期和干筋后期。

获得烟叶成熟度状态识别模型的具体步骤为：

第一步、烟叶成熟度状态识别模型训练样本集采集，通过摄像头采集各种光照条件 下的各种角度、尺寸及不同成熟状态的烟叶全局图像及烟叶局部图像，作为所述成熟度状态识别样本训练集，具体的实施例采集了6400张各种光照条件下的各种角度、尺寸 及不同成熟状态的烟叶全局图像，6400张各种光照条件下的各种角度、尺寸及不同成熟 状态、不同烟叶局部区域图像作为烟叶训练样本集。

第二步、所述烟叶成熟度状态识别训练样本集图像标注及预处理；

具体的图像分类和预处理过程为：

(1)烟叶成熟度状态包括：变黄初期，变黄前期、变黄中期，变黄后期、定色前 期、定色中期、定色后期，干筋前期、干筋中期和干筋后期。将这十类成熟度状态依次 从0到9进行烟叶成熟度状态类别编码，依据图像中烟叶不同的成熟度状态依次从0到 9分配类别标签进行归类。

(2)将步骤(1)归类的样本图像采用不同长宽比系数的裁剪，形成一定的扩增训练样本，并将裁剪的图像调整统一为256*256大小的图像作为训练样本集，长宽比系数 主要随机选择4:3或者3:4。

(3)将步骤(1)归类的样本图像进行不同角度的图像旋转和翻转操作，形成具有旋转和翻转特性的扩增样本图像。旋转角度在0至20度范围随机取值，翻转方向随机 取水平翻转或者纵向翻转。

(4)将步骤(1)归类的样本图像从RGB图像进行HSV色彩空间转化，转化为 HSV色彩空间，并对转化后的H通道、S通道和V通道图像进行不同系数的增强，增 强系数取值0.8至1.2，然后再将增强后的HSV空间图像转换回RGB图像，从而实现 对样本图像的色彩增强。

(5)将步骤(1)至步骤(4)形成的样本图像及其归类标签合并，作为分类和预 处理后的烟叶成熟度状态识别模型训练样本集。

第三步、训练模型卷积神经网络建立；

具体的，烟叶成熟度状态识别模型识别网络如图7所示，图中CONV表示一次卷积运算，CONVs表示由多次卷积运算组成的卷积组模块，UPSAMPLE表示图像上采样，CA表 示通道注意力模块，FCs表示全连接模块。

训练模型的卷积神经网络构建步骤为：

(1)所述分类和预处理后的烟叶成熟度状态识别模型训练样本集的RGB图像输入所述训练模型卷积神经网络，通过两个CONVs模块形成相对于输入RGB分辨率降低16 倍的特征图像。

(2)通过平均池化对降低16倍的特征图像采用不同的池化尺度进行平均池化运算， 形成不同尺度的特征图像，并对池化后的各个特征图像进行单次卷积运算，获取不同尺 度的上下文特征图像。

(3)将各个上下文特征图像经过UPSAMPLE上采样，并进行通道组合形成上下文 特征图像组。

(4)通过CA模块对特征图像组进行通道加权选择，选择更有描述能力的特征通道，并通过一个卷积核为1*1的单次卷积运算将特征图像组合通道数目缩减5倍，形成最后 的具有上下文描述的特征图像。

(5)采用一个CONVs模块进一步将特征图像缩减2倍，并采用全连接模块FC对缩 减后的特征图像进行运算，形成与烟叶成熟度状态数目，也就是0-9个阶段数目一致的 一维向量。最后采用Softmax函数进行量化，获取烟叶成熟度的状态和概率。

Softmax函数描述如下：

其中，y

第四步、采用所述训练模型卷积神经网络对所述标注及预处理后的成熟度状态识别 样本训练集的迭代训练。

迭代训练过程具体为：

(1)将上述标注和预处理的训练样本进行分组，每组64个样本，每个样本包括 RGB图像和与之对应的标注的类别值。

(2)采用上述构建的训练模型卷积神经网络，将每组样本的RGB图像输入训练模型卷积神经网络，并计算训练模型卷积神经网络输出的类别值概率和标注类别值之间的损失。

损失函数如下公式所示：

其中

(3)所述损失函数的数值小于0.01时，整个迭代训练完成，得到训练后的烟叶成熟度状态识别模型。

将步骤S5所获得的需要分析的图像(烟叶全局图像、烟叶的局部图像)输入烟叶成熟度状态识别模型输出烟叶全局图像的烟叶成熟度状态及其概率、烟叶的局部图像的烟叶成熟度状态及其概率。

步骤S7:根据所述烟叶全局图像及所述烟叶的局部图像的成熟度状态及概率，输出 烟叶成熟度状态、烟叶成熟度状态概率。

由于当前阶段所需识别的图像包括局部部位图像和烟叶全局区域图像，因此需要对这两幅图像的识别结果进行加权融合。

具体的，其融合过程为：

当根据步骤S6所获取的烟叶全局图像及烟叶的局部图像的成熟度状态一致时，输出两者一致的成熟度状态作为烟叶成熟度状态，输出两者概率的较大者作为烟叶成熟度状态概率。

当根据步骤S6所获取的烟叶全局图像及烟叶的局部图像的成熟度状态不一致时，对烟叶全局图像及烟叶的局部图像的概率进行加权处理，输出加权后的概率最大者对应的成熟度状态作为烟叶成熟度状态，输出加权后的概率最大者对应的概率作为烟叶成熟度状态概率。

加权处理和判断公式如下：

其中，C为最后的烟叶成熟度状态，Cj为烟叶的局部图像的成熟度状态，Cq为烟 叶全局图像的成熟度状态，Pj为烟叶的局部图像概率，Pq为烟叶全局图像概率，Wj为 烟叶的局部图像概率权重系数，Wq为烟叶全局图像概率权重系数。

具体的，烟叶的局部图像概率权重系数Wj＝0.6，所述烟叶全局图像概率权重系数Wq＝0.4。

本实施例通过方法对烟叶烘烤图像的多次分析，基于卷积神经网络模型实现自动化的烟叶成熟度状态识别，可以准确的对烟叶烘烤成熟度进行识别和检测。该方法相对 于现在的人工识别检测方法，更加客观准确，能大幅度提升烟叶烘烤质量，减少烟叶烘 烤损失，可节省大量的人力和财力资源成本。

为了有效提高烟叶成熟度状态识别的准确性及可靠性，且能够有效提高烟叶成熟度状态识别过程的自动化程度及效率，本申请提供一种基于图像分析的烟叶成熟度状态识别方法中全部或部分内容的一种基于图像分析的烟叶成熟度状态识别方法的实施例，参见图8，所述一种基于图像分析的烟叶成熟度状态识别装置包含有如下内容：

数据采集模块：采集的数据包括烘烤图像、烟叶烤房干球和湿球温度、烟叶烘烤时长；

烟叶成熟度初级判断模块：依据所述烟叶烤房干球和湿球温度及所述烟叶烘烤时长判断所述烟叶烤房的烟叶成熟度状态；

烟叶全局图像预处理模块：对所述烘烤图像预处理，提取所述烘烤图像中烟叶全局图像，得到烟叶全局图像；

烟叶的局部图像分割模块：采用结合多尺度语义描述、空间和通道注意力的深度全卷积神经网络的分割模型对所述烟叶全局图像进行处理，提取所述烟叶全局图像中烟叶的局部图像；

用于烟叶成熟判断的图像分析模块：根据所述烟叶成熟度初级判断结果确定判断烟叶成熟度需要分析的图像，所述图像包括烟叶全局图像及烟叶的局部图像；

烟叶成熟度识别模块：采用结合多尺度语义描述、通道注意力的深度卷积神经网络的烟叶成熟度状态识别模型，对所述烟叶全局图像及所述烟叶的局部图像进行识别， 获得所述烟叶全局图像及所述烟叶的局部图像的成熟度状态及概率；

烟叶成熟度输出模块，根据所述烟叶全局图像及所述烟叶的局部图像的成熟度状态及概率，输出烟叶成熟度状态、烟叶成熟度状态概率。

本实施中的一种基于图像分析的烟叶成熟度状态识别装置实现了自动化烟叶成熟 度状态自动、高精度的识别，且成本低廉、简单便捷、效果明显。

为了有效提高烟叶烘烤成熟度识别方法的准确性及可靠性，且能够有效提高烟叶烘烤成熟度识别过程的自动化程度及效率，本申请提供一种基于图像分析的烟叶成熟度状态识别方法中的全部或部分内容的系统，所述系统具体包含有如下内容：

处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于图像分析的烟叶成熟度状态识别方法的步骤。

通信接口和总线；其中，所述处理器、存储器通过通信接口和总线完成相互间的通信；该终端可以是台式计算机、平板电脑及移动终端等。

具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该计算机程序被处理器执行时可实现包括本申请提供一种基于图像分析的烟叶成熟度状态识别方法的部分或全部步骤。所述的计算机存储介质可为磁碟、光盘、只 读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random accessmemory，简称：RAM)等。

根据本实施方式的基于卷积神经网络模型实现自动化的烟叶成熟度状态识别，可以准确的对烟叶烘烤成熟度进行识别和检测。该方法相对于现在的人工识别检测方法， 更加客观准确，识别过程中无需人工，实现了自动化，识别效率比较高。本方案能大幅 度提升烟叶烘烤质量，减少烟叶烘烤损失，可节省大量的人力和财力资源成本。

本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的 通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机 设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施 例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施 例中的说明即可。

以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明 进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内， 所做的修改、等同替换等均应包含在发明的保护范围之内。