烟叶分类的方法、装置和计算机可读取介质

技术领域

本发明涉及烟草领域，具体涉及一种烟叶分类的方法、装置和计算机可读取介质。

背景技术

烟叶分级中，较少被研究以及被应用的一个关键指标为烟叶纹理特征。烟叶表面的油分含量、褶皱度、组织紧密程度、含梗率、油分等指标是烟叶分级的重要因素，同时也与烟叶纹理特征相关联。因此，研究不同烟叶下的纹理特征提取算法为烟叶智能分级提供依据，具有指导意义。

烟叶的纹理特征相关研究较少，但纹理作为数字图像的特质属性，能够真实反映物体表面的粗糙度，方向等属性，其作用在纹理描述中体现得尤为明显。为取得大多数的自然景物的更多信息，通过分析其组成结构的细微的纹理而获得。在目标识别与自动检测领域，Kumar A与Chan C H等采用纹理分析的方法检测原木中不合格的部分；在图像检索领域，施智平等在提出了一种新的纹理谱描述，并应用于图像检索中。

在现行的国家烤烟标准(GB 2635-92)中，把不同质量的烟叶区分，使每个等级的烟叶具有相对一致的质量，供卷烟企业选用。其中烟叶表面油分，皱缩程度，叶片结构是重要的判别因素。人工分级依靠分级人员对烟叶的视觉和触觉感受进行，其中触觉便是感知烟叶表面结构和油分多少。烟叶表面纹理特征可以表征烟叶的结构，油分，和含梗度。

发明内容

本公开提出一种烟叶分类方法，该方法对彩色相机获取的烟叶全色图像或高光谱图像进行处理，利用烟叶图像的纹理特征并结合机器学习技术，有效对烟叶进行分类。

在一些实施方案中，本发明的方法优化了机器学习模型的参数，特别是选择了合适的纹理特征，使分类结果更加准确。

本公开提供一种烟叶分类方法，包括：

根据待分类烟叶图像，利用机器学习模型提取所述待分类烟叶图像的纹理特征；

根据所述纹理特征，利用所述机器学习模型确定所述待分类烟叶图像的分类结果。

在一些实施方案中，所述纹理特征是通过以下方法采集获得：自回归纹理模型、灰度共生矩阵法、Gabor小波变换、局部二值模式、或其组合。

在一些实施方案中，所述纹理特征是通过以下方法采集获得：灰度共生矩阵法和Gabor小波变换。

在一些实施方案中，灰度共生矩阵纹理特征包括96个维度特征，所述96个维度特征包括：4个不同距离梯度、4个不同方向梯度下的6个纹理值，所述6个纹理值为对比度、相异性、同次性、相关性、能量和角二阶矩。

在一些实施方案中，Gabor纹理特征包括16个维度特征，所述16个维度特征包括：8个不同角度下的2个纹理值，所述2个纹理值为均值和方差。

在一些实施方案中，所述机器学习模型包括卷积神经网络模型。

在一些实施方案中，利用机器学习模型提取所述待分类烟叶图像的纹理特征包括利用卷积神经网络模型对所述待分类烟叶的纹理特征进行特征提取；

其中，利用所述机器学习模型确定所述待分类烟叶图像的分类结果包括利用softmax分类器对提取得到的特征进行分类。

在一些实施方案中，所述机器学习模型包括卷积神经网络模型和SVM分类器；

所述烟叶分类方法包括将所述待分类烟叶的纹理特征输入卷积神经网络模型，经过全连接层得到所述待分类烟叶的高维向量，将所述高维向量输入到SVM分类器进行分类。

在一些实施方案中，所述机器学习模型包括卷积神经网络模型和SVM分类器；

所述烟叶分类方法包括将所述待分类烟叶的纹理特征输入卷积神经网络模型，经过全连接层得到所述待分类烟叶的高维向量，将所述高维向量使用主成分分析方法降维后再输入到SVM分类器进行分类。

在一些实施方案中，所述机器学习模型包括随机森林模型。

在一些实施方案中，所述机器模型通过如下方法训练获得：

获取多个烟叶，并标注各个烟叶的类型；提取烟叶的纹理特征，形成训练数据；将训练数据输入机器学习模型进行训练，基于标注调整所述机器学习模型的参数，使所述神经网络的误差最小，得到训练好的机器学习模型。

在一些实施方案中，所述烟叶图像为全色图像或高光谱图像。

在一些方面，本公开提供一种烟叶分类装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器设备中的指令，执行上述任一项所述的烟叶分类方法。

在一些方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行实现上述任一项所述方法的步骤。

有益效果

本公开的技术方案可以具有如下的一项或多项优点：

(1)一些方案结合机器学习技术，基于烟叶表面纹理特征对烟叶进行分类，可以表征烟叶的结构、油分和含梗度。

(2)一些方案采用特定的纹理特征用于训练机器学习模型，获得更为准确的分类结果；

(3)方法简单，易操作；

附图说明

图1是一些实施例的烟叶分类方法；

图2的(a)示出一个典型的有效鲜烟叶，图2的(b)示出一个典型的无效鲜烟叶；

图3为灰度共生矩阵六个纹理值(对比度，相异性，同次性，相关性，能量和ASM值)的烟叶纹理特征图；

图4为由八个角度的Gabor滤波器提取的烟叶纹理特征图；

图5为一些实施例的烟叶分类装置示意图；

图6又为一些实施例的烟叶分类装置示意图。

具体实施方式

下面将结合实施例对本发明的实施方案进行详细描述，但是本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市购获得的常规产品。

图1示出一种烟叶分类方法，包括以下步骤：

S101根据待分类烟叶图像，利用机器学习模型提取所述待分类烟叶图像的纹理特征；

S102根据所述纹理特征，利用所述机器学习模型确定所述待分类烟叶图像的分类结果。

在一些实施方案中，所述纹理特征是通过以下方法采集获得：自回归纹理模型、灰度共生矩阵法、Gabor小波变换、局部二值模式、或其组合。

在一些实施方案中，所述纹理特征是通过以下方法采集获得：灰度共生矩阵法和Gabor小波变换。

在一些实施方案中，灰度共生矩阵纹理特征包括96个维度特征，所述96个维度特征包括：4个不同距离梯度、4个不同方向梯度下的6个纹理值，所述6个纹理值为对比度、相异性、同次性、相关性、能量和角二阶矩。

在一些实施方案中，4个距离梯度为2，4，6，8。

在一些实施方案中，4个方向梯度为：0°，45°，90°，135°

在一些实施方案中，灰度级别：256。

在一些实施方案中，Gabor纹理特征包括16个维度特征，所述16个维度特征包括：8个不同角度下的2个纹理值，所述2个纹理值为均值和方差。

在一些实施方案中，8个不同角度为：0°，22.5°，45°，67.5°，90°，112.5°，135°，157.5°。

在一些实施方案中，Gabor核大小为21。

在一些实施方案中，Gabor核波长：5。

在一些实施方案中，Gabor核空间方向比例：默认0.5。

在一些实施方案中，Gabor高斯核标准差：2π(Gabor频率带宽)。

在一些实施方案中，根据以下一项或多项指标将对烟叶进行分类，并使用分类后的烟叶作为训练集用于建立机器学习模型：成熟度、叶片结构、身份、油分、色度、长度、残伤。

在一些实施方案中，样本集包括：河南(中烟100)有效鲜烟叶(第一类烟叶)图像136张，无效鲜烟叶(第二类烟叶)图像116张。图2的(a)示出一个典型的有效鲜烟叶，图2的(b)示出一个典型的无效鲜烟叶。

在一些实施方案中，用于机器学习的研究平台包括：python3.7.0；opencv4.4.0；scikit-learn0.23.2。

在一些实施例中，向机器学习模型输入为RGB三通道图像或多通道高光谱图，输出为烟叶纹理类别以及参数贡献度。

在一些实施例中，根据烟叶表面结构、油分含量信息的对烟叶进行分类，以及针对烟叶的算法参数评估。

在一些实施例中，烟叶图像可以是全色图像或高光谱图像。全色图像例如是三通道彩色图像。

在一些实施例中，可以采用高速CCD相机连续动态获取运动烟叶全色图像，采集的烟叶图像信号实时传送至图像处理机构，需要注意的是图像大小需一致。

在一些实施例中，可以采用高光谱仪获取烟叶的高光谱图像。

在一些实施例中，对烟叶图像进行滤波处理和噪声消除处理。

在一些实施例中，对烟叶图像进行动态canny算子增强和锐化。如此能够增强纹理细节，轮廓信息。

在一些实施例中，对烟叶图像进行锐化，锐化后对图像进行阈值分割，去除背景部分。

在一些实施例中，对烟叶图像对图像灰度转化，进行中值滤波，阈值分割后得到二值化图像，与原图像相乘消除背景。

在一些实施方案中，灰度共生矩阵(GLCM)的统计方法由R.Haralick等人提出的，它是在假定图像中各像素间的空间分布关系包含了图像纹理信息的前提下，提出的具有广泛性的纹理分析方法。共生矩阵用两个位置的像素的联合概率密度来定义，它不仅反映亮度的分布特征，也反映具有同样亮度或者接近亮度的像素之间的位置分布特性，是有关图像亮度变化的二阶统计特征。它是定义一组纹理特征的基础。由于纹理是由灰度在空间位置上反复出现而形成的，因而在图像空间中像个某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。

在一些实施方案中，采取灰度共生矩阵算法中4个不同距离梯度，4个不同方向梯度下的六个纹理值(对比度，相异性，同次性，相关性，能量和ASM值)共96个维度特征。综上每张烟叶图共有112维度特征。图3示出灰度共生矩阵六个纹理值(对比度，相异性，同次性，相关性，能量和ASM值)的烟叶纹理特征图。

在一些实施方案中，Gabor小波核与哺乳动物视觉皮层细胞的感受野类似，具有优良的空间局部性、空间频率及方向选择性等，能够提取图像局部区域的多尺度、多方向的显著特征。因而Gabor小波变换对外界环境变化如光照挡具有较强的鲁棒性。图4示出由八个角度的Gabor滤波器提取的烟叶纹理特征图。

在一些实施方案中，采取Gabor小波算法中8个不同角度下的两个纹理值，均值和方差共16个维度。

在一些实施方案中，机器学习模型是卷积神经网络。

在一些实施例中，卷积神经网络包括编码器、解码器、全连接网络。编码器、解码器、全连接网络具体采用何种网络设计是本领域技术人员根据实际应用需要可以选择的。卷积神经网络的编码器和解码器的特点在于，编码器对特征图的通道扩增，而图像大小减少，即降低了空域的精度而提升了特征强度的类型数。

在一些实施例中，将烟叶图像统一大小，将统一大小后的图像输入至卷积神经网络，卷积神经网络包含一个编码器用于预先训练的分类网络，如VGG、ResNet。技术人员可以结合硬件的计算能力和精度做出权衡，从而采用合适的网络内部结构。

在一些实施例中，卷积神经网络的编码器的输入为多通道灰度图像，输出为高维特征。

在一些实施例中，数据输入到卷积神经网络后，经过混合特征编码器，通过maxpooling，faltten的机制转化为一维张量，最后放入全连接网络，输出为一个分类模型，对应到不同的烟叶纹理类型。

在一些实施例中，选取softmax loss作为损失函数，将标注不同梯度的一组图像送至网络进行训练。

在一些实施例中，技术人员应当知道卷积神经网络中编码器的输出向一维张量转换的时候对应的操作是多样的，技术人员可以参考普通的ReID网络、图像分类网络来进行实践。

在一些实施例中，卷积神经网络的编码器输出大小为[N*256*4*4]，采用flatten操作，得到[N*4096*1]的张量，也称为高维向量。

在一些实施例中，在使用卷积神经网络对图像分类时，将最后一层全连接层(即与输出层相连的全连接层)的输出作为每幅图像的特征表达。

在一些实施例中，卷积神经网络的全链接网络结构的配置为：[4096,4096,1024,256,128,X]，其中每个数字代表了全连接层自第一层至最后一层的每层神经元配置。最终，全连接层输出X维的高维向量。对向量V进行one-hot编码得到一组标量。其中X的维度确定与烟叶的等级梯度相同。

在一些实施例中，对于从卷积神经网络得到的高维向量，可以采取非线性分类模型(例如支持向量机SVM分类器)进行分类。

在一些实施例中，对于卷积神经网络提取的4096维度的高维数据，可以降低特征维度，减小计算负担。例如采取主成分分析法对所得特征进行维数约简，获得最终的纹理图像特征，可以保留解释度在95％以上的主成分维度。

在一些实施例中，根据SVM分类器的分类性能，采取一对多方法，对不同烟叶纹理的烟叶进行识别。其中对SVM泛化性能由惩罚参数以及核函数，建议技术人员选取不同的惩罚参数C和合函数K(x，x_i)组合的识别结果进行比较与分析，确定最佳分类模型。

在一些实施例中，采用如下方法训练SVM分类器，例如从样本中选出某一烟叶分类(例如结构等级分类)的所有样本标记为第一类，其余样本标记为第二类，然后将标号分类标签的所有样本输入训练SVM，得到相对应的支持向量和相对应的分类平面，此分类器用来区分此烟叶分类(例如结构等级分类)和其他分类的烟叶。重复以上步骤，直至遍历整个训练样本集中的所有样本。

将训练好的支持SVM模型，对测试集进行识别分类，每个烟叶纹理的样本经过多个SVM的分类后，最终识别不同梯度的类别。

根据主成分降维的方法，在可解释率达到95％以上时，有K个主成分，每个主成分与原来变量之间线性组合关系，通过计算协方差矩阵的特征值和特征向量，确定每个原数据维度的荷载，选取向量最大的M个参数的灰度算法(一般RGB图像不大于5，高光谱图像不大于20)。通过这些参数定量化烟叶纹理。

在一些实施方案中，机器学习模型为随机森林模型。随机森林是一种有监督学习算法，是以决策树为基学习器的集成学习算法。随机森林非常简单，易于实现，计算开销也很小，但是它在分类和回归上表现出非常惊人的性能，由于采用了集成算法，本身精度比大多数单个算法要好，所以准确性高。随机森林在测试集上表现良好，由于两个随机性的引入，使得随机森林不容易陷入过拟合(样本随机，特征随机)。它能够处理很高维度(feature很多)的数据，并且不用做特征选择，对数据集的适应能力强：既能处理离散型数据，也能处理连续型数据，数据集无需规范化，由于有袋外数据(OOB)，可以在模型生成过程中取得真实误差的无偏估计，且不损失训练数据量，在训练过程中，能够检测到特征间的互相影响，且可以得出特征的重要性，具有一定参考意义。

在一些实施方案中，机器学习模型为基于全维度的随机森林判别模型。选择20％的样本集作为测试集，80％的样本集作为训练集，到88％的分类精度，通过十次交叉验证得到其分类精度在85％左右，具有较好的分类表现。

在一些实施方案中，优选的纹理特征包括：

灰度共生矩阵下距离4，角度45°的能量值；

灰度共生矩阵下距离8，角度45°的能量值；

灰度共生矩阵下距离8，角度90°的能量值；

灰度共生矩阵下距离16，角度90°的能量值；

灰度共生矩阵下距离16，角度90°的相关性值；

Gabor小波纹理下波长5，角度122.5°的标准差。

在一些实施方案中，样品集中的烟叶摆放方式为烟梗朝上，叶尖朝下。

图5出一些烟叶分类装置示意图。

如图所示，该实施例的烟叶分类装置7包括：存储器71以及耦接至该存储器71的处理器72，处理器72被配置为基于存储在存储器71中的指令，执行本公开中任意一个实施例中的烟叶分类方法。

其中，存储器71例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。

图6出又一些烟叶分类装置示意图。

如图所示，该实施例的烟叶分类装置8包括：存储器810以及耦接至该存储器810的处理器820，处理器820被配置为基于存储在存储器810中的指令，执行前述任意一个实施例中的用于烟叶分类的方法。

存储器810例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

烟叶分类装置8还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830、840、850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口。存储接口850为SD卡、U盘等外置存储设备提供连接接口。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

至此，已经详细描述了根据本公开的用于烟叶分类的方法、烟叶分类装置和计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开方案通过分析由图像采集系统采集得到河南中烟100的有效烟叶和无效烟叶数字图像，采用灰度共生矩阵法和Gabor小波下的不同参数提取纹理特征值，通过主元分析得出最具区分度的纹理特征，同时采用随机森林判别模型对样本集分配并得到较好的分类结果，同时获取能够表征烟叶纹理值的定性指标。后续可采用神经网络训练高维纹理图像值得进一步研究。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。