一种跟随植物状态变化的植物生长控制方法及系统

技术领域

本发明涉及机器视觉领域，更具体的说，它涉及一种跟随植物状态变化的植物生长控制方法及系统。

背景技术

在采用市场上提供的室内植物种植箱进行居家种植时，依然需要耗费大量时间和精力来保持植物的生长状态，包括定期浇水、施肥以及提供足够的光照等任务，这些任务将花费大量时间，因此，亟待提供一种跟随植物状态变化的植物生长控制方法及系统来解决这个问题。

发明内容

本发明提供一种跟随植物状态变化的植物生长控制方法及系统，通过对植物图像进行识别，自动选择植物生长阶段对应的控制策略，从而自动对植物生长环境进行调整，无需人们进行操作，方便快捷；并且能够识别植物是否发生病变，从而能够对植物进行处理。

一种跟随植物状态变化的植物生长控制方法，包括：

获取植物图像；

将植物图像送入至训练好的植物生长阶段检测模型进行检测，输出植物生长阶段标识；

植物生长阶段检测模型基于YOLOv5模型建立，包括预处理部、特征提取部、特征融合部和分类部；其中预处理部用于对植物图像进行尺寸统一和构建灰度共生矩阵图；特征提取部用于对植物图像的特征进行提取；特征融合部用于对提取的特征进行融合；分类部用于对植物图像对应的植物生长阶段进行分类，输出植物生长阶段标识；

根据植物生长阶段标识从控制策略库中获取对应的控制策略，控制策略库中存储植物生长阶段标识与对应的控制策略，且控制策略库根据专家经验进行构建；

根据控制策略调整植物周围环境。

作为本发明的一个优选，植物生长阶段检测模型的预处理部包括尺寸统一层和灰度共生矩阵图构建层；通过灰度共生矩阵构建层对植物图像进行灰度共生矩阵图构建具体包括如下步骤：将植物图像中所有通道对应的植物图像切片进行平均池化操作，得到灰度共生矩阵基准图，遍历灰度共生矩阵基准图中每个像素点坐标对应的像素值，选择最大的像素值记为G

作为本发明的一个优选，植物生长阶段检测模型的特征提取部包括focus层、第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和四个灰度共生矩阵图构建层；focus层用于执行切片操作；第一特征提取层包括CBL块和CSP1.1块；第二特征提取层和第三特征提取层均包括CBL块和CSP1.3块；第四特征提取层包括CBL块和多特征融合块；其中CBL块依次包括卷积操作、批量标准化和非线性激活，且非线性激活函数采用Leaky-relu；特征提取部中的灰度共生矩阵图构建层与预处理部中的灰度共生矩阵图构建层设置一致，且四个灰度共生矩阵图构建层分别位于第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层之后；

通过特征提取部对植物图像的特征进行提取具体包括如下步骤：将植物图像送入至特征提取部，依次经过focus层、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层进行处理，并将第二特征提取层、第三特征提取层和第四特征提取层输出的特征图分别记为第一特征图、第二特征图和第三特征图；同时通过四个灰度共生矩阵图构建层输出对应的四个灰度共生矩阵图。

作为本发明的一个优选，植物生长阶段检测模型的特征融合部包括3个尺度不变特征提取块、4个CBL块和4个CSP2.1块，通过特征融合部对提取的特征进行融合具体包括如下步骤：将第一特征图、第二特征图和第三特征图分别经过尺度不变特征提取块处理得到第四特征图、第五特征图和第六特征图，将第六特征图依次通过CBL块和CSP2.1块处理后，再上采样得到第七特征图；将第七特征图与第五特征图进行拼接融合得到第八特征图；将第八特征图依次通过CBL块和CSP2.1块处理后，再上采样得到第九特征图；将第九特征图与第四特征图进行拼接融合得到第十特征图；将第十特征图经过CSP2.1块处理得到第十一特征图；将第十一特征图通过CBL块处理后与第八特征图拼接融合得到第十二特征图；将第十二特征图经过CSP2.1块处理得到第十三特征图；将第十三特征图通过CBL块处理后与第七特征图拼接融合得到第十四特征图；将第十四特征图经过CSP2.1块处理得到第十五特征图。

作为本发明的一个优选，尺度不变特征提取块包括小波散射网络块和多特征融合块（SPP），小波散射网络块包括三个小波散射网络层，且三个小波散射网络层内置不同的小波散射网络参数{J，R，M}，其中J为小波散射网络层对应的最大小波变换散射尺度，其中R为小波散射网络层对应的旋转方向组合，R={R

作为本发明的一个优选，将第一特征图、第二特征图和第三特征图分别经过尺度不变特征提取块处理得到第四特征图、第五特征图和第六特征图具体包括如下步骤：

将第一特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第一特征图对应的第四特征图；将第二特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第二特征图对应的第五特征图；同理，将第三特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第三特征图对应的第六特征图；

S1：将输入特征图送入小波散射网络部，分别经过三个小波散射网络层后得到三个尺度不变特征图，分别记为特征图F2、特征图F3和特征图F4，且特征图F2、特征图F3和特征图F4对应的尺寸逐个增大；将特征图F2、特征图F3和特征图F4分别通过多特征融合块进行处理得到特征图F5、特征图F6和特征图F7；将特征图F5经过一次卷积操作和上采样处理后，再与特征图F6拼接融合得到特征图F8；将特征图F8经过一次卷积操作和上采样处理后，再与特征图F7拼接融合得到特征图F9；将特征图F9经过一次卷积操作和上采样处理后，再与输入特征图拼接融合得到特征图F10。

作为本发明的一个优选，通过训练好的植物生长阶段检测模型进行检测，具体包括如下步骤：将特征融合部输出的第十五特征图送入分类部，分类部包括全连接层和分类层，分类层内置softmax函数，全连接层输出特征向量；将所有灰度共生矩阵图进行拼接后进行一次卷积得到灰度共生矩阵向量，将特征向量与灰度共生矩阵向量进行拼接再通过分类层进行分类，输出植物生长阶段标识。

作为本发明的一个优选，对植物生长阶段检测模型进行训练具体包括如下步骤：获取标注好植物生长阶段标识的植物图像，并将所有标注好植物生长阶段标识的植物图像组成植物图像训练集，通过植物图像训练集对初始化的植物生长阶段检测模型进行训练，训练期间采用交替优化方法，若是对应的交叉熵损失值在第一预设范围内，输出训练好的植物生长阶段检测模型；否则，继续迭代训练。

作为本发明的一个优选，还包括在植物生长阶段检测模型中内嵌病变检测部；通过训练好的病变检测部对植物病变情况进行检测具体包括如下步骤：获取将特征融合部输出的第十一特征图、第十三特征图和第十五特征图分别送入病变检测部，输出病变位置和对应病变类型的置信度；

对病变检测部的训练具体包括如下步骤：获取标注好病变类型和病变位置的植物图像，将所有标注好病变类型和病变位置的植物图像组成病变植物图像训练集；固定植物生长阶段检测模型内的参数，通过病变植物图像训练集对病变检测部的参数进行训练，训练期间采用交替优化方法，若是对应的交叉熵损失值在第二预设范围内，输出训练好的病变检测模型；否则，继续迭代训练。

一种跟随植物状态变化的植物生长控制系统，包括：

植物图像获取模块，用于获取植物图像；

植物生长阶段检测模型管理模块，用于训练和存储植物生长阶段检测模型；

植物生长阶段检测模块，用于根据植物图像和植物生长阶段检测模型对植物图像进行检测，输出植物生长阶段标识；

控制策略库，用于存储植物生长阶段标识与对应的控制策略；

控制策略获取模块，用于根据输出的植物生长阶段标识从控制策略库中获取对应的控制策略；

环境调整模块，用于根据控制策略调整植物周围环境。

本发明具有以下优点：

1、本发明通过对植物图像进行识别，自动选择植物生长阶段对应的控制策略，从而自动对植物生长环境进行调整，无需人们进行操作，方便快捷；并且能够识别植物是否发生病变，从而能够对植物进行处理。

2、本发明通过尺度不变特征提取块提取植物图像中例如叶片形状等尺度不变特征，提升植物生长阶段检测模型的准确度。

3、本发明考虑到在执行精准光学处理之后的植物叶片像素值构成的特征参考性降低，因此在对植物图像进行特征提取时，结合灰度共生矩阵信息，强化植物图像中例如轮廓和纹理等特征的比重，从而提升植物生长阶段检测模型检测的准确度。

附图说明

图1为本发明实施例采用的跟随植物状态变化的植物生长控制系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例1

一种跟随植物状态变化的植物生长控制方法，包括：获取植物图像，植物图像由安装于植物培养盆上方的高清摄像头进行获取，高清摄像头间隔预设周期（例如2h）对植物进行拍照，生成植物图像并上传；

将植物图像送入至训练好的植物生长阶段检测模型进行检测，输出植物生长阶段标识；需要说明的是，此植物生长阶段检测模型基于YOLOv5模型进行建立，并且基于实际的植物图像识别进行改进；

根据植物生长阶段标识从控制策略库中获取对应的控制策略，控制策略可以为调节植物灯光或者改变植物周围环境；

根据控制策略调整植物周围环境。

控制策略库中存储植物生长阶段标识与对应的控制策略，且控制策略库根据专家经验进行构建。

需要特别说明的是，调节植物灯光是基于如下考虑而进行的，由于植物在不同生长阶段需要不同的波长，例如在生菜的不同生长阶段可以采用不同的红蓝光进行补充，可以加快生菜的生长速度和提升生菜的品质，因此，针对植物的不同生长阶段，可以采用不同的光谱方式进行光照，即对植物进行精准光学处理，从而实现在室内种植植物，此植物包括但不限于蔬菜类植物；

植物生长阶段检测模型基于YOLOv5模型建立，包括预处理部、特征提取部、特征融合部和分类部；其中预处理部用于对植物图像进行尺寸统一和构建灰度共生矩阵图，由于高清摄像头的规格不统一，会导致获取的植物图像尺寸不统一，影响后续的特征提取，因此预处理部对植物图像进行尺寸统一，对于构建灰度共生矩阵图，这是考虑到当通过精准光学对植物光谱进行调整后，植物本身的颜色会发生变化，例如单独通过红光对植物进行光照时，由于植物叶片会吸收红光，导致叶片呈现黑色，即通过植物图像中灰度值组成的特征会降低参考性，因此通过构建灰度共生矩阵图来强化植物图像中的轮廓和纹理等特征，能够提升植物生长阶段检测模型的检测准确度；特征提取部用于对植物图像的特征进行提取；特征融合部用于对提取的特征进行融合；分类部用于对植物图像对应的植物生长阶段进行分类，输出植物生长阶段标识。

植物生长阶段检测模型的预处理部包括尺寸统一层和灰度共生矩阵图构建层；通过灰度共生矩阵构建层对植物图像进行灰度共生矩阵图构建具体包括如下步骤：将植物图像中所有通道对应的植物图像切片进行平均池化操作，即将统一像素点坐标对应的所有通道对应的像素值进行平均值计算，得到灰度共生矩阵基准图，遍历灰度共生矩阵基准图中每个像素点坐标对应的像素值，选择最大的像素值记为G

植物生长阶段检测模型的特征提取部包括focus层、第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和四个灰度共生矩阵图构建层；focus层用于执行切片操作，具体操作步骤参考YOLOv5模型；第一特征提取层包括CBL块和CSP1.1块；第二特征提取层和第三特征提取层均包括CBL块和CSP1.3块；第四特征提取层包括CBL块和多特征融合块（SPP）；其中CBL块依次包括卷积操作（Conv）、批量标准化（BN）和非线性激活，且非线性激活函数采用Leaky-relu；CBL块、CSP1.1块、CSP1.3块和多特征融合块（SPP）的具体设置参考YOLOv5模型，特征提取部中的灰度共生矩阵图构建层与预处理部中的灰度共生矩阵图构建层设置一致，且四个灰度共生矩阵图构建层分别位于第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层之后。

通过特征提取部对植物图像的特征进行提取具体包括如下步骤：将植物图像送入至特征提取部，依次经过focus层、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层进行处理，并将第二特征提取层、第三特征提取层和第四特征提取层输出的特征图分别记为第一特征图、第二特征图和第三特征图；同时通过四个灰度共生矩阵图构建层输出对应的四个灰度共生矩阵图。

植物生长阶段检测模型的特征融合部包括3个尺度不变特征提取块、4个CBL块和4个CSP2.1块，CSP2.1块的具体设置参考YOLOv5模型，通过特征融合部对提取的特征进行融合具体包括如下步骤：将第一特征图、第二特征图和第三特征图分别经过尺度不变特征提取块处理得到第四特征图、第五特征图和第六特征图，将第六特征图依次通过CBL块和CSP2.1块处理后，再上采样得到第七特征图；将第七特征图与第五特征图进行拼接融合得到第八特征图；将第八特征图依次通过CBL块和CSP2.1块处理后，再上采样得到第九特征图；将第九特征图与第四特征图进行拼接融合得到第十特征图；将第十特征图经过CSP2.1块处理得到第十一特征图；将第十一特征图通过CBL块处理后与第八特征图拼接融合得到第十二特征图；将第十二特征图经过CSP2.1块处理得到第十三特征图；将第十三特征图通过CBL块处理后与第七特征图拼接融合得到第十四特征图；将第十四特征图经过CSP2.1块处理得到第十五特征图。

尺度不变特征提取块包括小波散射网络块和多特征融合块（SPP），小波散射网络块包括三个小波散射网络层，且三个小波散射网络层内置不同的小波散射网络参数{J，R，M}，其中J为小波散射网络层对应的最大小波变换散射尺度，其中R为小波散射网络层对应的旋转方向组合，R={R

将第一特征图、第二特征图和第三特征图分别经过尺度不变特征提取块处理得到第四特征图、第五特征图和第六特征图具体包括如下步骤：

将第一特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第一特征图对应的第四特征图；将第二特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第二特征图对应的第五特征图；同理，将第三特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第三特征图对应的第六特征图；

S1：将输入特征图送入小波散射网络部，分别经过三个小波散射网络层后得到三个尺度不变特征图，分别记为特征图F2、特征图F3和特征图F4，且特征图F2、特征图F3和特征图F4对应的尺寸逐个增大；将特征图F2、特征图F3和特征图F4分别通过多特征融合块进行处理得到特征图F5、特征图F6和特征图F7；将特征图F5经过一次卷积操作和上采样处理后，再与特征图F6拼接融合得到特征图F8；将特征图F8经过一次卷积操作和上采样处理后，再与特征图F7拼接融合得到特征图F9；将特征图F9经过一次卷积操作和上采样处理后，再与输入特征图拼接融合得到特征图F10。

本申请通过尺度不变特征提取块提取植物图像中例如叶片形状等尺度不变特征，提升植物生长阶段检测模型的准确度。

通过训练好的植物生长阶段检测模型进行检测，具体包括如下步骤：将特征融合部输出的第十五特征图送入分类部，分类部包括全连接层和分类层，分类层内置softmax函数，全连接层输出特征向量；将所有灰度共生矩阵图进行拼接后进行一次卷积得到灰度共生矩阵向量，将特征向量与灰度共生矩阵向量进行拼接再通过分类层进行分类，输出植物生长阶段标识。

本发明考虑到在执行精准光学处理之后的植物叶片像素值构成的特征参考性降低，因此在对植物图像进行特征提取时，结合灰度共生矩阵信息，强化植物图像中例如轮廓和纹理等特征的比重，从而提升植物生长阶段检测模型检测的准确度。

对植物生长阶段检测模型进行训练具体包括如下步骤：获取标注好植物生长阶段标识的植物图像，并将所有标注好植物生长阶段标识的植物图像组成植物图像训练集，通过植物图像训练集对初始化的植物生长阶段检测模型进行训练，训练期间采用交替优化方法，若是对应的交叉熵损失值在第一预设范围内，第一预设范围由人为设定，输出训练好的植物生长阶段检测模型；否则，继续迭代训练。

在实际运用中，由于营养不良等因素，植物在生长过程会出现生长不良的情况，表征为叶片出现病变等情况，因此本申请还在植物生长阶段检测模型中内嵌病变检测部；病变检测部参考YOLOv5模型中的预测部（Prediction）建立；通过训练好的病变检测部对植物病变情况进行检测具体包括如下步骤：获取将特征融合部输出的第十一特征图、第十三特征图和第十五特征图分别送入病变检测部，输出病变位置和对应病变类型的置信度。

对病变检测部的训练具体包括如下步骤：获取标注好病变类型和病变位置的植物图像，将所有标注好病变类型和病变位置的植物图像组成病变植物图像训练集；固定植物生长阶段检测模型内的参数，通过病变植物图像训练集对病变检测部的参数进行训练，训练期间采用交替优化方法，若是对应的交叉熵损失值在第二预设范围内，第二预设范围由人为设定，输出训练好的病变检测模型；否则，继续迭代训练。

本发明通过对植物图像进行识别，自动选择植物生长阶段对应的控制策略，从而自动对植物生长环境进行调整，无需人们进行操作，方便快捷；并且能够识别植物是否发生病变，从而能够对植物进行处理。

实施例2

一种跟随植物状态变化的植物生长控制系统，参见图1，包括：

植物图像获取模块，用于获取植物图像；

植物生长阶段检测模型管理模块，用于训练和存储植物生长阶段检测模型；

植物生长阶段检测模块，用于根据植物图像和植物生长阶段检测模型对植物图像进行检测，输出植物生长阶段标识；

控制策略库，用于存储植物生长阶段标识与对应的控制策略；

控制策略获取模块，用于根据输出的植物生长阶段标识从控制策略库中获取对应的控制策略；

环境调整模块，用于根据控制策略调整植物周围环境。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。本说明书中未作详细描述的部分属于本领域专业技术人员公知的现有技术。