一种智慧农业种植作物的视觉检测方法及系统

技术领域

本发明涉及图像数据处理领域，特别涉及一种智慧农业种植作物的视觉检测方法及系统。

背景技术

智慧农业种植中各个生产要素之间紧密相关，极大提高了农业生产的效率。但是，智慧农业发展上也会伴随许多技术问题。智慧农业是信息与技术相结合的产物，如何获得有效的信息成为重点。

为了获得种植作物的生长情况，需要获得种植作物的区域图像。比如，用超像素分割算法对图像进行分割。但是，现有的超像素分割容易产生过度分割的现象，以及聚类迭代后没有明确地加强连通域的连通性。因此，较复杂的农作物场景图像得到的分割效果不好。

基于此，有必要研究一种智慧农业种植作物的视觉检测方法及系统。

发明内容

本说明书实施例的一个方面提供一种智慧农业种植作物的视觉检测方法，所述方法包括：

获取智慧农业种植作物的俯视视角的HSV图像；

基于超像素分割算法将所述HSV图像分割为多个连通域；

针对每一所述连通域，基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数，所述农作物特征指数用于表征所述连通域位于所述HSV图像中所述种植作物所在区域的概率；

基于最大类间方差算法计算出所述农作物特征指数的响应阈值；

将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接，得到从所述HSV图像分割出的所述种植作物的分割图像，以作为所述种植作物的视觉检测结果。

可选地，所述获取智慧农业种植作物的俯视视角的HSV图像包括：

获取智慧农业种植作物的俯视视角的RGB图像；

基于双边滤波去除所述RGB图像的噪声；

将去除所述噪声的所述RGB图像转化为HSV图像。

可选地，所述基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数，包括：

获取所述连通域中每个像素点的饱和度；

计算所述连通域中每个像素点的粗糙度；

计算所述每个像素点的粗糙度的粗糙度均值；

计算所述每个像素点的饱和度之和与目标幂运算值的乘积，得到农作物特征指数，所述目标幂运算值为以自然常数为底数，且以所述粗糙度均值的相反数为指数得到的幂运算值。

可选地，所述获取智慧农业种植作物的俯视视角的HSV图像之后，所述方法还包括：

基于Canny算子获取所述HSV图像的边缘像素点；

计算每一所述边缘像素点的边缘色度递变规律指数，所述边缘色度递变规律指数用于表征所述边缘像素点为所述HSV图像中实际边缘的概率；

所述计算所述连通域中每个像素点的粗糙度，包括：

基于如下公式计算所述连通域中每个像素点的粗糙度

；

其中，

可选地，所述计算每一所述边缘像素点的边缘色度递变规律指数，包括：

计算每一所述边缘像素点的边缘横向变化指数；

计算每一所述边缘像素点的边缘纵向变化指数；

计算每一所述边缘像素点的累计梯度差异度；

针对每一所述边缘像素点，计算所述边缘横向变化指数乘以所述边缘纵向变化指数之积，与所述累计梯度差异度的加权平均数，作为所述边缘像素点的边缘色度递变规律指数。

可选地，所述计算每一所述边缘像素点的边缘横向变化指数，包括：

基于Sobel算子获取所述HSV图像的色度梯度；

基于所述色度梯度设置5×5的边缘滑动窗口，并计算每一所述边缘像素点的边缘矩阵，所述边缘矩阵中每一数值表示对应像素点的色度梯度；

对每一所述边缘矩阵进行横向采样，得到横向色度梯度序列；

基于每一所述横向色度梯度序列分别计算每一所述边缘像素点的边缘横向变化指数。

可选地，所述基于每一所述横向色度梯度序列分别计算每一所述边缘像素点的边缘横向变化指数，包括：

基于如下公式计算每一所述边缘像素点的边缘横向变化指数

；

其中，

可选地，所述计算每一所述边缘像素点的边缘纵向变化指数，包括：

基于Sobel算子获取所述HSV图像的色度梯度；

基于所述色度梯度设置5×5的边缘滑动窗口，并计算每一所述边缘像素点的边缘矩阵，所述边缘矩阵中每一数值表示对应像素点的色度梯度；

对每一所述边缘矩阵进行纵向采样，得到纵向色度梯度序列；

基于每一所述纵向色度梯度序列分别计算每一所述边缘像素点的边缘纵向变化指数。

可选地，所述计算每一所述边缘像素点的累计梯度差异度，包括：

基于相邻灰度差分矩阵原理，获取每一所述边缘像素点的5×5窗口的相邻梯度差分矩阵；

基于所述相邻梯度差分矩阵的第三列计算所述边缘像素点的累计梯度差异度。

本说明书实施例的另一个方面还提供一种智慧农业种植作物的视觉检测系统，所述系统包括：

获取模块，用于获取智慧农业种植作物的俯视视角的HSV图像；

分割模块，用于基于超像素分割算法将所述HSV图像分割为多个连通域；

指数计算模块，用于针对每一所述连通域，计算所述连通域的农作物特征指数，所述农作物特征指数用于表征所述连通域位于所述HSV图像中所述种植作物所在区域的概率；

阈值计算模块，用于基于最大类间方差算法计算出所述农作物特征指数的响应阈值；

连接模块，用于将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接，得到从所述HSV图像分割出的所述种植作物的分割图像，以作为所述种植作物的视觉检测结果。

本说明书实施例所提供的智慧农业种植作物的视觉检测方法和系统可能带来的有益效果至少包括：（1）考虑了地面与种植作物的区别，地面有土块颗粒存在，所以不同部位的粗糙度不同，即种植作物上粗糙度较小。同时结合种植作物本身的饱和度属性，计算农作物特征指数，用于增强连通域的连通性，进而将种植作物区域图像分割出来，避免了超像素分割的过度分割现象，对于较复杂的农作物场景图像能得到更好的分割效果。（2）根据边缘横向变化指数、边缘纵向变化指数和累计梯度差异度计算边缘色度递变规律指数，并根据边缘色度递变规律指数计算边缘像素点的粗糙度，以准确地反映边缘像素点的表面粗糙程度，提高了后续图像分割的准确度。

附加的特征将在下面的描述中部分地阐述。对于本领域技术人员来说，通过查阅以下内容和附图将变得显而易见，或者可以通过实例的产生或操作来了解。本说明书的特征可以通过实践或使用以下详细实例中阐述的方法、工具和组合的各个方面来实现和获得。

附图说明

本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的智慧农业种植作物的视觉检测方法的示例性流程图；

图2是根据本说明书的一些实施例所示的智慧农业种植作物的视觉检测系统的示例性模块图；

图3是获取到的智慧农业种植作物的俯视视角的原图；

图4是超像素分割后的效果图；

图5是图像分割后的效果图。

具体实施方式

参照图1，在本实施例中，智慧农业种植作物的视觉检测方法可以包括：

S310，获取智慧农业种植作物的俯视视角的HSV图像。

S320，基于超像素分割算法将所述HSV图像分割为多个连通域。

S330，针对每一所述连通域，基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数，所述农作物特征指数用于表征所述连通域位于所述HSV图像中所述种植作物所在区域的概率。

S340，基于最大类间方差算法计算出所述农作物特征指数的响应阈值。

S350，将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接，得到从所述HSV图像分割出的所述种植作物的分割图像，以作为所述种植作物的视觉检测结果。

在步骤S310中，HSV图像是指在HSV颜色空间下的图像，由色相(Hue)、饱和度(Saturation)和明度(Value)三个参数组成。俯视视角即从正上方向下看的视角。在一些实施例中，可以通过输入设备将俯视视角的HSV图像输入计算设备以获取HSV图像。

可选地，在步骤S310中，获取智慧农业种植作物的俯视视角的HSV图像包括：

S311，获取智慧农业种植作物的俯视视角的RGB图像；

S312，基于双边滤波去除所述RGB图像的噪声；

S313，将去除所述噪声的所述RGB图像转化为HSV图像。

在步骤S311中，可以利用CCD相机采集智慧农业场景下的种植作物图像，拍摄方式采用俯视拍摄，得到RGB颜色空间的图像即RGB图像。RGB颜色空间是一种由红、绿、蓝三种基本颜色组成的颜色模型。在一些实施例中，可以利用输入设备将RGB图像输入计算设备以获取RGB图像。

步骤S311执行后，可以进入执行步骤S312，对获取的种植作物的RGB图像进行预处理，消除噪声和部分外界干扰造成的影响，增强后续分析的准确性。为了在保留边界信息的同时去除噪声，本发明选用双边滤波对RGB图像进行处理，在其它实施方式中，可以采取其他去噪方法。

步骤S312执行完成后，可以进入执行步骤S313，将去噪后的种植作物的RGB图像转化为HSV颜色空间的种植作物图像即HSV图像。

在步骤S320中，超像素分割算法是一种图像分割方法，它将图像分割成多个小区域即连通域，每个小区域都有相似的颜色、亮度和纹理等特征。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息，用少量的超像素代替大量像素表达图像特征。

具体来讲，可以根据获得得到HSV空间上的种植作物的HSV图像，对图像进行初步分割。设图像的大小为

关于相似度的度量方式，传统的超像素分割算法度量距离是基于聚类中心点与被计算像素点之间的欧氏距离与颜色距离。但是，种植作物的叶子容易发生枯黄，导致被计算像素点与聚类中心点之间的颜色距离过大，从而相似度较小，进而根据超像素分割的结果对连通域的连通性进行增强往往会产生较大的干扰，即分割效果较差，容易产生过分割现象，分割过程中容易将叶子泛黄的区域分割除去。因此，传统的超像素分割算法的连通域连接的度量方式需要进行改进。

在步骤S330中，为了将智慧农业种植作物图像中的种植作物分割出来，由于作物表面颜色比较一致，而地面有土块颗粒存在，所以不同部位的粗糙度不同。同时结合种植作物本身的饱和度属性，计算连通域的农作物特征指数，以用于后续增强连通域的连通性，便于将种植作物区域图像分割出来。

由于农作物存在两个较大的特征，其一农作物上的色度较为均匀，且具有饱和度较大的特征，其二考虑了地面与种植作物的区别，地面有土块颗粒存在，所以不同部位的粗糙度不同，地面的粗糙度较大，种植作物上粗糙度相对较小；与之作比较地面，同样存在两个较大的特征，其一地面由于存在土块不具备较为鲜艳的颜色特征，因此饱和度较小，其二地面由于存在土块，其地面区域图像反映出的粗糙度较大。由于地面和种植作物之间的差别主要是两个方面，饱和度和粗糙度，因此，就可以根据地面和种植作物之间的饱和度和粗糙度的差异情况进行属于农作物区域的可能性的判断，由此设定农作物特征指数这一参量，用于反映连通域属于农作物区域的可能性，而且农作物特征指数与饱和度成正比关系，与粗糙度均值成反比关系。连通域的农作物特征指数反映了连通域属于农作物区域的可能性，农作物特征指数越大，对应的连通域在HSV图像中对应区域属于种植作物的概率越大。

可选地，在步骤S330中，基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数，包括：

S331，获取所述连通域中每个像素点的饱和度；

S332，计算所述连通域中每个像素点的粗糙度；

S333，计算所述每个像素点的粗糙度的粗糙度均值；

S334，计算所述每个像素点的饱和度之和与目标幂运算值的乘积，得到农作物特征指数，所述目标幂运算值为以自然常数为底数，且以所述粗糙度均值的相反数为指数得到的幂运算值。

在步骤S331中，由于饱和度为HSV图像本身的一个属性参数，因此可以直接从HSV图像中读取每个像素点的饱和度。

可选地，步骤S310即获取智慧农业种植作物的俯视视角的HSV图像之后，具体可以在执行步骤S330之前，所述智慧农业种植作物的视觉检测方法还包括：

S31a，基于Canny算子获取所述HSV图像的边缘像素点。

S31b，计算每一所述边缘像素点的边缘色度递变规律指数，所述边缘色度递变规律指数用于表征所述边缘像素点为所述HSV图像中实际边缘的概率。

在步骤S31a中，举例来讲，可以在获取HSV图像后，针对种植作物图像的边缘情况，利用Canny算子获取图像的边缘，即这些边缘既包含农作物与地面形成的边缘，还包含农作物叶子枯黄形成的边缘，提取获取的边缘像素点，可以记P为边缘像素点的集合。Canny算子是一种边缘检测算子，是一种综合在抗噪声干扰和精确定位之间寻求最佳折中方案的边缘检测方法。

步骤S31a执行完成后，可以进入执行步骤S31b。在步骤S31b中，获取边缘像素点后，可以提取HSV图像于HSV空间上的色度维度数据，利用Sobel算子获取图像的色度梯度幅值，然后基于图像的色度梯度，设置5×5的边缘滑动窗口，计算每一个边缘像素点的边缘色度递变规律指数。

可选地，在步骤S31b中，计算每一所述边缘像素点的边缘色度递变规律指数，包括：

S31b1，计算每一所述边缘像素点的边缘横向变化指数；

S31b2，计算每一所述边缘像素点的边缘纵向变化指数；

S31b3，计算每一所述边缘像素点的累计梯度差异度；

S31b4，针对每一所述边缘像素点，计算所述边缘横向变化指数乘以所述边缘纵向变化指数之积，与所述累计梯度差异度的加权平均数，作为所述边缘像素点的边缘色度递变规律指数。

在步骤S31b1中，边缘横向变化指数越大，说明对应的边缘像素点越有可能是实际边缘即种植作物与土地边缘的像素点。由于图像边缘的不规范性，通过横向采样与纵向采样的方式，获取边缘像素点的不同方向的变化情况，横向采样和纵向采样分别参见步骤S31b1和S31b2。可选地，在步骤S31b1中，计算每一所述边缘像素点的边缘横向变化指数，包括：

S31b11，基于Sobel算子获取所述HSV图像的色度梯度；

S31b12，基于所述色度梯度设置5×5的边缘滑动窗口，并计算每一所述边缘像素点的边缘矩阵，所述边缘矩阵中每一数值表示对应像素点的色度梯度；

S31b13，对每一所述边缘矩阵进行横向采样，得到横向色度梯度序列；

S31b14，基于每一所述横向色度梯度序列分别计算每一所述边缘像素点的边缘横向变化指数。

在步骤S31b11中，可以提取HSV空间上的色度维度数据，利用Sobel算子获取图像的色度梯度幅值作为HSV图像的色度梯度。Sobel算子也叫做索贝尔算子，主要用作边缘检测。在技术上，它是一离散性差分算子，用来运算图像亮度函数的梯度之近似值。在一些实施例中，可以选择检测水平边缘的Sobel算子。

步骤S31b11执行完成后，可以进入执行步骤S31b12，在一些实施例中，可以基于图像的色度梯度，设置5×5的边缘滑动窗口。举例来讲，边缘像素点a的滑动窗口中，像素点a形成的5×5的边缘矩阵aa，即：

；

边缘矩阵中每一个像素点的数值表示像素点的色度梯度。进而在步骤S31b13中，根据获取的边缘矩阵，对矩阵进行横向采样，采样方式可以是随机的，如本发明采取S型采样方式，实施者可以采用其他的横向采样方式。根据采取S型采样方式，获取边缘矩阵的横向色度梯度序列

；

农作物与地面的边缘为实际边缘，农作物中枯黄的边缘为虚假边缘，由于叶子枯黄区域一般有渐变的过程，而农作物与地面的边缘则是骤变。因此，实际边缘的色度梯度较大，则会导致实际边缘的局部色度梯度变化较大，而横向色度梯度序列反映了每一个边缘像素点的局部横向梯度变化规律。

步骤S31b13执行完成后，可以进入执行步骤S31b14，在步骤S31b14中，基于每一所述横向色度梯度序列分别计算每一所述边缘像素点的边缘横向变化指数，可以包括：

基于如下公式计算每一所述边缘像素点的边缘横向变化指数

；

其中，

变异系数

步骤S31b1执行完成后，可以进入执行步骤S31b2，在步骤S31b2中，计算每一所述边缘像素点的边缘纵向变化指数，可以包括：

S31b21，基于Sobel算子获取所述HSV图像的色度梯度；

S31b22，基于所述色度梯度设置5×5的边缘滑动窗口，并计算每一所述边缘像素点的边缘矩阵，所述边缘矩阵中每一数值表示对应像素点的色度梯度；

S31b23，对每一所述边缘矩阵进行纵向采样，得到纵向色度梯度序列；

S31b24，基于每一所述纵向色度梯度序列分别计算每一所述边缘像素点的边缘纵向变化指数。

步骤S31b21至步骤S31b24可以分别参见步骤S31b11至步骤S31b14。不同之处在于，步骤S31b21中，Sobel算子可以是检测垂直边缘的算子。在步骤S31b23中，对窗口进行相同方式的纵向采样，并得到纵向色度梯度序列，并在步骤S31b24中计算边缘纵向变化指数

根据获取的边缘矩阵，对矩阵进行纵向采样，同样采取S型采样方式得到边缘矩阵的纵向色度梯度序列

；

纵向色度梯度序列

基于每一纵向色度梯度序列分别计算每一边缘像素点的边缘纵向变化指数，包括：

基于如下公式计算每一边缘像素点的边缘纵向变化指数

；

其中，

变异系数

至此，得到每一边缘像素点的边缘横向变化指数及边缘纵向变化指数。

横向与纵向的变化指数反映窗口整体的变化，可以反映边缘像素点局部的变化，但是重要的还是中心像素点与邻域的差异，差异越大，边缘像素点的边缘色度递变规律指数越大，进而执行步骤S31b3，在步骤S31b3中，计算每一所述边缘像素点的累计梯度差异度，可以包括：

S31b31，基于相邻灰度差分矩阵原理，获取每一所述边缘像素点的5×5窗口的相邻梯度差分矩阵；

S31b32，基于所述相邻梯度差分矩阵的第三列计算所述边缘像素点的累计梯度差异度。

在步骤S31b31中，利用相邻灰度差分矩阵原理，获取边缘像素点的5×5窗口的相邻梯度差分矩阵。相邻梯度差分矩阵的第三列表示矩阵中每种梯度在窗口的所有位置与其8-邻域范围内平均梯度差异之和，因此可以在步骤S31b32中，通过相邻梯度差分矩阵的第三列可以得到中心边缘像素点的累计梯度差异度。具体地：将相邻梯度差分矩阵的第三列中所有元素的累加和作为边缘像素点的累计梯度差异度。

利用相邻灰度差分矩阵原理，获取边缘像素点的5×5窗口的相邻梯度差分矩阵。举个例子，获取边缘像素点a的5×5窗口的相邻梯度差分矩阵F(a)：

；

相邻梯度差分矩阵的第三列表示矩阵中每种梯度在窗口的所有位置与其8-邻域范围内平均梯度差异之和，相邻灰度差分矩阵原理为公知技术，具体过程不做赘述。进一步地，将相邻梯度差分矩阵的第三列中所有元素的累加和作为边缘像素点a的累计梯度差异度。

步骤S31b3执行完成后，可以进入执行步骤S31b4，具体可以结合窗口的整体变化，基于如下公式计算每个边缘像素点的边缘色度递变规律指数

；

式子中，

边缘色度递变规律指数用于区分实际边缘像素点和虚假边缘像素点。边缘横向变化指数

计算出边缘色度递变规律指数之后，可以进入执行步骤S331，步骤S331执行完成后可以进入执行步骤S332，一般场景下，地面由于空气干燥以及其他因素会形成土块，导致拍摄到的背景地面凹凸不平，而种植作物上没有凹凸不平的特点。凹凸不平的现象会导致不同部位的地面亮度不同，进而导致地面较为粗糙，因此可以考虑结合像素点的粗糙度对图像边缘进行判断。在步骤S332中，计算所述连通域中每个像素点的粗糙度，可以包括：

基于如下公式计算所述连通域中每个像素点的粗糙度

；

其中，

对种植作物图像中每个像素点计算粗糙度，对不属于边缘的像素点来说，局部区域的信息熵越小，说明内部的亮度变化越小，则粗糙度

对于利用传统的超像素分割算法对种植作物进行分割的结果，由于超像素分割算法中没有强制连接相同特征的连通域，并且连通域会将种植作物上的正常叶子和枯黄叶子分割开。为了解决增强连通域的连通性问题，结合不同连通域的粗糙度，由于地面的区域上的粗糙度较大，而种植作物上面正常区域以及枯黄区域的粗糙度较小。并且，属于实际边缘像素点的粗糙度较大，虚假边缘像素点的粗糙度较大。

步骤S332计算完成后，可以进入执行步骤S333，计算粗糙度均值，完成后进入执行步骤S334，在步骤S334中，根据超像素分割算法得到的每个连通域，结合HSV空间中每个像素点的饱和度，以连通域Q为例，计算每个连通域的农作物特征指数

；

式子中，

连通域中的累计饱和度

计算出农作物特征指数之后，可以进入执行步骤S340，在一些实施例中，基于计算每个连通域的农作物特征指数，按照从小到大的顺序排列，可以得到一组农作物特征指数序列U，即：

；

农作物特征指数序列U中，最小农作物特征指数为

每个农作物特征指数表示一个连通域，由于种植作物区域的农作物特征指数较大，而地面区域的农作物特征指数较小。两者会形成对比，根据农作物特征指数序列中的农作物特征指数，利用最大类间方差算法Otsu计算得到响应阈值

在步骤S350中，将高于响应阈值R的农作物特征指数视为较大的农作物特征指数，将较大的农作物特征指数连通域连接起来，即将种植作物区域的不同部位连接起来，进而将种植作物从HSV图像上分割出来，得到种植作物的分割图像，并作为视觉检测的结果，进而可以根据种植作物的生长状况对植物作物进行评价。由于种植作物上的农作物特征指数较大，通过阈值将农作物特征指数较大的连通域筛选出来，形成一个连通域，可以提高分割的准确性。

本实施例还提供一种智慧农业种植作物的视觉检测系统200，如图2所示，包括获取模块210、分割模块220、指数计算模块230、阈值计算模块240、连接模块250。

获取模块210，可以用于获取智慧农业种植作物的俯视视角的HSV图像；

分割模块220，可以用于基于超像素分割算法将所述HSV图像分割为多个连通域；

指数计算模块230，可以用于针对每一所述连通域，计算所述连通域的农作物特征指数，所述农作物特征指数用于表征所述连通域位于所述HSV图像中所述种植作物所在区域的概率；

阈值计算模块240，可以用于基于最大类间方差算法计算出所述农作物特征指数的响应阈值；

连接模块250，可以用于将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接，得到从所述HSV图像分割出的所述种植作物的分割图像，以作为所述种植作物的视觉检测结果。

关于上述各个模块的更多细节可以参照本说明书的其他位置（例如图1部分及其相关描述），此处不再赘述。

图3-图5是本实施例提供的一种智慧农业种植作物的视觉检测方法在执行过程中对应的技术效果图，其中图3是获取到的智慧农业种植作物的俯视视角的原图，图4是超像素分割后的效果图，图5是图像分割后最终呈现出来的效果图。

综上所述，本说明书实施例可能带来的有益效果包括但不限于：（1）考虑了地面与种植作物的区别，地面有土块颗粒存在，所以不同部位的粗糙度不同，即种植作物上粗糙度较小。同时结合种植作物本身的饱和度属性，计算农作物特征指数，用于增强连通域的连通性，进而将种植作物区域图像分割出来，避免了超像素分割的过度分割现象，对于较复杂的农作物场景图像能得到更好的分割效果；（2）根据边缘横向变化指数、边缘纵向变化指数和累计梯度差异度计算边缘色度递变规律指数，并根据边缘色度递变规律指数计算边缘像素点的粗糙度，以准确地反映边缘像素点的表面粗糙程度，提高了后续图像分割的准确度。