基于热红外和RGB-D相机的作物CWSI的检测方法

技术领域

本发明属于作物水分胁迫检测领域，尤其涉及一种基于热红外相机和RGB-D相机的作物CWSI(Crop Water Stress Index，作物水分胁迫指数)的检测方法。

背景技术

CWSI(Crop Water Stress Index，作物水分胁迫指数)的检测需要用到作物冠层温度。热红外图像可以提供温度信息，但是由于热红外图像的低分辨率原因，可以使用可见光图像进行辅助，因此需要对热红外图像和可见光图像进行配准。热红外与可见光图像的配准，多采用快速鲁棒特征点检测(Speed Up Robust Feature,SURF)等基于特征的匹配方法，对两幅图像重叠部分进行特征匹配。但是热红外图像和可见光图像由于传感器不同，成像差异很大。并且检测场景在大田，由于大田中的环境复杂，土壤和土地中的杂草等都会成为热红外图像和可见光图像配准过程中的干扰因素。

发明内容

针对上述技术问题，本发明的目的是提供一种基于热红外相机和RGB-D相机的作物CWSI的检测方法，充分融合获取的RGB图像、深度图像和热红外图像对作物冠层温度进行提取，并计算作物水分胁迫指数。

为了实现上述目的，本发明提供了如下技术方案：

一种基于热红外相机和RGB-D相机的作物CWSI的检测方法，包括如下步骤：

Step1、通过热红外相机和RGB-D相机垂直于地面拍摄，同时获取同一株作物的包含湿参考面的热红外图像以及左右视角的两张可见光图像；

所述湿参考面为放置在作物旁的用于模拟作物叶片的气孔完全打开处于全蒸腾作用下状态的装置；

Step2、根据RGB-D相机左右视角拍摄的两张可见光图像，利用相机自带的SDK生成相应的原始点云深度图像；所述深度图像中点云数据包含三维坐标信息和颜色信息；

Step3、点云数据预处理；

对原始点云深度图像采用动态阈值分割，排除明显不属于绿叶的背景信息，获得预处理后的点云数据；

Step4、点云数据聚类分割；

Step4.1、将预处理后的点云数据的三维坐标存放在一个N×3的矩阵中，N为点云数据的个数，每一行即为每一个点云数据的三维坐标(x,y,z)，行号作为索引号；

Step4.2、按索引号由小到大的顺序选取一个未被标记的点，并作为中心点，绘制一个三维球体作为遍历窗口区域，将遍历窗口区域内的未被标记的点标记为与该中心点相同类别，并将其索引号排入遍历队列；在该遍历队列中，按索引号由小到大的顺序选取一个已被标记点作为下一个中心点，绘制三维球体作为遍历窗口区域，将遍历窗口区域内的未被标记的点标记为与中心点相同类别，并将其索引号排入该遍历队列中，以此类推，直到该遍历队列中最后一个中心点已无法搜集到未标记的新点加入，意味着一次聚类分割的完成，将该遍历队列中的所有点的序号集合，作为一类；

Step4.3、在剩余未被标记的点中，按索引号由小到大的顺序选取下一个未被标记的点，重复Step4.2的操作，完成第二次分类，以此类推，直到矩阵中所有点云数据均被遍历分类；获得聚类分割后的点云数据；

Step5、点云三维映射到二维；

Step5.1、通过公式1将聚类分割后的点云数据中的各点云的三维坐标P(x

式中，u为投射后图像的横坐标，v为投射后图像的纵坐标，u

Step5.2、将Step5.1获得的各点云的二维坐标的坐标值取整；然后，将点云的颜色信息构成的颜色矩阵直接赋值到Step5.1获得的图像矩阵中对应的位置；

Step5.3、将Step5.2赋值后的图像进行中值滤波，输出一张作物冠层区域的二维图像；

Step6、二维图像与热红外图像配准；

提取Step5获得的二维图像中作物冠层区域的坐标，与Step1获取的热红外图像进行配准，获得配准后的融合图像；

Step7、索引冠层温度矩阵，提取作物冠层的温度；

根据Step6获得的配准后的融合图像的作物冠层区域的坐标，索引到相应的冠层温度，获得作物冠层三维温度；

Step8、计算CWSI的值；

根据Step7获得的作物冠层三维温度分布图和公式

式中，T

Step1中，湿参考面装置包括塑料盒、聚苯乙烯泡沫板、吸水性无纺布和粘胶混合布、聚酯无纺布；塑料盒中装有水，聚苯乙烯泡沫板覆盖在塑料盒的水面上，在聚苯乙烯泡沫板上面包裹一层吸水性无纺布和粘胶混合布，之后再包裹一层聚酯无纺布，这种情况下，聚苯乙烯泡沫板上的材料会吸收水分，有效减少蒸发，使其保持较低温度，模拟作物叶片的气孔完全打开处于全蒸腾作用下的温度，即湿参考面温度T

塑料盒的尺寸为40cm×30cm×12cm；吸水性无纺布和粘胶混合布的厚度为0.5cm；聚酯无纺布的厚度为2cm。

Step4.2中，所述三维球体的半径为0.01m。

Step6中，热红外图像与二维图像的配准方法为：

将Step5获得的作物冠层区域的二维图像作为参考图像y，Step1获取的热红外图像作为浮动图像x，其坐标系为r(x)，以冠层图像为映射坐标系f(y)，根据坐标变换，将浮动图像x中的点变换到参考图像y坐标系中，对变换后的非整数坐标上的点进行灰度差值，通过公式2计算参考图像与浮动图像的互信息；

式中，S(x,y)表示参考图像x与浮动图像y两者之间的互信息测度值，P(x,y)代表图像x与图像y之间的联合概率密度，P(x)函数表示参考图像x的边缘概率密度，P(y)函数表示浮动图像y的边缘概率密度；

改变空间变换参数的值，确定使S(x,y)达到最小值时对应的空间变换参数。

所述方法适用于茄科作物的作物水分胁迫指数的检测。

所述茄科作物包括马铃薯、番茄、辣椒、茄、枸杞。

与现有技术相比，本发明的有益效果在于：

本发明能够解决田间复杂环境干扰下作物冠层温度的提取问题，最后计算的CWSI对于田间作物水分灌溉具有指导意义。

附图说明

图1是本发明的基于热红外相机和RGB-D相机的作物CWSI的检测方法的流程示意图；

图2是湿参考面分别在热红外图像(左)与可见光图像(右)中的成像示意图；

图3是预处理后的点云数据示意图；

图4是RGB-D相机采集软件界面示意图；

图5是基于区域生长的Meanshift算法示意图；

图6是点云数据的三维坐标表；

图7a～图7c是聚类分割过程示意图；

图8是聚类分割后的实施例马铃薯点云数据图像；

图9是点云三维到二维的映射具体流程图；

图10是基于互信息的多模态配准算法流程图；

图11是热红外与可见光图像配准结果；

图12是热红外和深度图像配准结果示意图；

图13是获取的马铃薯冠层温度分布图。

具体实施方式

下面结合附图和实施例对本发明进行进一步说明。

如图1所示，本发明的基于热红外相机和RGB-D相机的作物CWSI的检测方法，包括如下步骤：

Step1、通过热红外相机和RGB-D相机垂直于地面拍摄，同时获取同一株作物的包含湿参考面的热红外图像以及左右视角的两张可见光图像。

如图2所示，箭头所指分别为湿参考面在热红外图像与可见光图像中的成像，左边为黑色部分，右边为白色部分；所述湿参考面为放置在作物旁的用于模拟作物叶片的气孔完全打开处于全蒸腾作用下状态的装置，该装置包括塑料盒、聚苯乙烯泡沫板、吸水性无纺布和粘胶混合布、聚酯无纺布；40cm×30cm×12cm的塑料盒中装有水，聚苯乙烯泡沫板覆盖在塑料盒的水面上，在聚苯乙烯泡沫板上面包裹一层0.5cm厚的吸水性无纺布和粘胶混合布，之后再包裹一层2cm厚的聚酯无纺布，这种情况下，聚苯乙烯泡沫板上的材料会吸收水分，有效减少蒸发，使其保持较低温度，模拟作物叶片的气孔完全打开处于全蒸腾作用下的温度，即湿参考面温度T

Step2、根据RGB-D相机左右视角拍摄的两张可见光图像，利用相机自带的SDK生成相应的原始点云深度图像。对于RGB-D相机，首先需要对其进行标定，然后进行点云数据的采集。所述深度图像中点云数据包含三维坐标信息和颜色信息。

Step3、点云数据预处理。

深度图像中点云数据通常十分密集，如果直接使用不仅会浪费大量的计算机资源，也使得计算时间延长，数据精简的目的就在于在不明显减少模型信息的前提下，用尽量少的点来表示，为后续的点云处理节约空间和时间。

本实施例对象为马铃薯植株，对原始点云深度图像采用动态阈值分割，排除明显不属于绿叶的背景信息。颜色划分的基本思路是利用图像中G通道与R通道，B通道的最大差值大于某一个值时候，认定为绿色，提取该部分的点云数据，获得预处理后的点云数据，如图3所示。

如图4所示，RGB-D相机采集界面示意图，其中，左上为左或右视角拍摄的可见光图像，左下为合成的原始点云深度图像，右侧为生成的预处理后的点云数据图。以马铃薯为对象，深度图像中颜色越浅代表距离越近；颜色越深代表距离越远。

Step4、点云数据聚类分割

Meanshift(均值漂移算法)算法无需事先选定种子，也无需事先确定分类数目，有较好的鲁棒性；常用于图像处理中的区域生长算法，是根据实现定义的准则将像素或者子区域聚合成更大区域的过程。本实施例中的马铃薯叶片数量和位置均为未知参数，因此本发明提出基于区域生长的Meanshift聚类算法。

区域生长是一个图像处理中分割算法的思想，将具有相似性质的像素点合并到一起，在每个区域指定种子点作为生长起点，然后将种子点周围邻域的像素点与种子点进行比较，对有相似性质的像素点合并以后继续向外生长，直到没有满足条件的像素被包括为止。

如图5所示，对Step3获得的预处理后的点云数据图进行基于区域生长的Meanshift聚类分割，包括如下步骤：

Step4.1、将预处理后的点云数据的三维坐标存放在一个N×3的矩阵中，N为点云数据的个数，每一行即为每一个点云数据的三维坐标(x,y,z)，行号作为索引号，如图6所示；

Step4.2、初始状态下，所有点云数据均处于未标记状态；如图7a所示，按索引号由小到大的顺序选取一个未被标记的点，并作为中心点，绘制一个三维球体作为遍历窗口区域(图7a中以二维表示)，将遍历窗口区域内的未被标记的点标记为与该中心点相同类别，并将其索引号排入遍历队列；在该遍历队列中，按索引号由小到大的顺序选取一个已被标记点作为下一个中心点，绘制三维球体作为遍历窗口区域，将遍历窗口区域内的未被标记的点标记为与中心点相同类别，并将其索引号排入该遍历队列中，以此类推，直到该遍历队列中最后一个中心点已无法搜集到未标记的新点加入，意味着一次聚类分割的完成，将该遍历队列中的所有点的序号集合，作为一类。如图7b和图7c中箭头所指数字为当前遍历的中心点。所述三维球体的半径为0.01m。

Step4.3、在剩余未被标记的点中，按索引号由小到大的顺序选取下一个未被标记的点，重复Step4.2的操作，完成第二次分类，以此类推，直到矩阵中所有点云数据均被遍历分类；获得聚类分割后的点云数据。如图8所示，实施例马铃薯聚类分割后的点云数据图像。

Step5、点云三维映射到二维

如图9所示，具体过程如下：

由于点云数据与二维图像数据结构具有差异，不能直接进行红外图像与三维点云数据配准，因此需要将点云投射在二维平面上构建三维与二维的对应关系，因为拍摄时为垂直于地面拍摄，映射过程可理解为三维空间中摄像机拍摄图像的过程。三维投射成二维图像的过程可以理解为虚拟空间中的拍摄过程，利用虚拟空间中的虚拟内参矩阵可将点云投射到图像中。

Step5.1、通过公式1将聚类分割后的点云数据中的各点云的三维坐标P(x

式中，u为投射后图像的横坐标，v为投射后图像的纵坐标，u

Step5.2、将Step5.1获得的各点云的二维坐标的坐标值取整；然后，将点云的颜色信息构成的颜色矩阵直接赋值到Step5.1获得的图像矩阵中对应的位置；

Step5.3、将Step5.2赋值后的图像进行中值滤波，输出一张作物冠层区域的二维图像。

Step6、二维图像与热红外图像配准；

提取Step5获得的二维图像中作物冠层区域的坐标，与Step1获取的热红外图像进行配准，获得配准后的融合图像。此时的配准是在热红外与可见光图像配准的基础上完成的。

因为传统的图像配准方法如SURF等基于特征的配准，在复杂的大田环境中经常出现误匹配到土壤等情况。本发明中将常用于医学中的基于互信息的多模态配准方法应用于田间马铃薯图像中。

如图10所示，热红外图像与二维图像的配准方法为：

将Step5获得的作物冠层区域的二维图像作为参考图像y，Step1获取的热红外图像作为浮动图像x，其坐标系为r(x)，以冠层图像为映射坐标系f(y)，确定图像间的空间变换参数。

根据坐标变换，将浮动图像x中的点变换到参考图像y坐标系中，对变换后的非整数坐标上的点进行灰度差值，通过公式2计算参考图像与浮动图像的互信息。

式中，S(x,y)表示参考图像x与浮动图像y两者之间的互信息测度值，P(x,y)代表图像x与图像y之间的联合概率密度，P(x)函数表示参考图像x的边缘概率密度，P(y)函数表示浮动图像y的边缘概率密度。

该方法计算的互信息测度值应该为一个负值，因此两幅图像相关性最大时，该值是一个较小的值。

改变空间变换参数的值，确定使S(x,y)达到最小值时对应的空间变换参数。

如图11所示，其中(a)是原始采集的热红外与可见光图像组，(b)是传统采用surf特征方法进行图像配准的结果，(c)是基于互信息的图像配准方法进行图像配准的结果。可以看出本发明基于互信息进行图像配准相对于传统采用surf特征方法进行图像配准，可以实现很好的配准效果，其中热红外中的湿参考面由于温度较低，在配准后图像中有清晰的显示。如图12所示，实施例马铃薯的热红外图像与二维图像配准结果。

Step7、索引冠层温度矩阵，提取作物冠层的温度。

根据Step6获得的配准后的融合图像的作物冠层区域的坐标，索引到相应的冠层温度，获得作物冠层三维温度，如图13所示的马铃薯植株冠层三维温度分布图。

Step8、计算CWSI的值。

根据Step7获得的作物冠层三维温度分布图和公式

式中，T