基于消费级深度相机的立木因子测量方法

技术领域

本发明属于林业监测领域，具体涉及一种基于消费级深度相机的立木因子测量方法。

背景技术

森林是生物遗传多样性最为丰富的生态系统，在碳循环、调节全球气候、水土保持等方面发挥着至关重要的作用。立木的树高、胸径和冠幅既是森林资源清查中的重要测量因子，又是监测立木生长、价值估计的主要依据。自然环境中不同类型的立木具有不同的形态且结构复杂多样，在日常资源清查中，立木树高、胸径、冠幅的测量通常由人工使用刻度尺完成，该方法测量效率低，且存在人为误差。因此，为了提高立木测量效率和精度，相关学者借助高精度测量仪器作为测量工具，获取立木信息计算立木参数，准确、高效地完成立木测量，促进立木测量理论和实际应用的发展。但是，便捷、普适的立木测量方法仍在不断被探索。

当前，随着三维技术的发展，三维测量等方法被广泛应用于农业测量。此类测量方法通常使用精密设备扫描立木全景从而恢复立木的三维模型并计算立木因子，但这类三维测量方法所需的精密仪器价格昂贵，不便携带，且需要求测量人员掌握专业知识，学习专业操作，因而普适性不高。前人在测树方面已经完成的工作有：

(1)基于计算机视觉的立木测量方法

计算机视觉利用目标物图像的像素信息估算目标物与相机的距离，并通过相机成像原理获取目标物的物理尺寸，主要包括单目视觉、双目视觉。刘金成研发了一种实时动态双目立体摄影测量树仪，以空间定位技术为基础，利用三角函数原理、SFM算法、双目摄影测量解算法原理计算立木高度和胸径；Ayoub等利用双目视觉系统获取立木的视差图并对其进行几何属性分析，求取立木各参数。然而，立体视觉的算法通常较为复杂，耗时长，对硬件设备要求高，且彩色相机对自然环境中的光照具有较差的鲁棒性。武新梅等基于单目视觉技术构建深度图提取模型计算立木的深度信息，研究图像坐标系、相机坐标系、物方坐标系之间的转换关系，构建立木树高、胸径、冠幅测量模型以实现单幅图像的立木因子的自动化测量；陈相武等分割立木图像获取立木轮廓，标定相机模型并结合相机成像原理求取立木的深度信息，最后通过三角函数原理根据深度信息和角度信息计算立木树高，此类基于单目视觉的立木因子测量方法受测量操作影响大，且测量前需要进行相机标定等操作。

(2)基于无人机、遥感影像的立木测量方法

近年来随着无人机及遥感影像技术的发展，出现一些基于遥感影像的立木因子测量方法，利用小型无人机拍摄多光谱图像，并结合地理信息分析图像获取立木属性。Yin等人利用无人机采集的光探测和测距数据，对红树林进行个体树木探测和划定，检测和测量每棵红树林的树高和树冠直径；Jucker等从空中图像中识别和测量单个树木的树冠尺寸，从遥感的属性估计树木的直径和地上生物量；Panagiotidis等使用无人机通过摄影测量和结构自运动感测的高分辨率图像来估计树高和树冠直径，使用冠层高度模型提取高度，平滑光栅图像用于确定局部极大值，借助于地理信息系统以及逆流域分水岭估计冠直径。但基于无人机、遥感影像的测量方法受天气影响大，高精度的摄像头价格昂贵，且需要专业的人员随行进行数据采集。

(3)基于深度相机、激光扫描仪的立木测量

深度相机、激光扫描仪在提供彩色图像的同时保留了目标物的深度信息。Tian等结合地面激光扫描仪和无人机影像点云数据，基于冠层高度模型和种子点模型对中小型林场高郁闭度人工针叶林的树高进行提取；王琪

专利申请号为CN107643048A的专利申请公开了一种基于点云数据的测树因子自动提取方法，该方法基于投影估计获得测树因子，存在不准确的问题。专利申请号为CN105513078A的专利申请公开了一种基于图像的立木信息采集方法和装置，该方法基于像素和标定物反算出立木的被测参数，当标定物获取困难或不存在再或尺寸不准确时就会导致难以测出立木的被测参数或测量不准确。

发明内容

鉴于上述，本发明的目的是提供一种基于消费级深度相机的立木因子测量方法。以实现对立木因子的准确快速测量。

为实现上述发明目的，本发明提供以下技术方案：

一种基于消费级深度相机的立木因子测量方法，包括以下步骤：

(1)采用消费级深度相机多视角采集立木场景点云数据，对立木场景点云数据进行感兴趣区域提取和去噪处理，得到立木点云数据；

(2)从立木点云数据中分割出立木主干点云数据和树冠点云数据，配准立木主干点云，并依据立木主干点云数据确定刚性变换矩阵；

(3)基于刚性变换矩阵对树冠点云数据进行处理，对变换后的主干进行树冠填充以重建完整的立木三维模型；

(4)从立木三维模型中提取立木关键点信息，分析各关键点信息的空间几何关系，最终实现立木因子的测量。

优选地，采用消费级深度相机三个视角采集立木场景点云数据。

优选地，采用密度分析去噪方法和直通滤波器去除点云数据中的噪声点。

优选地，基于颜色的区域生长分割方法从立木点云数据提取出立木主干点云数据。

优选地，基于SDRSAC-NDT算法对各视角立木主干点云数据进行配准，估计各视角主干点云数据之间的最优刚体变换矩阵，使得经过旋转和平移后各主干点云的重合部分位置差别最小化。

优选地，所述立木关键点信息包括立木最高点、最低点、胸径测量处、树冠东西、南北的极值点，其中，胸径测量处是指树干距离地面上根茎1.3米处，针对主干不足1.3米的矮小立木则测量距离地面上根茎0.2米处的地径；所述立木因子包括立木胸径、树高和冠幅。

优选地，根据胸径测量处确定立木胸径的过程为：

对胸径测量处的点云数据进行最小二乘法椭圆拟合，获得椭圆系数，其长轴和短轴参数等同于立木胸径。

优选地，在计算立木胸径之前，利用双边滤波法对立木主干点云数据进行内部小尺寸噪声去除。

优选地，依据立木最高点和最低点确定立木高度。

优选地，根据树冠东西、南北的极值点确定冠幅的过程为：

分别计算以立木主干中心所在轴为分界线，计算点云在其余两轴的最大宽度的平均值，即为所求立木冠幅。

与现有技术相比，本发明具有的有益效果至少包括：

提供的基于消费级深度相机的立木因子测量方法，结合立木的固有结构特点，仅配准立木主干点云求得刚体变换从而变换并填充树冠点云，获得完整得立木三维模型，解决了因立木点云数据量大而引起的立木三维重建配准精度低、配准时间长的问题，重建结果可为立木因子的测量、立木生长趋势的研究提供基础。

提供的基于消费级深度相机的立木因子测量方法，通过消费级深度相机可便捷获取立木数据重建立木三维模型，通过极值点差分法得到立木树高、冠幅，通过椭圆约束得到立木胸径。便捷、直观地获取立木因子，操作简便、普适性高，测量结果满足森林资源调查要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的基于消费级深度相机的立木因子测量方法的流程该图；

图2是本发明实施例提供的立木场景点云数据的采样角度示意图；

图3(a)是本发明实施例提供的采集的立木场景点云示意图，图3(b)是对图3(a)所示的立木场景点云预处理得到的立木点云示意图；

图4是本发明实施例提供的立木主干的胸径测量处示意图；

图5(a)是本发明实施例提供的立木三维模型的正视图，图5(b)是本发明实施例提供的立木三维模型的俯视图；

图6(a)～图6(i)是本发明实施例提供的立木点云三维重建图；

图7是本发明实施例提供的估算胸径和实测胸径的线性回归分析图；

图8是本发明实施例提供的估算树高和实测树高的线性回归分析图；

图9是本发明实施例提供的估算冠幅和实测冠幅的线性回归分析图；

图10(a)和图10(b)是本发明实施例提供的测量误差影响因子示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1是本发明实施例提供的基于消费级深度相机的立木因子测量方法的流程该图。如图1所示，实施例提供的基于消费级深度相机的立木因子测量方法包括以下步骤：

步骤1，采用消费级深度相机多视角采集立木场景点云数据。

实施例中，整个研究在Windows 10操作系统下，以Visual Studio为平台，采用微软公司生产的Kinect 2.0相机对自然条件下的立木信息进行采集。Kinect 2.0是一款消费级深度相机，采用飞行时间主动光源测量原理，对自然环境下的光照变化具有较强的鲁棒性，拍摄范围为0.5m～4.5m，可同时采集目标物的彩色图和深度图。由于使用深度相机采集立木点云数据时对实际场景扫描的视野有限、物体的遮挡等原因，通常不能从一个角度一次性扫描实际场景中立木的全部点云数据，因此需要从不同角度对立木进行多次扫描。具体地，在自然环境下搭建KINECT相机拍摄平台，对立木进行如图2所示的A、B、C三个角度进行拍摄，采集立木的深度图和彩色图，并即时将彩色图映射到深度图中保存最终得立木场景点云图。图像数据采集完成后，人工测量立木样本的参数用于建模及精度分析。

步骤2，对立木场景点云数据进行感兴趣区域提取和去噪等预处理，得到立木点云数据。

在完成数据采集后，依次提取立木场景点云数据，选取立木区域为感兴趣区域，去噪并分割出立木点云数据。具体实现时，可以采用密度分析去噪方法和直通滤波器去除点云数据中的噪声点。

实施例中，将彩色图映射到深度图得到立木场景点云数据，对立木场景点云数据的X、Y、Z阈值范围进行设定，使用直通滤波器保留立木所在的空间范围，提取出只包含立木的区域，减少背景噪声，然后对立木区域点云数据进行去噪处理。噪声点是指立木点云数据集合中明显偏离大部分数据的离群点，由外部干扰造成，与大多数的立木点的属性有很明显的差异。通过KINECT相机获取的立木点云三维噪声点稀疏分布于立木的树干边缘或者叶片之间，这些噪声点具有到达其邻近点的平均距离大、邻域半径内的点云数量少的特点。

密度分析去噪方法结合点云数据中任意一点与邻近点之间的距离及半径范围内邻近点数量这两个参数划分噪声点，因此，实施例基于密度分析的去噪方法对立木区域内的点云数据进行去噪处理。

基于密度分析的去噪方法统计分析查询点和该点邻近点之间的距离，以及该查询点在一定范围内的邻近点的数量，设定立木点云数据集合为

步骤3，从立木点云数据中分割出立木主干点云数据和树冠点云数据，依据立木主干点云数据确定刚性变换矩阵，利用刚性变换矩阵对树冠点云数据进行处理以填充树冠点云数据。

基于点云数据构建立木三维模型时，从不同角度对立木进行多次扫描，确定一个合适的坐标系，将多个视角扫描得到的点云数据进行坐标变换到同一个坐标系下，从而实现立木点云的配准，构建更大范围的立木3D场景。相对于立木树干部分，隶属于树冠部分的叶子点云分布无规律，成离散状态，没有明显的骨架点支撑其几何形态，这部分点云配准计算量大、误匹配率高。虽然，实施例中划分感兴趣区域去除了立木场景中背景、天空、地面等干扰点云以及感兴趣区域内离群噪声点，但是基于立木区域点云的三维重建计算量仍然很大。

基于此，实施例中，基于颜色的区域生长分割方法从立木点云数据提取出立木主干点云数据，再基于SDRSAC-NDT(Semidefinite-Based Randomized Approach for RobustPoint Cloud Registration without Correspondences-Normal DistributionTransform)算法对各视角立木主干点云数据进行配准，估计各视角主干点云数据之间的最优刚体变换矩阵，使得经过旋转和平移后各主干点云的重合部分位置差别最小化，估计的最优刚体变换矩阵用于对树冠点云数据进行填充。

基于颜色的区域生长分割方法将当前查询点与邻近点之间色差小于色差阈值的点视为一个聚类。聚类之间的色差小于色差阈值的合并为一个聚类，且当前聚类中的数量小于最小聚类点数量的与最近的聚类合并一起，得到立木主干点云与叶子点云。基于SDRSA-NDT算法的半正定随机点云配准方法采用随机采样的方法随机抽取子点云，源点集S和目标点集D中分别随机采样点数为N的子点云P和Q，用X矩阵表示两个点集的匹配关系，X

步骤4，基于提取的立木主干点云数据和填充后的树冠点云数据重建立木三维模型。

在获得立木主干点云数据和填充后的树冠点云数据后，即可以依据所有点云数据进行三维重建，获得立木三维模型。

步骤5，从立木三维模型中提取立木关键点信息，分析各关键点信息的空间几何关系，最终实现立木因子的测量。

实施例中，立木关键点信息包括立木最高点、最低点、胸径测量处、树冠东西、南北的极值点，其中，胸径测量处是指树干距离地面上根茎1.3米处，针对主干不足1.3米的矮小立木则测量距离地面上根茎0.2米处的地径。通过分析这些立木关键点信息的空间几何关系来计算立木胸径、树高和冠幅等立木因子。

立木主干点云数据通常存在一些离群点，实施例中，利用双边滤波法对立木主干点云数据进行内部小尺寸噪声去除。双边滤波是一种非线性的滤波方法，该方法同时考虑空间域信息和灰度相似性，主要用于小尺度起伏的点云噪声的平滑，既有效地保留了点云数据的几何信息，又对三维模型内的小尺度噪声进行了降噪。

去噪后的胸径测量处点云可视为立木主干的横截面，如图4所示，该截面平行于物方坐标系的XZ平面，将立木待测区域点云数据投影到XZ平面，用于立木胸径的计算。立木的主干可近似为椭圆形，因此对立木胸径测量处的点云数据进行椭圆拟合。最小二乘法拟合方法具有精准的拟合效果，适用于各类复杂的模型，并且提供直观的评判参数可直观显示拟合效果。因此，实施例中，通过最小二乘法对立木主干待测点云进行椭圆约束。

椭圆的一般方程可表示为：

Ax

其中，x、z表示立木主干待测区域点云数据投影后的坐标，A、B、C、D、E、F分别表示各拟合系数。可通过代入点云数据坐标，利用线性最小二乘法求解获得各个系数。

拟合获得椭圆系数，其长轴和短轴参数可以等同于立木的胸径，利用方程组(2)可求得椭圆的中心X

计算立木树梢与树根的差分法被认为是立木高度测量最有效和精度的方法。如图5(a)所示，立木的树高h可以通过立木最高点与地面的差值计算求得。如图5(b)，由于自然环境中的立木树冠分布不规则，分别计算以立木主干中心所在Y轴为分界线，计算点云在X轴最大宽度和在Z轴最大宽度的平均值，即为所求立木冠幅。

为验证上述立木测量方法的精度，在自然环境中从不同的角度获取75张待测立木的图像数据，并重建25株立木三维模型，对其求取立木树高、胸径、冠幅，受相机量程限制，所选区域的立木高度在0.8m～3.9m之间。

三维重建时，利用Kinect深度相机采集三个方向的立木图像数据，如图6(a)～图6(c)所示为图像预处理后的三个角度的立木点云数据，图图6(d)～图6(f)所示为三个角度对应的立木主干点云，对立木主干点云进行配准，得到图(g)，获得旋转和平移矩阵后填充树冠点云如图(h)，图(i)为三个角度的立木重建结果。

图7为估算胸径和实测胸径的线性回归分析图，结果表明，使用实施例提供的测量方法测得的立木胸径与实测胸径之间存在显著的线性相关关系(R

图8为估算树高和实测树高的线性回归分析图，结果表明，使用实施例提供的测量方法测得的立木树高与实测树高之间存在显著的线性相关关系(R

图9为估算冠幅和实测冠幅的线性回归分析图，结果表明，使用实施例提供的测量方法测得的立木冠幅与实测冠幅之间存在显著的线性相关关系(R

实施例提供的基于消费级深度相机的立木因子测量方法，通过消费级深度相机获取立木点云数据，重建立木三维模型并获取立木关键点的三维信息，从而计算立木的树高、胸径和冠幅。此外，应用该方法达到的有益效果为(i)基于便携式消费级深度相机获取立木点云数据；(ii)能快速准确地重建立木三维模型；(iii)改进以前算法和传统立木因子测量方法，克服它们的一些缺点。该方法的精度符合国家森林资源清查的要求，为森林调查中的立木树高、胸径和冠幅测量提供了便利。

实施例提供的胸径测量方法对树冠虚影的存在是稳健的，并且能够处理从图像数据中准确获取胸径测量处的点云数据。在本实施例中，胸径的计算方法(i)通过立木胸径数据直接计算胸径，而不是利用观测点到立木的深度和树冠边缘角度间接计算，减少边缘点选择的失误对立木胸径计算的影响；(ii)获取立木三维模型中的胸径截面点云数据,利用椭圆拟合的数据对胸径点云进行约束，而不是假设树干模型，对部分胸径数据依赖迭代拟合估计被遮挡区域的立木数据。在实施例中，用于检测胸径的点云源于消费级深度相机而不是激光雷达等精密仪器。因此，从多个角度获取树冠截面完整的点云数据，并利用椭圆拟合对胸径点云数据进行约束，RMSE为0.1848cm，测量误差在-0.27～0.28cm之间，减少了噪声点造成的干扰，使用低质量点云可获得高精度胸径，并满足国家森林资源连续清查中对胸径测量精度的要求：胸径小于20cm的树木，测量误差小于0.3cm。

基于点云数据的树高估计受到树梢的可见度的不确定性的影响大，树梢处点云由于遮挡而难以获取，即树的最高部分可能缺失，从而引起的树高测量误差。这种现象的发生和分布具有不可预测性，因为常用的立木树高测量方法类似于传统的测高仪，通过观测点到立木的距离、树根和树梢的倾斜度来计算立木高度，然而，1)自然条件下的密集立木存在自遮挡情况，如图10(a)，2)矮小立木易错误地从邻近立木树冠中获取树梢点。如图10(b)。为了减少立木自遮挡对立木高度测量的影响，实施例从立木的三个角度对立木数据进行采集，全面扫描立木点云数据，获取密集的树梢点云数据。为了避免对密集矮小树木的影响，首先对立木数据进行分割，再在单个立木点云数据上进行聚合去噪处理，减少离群点对树梢选择的影响，RMSE为0.0478m，测量误差在之间在-1.91％～2.89％之间，满足国家森林资源连续清查中对胸径测量精度的要求：当树高小于10m时，测量误差小于3％。

在现有的研究中，立木的冠幅受观测角度的影响，利用无人机航拍可获取较为完整的立木树冠数据，对获取的立木树冠数据进行分割提取，从而计算冠幅。然而，从地面观测立木冠幅受人工操作、视觉误差影响大，只有在立木树冠较规则、立木相对较独立的条件下立木冠幅的计算才能达到较高的准确率。在实施例中，从三个角度扫描立木，重建立木三维模型，RMSE为0.1025m。

总之，实验结果表明，自然环境下上述实施例提供的基于消费级深度相机的立木因子测量方法可有效重建立木三维模型，不需要昂贵的仪器、专业的知识技能，就能有效准确测量不规则地形中立木的树高、胸径和冠幅，以低质量的点云数据获得高精度的立木因子测量结果。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。