基于一组点云传感器的实时动态三维建模方法及系统

技术领域

本申请涉及一种动态三维建模系统，具体是一种基于一组点云传感器的实时动态三维建模方法及系统。

背景技术

计算机的三维建模技术是利用算法分析现实对象的二维图像或三维扫描数据，从而建立该对象的数字三维模型的方法，通常包括数据采集、点云构建、模型渲染等步骤。根据建模结果的不同，三维建模技术可以分为静态建模与动态建模。

目前的动态三维建模方法大致可分为两类，一是基于若干固定的点云传感器的动态场景建模技术，二是基于若干固定或移动的点云传感器的人体动作捕捉技术。这些方法或是要求点云传感器的位姿固定，间接限制了建模场景的选取与系统的可扩展性，或是依赖于对于人体或其他特定建模对象的先验知识，而无法应对复杂的建模场景。因此，现有方法均不具备对于大规模场景的动态三维建模能力。

经过对现有技术的检索发现，中国专利文献号CN115205489A公开日20221018，公开了一种大场景下的三维重建方法，包括：通过RGB图像采集设备获取重建目标的图像数据，并进行预处理；对图像进行检索和匹配，并计算每张图像的特征点，同时对特征点进行匹配；计算每张图像对应的相机位姿；根据图像和对应相机位姿获得场景的稠密点云中间模型；对三维点云模型进行后处理，最终得到三维重建网格模型。但该现有技术与本发明相比，仅能实现静态的模型构建，并且需要较长的后处理时间，难以满足紧急任务的需求。

发明内容

针对现有技术存在的上述不足，本发明提出一种基于一组点云传感器的实时动态三维建模方法及系统，基于全局相对位姿估计与增量估计的思路，结合点云配准算法与视觉惯性里程计算法，并且解决无线链路下的点云数据实时传输问题，实现多个可移动点云传感器的信息聚合及动态场景的三维建模。

本发明是通过以下技术方案实现的：

本发明涉及一种基于一组点云传感器的实时动态三维建模方法，多台可移动的点云传感器从不同视角获取区域场景的三维结构数据，使用一种快速离群点去除方法处理后，再利用编码传输将数据发往聚合服务器；聚合服务器获得来自多个视角的扫描点云与位姿变化数据，利用一种基于点云配准与位姿增量估计的算法将其实时聚合到统一坐标系下，形成区域的全局动态点云模型，并实时更新到显示窗口。

本发明还涉及一种实现上述方法的系统，包括多个数据采集端与一个聚合服务器。

所述的数据采集端可以自由移动，由点云传感器(机械式激光雷达、Flash式固态激光雷达或深度相机)、集成式可见光相机、集成式惯性测量单元、数据传输模块与移动计算机组成，其中：点云传感器利用飞行时间法(ToF)测量环境的三维结构，得到包含局部三维信息的深度图；可见光相机记录场景的RGB图像；惯性测量单元输出自身的惯性测量数据(加速度与角速度)；移动计算机收集上述数据，根据RGB图像与惯性测量数据，利用视觉惯性里程计与位姿插值方法估计点云传感器的帧间位姿变化，并利用快速离群点去除方法与位交叉的预编码处理深度图；数据传输模块将深度图序列、RGB图像序列与位姿变化数据序列通过编码传输发送到聚合服务器。

所述的聚合服务器包括数据接收模块、点云构建模块、全局点云聚合模块与显示模块，其中：数据接收模块接收并解码来自多个数据采集端的流数据，得到相应的深度图序列、RGB图像序列与位姿变化数据序列；点云构建模块根据提前标定的点云传感器内部参数，将深度图序列与RGB图像序列转换为扫描点云序列；全局点云聚合模块利用基于点云配准与位姿增量估计的实时聚合算法，将不同视角的扫描点云序列实时地聚合为唯一的全局点云序列；显示模块则将全局点云序列显示在聚合服务器的屏幕窗口中，形成全局动态点云模型。

技术效果

本发明所揭示的从未被公开的技术手段包括：一种基于深度图的快速点云离群点检测算法；一种位交叉的预编码方法，用于将深度图处理为视频编码算法可处理的8比特图像格式；一种基于点云配准与位姿增量的实时多视角点云聚合算法。

上述技术手段所带来的从未被公开的技术效果是：数据采集端的所得到的深度图序列、RGB图像序列与位姿变化数据序列能够实时传输到聚合服务器，且聚合服务器能够实时地将不同视角的扫描点云聚合为唯一的全局点云模型。

附图说明

图1为本发明流程图；

图2为基于深度图的离群点去除算法示例图；

图3为位交叉的深度图预编码示意图；

图4为全局点云聚合示例图。

具体实施方式

如图1所示，为本实施例涉及的一种基于一组点云传感器的实时动态三维建模方法，具体包括：

步骤1)数据采集端的部署与数据采集。在建模区域内部署多个数据采集端，围绕其中所设置的兴趣点运动，并扫描获取场景的三维结构。在每个数据采集端上，移动计算机从点云传感器、可见光相机与惯性测量单元分别获取相应的传感数据。

步骤2)数据采集端的基于视觉惯性里程计与插值方法的位姿估计，具体包括：

2.1)移动计算机将所获取的RGB图像序列与惯性测量数据序列输入到视觉惯性里程计模块。所述的视觉惯性里程计仅计算并输出其中的关键RGB帧的运动估计结果，包括：位置向量p、速度向量v及姿态四元数q。不同的视觉惯性里程计算法有着不同的关键帧选取策略，但通常两个相邻关键帧之间只会相隔较短的时间。

2.2)利用插值方法计算相邻关键帧之间其他图像帧的位姿数据，具体为：

设相邻关键帧的时间戳分别为T

2.2.1)利用三次埃尔米特插值法，基于相邻关键帧的位置与速度计算非关键帧的位置向量p(t)，具体包括：

设视觉惯性里程计模块输出的关键帧位置向量为p

2.2.2)利用四元数的球面线性插值法，基于相邻关键帧的姿态计算非关键帧的姿态估计q(t)，具体包括：

设视觉惯性里程计模块输出的关键帧姿态四元数为q

2.3)基于步骤2.2得到所有RGB帧的位姿估计，通过对齐深度图的时间戳与RGB帧的时间戳，即可获得深度图的位姿估计。

步骤3)数据采集端的基于深度图的快速离群点去除，具体为：

由于点云传感器本身的缺陷，其所采集的点云数据中不可避免地存在一些稀疏的、不反应场景实际的离群点。这些离群点对于点云的处理与展示并无益处，却会增大点云数据的空间占用与传输带宽负担。为了去除点云中的离群点，常用的方法是利用基于统计滤波或基于半径滤波的离群点检测算法进行处理，但是这些方法在移动计算机上的执行耗时过长，难以满足系统对于实时性的要求。因此，本发明提出了一种基于深度图的快速离群点去除算法，具体包括：

首先，将一幅扫描点云完整投射到深度传感平面(对于Flash式固态激光雷达或深度相机)或柱面(对于机械式激光雷达)上，形成二维的深度帧，其中每个像素点表示该点相对于传感器距离。接着，算法在深度图平面上剔除周围有效像素点比例小于预设阈值的点，如图2所示，具体为：对于尺寸为H×W的深度图，在线性时间内构建一个相同尺寸的二维辅助矩阵M，其中：M

这个算法将三维的离群点检测问题压缩到二维空间，因而执行效率得到了极大提升，能够在移动计算机上实时处理点云传感器采集的所有数据。

步骤4)数据采集端的数据实时编码传输，具体为：

由于数据传输模块中的硬件编码算法通常不接受深度像素的图像输入，因此本实施例设计了如图3所示的位交叉的预编码，将深度像素的深度帧拆解为多个8比特像素的帧并分别编码，具体为：以16比特深度像素为例，将偶数位比特按从高到低的顺序放置到第一个8比特像素中，而将奇数位比特按照相同方式放置到第二个8比特像素中，从而将16比特深度图拆分为两个8比特图像，如图3。该方法对每个像素单独编码，能够在线性时间内处理每个深度图。

于是，系统将拆分后的深度图序列与RGB图像序列交付到数据传输模块。优选地，本实施例使用低保真的编码设置处理RGB图序列以减小带宽占用，而使用高保真的编码设置处理深度图序列以尽量降低点云重建误差，即减小解码重建后的点云与原始点云之间的差异。位姿变化数据则以小端序的原始字节表示传输到聚合服务器。

步骤5)聚合服务器的数据接收与解码，并从深度图中重建扫描点云，具体为：聚合服务器端利用数据接收模块接收并解码来自多个数据采集端的编码流数据，得到拆分的深度图序列、RGB图像序列与位姿变化数据序列，再将拆分的深度图序列按照反向位交叉预编码的方式合并为深度图。对于每个深度图，根据点云传感器的具体类型及预先标定的传感器内部参数值，将二维深度图的每个有效像素转换为三维坐标系下的点，形成点云。

步骤6)聚合服务器的实时多视角点云聚合，具体包括：

6.1)设系统中有N个数据采集端，则聚合服务器将得到N个扫描点云序列，可在根据时间戳对齐后得到点云集的序列，其中每个点云集包括N个扫描点云。

6.2)在初始状态下，对于第一个点云集中的N幅点云，聚合服务器在两两之间运行一次配准算法，并选取配准重叠率最高的N-1对点云配准结果作为初始坐标变换估计，获得N个数据采集端在初始时刻的相对位姿情况。

所述的配准算法具体为开源的基于特征提取的PREDATOR配准算法(ShengyuHuang，et al.″Predator：Registration of 3d point clouds with low overlap.″Proceedings of the IEEE/CVF Conference on computer vision and patternrecognition.2021.)，该算法在特征提取网络中引入了一个重叠注意力块，用于在源点云与目标点云的潜在编码之间交换信息。因此，PREDATOR能够挖掘出位于重叠区域的显著点，从而实现了较高的配准精度。

6.3)对于序列中下一时刻的点云集中的N幅点云，利用各个数据采集端所估计的自身位姿变化，以上一时刻的相对位姿为基础，以位姿增量方式快速计算该时刻的相对位姿；直到预设或自适应的配准时限，聚合服务器选取上一时刻视野重叠度最高的N-1对点云，分别对其运行配准算法以获得该时刻的相对位姿。

所述的位姿增量方式具体是指：当聚合服务器掌握上一时刻的点云集中所有扫描点云的相对位姿关系，且拥有每个数据采集端对于点云帧之间位姿变化的本地估计结果，则能够通过对上一时刻N幅点云的相对位姿关系分别施加相应的N个位姿变化量，得到下一时刻的相对位姿关系。

所述的自适应配准时限，根据执行一轮配准的耗时决定，具体为：设聚合服务器对时间戳为T

视角重叠度则按照下述方法计算：以每个数据采集端位置为顶点绘制正棱锥，其顶角根据传感器视角范围确定，其高度为传感器最大测距距离，则两个正棱锥的重叠体积占单个棱锥体积的比例即为对应的两个数据采集端的视角重叠度。

在获得一组点云的相对位姿关系后，聚合服务器便可通过平移与旋转的坐标变换，将来自不同视角的点云转换到统一的坐标系下，从而得到该时刻下场景状态的全局点云模型。

图4所示，为某时刻来自5个数据采集端的点云聚合结果，其中全局点云模型中的箭头表示利用实时多视角点云聚合算法得到的传感器位置。按时间戳排列的聚合点云序列，就组成场景的动态点云模型。

步骤7)动态全局三维模型的呈现，具体为：经过以上步骤，聚合服务器将得到反应实时场景的一系列全局点云模型，并以按点云传感器扫描的频率更新到显示窗口。最终，该系统的使用者能够以自由视角的形式浏览这个动态点云，从而解场景环境的实时状态及变化趋势。

经过实际实验，在部署5台数据采集端与1台聚合服务器，每台点云传感器按30帧/秒的扫描频率工作的系统设置下，运行上述实施例，能够得到实验数据：聚合服务器显示30帧/秒的全局动态点云，点云模型反应部署真实场景的三维结构，且动态点云模型随真实场景变化的时延不超过2秒；聚合服务器执行一轮配准的耗时约2.5秒，则在每约30帧全局点云中，有1帧是由配准算法计算的相对位姿构建，其余29帧由位姿增量方法计算的相对位姿构建。

与现有技术相比，本实施例的性能指标提升在于：实现了基于多个可移动的点云传感器的实时动态三维建模，能够实时构建大规模室外环境的动态三维模型，且对于点云传感器的数量有着良好的可扩展性。

此外，本实施例解决的主要难点包括：

首先，为聚合服务器设计可扩展的多视角点云实时聚合算法。由于点云配准算法的执行耗时较长，难以满足实时处理点云传感器数据的需求，本实施例设计融合点云配准与位姿增量估计的多视角点云实时聚合算法，至高能够处理来自十余个点云传感器的数据。

其次，为计算资源受限的数据采集端设计实时的数据采集与处理方法。出于成本与灵活性的考虑，数据采集端仅配置了算力较弱的移动计算机。本实施例利用插值法改进视觉惯性里程计实施例，以实现传感器数据的实时处理。

最后，在带宽受限的无线链路下实现三维传感数据的实时传输。为最大限度保证数据采集端的机动性能，系统采用无线链路连接数据采集端与聚合服务器。本实施例设计基于深度图的离群点去除算法，以降低传输所需带宽，同时利用硬件编码实现高效的高保真数据流编码。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。