掌桥专利:专业的专利平台
掌桥专利
首页

一种激光点云补全方法及相关装置

文献发布时间:2023-06-19 19:28:50


一种激光点云补全方法及相关装置

技术领域

本申请涉及点云处理技术领域,尤其涉及一种激光点云补全方法及相关装置。

背景技术

通过各类测量仪器得到目标表面的点的数据集合被称之为点云,通过激光雷达所获取到的点云通常含有目标表面各点的空间位置坐标及目标表面对激光的反射强度信息。在智慧交通中,激光雷达获取的点云是一个极其重要的交通信息,利用点云,可对路口的道路环境实现高精度、高实时性的3D建模,从而对路口场景中的各类交通目标进行3D检测等精确识别,实现对路口的信息感知,为智慧交通中的路径规划、决策等提供重要的数据来源。

然而,由于激光雷达安装位置的限制,雷达通常只能扫描到交通目标的部分表面,且不同交通目标之间的互相遮挡,也会造成目标点云存在部分缺失。不完整的目标点云会导致后续的3D目标检测等点云处理算法无法获取目标完整的位置信息和几何特征,造成精度损失甚至检测困难等问题。所以对遮挡点云进行补全,使得目标的点云信息重新完整,对于3D目标检测等实际应用具有十分重要的意义。

现有技术下的点云补全方法包括以下两种:

方法一、将目标对象的完整点云和稀疏点云作为训练集,训练点云补全网络,并通过训练好的点云补全网络对数据集进行点云补全。

使用方法一时,需要成对的稀疏点云与完整点云进行训练,而对于路侧激光点云,很难获取大规模的完整点云数据集,因此无法适用于路侧激光点云场景。

方法二、获取同一目标对象的二维图片和点云稀疏深度图作为模型输入,以输出对应的预测稠密点云。

使用方法二时,需要输入目标对象的二维图片,导致模型所需信息成本较高,无法在纯点云场景下应用。

有鉴于此,需要针对上述问题提出一种新的激光点云补全方法。

发明内容

本申请提供了一种激光点云补全方法及相关装置,用以提高路侧激光点云补全的效率和准确性。

第一方面,本申请实施例提供了一种激光点云补全方法,所述方法包括:

获取待补全的目标残缺点云,目标残缺点云包含:基于激光雷达装置测量得到的,目标交通的部分表面点的数据集合;

针对目标残缺点云提取位置编码特征,位置编码特征包括:目标残缺点云中各点的坐标和激光反射强度;

按照设定的多个采样数量和聚合范围,分别对位置编码特征进行采样和聚合,获得相应的点云特征,并基于获得的多个点云特征生成目标稠密点云,目标稠密点云包含:反映目标交通的完整几何形状的点的数据集合。

第二方面,本申请实施例还提供了一种激光点云补全装置,所述装置包括:

数据采集模块,获取待补全的目标残缺点云,目标残缺点云包含:基于激光雷达装置测量得到的,目标交通的部分表面点的数据集合;

位置编码模块,用于针对目标残缺点云提取位置编码特征,位置编码特征包括:目标残缺点云中各点的坐标和激光反射强度;

点云生成模块,用于按照设定的多个采样数量和聚合范围,分别对位置编码特征进行采样和聚合,获得相应的点云特征,并基于获得的多个点云特征生成目标稠密点云,目标稠密点云包含:反映目标交通的完整几何形状的点的数据集合。

可选的,基于获得的多个点云特征生成目标稠密点云时,点云生成模块用于:

基于多个点云特征获得相应的目标聚合特征;

对目标聚合特征进行特征压缩,获得特征码;

基于特征码生成目标稠密点云。

可选的,基于多个点云特征获得相应的目标聚合特征时,点云生成模块用于:

对多个点云特征进行特征聚合,获得初始聚合特征;

针对初始聚合特征分别进行三种预设的线性变换,获得第一变换特征、第二变换特征和第三变换特征;

基于第一变换特征和第二变换特征,获得目标权重矩阵;

基于第三变换特征和目标权重矩阵,获得目标聚合特征。

可选的,目标稠密点云是预训练的目标点云补全模型对目标残缺点云的补全结果,其中,目标点云补全模型是数据采集模块、位置编码模块和点云生成模块采用以下方法训练获得的:

获取各样本交通的样本残缺点云,并按照各样本交通的类别,对各样本残缺点云进行分类,获得多个不同类别的点云子集;

基于各点云子集,对待训练的点云补全模型进行迭代训练,获得已训练的目标点云补全模型,其中,在一轮迭代过程中,执行以下操作:

从一个点云子集中提取一组样本残缺点云,并针对一组样本残缺点云提取样本位置编码特征;

按照设定的多个采样数量和聚合范围,分别对样本位置编码特征进行采样和聚合,获得相应的样本点云特征,并基于获得的多个样本点云特征生成样本目标点云;

基于一组样本残缺点云和样本目标点云计算目标损失值,并基于目标损失值调整点云补全模型的网络参数。

可选的,样本目标点云包括样本目标稀疏点云和样本目标稠密点云,样本目标稀疏点云包含:反映各样本交通的部分几何形状的点的数据集合,样本目标稠密点云包含:反映各样本交通的完整几何形状的点的数据集合;

则基于一组样本残缺点云和样本目标点云计算目标损失值,并基于目标损失值调整点云补全模型的网络参数时,点云生成模块还用于:

采用预设的第一损失函数,基于一组样本残缺点云和样本目标稀疏点云,计算第一损失值;

采用预设的第二损失函数,基于一组样本残缺点云和样本目标稠密点云,计算第二损失值;

基于第一损失值和第二损失值,调整点云补全模型的网络参数。

可选的,基于各点云子集,对待训练的点云补全模型进行迭代训练之前,数据采集模块还用于:

按照预设比例,分别从各点云子集中提取部分样本残缺点云,作为训练集,其余样本残缺点云作为验证集,其中,训练集中包含所有类别的样本交通的样本残缺点云;

则在一轮迭代过程中,从一个点云子集中提取一组样本残缺点云,包括:

从训练集包含的任意一个点云子集中,提取N个样本残缺点云,作为一组样本残缺点云,其中,N不小于2。

可选的,数据采集模块、位置编码模块和点云生成模块还用于:

当训练集中的所有样本残缺点云都训练完毕后,完成一次迭代训练;

基于验证集中的样本残缺点云,对完成一次迭代训练后的点云补全模型进行性能验证。

第三方面,本申请实施例提供一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法。

第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一所述方法的步骤。

第五方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品在被计算机调用时,使得所述计算机执行如第一方面所述的方法。

本申请实施例中,将交通目标的残缺点云输入至预训练的目标点云补全模型中,由目标点云补全模型针对输入的残缺点云提取位置编码特征,再对位置编码特征进行不同范围的采样和聚合,获得多个点云特征,最后基于多个点云特征生成目标稠密点云,从而完成对交通目标的残缺点云的补全。

采用这种方式,获得路侧交通目标的残缺点云后,输入至目标点云补全模型即可快速获得补全后的稠密点云,同时,基于多个点云特征生成目标稠密点云时,利用注意力机制,能够让网络更好地提取多维特征,使得对应的模型能够快速高效地对路侧交通目标的残缺点云进行点云补全,且具有较好的鲁棒性。

附图说明

图1为本申请实施例中系统架构示意图;

图2为本申请提供的某街道的激光点云图;

图3为本申请实施例中系统架构下激光点云补全方法的详细流程图;

图4为本申请实施例中系统架构下激光点云补全模型的训练的详细流程图;

图5为本申请实施例中基于各点云子集划分训练集和验证集的场景示意图;

图6为本申请实施例中模型训练的一轮迭代过程中执行的步骤流程图;

图7为本申请实施例中位置编码模块包含的多层感知机的结构示意图;

图8为本申请实施例中生成目标点云的详细流程图;

图9为本申请实施例中生成目标点云的详细流程图子图;

图10为本申请实施例中对初始聚合特征进行线性变换的场景示意图;

图11为本申请实施例中生成特征码的装置结构示意图;

图12为本申请实施例中基于目标损失值调整网络参数的详细流程图;

图13为本申请实施例中提供的一种点云补全模型的应用场景示意图;

图14为本申请实施例中提供的一种点云补全模型的应用过程示意图;

图15为本申请实施例中一种激光点云补全装置的结构示意图;

图16为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请技术方案的一部分实施例,而不是全部的实施例。基于本申请文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请技术方案保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够在除了这里图示或描述的那些以外的顺序实施。

以下对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。

(1)自注意力机制:自注意力机制是注意力机制的改进,注意力机制模仿了生物观察行为的内部过程,即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制,注意力机制可以快速提取稀疏数据的重要特征,而自注意力机制减少了对外部信息的依赖,更擅长捕捉数据或特征的内部相关性。

(2)卷积神经网络(Convolutional Neural Networks,CNN):是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一,卷积神经网络仿造生物的视知觉机制构建,可以进行监督学习和无监督学习。

(3)无监督学习:无监督学习是机器学习的一种方法,和监督学习相对应。在实际应用中,监督学习要求在训练中为每个样本提供预测量的真实值,即对训练样本进行标记,而无监督学习方法,是在不提供监督信息(即预测量的真实值)的条件下进行学习。

以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请实施例及实施例中的特征可以相互组合。

参阅图1所示,本申请实施例中,包含有激光扫描设备100、交通目标101和专用嵌入式设备102三个主要部分,其中,激光扫描设备100可以是手持式、背负式的移动式激光扫描设备,也可以是安装在路侧的架站式三维激光扫描设备等,专用嵌入设备102可以是安装在路侧的芯片平台,也可以是电脑主机等,交通目标101可以是汽车、公路、行人和建筑等,以及激光扫描设备100和专用嵌入式设备102之间可以通过有线网络和无线网络进行通信。

本申请实施例中,激光扫描设备100用于完成针对各交通目标101的扫描作业,获取各交通目标101的反射点的三维坐标,每个反射点按三维坐标以点的形式分布在三维空间中,形成激光点云,参阅图2所示,为某街道的激光点云图,通过激光点云进行3D建模,可以实现对各交通目标101的3D检测。

专用嵌入式设备102用于对激光扫描设备100上传的激光点云进行点云补全。由于多个交通目标101之前存在互相遮挡的情况,因此激光扫描设备100只能获得交通目标101的部分反射点,形成残缺点云,为了更好地对交通目标101进行3D建模,需要对交通目标101的残缺点云进行点云补全,因此,激光点云扫描设备100获得交通目标101的残缺点云后,将其上传至专用嵌入式设备102,专用嵌入式设备102中部署了基于自注意力机制的激光点云补全模型,可以实现无监督的残缺点云补全方法,获得交通目标101的完整点云,用于3D建模的下游算法中。

基于上述系统架构,参阅图3所示,本申请实施例中,通过专用嵌入式设备中部署的激光点云补全模型,实现点云补全方法的详细流程如下:

步骤301:获取待补全的目标残缺点云。

其中,目标残缺点云包含:基于激光雷达装置测量得到的,目标交通的部分表面点的数据集合。

例如,某路侧的架站式三维激光扫描设备,对街道上的一栋建筑进行了三维激光扫描,并获得了该建筑对应的激光点云数据,由于该建筑被扫描时,被经过的汽车和行人遮挡了一部分,因此其对应的激光点云数据只包含其部分表面点的数据,则三维激光扫描设备将其对应的激光点云数据作为目标残缺点云,上传至专用嵌入式设备,以便对该目标残缺点云进行补全。

步骤302:针对目标残缺点云提取位置编码特征。

其中,位置编码特征包括:目标残缺点云中各点的坐标和激光反射强度。

例如,专用嵌入式设备中部署了预训练的目标点云补全模型,则专用嵌入式设备获得目标残缺点云后,将其作为目标点云补全模型的输入,通过目标点云补全模型中的位置编码模块,输出目标残缺点云的位置编码特征。

步骤303:按照设定的多个采样数量和聚合范围,分别对位置编码特征进行采样和聚合,获得相应的点云特征,并基于获得的多个点云特征生成目标稠密点云。

其中,目标稠密点云包含:反映所述目标交通的完整几何形状的点的数据集合。

例如,将位置编码特征作为目标点云补全模型中特征聚合模块的输入,特征聚合模块会基于位置编码特征获得三个不同尺度的点云特征,再通过三个点云特征获得目标聚合特征,目标聚合特征经过最大池化层的到特征码,最后将特征码分别经过全连接层、反卷积层、全连接层和点云上采样模块,进行特征解码生成目标稠密点云。

上述位置编码模块和特征聚合模块,以及最大池化层,构成了目标点云补全模型的编码器,全连接层、反卷积层、全连接层和点云上采样模块,构成了目标点云补全模型的解码器。

具体的,本申请实施例中,目标稠密点云即是目标点云补全模型对所述目标残缺点云的补全结果,以下对目标点云补全模型的训练方法进行介绍,同时对目标点云补全模型中,编码器和解码器的设计进行详细说明,值得一提的是,后文所述均为针对样本(包括样本交通及其对应的样本残缺点云)执行的操作。

参阅图4所示,目标点云补全模型训练的详细流程如下:

步骤401:获取各交通目标的残缺点云,并按照各交通目标的类别,对各残缺点云进行分类,获得多个不同类别的点云子集。

例如,多个路侧的架站式三维激光扫描设备,采集到多个路口中多个交通目标的三维激光点云,由于多个交通目标之间存在互相遮挡的情况,或由于架站式三维激光扫描设备的拍摄角度不优,会导致采集到的激光点云多为残缺点云,相关人员将各残缺点云标注出其各自对应的交通目标的类别,并按照各交通目标的类别,将各残缺点云进行分类,获得多个不同类别的点云子集。

基于步骤401所述,按照各交通目标的类别对各残缺点云进行分类,可以使待训练的点云补全模型学习到各类交通目标的点云特征,从而使得目标点云补全模型面对各类残缺点云时,具有较好的补全结果。

步骤402:基于各点云子集,对待训练的点云补全模型进行迭代训练,获得已训练的目标点云补全模型。

具体的,本申请实施例中,执行步骤402之前,会按照预设比例,分别从各点云子集中提取部分残缺点云,作为训练集,其余残缺点云作为验证集,其中,训练集中包含所有类别的交通目标的残缺点云。

例如,参阅图5所示,按照5:3的比例,将所有的残缺点云划分为训练集和验证集,且训练集中需包含所有类别的交通目标的残缺点云,以便模型对各类交通目标的残缺点云特征进行学习。

进一步的,参阅图6所示,本申请实施例中,在一轮迭代过程中,执行以下操作:

步骤601:从一个点云子集中提取一组残缺点云,并针对一组残缺点云提取位置编码特征。

其中,位置编码特征包括:一组残缺点云中各点的坐标和激光反射强度。

具体的,由于在进行迭代训练之前,各点云子集已被划分为训练集和验证集,因此在迭代过程中,需从训练集包含的任意一个点云子集中,提取N个残缺点云,作为一组残缺点云,其中,N不小于2。

例如,从交通目标类别为小汽车的点云子集中,提取4个残缺点云(即N=4),作为模型输入的一组残缺点云,并针对这4个残缺点云构成的一组残缺点云提取位置编码特征。

具体操作为:将一组残缺点云输入至点云补全模型的位置编码模块,参阅图7所示,该点云补全模块由三个全连接层(输入层、隐藏层、输出层),组成一个多层感知机(Multilayer Perceptron,MLP),其输出结果为一组残缺点云中,各点的三维坐标和激光反射强度组成的高维特征。

可选的,当训练集中的残缺点云数基于N=4分组之后,剩余不足2个残缺点云时,仍可直接将其作为模型输入进行训练。

基于步骤601所述,在训练点云补全模型时,选取同一交通类别的多个残缺点云同时输入,可以使点云补全模型更好地学习到这一交通类别对应的残缺点云的综合特征。

步骤602:按照设定的多个采样数量和聚合范围,分别对位置编码特征进行采样和聚合,获得相应的点云特征,并基于获得的多个点云特征生成目标点云。

例如,将位置编码特征分别输入至特征聚合模块包含的三个特征聚合层,这三个特征聚合层分别由不同大小的采样点数量和聚合范围的点采样+点聚合+全连接层串联组成,其输出为三个不同尺度的点云特征。

具体的,参阅图8所示,本申请实施例中,采用以下方式基于多个目标点云生成目标点云:

步骤801:基于多个点云特征获得相应的目标聚合特征。

参阅图9所示,本申请实施例中,执行步骤801时,采用以下方式获得目标聚合特征:

步骤8011:对多个点云特征进行特征聚合,获得初始聚合特征X。

例如,对三个不同尺度的点云特征进行concatenate操作,获得初始聚合特征。

步骤8012:针对初始聚合特征分别进行三种预设的线性变换,获得第一变换特征、第二变换特征和第三变换特征。

例如,将初始聚合特征X分别输入至三个不同的全连接层,参阅图10所示,其实质为初始聚合特征X与三个参数矩阵W

步骤8013:基于第一变换特征和第二变换特征,获得目标权重矩阵。

例如,利用softmax函数获得目标权重矩阵,具体为

步骤8014:基于第三变换特征和目标权重矩阵,获得目标聚合特征。

具体的,将目标权重矩阵与第三变换特征V相乘,获得目标聚合特征。即

基于步骤801所述,采用自注意力机制可以快速提取稀疏数据的重要特征,有效提高了模型的训练效率。

步骤802:对目标聚合特征进行特征压缩,获得特征码。

例如,将目标聚合特征输入至最大池化层,进行特征压缩,获得对应的特征码。

步骤803:基于特征码生成目标点云。

例如,将特征码输入至由多层感知机和反卷积层组成的点云生成模块,对其中的高维点云特征进行解码,生成目标点云。

其中,目标点云表征:对各交通目标的几何形状的预测结果。

进一步的,本申请实施例中,目标点云包括目标稀疏点云和目标稠密点云,分别由特征码包含的残缺码和完整码解码获得,其中,目标稀疏点云包含:反映各交通目标的部分几何形状的点的数据集合,目标稠密点云包含:反映各交通目标的完整几何形状的点的数据集合。

例如,参阅图11所示,残缺码和完整码的生成方式均如前文所述,其各自对应一组参数不同的位置编码模块、特征聚合模块和最大池化层,基于残缺码生成的目标稀疏点云可近似为前文所述4个残缺点云的平均结果,基于完整码生成的目标稠密点云,为点云补全模型基于4个残缺点云做出的点云补全结果。

步骤603:基于一组残缺点云和目标点云计算目标损失值,并基于目标损失值调整点云补全模型的网络参数。

具体的,参阅图12所示,本申请实施例中,调整点云补全模型的网络参数的具体流程如下:

步骤1201:采用预设的第一损失函数,基于一组残缺点云和目标稀疏点云,计算第一损失值。

例如,基于前文所述4个残缺点云中包含的各点的三维坐标,以及目标稀疏点云中包含的各点的三维坐标,采用如下函数(即第一损失函数)计算倒角距离(ChamferDistance)损失:

其中,P

步骤1202:采用预设的第二损失函数,基于一组残缺点云和目标稠密点云,计算第二损失值。

例如,基于前文所述4个残缺点云中包含的各点的三维坐标,以及目标稠密点云中包含的各点的三维坐标,采用如下函数(即第二损失函数)计算倒角距离(ChamferDistance)损失:

其中,P

上述第一损失函数和第二损失函数相比,第二损失函数中缺少了目稠密点云中的各点,与输入的每一个残缺点云中离它最近点的距离的和的平均值,是因为目标稠密点云中包含的点的数量较多,会产生大量的计算量,而第一损失函数中,残缺点云和目标稀疏点云中包含的点的数量均较少。

基于步骤603所述,本申请中的点云补全模型的输出结果除了包含一路点云补全后的目标稠密点云之外,还生成一路近似4路残缺点云平均结果的目标稀疏点云,能够使得网络更好地学习到残缺点云的结构。

步骤1203:基于第一损失值和第二损失值,调整点云补全模型的网络参数。

获得第一损失值和第二损失值后,即用第一损失值和第二损失值调整点云补全模型的网络参数,如图11包含的位置编码模块、特征聚合模块和最大池化层对应的各参数值。

进一步的,本申请实施例中,当训练集中的所有残缺点云都训练完毕后,才完成一次迭代训练,并可以基于验证集中的残缺点云,对完成一次迭代训练后的点云补全模型进行性能验证。

具体包括,从训练集中随机挑选一个残缺点云,输入至完成一次迭代训练后的点云补全模型,获得对应的目标稀疏点云和目标稠密点云,并采用前文所述方法,记录其对应的目标损失值,完成一次验证。

当积累多次验证结果后,可基于多次验证获得的多个目标损失值形成的损失梯度,对点云补全模型的训练结果进行评估,当损失梯度表征损失值逐渐减小时,代表模型训练良好,最后,当模型训练达到最大迭代次数时,即可获得目标点云补全模型,其中,本申请实施例中的最大迭代次数=残缺点云组数量*epoch大小(epoch是预设的一个参数,可以设定为从1到无穷大,一个epoch意味着训练集中每一个样本都参与训练了一次)。

获得目标点云补全模型后,即可将其部署至专用嵌入式设备中,以便对激光扫描设备采集的残缺点云进行点云补全。

具体的,参阅图13所示,某架站式三维激光扫描设备对一辆汽车进行快速扫描测量,直接获得激光点所接触的汽车表面的水平方向、天顶距、斜距和反射强度等相关信息,自动存储并计算,获得其点云数据,由于该汽车距离架站式三维激光扫描设备较远,其对应的点云数据仅为残缺点云M,该架站式三维激光扫描设备将残缺点云M,上传至部署了目标点云补全模型的专用嵌入式设备,输出目标稠密点云N。

参阅图14所示,在专用嵌入式设备中,目标点云补全模型将残缺点云M作为模型输入,经过位置编码模块2获得位置编码特征2,然后将位置编码特征2输入至特征聚合模块2,获得目标聚合特征2,再将目标聚合特征经过最大池化层2获得完整码,最后对完整码进行解码,输出目标稠密点云N,其中,残缺点云M依次经过位置编码模块1、特征聚合模块1和最大池化层1,最后解码获得的目标稀疏点云L,仅为模型训练时所需的结果,此处将其舍弃。

此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

基于相同技术构思,参阅图15所示,本申请实施例还提供了一种激光点云补全装置,该装置包括:

数据采集模块1501,获取待补全的目标残缺点云,目标残缺点云包含:基于激光雷达装置测量得到的,目标交通的部分表面点的数据集合;

位置编码模块1502,用于针对目标残缺点云提取位置编码特征,位置编码特征包括:目标残缺点云中各点的坐标和激光反射强度;

点云生成模块1503,用于按照设定的多个采样数量和聚合范围,分别对位置编码特征进行采样和聚合,获得相应的点云特征,并基于获得的多个点云特征生成目标稠密点云,目标稠密点云包含:反映目标交通的完整几何形状的点的数据集合。

可选的,基于获得的多个点云特征生成目标稠密点云时,点云生成模块1503用于:

基于多个点云特征获得相应的目标聚合特征;

对目标聚合特征进行特征压缩,获得特征码;

基于特征码生成目标稠密点云。

可选的,基于多个点云特征获得相应的目标聚合特征时,点云生成模块1503用于:

对多个点云特征进行特征聚合,获得初始聚合特征;

针对初始聚合特征分别进行三种预设的线性变换,获得第一变换特征、第二变换特征和第三变换特征;

基于第一变换特征和第二变换特征,获得目标权重矩阵;

基于第三变换特征和目标权重矩阵,获得目标聚合特征。

可选的,目标稠密点云是预训练的目标点云补全模型对目标残缺点云的补全结果,其中,目标点云补全模型是数据采集模块1501、位置编码模块1502和点云生成模块1503采用以下方法训练获得的:

获取各样本交通的样本残缺点云,并按照各样本交通的类别,对各样本残缺点云进行分类,获得多个不同类别的点云子集;

基于各点云子集,对待训练的点云补全模型进行迭代训练,获得已训练的目标点云补全模型,其中,在一轮迭代过程中,执行以下操作:

从一个点云子集中提取一组样本残缺点云,并针对一组样本残缺点云提取样本位置编码特征;

按照设定的多个采样数量和聚合范围,分别对样本位置编码特征进行采样和聚合,获得相应的样本点云特征,并基于获得的多个样本点云特征生成样本目标点云;

基于一组样本残缺点云和样本目标点云计算目标损失值,并基于目标损失值调整点云补全模型的网络参数。

可选的,样本目标点云包括样本目标稀疏点云和样本目标稠密点云,样本目标稀疏点云包含:反映各样本交通的部分几何形状的点的数据集合,样本目标稠密点云包含:反映各样本交通的完整几何形状的点的数据集合;

则基于一组样本残缺点云和样本目标点云计算目标损失值,并基于目标损失值调整点云补全模型的网络参数时,点云生成模块1503还用于:

采用预设的第一损失函数,基于一组样本残缺点云和样本目标稀疏点云,计算第一损失值;

采用预设的第二损失函数,基于一组样本残缺点云和样本目标稠密点云,计算第二损失值;

基于第一损失值和第二损失值,调整点云补全模型的网络参数。

可选的,基于各点云子集,对待训练的点云补全模型进行迭代训练之前,数据采集模块1501还用于:

按照预设比例,分别从各点云子集中提取部分样本残缺点云,作为训练集,其余样本残缺点云作为验证集,其中,训练集中包含所有类别的样本交通的样本残缺点云;

则在一轮迭代过程中,从一个点云子集中提取一组样本残缺点云,包括:

从训练集包含的任意一个点云子集中,提取N个样本残缺点云,作为一组样本残缺点云,其中,N不小于2。

可选的,数据采集模块1501、位置编码模块1502和点云生成模块1503还用于:

当训练集中的所有样本残缺点云都训练完毕后,完成一次迭代训练;

基于验证集中的样本残缺点云,对完成一次迭代训练后的点云补全模型进行性能验证。

基于相同的技术构思,本申请实施例还提供了一种电子设备,该电子设备可实现本申请上述实施例提供的激光点云补全的方法流程。

在一种实施例中,该电子设备可以是服务器,也可以是终端设备或其他电子设备。

参阅图16所示,该电子设备可包括:

至少一个处理器1601,以及与至少一个处理器1601连接的存储器1602,本申请实施例中不限定处理器1601与存储器1602之间的具体连接介质,图16中是以处理器1601和存储器1602之间通过总线1600连接为例。总线1600在图16中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线1600可以分为地址总线、数据总线、控制总线等,为便于表示,图16中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。或者,处理器1601也可以称为控制器,对于名称不做限制。

在本申请实施例中,存储器1602存储有可被至少一个处理器1601执行的指令,至少一个处理器1601通过执行存储器1602存储的指令,可以执行前文论述的一种激光点云补全方法。处理器1601可以实现图16所示的装置中各个模块的功能。

其中,处理器1601是该装置的控制中心,可以利用各种接口和线路连接整个该控制设备的各个部分,通过运行或执行存储在存储器1602内的指令以及调用存储在存储器1602内的数据,该装置的各种功能和处理数据,从而对该装置进行整体监控。

在一种可能的设计中,处理器1601可包括一个或多个处理单元,处理器1601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1601中。在一些实施例中,处理器1601和存储器1602可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。

处理器1601可以是通用处理器,例如CPU、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的一种激光点云补全方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。

存储器1602作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1602可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器1602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器1602还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。

通过对处理器1601进行设计编程,可以将前述实施例中介绍的一种激光点云补全方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行图3所示的实施例的一种激光点云补全方法的步骤。如何对处理器1601进行设计编程为本领域技术人员所公知的技术,这里不再赘述。

基于同一发明构思,本申请实施例还提供一种存储介质,该存储介质存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行前文论述的一种激光点云补全方法。

在一些可能的实施方式中,本申请提供一种激光点云补全方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在装置上运行时,程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种激光点云补全方法中的步骤。

应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

相关技术
  • 一种激光点云数据的识别方法、装置、设备和介质
  • 一种LAS文件的点云图浏览方法及相关装置
  • 一种三维点云重建结果补全方法及相关组件
  • 一种补全激光雷达三维点云目标的系统及方法
技术分类

06120115925174