掌桥专利:专业的专利平台
掌桥专利
首页

一种三维点云数据的处理方法及装置

文献发布时间:2023-06-19 19:28:50


一种三维点云数据的处理方法及装置

技术领域

本申请涉及三维点云数据处理技术领域,尤其涉及一种三维点云数据的处理方法及装置。

背景技术

三维点云是重要的三维数据表达方式之一。从应用的角度看,从自动驾驶中的激光雷达,到手机,终端游戏设备的AR/VR硬件上都需要进行多种基于点云的数据处理,比如物体分类,目标检测,场景分割、人脸识别、姿态估算等。

近年来,在深度学习领域有大量神经网络模型提出,用于完成上述应用中的点云数据处理。然而相比于深度学习中面向2D图像的卷积神经网络(convolution neuralnetwork,CNN)模型,面向3D点云数据的网络由于点云数据自身特点,需要解决规则化问题以及更为严重的计算负担问题。

发明内容

本申请的实施例提供一种三维点云数据的处理方法及装置,可有效降低三维点云数据的处理装置的计算开销,以及内存和带宽负担。

第一方面,本申请提供了一种三维点云数据的处理方法,包括:获取待处理的三维点云数据;对三维点云数据进行体素化处理,确定输入体素网格特征信息,输入体素网格特征信息包括输入体素网格的尺寸、组成输入体素网格的多个输入体素子网格的尺寸和每个输入体素子网格对应的特征值;基于输入体素网格的尺寸和算子信息,确定输出体素网格的尺寸;将输出体素网格进行划分,确定多个输出体素子网格;基于多个输出体素子网格和所述卷积算子信息,确定多个输出体素子网格中各个输出体素子网格对应的感受野;对非空感受野内的输入体素子网格对应的特征值进行运算,确定第一输出体素子网格对应的特征向量,非空感受野表征所述感受野内的输入体素子网格对应的特征值不全为0;将第二输出子网格对应的特征向量赋值为0,第二输出子网络表征空感受野对应的输出体素子网格,空感受野表征所述感受野内的输入体素子网格对应的特征值均为0;基于第一输出体素子网格对应的特征向量和第二输出体素子网格对应的特征向量,确定输出体素网格特征信息,其中,输出体素网格特征信息用于确定所述待处理的三维点云数据的处理结果。

本申请的实施例提供的三维点云数据的处理方法,通过在输入预训练的卷积神经网络之前,将空感受野找出,并将其对应的输出体素子网格的特征向量直接赋值为0,仅仅对非空感受野覆盖的输入体素子网格进行卷积计算,大大降低三维点云数据的处理装置的计算开销,以及内存和带宽负担。

在一个可能的实现中,上述算子信息包括预训练的卷积神经网络中的多个卷积算子中各个卷积算子的信息;多个卷积算子中各个卷积算子的信息包括卷积尺寸、卷积步长和卷积填充;上述基于输入体素网格的尺寸和算子信息,确定输出体素网格的尺寸,包括:基于输入体素网格的尺寸、卷积核尺寸、卷积步长和卷积填充,确定输出体素网格的尺寸。

在另一个可能的实现中,上述基于多个输出体素子网格和算子信息,确定多个输出体素子网格中各个输出体素子网格对应的感受野,包括:基于多个输出体素子网格中各个输出体素子网格的尺寸、卷积尺寸、卷积步长和卷积填充,确定多个输出体素子网格中各个输出体素子网格对应的感受野。

在另一个可能的实现中,上述多个输出体素子网格中各个输出体素子网格之间无重叠。

在另一个可能的实现中,上述待处理的三维点云数据的处理结果包括物体分类结果、目标检测结果、场景分割结果、人脸识别结果和姿态估算结果中的一种或多种。

第一方面,本申请提供了一种三维点云数据的处理装置,包括:获取模块、体素化模块、输出体素网格尺寸确定模块、划分模块、感受野确定模块、计算模块、赋值模块、输出体素网格特征信息确定模块;其中,获取模块用于获取待处理的三维点云数据;体素化模块用于对三维点云数据进行体素化处理,确定输入体素网格特征信息,输入体素网格特征信息包括输入体素网格的尺寸、组成输入体素网格的多个输入体素子网格的尺寸和每个输入体素子网格对应的特征值;输出体素网格尺寸确定模块用于基于输入体素网格的尺寸和算子信息,确定输出体素网格的尺寸;划分模块用于将输出体素网格进行划分,确定多个输出体素子网格;感受野确定模块用于基于所述多个输出体素子网格和卷积算子信息,确定多个输出体素子网格中各个输出体素子网格对应的感受野;计算模块用于对非空感受野内的输入体素子网格对应的特征值进行运算,确定第一输出体素子网格对应的特征向量,非空感受野表征所述感受野内的输入体素子网格对应的特征值不全为0;赋值模块用于将第二输出子网格对应的特征向量赋值为0,第二输出子网络表征空感受野对应的输出体素子网格,空感受野表征所述感受野内的输入体素子网格对应的特征值均为0;输出体素网格特征信息确定模块用于基于第一输出体素子网格对应的特征向量和第二输出体素子网格对应的特征向量,确定输出体素网格特征信息,其中,输出体素网格特征信息用于确定所述待处理的三维点云数据的处理结果。

在另一个可能的实现中,上述算子信息包括预训练的卷积神经网络中的多个卷积算子中各个卷积算子的信息;多个卷积算子中各个卷积算子的信息包括卷积核尺寸、卷积步长和卷积填充;输出体素网格尺寸确定模块具体用于基于输入体素网格尺寸、卷积尺寸、卷积步长和卷积填充,确定所述输出体素网格的尺寸。

在另一个可能的实现中,感受野确定模块具体用于基于多个输出体素子网格中各个输出体素子网格的尺寸、卷积尺寸、卷积步长和卷积填充,确定所述多个输出体素子网格中各个输出体素子网格对应的感受野。

在另一个可能的实现中,上述多个输出体素子网格中各个输出体素子网格之间无重叠。

在另一个可能的实现中,待处理的三维点云数据的处理结果包括物体分类结果、目标检测结果、场景分割结果、人脸识别结果和姿态估算结果中的一种或多种。

第四方面,本申请提供了一种电子设备,包括通信接口、存储器和处理器;其中通信接口用于接收待处理的三维点云数据;存储器存储有计算机指令;处理器执行该计算机指令,执行如下步骤:获取待处理的三维点云数据;对三维点云数据进行体素化处理,确定输入体素网格特征信息,输入体素网格特征信息包括输入体素网格的尺寸、组成输入体素网格的多个输入体素子网格的尺寸和每个输入体素子网格对应的特征值;基于输入体素网格的尺寸和算子信息,确定输出体素网格的尺寸;将输出体素网格进行划分,确定多个输出体素子网格;基于多个输出体素子网格和所述算子信息,确定多个输出体素子网格中各个输出体素子网格对应的感受野;对非空感受野内的输入体素子网格对应的特征值进行运算,确定第一输出体素子网格对应的特征向量,非空感受野表征所述感受野内的输入体素子网格对应的特征值不全为0;将第二输出子网格对应的特征向量赋值为0,第二输出子网络表征空感受野对应的输出体素子网格,空感受野表征所述感受野内的输入体素子网格对应的特征值均为0;基于第一输出体素子网格对应的特征向量和第二输出体素子网格对应的特征向量,确定输出体素网格特征信息,其中,输出体素网格特征信息用于确定待处理的三维点云数据的处理结果。

在一个可能的实现中,算子信息包括预训练的卷积神经网络中的多个卷积算子中各个卷积算子的信息;多个卷积算子中各个卷积算子的信息包括卷积尺寸、卷积步长和卷积填充;基于输入体素网格的尺寸和算子信息,确定输出体素网格的尺寸,包括:基于输入体素网格的尺寸、卷积核尺寸、卷积步长和卷积填充,确定所述输出体素网格的尺寸。

在另一个可能的实现中,上述基于所述多个输出体素子网格和所述算子信息,确定多个输出体素子网格中各个输出体素子网格对应的感受野,包括:基于多个输出体素子网格中各个输出体素子网格的尺寸、卷积尺寸、卷积步长和卷积填充,确定多个输出体素子网格中各个输出体素子网格对应的感受野。

在另一个可能的实现中,上述多个输出体素子网格中各个输出体素子网格之间无重叠。

在另一个可能的实现中,上述待处理的三维点云数据的处理结果包括物体分类结果、目标检测结果、场景分割结果、人脸识别结果和姿态估算结果中的一种或多种。

第四方面,本申请提供了一种芯片,该芯片包括至少一个处理器和接口,所述至少一个处理器通过所述接口获取程序指令或者数据;该至少一个处理器用于执行所述程序指令,以实现第一方面所述的方法。

第五方面,本申请提供了一种计算机存储介质,包括计算机指令,当所述计算机指令在被处理器执行时,使得第一方面所述的方法被实现。

第六方面,本申请提供了一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括指令,当该指令执行时,令计算机执行第一方面所述的方法。

附图说明

图1为本申请实施例提供的三维点云数据的处理装置的一种应用场景示意图;

图2为一种方案中基于卷积神经网络的三维点云数据的处理过程示意图;

图3为卷积处理示意图;

图4为本申请实施例提供的一种三维点云数据的处理方法流程图;

图5为本申请实施例提供的一种三维点云数据的处理装置的结构示意图;

图6为本申请实施例提供的一种电子设备的结构示意图;

图7为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

下面通过附图和实施例,对本申请的技术方案做进一步的详细描述。

本申请实施例提供一种三维点云数据的处理方法及装置。其中,该三维点云数据的处理装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备,例如,终端包括但不限于车载设备、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等。

图1示出了三维点云数据的处理装置的一种应用场景,电子设备20与采集设备10之间通信连接,例如,通过有线或无线网络连接等。在一些示例中,电子设备20和采集设备10可以集成在一台设备中。

其中,采集设备10可以用于采集场景的三维点云数据或图像数据等,例如采集设备10具体可以是激光雷达或深度相机等。在一些示例中,采集设备10可以将采集到的三维点云数据上传给电子设备20进行处理,其中,点云(point cloud)数据可以包括点的位置信息等。

电子设备20,可以用于对三维点云数据进行处理并得到处理结果,例如,通过对三维点云数据进行处理得到场景中的物体分类结果、目标检测结果、场景分割结果、人脸识别结果和姿态估算结果中的一种或多种。

下面详细介绍电子设备20对三维点云数据的处理方法,需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。

图2示出了一种方案中基于卷积神经网络的三维点云数据的处理过程,包括以下步骤:

S1.将点云所在空间规则地划分成均匀网格,划分得到的每个小立方体空间单元称为体素(voxel),根据点云数据中各个点的空间坐标{(x

S2.将CNN网络中常用的算子如卷积算子等应用于体素网格;传统面向图像的CNN网络中,卷积算子是以一个像素为中心,将其K×K邻域内的所有像素特征向量作为输入,通过运算得到中心像素点的输出特征向量,扩展至3D数据后,卷积算子的输入变为以一个体素为中心的K×K×K空间邻域内所有体素的特征向量,输出为中心体素的新特征,如图3所示(D、W、H分别代表体素网格的深度、宽度和高度)。CNN网络就是多个卷积算子和其他类型算子的组合,网络根据每个体素点的最终输出特征值得到不同应用的结果(如目标检测应用中得到该体素所在的包围框,场景分割应用中得到该体素所属的类别等)。

S3.将CNN网络得到的体素信息赋值给该体素所包含的点云,这一过程也可以称为反体素化(devoxelize),从而得到点云处理结果。

该方案在实现点云处理流程的第2步,对体素网格数据执行CNN的卷积运算时,是在整个体素网格上滑动卷积核,即以每个体素作为中心,将其在卷积核覆盖的邻域内的所有体素值(即体素的特征值)与卷积核进行乘累加运算,得到最终的中心点特征向量。

假设点云转化成体素网格的尺寸为H

其中x∈[0,H

完成整个卷积运算一共需要进行H

由于实际的点云数据在空间分布上是稀疏的,通过第1步体素化处理后,得到的体素网格大部分特征值都是0。这一数据特征凸显了现有卷积方案的两个缺陷:

缺点一:如果进行卷积操作时,卷积核覆盖体素输入的特征矢量均为0,则卷积输出的FO

缺点二:输入体素网格仅包含少量稀疏分布的有效特征值,整个体素网格保存了大量无效信息,增加了处理平台的带宽和存储压力。

本申请实施例提供另一种三维点云数据的处理方法,主要用于解决基于深度学习CNN网络进行三维点云数据处理的卷积执行效率问题。特别是对于稀疏度高的体素网格,存在庞大的冗余计算开销以及内存和带宽负担。本申请通过将网格分块,提取有效数据块,可以同时降低计算量和存储数据量。

图4为本申请实施例提供的一种三维点云数据的处理方法流程图。该方法可以由图1中的电子设备的处理器执行,如图4所示,该方法包括步骤S401-S408。

在步骤S401中,获取待处理的三维点云数据。

三维点云数据为场景或目标表面特性的点集合,点云数据中的点可以包含点的位置信息如三维坐标,此外,还可以包括颜色信息(RGB)或反射强度信息(Intensity)。

示例性的,三维点云数据包括点的位置信息和该点的反射强度,其中,位置信息可以包括点在三维空间坐标系中的三维坐标(x,y,z)等。例如,在实际应用中,三维点云数据可以包括点的三维坐标和反射强度,该点云可以用一个nx4的向量矩阵表示,其中,n为点云中点的数量,每个点对应一个1*4的4维向量,该向量的维度为4与三维坐标和反射强度对应。

三维点云数据可以通过激光测量原理或摄影测量原理检测得到,例如,可以通过激光扫描仪,或者照相式扫描仪扫描得到物体的点云。激光检测点云的原理为:当一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描,便会边扫描边记录到反射的激光点信息,由于扫描极为精细,则能够得到大量的激光点,因而就可形成激光点云。

例如,可以采用LiDAR(light detection and ranging,激光雷达探测与测量)采集场景的三维点云数据。LiDAR是利用GPS(global position system)和IMU(intertialmeasurement unit,惯性测量单元)机载激光扫描。其所测得的数据为数字表面模型(digital surface model,DSM)的离散点表示,数据中含有空间三维信息和激光强度信息。

本申请实施例中,场景的三维点云数据可以由电子设备自己采集,比如,电子设备自己通过激光检测和测量;也可以由其他设备采集,电子设备从其他设备获取,例如,LiDAR传感器采集三维点云数据,电子设备从该传感器获取;或者,从网络数据库中搜索得到等。

其中,场景可以为多种,例如,可以是自动驾驶中的道路场景、机器人导航中的道路场景、室内物体检测中的室内场景和无人机飞行中的航空场景等。

在步骤S402中,对三维点云数据进行体素化处理,确定输入体素网格特征信息。

三维点云数据的体素化处理的具体方法可参见上文中描述,为了简洁,这里不再赘述。

容易理解的是,对三维点云数据进行体素化处理,是指将整个场景的点云映射到三维体素表示,例如,将点云所处的空间均等地划分为体素,并且以体素为单位表示所述点云的参数。每个体素中可能包含所述点云中的一个点,也可能包含所述点云中的多个点,还可能没有包含点云中的任何点。对应包含了点云的体素,可以称为非空体素,对于没有包含点云的体素,可以称为空体素。非空体素的特征值确定方法有多种,例如,包括但不限于,直接取该体素中的某个点的特征向量作为该体素的特征值,或者将该体素内包含的点的特征向量进行平均,得到这个体素的特征值等;对于不包含点的空体素,该空体素的特征值为0。

输入体素网格特征信息包括输入体素网格的尺寸(例如,图3示出的输入体素网格尺为H

在步骤S403中,基于输入体素网格的尺寸和卷积算子信息,确定输出体素网格的尺寸。

其中,卷积算子信息包括预训练的卷积神经网络中的多个卷积算子中各个卷积算子的信息,每个卷积算子信息包括卷积核尺寸、卷积步长(stride)和卷积填充(padding);基于输入体素网格的尺寸、卷积核尺寸、卷积步长和卷积填充,确定输出体素网格的尺寸(H

具体的,输出体素网格的尺寸基于以下公式确定。

其中,H

由于预训练的卷积神经网络中的每个卷积算子的输出通道数C

在步骤S404中,将输出体素网格进行划分,确定多个输出体素子网格。

其中,划分得到的多个输出体素子网格之间无重叠。

可选的,将输出体素网格进行均匀无重叠划分,得到多个均匀大小的输出体素子网格,划分得到的输出体素子网格尺寸为H

在步骤S405中,基于多个输出体素子网格和卷积算子信息,确定多个输出体素子网格中各个体素子网格对应的感受野。

在卷积运算中,每个输出特征向量FO

其中,卷积算子信息包括预训练的卷积神经网络中的多个卷积算子中各个卷积算子的信息,每个卷积算子信息包括卷积核尺寸、卷积步长(stride)和卷积填充(padding);基于多个输出体素子网格中各个输出体素子网格的尺寸、卷积核尺寸、卷积步长和卷积填充,确定多个输出体素子网格中各个输出体素子网格对应的感受野(H

具体的,感受野的覆盖区域基于以下公式确定。

D

H

W

其中,H

由于特征通道C维度不进行切分,所以在感受野上C维度与C

在步骤S406和S407中,对非空感受野内的输入体素子网格对应的特征值进行卷积运算,确定第一输出体素子网格对应的特征向量;将第二输出子网格对应的特征向量赋值为0。

其中,非空感受野表征感受野内的输入体素子网格对应的特征值不全为0,换言之,覆盖区域内的若干输入体素不全为空体素的感受野为非空感受野;空感受野表征感受野内的输入体素子网格对应的特征值均为0,也就是说,覆盖区域内的若干输入体素全为空体素的感受野为空感受野;第一输出体素子网格和第二输出体素子网格分别表征非空感受野对应的输出体素子网格和空感受野对应的输出体素子网格。

根据式(1)的计算过程可知,如果感受野内的输入特征值{FI

在步骤S408中,基于第一输出体素子网格对应的特征向量和第二输出体素子网格对应的特征向量,确定输出体素网格特征信息。

将输出体素网格中所有输出体素子网格的特征向量进行融合,得到输出体素网络特征信息,该输出体素网格特征信息用于确定待处理的三维点云数据的处理结果。例如,基于不同的目标应用,输出不同的处理结果,例如物体分类结果、目标检测结果、场景分割结果、人脸识别结果和姿态估算结果中的一种或多种。

下面以预训练的卷积神经网络为自动驾驶领域广泛应用的PVRCNN(PointVoxel-RCNN)点云目标检测网络为例,介绍对在实际应用中三维点云数据的处理方法。PVRCNN由多个卷积串联组成。PVRCNN的3D卷积部分结构及算子类型参见下述表一。

表一

对于K/stride/padding这三列,标量数值n是矢量(n,n,n)的简化表示,矢量的三个维度分别顺序对应(D,H,W)

其中,Conv3d的卷积核尺寸为K×K×K×C

本实施例采用一种从公开数据集KITTI获得的三维点云数据作为输入。测试三维点云数据整理成体素网格后的尺寸H

1、给定待处理的点云数据,通过体素化处理生成该点云对应的输入体素网格FI,输入体素网格尺寸为1600×1408×41×4;

2、根据CNN网络结构中的卷积算子,得到输出体素网格的尺寸200×176×2×128。对于每一个Conv3D算子,其输出尺寸可以由输入体素网格尺寸和卷积尺寸,根据如下公式计算得到:

这个网络的最终输出尺寸(D、H、W),就是按表1的算子顺序依次套用上述公式计算得到的。

由于每个卷积算子的输出通道数C

3、将输出体素网格进行无重叠均匀划分,划分得到输出子块(即输出体素子网格)大小为4×4×2×128,输出子块数量为N

4、对每个输出子块,根据PVRCNN网络结构反推在最初输入上对应的感受野P

D

H

W

由于特征通道C维度不进行切分,所以在感受野上C维度与C

5、根据P

6、将N

7、将其他N

本申请实施例提供的三维点云数据的处理方法通过剔除输入体素网格中全零的感受野,避免了对这部分数据执行卷积计算,减少冗余计算以及内存空间。在华为昇腾510芯片架构上执行本实施例,实测的端到端耗时为99.8ms,相比现有技术方案的739.77ms,性能是后者的7.41倍。

与前述方法实施例基于相同的构思,本申请实施例中还提供了一种三维点云数据的处理装置500,该三维点云数据的处理装置500包括用以实现图2-图4所示的三维点云数据的处理方法中由电子设备20的处理器所执行的各个步骤的单元或手段。

图5为本申请实施例提供的一种三维点云数据的处理装置的结构示意图。如图5所示,该一种三维点云数据的处理装置500至少包括:

获取模块501,用于获取待处理的三维点云数据;

体素化模块502,用于对所述三维点云数据进行体素化处理,确定输入体素网格特征信息,所述输入体素网格特征信息包括输入体素网格的尺寸、多个输入体素子网格和每个输入体素子网格对应的特征值;

输出体素网格尺寸确定模块503,用于基于所述输入体素网格的尺寸和卷积算子信息,确定输出体素网格的尺寸,所述卷积算子信息包括预训练的卷积神经网络中的多个卷积算子中各个卷积算子的信息;

划分模块504,用于将所述输出体素网格进行划分,确定多个输出体素子网格,所述多个输出体素子网格中各个输出体素子网格之间无重叠;

感受野确定模块505,用于基于所述多个输出体素子网格和所述卷积算子信息,确定所述多个输出体素子网格中各个输出体素子网格对应的感受野;

卷积计算模块506,用于对非空感受野内的输入体素子网格对应的特征值进行卷积运算,确定第一输出体素子网格对应的特征向量,所述非空感受野表征所述感受野内的输入体素子网格对应的特征值不全为0,所述第一输出体素子网格表征所述非空感受野对应的输出体素子网格;

赋值模块507,用于将第二输出子网格对应的特征向量赋值为0,所述第二输出子网络表征空感受野对应的输出体素子网格,所述空感受野表征所述感受野内的输入体素子网格对应的特征值均为0;

输出体素网格特征信息确定模块508,用于基于所述第一输出体素子网格对应的特征向量和所述第二输出体素子网格对应的特征向量,确定所述输出体素网格特征信息,其中,所述输出体素网格特征信息用于确定所述待处理的三维点云数据的处理结果。

在一个可能的实现中,所述多个卷积算子中各个卷积算子的信息包括卷积核尺寸、卷积步长和卷积填充;

所述输出体素网格尺寸确定模块503,具体用于基于所述输入体素网格尺寸、卷积尺寸、卷积步长和卷积填充,确定所述输出体素网格的尺寸。

在另一个可能的实现中,感受野确定模块505,具体用于基于所述多个输出体素子网格中各个输出体素子网格的尺寸、卷积尺寸、卷积步长和卷积填充,确定所述多个输出体素子网格中各个输出体素子网格对应的感受野。

在另一个可能的实现中,所述待处理的三维点云数据的处理结果包括物体分类结果、目标检测结果、场景分割结果、人脸识别结果和姿态估算结果中的一种或多种。

根据本申请实施例的三维点云数据的处理装置500可对应于执行本申请实施例中描述的方法,并且三维点云数据的处理装置500中的各个模块的上述和其它操作和/或功能分别为了实现图2-4中的各个方法的相应流程,为了简洁,在此不再赘述。

本申请实施例还提供一种电子设备,包括至少一个处理器、存储器和通信接口,所述处理器用于执行图2-4所述的方法。

图6为本申请实施例提供的电子设备的结构示意图。

如图6所示,所述电子设备600包括至少一个处理器601、存储器603和通信接口602。其中,处理器601和存储器603、通信接口602通信连接,也可以通过无线传输等其他手段实现通信。该通信接口602用于接收采集设备(例如激光雷达或深度相机)发送的三维点云数据;存储器603存储有计算机指令,该处理器601执行该计算机指令,执行前述方法实施例中的三维点云数据的处理方法。

应理解,在本申请实施例中,该处理器601可以是中央处理单元CPU,该处理器601还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。

该存储器603可以包括只读存储器和随机存取存储器,并向处理器601提供指令和数据。存储器603还可以包括非易失性随机存取存储器。

该存储器603可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。

应理解,根据本申请实施例的电子设备600可以执行实现本申请实施例中图2-4所示方法,该方法实现的详细描述参见上文,为了简洁,在此不再赘述。

图7为本申请实施例提供的一种芯片的结构示意图。

如图7所示,该芯片可包括,处理器701,以及耦合于处理器701的一个或多个接口702。

示例性的,处理器701用于读取和执行计算机可读指令。具体实现中,处理器701主要包括控制器、运算器和寄存器。控制器主要负责指令译码,并为指令对应的操作发出控制信号。运算器主要负责执行定点或浮点算数运算操作、移位操作以及逻辑操作等,也可以执行地址运算和转换。寄存器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。具体实现中,处理器701的硬件架构可以是专用集成电路(applicationspecificintegrated circuits,ASIC)架构、无互锁管道阶段架构的微处理器(microprocessor withoutinter piped stages architecture,MIPS)架构、进阶精简指令集机器(advanced RISmachines,ARM)架构或者NP架构等待。处理器701可以是单核,也可以是多核的,本申请实施例不进行限制。

接口702可用于输入待处理的数据至处理器701,并且可以向外输出处理器701的处理结果。具体实现中,接口702可以是通用输入输出(general purpose input output,GPIO)接口。接口702通过总线703与处理器701相连。

一种可能的实现中,接口702可用于从存储器中调用本申请实施例提供的一个或多个实施例提供的三维点云数据的处理方法的实现程序或数据,使得该芯片可以实现前述图2-4所示方法。存储器可以和处理器701集成在一起,也可以通过接口702与芯片700相耦合,也就是说存储器可以是芯片的一部分,也可以独立于该芯片700。接口702可用于输出处理器701的执行结果。在本申请实施例中,接口702可具体用于输出处理器701的三维点云数据的处理结果。关于本申请实施例提供的三维点云数据的处理方法可参见上文描述,为了简洁,这里不再赘述。

本申请还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行上述任一项方法。

本申请还提供一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括指令,当该指令执行时,令计算机执行上述任一项方法。

本领域普通技术人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道,取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

相关技术
  • 一种基于三维点云数据获取装置的三维点云数据坐标转化方法
  • 三维点云处理方法、三维点云处理模型训练方法及装置
技术分类

06120115923606