姿态模型的训练方法、点云配准方法、设备及存储介质

技术领域

本申请实施例涉及点云技术领域，特别涉及一种姿态模型的训练方法、点云配准方法、设备及存储介质。

背景技术

点云配准是计算机视觉中的一项基本任务，重点是寻找两个点云之间的刚性对齐。随着3D(Three Dimensions，三维)采集设备的不断推广，点云配准已经在自动驾驶、增强现实和3D重建等多个领域得到了应用。

为了对两个点云进行配准，需要获取两个点云对应的图像之间的姿态矩阵，因此亟需一种姿态模型的训练方法来获取姿态模型，进而根据姿态模型，来获取两个点云对应的图像之间的姿态矩阵。

发明内容

本申请实施例提供了一种姿态模型的训练方法、点云配准方法、设备及存储介质。所述技术方案如下：

第一方面，本申请实施例提供了一种姿态模型的训练方法，所述方法包括：

获取第一样本点云和第二样本点云，所述第一样本点云和所述第二样本点云均在第一位置分别于第一时间和第二时间采集得到，且所述第一样本点云包括多个第一样本点的相关信息，所述第二样本点云包括多个第二样本点的相关信息，任一样本点的相关信息包括所述任一样本点的位置信息和深度信息；

根据所述多个第一样本点的相关信息，获取所述第一位置在所述第一时间的第一样本图像；根据所述多个第二样本点的相关信息，获取所述第一位置在所述第二时间的第二样本图像；

调用初始姿态模型基于所述第一样本图像和所述第二样本图像确定第一姿态矩阵，所述第一姿态矩阵用于对所述第一样本点云和所述第二样本点云配准；

根据所述第一姿态矩阵、第一深度图像和第二深度图像，获取第三深度图像，所述第一深度图像基于所述第一样本图像、所述第二样本图像和在所述第一位置在所述第一时间的相机图像确定，所述第二深度图像基于所述多个第二样本点的深度信息得到；

确定所述第二深度图像和所述第三深度图像之间的第一损失值；

根据所述第一损失值，对所述初始姿态模型进行训练，得到目标姿态模型，所述目标姿态模型用于确定两个点云对应的图像之间的姿态矩阵，所述姿态矩阵用于对所述两个点云配准。

在一种可能的实现方式中，所述任一样本点的相关信息还包括所述任一样本点的强度信息；所述方法还包括：

根据所述第一姿态矩阵、第一强度图像和第二强度图像，获取第三强度图像，所述第一强度图像基于所述第一样本图像、所述第二样本图像和在所述第一位置在所述第一时间的相机图像确定，所述第二强度图像基于所述多个第二样本点的强度信息得到；

确定所述第二强度图像和所述第三强度图像之间的第二损失值；

所述根据所述第一损失值，对所述初始姿态模型进行训练，得到目标姿态模型，包括：

根据所述第一损失值和所述第二损失值，对所述初始姿态模型进行训练，得到所述目标姿态模型。

在一种可能的实现方式中，所述方法还包括：

根据所述多个第一样本点的深度信息，确定第四深度图像；

确定所述第四深度图像和所述第一深度图像之间的第三损失值；

根据所述多个第一样本点的强度信息，确定第四强度图像；

确定所述第四强度图像和所述第一强度图像之间的第四损失值；

所述根据所述第一损失值和所述第二损失值，对所述初始姿态模型进行训练，得到所述目标姿态模型，包括：

根据所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值，对所述初始姿态模型进行训练，得到所述目标姿态模型。

在一种可能的实现方式中，所述根据所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值，对所述初始姿态模型进行训练，得到所述目标姿态模型，包括：

根据所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值，确定损失总值；

基于所述损失总值未处于收敛状态，对所述初始姿态模型的参数进行调整，得到调整后的姿态模型；

根据所述调整后的姿态模型、所述第一样本图像和所述第二样本图像，确定更新后的损失总值；

基于所述更新后的损失总值处于收敛状态，将所述调整后的姿态模型作为所述目标姿态模型。

在一种可能的实现方式中，所述调用初始姿态模型基于所述第一样本图像和所述第二样本图像确定第一姿态矩阵，包括：

根据所述第一样本图像和所述第二样本图像，获取第一组合图像，所述第一组合图像包括所述第一样本图像和所述第二样本图像；

将所述第一组合图像输入所述初始姿态模型，得到所述第一组合图像的特征向量，所述第一组合图像的特征向量用于表征所述第一组合图像；

调用姿态解码器对所述第一组合图像的特征向量进行解码，得到所述第一姿态矩阵。

在一种可能的实现方式中，所述根据所述第一姿态矩阵、第一深度图像和第二深度图像，获取第三深度图像，包括：

根据所述第二深度图像中的各个像素点的位置信息、深度信息和所述第一姿态矩阵，得到多个目标位置信息，所述第二深度图像中的每个像素点的位置信息对应有一个目标位置信息；

将所述第一深度图像中与各个目标位置信息对应的位置相同的像素点的深度信息作为所述各个目标位置信息对应的深度信息；

根据所述第二深度图像中的各个像素点的位置信息和所述各个像素点的位置信息对应的目标位置信息对应的深度信息，生成所述第三深度图像。

第二方面，本申请实施例提供了一种点云配准方法，所述方法包括：

获取第一点云和第二点云，所述第一点云和所述第二点云均在第二位置分别于第三时间和第四时间采集得到，且所述第一点云包括多个第一点的相关信息，所述第二点云包括多个第二点的相关信息，任一点的相关信息包括所述任一点的位置信息和深度信息；

根据所述多个第一点的相关信息，获取所述第二位置在所述第三时间的第一图像；根据所述多个第二点的相关信息，获取所述第二位置在所述第四时间的第二图像；

调用目标姿态模型基于所述第一图像和所述第二图像确定第二姿态矩阵，所述第二姿态矩阵用于对所述第一点云和所述第二点云配准，所述目标姿态模型基于上述第一方面所述的方法训练得到。

在一种可能的实现方式中，所述调用目标姿态模型基于所述第一图像和所述第二图像确定第二姿态矩阵，包括：

根据所述第一图像和所述第二图像，获取第二组合图像，所述第二组合图像包括所述第一图像和所述第二图像；

将所述第二组合图像输入所述目标姿态模型，得到所述第二组合图像的特征向量，所述第二组合图像的特征向量用于表征所述第二组合图像；

调用姿态解码器对所述第二组合图像的特征向量进行解码，得到所述第二姿态矩阵。

第三方面，本申请实施例提供了一种姿态模型的训练装置，所述装置包括：

获取模块，用于获取第一样本点云和第二样本点云，所述第一样本点云和所述第二样本点云均在第一位置分别于第一时间和第二时间采集得到，且所述第一样本点云包括多个第一样本点的相关信息，所述第二样本点云包括多个第二样本点的相关信息，任一样本点的相关信息包括所述任一样本点的位置信息和深度信息；

所述获取模块，还用于根据所述多个第一样本点的相关信息，获取所述第一位置在所述第一时间的第一样本图像；根据所述多个第二样本点的相关信息，获取所述第一位置在所述第二时间的第二样本图像；

确定模块，用于调用初始姿态模型基于所述第一样本图像和所述第二样本图像确定第一姿态矩阵，所述第一姿态矩阵用于对所述第一样本点云和所述第二样本点云配准；

所述获取模块，还用于根据所述第一姿态矩阵、第一深度图像和第二深度图像，获取第三深度图像，所述第一深度图像基于所述第一样本图像、所述第二样本图像和在所述第一位置在所述第一时间的相机图像确定，所述第二深度图像基于所述多个第二样本点的深度信息得到；

所述确定模块，还用于确定所述第二深度图像和所述第三深度图像之间的第一损失值；

训练模块，用于根据所述第一损失值，对所述初始姿态模型进行训练，得到目标姿态模型，所述目标姿态模型用于确定两个点云对应的图像之间的姿态矩阵，所述姿态矩阵用于对所述两个点云配准。

在一种可能的实现方式中，所述任一样本点的相关信息还包括所述任一样本点的强度信息；

所述获取模块，还用于根据所述第一姿态矩阵、第一强度图像和第二强度图像，获取第三强度图像，所述第一强度图像基于所述第一样本图像、所述第二样本图像和在所述第一位置在所述第一时间的相机图像确定，所述第二强度图像基于所述多个第二样本点的强度信息得到；

所述确定模块，还用于确定所述第二强度图像和所述第三强度图像之间的第二损失值；

所述训练模块，用于根据所述第一损失值和所述第二损失值，对所述初始姿态模型进行训练，得到所述目标姿态模型。

在一种可能的实现方式中，所述确定模块，还用于根据所述多个第一样本点的深度信息，确定第四深度图像；确定所述第四深度图像和所述第一深度图像之间的第三损失值；根据所述多个第一样本点的强度信息，确定第四强度图像；确定所述第四强度图像和所述第一强度图像之间的第四损失值；

所述训练模块，用于根据所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值，对所述初始姿态模型进行训练，得到所述目标姿态模型。

在一种可能的实现方式中，所述训练模块，用于根据所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值，确定损失总值；基于所述损失总值未处于收敛状态，对所述初始姿态模型的参数进行调整，得到调整后的姿态模型；根据所述调整后的姿态模型、所述第一样本图像和所述第二样本图像，确定更新后的损失总值；基于所述更新后的损失总值处于收敛状态，将所述调整后的姿态模型作为所述目标姿态模型。

在一种可能的实现方式中，所述确定模块，用于根据所述第一样本图像和所述第二样本图像，获取第一组合图像，所述第一组合图像包括所述第一样本图像和所述第二样本图像；将所述第一组合图像输入所述初始姿态模型，得到所述第一组合图像的特征向量，所述第一组合图像的特征向量用于表征所述第一组合图像；调用姿态解码器对所述第一组合图像的特征向量进行解码，得到所述第一姿态矩阵。

在一种可能的实现方式中，所述获取模块，用于根据所述第二深度图像中的各个像素点的位置信息、深度信息和所述第一姿态矩阵，得到多个目标位置信息，所述第二深度图像中的每个像素点的位置信息对应有一个目标位置信息；将所述第一深度图像中与各个目标位置信息对应的位置相同的像素点的深度信息作为所述各个目标位置信息对应的深度信息；根据所述第二深度图像中的各个像素点的位置信息和所述各个像素点的位置信息对应的目标位置信息对应的深度信息，生成所述第三深度图像。

第四方面，本申请实施例提供了一种点云配准装置，所述装置包括：

获取模块，用于获取第一点云和第二点云，所述第一点云和所述第二点云均在第二位置分别于第三时间和第四时间采集得到，且所述第一点云包括多个第一点的相关信息，所述第二点云包括多个第二点的相关信息，任一点的相关信息包括所述任一点的位置信息和深度信息；

所述获取模块，还用于根据所述多个第一点的相关信息，获取所述第二位置在所述第三时间的第一图像；根据所述多个第二点的相关信息，获取所述第二位置在所述第四时间的第二图像；

确定模块，用于调用目标姿态模型基于所述第一图像和所述第二图像确定第二姿态矩阵，所述第二姿态矩阵用于对所述第一点云和所述第二点云配准，所述目标姿态模型基于上述第三方面所述的装置训练得到。

在一种可能的实现方式中，所述确定模块，用于根据所述第一图像和所述第二图像，获取第二组合图像，所述第二组合图像包括所述第一图像和所述第二图像；将所述第二组合图像输入所述目标姿态模型，得到所述第二组合图像的特征向量，所述第二组合图像的特征向量用于表征所述第二组合图像；调用姿态解码器对所述第二组合图像的特征向量进行解码，得到所述第二姿态矩阵。

第五方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以使计算机设备实现上述第一方面所述的姿态模型的训练方法，或者，以使计算机设备实现上述第二方面所述的点云配准方法。

第六方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以使计算机实现上述第一方面所述的姿态模型的训练方法，或者，以使计算机设备实现上述第二方面所述的点云配准方法。

第七方面，还提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行，以使计算机实现上述第一方面所述的姿态模型的训练方法，或者，以使计算机实现上述第二方面所述的点云配准方法。

本申请实施例提供的技术方案至少带来如下有益效果：

本申请实施例提供的技术方案，不需要在点云中进行筛选，因此，对于稠密点云和稀疏点云均可适用，具有更强的鲁棒性和更广泛的使用场景。而且，该方法不仅考虑到样本点的位置信息，还考虑到样本点的深度信息，考虑的信息较为全面，进而使得训练得到的目标姿态模型的准确性更高，使用准确性更高的目标姿态模型来确定两个点云对应的图像之间的姿态矩阵，使得确定的姿态矩阵的准确性更高，进而使用准确性更高的姿态矩阵来对两个点云进行配准，使得两个点云的配准效果较佳，配准的准确性更高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种姿态模型的训练方法、点云配准方法的实施环境示意图；

图2是本申请实施例提供的一种姿态模型的训练方法的流程图；

图3是本申请实施例提供的一种第一姿态矩阵的确定过程的示意图；

图4是本申请实施例提供的一种姿态模型的训练过程的流程图；

图5是本申请实施例提供的一种点云配准方法的流程图；

图6是本申请实施例提供的一种点云配准的图片；

图7是本申请实施例提供的一种点云配准方法的流程图；

图8是本申请实施例提供的一种姿态模型的训练装置的结构示意图；

图9是本申请实施例提供的一种点云配准装置的结构示意图；

图10是本申请实施例提供的一种终端设备的结构示意图；

图11是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请实施例提供的一种姿态模型的训练方法、点云配准方法的实施环境示意图，如图1所示，该实施环境包括：计算机设备101，计算机设备101可以是终端设备，也可以是服务器，本申请实施例对此不进行限定。计算机设备101用于执行本申请实施例提供的姿态模型的训练方法、点云配准方法。

可选地，计算机设备101为终端设备，终端设备可以是任何一种可与用户通过键盘、触摸板、遥控器、语音交互或者手写设备等一种或多种方式进行人机交互的电子设备产品。例如，PC(Personal Computer，个人计算机)、手机、智能手机、PDA(Personal DigitalAssistant，个人数字助手)、可穿戴设备、PPC(Pocket PC，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱、智能手表等。

终端设备可以泛指多个终端设备中的一个，本实施例仅以终端设备来举例说明。本领域技术人员可以知晓，上述终端设备的数量可以更多或更少。比如上述终端设备可以仅为一个，或者上述终端设备为几十个或几百个，或者更多数量，本申请实施例对终端设备的数量和设备类型不加以限定。

计算机设备101为服务器时，服务器为一台服务器，或者为多台服务器组成的服务器集群，或者为云计算平台和虚拟化中心中的任意一种，本申请实施例对此不加以限定。服务器与终端设备通过有线网络或无线网络进行通信连接。服务器具有数据接收功能、数据处理功能和数据发送功能。当然，服务器还可以具有其他功能，本申请实施例对此不加以限定。

本领域技术人员应能理解上述终端设备和服务器仅为举例说明，其他现有的或者今后可能出现的终端设备或服务器，如可适用于本申请，也应包含在本申请的保护范围之内，并在此以引用方式包含于此。

本申请实施例提供了一种姿态模型的训练方法，该方法可应用于上述图1所示的实施环境，以图2所示的本申请实施例提供的一种姿态模型的训练方法的流程图为例，该方法可由图1中的计算机设备101执行。如图2所示，该方法包括下述步骤201至步骤206。

在步骤201中，获取第一样本点云和第二样本点云。

其中，第一样本点云和第二样本点云均在第一位置分别于第一时间和第二时间采集得到，且第一样本点云包括多个第一样本点的相关信息，第二样本点云包括多个第二样本点的相关信息，任一样本点的相关信息包括任一样本点的位置信息和深度信息。

第一时间和第二时间不同，第一时间可以早于第二时间，也可以晚于第二时间，本申请实施例对此不进行限定。示例性地，第一样本点云在第一位置在第一时间采集得到，第二样本点云在第一位置在第二时间采集得到。

在一种可能的实现方式中，车辆中安装有激光雷达，激光雷达用于采集点云。示例性地，第一样本点云在第一位置在第一时间采集得到，第二样本点云在第一位置在第二时间采集得到。当激光雷达在第一位置在第一时间采集到第一样本点云之后，激光雷达向计算机设备发送第一样本点云，以使计算机设备获取到第一样本点云。当激光雷达在第一位置在第二时间采集到第二样本点云之后，激光雷达向计算机设备发送第二样本点云，以使计算机设备获取到第二样本点云。

可选地，第一样本点云和第二样本点云对应的位置可以不是同一个位置。例如，第一样本点云在第一位置在第一时间采集得到，第二样本点云在参考位置在第二时间采集得到。其中，第一位置和参考位置之间的距离小于距离阈值。距离阈值基于经验进行设置，或者根据实施环境进行调整，本申请实施例对此不进行限定。示例性地，距离阈值为1米。

在步骤202中，根据多个第一样本点的相关信息，获取第一位置在第一时间的第一样本图像；根据多个第二样本点的相关信息，获取第一位置在第二时间的第二样本图像。

在一种可能的实现方式中，根据多个第一样本点的相关信息，获取第一位置在第一时间的第一样本图像的过程，与根据多个第二样本点的相关信息，获取第一位置在第二时间的第二样本图像的过程是类似的，本申请实施例仅以根据多个第一样本点的相关信息，获取第一位置在第一时间的第一样本图像的过程为例进行说明。

可选地，根据多个第一样本点的相关信息，获取第一位置在第一时间的第一样本图像的过程包括：根据转换矩阵对多个第一样本点的相关信息进行调整，得到多个第一样本点调整之后的相关信息，根据多个第一样本点调整之后的相关信息，获取第一位置在第一时间的第一样本图像。其中，转换矩阵为激光雷达和相机之间的外参，第一样本点云和第二样本点云通过激光雷达采集到，在第一位置在第一时间的相机图像通过相机采集得到。

车辆中安装有激光雷达和相机，其中，激光雷达用于采集点云，相机用于采集相机图像，激光雷达采集在第一位置在第一时间的点云时，相机也采集了在第一位置在第一时间的相机图像，激光雷达采集在第一位置在第二时间的点云时，相机也采集了在第一位置在第二时间的相机图像，激光雷达和相机之间的外参已知，该外参用于将激光雷达采集到的点云转换为图像。

由于任一样本点的相关信息包括任一样本点的位置信息和深度信息，因此，第一样本图像中包括根据各个第一样本点的深度信息得到的深度图像。可选地，任一样本点的相关信息还包括任一样本点的强度信息，则第一样本图像中还包括根据各个第一样本点的强度信息得到的强度图像。也即是，第一样本图像包括深度图像和强度图像。

在步骤203中，调用初始姿态模型基于第一样本图像和第二样本图像确定第一姿态矩阵。

其中，第一姿态矩阵用于对第一样本点云和第二样本点云配准。

可选地，调用初始姿态模型基于第一样本图像和第二样本图像确定第一姿态矩阵的过程包括：根据第一样本图像和第二样本图像，获取第一组合图像，第一组合图像包括第一样本图像和第二样本图像；将第一组合图像输入初始姿态模型，得到第一组合图像的特征向量，第一组合图像的特征向量用于表征第一组合图像；调用姿态解码器对第一组合图像的特征向量进行解码，得到第一姿态矩阵。

其中，根据第一样本图像和第二样本图像，获取第一组合图像的过程包括：将第一样本图像和第二样本图像叠加在一起，得到第一组合图像。

在一种可能的实现方式中，初始姿态模型(PoseNet)是基于R-18输出的特征图，使用num_queries＝1的多层transformer(转换)结构输出一个姿态矩阵，姿态矩阵包括6个自由度(三个欧拉角和三个方向的平移)。

如图3是本申请实施例提供的一种第一姿态矩阵的确定过程的示意图。在图3中，姿态解码器包括Norm(范数)层、MLP(多层感知器)层、Muti-Head Attention(多头注意力)层、Cross-Attention(交叉注意力)层、linear(线性)层、sigmoid(激活函数)层、softmax(非线性转换函数)层。在姿态解码器中输入第一组合图像的特征向量，经过姿态解码器包括的各个层对第一组合图像的特征向量进行解码，得到第一姿态矩阵。

在步骤204中，根据第一姿态矩阵、第一深度图像和第二深度图像，获取第三深度图像。

其中，第一深度图像基于第一样本图像、第二样本图像和在第一位置在第一时间的相机图像确定，第二深度图像基于多个第二样本点的深度信息得到。

可选地，根据第一样本图像、第二样本图像和在第一位置在第一时间的相机图像，获取第一深度图像的过程包括：将第一样本图像、第二样本图像和在第一位置在第一时间的相机图像叠加在一起，得到叠加图像；将叠加图像输入初始深度模型，得到第一深度图像。其中，初始深度模型是基于R-18类似于Hourglass Network(姿态估计网络)的Encoder-Decoder(编码器-解码器)结构，用于从图像预测稠密的深度(Depth)属性。

可选地，由于第二样本图像中包括深度图像和强度图像，因此，还可以直接将第二样本图像中包括的深度图像作为第二深度图像。

在一种可能的实现方式中，根据第一姿态矩阵、第一深度图像和第二深度图像，获取第三深度图像的过程包括：根据第二深度图像中的各个像素点的位置信息、深度信息和第一姿态矩阵，得到多个目标位置信息，第二深度图像中的每个像素点的位置信息对应有一个目标位置信息；将第一深度图像中与各个目标位置信息对应的位置相同的像素点的深度信息作为各个目标位置信息对应的深度信息；根据第二深度图像中的各个像素点的位置信息和各个像素点的位置信息对应的目标位置信息对应的深度信息，生成第三深度图像。第二深度图像中的任一个像素点的位置信息对应的目标位置信息为第二深度图像中的任一个像素点映射到第一深度图像坐标系下的位置信息。

可选地，根据第二深度图像中的各个像素点的位置信息、深度信息和第一姿态矩阵，按照下述公式(1)得到各个像素点的位置信息对应的目标位置信息。

P

在上述公式(1)中，P

示例性地，第二深度图像中包括3个像素点，其中，第一个像素点在第二深度图像中的位置信息为(x1，y1)，第二个像素点在第二深度图像中的位置信息为(x2，y2)，第三个像素点在第二深度图像中的位置信息为(x3，y3)。通过上述公式(1)得到第一个像素点在第二深度图像中的位置信息对应的目标位置信息为(x4，y4)，第二个像素点在第二深度图像中的位置信息对应的目标位置信息为(x5，y5)，第三个像素点在第二深度图像中的位置信息对应的目标位置信息为(x6，y6)。确定第一深度图像中位置信息为(x4，y4)的像素点的深度信息为D1，第一深度图像中位置信息为(x5，y5)的像素点的深度信息为D2，第一深度图像中位置信息为(x6，y6)的像素点的深度信息为D3。根据(x1，y1)、(x2，y2)、(x3，y3)、D1、D2、D3，生成第三深度图像，第三深度图像中(x1，y1)像素点的深度信息为D1，(x2，y2)像素点的深度信息为D2，(x3，y3)像素点的深度信息为D3。

在步骤205中，确定第二深度图像和第三深度图像之间的第一损失值。

可选地，在上述步骤中获取到第三深度图像之后，确定第二深度图像和第三深度图像之间的第一损失值的过程包括：根据第二深度图像中的各个像素点的深度信息和第三深度图像中的各个像素点的深度信息，确定第二深度图像和第三深度图像之间的第一损失值。

示例性地，根据下述公式(2)确定第二深度图像和第三深度图像之间的第一损失值。

在上述公式(2)中，loss

在步骤206中，根据第一损失值，对初始姿态模型进行训练，得到目标姿态模型。

可选地，基于第一损失值处于未收敛状态，对初始姿态模型的参数进行调整，得到调整后的姿态模型；根据调整后的姿态模型、第一样本图像和第二样本图像，确定更新后的损失值，基于更新后的损失值处于收敛状态，将调整后的姿态模型作为目标姿态模型。基于更新后的损失值还是处于未收敛状态，则继续对更新后的姿态模型的参数进行调整，直至得到处于收敛状态的损失值，将处于收敛状态的损失值时的姿态模型作为目标姿态模型，目标姿态模型用于确定两个点云对应的图像之间的姿态矩阵，姿态矩阵用于对两个点云配准。

可选地，基于第一损失值不小于损失阈值，对初始姿态模型的参数进行调整，得到调整后的姿态模型；根据调整后的姿态模型、第一样本图像和第二样本图像，确定更新后的损失值；基于更新后的损失值小于损失阈值，将调整后的姿态模型作为目标姿态模型。基于更新后的损失值还是不小于损失阈值，则继续对更新后的姿态模型的参数进行调整，直至得到小于损失阈值的损失值，将小于损失阈值的损失值时的姿态模型作为目标姿态模型。其中，损失阈值基于经验进行设置，或者根据实施环境进行调整，本申请实施例对此不进行限定。

在一种可能的实现方式中，任一样本点的相关信息还包括任一样本点的强度信息。该姿态模型的训练方法还包括：根据第一姿态矩阵、第一强度图像和第二强度图像，获取第三强度图像，第一强度图像基于第一样本图像、第二样本图像和在第一位置在第一时间的相机图像确定，第二强度图像基于多个第二样本点的强度信息得到。确定第二强度图像和第三强度图像之间的第二损失值。根据第一损失值，对初始姿态模型进行训练，得到目标姿态模型的过程包括：根据第一损失值和第二损失值，对初始姿态模型进行训练，得到目标姿态模型。

其中，根据第一样本图像、第二样本图像和在第一位置在第一时间的相机图像，获取第一强度图像的过程包括：将第一样本图像、第二样本图像和在第一位置在第一时间的相机图像叠加在一起，得到叠加图像；将叠加图像输入初始强度模型，得到第一强度图像。其中，初始强度模型是基于R-18类似于Hourglass Network的Encoder-Decoder结构，用于从图像预测稠密的强度(Intensity)属性。

可选地，由于第二样本图像中包括深度图像和强度图像，因此，可以直接将第二样本图像中包括的强度图像作为第二强度图像。

在一种可能的实现方式中，根据第一姿态矩阵、第一强度图像和第二强度图像，获取第三强度图像的过程包括：根据第二强度图像中的各个像素点的位置信息、深度信息和第一姿态矩阵，得到多个参考位置信息，第二强度图像中的每个像素点的位置信息对应有一个参考位置信息；将第一强度图像中与各个参考位置信息对应的位置相同的像素点的强度信息作为各个参考位置信息对应的强度信息；根据第二强度图像中的各个像素点的位置信息和各个像素点的位置信息对应的参考位置信息对应的强度信息，生成第三强度图像。

其中，将第二深度图像中，与第二强度图像中的像素点的位置信息相同的像素点的深度信息作为第二强度图像中的像素点的深度信息。根据第二强度图像中的各个像素点的位置信息、深度信息和第一姿态矩阵，得到多个参考位置信息的过程与上述过程中根据第二深度图像中的各个像素点的位置信息、深度信息和第一姿态矩阵，得到多个目标位置信息的过程类似，在此不再进行赘述。

示例性地，第二强度图像中包括3个像素点，第一个像素点在第二强度图像中的位置信息为(x7，y7)，第二个像素点在第二强度图像中的位置信息为(x8，y8)，第三个像素点在第二强度图像中的位置信息为(x9，y9)。通过上述公式(3)得到第一个像素点的位置信息对应的参考位置信息为(x10，y10)，第二个像素点的位置信息对应的参考位置信息为(x11，y11)，第三个像素点的位置信息对应的参考位置信息为(x12，y12)。确定第一强度图像中位置信息为(x10，y10)的像素点的强度信息为I1，第一强度图像中位置信息为(x11，y11)的像素点的强度信息为I2，第一强度图像中位置信息为(x12，y12)的像素点的强度信息为I3，根据(x7，y7)、(x8，y8)、(x9，y9)、I1、I2、I3，生成第三强度图像，在第三强度图像中(x7，y7)像素点的强度信息为I1，(x8，y8)像素点的强度信息为I2，(x9，y9)像素点的强度信息为I3。

可选地，确定第二强度图像和第三强度图像之间的第二损失值的过程包括：根据第二强度图像中的各个像素点的强度信息和第三强度图像中的各个像素点的强度信息，确定第二强度图像和第三强度图像之间的第二损失值。

示例性地，根据下述公式(3)确定第二强度图像和第三强度图像之间的第二损失值。

在上述公式(3)中，loss

可选地，还可以使用交叉熵损失函数来确定第二强度图像和第三强度图像之间的第二损失值，还可以使用交叉熵损失函数来确定第二深度图像和第三深度图像之间的第一损失值，本申请实施例对第二损失值和第一损失值的确定方式不进行限定。

在一种可能的实现方式中，该姿态模型的训练方法还包括：根据多个第一样本点的深度信息，确定第四深度图像；确定第四深度图像和第一深度图像之间的第三损失值；根据多个第一样本点的强度信息，确定第四强度图像；确定第四强度图像和第一强度图像之间的第四损失值。根据第一损失值和第二损失值，对初始姿态模型进行训练，得到目标姿态模型的过程包括：根据第一损失值、第二损失值、第三损失值和第四损失值，对初始姿态模型进行训练，得到目标姿态模型。

其中，根据多个第一样本点的深度信息，确定第四深度图像的过程包括：根据多个第一样本点的位置信息和各个第一样本点的深度信息，生成第四深度图像，第四深度图像中在各个第一样本点的位置信息处的深度为各个第一样本点的深度信息。根据多个第一样本点的强度信息，确定第四强度图像的过程包括：根据多个第一样本点的位置信息和各个第一样本点的强度信息，生成第四强度图像，第四强度图像中在各个第一样本点的位置信息处的强度为各个第一样本点的强度信息。

确定第四深度图像和第一深度图像之间的第三损失值的过程，与上述确定第二深度图像和第三深度图像之间的第一损失值的过程类似，在此不再进行赘述。确定第四强度图像和第一强度图像之间的第四损失值的过程，与上述确定第二强度图像和第三强度图像之间的第二损失值的过程类似，在此也不再进行赘述。

在一种可能的实现方式中，根据第一损失值、第二损失值、第三损失值和第四损失值，对初始姿态模型进行训练，得到目标姿态模型的过程包括：根据第一损失值、第二损失值、第三损失值和第四损失值，确定损失总值；基于损失总值未处于收敛状态，对初始姿态模型的参数进行调整，得到调整后的姿态模型，根据调整后的姿态模型、第一样本图像和第二样本图像，确定更新后的损失总值；基于更新后的损失总值处于收敛状态，将调整后的姿态模型作为目标姿态模型。

根据第一损失值、第二损失值、第三损失值和第四损失值，确定损失总值的过程包括：将第一损失值、第二损失值、第三损失值和第四损失值的和值作为损失总值。

基于损失总值未处于收敛状态时，对初始姿态模型的参数进行调整，得到调整后的姿态模型，还可以对初始深度模型和初始强度模型进行调整，得到调整后的深度模型和调整后的强度模型。根据调整后的姿态模型、调整后的深度模型、调整后的强度模型、第一样本图像和第二样本图像，确定更新后的损失总值。

通过本申请实施例提供的姿态模型的训练方法所得到的目标姿态模型所确定的姿态矩阵在各个维度的平均误差和标准差如下述表一所示，其中，角度单位为度，平移单位为米。

表一

由上述表一可知，姿态矩阵在x方向的角度平均误差为0.1042，在y方向的角度平均误差为0.1455，在z方向的角度平均误差为0.1566，姿态矩阵在x方向、在y方向、在z方向的平移平均误差、角度标准差和平移标准差见上述表一所示，在此不再进行赘述。由表一可见，通过本申请实施例训练得到的目标姿态模型在各个维度的平均误差和标准差相比于其他深度学习方案均较小，因而，本申请实施例训练得到的目标姿态模型的准确度较高，部署友好。

上述方法不需要在点云中进行筛选，因此，对于稠密点云和稀疏点云均可适用，具有更强的鲁棒性和更广泛的使用场景。而且，该方法不仅考虑到样本点的位置信息，还考虑到样本点的深度信息，考虑的信息较为全面，进而使得训练得到的目标姿态模型的准确性更高，使用准确性更高的目标姿态模型来确定两个点云对应的图像之间的姿态矩阵，使得确定的姿态矩阵的准确性更高，进而使用准确性更高的姿态矩阵来对两个点云进行配准，使得两个点云的配准效果较佳，配准的准确性更高。

如图4是本申请实施例提供的一种姿态模型的训练过程的流程图。在图4中，获取第一样本点云和第二样本点云，根据第一样本点云生成第一样本图像，根据第二样本点云生成第二样本图像；根据第一样本图像和第二样本图像，得到第一组合图像；将第一组合图像输入初始姿态模型，得到第一组合图像的特征向量；将第一组合图像的特征向量输入姿态解码器，得到第一姿态矩阵。

获取在第一位置在第一时间的相机图像；根据第一样本图像、第二样本图像和在第一位置在第一时间的相机图像，得到叠加图像；将叠加图像输入初始深度模型，得到第一深度图像；将叠加图像输入初始强度模型，得到第一强度图像。

根据第一样本点云，得到第一强度图像和第一深度图像；根据第二样本点云，得到第二强度图像和第二深度图像。根据第一深度图像、第二深度图像和第一姿态矩阵，得到第三深度图像。根据第一强度图像、第二强度图像和第一姿态矩阵，得到第三强度图像。

确定第二深度图像和第三深度图像之间的第一损失值，确定第二强度图像和第三强度图像之间的第二损失值，确定第一深度图像和第四深度图像之间的第三损失值，确定第一强度图像和第四强度图像之间的第四损失值；确定第一损失值、第二损失值、第三损失值和第四损失值之间的损失和值，根据损失和值对初始姿态模型、初始深度模型和初始强度模型进行训练，得到目标姿态模型、目标深度模型和目标强度模型。

图5是本申请实施例提供的一种点云配准方法的流程图，该方法可由图1中的计算机设备101执行。如图5所示，该方法包括下述步骤501至步骤503。

在步骤501中，获取第一点云和第二点云。

其中，第一点云和第二点云均在第二位置分别于第三时间和第四时间采集得到，且第一点云包括多个第一点的相关信息，第二点云包括多个第二点的相关信息，任一点的相关信息包括任一点的位置信息和深度信息。第三时间和第四时间不同，第三时间可以早于第四时间，也可以晚于第四时间，本申请实施例对此不进行限定。

可选地，车辆中安装有激光雷达，当激光雷达在第二位置在第三时间采集到第一点云，激光雷达向计算机设备发送第一点云，以使计算机设备获取到第一点云。当激光雷达在第二位置在第四时间采集到第二点云，激光雷达向计算机设备发送第二点云，以使计算机设备获取到第二点云。

在步骤502中，根据多个第一点的相关信息，获取第二位置在第三时间的第一图像，根据多个第二点的相关信息，获取第二位置在第四时间的第二图像。

在一种可能的实现方式中，根据多个第一点的相关信息，获取第二位置在第三时间的第一图像的过程与根据多个第二点的相关信息，获取第二位置在第四时间的第二图像的过程类似，且根据多个第一点的相关信息，获取第二位置在第三时间的第一图像的过程，与上述根据多个第一样本点的相关信息，获取第一位置在第一时间的第一样本图像的过程类似，在此不再进行赘述。

在步骤503中，调用目标姿态模型基于第一图像和第二图像确定第二姿态矩阵。

其中，第二姿态矩阵用于对第一点云和第二点云配准，目标姿态模型基于上述图2所示的方法实施例训练得到。

在一种可能的实现方式中，调用目标姿态模型基于第一图像和第二图像确定第二姿态矩阵的过程，包括：根据第一图像和第二图像，获取第二组合图像，第二组合图像中包括第一图像和第二图像；将第二组合图像输入目标姿态模型，得到第二组合图像的特征向量，第二组合图像的特征向量用于表征第二组合图像；调用姿态解码器对第二组合图像的特征向量进行解码，得到第二姿态矩阵。

其中，将第一图像和第二图像叠加在一起，得到第二组合图像。

可选地，确定出第二姿态矩阵之后，在激光雷达和相机之间的外参已知的情况下，还可以根据第二姿态矩阵对第一点云和第二点云进行配准，该配准过程包括：根据第二姿态矩阵对第二图像进行调整，得到第三图像；对第三图像和第一图像进行配准，得到第三图像和第一图像中不一样的区域，该不一样的区域即为第二位置中发生变化的区域。此外，可根据第二姿态矩阵和激光雷达与相机之间的外参计算出第一点云和第二点云的位姿关系，从而实现两点云的配准和点云的变化区域检测。

如图6是本申请实施例提供的一种点云配准的图片。图6中的(1)是第一点云和第二点云对应的第二图像之间的配准图，图6中的(2)是第一点云和第三图像之间的配准图，第三图像为第二点云对应的第二图像通过上述第二姿态矩阵处理之后得到的图像。由图6可见，图6中的(2)的配准效果较好。

上述方法不需要在点云中进行筛选，因此，对于稠密点云和稀疏点云均可适用，具有更强的鲁棒性和更广泛的使用场景。而且，该方法使用的目标姿态模型的准确性更高，使用准确性更高的目标姿态模型来确定第一点云和第二点云对应的图像之间的姿态矩阵，使得确定的姿态矩阵的准确性更高，进而使用准确性更高的姿态矩阵来对第一点云和第二点云进行配准，使得两个点云的配准效果较佳，配准的准确性更高。此外，该方法仅涉及一次神经网络的前向传播，无需多次迭代细化的过程，使得点云配准的效率较高。

图7是本申请实施例提供的一种点云配准方法的流程图，该方法包括：获取第一点云和第二点云。根据第一点云生成第一图像；根据第二点云生成第二图像。根据第一图像和第二图像，生成第二组合图像。将第二组合图像输入目标姿态模型，得到第二组合图像的特征向量。将第二组合图像的特征向量输入姿态解码器，得到第二姿态矩阵。

图8所示为本申请实施例提供的一种姿态模型的训练装置的结构示意图，如图8所示，该装置包括：

获取模块801，用于获取第一样本点云和第二样本点云，第一样本点云和第二样本点云均在第一位置分别于第一时间和第二时间采集得到，且第一样本点云包括多个第一样本点的相关信息，第二样本点云包括多个第二样本点的相关信息，任一样本点的相关信息包括任一样本点的位置信息和深度信息；

获取模块801，还用于根据多个第一样本点的相关信息，获取第一位置在第一时间的第一样本图像；根据多个第二样本点的相关信息，获取第一位置在第二时间的第二样本图像；

确定模块802，用于调用初始姿态模型基于第一样本图像和第二样本图像确定第一姿态矩阵，第一姿态矩阵用于对第一样本点云和第二样本点云配准；

获取模块801，还用于根据第一姿态矩阵、第一深度图像和第二深度图像，获取第三深度图像，第一深度图像基于第一样本图像、第二样本图像和在第一位置在第一时间的相机图像确定，第二深度图像基于多个第二样本点的深度信息得到；

确定模块802，还用于确定第二深度图像和第三深度图像之间的第一损失值；

训练模块803，用于根据第一损失值，对初始姿态模型进行训练，得到目标姿态模型，目标姿态模型用于确定两个点云对应的图像之间的姿态矩阵，姿态矩阵用于对两个点云配准。

在一种可能的实现方式中，任一样本点的相关信息还包括任一样本点的强度信息；

获取模块801，还用于根据第一姿态矩阵、第一强度图像和第二强度图像，获取第三强度图像，第一强度图像基于第一样本图像、第二样本图像和在第一位置在第一时间的相机图像确定，第二强度图像基于多个第二样本点的强度信息得到；

确定模块802，还用于确定第二强度图像和第三强度图像之间的第二损失值；

训练模块803，用于根据第一损失值和第二损失值，对初始姿态模型进行训练，得到目标姿态模型。

在一种可能的实现方式中，确定模块802，还用于根据多个第一样本点的深度信息，确定第四深度图像；确定第四深度图像和第一深度图像之间的第三损失值；根据多个第一样本点的强度信息，确定第四强度图像；确定第四强度图像和第一强度图像之间的第四损失值；

训练模块803，用于根据第一损失值、第二损失值、第三损失值和第四损失值，对初始姿态模型进行训练，得到目标姿态模型。

在一种可能的实现方式中，训练模块803，用于根据第一损失值、第二损失值、第三损失值和第四损失值，确定损失总值；基于损失总值未处于收敛状态，对初始姿态模型的参数进行调整，得到调整后的姿态模型；根据调整后的姿态模型、第一样本图像和第二样本图像，确定更新后的损失总值；基于更新后的损失总值处于收敛状态，将调整后的姿态模型作为目标姿态模型。

在一种可能的实现方式中，确定模块802，用于根据第一样本图像和第二样本图像，获取第一组合图像，第一组合图像包括第一样本图像和第二样本图像；将第一组合图像输入初始姿态模型，得到第一组合图像的特征向量，第一组合图像的特征向量用于表征第一组合图像；调用姿态解码器对第一组合图像的特征向量进行解码，得到第一姿态矩阵。

在一种可能的实现方式中，获取模块801，用于根据第二深度图像中的各个像素点的位置信息、深度信息和第一姿态矩阵，得到多个目标位置信息，第二深度图像中的每个像素点的位置信息对应有一个目标位置信息；将第一深度图像中与各个目标位置信息对应的位置相同的像素点的深度信息作为各个目标位置信息对应的深度信息；根据第二深度图像中的各个像素点的位置信息和各个像素点的位置信息对应的目标位置信息对应的深度信息，生成第三深度图像。

上述装置不需要在点云中进行筛选，因此，对于稠密点云和稀疏点云均可适用，具有更强的鲁棒性和更广泛的使用场景。而且，不仅考虑到样本点的位置信息，还考虑到样本点的深度信息，考虑的信息较为全面，进而使得训练得到的目标姿态模型的准确性更高，使用准确性更高的目标姿态模型来确定两个点云对应的图像之间的姿态矩阵，使得确定的姿态矩阵的准确性更高，进而使用准确性更高的姿态矩阵来对两个点云进行配准，使得两个点云的配准效果较佳，配准的准确性更高。

图9是本申请实施例提供的一种点云配准装置的结构示意图，如图9所示，该装置包括：

获取模块901，用于获取第一点云和第二点云，第一点云和第二点云均在第二位置分别于第三时间和第四时间采集得到，且第一点云包括多个第一点的相关信息，第二点云包括多个第二点的相关信息，任一点的相关信息包括任一点的位置信息和深度信息；

获取模块901，还用于根据多个第一点的相关信息，获取第二位置在第三时间的第一图像；根据多个第二点的相关信息，获取第二位置在第四时间的第二图像；

确定模块902，用于调用目标姿态模型基于第一图像和第二图像确定第二姿态矩阵，第二姿态矩阵用于对第一点云和第二点云配准，目标姿态模型基于上述图8所示的装置实施例训练得到。

在一种可能的实现方式中，确定模块902，用于根据第一图像和第二图像，获取第二组合图像，第二组合图像包括第一图像和第二图像；将第二组合图像输入目标姿态模型，得到第二组合图像的特征向量，第二组合图像的特征向量用于表征第二组合图像；调用姿态解码器对第二组合图像的特征向量进行解码，得到第二姿态矩阵。

上述装置不需要在点云中进行筛选，因此，对于稠密点云和稀疏点云均可适用，具有更强的鲁棒性和更广泛的使用场景。而且，使用的目标姿态模型的准确性更高，使用准确性更高的目标姿态模型来确定第一点云和第二点云对应的图像之间的姿态矩阵，使得确定的姿态矩阵的准确性更高，进而使用准确性更高的姿态矩阵来对第一点云和第二点云进行配准，使得两个点云的配准效果较佳，配准的准确性更高。此外，该方法仅涉及一次神经网络的前向传播，无需多次迭代细化的过程，使得点云配准的效率较高。

应理解的是，上述提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图10示出了本申请一个示例性实施例提供的终端设备1000的结构框图。该终端设备1000可以是PC(Personal Computer，个人计算机)、手机、智能手机、PDA(PersonalDigital Assistant，个人数字助手)、可穿戴设备、PPC(Pocket PC，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱、智能手表等。

通常，终端设备1000包括有：处理器1001和存储器1002。

处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中图2所示的方法实施例提供的姿态模型的训练方法，或者以实现本申请中图5所示的方法实施例提供的点云配准方法。

在一些实施例中，终端设备1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、显示屏1005、摄像头组件1006、音频电路1007和电源1009中的至少一种。

外围设备接口1003可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1004用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端设备进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1004还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1005用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置在终端设备1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在终端设备1000的不同表面或呈折叠设计；在另一些实施例中，显示屏1005可以是柔性显示屏，设置在终端设备1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件1006用于采集图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端设备1000的前面板，后置摄像头设置在终端设备1000的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1001进行处理，或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端设备1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1007还可以包括耳机插孔。

电源1009用于为终端设备1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端设备1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、光学传感器1015以及接近传感器1016。

加速度传感器1011可以检测以终端设备1000建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号，控制显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1012可以检测终端设备1000的机体方向及转动角度，陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端设备1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1013可以设置在终端设备1000的侧边框和/或显示屏1005的下层。当压力传感器1013设置在终端设备1000的侧边框时，可以检测用户对终端设备1000的握持信号，由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在显示屏1005的下层时，由处理器1001根据用户对显示屏1005的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

光学传感器1015用于采集环境光强度。在一个实施例中，处理器1001可以根据光学传感器1015采集的环境光强度，控制显示屏1005的显示亮度。具体地，当环境光强度较高时，调高显示屏1005的显示亮度；当环境光强度较低时，调低显示屏1005的显示亮度。在另一个实施例中，处理器1001还可以根据光学传感器1015采集的环境光强度，动态调整摄像头组件1006的拍摄参数。

接近传感器1016，也称距离传感器，通常设置在终端设备1000的前面板。接近传感器1016用于采集用户与终端设备1000的正面之间的距离。在一个实施例中，当接近传感器1016检测到用户与终端设备1000的正面之间的距离逐渐变小时，由处理器1001控制显示屏1005从亮屏状态切换为息屏状态；当接近传感器1016检测到用户与终端设备1000的正面之间的距离逐渐变大时，由处理器1001控制显示屏1005从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图10中示出的结构并不构成对终端设备1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图11为本申请实施例提供的服务器的结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Unit，CPU)1101和一个或多个的存储器1102，其中，该一个或多个存储器1102中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器1101加载并执行以实现上述图2所示的方法实施例提供的姿态模型的训练方法，或者以实现上述图5所示的方法实施例提供的点云配准方法。当然，该服务器1100还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1100还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以使计算机实现上述图2所示的方法实施例提供的姿态模型的训练方法，或者以实现上述图5所示的方法实施例提供的点云配准方法。

可选地，上述计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品中存储有至少一条计算机指令，该至少一条计算机指令由处理器加载并执行，以使计算机实现上述图2所示的方法实施例提供的姿态模型的训练方法，或者以实现上述图5所示的方法实施例提供的点云配准方法。

需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的点云和相机图像都是在充分授权的情况下获取的。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。