终端设备的位姿处理方法、装置、设备、介质及产品

技术领域

本公开涉及人工智能领域，具体涉及自动驾驶、智能交通、深度学习、智能座舱等技术，可应用在软件开发场景下，尤其涉及一种终端设备的位姿处理方法、装置、设备、介质及产品。

背景技术

辅助驾驶技术是汽车在行驶过程中通过雷达、摄像头、定位模块等设备提供辅助支持的技术。辅助驾驶技术中的车辆定位是一种常见的应用需求，车辆定位可以广泛应用于车辆追踪、导航等常见应用场景中。目前，较为常见的定位技术一般是通过定位模块，例如GPS(Global Positioning System，全球定位系统)定位模块、北斗定位模块等，对车辆进行定位。车辆行驶过程中可能会穿越隧道、涵洞，车辆的定位信号较差，而利用弱GNSS(Global Navigation Satellite System，全球导航定位系统)信号执行的车辆定位处理，可能会导致车辆定位不够准确，存在车辆行驶危险。

发明内容

本公开提供了一种终端设备的位姿处理方法、装置、设备、介质及产品。

根据本公开的第一方面，提供了一种终端设备的位姿处理方法，包括：

响应于终端设备的位姿处理请求，获得所述终端设备的初始位姿和在所述初始位姿采集的待定位图像；

从地图数据库中查询与所述初始位姿相匹配的目标地图数据，所述地图数据库中的地图数据用于记录位姿标签以及与所述位姿标签关联的关键地图信息；

根据所述目标地图数据和所述待定位图像，对所述初始位姿进行优化处理，获得所述终端设备的目标位姿。

根据本公开的第二方面，提供了一种终端设备的位姿处理装置，包括：

响应单元，包括：响应于终端设备的位姿处理请求，获得所述终端设备的初始位姿和在所述初始位姿采集的待定位图像；

查询单元，包括：从地图数据库中查询与所述初始位姿相匹配的目标地图数据，所述地图数据库中的地图数据用于记录位姿标签以及与所述位姿标签关联的关键地图信息；

优化单元，包括：根据所述目标地图数据和所述待定位图像，对所述初始位姿进行优化处理，获得所述终端设备的目标位姿。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面以及第一方面的各种可能所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面以及第一方面的各种可能所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面以及第一方面的各种可能所述的方法。

根据本公开的终端设备的位姿处理方法，可以通过对位姿处理请求进行响应，以获得终端设备的初始位姿和在初始位姿采集的待定位图像。通过检测获得的初始位姿精度不高，通过从地图数据库中查询与初始位姿相匹配的目标地图数据，目标地图数据可以包括位姿标签和与位姿标签关联的关键地图信息，可以利用目标地图数据和待定位图像对初始位姿进行优化处理，获得更准确的目标位姿。通过对初始位姿的优化，解决了终端设备位姿检测不准确的问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开提供的一种应用于终端设备的位姿处理方法的系统架构示意图；

图2是根据本公开实施例提供的一种终端设备的位姿处理方法的一个实施例的流程图；

图3是根据本公开实施例提供的一种终端设备的位姿处理方法的又一个实施例的流程图；

图4是根据本公开实施例提供的一种目标位姿获取示例图；

图5是根据本公开实施例提供的一种位姿处理示例图；

图6是根据本公开实施例提供的一种终端设备的位姿处理方法的又一个实施例的结构示意图；

图7是根据本公开实施例提供的一种地图数据库中地图数据的建立示例图；

图8是根据本公开实施例提供的一种位姿处理方法的又一个实施例的结构示意图；

图9是根据本公开实施例提供的一种位姿处理装置的一个实施例的结构示意图；

图10是用来实现本公开实施例的终端设备的位姿处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供一种终端设备的位姿处理方法、装置、设备、介质及产品，涉及人工智能领域，具体涉及自动驾驶、智能交通、深度学习、智能座舱等技术，可应用在软件开发场景下。

需要说明的是，本公开提供的终端设备的位姿处理方法、装置、设备、介质及产品，可以运用在各种辅助驾驶场景中，特别是车辆行驶过程中的车辆导航、定位场景。

通常，终端设备的位姿识别，一般是通过GPS等定位设备实现，但是在实际应用中，车辆通过隧道等较弱信号的道路时，存在车辆的定位信号的检测不准确的问题。因此，对于终端设备而言，需要存在其他方案对现有的定位方案进行补充。较为常见的定位方案是采用图像感知方式，将感知图像与已有地图进行匹配，也即将地图分片存储形成地图数据库，然后实时采集的图像，例如全景图像，与数据库的地图图像进行比对，将比对成功的地图图像的采集位置作为车辆的定位结果。但是通过图像匹配的方式进行定位，效率较低且定位速度较差。

为了解决上述问题，本公开的终端设备的位姿处理方法，考虑采用IMU(InertialMeasurement Unit，即惯性测量单元)来对车辆位置进行测量。但是，在实际应用中，IMU的测量结果精度并不高，为了解决该问题，采用感知图像对IMU进行定位优化，以得到更准确的位姿。

据此，本公开实施例中，可以响应于终端设备的位姿处理请求，获得终端设备的初始位姿和初始位姿采集得到的待定位图像。通过从地图数据库中查询与初始位姿相匹配的目标地图数据，实现地图数据和待定位图像的匹配。目标地图数据可以用于记录位姿标签和与位姿标签关联的关键地图信息，因此，可以根据目标地图数据和待定位图像，对初始位姿进行位姿优化，获得更准确的目标位姿。通过目标地图数据可以对初始位姿进行优化，使得初始位姿与实时采集到的待定位图像进行优化，提高目标位姿的准确性。

下面将结合附图对本公开的技术方案进行详细介绍。

如图1所示，为本公开提供的一种应用于终端设备的位姿处理方法的系统架构示意图，在该系统架构中可以包括终端设备1、地图数据库2以及电子设备3。其中，地图数据库2中可以存储至少一条地图数据。地图数据可以用于记录位姿标签以及与位姿标签关联的关键地图信息。

其中，终端设备1中可以配置定位传感器和图像传感器。定位传感器可以实时采集终端设备1的初始位姿。图像传感器可以实时采集终端设备的待定位图像。

终端设备1可以向电子设备3发起位姿处理请求，并上传其初始位姿和待定位图像。

电子设备3可以响应于该位姿处理请求，获得终端设备的初始位姿及在初始位姿采集的待定位图像。之后，可以从地图数据库2中查询与初始位姿相匹配的目标地图数据。以根据目标地图数据和待定位图像对初始位姿进行优化处理，获得终端设备的目标位姿。

此外，在实际应用中，电子设备3还可以根据目标位姿对终端设备1进行地图导航、路径规划等位姿应用，以实现对终端设备的高精度实时性的定位处理。

如图2所示，为本公开实施例提供的一种终端设备的位姿处理方法的一个实施例的流程图，本实施例提供的终端设备的位姿处理方法的执行主体为位姿处理装置。该方法可以包括以下几个步骤：

步骤201：响应于终端设备的位姿处理请求，获得终端设备的初始位姿和在初始位姿采集的待定位图像。

可选地，终端设备可以作为电子设备，以配置本公开的位姿处理方法，实现对终端设备的实际采集。当然终端设备可以作为分离于电子设备的终端，通过电子设备可以实现对终端设备的位姿处理方法。在实际应用中，终端设备可以为自动驾驶车辆、辅助驾驶车辆、驾驶座舱中的设备，实现对各类车辆或座舱的位姿获取及基于位姿实现导航等处理。

位姿处理请求可以由终端设备检测获得。终端设备可以在检测到GPS等定位设备的定位信号强度小于信号强度阈值时，生成位姿处理请求。位姿处理请求还可以由用户触发。

终端设备中可以配置位姿传感器，例如IMU，通过位姿传感器检测终端设备的初始位姿。终端设备中还可以配置图像传感器，例如摄像头，通过图像传感器可以采集终端设备在初始位姿的待定位图像。初始位姿和待定位图像的采集时间可以相同。

可选地，初始位姿和待定位图像可以包装于位姿处理请求中，可以通过解析位姿处理请求获得终端设备的初始位姿和待定位图像。位姿处理请求可以为通过待定位图像对终端设备初始位姿进行位姿优化的请求。

步骤202：从地图数据库中查询与初始位姿相匹配的目标地图数据，地图数据库中的地图数据用于记录位姿标签以及与位姿标签关联的关键地图信息。

地图数据库中可以包括至少一条地图数据。每条地图数据可以用于记录位姿标签和位姿标签关键的关键地图信息。

在实际应用中，可以通过位姿标签进行地图图像的采集，但是地图图像的存储成本过高，因此，可以提取地图图像的关键地图信息进行存储，以减少地图数据库的存储成本。同时，通过标签和关键地图信息的关联可以快速完成位姿的匹配，实现目标地图数据的快速查询。

可选地，位姿可以用于描述终端设备在指定坐标系下的位置和姿态，具体可以包括坐标点和朝向，朝向可以使用三维向量表示。坐标点可以使用三维坐标点或者二维坐标点表示。本公开的关键地图信息可以为三维关键点的三维地图信息，因此，关键地图信息中的关键点坐标可以指三维坐标点。

步骤203：根据目标地图数据和待定位图像，对初始位姿进行优化处理，获得终端设备的目标位姿。

可选地，步骤203具体可以根据目标地图数据和待定位图像进行图像特征的差异分析，得到初始位姿的优化结果，也即目标位姿。

本公开实施例中，可以响应于终端设备的位姿处理请求，获得终端设备的初始位姿和初始位姿采集得到的待定位图像。通过从地图数据库中查询与初始位姿相匹配的目标地图数据，实现地图数据和待定位图像的匹配。目标地图数据可以用于记录位姿标签和与位姿标签关联的关键地图信息，因此，可以根据目标地图数据和待定位图像，对初始位姿进行位姿优化，获得更准确的目标位姿。通过目标地图数据可以对初始位姿进行优化，使得初始位姿与实时采集到的待定位图像进行优化，提高目标位姿的准确性。

如图3所示，为本公开实施例提供的又一种终端设备的位姿处理方法的实施例的流程图，在前述实施例的基础上，根据目标地图数据和待定位图像，对初始位姿进行优化处理，获得终端设备的目标位姿，包括：

步骤301：对初始位姿从不同方向进行离散采样，获得至少一个候选位姿。

可选地，步骤301具体可以包括：采用位姿采样算法，对初始位姿从不同方向进行离散采样获得至少一个候选位姿。位姿采样算法可以为定义位姿采样的方向和各方向的采样策略。例如，在实际应用中，可以从横向、纵向、高度和角度四个方向进行采样，每个方向可以定义相应的采样策略。例如可以对横向进行1个横向步长的采样，对角度进行2个角度步长的采样。各方向的步长可以根据实际的需求设置。

可选地，具体可以对初始位姿从横向(X)、纵向(Y)、高度(Z)以及角度(ψ)四个方向进行离散采样，获得四个方向的候选位姿。从横向、纵向、高度和角度四个方向进行采样时，至少一个候选位姿可以使用符号：Vt＝{Nx，Ny，Nz，No}表示。其中，Nx为横向候选位姿，Ny为纵向候选位姿，Nz为高度候选位姿以及No为角度候选位姿。横向可以对应X轴，纵向可以对应Y轴，高度可以对应Z轴，角度可以对应旋转角度。角度例如可以包括偏航角、俯仰角和滚转角中的至少一个。

步骤302：根据目标地图数据和待定位图像，确定至少一个候选位姿分别对应的位姿权重。

可选地，各候选位姿的位姿权重可以指各候选位姿在对应方向上的表现程度。位姿权重越大，说明对应方向的候选位姿重要性越高，位姿权重越小，说明对应方向的候选位姿重要性越低。

步骤303：根据至少一个候选位姿分别对应的位姿权重，对至少一个候选位姿进行位姿加权求和，获得终端设备的目标位姿。

可选地，步骤303具体可以包括：将各候选位姿与其对应的位姿权重相乘，得到各候选位姿的调整位姿，将各候选位姿的调整位姿相加，得到终端设备的目标位置。

当然，在上述步骤302的基础上，获得至少一个候选位姿分别对应的位姿权重之后，可以将位姿权重最大的候选位姿作为目标位姿，以实现最大权重的位姿获取。

本公开实施例中，可以对初始位姿从不同方向进行离散采样，获得至少一个候选位姿，至少一个候选位姿为对初始位姿的扩展。通过目标地图数据和待定位图像可以确定至少一个候选位姿分别对应的位姿权重，使得至少一个候选位姿各自的权重受到目标地图数据和待定位图像的影响，实时性地对各候选位姿的权重估计准确度和时效性更高。进而利用各候选位姿的位姿权重，可以对至少一个候选位姿进行位姿加权求和，得到终端设备的目标位姿。通过离散采样方式可以对初始位姿从各个角度进行扩展，实现对初始位姿从不同角度的优化，获得更准确的目标位姿。

进一步地，在上述任一实施例的基础上，根据目标地图数据和待定位图像，确定至少一个候选位姿分别对应的位姿权重，包括：

根据待定位图像和目标地图数据的关键地图信息，确定至少一个候选位姿分别对应的位姿误差；

对至少一个候选位姿分别对应的位姿误差进行回归计算，获得至少一个候选位姿分别对应的位姿权重。

为了便于理解，如图4所示的目标位置获取示例图，地图数据库中可以存储至少一条地图数据。初始位姿确定之后，可以通过初始位姿从地图数据库中查找获得目标地图数据。目标地图数据可以与待定位图像的图像特征相结合，确定各候选位姿分别对应的位姿权重V

可选地，对至少一个候选位姿分别对应的位姿误差进行回归计算，获得至少一个候选位姿分别对应的位姿权重可以包括：利用回归算法，对至少一个候选位姿分别对应的位姿误差进行归一化处理，获得至少一个候选位姿分别对应的位姿权重。

本实施例中，获得各候选位姿的位姿权重时，可以根据待定位图像和目标地图数据的关键地图信息，确定至少一个候选位姿分别对应的位姿误差，位姿误差可以衡量各位姿的准确程度，通过对至少一个候选位姿分别对应的位姿误差进行回归计算，以获得至少一个候选位姿分别对应的位姿权重。通过各候选位姿对应位姿误差的获取，可以对各候选位姿实现相应的位姿估计，提高位姿估计准确度。

进一步地，在上述任一实施例的基础上，关键地图信息包括关键点和关键点特征；

根据待定位图像和目标地图数据的关键地图信息，确定至少一个候选位姿分别对应的位姿误差，包括：

通过特征提取网络提取待定位图像的第一图像特征，第一图像特征用于记录待定位图像的内容信息；

将关键点按照至少一个候选位姿分别映射到待定位图像中，获得至少一个候选位姿分别对应的映射关键点；

根据第一图像特征，确定至少一个候选位姿分别对应的映射关键点的映射特征；

根据映射关键点在至少一个候选位姿各自的映射特征，结合关键点特征，确定至少一个候选位姿分别对应的位姿误差。

第一图像特征可以用于记录待定位图像的内容信息，可以表征待定位图像的关键位置信息。假设待定位图像使用符号I表示，则第一图像特征可以表示为F＝{F(I)}其中，F()代表特征提取网络。其中，图像I中某个像素点的特征可以表示为：Fj，j指第j个像素点，Fj指第j个像素点特征。

关键地图信息中的关键点可以为三维关键点，各关键点可以关联关键点特征。将关键点按照至少一个候选位姿分别映射到待定位图像中，可以指，将关键点从三维的空间坐标系按照至少一个候选位姿分别映射到二维的图像坐标系中，得到至少一个候选位姿分别对应的映射关键点。每个关键点可以按照至少一个候选位姿映射至少一次，得到至少一个映射关键点，因此，一个关键点可以关联至少一个候选位姿分别对应的映射关键点。

根据第一图像特征，确定至少一个候选位姿分别对应的映射关键点的映射特征，可以指从第一图像特征中提取各映射关键点的映射特征。

本公开实施例中，可以利用第一图像特征对待定位图像的具体内容信息进行表征，以在将目标地图数据的关键点按照至少一个候选位姿分别映射到待定位图像之后，可以获得各候选位姿的映射关键点，各候选位姿的映射关键点可以用于表征各候选位姿映射至二维图像的位置，进而可以根据待定位图像的第一图像特征，确定各候选位姿的映射关键点的映射特征，实现对各候选位姿的映射特征的提取，进而结合关键点特征确定至少一个候选位姿分别对应的位姿误差，使得位姿误差是根据各候选位姿的映射特征和关键点特征确定的，利用特征之间的误差准确表征各候选位姿的位姿误差，准确度更高，表征效果更好。

进一步地，在上述任一实施例的基础上，关键点包括至少一个，关键地图信息还包括：至少一个关键点分别对应的权重；

根据映射关键点在至少一个候选位姿各自的映射特征，结合关键点特征，确定至少一个候选位姿分别对应的位姿误差，包括：

根据至少一个关键点分别在各候选位姿的映射特征和关键点特征，确定至少一个关键点各自在至少一个候选位姿分别对应的特征差异；

根据至少一个关键点各自在至少一个候选位姿分别对应的特征差异，确定各候选位姿在至少一个关键点分别对应的特征差异；

将各候选位姿在至少一个关键点分别对应的特征差异，按照至少一个关键点分别对应的权重进行加权聚合，获得至少一个候选位姿分别对应的位姿误差。

为了便于理解，如图5所示的位姿处理示例图，关键点可以包括N个，n为大于或等于1的正整数。参考5，N个关键点，P1、P2、P3……Pn可以通过至少一个候选位姿分别映射，得到各关键点在至少一个候选位姿分别对应的映射特征，假设存在4个候选位姿，分别为Nx，Ny，Nz以及No。之后，可以将关键点特征与映射特征进行特征差异计算，可以得到每个关键点在至少一个候选位姿分别对应的特征差异，该特征差异可以为多维矩阵。对于任意关键点i而言，假设该关键点的关键点特征使用H

C

其中，映射关键点特征Fi来源于待定位图像的第一图像特征F。假设一个关键点在至少一个候选位姿各自的特征差异使用

各关键点的权重W1、W2、W3……Wn已知，可以将至少一个关键点各自的特征差异和关键点权重进行加权求和，得到各关键点对应的权重特征，可以使用下列公式表示，也可以称为代价卷：

V

各关键点的权重特征为各关键点在至少一个候选位姿分别对应的特征差异，该权重矩阵是基于关键点维度表示的，因此，从候选位姿维度而言，可以获得各候选位姿在至少一个关键点分别对应的特征差异。基于上述描述可知，可以从候选位姿的维度上，将各候选位姿在至少一个关键点进行聚合，得到至少一个候选位姿分别对应的位姿误差。

可选地，可以将各候选位姿在至少一个关键点分别对应的特征差异，按照至少一个关键点分别对应的权重从位姿维度上进行加权聚合，以使得至少一个关键点分别对应的特征差异和权重相乘，得到至少一个关键点分别对应的权重特征，将至少一个关键点分别对应的权重特征相加，得到对应候选位姿的位姿误差。

本公开实施例中，位姿误差获取时，可以根据至少一个关键点分别在各候选位姿的映射特征和关键点特征，确定至少一个关键点各自在至少一个候选位姿分别对应的特征差异，进而根据至少一个关键点各自在至少一个候选位姿分别对应的特征差异，确定各候选位姿在至少一个关键点分别对应的特征差异，实现从关键点的特征差异到候选位姿的特征差异的转换。各候选位姿在至少一个关键点分别对应的特征差异可以进行聚合，得到至少一个候选位姿分别对应的位姿误差，通过至少一个关键点在位姿维度的加权聚合，使得各候选位姿的位姿误差学习到至少一个关键点各自的特征误差，可以包含更全面的特征误差，实现候选位姿的位姿误差的准确获取。

进一步，可选地，映射关键点的映射特征的获取步骤，包括：

通过插值算法，确定待定位图像中与映射关键点关联的相邻关键点；

根据相邻关键点在第一图像特征的特征值和映射关键点在第一图像特征的特征值，确定映射关键点的映射特征。

可选地，插值算法可以包括：双线性插值算法、最近邻插值算法等，通过插值算法可以获取到与映射关键点相关的相邻关键点。可以通过池化(pooling)计算方式对相邻关键点和映射关键点进行特征值计算，得到映射关键点的映射特征。还可以通过均值计算方式对相邻关键点和映射关键点进行特征值计算，得到映射关键点的映射特征。

本实施例中，通过插值算法对待定位图像中与映射点关联的相邻关键点进行提取，以利用相邻关键点在第一图像特征的特征值和映射关键点在第一图像特征的特征值进行映射关键点的特征值计算，使得映射关键点的特征计算过程受到其周围的特征点的影响，涵盖更广泛的图像特征，准确度更高。

进一步地，在上述任一实施例的基础上，从地图数据库中查询与初始位姿相匹配的目标地图数据，包括：

根据地图数据库中的至少一条地图数据分别对应的位姿标签，从至少一条地图数据中确定与初始位姿的位置差距最小的目标位姿标签；

确定目标位姿标签对应的地图数据为目标地图数据。

可选地，可以将至少一条地图数据分别对应的位姿标签中的位置与初始位姿的位置进行比对，获得至少一条地图数据分别对应的位置差距，以将位置差距做小的地图数据中的位姿标签作为目标位姿标签。

本公开实施例中，可以利用至少一条地图数据分别对应的位姿标签，与初始位姿分别进行位置比对，以获得至少一条地图数据中与初始位姿的位置差距最小的位姿标签作为目标位姿标签，获得的目标位姿标签与初始位姿的位姿差异最小，为与初始位姿在位置上适配度最高的位姿标签，可以获得准确的位姿标签的准确度。

如图6所示，为本公开实施例提供的一种终端设备的位姿处理方法的一个实施例的流程图。在上述任一实施例的基础上，地图数据库中地图数据的获取步骤可以包括：

步骤601：确定位姿标签。

可选地，位姿标签可以为通过高精度定位设备采集的位姿。位姿标签对应的地图数据的建立过程可以预先执行。

步骤602：在位姿标签所指示的地图位置，同时采集点云数据和地图图像。

可选地，点云数据可以指通过Lidar(Laser Radar，激光雷达)采集的三维点云数据，可以包括多个三维位置点。地图图像可以指通过图像传感器采集的实景图像。地图图像对应的图像传感器和待定位图像对应的图像传感器可以相同。三维位置点除包含坐标点之外，还可以包括点的深度。

步骤603：利用点云数据和地图图像，提取位姿标签的关键点信息。

步骤604：根据位姿标签和关键点信息的关联关系，确定地图数据库中的地图数据。

可选地，第k条地图数据可以表示为：

{T

其中，T

本实施例中，可以确定位姿标签，通过位姿标签所指示的地图位置同时采集点云数据和地图图像。通过点云数据和地图图像，可以提取位姿标签的关键点信息，也即，关键点信息是通过三维的点云数据和二维的地图图像提取获得，使得关键点信息综合了位姿标签在三维和二维两个角度的空间几何特征，对关键点的关键内容记载准确度更高。因此，根据位姿标签和关键点信息建立的关联关系代表的地图数据，具备更高的准确性。

进一步地，在上述任一实施例的基础上，利用点云数据和地图图像，提取位姿标签的关键点信息，包括：

从点云数据中提取关键点；

将关键点按照位姿标签映射到地图图像，获得地图映射点；

根据地图图像和地图映射点，确定关键点的关键点特征和关键点权重；

确定关键点、关键点特征和关键点权重组成的关键点信息。

可选地，地图映射点可以为地图图像的坐标系中的坐标点。

本公开实施例中，可以先从点云数据中提取关键点，将关键点按照位姿标签映射到地图图像，获得地图映射点，通过位姿标签的映射可以使得地图映射点进入到二维的空间，进而在二维的地图图像和地图映射点中进行关键点特征和关键点权重的获取，进而确定关键点、关键点特征和关键点权重组合的关键点信息，实现关键点信息的快速建立。

进一步地，在上述任一实施例的基础上，根据地图图像和地图映射点，确定关键点的关键点特征和关键点权重，包括：

通过特征提取网络提取地图图像的第二图像特征，第二图像特征用于记录地图图像的内容信息；

从第二图像特征中提取地图映射点的特征，以获得关键点的关键点特征；

根据第二图像特征，对地图图像的各像素点进行权重计算，得到地图图像对应的权重图；

从权重图中提取地图映射点的权重，以获得关键点的关键点权重。

为了便于理解，图7示出了地图数据库中地图数据的建立示例图。参考图7，点云数据可以通过关键点预测和最远点采样两个关键点提取方式结合，对第一关键点和第二关键点进行提取，以获得最终的关键点。而地图图像通过特征提取网络可以获得第二图像特征。第二图像特征可以进行权重图和特征图的获取，进而可以通过权重图、特征图和关键点确定地图数据。

可选地，根据第二图像特征，对地图图像的各像素点进行权重计算，得到地图图像对应的权重图可以包括将第二图像特征进行卷积计算，得到地图图像中各像素点的权重值，以获得各像素点的权重值对应的权重图。

可选地，从权重图中提取地图映射点的权重，以获得关键点的关键点权重，包括：确定地图映射点在权重图中的坐标点，按照地图映射点在权重图中的坐标点读取地图映射点的权重，以将地图映射点的权重作为其对应关键点的权重。

本公开实施例中，通过提取地图图像的第二图像特征，从第二图像特征中提取地图映射点的特征，进而以地图映射点的特征作为关键点的关键点特征，实现关键点特征的准确提取。还可以根据第二图像特征对地图图像的各像素点进行权重计算，实现对地图图像的权重图的获取，进而通过权重图对地图映射点的权重进行提取，基于地图映射点和关键点的对应关系，获得关键点的关键点权重。因此，通过特征提取方式，对各特征点的特征提取和权重计算，实现以特征分析角度实现权重和特征的准确而快速的获取。

进一步地，在上述任一实施例的基础上，根据第二图像特征，对地图图像的各像素点进行权重计算，得到地图图像对应的权重图，包括：

利用地图映射点，对第二图像特征中地图图像各像素点的权重计算过程进行约束，获得地图图像对应的权重图。

如图7所示，关键点提取之后，可以监督第二图像特征对应的权重图的学习，使得权重图的权重表示更准确。

可选地，可以按照地图图像的大小，基于地图映射点生成同样大小的约束图，具体地，将地图映射点在地图图像位置点在约束图中设置为1，非地图映射点在地图图像中的位置点在约束图中设置为0，以得到标记有地图映射点的约束图。通过约束图对地图图像各像素点的权重计算过程进行约束，获得更准确的权重图。

本公开实施例中，可以利用地图映射点对第二图像特征中各像素点的权重计算过程进行约束，得到地图图像的权重图。通过地图映射点对权重计算过程进行约束，可以使得地图图像的权重图的获取过程受到已得到的关键点的影响，使得地图图像中各像素点的权重学习更准确，获得的权重图精度更高。

进一步，可选地，点云数据包括至少一个三维数据点，从点云数据中提取关键点，包括：

利用关键点提取网络，从点云数据的至少一个三维数据点中提取第一关键点；

通过最远点采样算法，确定第二关键点；

关键确定子模块，用于确定第一关键点和第二关键点为点云数据中的关键点。

可选地，利用关键点提取网络，从点云数据的至少一个三维数据点中提取第一关键点，可以包括：利用关键点提取网络，从点云数据的至少一个三维数据点中提取候选点；基于位姿标签，将候选点投影至地图图像，得到候选点对应的投影点；确定满足筛选条件的投影点对应的候选点为第一关键点。

可选地，关键点提取网络可以对点云数据中各位置点在邻域内的显著性进行评分，通过关键点提取网络可以获得点云数据中多个位置点分别对应的关键评分，以根据多个位置点分别对应的关键评分，选择评分大于或等于评分阈值的位置点为候选点。实际应用中，关键点提取网络可以包括多层KPConv(Kernel Point Convolution，使用一系列局部三维卷积核)网络等分类卷积网络。

本实施例中，位姿标签以T表示时，可以使用到相机内参K默认为相机内参已知。假设点云数据使用P＝{p1，p2，p3……pn}表示。地图图像使用I＝{q1，q2，q3……qn}表示。其中，将点云数据中的3D点投影到图像平面时投影点可以表示为：

其中，z为点云数据的深度，T为位姿，K为相机内参，p

若投影点和其最近的像素点的距离小于距离阈值，则确定投影点满足筛选条件，该投影点对应的候选点为第一投影点。

可选地，在获得第一关键点之后，为了使得关键点更丰富，可以通过最远点采样算法，确定第二关键点。具体可以是将点云数据中除第一关键点之外的位置点进行最远点采样，得到第二关键点。

本公开实施例，在提取点云数据的关键点时，可以从关键点提取网络初步进行关键点的提取，获得第一关键点。为了使得提取到的关键点能够对点云数据的轮廓点进行更准确的表示，可以从除第一关键点之外的剩余的三维数据点中，进行最远点采样，得到第二关键点。进而将第一关键点和第二关键点作为从点云数据中提取的关键点。该关键点的获取是基于关键点提取网络和最远采样点算法实现，表征了点云数据内部和最远点两个角度的关键信息，能够对关键点进行更准确的表征，提高关键点表征效率和准确性。

进一步，在上述任一实施例的基础上，获得终端设备的目标位姿之后，还包括:

根据目标位姿所指示的位置，结合终端设备的目的地，确定终端设备的行驶路径。

本公开实施例中，可以根据目标位姿指示的位置，结合终端设备的目的地，可以对终端设备进行路径导航，得到终端设备的行驶路径，在获得初始位姿的基础上，对初始位姿优化后，得到的目标位姿准确度更高，可以实现更精准的导航应用，提高设备导航效率和准确性。

在实际应用中，上述位姿处理方法中涉及的关键点预测网络、最远点采样算法，可以训练获得，具体可以采用有监督或无监督的训练方式，在此不再赘述。

此外，本方案还涉及：特征提取网络、权重图和特征图的学习网络等网络的训练。

如图8所示，为本公开实施例提供的一种终端设备的位姿处理方法的又一个实施例的流程图，该方法可以包括以下几个步骤：

步骤801：确定训练样本，训练样本可以关联初始位姿和真实位姿。

步骤802：从地图数据库中查询与训练样本的初始位姿相匹配的目标地图数据。地图数据库中的地图数据用于记录位姿标签以及与位姿标签关联的关键地图信息。

步骤803：根据目标地图数据和训练样本,对初始位姿进行优化处理，获得训练样本的目标位姿。

在实际应用中，关于步骤802-803，采用的处理过程可以与图2等实施例所示的位姿处理方法相同，为了描述的简洁性在此不再赘述。

步骤804：根据训练样本的目标位姿和真实位姿，结合位姿损失函数，确定位姿损失。

步骤805：基于位姿损失，对上述初始位姿进行优化处理的网络进行网络参数的调整，直至位姿损失满足收敛条件。

本公开实施例中，通过训练样本对为初始位姿的优化处理的网络进行网络参数的调整，直至位姿损失满足收敛条件。通过位姿损失估计方式对位姿优化处理过程进行训练，可以获得准确的优化处理的网络，提高位姿优化准确度和精度。

在训练过程中，与上述实施例的不同之处在于，可以将待定位图像替换为训练样本，训练样本可以关联初始位姿和真实位姿，可以利用上述实施例的方法，获得初始位姿对应的目标位姿，并基于目标位姿和真实位姿，结合位姿损失函数，确定位姿损失。基于位姿损失，对上述特征提取网络及位姿权重的获取进行网络参数的调整，直至位姿损失满足收敛条件。

以至少一个候选位姿为横向、纵向、高度以及角度4个方向为例，对本申请中涉及到的位姿损失函数进行举例说明。

可选地，单纯以位姿进行误差计算时，位姿损失函数可以表示为：

其中，

可以通过预测的训练样本的目标位姿和真实位姿计算获得。

Δx

在实际应用中，可以对各候选位姿的权重也进行监督，也即可以将各候选位姿的权重的分布误差作为位姿损失函数的一种。各候选位姿的权重分布可以表示为：

L

+(∑

其中，P(Δx

在实际应用中，可以将L1和L2结合作为整体的误差计算公式，通过L1和L2对各候选位姿和各候选位姿的权重进行学习调整。

此外，在实际应用中，还可以通过位姿损失对关键点预测网络、最远点采样算法、权重图和特征图的学习网络等网络中的至少一个进行实时性调整训练。权重图可以参与到关键点提取过程中，也即可以通过权重图对关键点预测网络、最远点采样网络、权重图和特征图的学习网络进行反馈调节。具体可以通过权重图的损失函数进行调整。

可选地，权重图的损失函数可以表示为：L

其中，V

而在实际应用中，特征提取网络可以提取到的投影特征也可以参与到训练过程。投影特征的损失函数可以表示为：L

其中，i表示关键点，F

因此，在一种可能的设计中，位姿处理方法的训练过程，所采用的损失函数可以表示为：L0+L1+L2+L3。

通过损失函数的计算，可以获得整体的位姿损失，通过整体的位姿损失调整特征图和权重图的学习网络、图像提取网络等。

如图9所示，为本公开实施例提供的一种终端设备的位姿处理装置的一个实施例的结构示意图，本实施例提供的位姿处理装置可以执行图2所示的终端设备的位姿处理方法。该装置900可以包括以下几个单元：

响应单元901用于：响应于终端设备的位姿处理请求，获得终端设备的初始位姿和在初始位姿采集的待定位图像；

查询单元902：用于：从地图数据库中查询与初始位姿相匹配的目标地图数据，地图数据库中的地图数据用于记录位姿标签以及与位姿标签关联的关键地图信息；

优化单元903：用于：根据目标地图数据和待定位图像，对初始位姿进行优化处理，获得终端设备的目标位姿。

作为一个实施例，优化单元，包括：

位姿采样模块，用于对初始位姿从不同方向进行离散采样，获得至少一个候选位姿；

权重确定模块，用于根据目标地图数据和待定位图像，确定至少一个候选位姿分别对应的位姿权重；

位姿加权模块，用于根据至少一个候选位姿分别对应的位姿权重，对至少一个候选位姿进行位姿加权求和，获得终端设备的目标位姿。

作为又一个实施例，权重确定模块，包括：

误差子模块，用于根据待定位图像和目标地图数据的关键地图信息，确定至少一个候选位姿分别对应的位姿误差；

回归子模块，用于对至少一个候选位姿分别对应的位姿误差进行回归计算，获得至少一个候选位姿分别对应的位姿权重。

作为又一个实施例，关键地图信息包括关键点和关键点特征；

误差子模块，具体用于：

通过特征提取网络提取待定位图像的第一图像特征，第一图像特征用于记录待定位图像的内容信息；

将关键点按照至少一个候选位姿分别映射到待定位图像中，获得至少一个候选位姿分别对应的映射关键点；

根据第一图像特征，确定至少一个候选位姿分别对应的映射关键点的映射特征；

根据映射关键点在至少一个候选位姿各自的映射特征，结合关键点特征，确定至少一个候选位姿分别对应的位姿误差。

作为又一个实施例，关键点包括至少一个，关键地图信息还包括：至少一个关键点分别对应的权重；

误差子模块，具体用于：

根据至少一个关键点分别在各候选位姿的映射特征和关键点特征，确定至少一个关键点各自在至少一个候选位姿分别对应的特征差异；

根据至少一个关键点各自在至少一个候选位姿分别对应的特征差异，确定各候选位姿在至少一个关键点分别对应的特征差异；

将各候选位姿在至少一个关键点分别对应的特征差异，按照至少一个关键点分别对应的权重进行加权聚合，获得至少一个候选位姿分别对应的位姿误差。

作为又一个实施例，误差子模块，还用于：

通过插值算法，确定待定位图像中与映射关键点关联的相邻关键点；

根据相邻关键点在第一图像特征的特征值和映射关键点在第一图像特征的特征值，确定映射关键点的映射特征。

作为又一个实施例，查询单元，包括：

差距查询模块，用于根据地图数据库中的至少一条地图数据分别对应的位姿标签，从至少一条地图数据中确定与初始位姿的位置差距最小的目标位姿标签；

目标确定模块，用于确定目标位姿标签对应的地图数据为目标地图数据。

作为又一个实施例，还包括：

确定单元，用于确定位姿标签；

采集单元，用于在位姿标签所指示的地图位置，同时采集点云数据和地图图像；

提取单元，用于利用点云数据和地图图像，提取位姿标签的关键点信息；

关联单元，用于根据位姿标签和关键点信息的关联关系，确定地图数据库中的地图数据。

作为又一个实施例，提取单元，包括：

关键提取模块，用于从点云数据中提取关键点；

关键映射模块，用于将关键点按照位姿标签映射到地图图像，获得地图映射点；

特征权重模块，用于根据地图图像和地图映射点，确定关键点的关键点特征和关键点权重；

信息确定模块，用于确定关键点、关键点特征和关键点权重组成的关键点信息。

作为又一个实施例，特征权重模块，包括：

第一提取子模块，用于利用关键点提取网络，从点云数据的至少一个三维数据点中提取第一关键点；

第二提取子模块，用于通过最远点采样算法，确定第二关键点；

关键确定子模块，用于确定第一关键点和第二关键点为点云数据中的关键点。

作为又一个实施例，权重学习子模块具体用于：

利用地图映射点，对第二图像特征中地图图像各像素点的权重计算过程进行约束，获得地图图像对应的权重图。

作为又一个实施例，点云数据包括至少一个三维数据点，关键提取模块，包括：

第一提取子模块，用于利用关键点提取网络，从点云数据的至少一个三维数据点中提取第一关键点；

第二提取子模块，用于通过最远点采样算法，确定第二关键点；

关键确定子模块，用于确定第一关键点和第二关键点为点云数据中的关键点。

作为又一个实施例，还包括：

导航单元，用于根据目标位姿所指示的位置，结合终端设备的目的地，确定终端设备的行驶路径。

需要说明的是，本实施例中的用户设备并不是针对某一特定用户的，并不能反映出某一特定用户的个人信息。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开提供的电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项实施例对应的终端设备的位姿处理方法。

根据本公开的实施例，本公开提供的存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据上述任一实施例的终端设备的位姿处理方法。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM1002以及RAM1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如终端设备的位姿处理方法。例如，在一些实施例中，终端设备的位姿处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的终端设备的位姿处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行终端设备的位姿处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。