车轮接地位置的确定方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机视觉技术，尤其是一种车轮接地位置的确定方法、装置、电子设备和存储介质。

背景技术

在自动驾驶领域，基于车辆周围的环境图像感知周围的目标车辆相关信息对下游的规划与控制非常重要，比如基于环境图像确定目标车辆在车辆坐标系下的车轮接地位置(也可称为车轮接地点位置)，进而基于车轮接地位置确定目标车辆的位置及航向角(yaw角，或称朝向角)，为全速自适应巡航系统、主动安全系统、领航辅助控制系统等提供需要的感知信息。相关技术中，通常通过寻找车轮框中的关键点作为图像像素坐标系下的车轮接地点，进而基于该车轮接地点确定车辆坐标系下的车轮接地位置，但是，这种车轮接地点位置的确定方法容易受车轮框错误或车轮框内关键点缺失等的影响，导致确定的车轮接地位置不够准确。

发明内容

本公开的实施例提供了一种车轮接地位置的确定方法、装置、电子设备和存储介质，用于确定图像中目标车辆的车轮接地位置，以提高车轮接地位置的准确性。

根据本公开实施例的一个方面，提供了一种车轮接地位置的确定方法，包括：基于待处理图像，确定目标车辆在图像像素坐标系下的检测框信息和语义分割信息；基于所述检测框信息，确定所述目标车辆的目标观测类型；基于所述检测框信息和所述语义分割信息，采用与所述目标观测类型对应的确定方式，确定所述目标车辆的车轮接地点位置，所述车轮接地点位置为车辆坐标系下的位置。

根据本公开实施例的另一个方面，提供了一种车轮接地位置的确定装置，包括：第一处理模块，用于基于待处理图像，确定目标车辆在图像像素坐标系下的检测框信息和语义分割信息；第二处理模块，用于基于所述检测框信息，确定所述目标车辆的目标观测类型；第三处理模块，用于基于所述检测框信息和所述语义分割信息，采用与所述目标观测类型对应的确定方式，确定所述目标车辆的车轮接地点位置，所述车轮接地点位置为车辆坐标系下的位置。

根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的车轮接地位置的确定方法。

根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的车轮接地位置的确定方法。

基于本公开上述实施例提供的车轮接地位置的确定方法、装置、电子设备和存储介质，可以基于待处理图像，确定目标车辆在图像像素坐标系下的检测框信息和语义分割信息，并基于检测框信息确定目标车辆的观测类型，进而可以结合检测框信息和语义分割信息，针对不同的观测类型采用不同的确定方式，确定出目标车辆在车辆坐标系下的车轮接地点位置，兼顾了检测框级别的粗粒度的观测和语义分割信息的像素级别的更精准的观测，提高确定的车轮接地位置的准确性和鲁棒性，且可以实现各种观测情况下车轮接地位置的确定，提高确定车轮接地位置方法的通用性。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

图1是本公开提供的车轮接地位置的确定方法的一个示例性的应用场景；

图2是本公开一示例性实施例提供的车轮接地位置的确定方法的流程示意图；

图3是本公开另一示例性实施例提供的车轮接地位置的确定方法的流程示意图；

图4是本公开一示例性实施例提供的车辆观测类型的示意图；

图5是本公开再一示例性实施例提供的车轮接地位置的确定方法的流程示意图；

图6是本公开一示例性实施例提供的步骤2033的流程示意图；

图7是本公开一示例性实施例提供的第一类型右截断的情况示意图；

图8是本公开一示例性实施例提供的消失点的确定原理示意图；

图9是本公开一示例性实施例提供的第二接地点找点异常情况的示意图；

图10是本公开一示例性实施例提供的四种第一车轮框分割点集的示意图；

图11是本公开一示例性实施例提供的多个前轮和多个后轮的示意图；

图12是本公开一示例性实施例提供的第一位置参考点的确定原理示意图；

图13是本公开又一示例性实施例提供的车轮接地位置的确定方法的流程示意图；

图14是本公开一示例性实施例提供的车轮接地位置的确定装置的结构示意图；

图15是本公开另一示例性实施例提供的车轮接地位置的确定装置的结构示意图；

图16是本公开实施例提供的一种电子设备的结构图。

具体实施方式

为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本公开概述

在实现本公开的过程中，发明人发现，在自动驾驶领域，基于车辆周围的环境图像感知周围的目标车辆相关信息对下游的规划与控制非常重要，比如基于环境图像确定目标车辆在车辆坐标系下的车轮接地位置，进而基于车轮接地位置确定目标车辆的位置及航向角(yaw角，或称朝向角)，为全速自适应巡航系统、主动安全系统、领航辅助控制系统等提供需要的感知信息。相关技术中，通常通过寻找车轮框中的关键点作为图像像素坐标系下的车轮接地点，进而基于该车轮接地点确定车辆坐标系下的车轮接地位置，但是，这种车轮接地点位置的确定方法容易受车轮框错误或车轮框内关键点缺失等的影响，导致确定的车轮接地位置不够准确。

示例性概述

图1是本公开提供的车轮接地位置的确定方法的一个示例性的应用场景。如图1所示，自车在行驶过程中，可以基于自车上设置的相机(摄像头)观测自车周围的环境，采集周围环境图像作为待处理图像。自车上设置的摄像头可以包括前视视角的摄像头、左前视角的摄像头、右前视角的摄像头、左后视角的摄像头、右后视角的摄像头等。实际应用中，自车上设置的摄像头数量及视角范围不作限定。利用本公开的车轮接地位置的确定方法，可以基于待处理图像，确定目标车辆在图像像素坐标系下的检测框信息和语义分割信息；基于检测框信息，确定目标车辆的目标观测类型；基于检测框信息和语义分割信息，采用与目标观测类型对应的确定方式，确定目标车辆的车轮接地位置，车轮接地点位置为车辆坐标系下的位置。进而可以基于车轮接地位置确定目标车辆的位置及航向角，以为自车的全速自适应巡航系统、主动安全系统、领航辅助控制系统等提供需要的感知信息。本公开的方法，兼顾了检测框级别的粗粒度的观测和语义分割信息的像素级别的更精准的观测，有助于提高确定的车轮接地位置的准确性和鲁棒性，且可以实现各种观测情况下车轮接地位置的确定，提高确定车轮接地位置方法的通用性。

示例性方法

图2是本公开一示例性实施例提供的车轮接地位置的确定方法的流程示意图。本实施例可应用在电子设备上，具体比如车载计算平台上，如图2所示，包括如下步骤：

步骤201，基于待处理图像，确定目标车辆在图像像素坐标系下的检测框信息和语义分割信息。

其中，待处理图像可以基于自车上设置的相机(摄像头)采集获得。例如图1中所示的自车的前视视角的摄像头、左前视角的摄像头、右前视角的摄像头、左后视角的摄像头、右后视角的摄像头等。目标车辆为待处理图像中观测到的自车周围的车辆。图像像素坐标系是指待处理图像对应的像素坐标系。检测框信息可以通过对待处理图像进行目标检测获得。语义分割信息可以通过对待处理图像进行语义分割获得。

在一些可选的实施例中，可以基于任意可实施的目标检测算法或目标检测模型对待处理图像进行车辆检测，获得目标车辆在图像像素坐标系下的检测框信息。目标检测模型例如可以为基于卷积神经网络的系列模型。比如基于Yolo的目标检测模型、基于RCNN(Region Convolutional Neural Network，区域卷积神经网络)及其系列的目标检测模型等。

在一些可选的实施例中，可以基于任意可实施的语义分割模型对待处理图像进行语义分割，获得目标车辆的语义分割信息。语义分割模型例如可以为基于U型网络(U-Net)的语义分割模型、基于全卷积网络(Fully Convolutional Networks)的语义分割模型、基于DeepLab及其系列的语义分割模型等。

在一些可选的实施例中，检测框信息可以包括目标车辆的全车框信息、头尾框信息、侧边线信息、车轮框信息等信息中的至少一者。全车框信息可以确定目标车辆在待处理图像中的全车框。侧边线信息可以确定目标车辆在待处理图像中的侧边线。头尾框信息可以包括头部框信息、尾部框信息中的任一者，或者头尾框信息可以包括不包含头尾框(或未检测到头尾框)的信息。头部框信息可以确定目标车辆头部在待处理图像中的检测框。尾部框信息可以确定目标车辆的尾部在待处理图像中的检测框。相应的，语义分割信息可以包括待处理图像中各像素属于目标车辆的语义分类信息，例如对于任一像素，语义分类信息包括该像素是否属于目标车辆的概率信息，或者该像素属于目标车辆的分类值，比如1表示该像素属于目标车辆，0表示该像素不属于目标车辆。具体不作限定。基于语义分割信息可以确定目标车辆的语义分割边界点集。

步骤202，基于检测框信息，确定目标车辆的目标观测类型。

其中，观测类型可以包括至少两种观测类型。例如，可以包括第一类型、第二类型和第三类型。观测类型可以根据观测到的车辆的具体情况划分。例如，可以基于检测框信息中包括的头尾框信息和全车框信息确定目标观测类型。还可以基于检测框信息中包括的侧边线信息确定目标观测类型。还可以综合全车框信息、头尾框信息、侧边线信息，确定目标观测类型。具体不作限定。

示例性的，若观测到的检测框信息包括目标车辆的全车框信息和头尾框信息(还可以包括其他信息，比如侧边线信息、车轮框信息等)，可以基于全车框信息和头尾框信息确定目标观测类型。比如，若基于头尾框信息确定头尾框位于全车框的第一侧(比如左侧)，可以确定目标车辆的目标观测类型为第一类型。若头尾框位于全车框的第二侧(比如右侧)，确定目标车辆的目标观测类型为第二类型。若检测框信息包括全车框信息和侧边线信息(还可以包括其他信息，比如车轮框信息)，且不包括头尾框信息，可以基于全车框信息和侧边线信息确定目标车辆的目标观测类型。比如，对于不包括头尾框信息，包括全车框信息和侧边线信息的情况，可以确定目标车辆的目标观测类型为第三类型。

步骤203，基于检测框信息和语义分割信息，采用与目标观测类型对应的确定方式，确定目标车辆的车轮接地位置。

其中，车轮接地点位置为车辆坐标系下的位置。车辆坐标系是指采集待处理图像时的摄像头所在的自车的车辆坐标系。

在一些可选的实施例中，可以预先针对不同的观测类型设置观测类型对应的车轮接地位置的确定方式，进而可以在获得目标车辆的检测框信息和语义分割信息后，采用与目标车辆的目标观测类型对应的确定方式，确定目标车辆的车轮接地位置。确定方式可以基于车辆在不同观测类型下，可观测到的全车框、头尾框、车轮框、侧边线等之间的相关关系及语义分割边界点设置。

示例性的，对于待处理图像能观测到完整的目标车辆的情况下，若检测框信息包括全车框信息、车轮框信息和侧边线信息，且不包括头尾框信息，可以结合车轮的语义分割边界点集与侧边线的关系，确定目标车辆的车轮接地位置。不同观测类型及不同检测框信息，可以对应不同的确定方式。

在一些可选的实施例中，待处理图像可以为畸变图像，即带畸变的图像。先在畸变图像域确定目标车辆的车轮在图像像素坐标系下的接地点，再转换到待处理图像对应的自车的车辆坐标系，得到目标车辆的车轮接地位置。

本实施例提供的车轮接地位置的确定方法，可以基于待处理图像，确定目标车辆在图像像素坐标系下的检测框信息和语义分割信息，并基于检测框信息确定目标车辆的观测类型，进而可以结合检测框信息和语义分割信息，针对不同的观测类型采用不同的确定方式，确定出目标车辆在车辆坐标系下的车轮接地位置，兼顾了检测框级别的粗粒度的观测和语义分割信息的像素级别的更精准的观测，提高确定的车轮接地位置的准确性和鲁棒性，且可以实现各种观测情况下车轮接地位置的确定，提高确定车轮接地位置方法的通用性。

图3是本公开另一示例性实施例提供的车轮接地位置的确定方法的流程示意图。

在一些可选的实施例中，如图3所示，步骤202的基于检测框信息，确定目标车辆的目标观测类型，包括：

步骤2021，响应于检测框信息包括全车框信息、头尾框信息和侧边线信息，且头尾框信息位于全车框信息的第一侧，确定目标观测类型为第一类型。

其中，全车框信息可以包括包围位于待处理图像中的目标车辆(目标车辆的全部或部分位于待处理图像中)的检测框的位置信息。头尾框信息可以包括包围目标车辆头部或尾部的检测框的位置信息，或者包括未检测到头尾框的信息。侧边线信息可以包括观测到的目标车辆的车轮接地点在待处理图像中的像素坐标。也即侧边线信息是基于待处理图像检测获得的车轮接地点信息。比如两个车轮接地点可以确定一条直线即为侧边线。基于图像检测获得的侧边线信息可能不太准确，用于辅助确定更准确的车轮接地点。

在一些可选的实施例中，检测框信息还可以包括目标车辆的其他相关检测信息，例如目标车辆的车轮框信息。

步骤2022，响应于检测框信息包括全车框信息、头尾框信息和侧边线信息，且头尾框信息位于全车框信息的第二侧，确定目标观测类型为第二类型。

其中，若第一侧为左侧，则第二侧为右侧。若第一侧为右侧，则第二侧为左侧。

步骤2023，响应于检测框信息包括全车框信息、车轮框信息和侧边线信息，且不包括头尾框信息，基于侧边线信息确定目标观测类型。

其中，车轮框信息是指待处理图像中观测到的包围车轮的检测框的位置信息。车轮框信息可以包括至少一个车辆的车轮框的位置信息。例如对于小型汽车，车轮框信息可能包括一个车轮的车轮框的位置信息，也可以包括两个车轮的车轮框的位置信息。对于大型车辆，车轮框信息可以包括更多的车轮的车轮框的位置信息。对于不包括头尾框信息的情况(例如检测模型漏检了头尾框、或者目标车辆侧面正对摄像头导致观测不到头尾框等)，可以基于侧边线信息确定目标观测类型。具体来说，可以基于侧边线信息所确定的侧边线的斜率确定目标观测类型是属于第一类型、第二类型还是第三类型。若侧边线斜率的绝对值在一定范围(比如[0,k1]的范围)内，可以确定目标观测类型为第三类型，若侧边线斜率的绝对值超出该范围，则可能属于第一类型、第二类型或其他类型，比如斜率的绝对值在[k1,k2]范围内，确定目标观测类型为第一类型或第二类型，具体可以根据侧边线斜率的正负情况确定具体是第一类型还是第二类型。对于观测截断的大车来说，可能不包括头尾框信息，可以进一步基于侧边线信息确定目标观测类型。

在一些可选的示例中，图4是本公开一示例性实施例提供的车辆观测类型的示意图。如图4所示，第一类型为检测框信息包括全车框、头尾框和侧边线，头尾框位于全车框的左侧区域。第二类型为检测框信息包括全车框、头尾框和侧边线，头尾框位于全车框的右侧区域。第三类型为检测框信息包括全车框、车轮框、侧边线，且不包括头尾框。

本实施例通过根据检测框信息确定目标车辆的目标观测类型，有助于确定用于确定目标车辆车轮接地位置的确定方式，从而基于目标观测类型对应的确定方式得到目标车辆的车轮的准确接地位置。

图5是本公开再一示例性实施例提供的车轮接地位置的确定方法的流程示意图。

在一些可选的实施例中，检测框信息包括全车框信息、头尾框信息和侧边线信息；如图5所示，步骤203的基于检测框信息和语义分割信息，采用与目标观测类型对应的确定方式，确定目标车辆的车轮接地位置，包括：

步骤2031，响应于目标观测类型为第一类型或第二类型，基于侧边线信息和全车框信息，确定目标车辆是否观测截断。

其中，观测截断是指待处理图像中并未观测到完整的目标车辆，而只观测到目标车辆的一部分，例如只观测到目标车辆的前半部分，后半部分未在待处理图像中；或者只观测到目标车辆的后半部分，前半部分未在待处理图像中等。比如对于大型车辆作为目标车辆，自车的摄像头的拍摄范围可能只能覆盖目标车辆的一部分，从而导致基于待处理图像观测到的目标车辆为观测截断。对于目标车辆是否观测截断，可以基于全车框、侧边线在待处理图像中的位置关系确定。比如基于全车框边界与待处理图像边界之间的距离、全车框宽度与待处理图像宽度的比值、侧边线与全车框的相交情况等，确定目标车辆是否观测截断。

示例性的，若目标车辆的全车框第一侧(比如右侧)边界线与待处理图像的第一侧边界线之间的距离d1小于距离阈值D(可以称为第一距离阈值)，全车框的宽度与待处理图像的宽度比值r大于比值阈值，且全车框的第二侧边界线与待处理图像的第二侧边界线之间的距离d2大于d1，确定目标车辆观测截断。基于此还可以确定出目标车辆的观测截断方向。比如当第一侧为右侧时，确定目标车辆为右侧观测截断。具体判断方式不限于这一种。例如还可以基于d1、d2、全车框的上边界的纵向像素坐标t、全车框的下边界的纵向像素坐标b及待处理图像的高度h，确定目标车辆是否观测截断。还可以基于d1、d2、t、b、h及r确定目标车辆是否观测截断以及截断方向。比如，若d1c*h，且r>R，确定目标观测截断，且截断方向为第一侧截断。其中，a、c表示预设比例系数，R表示比值阈值。

步骤2032，响应于目标车辆观测截断，基于全车框信息与待处理图像的位置关系，确定目标车辆的目标截断方向。

其中，目标截断方向的具体确定可以参见上述示例，在此不作赘述。

步骤2033，基于全车框信息和语义分割信息，采用与目标截断方向对应的目标搜索方向进行接地点搜索，确定目标车辆的车轮接地点位置。

其中，若目标截断方向为右侧截断，则目标搜索方向为从左向右搜索。若目标截断方向为左侧截断，则目标搜索方向为从右向左搜索。搜索对象为语义分割信息包括的语义分割点集，因为车轮接地点应该在全车的语义分割边界上，因此，搜索对象具体可以为语义分割边界点集。例如可以基于全车框信息从语义分割信息中确定全车的语义分割边界点集，基于全车的语义分割边界点集确定待搜索的语义分割边界点集，通过在待搜索的语义分割边界点集中按照接地点的判断规则搜索接地点，获得目标车辆的车轮接地点在待处理图像中的位置，进而可以转换到自车的车辆坐标系，获得目标车辆在车辆坐标系下的车轮接地位置。

本实施例通过判断目标车辆是否观测截断，对于观测截断的目标车辆，可以基于全车框信息从语义分割信息中确定车轮接地点所在的待搜索语义分割边界点集，进而按照目标搜索方向进行接地点搜索，以确定目标车辆的车轮接地点位置，基于信息实现了观测截断的目标车辆的车轮接地位置的准确确定。提高车轮接地位置的准确性。

图6是本公开一示例性实施例提供的步骤2033的流程示意图。

在一些可选的实施例中，步骤2033的基于全车框信息和语义分割信息，采用与目标截断方向对应的目标搜索方向进行接地点搜索，确定目标车辆的车轮接地点位置，包括：

步骤20331，基于全车框信息和目标搜索方向，确定第一搜索范围。

其中，第一搜索范围可以包括第一搜索边界和第二搜索边界。例如第一搜索边界为左边界、第二搜索边界为右边界，或者第一搜索边界为右边界、第二搜索边界为左边界。第一搜索边界和第二搜索边界可以表示为待处理图像中的横向像素坐标，比如第一搜索边界和第二搜索边界分别表示为u1和u2。

在一些可选的实施例中，第一搜索边界为观测截断侧的边界，例如，若目标车辆的目标截断方向为右截断，则第一搜索边界为右边界。若目标截断方向为左截断，则第一搜索边界为左边界。

示例性的，第一搜索边界可以为目标截断方向对应的截断侧的全车框边界，例如目标截断方向为右截断，则第一搜索边界为全车框的右边界。

在一些可选的实施例中，第二搜索边界可以基于头尾框信息、全车框信息、侧边线信息确定。例如，在检测框信息包括头尾框信息的情况下，可以基于全车框信息和头尾框信息确定第二搜索边界。还可以基于全车框信息和侧边线信息确定第二搜索边界。

步骤20332，基于第一搜索范围，确定语义分割信息中属于第一搜索范围的各第一分割点。

其中，在确定了第一搜索范围后，可以基于第一搜索范围从语义分割信息中获取属于第一搜索范围中的分割点作为第一分割点。具体来说，可以根据第一搜索范围的第一搜索边界和第二搜索边界，从语义分割信息中提取属于第一搜索范围的靠近全车框底边的语义分割点，也即提取属于第一搜索范围的全车的靠近全车框底边的语义分割边界点作为第一分割点。

步骤20333，按照目标搜索方向，对第一搜索范围内的各第一分割点进行搜索，确定目标车辆的图像像素坐标系下的各目标车轮接地点。

其中，目标车轮接地点可以包括至少一个车轮的接地点。对各第一分割点进行搜索可以基于相应的车轮接地点判断规则判断各第一分割点是否属于车轮接地点，从而找到目标车辆的图像像素坐标系下的目标车轮接地点。具体车轮接地点判断规则可以基于全车语义分割边界点中车轮部分的分割点与其他部分的分割点之间的关系设置。

步骤20334，将各目标车轮接地点转换到车辆坐标系下，获得车轮接地点位置。

其中，可以基于待处理图像对应的相机内参和相机外参，将各目标车轮接地点转换到车辆坐标系下，获得车轮接地点位置。例如，可以先基于相机内参将各目标车轮接地点转换到相机坐标系，再基于相机外参转换到车辆坐标系。

在一些可选的实施例中，在将目标车轮接地点转换到相机坐标系时，需要各目标车轮接地点对应的深度信息，该深度信息可以基于任意可实施的方式获得。例如，可以基于深度相机得到待处理图像对应的深度图像，从而可以从该深度图像提取各目标车轮接地点对应的深度信息。还可以基于双目相机采集双目图像(即待处理图像为双目图像)，通过双目图像之间的视差，预测深度信息。还可以通过深度预测模型对待处理图像进行深度预测，获得待处理图像对应的深度信息，从而获得各目标车轮接地点的深度信息。

本实施例通过确定第一搜索范围内的各第一分割点，得到较小的有效的搜索范围，进而对各第一分割点进行接地点搜索，确定图像像素坐标系下的车轮接地点，有助于降低搜索计算量，提高搜索效率。

在一些可选的实施例中，步骤20331的基于全车框信息和目标搜索方向，确定第一搜索范围，包括：

响应于目标车辆为大车，基于目标搜索方向及全车框信息，确定第一搜索边界；基于头尾框信息、全车框信息及第一边界映射规则，确定第二搜索边界；或者，响应于头尾框信息为未检测到头尾框，基于侧边线信息、全车框信息及第二边界映射规则，确定第二搜索边界；基于第一搜索边界和第二搜索边界，确定第一搜索范围。

其中，若目标搜索方向为从左向右，则第一搜索边界为右边界。若目标搜索方向为从右向左，则第一搜索边界为左边界。第一边界映射规则可以基于目标车辆的类型及该类型的车辆车轮接地点与车头或车尾的距离关系确定。第二边界映射规则可以基于侧边线与全车框的关系确定。第一搜索边界和第二搜索边界构成第一搜索范围。

示例性的，图7是本公开一示例性实施例提供的第一类型右截断的情况示意图。如图7所示，uov表示图像像素坐标系。以右截断为例，第一搜索边界为搜索右边界rs(u坐标)，第一搜索边界确定为全车框的右边界，第二搜索边界为搜索左边界ls(u坐标)，若头尾框信息确定的头尾框的左边界表示为lside(u坐标)，全车框的右边界表示为rfull(u坐标)，则第一边界映射规则可以表示为：ls＝lside+e*(rfull-lside)，其中，e为预设值，可以根据车辆的车轮接地点距车头或车尾的距离情况设置。比如，对于大车，e可以设置为0.2、0.25、0.3等。

示例性的，如图7所示，仍以右截断为例，可以基于侧边线信息确定侧边线与全车框底边的交点，该交点的横向坐标(即u坐标)表示为xcross，全车框左边界表示为lfull(u坐标)，则第二边界映射规则可以表示为：ls＝xcross-f*(xcross-lfull)，f为预设值。例如f可以设置为0.1或其他可能的值。

在一些可选的实施例中，左截断与右截断的第一搜索边界和第二搜索边界的确定原理类似，在此不作赘述。

本实施例通过将截断侧的全车框边界确定第一搜索边界，基于第一边界映射规则或第二边界映射规则确定第二搜索边界，从而获得第一搜索范围，有助于提高搜索范围的准确性和有效性，以进一步提高搜索效率。

在一些可选的实施例中，步骤20333的按照目标搜索方向，对第一搜索范围内的各第一分割点进行搜索，确定目标车辆的图像像素坐标系下的各目标车轮接地点，包括：

基于预先获得的相机参数和侧边线信息，确定侧边线消失点坐标。基于侧边线消失点坐标和各第一分割点，确定各第一分割点分别对应的第一斜率。基于各第一分割点分别对应的第一斜率与侧边线信息对应的第二斜率的大小关系，确定第一数量的目标分割点。基于第一数量的目标分割点，确定修正后的目标侧边线。基于目标侧边线和目标搜索方向，从各第一分割点中确定各目标车轮接地点。

其中，相机参数可以包括相机内参和相机外参。

在一些可选的实施例中，侧边线消失点坐标可以基于去畸变图像上同一朝向的目标车辆侧边线会相交于同一消失点的原则确定。因此，可以对侧边线信息进行去畸变处理，基于去畸变后的侧边线信息，确定侧边线消失点坐标。该侧边线消失点坐标为去畸变的坐标。进而可以将各第一分割点转换到去畸变图像，得到各第一分割点分别对应的去畸变分割点，基于侧边线消失点坐标和各去畸变分割点，确定各第一分割点分别对应的第一斜率。侧边线信息对应的第二斜率可以基于去畸变后的侧边线信息确定，也即第二斜率为去畸变后的侧边线的斜率。基于各第一斜率与第二斜率的大小关系，可以确定满足关系条件的第一数量的目标去畸变分割点。例如第一斜率与第二斜率的差值绝对值从小到大排序，选排序靠前的第一数量的第一分割点作为目标去畸变分割点。将目标去畸变分割点转换到待处理图像的畸变图像坐标系，得到目标分割点。基于目标分割点对侧边线进行修正，得到修正后的目标侧边线。再基于目标侧边线和目标搜索方向，对各第一分割点进行接地点搜索，得到各目标车轮接地点。

本实施例通过确定的侧边线消失点坐标各各第一分割点得到各第一分割点分别对应的第一斜率，进而基于各第一斜率和侧边线信息对应的第二斜率筛选出第一数量的目标分割点，用于对侧边线进行修正，可以提高侧边线的准确性，进而基于修正后的目标侧边线从各第一分割点中搜索目标车轮接地点，有助于进一步提高目标车轮接地点的准确性。

在一些可选的实施例中，步骤20333的按照目标搜索方向，对第一搜索范围内的各第一分割点进行搜索，确定目标车辆的图像像素坐标系下的各目标车轮接地点，包括：

a1、基于预先获得的相机参数和侧边线信息，确定侧边线消失点坐标。

在一些可选的实施例中，图8是本公开一示例性实施例提供的消失点的确定原理示意图，如图8所示，在去畸变图像域(即去畸变图像像素坐标系)确定侧边线消失点坐标，表示为ref_pt(refx,refy)。具体来说，相机内参矩阵表示为K，旋转矩阵表示为R，则三维空间点(例如车辆坐标系或世界坐标系中的点)到去畸变图像域的计算方式如下：

s·pt

P＝K·R

其中，s表示观测因子，是预先获得的值。pt

则，在去畸变图像域，航向角(yaw角)为0的消失点(vp

vp

vp

则消失线斜率vp

vp

消失线截距vp

vp

基于消失线和去畸变的侧边线组成方程组，即刻得到侧边线消失点坐标ref_pt(refx,refy)。

a2、基于侧边线消失点坐标和第一搜索范围内的各第一分割点，确定各第一分割点分别对应的第一斜率。

其中，任一第一分割点对应的第一斜率是该第一分割点对应的去畸变分割点与侧边线消失点所拟合的直线的斜率。

a3、基于各第一分割点分别对应的第一斜率和侧边线信息对应的第二斜率，确定各第一斜率分别与第二斜率的差值的第一绝对值。

其中，侧边线信息对应的第二斜率为去畸变后的侧边线的斜率。对于每个第一斜率，计算该第一斜率与第二斜率的差值，并计算该差值的绝对值，作为第一绝对值。由于每个第一分割点对应一个第一斜率，因此每个第一分割点对应一个第一绝对值。

a4、基于各第一绝对值，从各第一分割点中确定第一绝对值最小的第一数量的目标分割点。

其中，第一数量可以根据实际需求设置。基于去畸变图像域与畸变图像域侧边线斜率近似相等的原则，第一绝对值越小，其对应的第一分割点越贴近侧边线，因此，从各第一分割点中确定第一绝对值最小的第一数量的目标分割点，用于修正侧边线。

a5、基于第一数量的目标分割点，确定修正后的目标侧边线。

由于目标分割点是语义分割边界点，能够更加准确地反应侧边线的真实位置，因此，基于第一数量的目标分割点对侧边线进行修正，确定修正后的目标侧边线，可以提高侧边线的准确性。

在一些可选的实施例中，可以采用最小二乘法拟合第一数量的目标分割点，得到更加精准的修正后的目标侧边线。从而综合考虑了粗粒度的观测侧边线和精准的语义分割边界点，提高侧边线的准确性。

a6、基于目标侧边线，按照目标搜索方向，确定第一搜索范围内的第一子范围内各第一分割点分别与目标侧边线的第一距离。

在一些可选的实施例中，第一子范围可以根据头尾框的边界及全车框的边界确定。例如对于右截断的情况，第一子范围的左边界ls1可以为头尾框的右边界rsize，第一子范围的右边界rs1可以为头尾框的右边界rsize至全车框右边界rfull的一定比例的宽度，表示为：rs1＝rsize+i*(rfull-rsize)，i表示预设的比例值，例如i可以为0.5，使得第一子范围包括靠近头尾框的车轮的接地点。第一距离可以基于点到直线的距离的计算方式获得。

示例性的，假设点到直线的距离是有方向的，比如位于直线一侧(比如上方)的点第一距离为负，位于直线另一侧(比如下方)的第一距离为正，目标侧边线表示为y＝kx+b，x表示待处理图像的图像坐标系的横向坐标(u坐标)，y表示纵向坐标(v坐标)，在第一子范围内的第一分割点形成的点集表示为S1，S1内的任一第一分割点的坐标表示为(c

在一些可选的实施例中，第一子范围还可以基于第一搜索范围内各第一分割点分别与目标侧边线上的任一目标点的斜率的变化情况确定。目标点可以取目标侧边线上的任一点，例如可以取第一搜索范围的起始点横向坐标在目标侧边线上对应的点作为目标点。对于各第一分割点，越靠近车轮接地点，其斜率越接近目标侧边线的斜率，按照目标搜索方向，搜索到的第一分割点会不断靠近第一个接地点，则斜率会先靠近目标侧边线的斜率，之后会远离目标侧边线的斜率，当第一分割点再靠近第二个车轮接地点时，斜率又逐渐靠近目标侧边线的斜率。基于此，确定出第一子范围。

a7、基于各第一分割点分别对应的第一距离，确定第一接地点。

其中，可以基于预设确定规则确定第一接地点。预设确定规则可以根据实际需求设置。

在一些可选的实施例中，可以将第一距离最大的第一分割点作为第一接地点。

在一些可选的实施例中，还可以将第一距离最大的多个第一分割点的均值作为第一接地点。例如，将第一距离从大到小排序，将第一距离排序靠前的3个点的均值作为第一接地点。

a8、基于第一接地点和目标侧边线的第三斜率，确定第三截距。

其中，目标侧边线的第三斜率是指目标侧边线的斜率。在确定第一接地点后，可以将第一接地点作为目标侧边线上的一个点，进而结合目标侧边线的斜率，可以求解目标侧边线的截距，作为第三截距。

a9、基于目标侧边线的第三斜率和第三截距，确定第三侧边线。

其中，在斜率和截距已知的情况下，即可确定一条直线，该直线作为第三侧边线。该第三侧边线是将第一接地点作为目标侧边线上的点的情况下的侧边线。

a10、基于第三侧边线，按照目标搜索方向，从第一搜索范围内第一接地点的下一第一分割点开始搜索，确定第二接地点。

在一些可选的实施例中，可以确定第二子范围，在第二子范围内的各第一分割点中进行搜索。基于搜索到的第一分割点与第三侧边线的距离，确定第二接地点。例如将第二子范围内与第三侧边线的距离最大的点作为第二接地点。第二子范围例如可以为从第一接地点的后一个第一分割点至第一搜索范围的结束点。

在一些可选的实施例中，还可以基于搜索到的点与第一接地点拟合直线，基于拟合的直线的斜率与第三侧边线的斜率的关系，确定第二接地点。

在一些可选的实施例中，还可以根据检测框信息包括的车轮框数量，确定目标车轮接地点的数量，若车轮框数量大于2，还可以在找到第二接地点后，继续从第二接地点的后一个接地点进行搜索，以确定剩余的车轮的目标车轮接地点。

a11、将第一接地点和第二接地点作为各目标车轮接地点。

在一些可选的实施例中，若观测到的目标车辆的车轮数量大于2，除了第一接地点和第二接地点外，还可以得到其他车轮的接地点，从而将第一接地点、第二接地点集其他车轮的接地点作为各目标车轮接地点。

本实施例通过对侧边线进行修正，可以提高侧边线的准确性，进而基于修正后的目标侧边线与第一子范围内的各第一分割点的距离找到第一接地点，进而从第一接地点的后一个第一分割点开始搜索确定第二接地点，从而实现了目标车辆的目标车轮接地点的准确有效的确定。

在一些可选的实施例中，本公开实施例的方法还包括：

b1、响应于基于各第一距离无法确定出第一接地点，将第一子范围的第一个第一分割点作为第一接地点。

其中，对于第一距离，可以设置误差允许度为er，第一距离d需要满足d>-er，若最大的第一距离不满足该条件，确定无法得到第一接地点。则可以将第一子范围的第一个第一分割点作为第一接地点。

在a10的基于第三侧边线，按照目标搜索方向，从第一搜索范围内第一接地点的下一第一分割点开始搜索，确定第二接地点之后，还包括：

b2、基于第二接地点和目标侧边线的第三斜率，确定第四截距。

其中，将第二接地点作为目标侧边线上的点，确定目标侧边线对应的第四截距。

b3、基于第三斜率和第四截距，确定第四侧边线。

其中，第四侧边线与前述的第三侧边线类似，在此不作赘述。

b4、基于第四侧边线和全车框的底边框的纵向坐标，确定第三接地点。

其中，在第四侧边线已知的情况下，将全车框的底边框的纵向坐标代入第四侧边线的直线方程，即可得到横向坐标，基于全车框的底边框的纵向坐标和得到的横向坐标，即可得到第三接地点。

b5、将第三接地点作为第一接地点。

本实施例在搜索不到第一接地点的情况下，先将第一子范围的第一个第一分割点作为第一接地点，该第一接地点准确性不太高，而找到的第二接地点准确性较高，因此再基于第二接地点重新更新目标侧边线的截距，用于更新第一接地点，有助于提高第一接地点的准确性。

在一些可选的实施例中，对于大车观测截断的情况，还可以将截断侧的边界点(距截断侧最近的第一分割点)作为第一接地点，目标搜索方向与上述的目标搜索方向相反，例如若为右截断，目标搜索方向为从右向左搜索，若为左截断，则搜索方向为从左向右搜索。进而可以按照上述步骤a8至a10的方式确定第二接地点。或者，基于第一接地点与未修正的侧边线确定第二接地点。这种情况下，若大车贴近自车，侧边线不准确，可能会导致确定的第二接地点为车头或车尾的点，导致第二接地点找点异常。针对这种情况，可以在获得第二接地点之后，对第二接地点进行修正，具体可以通过以下方式进行修正：

c1、基于第二接地点，从各第一分割点中确定与第二接地点纵向距离满足预设距离条件的第一目标点。

其中，预设距离条件可以为纵向距离最大。具体来说，可以从已确定的第一接地点之后的第一个第一分割点开始，计算第一接地点与第二接地点之间的各第一分割点分别与第二接地点的纵向距离，比如可以通过各第一分割点的纵向坐标与第二接地点的纵向坐标，计算纵向距离。比如，对于任一第一分割点，将该第一分割点的纵向坐标与第二接地点的纵向坐标的差值绝对值作为该第一分割点与第二接地点的纵向距离。将纵向距离最大的第一分割点作为第一目标点。

c2、基于第一目标点、第一接地点和第二接地点，确定第一曲率半径。

示例性的，图9是本公开一示例性实施例提供的第二接地点找点异常情况的示意图。如图9所示，以大车右截断为例，第一接地点B为全车框的右边界对应的分割边界点(即与全车框的右边界最近的第一分割点)，由于侧边线不够准确，基于第一接地点和侧边线确定的第二接地点为图中的第二接地点A，第二接地点A为车头或车尾上的点，并不是实际的第二接地点。比如实际的第二接地点应该为点M。则基于第二接地点A从各第一分割点中确定与第二接地点纵向距离最大的点作为第一目标点，比如第一目标点为点M。基于第一目标点、第一接地点B和第二接地点A确定第一曲率半径。

示例性的，第二接地点A的坐标为(x

S＝‖x

若AM长度表示为α，BM长度表示为b，AB长度表示为c，则第一曲率半径R可以表示如下：

c3、响应于第一曲率半径在预设曲率半径范围内，将第一目标点作为第二接地点。

其中，预设曲率半径范围可以根据实际需求设置，比如可以设置为[R1,R2]，R1比如可以为195、200、205等，R2比如可以为450、455、460等，具体不作限定。若第一曲率半径在预设曲率半径范围内，可以将第一目标点作为第二接地点。进而基于该第二接地点反向预测第一接地点。比如按照上述步骤b2至b5的方式，确定第一接地点。至此，获得了准确的第一接地点和第二接地点。

本实施例可以针对第二接地点找点异常情况，对第二接地点进行修正，提高第二接地点的准确性，进而基于第二接地点反向预测第一接地点，进一步提高第一接地点的准确性。

在一些可选的实施例中，检测框信息还包括车轮框信息，车轮框信息包括至少一个车轮分别对应的第一框信息。步骤203的基于检测框信息和语义分割信息，采用与目标观测类型对应的确定方式，确定目标车辆的车轮接地位置，还包括：

步骤2034，响应于目标车辆不是观测截断，基于目标车辆的车轮框信息和语义分割信息，确定各车轮分别对应的第一车轮框分割点集。

其中，不是观测截断是指待处理图像观测到了目标车辆的完整部分，未在待处理图像中将目标车辆的一部分截断在待处理图像区域之外。基于目标车辆的车轮框信息可以确定语义分割信息中属于车轮的分割点集，作为车轮对应的第一车轮框分割点集。例如基于车轮框的左右边界的横向坐标及上下边界的纵向坐标，从语义分割信息中提取在车轮框范围内的语义分割边界点集作为第一车轮框分割点集。

步骤2035，针对任一车轮对应的第一车轮框分割点集，基于该第一车轮框分割点集，确定第一边界点、第二边界点和第一中间点。

其中，第一边界点为与车轮框的第一边界距离最近的语义分割边界点，例如车轮框内最左侧的语义分割边界点。同理，第二边界点为与车轮框的第二边界距离最近的语义分割边界点，例如车轮框内最右侧的语义分割边界点。第一中间点是指第一车轮框分割点集中位于第一边界点和第二边界点之间的中间点。

步骤2036，基于第一边界点、第二边界点和第一中间点，确定该车轮的目标接地点。

其中，对于任一车轮，可以从第一边界点开始，基于第一车轮框分割点集中相邻两分割点之间的距离变化情况，确定该车轮的目标接地点。

步骤2037，基于各车轮分别对应的目标接地点，确定目标车辆的车轮接地点位置。

其中，由于不同类型的目标车辆，车轮的数量可能不同，比如对于小型汽车，每侧包括两个车轮，对于大型车辆，每侧可以包括两组或多组车轮，每组车轮可以包括一个或两个并排的车轮。因此，对于不同的目标车辆，可以基于相应的规则，确定目标车辆的车轮接地点位置。比如，对于小型汽车，可以将两个车轮分别对应的目标接地点作为目标车辆的图像像素坐标系下的各目标车轮接地点，进而将目标车轮接地点转换到自车的车辆坐标系，得到目标车辆的车轮接地点位置。对于大型车辆，若得到车轮的目标接地点包括多组车轮中每组车轮的多个车轮的目标接地点，可以针对每组车轮，将该组车轮中目标接地点与全车框底边最近的一个目标接地点(也即相对于自车最近的车轮接地点)作为该组车轮对应的目标接地点，用于确定该组车轮对应的车轮接地点位置。具体不作限定。

本实施例对于未观测截断的目标车辆，可以基于目标车辆的各车轮的车轮框信息从语义分割信息中提取各车轮的车轮框分割点集，进而基于车轮框分割点集确定车轮的目标接地点，实现未观测截断的目标车辆的车轮接地点的准确有效的确定。

在一些可选的实施例中，步骤2036的基于第一边界点、第二边界点和第一中间点，确定该车轮的目标接地点，包括：

d1、从第一边界点开始，确定第一车轮框分割点集中任意相邻的两个车轮框分割点之间的第二距离。

其中，第二距离是指纵向距离。比如，基于相邻的两个车轮框分割点的纵向坐标计算第二距离。

d2、基于各第二距离，确定满足第一条件的第一起始分割点和第一结束分割点。

其中，第一条件可以为第二距离连续小于第二距离阈值。也即第一起始分割点和第一结束分割点是指第二距离连续小于第二距离阈值的多个车轮框分割点中的起始点和结束点。

示例性的，图10是本公开一示例性实施例提供的四种第一车轮框分割点集的示意图。如图10所示，第一车轮框分割点集可以包括a、b、c、d四种情况，以从左向右搜索为例，各种情况中的左侧第一个点1为第一边界点，最右侧点2为第二边界点，中间的一个点3为第一中间点。以图10中的情况a为例，a中的后四个点满足第一条件，则stard表示第一起始分割点，end表示第一结束分割点。

d3、基于第一起始分割点和第一结束分割点，确定该车轮的目标接地点。

其中，可以根据第一起始分割点和第一结束分割点在第一车轮框分割点集中的位置，确定该车轮的目标接地点。

示例性的，对于图10中所示的情况a和情况b、情况d均为具有第一起始分割点和第一结束分割点的情况，不同的情况目标接地点不同。例如，对于情况a，该车轮的目标接地点为第一起始分割点start。对于情况b，该车轮的目标接地点为第一结束分割点end。对于情况d，目标接地点为第一中间点3。

d4、响应于没有满足第一条件的第一起始分割点和第一结束分割点，将第一车轮框分割点集中最靠近车轮框底边框的车轮框分割点作为该车轮的目标接地点。

其中，若各第二距离均大于第二距离阈值，表示两两相邻的车轮框分割点上下变化一直较大，如图10所示的情况c，则将最靠近车轮框底边框(即底边)的车轮框分割点(如c中的点3)作为该车轮的目标接地点。

本实施例通过基于相邻车轮框分割点的纵向距离情况，确定各种车轮框分割点集下的目标车轮点，有助于进一步提高目标车轮点的准确性。

在一些可选的实施例中，步骤2036的基于第一边界点、第二边界点和第一中间点，确定该车轮的目标接地点，还包括：

响应于未确定出该车轮的目标接地点或者确定出的目标接地点与车轮框底边框的第三距离与车轮框高度的比值大于第一阈值，将车轮框的底边框的中点作为该车轮的目标接地点。

其中，第一阈值可以根据实际需求设置，例如第一阈值可以为1/3、2/5等，具体不作限定。若按照上述方式无法确定出车轮的目标接地点，可以将车轮框的底边框的中点作为该车轮的目标接地点。或者在上述方式确定出目标接地点后，还可以对目标接地点进一步进行判断，确定目标接地点与车轮框底边框的第三距离，计算第三距离与车轮框高度的比值，若第三距离与车轮框高度的比值大于第一阈值，表示该目标接地点不够准确，也可以将车轮框的底边框的中点作为该车轮的目标接地点。

本实施例可以进一步确定目标接地点与车轮框底边的第三距离，基于第三距离与车轮框高度比值对目标接地点进行验证，以及时发现不准确的目标接地点，进而将相对较为准确的车轮框底边框的中点作为目标接地点，有助于避免找到错误的车轮接地点。

在一些可选的实施例中，步骤2037的基于各车轮分别对应的目标接地点，确定目标车辆的车轮接地点位置，包括：

响应于检测到车轮框信息包括多个前轮分别对应的第一框信息和多个后轮分别对应的第一框信息，基于侧边线信息对应的第二斜率，从多个前轮中确定目标前轮，从多个后轮中确定目标后轮；将目标前轮的目标接地点和目标后轮的目标接地点转换到车辆坐标系下，获得车轮接地点位置。

其中，对于多个前轮和多个后轮的情况(即多对多的情况)，可以侧边线为指导，确定出最合适的目标前轮和目标后轮，进而将目标前轮的目标接地点和目标后轮的目标接地点转换到车辆坐标系下，获得目标车辆的目标车轮接地点位置。

示例性的，图11是本公开一示例性实施例提供的多个前轮和多个后轮的示意图。如图11所示，包括两组车轮(一组前轮和一组后轮)，每组车轮对应两个车轮框。比如头尾框为头部检测框，则左侧的两个车轮框为前轮的车轮框，右侧的两个车轮框为后轮的车轮框。若头尾框为尾部检测框，则左侧为后轮，右侧为前轮。

在一些可选的实施例中，可以基于多个前轮分别对应的目标接地点和多个后轮分别对应的目标接地点，确定每个前轮目标接地点与每个后轮目标接地点所在直线的斜率，确定出与侧边线信息对应的第二斜率最接近的前轮和后轮分别作为目标前轮和目标后轮，将目标前轮的目标接地点和目标后轮的目标接地点转换到车辆坐标系下，获得车轮接地点位置。

在一些可选的实施例中，步骤2037的基于各车轮分别对应的目标接地点，确定目标车辆的车轮接地点位置，还包括：

响应于检测到车轮框信息包括多个前轮分别对应的第一框信息或多个后轮分别对应的第一框信息，基于二斜率，确定两个前轮或两个后轮；将两个前轮中靠近头尾框的第一前轮或两个后轮中靠近头尾框的第一后轮，作为目标车轮；将目标车轮的目标接地点作为第一接地点；基于第一接地点和第二斜率，确定经过两接地点的第一直线；基于头尾框信息和全车框信息确定第二搜索范围；基于第二搜索范围，确定语义分割信息中属于第二搜索范围的各第二分割点；基于目标搜索方向、第二搜索范围的各第二分割点及预设滑窗规则，确定当前窗口；基于当前窗口中的中间分割点与第二起始分割点，确定第一向量；基于当前窗口中的中间分割点与第二结束分割点，确定第二向量；响应于第一向量与第二向量的夹角在预设角度范围内，将中间分割点作为第二车轮分割点；基于第二车轮分割点、第一接地点和第一直线，确定第二接地点；基于第一接地点和第二接地点，确定车轮接地点位置。

其中，对于检测框信息包括多个前轮分别对应的第一框信息或多个后轮分别对应的第一框信息的情况(即零对多或多对零的情况)，可以基于侧边线信息对应的第二斜率，确定两个前轮或两个后轮。例如将多个前轮分别对应的第一框信息中最左侧的第一框信息和最右侧的第一框信息作为两个前轮分别对应的第一框信息，确定出两个前轮。或者可以基于多个前轮的目标接地点的两两连线的斜率与第二斜率的关系，确定出斜率与第二斜率最接近的两个前轮。两个后轮的确定原理与前轮类似。

在一些可选的实施例中，在头尾框为头部框的情况下，将两个前轮中靠近头尾框的前轮(第一前轮)作为目标车轮。在头尾框为尾部框的情况下，将两个后轮中靠近头尾框的后轮(第一后轮)作为目标车轮。将目标车轮的目标接地点作为第一接地点。进而基于第一接地点和侧边线信息对应的第二斜率，确定第一直线。比如，可以将第一接地点作为第一直线上的点，将第二斜率作为第一直线的斜率，求解第一直线的截距，从而基于第二斜率和截距可以得到第一直线。

在一些可选的实施例中，第二搜索范围可以为从靠近头尾框的一侧到另一侧的全车框的侧边界，例如对于头尾框一侧为左侧，则第二搜索范围可以为从头尾框的右边界到全车框的右边界，相应的目标搜索方向即为从左向右。第二搜索范围内的第二分割点的确定与前述实施例的第一分割点类似，在此不作赘述。

在一些可选的实施例中，预设滑窗规则可以根据实际需求设置。例如预设滑窗规则可以包括窗口大小、滑动步长等。滑动窗口沿目标搜索方向在第二搜索范围内滑动，将每次滑动到的窗口作为当前窗口，基于当前窗口中的中间分割点与第二起始分割点，确定第一向量。该第二起始分割点为当前窗口中的起始点。基于当前窗口中的中间分割点与第二结束分割点确定第二向量。该第二结束分割点为当前窗口中的结束点。预设角度范围[A1，A2]可以根据实际需求设置。比如预设角度范围可以设置为[135度，160度]的范围或其他可实施的范围，例如[140度，160度]，具体预设角度范围的边界值不作限定。若第一向量与第二向量的夹角在预设角度范围内，则可以将当前窗口的中间分割点作为第二车轮分割点。进而基于第二车轮分割点、第一接地点和第一直线，确定第二接地点。基于第一接地点和第二接地点，得到车轮接地点位置。

在一些可选的实施例中，可以将第二车轮分割点和第一接地点转换到自车的车辆坐标系下，获得第二车轮分割点对应的第一投影点及第一接地点对应的第二投影点。计算第一投影点与第二投影点之间的目标距离。若该目标距离小于目标车辆车身长度的预设倍数(可以根据目标车辆的类型，确定该类型对应的预设倍数，具体可以根据目标车辆前后车轮之间的距离与目标车辆车身长度的比例关系确定)，或者第二车轮分割点与第一接地点所拟合的第二直线的斜率与侧边线信息对应的第二斜率的差值绝对值大于预设阈值(比如可以为0.15、0.2、0.25等)，则继续滑动窗口，将滑动后的窗口作为当前窗口，按照上述方式继续搜索，直至第二车轮分割点对应的目标距离大于目标车辆车身长度的预设倍数，且第二车轮分割点对应的第二直线的斜率与第二斜率的差值绝对值小于预设阈值，将该第二车轮分割点作为第二接地点。

本实施例对于检测框信息的车轮框信息为多对零或零对多的情况，可以基于滑动窗口确定出准确有效的第二接地点，有助于提高目标车辆的车轮接地点位置的准确性。

在一些可选的实施例中，在确定第一接地点和第二接地点后，可以将第一接地点和第二接地点从待处理图像的畸变图像域转换到去畸变图像域，再从去畸变图像域转换到车辆坐标系，得到两个车轮在车辆坐标系下的车轮接地点位置。进而可以判断这两个车轮接地点位置是否为相同位置，若不是相同位置，则可以基于这两个车轮接地点位置计算目标车辆的航向角yaw，这里的航向角可以不区分前后方向，最终确定的目标车辆的航向角在[-90°,90°]范围内。目标车辆的前后方向可以根据头尾框的属性进行区分。例如在检测目标车辆的检测框信息时，可以直接预测头尾框的具体属性，比如1表示头部检测框，0表示尾部检测框，或者也可以采用其他表示方式，具体不作限定。还可以基于头尾框信息从待处理图像提取头尾框区域图像，基于预先训练获得的头尾框属性分类模型进行二次预测，获得头尾框的属性。具体获得头尾框属性的方式不作限定。基于第一接地点或第二接地点在车辆坐标系下的车轮接地点位置，可以确定目标车辆在车辆坐标系下的位置。

在一些可选的实施例中，步骤2037的基于各车轮分别对应的目标接地点，确定目标车辆的车轮接地点位置，还包括：

响应于未确定出第二接地点，将全车框信息投影到车辆坐标系，获得车辆坐标系下的第一前保险杠投影点和第一接地点投影点；基于第一前保险杠投影点、第一接地点投影点及预测获得的目标车辆的车身宽度，确定第一位置参考点，第一位置参考点与第一接地点投影点一起用于确定目标车辆的航向角和位置。

其中，若按照上述的滑窗方式未确定出第二接地点，可以将全车框信息投影到车辆坐标系，获得车辆坐标系下的第一前保险杠投影点和第一接地点投影点。进而基于第一前保险杠投影点和第一接地点投影点，结合目标车辆的车身宽度，确定第一位置参考点，基于第一位置参考点与第一接地点投影点，确定目标车辆的航向角和位置，以基于目标车辆的航向角和位置，进行后续的规划与控制，例如，可以确定目标车辆是否为潜在风险障碍物，即是否存在碰撞风险，以及是否需要启动相应的避撞功能，比如自动紧急制动功能，具体对目标车辆的航向角和位置的后续应用不作限定。

示例性的，图12是本公开一示例性实施例提供的第一位置参考点的确定原理示意图。如图12所示，在图像像素坐标系(uov坐标系)下，全车框信息中第一前保险杠点(即目标车辆的远离自车的隐藏侧的前保险杠点)为p1，第一接地点为p3，p2为待确定的第一位置参考点在图像像素坐标系下的像素坐标点。全车框信息投影到车辆坐标系(XOY坐标系)后，p1对应的第一前保险杠投影点为P1，第一接地点p3对应的第一接地点投影点为P3，p2对应的P2为第一位置参考点。L表示目标车辆的车身长度，W表示目标车辆的车身宽度。目标车辆的车身长度和车身宽度可以通过任意可实施的方式获得。例如可以基于检测确定目标车辆的车辆类型，基于车辆类型获取该车辆类型对应的车身长度和车身宽度。还可以基于其他可实施的方式获得车身长度和车身宽度。例如基于神经网络预测模型预测目标车辆的车身长度和车身宽度。具体不作限定。在已知P1和P3、车身宽度W的情况下，可以通过以下方式，确定P2：以P1P3为直径的圆上找点P2，这个点P2与P1的距离为W。具体来说，P1表示为(x

基于上述方程，可以确定求解问题为两个圆的交点求解问题，圆心距D表示为：

则交点的X坐标为：

交点Y坐标为：

若两个圆不是相切，则会有两个解，可以根据P2应该在P1P3连线的下方来确定两个解中P2对应的坐标，即可得到第一位置参考点。虽然该第一位置参考点不是车轮接地点，但可以辅助计算目标车辆的航向角和位置。

本实施例对于上述滑窗方式无法确定第二接地点的情况，可以基于车辆坐标系下的第一前保险杠投影点和第一接地点投影点，结合目标车辆的车身宽度，确定第一位置参考点，有助于辅助计算目标车辆的航向角和位置。

图13是本公开又一示例性实施例提供的车轮接地位置的确定方法的流程示意图。

在一些可选的实施例中，检测框信息包括车轮框信息和侧边线信息。如图13所示，步骤203的基于检测框信息和语义分割信息，采用与目标观测类型对应的确定方式，确定目标车辆的车轮接地点位置，包括：

步骤203a，响应于目标观测类型为第三类型，基于车轮框信息和语义分割信息，确定各车轮分别对应的第二车轮框分割点集。

其中，第二车轮框分割点集的确定原理与前述实施例的第一车轮框分割点集类似，在此不作赘述。

步骤203b，基于各车轮分别对应的第二车轮框分割点集和侧边线信息，确定目标车辆的车轮接地点位置。

其中，基于各车轮分别对应的第二车轮框分割点集和侧边线信息确定目标车辆的车轮接地点位置的具体操作，可以参见前述实施例步骤2035至步骤2037的基于第一车轮框分割点集确定目标车辆的车轮接地点位置的具体操作，在此不作赘述。

本实施例对于观测类型为第三类型的目标车辆，可以基于车轮框分割点集和侧边线信息确定目标车辆的车轮接地点位置，从而结合车轮的语义分割边界点集，提高目标车辆的车轮接地点位置的准确性。

本公开上述各实施例或可选示例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不做限定。

本公开实施例提供的任一种车轮接地位置的确定方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种车轮接地位置的确定方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种车轮接地位置的确定方法。下文不再赘述。

示例性装置

图14是本公开一示例性实施例提供的车轮接地位置的确定装置的结构示意图。该实施例的装置可用于实现本公开相应的车轮接地位置的确定方法实施例，如图14所示的装置包括：第一处理模块51、第二处理模块52和第三处理模块53。

第一处理模块51，用于基于待处理图像，确定目标车辆在图像像素坐标系下的检测框信息和语义分割信息。

第二处理模块52，用于基于检测框信息，确定目标车辆的目标观测类型。

第三处理模块53，用于基于检测框信息和语义分割信息，采用与目标观测类型对应的确定方式，确定目标车辆的车轮接地点位置，车轮接地点位置为车辆坐标系下的位置。

图15是本公开另一示例性实施例提供的车轮接地位置的确定装置的结构示意图。

在一些可选的实施例中，第二处理模块52包括：

第一确定单元521，用于响应于检测框信息包括全车框信息、头尾框信息和侧边线信息，且头尾框信息位于全车框信息的第一侧，确定目标观测类型为第一类型。

第二确定单元522，用于响应于检测框信息包括全车框信息、头尾框信息和侧边线信息，且头尾框信息位于全车框信息的第二侧，确定目标观测类型为第二类型。

第三确定单元523，用于响应于检测框信息包括全车框信息、车轮框信息和侧边线信息，且不包括头尾框信息，基于侧边线信息确定目标观测类型。

在一些可选的实施例中，检测框信息包括全车框信息、头尾框信息和侧边线信息。第三处理模块53包括：

第一处理单元531，用于响应于目标观测类型为第一类型或第二类型，基于侧边线信息和全车框信息，确定目标车辆是否观测截断。

第二处理单元532，用于响应于目标车辆观测截断，基于全车框信息与待处理图像的位置关系，确定目标车辆的目标截断方向。

第三处理单元533，用于基于全车框信息和语义分割信息，采用与目标截断方向对应的目标搜索方向进行接地点搜索，确定目标车辆的车轮接地点位置。

在一些可选的实施例中，第三处理单元533具体用于：

基于全车框信息和目标搜索方向，确定第一搜索范围。基于第一搜索范围，确定语义分割信息中属于第一搜索范围的各第一分割点。按照目标搜索方向，对第一搜索范围内的各第一分割点进行搜索，确定目标车辆的图像像素坐标系下的各目标车轮接地点。将各目标车轮接地点转换到车辆坐标系下，获得车轮接地点位置。

在一些可选的实施例中，第三处理单元533具体用于：

响应于目标车辆为大车，基于目标搜索方向及全车框信息，确定第一搜索边界；基于头尾框信息、全车框信息及第一边界映射规则，确定第二搜索边界；或者，响应于头尾框信息为未检测到头尾框，基于侧边线信息、全车框信息及第二边界映射规则，确定第二搜索边界；基于第一搜索边界和第二搜索边界，确定第一搜索范围。

在一些可选的实施例中，第三处理单元533具体用于：基于预先获得的相机参数和侧边线信息，确定侧边线消失点坐标。基于侧边线消失点坐标和各第一分割点，确定各第一分割点分别对应的第一斜率。基于各第一分割点分别对应的第一斜率与侧边线信息对应的第二斜率的大小关系，确定第一数量的目标分割点。基于第一数量的目标分割点，确定修正后的目标侧边线。基于目标侧边线和目标搜索方向，从各第一分割点中确定各目标车轮接地点。

在一些可选的实施例中，第三处理单元533具体用于：

基于预先获得的相机参数和侧边线信息，确定侧边线消失点坐标。基于侧边线消失点坐标和第一搜索范围内的各第一分割点，确定各第一分割点分别对应的第一斜率。基于各第一分割点分别对应的第一斜率和侧边线信息对应的第二斜率，确定各第一斜率分别与第二斜率的差值的第一绝对值。基于各第一绝对值，从各第一分割点中确定第一绝对值最小的第一数量的目标分割点。基于第一数量的目标分割点，确定修正后的目标侧边线。基于目标侧边线，按照目标搜索方向，确定第一搜索范围内的第一子范围内各第一分割点分别与目标侧边线的第一距离。基于各第一分割点分别对应的第一距离，确定第一接地点。基于第一接地点和目标侧边线的第三斜率，确定第三截距。基于目标侧边线的第三斜率和第三截距，确定第三侧边线。基于第三侧边线，按照目标搜索方向，从第一搜索范围内第一接地点的下一第一分割点开始搜索，确定第二接地点。将第一接地点和第二接地点作为各目标车轮接地点。

在一些可选的实施例中，第三处理单元533还用于：

响应于基于各第一距离无法确定出第一接地点，将第一子范围的第一个第一分割点作为第一接地点。在基于第三侧边线，按照目标搜索方向，从第一搜索范围内第一接地点的下一第一分割点开始搜索，确定第二接地点之后，基于第二接地点和目标侧边线的第三斜率，确定第四截距。基于第三斜率和第四截距，确定第四侧边线。基于第四侧边线和全车框的底边框的纵向坐标，确定第三接地点。将第三接地点作为第一接地点。

在一些可选的实施例中，第三处理单元533还用于：

基于第二接地点，从各第一分割点中确定与第二接地点纵向距离满足预设距离条件的第一目标点。基于第一目标点、第一接地点和第二接地点，确定第一曲率半径。响应于第一曲率半径在预设曲率半径范围内，将第一目标点作为第二接地点。

在一些可选的实施例中，检测框信息还包括车轮框信息，车轮框信息包括至少一个车轮分别对应的第一框信息。第三处理模块53还包括：第四处理单元534、第五处理单元535、第六处理单元536和第七处理单元537。

第四处理单元534，用于响应于目标车辆不是观测截断，基于目标车辆的车轮框信息和语义分割信息，确定各车轮分别对应的第一车轮框分割点集。

第五处理单元535，用于针对任一车轮对应的第一车轮框分割点集，基于该第一车轮框分割点集，确定第一边界点、第二边界点和第一中间点。

第六处理单元536，用于基于第一边界点、第二边界点和第一中间点，确定该车轮的目标接地点。

第七处理单元537，用于基于各车轮分别对应的目标接地点，确定目标车辆的车轮接地点位置。

在一些可选的实施例中，第六处理单元536具体用于：

从第一边界点开始，确定第一车轮框分割点集中任意相邻的两个车轮框分割点之间的第二距离。基于各第二距离，确定满足第一条件的第一起始分割点和第一结束分割点。基于第一起始分割点和第一结束分割点，确定该车轮的目标接地点。响应于没有满足第一条件的第一起始分割点和第一结束分割点，将第一车轮框分割点集中最靠近车轮框底边框的车轮框分割点作为该车轮的目标接地点。

在一些可选的实施例中，第六处理单元536还用于：

响应于未确定出该车轮的目标接地点或者确定出的目标接地点与车轮框底边框的第三距离与车轮框高度的比值大于第一阈值，将车轮框的底边框的中点作为该车轮的目标接地点。

在一些可选的实施例中，第七处理单元537具体用于：

响应于检测到车轮框信息包括多个前轮分别对应的第一框信息和多个后轮分别对应的第一框信息，基于侧边线信息对应的第二斜率，从多个前轮中确定目标前轮，从多个后轮中确定目标后轮；将目标前轮的目标接地点和目标后轮的目标接地点转换到车辆坐标系下，获得车轮接地点位置。

在一些可选的实施例中，第七处理单元537还用于：

响应于检测到车轮框信息包括多个前轮分别对应的第一框信息或多个后轮分别对应的第一框信息，基于二斜率，确定两个前轮或两个后轮；将两个前轮中靠近头尾框的第一前轮或两个后轮中靠近头尾框的第一后轮，作为目标车轮；将目标车轮的目标接地点作为第一接地点；基于第一接地点和第二斜率，确定经过两接地点的第一直线；基于头尾框信息和全车框信息确定第二搜索范围；基于第二搜索范围，确定语义分割信息中属于第二搜索范围的各第二分割点；基于目标搜索方向、第二搜索范围的各第二分割点及预设滑窗规则，确定当前窗口；基于当前窗口中的中间分割点与第二起始分割点，确定第一向量；基于当前窗口中的中间分割点与第二结束分割点，确定第二向量；响应于第一向量与第二向量的夹角在预设角度范围内，将中间分割点作为第二车轮分割点；基于第二车轮分割点、第一接地点和第一直线，确定第二接地点；基于第一接地点和第二接地点，确定车轮接地点位置。

在一些可选的实施例中，第七处理单元537还用于：

响应于未确定出第二接地点，将全车框信息投影到车辆坐标系，获得车辆坐标系下的第一前保险杠投影点和第一接地点投影点；基于第一前保险杠投影点、第一接地点投影点及预测获得的目标车辆的车身宽度，确定第一位置参考点，第一位置参考点与第一接地点投影点一起用于确定目标车辆的航向角和位置。

在一些可选的实施例中，检测框信息包括车轮框信息和侧边线信息。第三处理模块53包括：

第八处理单元53a，用于响应于目标观测类型为第三类型，基于车轮框信息和语义分割信息，确定各车轮分别对应的第二车轮框分割点集。

第九处理单元53b，用于基于各车轮分别对应的第二车轮框分割点集和侧边线信息，确定目标车辆的车轮接地点位置。

本装置示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，在此不再赘述。

示例性电子设备

图16是本公开实施例提供的一种电子设备的结构图，包括至少一个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行一个或多个计算机程序指令，以实现上文中本公开的各个实施例的方法和/或其他期望的功能。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图16中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以提供一种计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如但不限于包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为其是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本领域的技术人员可以对本公开进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。