一种视觉雷达感知融合方法及终端设备

技术领域

本发明属于自动驾驶技术领域，具体涉及一种视觉雷达感知融合方法及终端设备。

背景技术

目前，借助自动驾驶和辅助驾驶技术，提高车辆安全、预防碰撞危险、降低交通事故发生率，已经在交通领域达成广泛的共识。采用先进的感知技术，使得车辆具备主动安全功能，已成为相关交通法规的强制要求。

在智能驾驶中，对前方车辆运动状态的准确感知是关键。感知的传感器包括摄像头、毫米波雷达、激光雷达等。激光雷达价格昂贵，目前面向市场的主流感知配置是摄像头、毫米波雷达。摄像头能够准确探测车道线和目标的类型、大小、颜色，但是对目标位置、速度的感知精度不高。与此相反，毫米波雷达能够准确探测到目标的位置、速度信息，但不能确定目标的类型。因此，结合二者的优点，通过有效的感知融合，可以大大提高探测的准确度和精度。

摄像头、毫米波雷达的感知融合一方面要得到目标准确的位置、速度、类型、大小、颜色等信息，另一方面还需要解决以下几个问题：

1.视觉感知采用深度学习进行目标监测，对于未经过训练的障碍物目标，无法探测。

2.前视摄像头的盲区达到纵向距离2～3米，存在漏检。

3.毫米波雷达探测到的目标点多，容易将凸起的物体作为目标(例如井盖、栅栏)，存在误检。

由此可知，摄像头存在漏检的问题，而毫米波雷达存在误检的问题。为了降低漏检率，需要补充毫米波雷达点作为有效的目标，但雷达目标自身又存在误检的可能。因而误检率、漏检率在感知融合中是一对矛盾。同时达到极低误检率、漏检率的目标，是感知融合中的挑战，也是融合算法的关键。

目前针对视觉、毫米波雷达感知融合的方法分为两类。一类是从原始数据进行融合，即从图像像素和雷达点云的层面进行融合。这种方法复杂度、运算量巨大，难以运行于车载的嵌入式设备。另一类是目标级的融合，即摄像头通过深度学习算法、毫米波雷达通过聚类算法分别输出目标级别的数据，再采用聚类或匹配等方法进行融合。这种方法将感知问题的难度分解，降低了复杂度，应用最为广泛。然而受限于视觉、雷达自身在探测目标上的不足，仍然难以同时达到极低的误检率和漏检率。

发明内容

本发明提供了一种视觉雷达感知融合方法及终端设备，解决了现有智能驾驶中，感知前方车辆时存在误检率和漏检率较高的技术问题。

本发明内容的第一方面公开了一种视觉雷达感知融合方法，包括：

获取当前时刻车辆前方的视觉目标、雷达目标以及前一时刻的跟踪目标；

将所述视觉目标、雷达目标和跟踪目标进行匹配，确定每一个目标的匹配状态；

根据所述匹配状态确定每一个目标的类型，所述类型中包括融合目标和单雷达目标；

结合匹配状态和目标的类型确定每一个目标的分值，如分值大于或等于预设分值阈值，则所述分值对应的目标为融合目标。

优选地，将所述视觉目标、雷达目标和跟踪目标进行匹配，确定每一个目标的匹配状态，具体为：

将所述视觉目标、雷达目标和跟踪目标进行两两匹配，确定每一个目标的匹配状态，具体为：

将所述视觉目标分别与所述雷达目标和所述跟踪目标进行匹配；

所述视觉目标匹配完成后将剩余的跟踪目标与所述雷达目标进行匹配；

所述跟踪目标匹配完成后，从剩余的雷达目标中筛选出满足预设条件的单雷达目标；

确定每一个目标的匹配状态。

优选地，两两匹配的方法，具体为：

判断待匹配的两个目标之间的横向距离偏差、纵向距离偏差和速度偏差是否均小于对应的预设偏差阈值；

如是，则利用第一公式进行匹配，确定最匹配的两个目标，所述第一公式为：

R＝K

式中，K

优选地，结合匹配状态和目标的类型确定每一个目标的分值，具体为：

获取每一个目标的匹配状态，判断所述匹配状态是否为跟踪目标与雷达目标匹配时的匹配状态，如否，结合预设的匹配状态与分值之间的映射关系确定所述匹配状态对应的分值；如是，依次判断车辆是否静止以及目标的类型，根据判断结果确定目标的分值。

优选地，依次判断车辆是否静止以及目标的类型，根据判断结果确定目标的分值，具体为：

判断车辆是否静止，如静止，获取车辆前方的危险区域，判断所述雷达目标是否在所述危险区域内，根据判断结果确定所述雷达目标的分值；

如非静止，判断目标的类型是否为单雷达目标，如是，结合所述单雷达目标的速度信息和位置信息确定所述单雷达目标的分值，如否，进一步判断目标的类型是否为融合目标，如是融合目标，则判断所述雷达目标是否在所述危险区域内，根据判断结果确定所述雷达目标的分值，如不是融合目标，则结合预设的目标的类型与分值之间的映射关系确定融合目标的分值。

优选地，结合所述单雷达目标的速度信息和位置信息确定所述单雷达目标的分值，具体为：

判断与所述单雷达目标同时刻采集的跟踪目标是否为所述车辆相邻车道内的第一个目标，如是，判断所述单雷达目标的速度是否小于预设速度阈值，根据判断结果，确定所述单雷达目标的分值；

如否，判断与所述单雷达目标同时刻采集的跟踪目标是否为所述车辆所在车道的第一个目标，如是，判断单雷达目标的位置信息是否小于预设位置阈值，根据判断结果，确定所述单雷达目标的分值，如否，根据预设的目标的类型与分值之间的映射关系直接确定所述单雷达目标的分值。

优选地，判断单雷达目标的位置信息是否小于预设位置阈值，根据判断结果，确定所述单雷达目标的分值，具体为：

判断单雷达目标的纵向位置是否小于第一预设位置阈值，如是，进一步判断单雷达目标的横向位置是否小于第二预设位置阈值，根据判断结果，确定所述单雷达目标的分值。

优选地，获取车辆前方的危险区域，具体为：

根据车道线信息和车辆信息，确定车辆将来的运行路径，记为预估路径；

根据所述预估路径，确定所述车辆所处车道及其相邻车道；

根据所述车辆所处车道，确定车辆前方的危险区域。

优选地，根据车道线信息和车辆信息，确定车辆将来的运行路径，记为预估路径，具体为：

根据第二公式确定所述预估路径，所述第二公式为：

式中，x为车辆的纵向位置，y为车辆的横向位置；K

本发明内容的第二方面公开了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明相对于现有技术，具有如下有益效果：

在视觉与毫米波雷达融合中，根据车辆的运行状态、危险区域等信息，将稳定、可靠的单雷达目标输出为融合目标，解决了单雷达闪报、误报的问题，大大降低了融合目标的误检率和漏检率，提高了目标感知的精度和稳定性。

本发明的方法具有可扩展性，可扩展至多传感器的感知融合中。

附图说明

附图1为本发明的视觉雷达感知融合方法的流程图；

附图2为本发明实施例中，视觉雷达感知融合方法的结构示意图；

附图3为本发明实施例中，目标匹配的流程图；

附图4为本发明实施例中，目标匹配状态示意图；

附图5为本发明实施例中，行驶车道线示意图；

附图6为本发明实施例中，目标跟踪内容示意图；

附图7为本发明实施例中，融合目标打分流程图；

附图8为本发明实施例中，速度坐标系和位置坐标系的示意图。

具体实施方式

下文将结合附图以及具体实施案例对本发明的技术方案做更进一步的详细说明。应当了解，下列实施例仅为示例性地说明和解释本发明，而不应被解释为对本发明保护范围的限制。凡基于本发明上述内容所实现的技术均涵盖在本发明旨在保护的范围内。

本发明内容的第一方面公开了一种视觉雷达感知融合方法，如图1所示，包括：

步骤1、获取当前时刻车辆前方的视觉目标、雷达目标以及前一时刻的跟踪目标。

步骤2、将视觉目标、雷达目标和跟踪目标进行匹配，确定每一个目标的匹配状态，具体为：

将视觉目标、雷达目标和跟踪目标进行两两匹配，确定每一个目标的匹配状态，具体为：

步骤2.1、将视觉目标分别与雷达目标和跟踪目标进行匹配。

步骤2.2、视觉目标匹配完成后将剩余的跟踪目标与雷达目标进行匹配。

步骤2.3、跟踪目标匹配完成后，从剩余的雷达目标中筛选出满足预设条件的单雷达目标。

步骤2.4、确定每一个目标的匹配状态。

其中，上述两两匹配的方法，具体为：

判断待匹配的两个目标之间的横向距离偏差、纵向距离偏差和速度偏差是否均小于对应的预设偏差阈值；

如是，则利用第一公式进行匹配，确定最匹配的两个目标，第一公式为：

R＝K

式中，K

步骤3、根据匹配状态确定每一个目标的类型，类型中包括融合目标和单雷达目标。

步骤4、结合匹配状态和目标的类型确定每一个目标的分值，如分值大于或等于预设分值阈值，则分值对应的目标为融合目标，具体地：

步骤4.1、获取每一个目标的匹配状态，判断匹配状态是否为跟踪目标与雷达目标匹配时的匹配状态，如否，结合预设的匹配状态与分值之间的映射关系确定匹配状态对应的分值；如是，依次判断车辆是否静止以及目标的类型，根据判断结果确定目标的分值。

其中，依次判断车辆是否静止以及目标的类型，根据判断结果确定目标的分值，具体为：

判断车辆是否静止，如静止，获取车辆前方的危险区域，判断雷达目标是否在危险区域内，根据判断结果确定雷达目标的分值；

如非静止，判断目标的类型是否为单雷达目标，如是，结合单雷达目标的速度信息和位置信息确定单雷达目标的分值，如否，进一步判断目标的类型是否为融合目标，如是融合目标，则判断雷达目标是否在危险区域内，根据判断结果确定雷达目标的分值，如不是融合目标，则结合预设的目标的类型与分值之间的映射关系确定融合目标的分值。

优选地，结合单雷达目标的速度信息和位置信息确定单雷达目标的分值，具体为：

判断与单雷达目标同时刻采集的跟踪目标是否为车辆相邻车道内的第一个目标，如是，判断单雷达目标的速度是否小于预设速度阈值，根据判断结果，确定单雷达目标的分值；

如否，判断与单雷达目标同时刻采集的跟踪目标是否为车辆所在车道的第一个目标，如是第一个目标，判断单雷达目标的位置信息是否小于预设位置阈值，根据判断结果，确定单雷达目标的分值，如不是第一个目标，根据预设的目标的类型与分值之间的映射关系直接确定单雷达目标的分值。

其中判断单雷达目标的位置信息是否小于预设位置阈值，根据判断结果，确定单雷达目标的分值，具体为：

判断单雷达目标的纵向位置是否小于第一预设位置阈值，如是，进一步判断单雷达目标的横向位置是否小于第二预设位置阈值，根据判断结果，确定单雷达目标的分值。

步骤4.2、如分值大于或等于预设分值阈值，则分值对应的目标为融合目标。

上述步骤4中获取车辆前方的危险区域，具体为：

根据车道线信息和车辆信息，确定车辆将来的运行路径，记为预估路径，具体为：

根据第二公式确定预估路径，第二公式为：

式中，x为车辆的纵向位置，y为车辆的横向位置；K

根据预估路径，确定车辆所处车道及其相邻车道；

根据车辆所处车道，确定车辆前方的危险区域。

本发明在视觉与毫米波雷达融合中，根据车辆的运行状态、危险区域等信息，将稳定、可靠的单雷达目标输出为融合目标，解决了单雷达闪报、误报的问题，大大降低了融合目标的误检率和漏检率，提高了目标感知的精度和稳定性；同时本发明的方法具有可扩展性，可扩展至多传感器的感知融合中。

本发明内容的第二方面公开了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。

下面，将以更为具体的实施例详述本发明的方法。

本发明的目的是同时降低感知融合的误检率和漏检率。主要分为两部分。第一部分：通过目标匹配跟踪，解决目标精度和稳定性的问题；第二部分：根据自车的运行状态、运行区域、危险状态等信息，补充有效的单雷达目标作为融合目标，降低融合的误检率和漏检率。

首先，根据视觉和雷达输出的目标位置、速度等信息进行匹配，匹配的指标由三维匹配框决定，匹配框的大小根据不同传感器的特性确定。对匹配的目标进行跟踪、打分、加权输出。分数达到一定阈值的跟踪目标才会作为融合目标输出。这样就解决了目标精度、目标跳闪的问题。

然后，根据预估路径，细分运行区域的危险程度，从而划分目标的危险等级。确定单雷达目标的重要程度，实现对重要单雷达目标的跟踪。通过对单雷达目标的跟踪、打分、输出，提高感知的覆盖度。

本实施例中，视觉雷达感知融合方法的结构示意图见图2。其包括五个部分：预估路径计算、目标匹配、目标跟踪、目标过滤和目标预测。

预估路径计算：根据车道线信息和自车信息，计算出车辆将来运行的轨迹，用来确定目标过滤的边界。其中车道线信息为三次多项式系数；自车信息(车辆信息)包括车速和横摆角速度。

目标匹配：视觉目标、雷达目标、跟踪目标(历史目标)，三者之间进行匹配。匹配的参量为位置和速度。输出为匹配的ID。

目标跟踪：根据目标匹配的状态，对目标进行位置、速度加权，并打分，输出跟踪目标。

过滤与融合输出：根据跟踪目标的分数，和横向位置边界，对目标进行过滤。输出稳定的跟踪目标，即为融合目标。

目标预测：对跟踪目标，根据目标车速和当前位置，预测下一时刻的位置。

一、预估路径

其中预估路径的计算如公式(1)：

式中，x为车辆的纵向位置，y为车辆的横向位置；K

二、目标匹配

目标匹配时，视觉目标优先级高于雷达目标。匹配的流程如图3所示。

首先采用视觉目标(车辆、骑行者)匹配雷达目标和跟踪目标；

剩余的跟踪目标再和雷达目标匹配；

最后剩下的雷达目标中，筛选出特定的单雷达目标。

两个目标是否匹配，由匹配框决定。一个匹配框中，可能会有多个不同类别的目标相匹配，根据目标的加权距离，选出加权距离最小的目标，作为最匹配的目标，并输出ID。

(1)匹配框的设置

匹配框用来判断视觉、雷达、跟踪目标是否属于同一个实际的目标。根据纵向距离、横向距离、速度这三个参量设置匹配框(MatchBox)，用Mb表示。Mb的三个参数分量分别为Mx,My,Mv，分别根据具体的传感器的测量误差范围设定。其中纵向距离为沿车道方向延伸的距离，横向距离为垂直于车道延伸方向的距离。

两个目标之间的纵向距离偏差为ΔX，横向距离偏差为ΔY，速度偏差为ΔV，则满足公式(2)所述的匹配条件，表示两个目标相匹配。

(|ΔX|＜M

(2)目标加权距离

目标加权距离用来表示两个目标之间的差异，在匹配框内且目标加权距离最小的，即为最匹配的目标。目标加权距离，根据目标之间纵向距离差、横向距离差、速度差来计算。

令目标的纵向距离、横向距离、速度表示为(X,Y,V)，则两个目标的加权距离为

R＝K

式中，K

(3)目标匹配规则

匹配框内的目标，属于同一个物理目标；

匹配框内，且目标加权距离最小的目标，属于最匹配的目标；

每个视觉目标(车辆、骑行者)必须属于单独的物理目标。

每个视觉目标(车辆、骑行者)，可能会匹配到多个雷达目标，加权距离最小的为最匹配的目标；

每个视觉目标(车辆、骑行者)，可能会匹配到多个跟踪目标，加权距离最小的为最匹配的目标；

每个跟踪目标，可能会匹配到多个雷达目标，加权距离最小的为最匹配的目标；

单雷达目标，最多挑选3个，本车道和旁边车道分别一个。单雷达目标必须是该车道内的第一个目标。旁边车道内的单雷达目标必须是运动目标。

(4)匹配状态与置信度

按照上述规则，匹配状态有8种，其中有7种有效状态，示意图如图4所示。一个视觉目标，在匹配框中，可能匹配到一个或多个雷达目标和跟踪目标，选出距离最近的目标作为最匹配的目标。

根据匹配状态得出目标置信度的评价准则，如表1所示，其中符号√表示该匹配状态中，有此类目标。匹配状态0为无效状态。

表1匹配状态与置信度的关系

(5)行驶车道

匹配规则中，本车道和旁边车道，由预估路径区分，即预估路径分别偏移6m、2m、-2m、-6m。注意，行驶车道并非实际车道线确定的车道，而是车辆即将行驶的车道。

行驶车道线示意图如图5所示。其中，本车道在任何条件下，都必须包含危险区域，即图中的矩形区域，在一个具体的实施例中，矩形区域的纵向区域20m，横向区域2.5m。

三、目标跟踪

目标跟踪包括的内容为：位置加权、速度加权、对跟踪目标打分、确定融合状态。如图6所示。

(1)目标融合状态

根据匹配状态确定目标的融合状态，如表2所示。目标融合状态确定的规则如下：

目标融合状态的确定，视觉目标的优先级高于雷达目标。

视觉目标、单雷达目标、融合目标，融合状态分别为1、2、3。

匹配状态1、2、3的目标，是新目标。

匹配状态4、5的目标中，没有视觉目标，无法确定上一次是否包含视觉目标，因此沿用上一次的融合目标类型。

表2目标融合状态

(2)位置和速度加权

位置包含纵向位置和横向位置，加权因子的大小根据传感器具体测量得出的误差确定。例如，视觉和雷达相比，视觉感知的纵向距离误差较大、横向距离误差较小。则纵向距离加权，雷达的权重较大；横向距离加权，视觉的权重较大。

速度加权中，雷达的权重较大，视觉的权重较小。

(3)跟踪目标打分

对于持续探测到的跟踪目标，分数会不断增加，最高分数为200分。探测丢失的目标，分数减小，最小分数为0分。分数大于100分的目标为稳定目标，作为融合目标输出。

打分的流程如图7所示。其中匹配状态为5的流程最为关键，考虑自车的状态，通过打分解决了单雷达目标的误报、闪报的问题，从而输出稳定可靠的单雷达目标。

三、目标过滤和融合输出

(1)目标过滤

在跟踪目标中，分数为0的目标为无效目标，需过滤掉，即将所有的属性值置为0。

(2)融合输出

根据图5所示的行驶车道，确定目标过滤的横向边界。在边界以内，且分数大于100分的跟踪目标，输出为融合目标。

五、目标预测

对于速度大于3m/s(10.8Km/h)的目标，进行位置的预测，以便下一时刻能够准确的匹配。由图8所示的速度坐标系与位置坐标系，经过时间周期T

本发明的方法在视觉与毫米波雷达融合中，根据车辆的运行状态、危险区域等信息，将稳定、可靠的单雷达目标输出为融合目标，解决了单雷达闪报、误报的问题，大大降低了融合目标的误检率和漏检率，提高了目标感知的精度和稳定性，且具有可扩展性，可扩展至多传感器的感知融合中。