导航：首页> 计算；推算；计数>一种基于二次校验提高雷达视觉融合推理结果可靠性的实现方法

一种基于二次校验提高雷达视觉融合推理结果可靠性的实现方法

文献发布时间：2024-04-18 20:01:23

技术领域

本发明涉及机器人、智能驾驶和人工智能领域，具体是一种基于二次校验提高雷达视觉融合推理结果可靠性的实现方法。

背景技术

在机器人、智能驾驶和人工智能领域，对场景的识别和理解占据着重要的核心地位，但因为场景本身的复杂多样性，使用单一的传感器获取的场景数据往往具有片面性，并且容易受到环境的干扰，导致无法有效、充分的获取到环境的数字化信息，从而导致分析、推理结果不准确，无法满足实际的应用需求。

因此，在实际应用部署时，通常采用多传感器融合的方法，提高分析、推理结果的全面性、准确性，其中雷达和视觉融合推理就是比较常见的一种方式，但因为雷达和视觉的物理特性决定了很多场景下雷达和视觉不能同时有效的对同一个目标识别到，以及限制于当前的技术发展水平，无法充分的保证雷达和视觉识别到的目标都是有效的，因此就会存在漏识别、误识别的问题，从而导致实际应用部署时，存在较大的风险。

提高对场景中目标的识别能力，确保识别到的目标都是有效的，以及确保场景中需要识别到的目标都能被有效识别到，在场景识别和理解中至关重要，但当前的雷达视觉融合实现方式在这方面的表现并不理想。

发明内容

针对现有技术中对雷达视觉融合推理结果的全面性、准确性缺陷，本发明提供一种基于二次校验提高雷达视觉融合推理结果可靠性的实现方法，它基于雷达数据和视觉数据的人工智能推理结果在雷达数据中映射的区域选择种子点，然后在雷达数据中根据种子点进行聚类，再根据聚类结果对人工智能推理结果进行二次校验和修正，从而提高推理结果的可靠性和全面性，并降低误识别、漏识别的可能性。

为实现上述目的，本发明提供如下技术方案：

一种基于二次校验提高雷达视觉融合推理结果可靠性的实现方法，所述方法包括以下步骤：

S1、接收进行融合推理的雷达帧数据、视觉帧数据；

接收的数据至少是雷达帧数据和视觉帧数据彼此独立的融合帧数据、所述雷达帧数据和视觉帧数据融合后的数据中的一种；

所述雷达帧数据至少是只有一帧数据、包含大于一帧的雷达数据中的一种；

所述雷达帧数据可以是单线束雷达数据、毫米波雷达数据、激光雷达数据以及它们的组合；

所述雷达帧数据可以是单帧雷达数据、多帧雷达数据或多帧数据融合后的单帧雷达数据；

所述视觉帧数据至少是只有一帧数据、包含大于一帧的视觉数据中的一种；

所述视觉帧数据可以是灰度图数据、彩色图数据、深度图数据以及它们的组合；

所述视觉帧数据可以是单帧视觉数据、多帧视觉数据或多帧数据融合后的单帧视觉数据；

S2、使用人工智能算法对雷达帧数据、视觉帧数据进行推理，所述人工智能算法包括人工智能算法PointPillars和人工智能算法YOLO-SEG；

S201、当S1接收的是雷达帧数据和视觉帧数据彼此独立的融合帧数据时，分别对雷达帧数据和视觉帧数据进行推理；

S202、当S1接收的是雷达帧数据和视觉帧数据彼此独立的融合帧数据时，对雷达帧数据和视觉帧数据处理后，再分别进行推理；

S203、当S1接收的是雷达帧数据和视觉帧数据彼此独立的融合帧数据时，先将雷达帧数据和视觉帧数据融合后，再对融合后的数据进行推理；

S204、当S1接收的是雷达帧数据和视觉帧数据彼此独立的融合帧数据时，先对雷达帧数据和视觉帧数据进行处理后，再进行融合，然后再对融合后的数据进行推理；

S205、当S1接收的是所述雷达帧数据和视觉帧数据融合后的数据时，对融合后的数据进行推理；

S206、当S1接收的是所述雷达帧数据和视觉帧数据融合后的数据时，先对融合后的数据进行处理后，再进行推理。

所述S2至少是所述S201、所述S202、所述S203、所述S204、所述S205、所述S206中的一种。

S3、根据所述S2的推理结果在雷达数据中映射的区域选取种子点；

S301、所述S2的推理结果在任意情况下只包含在雷达数据中的推理结果时，在推理完成后，根据推理结果在雷达数据中的映射区域，选择在雷达数据中聚类的种子点；

S302、所述S2的推理结果存在视觉数据的推理结果时，先将雷达数据映射到视觉数据坐标系中，再在推理完成后，根据推理结果在雷达数据中的映射区域，选择在雷达数据中聚类的种子点；

S303、所述S2的推理结果存在视觉数据的推理结果时，先进行推理，在推理完成后，再将雷达数据映射到视觉数据坐标系中，根据推理结果在雷达数据中的映射区域，选择在雷达数据中聚类的种子点；

S304、所述S2的的推理结果存在视觉数据的推理结果时，在进行推理的同时，将雷达数据映射到视觉数据坐标系中，再在推理完成后，根据推理结果在雷达数据中的映射区域，选择在雷达数据中聚类的种子点；

S305、所述根据推理结果在雷达数据中选取种子点的方式至少是所述S301、S302、S303、所述S304中的一种；

S306、所述雷达数据映射到视觉数据坐标系中是指将雷达数据变换到视觉数据坐标系中进行表示；

S307、所述S306中将雷达数据变换到视觉数据坐标系中进行表示时，对映射后的数据密度进行调节，所述调节方式包括放大和缩小，所述调节的操作在映射的同时进行或映射后进行；

S308、所述种子点选择一个雷达点、多个雷达点、一个雷达数据坐标系中的点、一条雷达数据坐标系中的线、雷达数据坐标系中的一块区域；

S309、所述推理结果在雷达数据中映射的区域是指雷达数据经过所述S306的操作后，推理结果在雷达数据和映射到视觉数据坐标系中的雷达数据有重合的区域，然后根据所述S305和所述S308选取种子点。

S4、将雷达数据组织成便于聚类的存储形式，然后在组织后的雷达数据中，根据所述S3的种子点进行聚类；

S401、所述将雷达数据组织成便于聚类的存储形式，根据实际雷达数据的类型和组织形式以及操作需要，获取重新组织后的雷达数据，所述重新组织后的雷达数据包括将雷达数据直接当作经过重新组织后的雷达数据、按照组织方式对雷达数据进行组织操作获取的雷达数据中的一种；

S402、任意情况下，所述S2的推理结果只在视觉数据中存在时，则对视觉数据中出现的所有推理结果对应的种子点进行聚类；

S403、任意情况下，所述S2的推理结果只在视觉数据中存在时，则对视觉数据中小于可靠性阈值的推理结果对应的种子点进行聚类；

S404、任意情况下，所述S2的推理结果只在雷达数据中存在时，则对雷达数据中出现的所有推理结果对应的种子点进行聚类；

S405、任意情况下，所述S2的推理结果只在雷达数据中存在时，则对雷达数据中小于可靠性阈值的推理结果对应的种子点进行聚类；

S406、存在所述S2的推理结果同时在雷达数据和视觉数据中存在的情况时，对在雷达数据和视觉数据中出现的所有推理结果对应的种子点进行聚类；

S407、存在所述S2的推理结果同时在雷达数据和视觉数据中存在的情况时，只对仅在雷达数据或视觉数据中出现的目标对应的推理结果对应的种子点进行聚类；

S408、存在所述S2的推理结果同时在雷达数据和视觉数据中存在的情况时，对在雷达数据和视觉数据中同时出现的目标对应的推理结果对应的种子点只聚类一次，同时对只在雷达数据或视觉数据中出现的目标对应的推理结果对应的种子点进行聚类；

S409、所述S4中根据所述S3的种子点进行聚类的方式至少是所述S402、所述S403、所述S404、所述S405、所述S406、所述S407、所述S408中的一种。

S5、根据所述S4的聚类结果对所述S2的推理结果进行二次校验，分析推理结果的可靠性以及是否存在误识别、漏识别，所述可靠性是该推理结果对应的目标是否真实存在以及存在的概率，所述误识别是指推理结果对应的目标不是真实存在的，所述漏识别是指雷达数据推理结果或视觉数据推理结果中需要有对应的推理结果，但实际上不存在对应的推理结果或者对应的推理结果比实际所占的区域大或小；

S501、当所述种子点对应的推理结果仅在视觉数据中存在，则结合视觉数据推理结果，分析所述种子点对应的推理结果的可靠性以及是否存在误识别、漏识别；

S502、当所述种子点对应的推理结果仅在雷达数据中存在，则结合雷达数据推理结果，分析所述种子点对应的推理结果的可靠性以及是否存在误识别、漏识别；

S503、当所述种子点对应的推理结果同时在视觉数据和雷达数据中存在，则结合雷达数据推理结果和视觉数据推理结果，分析所述种子点对应的推理结果的可靠性以及是否存在误识别、漏识别；

S504、步骤S5至少是S501、S502和S503中的一种。

S6、根据所述S5的分析结果，将误识别的推理结果丢弃掉，并对漏识别的推理结果进行修正后，当作真实的推理结果。所述修正是指需要输出的雷达或视觉推理结果中需要存在对应目标的推理结果，但实际上没有识别到，或者对应目标的推理结果比实例的偏大或偏小，则使用聚类结果映射的结果代替实际的推理结果。具体的，所述修正方式是指根据聚类结果映射出对应的需要输出的雷达数据推理结果和视觉数据推理结果中的一种代替实际的推理结果。

S7、根据预设的可靠性阈值，筛选S6中修正后的推理结果，加入到最终输出的推理结果中，所述可靠性阈值是判断推理结果对应的目标真实存在概率的最小值。

可选的，根据预设的可靠性阈值，将经过所述S6处理后的推理结果中可靠性不小于可靠性阈值的推理结果，加入到最终输出的推理结果中；

可选的，根据预设的可靠性阈值，将经过所述S6处理后的推理结果中可靠性小于可靠性阈值的推理结果，加入到最终输出的推理结果中。

与现有技术相比，本发明的有益效果是：本发明基于雷达数据和视觉数据的人工智能推理结果在雷达数据中映射的区域选择种子点，然后在雷达数据中根据种子点进行聚类，再根据聚类结果对人工智能推理结果进行二次校验和修正，本发明通过二次校验降低了误识别和漏识别的概率，提高了雷达视觉融合推理结果的准确率和召回率，以及实际应用部署时推理结果的可靠性。

附图说明

图1是本发明实施例提供的基于二次校验提高雷达视觉融合推理结果可靠性的实现方法流程示意图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

请参与图1，作为本发明的一个实施例，一种基于二次校验提高雷达视觉融合推理结果可靠性的实现方法，所述方法包括以下步骤：

S01、接收进行雷达视觉融合推理的雷达帧数据；

S02、接收进行雷达视觉融合推理的视觉帧帧数据；

S03、将所述S01接收到的雷达帧数据映射到所述S02接收到的视觉数据坐标系中；

所述将雷达帧数据映射视觉数据坐标系中，在所述实施例中是指将雷达帧数据转换到长度和宽度都是160像素大小的表示视觉帧数据的像素坐标系中，转换时首先根据坐标系变换公式，将雷达帧数据转换到相机坐标系，再从相机坐标系转换到像素坐标系；

S04、同时，将所述S01接收到的雷达帧数据用KDTree进行重新组织、存储，以便于后续进行聚类；

S05、同时，将所述S01接收到的雷达帧数据送入人工智能算法PointPillars中进行推理；

所述PointPillars人工智能算法是指进行3维点云推理的人工智能算法，该算法输出的是对应目标所在点云区域的3维包围盒以及偏转角和类别；

S06、同时，将所述S02接收到的视觉帧数据送入人工智能算法YOLO-SEG中进行推理；

所述YOLO-SEG人工智能算法是指YOLO系列的实例分割算法，并且使用输入图像长度和宽度都是640像素大小的模式，此处用YOLO-SEG进行表示，该算法输出的有对应目标的实例分割像素区域和2维包围盒以及对应目标的类别；

S07、在所述S01接收到的雷达帧数据中获取所述S05的推理结果包围的雷达数据；

S08、在所述S03映射到视觉数据坐标系的雷达数据中获取与所述S06的实例分割推理结果重合的雷达数据，并且当同一个实例分割像素位置对应多个雷达点数据时，只取在相机坐标系中距离坐标原点最近的雷达数据；

S09、根据所述S07和所述S08获取的雷达数据为种子点，在所述S04经KDTree重新组织的雷达数据中进行聚类；

S10、根据所述S09的聚类结果判断所述S05和所述S06的推理结果的可靠性，以及是否是误识别、漏识别；

S11、对漏识别的目标进行修正；

S12、丢弃掉误识别的推理结果；

S13、将所述S10分析后确认原本正确的推理结果和所述S11对漏识别的目标修正后的推理结果进行合并后作为最终的推理结果。

为了便于本领域技术人员更好地理解本发明技术方案，给出本发明具体实施例如下，一种基于二次校验提高雷达视觉融合推理结果可靠性的实现方法，所述方法包括以下步骤：