一种基于雷视融合的登机桥地面环境感知方法及系统

技术领域

本发明属于智能监测装置技术领域，尤其涉及一种基于雷视融合的登机桥地面环境感知方法及系统。

背景技术

目前，环境感知是指计算机系统通过传感器(如摄像头、雷达、激光雷达等)获取外部环境信息，并利用目标识别技术来理解和感知周围环境中的物体和目标。这是计算机视觉领域中的一个重要任务，尤其在自动驾驶、智能交通、机器人导航、安防监控等应用中至关重要。在目前的环境感知任务中常用的传感器有摄像头、激光雷达、毫米波雷达和超声波而雷达等。其中视觉传感器是目前环境感知领域中应用最广泛的传感器，但是在暴雨雪天气以及其他恶劣条件下，受能见度的影响，感知精度会大幅降低，甚至会被雨雪遮挡导致无法使用，所以仅仅依靠视觉感知难以实现全天候的精确环境感知。机场作为一个繁忙且复杂的环境，自动驾驶登机桥在停机坪上移动时，为了保障设备和人员的安全，需要实现对登机桥地面环境的精确感知。

目前常用的目标识别算法分为传统方法和基于深度学习的方法两种，传统方法包括Haar级联分类器、SIFT算法等，这些传统的目标识别方法一般来说具有训练速度快、数据量需求少的优点，但是同时特征表达能力有限，针对复杂背景的适应能力较差。随着深度学习技术的发展，深度学习方法在目标识别任务中已经取得了显著的优势，并成为目标识别领域的主流方法。深度学习方法利用卷积神经网络等技术，可以自动学习特征表示，具有更强大的表示能力和更好的适应性，因此在大多数场景下表现更优越。

现有的环境感知方法多基于雷达或视觉。基于视觉的目标识别是利用视觉传感器(如摄像头)获取的图像或视频数据来识别和定位周围环境中的目标和物体。视觉目标识别是计算机视觉领域中的一个重要任务，它是通过图像处理和模式识别技术来实现的。视觉传感器可以提供高分辨率的图像，使得目标的细节更加清晰，并且包含了提供了颜色、纹理、形状等多样化的特征信息，有利于目标识别和分类。

现有的基于图像的目标识别方法在计算机视觉领域取得了巨大的进步，但它们仍然存在一些缺陷和局限性，图像中包含复杂的背景和干扰物体，这些背景信息干扰目标的识别，导致误检测或漏检。图像中的目标存在不同的姿态、形变或部分遮挡，这些因素影响目标的准确识别。

雷达目标识别在许多应用中都有重要的作用，特别是在自动驾驶、智能交通、航空航天、军事防御等领域。相对于视觉传感器，雷达在恶劣天气条件下的工作效果更好，且对光照和遮挡不敏感，因此在一些复杂环境和特殊场景下具有优势。然而，雷达也有一些局限性，例如分辨率相对较低，难以提供目标的细节信息。

雷达与视觉融合是指将雷达(Radar)和视觉(Vision)两种传感器的数据融合在一起，以提高目标检测、跟踪和识别等任务的性能和准确性。雷达和视觉传感器在感知环境中的物体和目标方面具有各自的优势和不足，因此将它们的数据融合可以增强感知能力并解决各自单独使用时的局限性。

通过上述分析，现有技术存在的问题及缺陷为：

现有技术中自动驾驶登机桥仅凭单一的雷达或视觉感知难以实现全天候的精确环境感知。机场作为一个繁忙且复杂的环境，在暴雨雪天气以及其他恶劣条件下，自动驾驶登机桥在停机坪上移动时，设备和人员的安全难以得到保障。

发明内容

针对现有技术存在的问题，本发明提供了一种基于雷视融合的登机桥地面环境感知方法及系统。

本发明是这样实现的，一种基于雷视融合的登机桥地面环境感知方法，包括以下步骤：

S1，安装并标定传感器，包括摄像头和毫米波雷达，在安装时要注意二者的相对位置，便于后续通过空间坐标变换实现二者数据的关联；

S2，采集数据并保持时间同步，在记录摄像头和毫米波雷达数据时同步保存时间戳，对比时间戳获取同一时刻的两种传感器数据；

S3，数据对齐之后对毫米波雷达数据进行空间坐标变换，将雷达点投影到图像坐标系中，转换到像素坐标系并将投影结果作为生成ROI的中心点，ROI的尺寸与雷达点深度呈负相关，雷达点深度越大，其在像平面生成的ROI越小；

S4，将生成的ROI作为R-CNN的算法的特征提取阶段的输入，进行目标识别；

S5，将识别结果与对应的雷达点信息包括位置和运动情况合并，得到目标的多维度信息。

进一步，在S1中，摄像头和毫米波雷达在同一竖直平面上安装，确保摄像头的光心与毫米波雷达正面的中心点位于竖直平面上的一条竖直线上，并记录下二者在竖直方向上的距离。

进一步，在S2中，保持时间同步的具体方式为：对返回的每一帧图像和每一个数据帧的雷达数据进行一一比对，从而确保进行关联的图像数据和雷达数据具有时间同步性。

进一步，在S3中，空间坐标变换中的图像坐标与像素坐标的转换表达式为：

其中(u

进一步，在S4中，R-CNN需要使用对自动驾驶登机桥运行安全造成影响的目标物体进行训练，得到适用于该场景下的分类网络和回归网络。

进一步，在S5中，合并方式为：根据数据采集同步保存的时间戳将雷达数据与图像数据相关联，同一时刻的图像和对应的雷达ROI为一组数据，将雷达ROI替代由滑动窗口生成的ROI作为R-CNN算法输入，输入到后续的分类网络和回归网络中经行识别，最后合并信息。

本发明的另一目的在于提供一种实施所述基于雷视融合的登机桥地面环境感知方法的基于雷视融合的登机桥地面环境感知系统，所述基于雷视融合的登机桥地面环境感知系统包括：

传感器模块，包括摄像头和毫米波雷达，用于采集目标的空间坐标；

数据同步模块，与传感器模块连接，用于记录并同步摄像头和毫米波雷达传感器模块的数据；

空间坐标变换模块，与数据同步模块连接，用于将毫米波雷达数据进行空间坐标变换，将雷达点投影到图像坐标系中，并生成ROI的中心点；

目标识别模块，与空间坐标变换模块连接，用于将生成的ROI作为R-CNN的算法的特征提取阶段的输入，进行目标识别；

输出结果模块，与目标识别模块连接，用于将识别结果与对应的雷达点信息包括位置和运动情况合并，得到目标的多维度信息。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于雷视融合的登机桥地面环境感知方法的步骤。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于雷视融合的登机桥地面环境感知方法的步骤。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于雷视融合的登机桥地面环境感知系统。

结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

第一、本发明提供一种基于雷视融合的登机桥地面环境感知方法及系统，能够结合视觉和毫米波雷达在环境感知中的优势，利用雷达点数据在图像中的投影作为ROI区域提议的根据，从而实现更加准确快速的目标识别。同时结合视觉数据提供的目标类别信息和雷达数据提供的目标位置、运动状态信息实现对环境中目标更加多维的感知，在暴雨雪天气以及其他恶劣条件下保证对自动驾驶登机桥地面环境的感知精度，从而确保在不同情况下自动驾驶登机桥的安全运行。

这种基于雷视融合的登机桥地面环境感知方法，利用了摄像头和毫米波雷达的互补性，实现了对登机桥地面环境的精确感知。其主要的技术进步包括：

1)传感器安装和标定：通过在同一竖直平面上安装摄像头和毫米波雷达，并记录其在竖直方向上的距离，能保证二者数据的空间关联性，从而提高数据处理的准确性和效率。

2)数据采集和时间同步：通过同步保存摄像头和毫米波雷达的时间戳，可以实现对同一时刻的两种传感器数据的比对，提高了数据的时序准确性，有利于更准确地感知环境变化。

3)数据对齐和空间坐标变换：对毫米波雷达数据进行空间坐标变换，能将雷达点投影到图像坐标系中，实现物理空间和图像空间的无缝对接，提高了数据处理的准确性。

4)目标识别：通过将生成的ROI作为R-CNN的算法的特征提取阶段的输入，能有效地提取目标信息，提高了目标识别的准确性。

5)结果融合：将识别结果与对应的雷达点信息合并，得到目标的多维度信息，能提供更全面、更准确的目标描述，有利于更好地服务于后续的决策和行动。

这种方法的实施，不仅提高了登机桥地面环境感知的准确性和实用性，还为基于雷视融合的其他实际应用提供了新的实践经验和技术借鉴。

第二，本发明采用坐标变换和雷达点投影的方法，将雷达信息投影到图像中，实现两种异质传感器的信息融合。

本发明通过雷达点在图像中的投影生成雷达ROI替代有其他方法生成的候选区域输入到R-CNN算法中，使得候选区域特征更加明显，同时也提高了识别算法的效果。

本发明将R-CNN目标识别的结果与对应的雷达信息相结合，形成了特征信息更加丰富的识别结果，包含了其他常规识别方法无法取得的位置和运动状况信息，使环境感知更加精确。

第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

(1)本发明的技术方案转化后的预期收益和商业价值为：

自动驾驶登机桥可以极大的降低人力成本、解放劳动力。登机桥自动对接过程可由控制器控制，控制器可以及时的根据传感器的反馈做出相应的调整。所以相比人工操作自动驾驶则有着天然优势和更可靠的安全性。而本发明所提出的一种基于雷视融合的登机桥地面环境感知方法及系统正适用于自动驾驶登机桥的安全保障。随着自动驾驶登机桥技术的推广与应用，本发明的技术方案也可以得到大范围的应用，具有一定的商业价值。

(2)本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：

单一的视觉传感器和传统的视觉识别环境感知方法仅能通过纹理、色彩等特征对图像中的物体进行分类的定位，而无法获取目标更多的信息。本发明所提出的一种基于雷视融合的登机桥地面环境感知方法及系统结合毫米波雷达与视觉数据，在获取到目标类别信息的同时将雷达与视觉进行融合，实现了雷达数据与视觉数据的关联，能够同时获取目标的类别和位置以及运动状态信息，增加了信息的维度，丰富了信息的类别。

附图说明

图1是本发明实施例提供的基于雷视融合的登机桥地面环境感知方法流程图。

图2是本发明实施例提供的摄像头和毫米波雷达安装位置示意图。

图3是本发明实施例提供的传感器在登机桥行走轮上的安装位置示意图。

图4是本发明实施例提供的图像坐标系与像素坐标系示意图。

图5是本发明实施例提供的采用雷达ROI生成方法示意图。

图6是本发明实施例提供的利用雷达ROI替代R-CNN算法候选区域示意图。

图7是本发明实施例提供的基于雷视融合的登机桥地面环境感知系统结构图。

图8是本发明实施例提供的传统方法识别结果。

图9是本发明实施例提供的本发明提出的方法识别结果。

图中：1、摄像头；2、毫米波雷达；3、xoy平面；4、安装位置；5、雷达ROI；6、雷达点在图像的投影；7、图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供的基于雷视融合的登机桥地面环境感知方法包括：

S1，安装并标定传感器，包括摄像头1和毫米波雷达2，在安装时要注意二者的相对位置，便于后续通过空间坐标变换实现二者数据的关联；

S2，采集数据并保持时间同步，在记录摄像头1和毫米波雷达2数据时同步保存时间戳，对比时间戳获取同一时刻的两种传感器数据；

S3，数据对齐之后对毫米波雷达2数据进行空间坐标变换，将雷达点投影到图像坐标系中，转换到像素坐标系并将投影结果作为生成ROI的中心点，ROI的尺寸与雷达点深度呈负相关，雷达点深度越大，其在像平面生成的ROI越小；

S4，将生成的ROI作为R-CNN的算法的特征提取阶段的输入，进行目标识别；

S5，将识别结果与对应的雷达点信息包括位置和运动情况合并，得到目标的多维度信息。

本发明实施例提供的基于雷视融合的登机桥地面环境感知方法具体包括以下步骤：

步骤1，传感器的安装和标定：在登机桥上安装多个传感器，其中包括摄像头1和毫米波雷达2，在安装时要注意二者的相对位置，便于后续通过空间坐标变换实现二者数据的关联。

安装相对位置如图2所示，在同一竖直平面xoy上安装摄像头1以及毫米波雷达2，确保摄像头1的光心与毫米波雷达2正面的中心点位于竖直平面上的一条竖直线上，并记录下二者在竖直方向上的距离H。

传感器装置在登机桥移动轮上的安装位置4如图3所示。

步骤2，传感器数据的时空匹配：在摄像头1和毫米波雷达2进行数据记录时，同步记录每一帧数据的时间戳，便于后续进行数据融合时保障融合数据的时间统一性；根据传感器安装时所确定的摄像头1和毫米波雷达2的相对位置关系，可以构建出相机坐标系、雷达坐标系以及世界坐标系的相对关系，从而实现雷达坐标系和相机坐标系的关联，将雷达数据与图像数据所取得的特征联系起来。

首先需要对获取到图像数据和毫米波雷达2数据进行时间上的比对，由于二者的数据采集频率不同，需要对返回的每一帧图像和每一个数据帧的雷达数据进行一一比对，从而确保进行关联的图像数据和雷达数据具有时间同步性。

在完成时间匹配之后，需要完成空间上的转化。通过雷达坐标系与世界坐标系以及相机坐标系与世界坐标系的关系，将雷达坐标系的点转换到相机坐标系中，再通过相机的成像原理，将相机坐标系中的点投影到像素坐标系中，即可实现雷达点向图像的投影。由于在步骤一中进行传感器安装时，摄像头1和雷达仅存在高度上的差别，而雷达获取的数据中不包括高度数据，所以可直接将雷达坐标向像素坐标系进行变换。改变换可表达为以下形式：

已知摄像头1焦距为f，若图中三维世界存在一点P(X

图像坐标与像素坐标系的关系如图4所示，其中O

其中(u

步骤3，雷达ROI 5的生成：ROI即感兴趣区域。毫米波雷达2所获取的环境中的物体具体信息包括物体的方位、运动方向和速度，但是其中无法确定目标物体的高度和大小。

如图5所示，可以将毫米波雷达2所获取的方位信息投影到图像7正中心水平线上，将毫米波雷达2获取的方位坐标投影到像素坐标系中，将该坐标的投影作为ROI模型中心。完成雷达点的投影之后，以投影点作为中心构建ROI模型，ROI形状为矩形，纵向贯穿整个图像7，ROI的宽度d与雷达点深度呈负相关，雷达点深度越大，其在像平面生成的ROI越小。

步骤4，图像数据预处理：为了实现对图像目标的检测，首先需要对获取到的登机桥地面环境的图像进行标注，使用标注软件在获取到的图像中标注出感兴趣的目标物体，包括地面上的人员、车辆、锥桶以及其他对自动驾驶登机桥运行安全造成影响的目标物体，标注完成后利用标注好的数据集对R-CNN网络进行训练，得到适用于该场景下的分类和回归网络。

步骤5，数据集生成和检测：如图6所示，根据数据采集同步保存的时间戳将雷达数据与图像数据相关联，同一时刻的图像和对应的雷达ROI 5为一组数据，将雷达ROI 5替代由滑动窗口生成的ROI作为R-CNN算法输入，输入到后续的分类网络和回归网络中经行识别。最后将信息综合，得到信息更加丰富的识别结果。

作为优选，本发明基于雷视融合的登机桥地面环境感知方法包括：

(1)安装并标定摄像头1和毫米波雷达2，通过二者的位置关系实现空间坐标变换将雷达点投影到图像中。

(2)根据雷达点在图像中的投影位置像素坐标，向左右两侧延伸，根据雷达点的深度确定延伸的距离从而划分出雷达ROI 5，即目标所在区域。

(3)将雷达ROI 5直接作为R-CNN算法的候选框输入，经过卷积和回归得到目标的类别和识别框，并结合雷达提供的位置和运动信息组成一组信息更加丰富的识别结果数据组。

如图7所示，本发明实施例提供的基于雷视融合的登机桥地面环境感知系统包括：

传感器模块，包括摄像头1和毫米波雷达2，用于采集目标的空间坐标；

数据同步模块，与传感器模块连接，用于记录并同步摄像头1和毫米波雷达2传感器模块的数据；

空间坐标变换模块，与数据同步模块连接，用于将毫米波雷达2数据进行空间坐标变换，将雷达点投影到图像坐标系中，并生成ROI的中心点；

目标识别模块，与空间坐标变换模块连接，用于将生成的ROI作为R-CNN的算法的特征提取阶段的输入，进行目标识别；

输出结果模块，与目标识别模块连接，用于将识别结果与对应的雷达点信息包括位置和运动情况合并，得到目标的多维度信息。

将本发明应用实施例提供的基于雷视融合的登机桥地面环境感知方法应用于计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于雷视融合的登机桥地面环境感知方法的步骤。

将本发明应用实施例提供的基于雷视融合的登机桥地面环境感知方法应用于信息数据处理终端，所述信息数据处理终端用于实现所述基于雷视融合的登机桥地面环境感知系统。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

在首都国际机场和大兴国际机场所用的中集天达生产的旅客登机桥上进行了实地测试，验证了本发明在自动驾驶登机桥领域所具有的实际作用。在上述两个机场自动驾驶登机桥运行的测试过程中，本发明所提出的种基于雷视融合的登机桥地面环境感知方法及系统成功对登机桥地面的人员和锥桶实现了精准的识别和定位，为自动驾驶登机桥的正常安全运行提供了保障。

传统方法识别结果如图8所示.本发明提出的方法识别结果如图9所示。

雷视融合结果(上图从左至右)如下表所示：

成功实现了本发明期望得到的结果，即将雷达数据与视觉数据融合关联，得到更加多维的环境感知结果。

本发明基于雷视融合的登机桥地面环境感知方法可以在许多场景中得到应用。下面将给出两个具体的实施例以及具体的实现方案。

实施例1：登机桥的自动对接在登机桥的前端安装摄像头和毫米波雷达，并进行精确标定。当飞机靠近登机桥时，摄像头和雷达同时开始采集数据，并保持时间同步。对采集的雷达数据进行空间坐标变换，并将雷达点投影到图像坐标系中，生成ROI。利用R-CNN算法对这些ROI进行特征提取和目标识别，识别出飞机的门口位置。将识别结果与雷达点信息合并，得到目标的多维度信息。根据多维度信息，自动控制登机桥进行精确对接。

实施例2：登机桥周围环境的安全监控在登机桥周围的关键位置安装摄像头和毫米波雷达，并进行精确标定。

摄像头和雷达不断采集数据，并保持时间同步。对采集的雷达数据进行空间坐标变换，并将雷达点投影到图像坐标系中，生成ROI。利用R-CNN算法对这些ROI进行特征提取和目标识别，识别出人员、车辆等关键目标。将识别结果与雷达点信息合并，得到目标的多维度信息，如位置、运动方向、速度等。根据多维度信息，实时监控登机桥周围环境的安全状况，如有异常情况立即报警。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。