一体化融合多传感器自动驾驶智能感知装置

技术领域

本发明涉及自动驾驶智能感知领域，更进一步涉及一种基于多传感器融合的一体化便 携式自动驾驶智能感知装置。

背景技术

无人驾驶是人工智能、计算机科学、自动化技术高度发展的产物。当下，人工智能被分为三个阶段：计算智能、感知智能和认知智能。而机器在理解、思考、推理等认知能力方面，却与人类存在很大的差距。自动驾驶汽车是汽车电子、智能控制以及互联网等技术发展融合的产物，其原理为自动驾驶系统利用感知系统，获取车辆自身以及外界环境信息，经过计算系统分析信息、做出决策，控制执行系统实现车辆加速、减速或转向，从而在无需驾驶员介入的情况下，完成自动行驶。自动驾驶汽车通过摄像头、激光雷达、毫米波雷达等众多感知设备和人工智能算法来实现对复杂道路环境的感知。由于目前智能驾驶汽车认知能力 的缺失，使得现有智能汽车在面对决策信息时，往往难以做出正确的理解，导致汽车无法像 人类驾驶员一样,能快速适应驾驶环境并能及时、迅速的对周边的环境信息做出感知。智能 驾驶传感器和计算决策平台是实现汽车智能化的基础，传感器能代替人的眼睛感知外部环境， 利用先进的车载视觉传感器、雷达等感知设备，能获取并认知周围车辆/行人的距离、速度、 朝向，交通标识等信息，进而将感知信息传递给计算决策平台，该模块支持针对复杂场景的 细粒度、结构化的语义感知，能实现对高度可扩展、模块化的三维语义环境重建以及透明化、 可追溯、可推理的决策和路径规划。

复杂环境感知技术是自动驾驶技术的关键部分，是人工智能视觉技术在自动驾驶领 域应用的关键突破点及核心技术。根据无人驾驶汽车事故相关统计数据，城市街道比高速公 路更容易发生交通事故，这主要是由于城市场景交通要素更复杂、交通参与者流量更大、交 通参与者行为更随机多样。这些特性使得无人驾驶汽车在城市环境行驶时需要面临更大的感 知挑战。由于目前智能驾驶测试的路况大多为城市道路或高速公路，在特殊情况(罕见场景) 下是否还能准确感知、识别，例如极端天气(如大雪、大雾)会降低人类视觉、AV视觉系 统(摄像机、激光雷达)和DSRC传输的最大距离和信号质量(敏度、对比度、过度的视觉杂 波)；车辆上过多的灰尘或物理障碍物(如雪或冰)会干扰或降低所有基本的AV传感器(摄像机、 激光雷达、毫米波雷达)的最大感知距离和信号质量(敏度、对比度、视场的物理遮挡)；黑暗 或低照明(如隧道)情况下会降低AV摄像系统的最大距离和信号质量(敏度，对比度)等。 这些常见限制带来传感器感知能力下降的问题一直都是业内攻破的难点。

智能驾驶的感知能力主要包括内部感知、驾驶人感知和环境感知三个方面。内部感 知主要是通过CAN总线采集车内各电子控制单元信息，以及装载在车上的各类传感器实时 产生的数据信息，来获取车辆状态，包括车体(车内外温度、空气流量、胎压)，动力(油压、转速、机油)，车辆安全(安全带、气囊、门窗锁)等。驾驶人感知主要是指通过摄像 头、面部识别、提示器等智能套件实现对驾驶员的疲劳监控、注意力监控、超速监管、驾驶 姿态监控等，以从驾驶员驾驶层面实现主动安全，减少事故。环境感知主要是利用传感器、 定位导航、车联通信(VehicIe-to-X，V2X)来实现对环境的识别、感知、预测等。主流的 传感器感知技术包括视觉感知、激光感知、毫米波感知等。视觉感知是基于摄像头采集的图 像信息，使用视觉相关算法进行处理，认知周围环境；激光感知是基于激光雷达采集的点云 数据，通过滤波、聚类等技术，对环境进行感知；毫米波感知是基于毫米波雷达采集的距离 信息，使用距离相关算法进行处理，认知周围环境。但单一传感器采集的数据并不具备整体 性和智能性，3D环境建模使激光雷达成为核心传感器，但其无法识别图像及颜色，且在恶 劣天气下性能明显降低。毫米波雷达能实现全天候感知，但其分辨率较低，且难以成像。摄 像头价格低廉，能够识别交通参与者和交通标识，但却无法实现点阵建模和远距测距。因 此，多传感器融合是实现高级别自动驾驶的必经之路，也是自动驾驶未来发展的重要趋势。 传统的物体检测模型通常只在深度卷积网络的最后一个特征图上进行后续操作，而这一层对 应的下采样率(图像缩小的倍数)通常又比较大，如16，32，造成小物体在特征图上的有 效信息较少，小物体检测性能会急剧下降。由于RPN的anchor是均匀分布的，其方差十分 大，难以学习，需要进行迭代回归。但RPN没有类似RoIPool或RoIAlign的手段进行特征 对齐，因为RPN的输入很多，性能十分重要，只能进行常规的滑动卷积进行输出，这就造 成了anchor和feature的对称问题。为了缓解对齐问题，一些研究使用可变形卷积来进行特 征图上的空间变换，希望能使得精调后的anchor与变换后的特征。但是这种方法并没有严 格的约束去保证特征与变换后的anchor对齐，也很难确定变换后的特征和anchor是否对齐 了。在判定anchor的正负时，单纯地使用anchor-free或anchor-base方法都是不行的，因为 使用anchor-free标准会导致stage2要求太低，而使用anchor-base则会导致stage1不能回归足够多的正样本。

发明内容

为提高自动驾驶的环境感知水平，降低智能汽车在城市交通环境的事故发生率，本 发明提出一种能够实时、可靠、准确识别交通环境并及时响应的一种一体化融合多传感器自 动驾驶智能感知装置。

本发明的上述目的可以通过以下措施来得到，一种一体化融合多传感器自动驾驶智 能感知装置，包括：通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾 驶汽车上的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数 据采集模块、传感器数据同步模块、车载计算单元、传感器数据处理模块，规划控制模块、 传感器融合执行控制模块和电源模块，其特征在于：车载激光雷达、毫米波雷达、双目摄像 头和与红外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定 位、AI感知、路径规划和决策、控制车辆的智能感知模型模块，智能感知模型模块对车辆 外进行静态和动态障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要 素信息的与行为信息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采 集模块，采用多传感器融合方式进行智能驾驶感知经度、纬度、高度、速度、航向角、俯仰 角、翻滚角、Lidar点云信息和高清视频，获取并输出车辆的状态信息，完成所有传感器的 数据接收后，将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多个 智能传感器或多源的信息和数据进行自动综合分析，实现多源异构传感器毫米级的空间同步 和纳米级的时间同步，并将目标级检测信息的时空配准送入时间、空间同步校准模块，对传 感器数据进行时间与空间同步校准，把同步校准后的数据实时送入传感器数据处理模块后， 通过车载计算平台上的车载计算单元进行数据处理，把处理好的数据送达规划控制模块，规 划控制模块根据智能感知模型模块的感知结果，完成对车辆行驶路径、避障、感知的规划控 制与决策，决定车辆最优的路径和决策，做出实时轨迹预测，指引车辆完成路径规划，将车 辆的决策处理信息后送入工智能算法模块，确定每个样本的权值，将修改过权值的新数据集 送给下层分类器进行训练，将每次训练得到的分类器最后融合起来，作为最后的决策分类器 到达传感器融合控制车辆执行模块，传感器融合控制车辆执行模块根据规划控制模块的控制 路径规划，在车辆决策系统控制下，连接汽车中控模块对车辆进行实时控制，执行感知数据， 识别车身周围全域视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。

本发明与现有设备相比，具有以下优点和有益效果：

本发明采用通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾驶汽车上 的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数据采集模 块、传感器数据同步模块、传感器数据处理模块，规划控制模块、车载计算单元、传感器融 合执行控制模块和电源模块，将车载激光雷达、毫米波雷达、双目摄像头和红外相机高效的 融合在一起，集成度高，体积小，具有小型化、配置灵活。通过多传感器融合的方式可以实 现车辆对外部交通参与者的3D目标检测，以进行系统控制与路径规划；能实现对参与者的 目标跟踪，以完成车辆系统的灵活控制；能完成交通信号灯的快速监测，以给车辆做出制动 或通信决策；能对车辆车身周围的交通参与者做出实时轨迹预测，使得系统能提前预判与做 出决策；能识别行驶道路上车道线、交通标识、人行横道等信息，以保持车辆不偏离车道并 及时避让；能进行静态和动态障碍物的实时检测，给系统做出制动和规避的决策。实现高度 自动驾驶相关功能，实时监控车辆运动轨迹并规划路径，总体路径为：采集多传感器数据后 进行同步校准，经过前段融合后感知和检测车辆周围所有障碍物，通过人工智能技术对融合 后的数据进行处理，并对障碍物进行跟踪。再结合道路物体等高精度定位信息，预测所有障 碍物未来时间内的运行轨迹，最终将障碍物感知信息和未来态势输出，并指引车辆完成路径 规划。解决了全天时城市交通场景理解(车行道、人行道、交通标志、建筑、树木、草坪 等)、交通参与者(车辆、行人等)检测及行为意图识别与轨迹预测这两大核心问题。

本发明采用车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定位、AI感知、路径规划和决策、车辆控制的智能感知模型模块，智能感知模型模块对车辆外进行静态和动态障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要素信息的与行为信息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采集模块完成所有传感器的数据，采 用多传感器融合方式进行智能驾驶感知，能够获取并输出车辆的状态信息，其中包括传感器 经度、纬度、高度、速度、航向角、俯仰角、翻滚角、Lidar点云信息、高清视频等。在传感器时空同步上，能实现多源异构传感器的毫米级空间同步与纳米级时间同步，时间精度为 10

本发明将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多 个智能传感器或多源的信息和数据进行自动分析和综合，实现多源异构传感器毫米级的空间 同步和纳米级的时间同步，并进行目标级检测信息的时空配准，对传感器数据进行时间与空 间同步校准，将同步校准后的数据实时送入传感器数据处理模块，传感器数据处理模块通过 车载计算平台上的车载计算单元进行数据处理，有效减少需要传输的数据量，提高处理效率。 车载计算单元把处理好的数据送达规划控制模块，规划控制模块根据智能感知模型模块的感 知结果，完成对车辆行驶路径、避障、感知的规划控制与决策，决定车辆最优的路径和决策， 做出实时轨迹预测。

本发明传感器融合控制车辆执行模块根据规划控制模块的控制路径规划，在车辆决 策系统控制下，连接汽车中控模块对车辆进行实时控制，执行感知数据，识别车身周围全域 视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。这种采用多传感器融合的 方式，将来自多传感器或多源的信息和数据进行自动分析和综合，使车辆能够感知比单个传 感器更加丰富且精确的信息；通过对多传感器检测到的所有目标进行全局跟踪，能有效实现 环境感知、障碍物检测、轨迹预测、预警信息、导航功能和夜间行车感知等功能。设备在行 驶道路感知层面能识别前方人行道、交通路侧标识、交通信号灯和道路地形路况等；能够实 时、准确识别周边影响交通安全的物体，可靠、准确识别地规划出可保证规范、安全、迅速 到达目的地的行驶路径。在此基础上，能对检测到的目标物的行为、轨迹趋势进行预测，包 括目标物距离车辆的距离、行驶速度、移动方位和运动轨迹。设备可同时获得场景内各要素 信息、各交通参与者意图与行为信息，这些结果可直接被智能驾驶汽车决策系统调用，给智 能驾驶汽车提供全方位高精度的感知数据，大大提高智能驾驶汽车在真实路况行驶的安全性。 此外，可接入汽车电源或由外部电源独立供电，在供电上能做到外协可扩展。功能强大，灵 活可配置，可外接多个接口，扩展性强。此技术路线可移值至其他无人自主系统，如无人船 舶系统、各种移动机器人系统等。修改环境感知内容，就可应用于其他场景的目标感知，如 工业园区智能派送、矿山智能装卸载、垃圾自动清运等，可以为特种无人驾驶提供高质量服 务，具备较强的健壮性和增值扩展能力，丰富了智能汽车的应用。

附图说明

图1是本发明一体化融合多传感器自动驾驶智能感知装置的原理示意图；

图2是图1融合实现路径的原理示意图。

具体实施方式

参阅图1-图2。在以下描述的优选实施例中，一种一体化融合多传感器自动驾驶智能感知装 置，包括：通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾驶汽车上 的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数据采集模 块、传感器数据同步模块、车载计算单元、传感器数据处理模块，规划控制模块、传感器融 合执行控制模块和电源模块，其特征在于：车载激光雷达、毫米波雷达、双目摄像头和与红 外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定位、AI 感知、路径规划和决策、控制车辆的智能感知模型，智能感知模型对车辆外进行静态和动态 障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要素信息的与行为信 息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采集模块，采用多传 感器融合方式进行智能驾驶感知经度、纬度、高度、速度、航向角、俯仰角、翻滚角、 Lidar点云信息和高清视频，获取并输出车辆的状态信息，完成所有传感器的数据接收后， 将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多个智能传感器或 多源的信息和数据进行自动综合分析，实现多源异构传感器毫米级的空间同步和纳米级的时 间同步，并将目标级检测信息的时空配准送入时间、空间同步校准模块，对传感器数据进行 时间与空间同步校准，把同步校准后的数据实时送入传感器数据处理模块，通过车载计算平 台上的车载计算单元进行数据处理，把处理好的数据送达规划控制模块，规划控制模块根据 智能感知模型模块的感知结果，完成对车辆行驶路径、避障、感知的规划控制与决策，决定 车辆最优的路径和决策，做出实时轨迹预测，指引车辆完成路径规划，将车辆的决策处理信 息后送入工智能算法模块，确定每个样本的权值，将修改过权值的新数据集送给下层分类器 进行训练，将每次训练得到的分类器最后融合起来，作为最后的决策分类器到达传感器融合 控制车辆执行模块，传感器融合控制车辆执行模块根据规划控制模块的控制路径规划，在车 辆决策系统控制下，连接汽车中控模块对车辆进行实时控制，执行感知数据，识别车身周围 全域视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。

智能感知模型采用多传感器融合的方式，融合自动驾驶汽车上的毫米波雷达、激光 雷达、双目摄像机与红外相机的采集数据，传感器数据同步模块将智能传感器的目标级检测 信息进行时空配准，实现多源异构传感器毫米级的空间同步和纳米级的时间同步，再由车载 计算单元提供强大计算力，保证装置的高能效与高性能。

车载计算单元从前端感知到后端的多源数据处理，对车辆动作进行具体规划、检查 抽象策略是否可执行或者执行满足策略的动作，将学习到的抽象策略转化成对车辆的实际控 制动作，从而充分保证系统的安全性。

人工智能计算法模块采用人工智能AI芯片内置的人工智能算法，基于人工智能算法 进行车辆决策与规划，完成初步计算率，采用强化学习来决策行驶需要的高级策略，按照这 些策略和动态规划来实施具体的路径规划与避障。

人工智能计算法模块采用深度学习来做激光雷达的三维点云目标检测，三维点云目 标检测整个场景的点云，采用包含特征提取阶段、主干网络和RPN结构三个部分检查抽象 策略是否可执行或者执行满足策略的动；详细步骤如下：

1.特征提取阶段采用特征提取模块将整个场景的点云划分到大小相同的三维网格中，输入 包含每个点坐标值及反射强度信息的点云数据；为了固定每个三维网格中的点云数量，如果 点云数量点数过少，直接用零补齐到固定数量；如果点云数量点数过多，直接随机选择固定 数量的点云，再对每个网格计算其重心，得到网格中每个点云和重心的偏移量将其拼接到特 征上，然后使用多个PointNet网络来提取三维网格中点云的高维度特征；采用基于分类任务 (如ImageNet)的CNN模型作为特征提取器，输入长宽高D×W×H的形式卷积特征图片， 经过预训练CNN模型的处理，得到卷积特征图(卷积层conv feature map)，卷积层的输出 拉伸为一维的向量。

2.特征提取模块用一串卷积+pooling从卷积层原图中提取出feature map，通过网络训 练的方式从feature map中获取目标的位置；从feature map中抠出要用于分类的目标，把 feature map分割成多个小区域，获取前景区域的坐标，通过pooling成固定长度的数据作为 网络的输入，以当前滑动窗口中心为中心映射到原图的一个区域，将点云转变为伪图像结构 准备送入骨干网络进行处理；通过区域生成网络(Region ProposalNetworks)来提取检测的 区域伪图像。R-CNN是采用Selective Search算法来提取(propose)可能的RoIs(regions of interest)区域，然后对每个提取区域采用标准CNN进行分类。选择性搜索(Selective Search)方法在目标对象周围设定2000个形状大小位置不一的候选区域，目然后对这些区 域卷积，找到目标物体。

3.骨干网络包含两部分：第一部分是自顶向下的网络结构，主要用来增加特征图的 通道数，降低特征图的分辨率；第二部分通过多个上采样操作对第一部分的多个特征图进行 处理，将得到的结果进行拼接操作形成多尺度的特征图结构，准备送入网络的最后一个阶段； 把物体检测整个流程融入到一个神经网络中。

4.RPN部分采用RPN结构模块，采用RPN结构模块接收由骨干网络处理后的结果，主要使用多个卷积层进行操作，最终使用三个独立的卷积作为物体类别的分类，在经过4个下采样层获得feature map之后，featuremap分别做两次卷积，一个卷积用于做前景背景的分 类，另一个用于做boungding box的回归，进行物体位置的回归及物体朝向的估计，估计每 个区域是目标或是背景的概率，得到固定长度的向量。

5.RPN结构模块全卷积网络内置有2个卷积层，第一个卷积层对卷积特征图所有信息 进行编码，将特征图每个滑窗位置编码成一个特征向量，保持相对于原始图片所编码“things”的位置；第二个卷积层对提取的卷积特征图进行处理，寻找可能包含目标的预定义数量的区域，将对应每个滑窗位置输出k个区域位置的anchors(锚)作为物体的概率， 将锚点的中心位于卷积核滑动窗口的中心，为每个锚点分配一个二值类别标签，计算RPN 网络W×H×k个锚点的输出值，输出的卷积层的大小，总输出长度为2×k个anchor对应 两个输出物体的概和k个回归后的区域。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人 员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明 的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和 改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物 界定。