倒车辅助方法及倒车辅助系统

技术领域

本申请一般涉及倒车影像技术领域，具体涉及一种倒车辅助方法及倒车辅助系统。

背景技术

倒车是车辆驾驶中的重要技能，虽然后视镜可以辅助观察周边环境，但是由于盲区的存在，车辆后方的情况无法全面获知，借助倒车辅助装置能够将车辆后方的情况以视觉图像等方式展示给驾驶员，从而有效地减少倒车事故的发生几率。

现有的倒车辅助装置主要包括倒车影像系统和倒车雷达系统。然而，现有的汽车倒车影像系统只能显示后方障碍物的2D图像信息而不具备距离信息及物体的深度信息，同时其也很容易受到光照和环境的影响，比如夜晚或下雨天其图像分辨率很差。而现有的倒车雷达系统只能通过警报来告知驾驶员即将可能发生的碰撞危险，虽能显示物体的距离信息但并不能显示物体的图像信息，也就没法告诉驾驶员具体哪个方向哪个物体即将发生碰撞，需要驾驶员自己通过人眼进行观察判断。

目前基于3D视觉成像方案逐渐成为主流，然而现有的3D视觉成像方案具有像素较低，画面清晰度不够，感官较差的缺陷，难以应用于汽车倒车影像成像。

发明内容

鉴于现有技术中的上述缺陷或不足，本申请期望提供一种倒车辅助方法及倒车辅助系统。

作为本申请的第一方面，本申请提供一种倒车辅助方法。

作为优选，所述倒车辅助方法包括以下步骤：

获取车辆尾部障碍物的初始二维RGB图像和初始三维深度图像；

将所述初始三维深度图像中各像素点的深度信息与所述初始二维RGB图像中相对应的各像素点的二维特征信息进行融合，生成包含所述初始三维深度图像深度信息和所述初始二维RGB图像二维特征信息的彩色重构三维图像；

显示所述彩色重构三维图像。

作为优选，所述倒车辅助方法还包括以下步骤：

判断车辆尾部与障碍物之间的距离；

如判定距离小于预设阈值，发出警报并生成安全提示信息，并将所述安全提示信息叠加至所述彩色重构三维图像。

作为优选，所述安全提示信息包括车辆尾部与障碍物之间的距离信息和对障碍物的特殊标识。

作为优选，所述倒车辅助方法还包括以下步骤：

判断所述初始二维RGB图像的清晰度；

若判定清晰度满足预设条件，将所述初始三维深度图像中各像素点的深度信息与所述初始二维RGB图像中相对应的各像素点的二维特征信息进行融合生成所述彩色重构三维图像；

若判定清晰度不满足预设条件，开启倒车辅助照明灯，重新获取车辆尾部障碍物的二维图像并作为所述初始二维RGB图像。

作为本申请的第二方面，本申请提供一种倒车辅助系统。

作为优选，所述倒车辅助系统包括图像获取模块，与所述图像获取模块连接的信号处理控制模块，以及与所述信号处理控制模块连接的显示模块；

所述图像获取模块安装于车辆尾部，用于获取车辆尾部障碍物的初始二维RGB图像和初始三维深度图像；

所述信号处理控制模块用于接收所述初始二维RGB图像和所述初始三维深度图像，并将所述初始三维深度图像中各像素点的深度信息与所述初始二维RGB图像中相对应的各像素点的二维特征信息进行融合，生成包含所述初始三维深度图像深度信息和所述初始二维RGB图像二维特征信息的彩色重构三维图像；

所述显示模块用于显示所述彩色重构三维图像。

作为优选，所述图像获取模块包括：

第一成像装置和至少一个第二成像装置；

所述第一成像装置用于获取所述初始二维RGB图像，所述第二成像装置用于获取所述初始三维深度图像；其中，所述第二成像装置为TOF深度相机。

作为优选，所述图像获取模块包括三个第二成像装置，分别设置于车辆尾部的左右两侧和中部。

作为优选，所述第二成像装置包括：

发射器和接收器，所述发射器为垂直腔面发射激光器，所述接收器为CMOS或CCD图像传感器；其中，所述第二成像装置以基于TOF的预定算法获取所述初始三维深度图像。

作为优选，所述倒车辅助系统还包括：

报警模块，所述报警模块与所述信号处理控制模块连接，用于在车辆尾部与障碍物之间的距离小于预设阈值时发出警报。

作为优选，所述倒车辅助系统还包括：

至少一个倒车辅助照明灯，所述倒车辅助照明灯安装于车辆尾部，用于在所述初始二维RGB图像的清晰度不满足预设条件时辅助照明。

本申请的有益效果：

本申请的倒车辅助方法和辅助系统通过实时显示3D物体场景信息能够帮助驾驶员直观、全面且清晰地获知车后环境，降低了倒车难度，提高了倒车的安全性，且适用于多种光线及气候条件。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请实施例的一种倒车辅助方法流程图；

图2为本申请实施例的一种倒车辅助系统的示意图；

图3为本申请实施例的一种倒车辅助系统的使用流程图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度、“厚度”、“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

根据本申请的第一方面，请参照图1，示出了本申请优选的一种实施方式的倒车辅助方法，包括以下步骤：

步骤S101：获取车辆尾部障碍物的初始二维RGB图像和初始三维深度图像；

具体地，在本步骤中，可通过采用安装于车辆尾部的成像装置获取车辆尾部障碍物的初始二维RGB图像和初始三维深度图像，其中，初始二维RGB图像为反映车尾障碍物的2D平面图，其具有足够的清晰度和观感舒适度，初始三维深度图像为反映车尾障碍物的3D深度图，其包含距离信息。由于成像装置安装于车辆尾部，该初始三维深度图像中所包含的深度信息即反映了障碍物与车辆尾部之间的距离。

步骤S102：将所述初始三维深度图像中各像素点的深度信息与所述初始二维RGB图像中相对应的各像素点的二维特征信息进行融合，生成包含所述初始三维深度图像深度信息和所述初始二维RGB图像二维特征信息的彩色重构三维图像；

具体地，在本步骤中，可将所述初始二维RGB图像和初始三维深度图像作为引导图像，经融合处理后获得所述彩色重构三维图像；更具体地，可采用图像处理装置提取所述初始三维深度图像中所包含的深度信息，并将所述深度信息叠加至所述初始二维RGB图像中，生成彩色重构三维图像，使得该三维图像不仅包含初始三维深度图像的深度信息，而且包含所述初始二维RGB图像的二维特征信息，也即包括所述初始二维RGB图像的画面信息，使得所述彩色重构三维图像的清晰度、图像质量、图像精度和图像观感舒适度相较于初始三维深度图像大大提高，使其能更加真实、清晰地反映车辆后方环境，提高用户体验；

其中，融合处理可采用计算机视觉算法，即在初始二维RGB图像中提取像素点的二维特征信息，并在初始三维深度图像中提取该像素点的深度信息，然后将两种信息进行融合后生成彩色重构三维图像，该彩色重构三维图像具有三维特征信息，但画面质量和清晰度优于初始三维深度图像。

步骤S103：显示所述彩色重构三维图像。

具体地，在本步骤中，可采用显示终端或投影装置(例如车载屏幕)将所述彩色重构三维图像投影至显示终端或投影装置的显示屏幕上，从而使得驾驶员直观地获知车辆后方环境。

在本实施方式中，对于车辆后方障碍物应做广义理解，是指车辆后方场景或环境，或车辆后方环境中的任一物体，包括建筑物、装饰物、路牌标志、车辆、行人、动物等中的一种或多种。

进一步地，在本申请一些优选的实施方式中，所述倒车辅助方法还包括以下步骤：

判断车辆尾部与障碍物之间的距离；

如判定距离小于预设阈值，发出警报并生成安全提示信息，并将所述安全提示信息叠加至所述彩色重构三维图像。

具体地，在本步骤中，出现于车辆后方的障碍物可以包括一个或多个，其中，在所述彩色重构三维图像中包含深度信息，也即包含各障碍物与车辆尾部之间的距离；在倒车过程中，车辆尾部与障碍物之间的距离随着倒车动作的进行逐渐缩小，成像装置以预设间隔持续地获取所述初始二维RGB图像和初始三维深度图像，从所述初始三维深度图像中提取的各障碍物与车辆尾部的深度信息实时动态地变化，当距离车辆尾部最近的障碍物与车辆尾部之间的距离小于预设阈值时，生成用于向驾驶员发出预警的安全提示信息，并将该安全提示信息动态显示在所述彩色重构三维图像上，该安全提示信息包括车辆尾部与障碍物之间的距离信息和对障碍物的特殊标识，同时发出警报提醒；

其中，所述安全提示信息可以是文字、数字、图形、色彩标识中的一种或多种，例如高亮显示障碍物、图形圈出障碍物等，帮助驾驶员直观且清晰地感受到车后物体的距离和性质，降低倒车难度；当然，所述安全提示信息还可以是其他类型，只要能够通过显示终端或投影装置实现即可；

其中，所述警报提醒可以通过声音、灯光、屏幕显示等进行，例如蜂鸣声或语音播报等；预设阈值可以根据实际情况进行设定。

其中，对障碍物的特殊标识可以是通过文字、数字、图形、色彩等中的一种或多种的形式将可能会发生碰撞的障碍物标示出来以使驾驶员明显的感知障碍物，例如高亮显示障碍物、加深显示障碍物、图形圈出障碍物等。

进一步地，在本申请一些优选的实施方式中，所述安全提示信息包括车辆尾部与障碍物之间的距离信息和对障碍物的特殊标识。

具体地，当障碍物与车辆尾部之间的距离小于预设阈值时，在所述彩色重构三维图像上数字显示所述障碍物与车辆尾部之间的距离，并随着倒车动作的进行，实时动态地更新所述距离，帮助驾驶员直观且清晰地获知车辆尾部与障碍物的距离，从而使驾驶员更准确、安全地倒车。

进一步地，在本实施方式中，如判定距离大于预设阈值，为保证显示终端或投影模式所显示的彩色重构三维图像的观感舒适性，不生成安全提示信息，具体是不将障碍物与车辆尾部之间的距离信息叠加于所述彩色重构三维图像上。

进一步地，在本申请一些优选的实施方式中，所述倒车辅助方法还包括以下步骤：

判断所述初始二维RGB图像的清晰度；

若判定清晰度满足预设条件，将所述初始三维深度图像中各像素点的深度信息与所述初始二维RGB图像中相对应的各像素点的二维特征信息进行融合融合所述初始二维RGB图像和所述初始三维深度图像生成所述彩色重构三维图像；

若判定清晰度不满足预设条件，开启倒车辅助照明灯，重新获取车辆尾部障碍物的二维图像并作为所述初始二维RGB图像。

具体地，在本步骤中，当处于光线较弱的夜晚、雨雪和大雾天气时，所获取的初始二维RGB图像的清晰度可能较低，导致彩色重构三维图像的清晰度达不到要求，可采用开启倒车辅助照明灯对车辆后方环境进行辅助照明，以提高所获取的初始二维RGB图像的清晰度。

作为本申请的第二方面，请参照图2，示出了本申请提供一种优选的实施方式的倒车辅助系统，包括图像获取模块1，与所述图像获取模块1连接的信号处理控制模块2，以及与所述信号处理控制模块2连接的显示模块3；

所述图像获取模块1安装于车辆尾部，用于获取车辆尾部障碍物的初始二维RGB图像和初始三维深度图像；

所述信号处理控制模块2用于接收所述初始二维RGB图像和所述初始三维深度图像，并将所述初始三维深度图像中各像素点的深度信息与所述初始二维RGB图像中相对应的各像素点的二维特征信息进行融合，生成包含所述初始三维深度图像深度信息和所述初始二维RGB图像二维特征信息的彩色重构三维图像；

所述显示模块3用于显示所述彩色重构三维图像。

在本实施方式中，图像获取模块1的输出端与信号处理控制模块2的输入端连接，在信号处理控制模块2中集成有图像数据采集电路、图像处理电路等，用于图像数据的接收及融合处理，其输出端与所述显示模块3的输入端连接，其中，所述图像获取模块1与信号处理控制模块2之间的连接，以及所述信号处理控制模块2与显示模块3之间的连接可以为有线连接方式，也可以为诸如蓝牙、Wi-Fi等无线连接方式。

进一步地，在本申请一些优选的实施方式中，所述图像获取模块1包括：

第一成像装置11和至少一个第二成像装置12；

所述第一成像装置11用于获取所述初始二维RGB图像，所述第二成像装置12用于获取所述初始三维深度图像；其中，所述第二成像装置12为TOF深度相机。

本实施方式中，第一成像装置11为能够获取物体二维图像的摄像头，摄像头的类型不限，可以是广角摄像头，也可以是长焦摄像头，优选为拍摄范围广泛的广角摄像头。摄像头基本的成像原理为：摄像头内置的图像传感器接收被障碍物反射回来的自然光，由于图像传感器为光学传感器，会将接收的光线转换成表征障碍物的电信号，由内置的处理器对表征障碍物的电信号进行信息处理后输出障碍物的初始二维RGB图像。其中，优选在车辆尾部安装一个广角摄像头，具体可以是安装于车辆尾部的中间区域。

在本实施方式中，第二成像装置12为TOF深度相机，其能够获取拍摄空间的深度信息，也就是能够获取图像中每个点到相机的距离，从而获取图像中每个点的三维空间坐标，从而生成具有深度信息的初始三维深度图像，其中，第二成像装置12的成像过程为：ToF传感器给到光源驱动芯片调制信号，调制信号控制激光器发出高频调制的近红外光，遇到物体漫反射后，接收端通过发射光与接收光的相位差或时间差来计算物体的深度信息，经过内置的处理器信息处理后输出初始三维深度图像。

通过将TOF深度相机与传统摄像头融合的图像获取方式，可以获得比现有倒车影像结合倒车雷达系统更好的传感效果。

优选地，第一成像装置11与第二成像装置12同时拍摄。

优选地，第二成像装置12的数量为三个，分别位于车辆尾部的左右两侧和中部，用于摄取车辆尾部左侧区域、右侧区域和中间区域的场景，以保证能够范围更广地拍摄到车辆尾部环境，其中，三个第二成像装置12可以用于拍摄同一障碍物的不同角度视图，或不同的障碍物的视图，信号处理控制模块可以提取多个视图中的深度信息，经融合处理后生成反映车辆后方整体环境的彩色重构三维图像。

进一步地，在本申请一些优选的实施方式中，所述第二成像装置12包括：

发射器和接收器，ToF传感器给到光源驱动芯片调制信号，调制信号控制激光器发出高频调制的近红外光，遇到物体漫反射后，接收端通过发射光与接收光的相位差或时间差来计算物体的深度信息；

其中，所述发射器为垂直腔面发射激光器，所述接收器为CMOS或CCD图像传感器；所述第二成像装置以基于TOF的预定算法获取所述初始三维深度图像。

具体地，在本实施方式中，优选所述第二成像装置12为采用垂直腔面发射激光器作为光源的TOF深度相机，垂直腔面发射激光器具有体积小、功耗低、易集成、精确度高、稳定性好等特点。

在本实施方式中，接收器可以为图像传感器，所述图像传感器可以但不限于是电荷耦合元件(Charge Coupled Device，CCD)、互补金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor Transistor，CMOS)、单光子雪崩二极管(Single PhotonAvalanche Diode，SPAD)等中的任意一种或多种组成的图像传感器，图像传感器采集经障碍物反射后的光信号，并进一步将光信号转换成电信号，基于所述电信号生成初始三维深度图像。优选地，所述接收器为CMOS或CCD图像传感器。

在本实施方式中，每个TOF深度相机的发射器和接收器可以集成在同一固定组件(例如壳体)中，也可以是分设于两个固定组件中。

在本方式中，基于TOF的预定算法获取所述初始三维深度图像具体可以是指通过给发射器施加调制信号，调制信号控制发射器发出高频调制的近红外光，遇到障碍物反射后被接收器接收，通过反射光与接收光的相位差或时间差来计算障碍物的深度信息；其中，调制信息可以为脉冲调制信号或连续调制信号。

进一步地，在本申请一些优选的实施方式中，所述倒车辅助系统还包括：

报警模块，所述报警模块与所述信号处理控制模块2连接，用于在车辆尾部与障碍物之间的距离小于预设阈值时发出警报。

在本实施方式中，报警模块的输入端与所述信号处理控制模块2的输出端连接，处理控制模块2一方面用于融合所述初始二维RGB图像和初始三维深度图像生成彩色重构三维图像，另一方面能够在倒车过程中从初始三维深度图像实时提取深度信息(即距离信息)，通过将所提取的实时变化的距离信息与预设阈值进行对比而生成报警指令和所述安全提示信息；当车辆尾部与障碍物之间的距离小于预设阈值时，所述信号处理控制模块发送报警指令给报警模块，同时生成所述安全提示信息以提醒驾驶员。

进一步地，在本申请一些优选的实施方式中，所述倒车辅助系统还包括：

至少一个倒车辅助照明灯，所述倒车辅助照明灯安装于车辆尾部，用于在所述初始二维RGB图像的清晰度不满足预设条件时辅助照明。

在本实施方式中，倒车辅助照明灯设置于车辆尾部，其与所述信号处理控制模块2的输出端连接，信号处理控制模块2在接收到所述初始二维RGB图像后，与预设条件进行对比而生成控制指令；当所述初始二维RGB图像的清晰度不满足预设条件时，所述信号处理控制模块生成开启倒车辅助照明灯的控制指令和让第一成像装置11重新获取所述初始二维RGB图像的控制指令，控制所述倒车辅助照明灯开启以辅助照明，并让第一成像装置11重新获取所述初始二维RGB图像，保证本申请的倒车辅助系统在光线较暗的夜晚、雨雪或大雾天气也能生成足够清晰的彩色重构三维图像，增强倒车的安全性和准确性。

其中，倒车辅助灯可以为LED灯。

请参照图3，示出了本申请的倒车辅助系统的使用流程图，当车辆挂入倒挡检测到即将进行倒车运动时，系统开启，第一成像装置11和第二成像装置12分别获取初始二维RGB图像和初始三维深度图像，当信号处理控制模块2判定初始二维RGB图像的清晰度不符合预设条件时，倒车辅助灯开启，第一成像装置11重新获取车辆尾部障碍物的二维图像作为初始二维RGB图像；当信号处理控制模块2判定初始二维RGB图像清晰度符合预设条件时，信号处理控制模块2融合所述初始二维RGB图像和所述初始三维深度图像生成彩色重构三维图像，显示模块3显示所述彩色重构三维图像，信号处理控制模块2同时判断车辆尾部与障碍物之间的距离，当距离小于预设阈值时，报警模块发出警报，信号处理控制模块2生成安全提示信息并将安全提示信息叠加在彩色重构三维图像上，显示模块显示叠加了安全提示信息的彩色重构三维图像。

应当理解，本实施例中的倒车辅助系统所记载的诸模块与所述倒车辅助方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于本实施例的各个模块，在此不再赘述。本实施例的系统可以预先实现在电子设备中，也可以通过下载等方式而加载到电子设备中。本实施例的系统中的相应模块可以与电子设备中的单元相互配合以实现本申请实施例的方案。此外，描述于本实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。