一种全时视觉辅助后视镜系统

技术领域

本发明涉及汽车安全驾驶领域，特别涉及一种全时视觉辅助后视镜系统。

背景技术

后视镜是驾驶员坐在驾驶室座位上直接获取汽车后方、侧方和下方等外部信息的工具。为了驾驶员操作方便，防止行车安全事故的发生，保障人身安全，各国均规定了汽车上必须安装后视镜，且所有后视镜都必须能调整方向。

目前的后视镜大多需要人为判断来进行调整，导致调整的效率和精准度都不能满足要求，其次，单靠后视镜来获取汽车周围情况，会存在视觉盲区，使得驾驶员在驾驶过程中存在安全隐患。

因此，本发明提供一种全时视觉辅助后视镜系统。

发明内容

本发明提供一种全时视觉辅助后视镜系统，通过后视镜智能调整模块实现了对所述后视镜主体智能调整，提高了调整的效率和精准度，为驾驶员提供标准视野范围，并且，通过结合视频显示模块显示的前摄像头和后摄像头获取的视频，针对驾驶员的驾驶过程精准的提供汽车周围的情况，辅助驾驶员的操作，提高了驾驶过程中的安全性。

本发明提供一种汽车全时视觉辅助后视镜系统，包括：

获取模块，用于获取当前驾驶员基于后视镜的当前观测视野；

后视镜智能调整模块，用于基于当前观测视野对所述后视镜进行调整；

前摄像头和后摄像头，用于实时监测调整后的后视镜的侧前方和侧后方的周边情况，获得视频；

视频处理模块，用于对监测到的所述视频进行处理、存储；

目标识别模块，用于对处理后的视频进行识别分析，确定所述视频中行人车辆信息，同时，还将所述处理后的视频传输到所述视频显示模块进行显示。

在一种可能实现的方式中，后视镜智能调整模块，用于基于当前观测视野对所述后视镜进行调整包括：

获取单元，用于基于所述当前观测视野，获取所述后视镜当前的角度以及驾驶座椅的高度、所述驾驶座椅和方向盘之间的距离；

确定单元，用于根据预先设置的所述驾驶座椅的高度、所述驾驶座椅和方向盘之间的距离与所述后视镜角度的对应关系，并基于所述后视镜当前的角度，确定所述后视镜的第一调整角度和第一调整方向；

预调整单元，用于将所述后视镜按照所述第一调整角度和第一调整方向进行预调整；

感知单元，用于感知所述驾驶座椅是否有驾驶员，若是，则获取所述驾驶员眼球的高度、与所述方向盘之间的距离；

所述确定单元，还用于确定所述驾驶员眼球的高度、与所述方向盘之间的距离和所述后视镜的对应关系，并基于所述后视镜预调整后角度，确定所述后视镜的第二调整角度和第二调整方向；

调整单元，用于当所述第一调整方向和第二调整方向相同时，判断所述第一调整角度和第二调整角度的和是否小于第一预设角度；

若是，将所述后视镜按照所述第二调整角度和第二调整方向进行调整；

否则，将所述后视镜调整至标准角度；

所述调整单元，还用于当所述第一调整方向和第二调整方向不同时，判断所述第一调整角度和第二调整角度的差值绝对值是否小于第二预设角度；

若是，将所述后视镜按照所述第二调整角度和第二调整方向进行调整；

否则，对所述后视镜调整至所述标准角度。

在一种可能实现的方式中，后视镜智能调整模块，用于基于当前观测视野对所述后视镜进行调整，还包括：

信息获取单元，用于当所述感知单元检测到有驾驶员时，对所述驾驶员进行扫描，获取所述驾驶员的人体特征信息，并将所述人体特征信息进行存储；

调整记录单元，用于记录每次所述调整单元对所述后视镜的最终调整结果；

匹配单元，用于将所述驾驶员的人体特征信息与对应的最终调整结果进行匹配，建立匹配标签；

所述感知单元，还用于检测所述驾驶座椅的当前驾驶员是否为已建立匹配标签的同一驾驶员，若是，不对所述当前驾驶员进行扫描；

否则，将所述当前驾驶员作为第二驾驶员，并基于所述信息获取单元进行扫描，获得所述第二驾驶员的人体特征信息；

查询单元，用于查询所述信息获取单元中是否存储有所述第二驾驶员的人体特征信息，若是，获取与所述第二驾驶员的人体特征信息对应的匹配标签，并根据所述匹配标签获得对应的最终调整结果；

所述调整单元，还用于按照所述最终调整结果对所述后视镜进行调整。

在一种可能实现的方式中，视频处理模块，用于对监测到的所述视频进行处理、存储包括：

图像获取单元，用于获取所述前摄像头监测到的第一视频和所述后摄像头监测到的第二视频，并获取所述第一视频和第二视频每一帧对应的第一图像和第二图像；

图像处理单元，用于对所述第一图像和第二图像中的像素列进行遍历，得到所述像素列对应的像素值序列，并将所述像素值序列中各像素点的像素值与其对应的权重值相乘得到目标像素值序列；

所述图像处理单元，还用于将所述第一图像和第二图像中的目标像素值序列进行比较，获得所述目标像素值序列相等的部分，得到与所述目标像素值序列相等的部分对应的图像部分，所述图像部分为所述第一图像和第二图像的重叠部分；

图像拼接单元，用于利用最佳缝合线算法获取所述重叠部分的拼接缝，并基于所述拼接缝对所述第一图像和第二图像进行拼接；

视频拼接单元，用于将所述每一帧对应的第一图像和第二图像进行拼接，得到若干拼接图像，将所述拼接图像按照帧的顺序进行排列，得到所述第一视频和第二视频的拼接视频，并将所述拼接视频作为汽车侧方视频；

视频存储单元，用于存储所述汽车侧方视频。

在一种可能实现的方式中，还包括：

倒车摄像头，用于监测汽车后方的情况，并将获取到的汽车后方视频进行存储。

在一种可能实现的方式中，视频显示模块，用于所述处理后的视频进行显示包括：

视频接收单元，用于接收所述汽车侧方视频、汽车后方视频；

信号接收单元，用于接收汽车在驾驶过程中汽车信号灯的发出的信号；

信号判断单元，用于对接收到的信号进行判断，若所述信号为汽车转向灯信号，则输出第一指令，若所述信号为汽车倒车灯信号，则输出第二指令；

车载显示屏单元，用于当接收到所述第一指令时，将所述汽车侧方视频进行显示；当接收所述第二指令时，将所述汽车后方视频进行显示。

在一种可能实现的方式中，目标识别模块，用于对处理后的视频进行识别分析，确定所述视频中行人车辆信息，包括：

模型建立单元，用于将数据库中行人、车辆的作为训练样本，输入到人工神经网络模型中进行特征提取，获得所述行人、车辆的基本特征，并利用所述行人、车辆的基本特征建立目标识别模型；

模型识别单元，用于将所述处理后的视频进行逐帧拆解得到多个处理图像，并将所述多个处理图像输入至所述目标识别模型中，获得所述处理图像中行人、车辆的目标区域图像；

提取单元，用于利用轮廓提取算法获取所述目标区域图像中所述行人、车辆的边缘特征点，并对所述边缘特征点进行连接得到轮廓曲线，且沿着所述轮廓曲线进行划分，从所述目标区域图像提取行人、车辆初始区域；

第一计算单元，用于获取所述行人、车辆初始区域中各个像素点的像素值，并基于所述各个像素点的像素值生成像素分布图，并预先设置每个像素值的权重系数，基于所述像素分布图获取所述各个像素点的像素值的初始概率，并计算所述像素值的初始概率与其对应权重系数的乘积，得到所述各个像素点的概率；

判断单元，用于确定相邻两个像素点概率的差值是否在预设范围内；

若是，则保留所述两个像素点对应的图像部分；

否则，则去除所述两个像素点对应的图像部分；

获取保留下来的图像部分，即为所述行人、车辆的最终区域；

标记单元，用于对所述最终区域进行动态标记，利用所述动态标记实现对所述行人、车辆的目标跟踪，并将所述行人、车辆作为第一运动目标。

在一种可能实现的方式中，还包括：

分析模块，用于对所述第一运动目标进行分析，其具体包括：

估计单元，用于估计所述第一运动目标与所述汽车之间的距离，并从所述第一运动目标中提取与所述汽车之间的距离最近的目标，作为第二运动目标；

坐标建立单元，基于处理后的视频，以获取所述第二运动目标的摄像头为原点，到所述第二运动目标所在地面为y轴，建立一维坐标系；

第二计算单元，用于根据如下公式准确计算所述第二运动目标与所述汽车之间的距离：

其中，S表示所述第二运动目标与所述汽车之间的距离，ε表示误差系数，取值为[0.7，0.9]，m表示所述第二运动目标的纵向单位像素，n表示所述第二运动目标的横向单位像素，

获得所述第二运动目标的运动方向、运动速度以及所述汽车的驾驶速度和驾驶方向，并根据如下公式计算所述汽车的安全距离：

其中，S

报警单元，用于判断所述第二运动目标与汽车之间的距离是否小于所述安全距离：

若是，通过语音提醒所述驾驶员当前驾驶过程处于安全状态；

否则，通过语音提醒所述驾驶员当前驾驶过程存在安全隐患，并进行报警提醒，直到所述第二运动目标与汽车之间的距离小于所述安全距离时，停止报警提醒。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种汽车全时视觉辅助后视镜系统的结构图；

图2为本发明实施例中后视镜智能调整模块的结构图；

图3为本发明实施例中视频处理模块的结构图；

图4为本发明实施例中视频显示模块的结构图；

图5为本发明实施例中目标识别模块的结构图；

图6为本发明实施例中分析模块的结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明实施例提供一种汽车全时视觉辅助后视镜系统，如图1所示，包括：

获取模块，用于获取当前驾驶员基于后视镜的当前观测视野；

后视镜智能调整模块，用于基于当前观测视野对所述后视镜进行调整；

前摄像头和后摄像头，用于实时监测调整后的后视镜的侧前方和侧后方的周边情况，获得视频；

视频处理模块，用于对监测到的所述视频进行处理、存储；

目标识别模块，用于对处理后的视频进行识别分析，确定所述视频中行人车辆信息，同时，还将所述处理后的视频传输到所述视频显示模块进行显示。

上述设计方案的工作原理是：所述后视镜智能调整模块基于当前观测视野对所述后视镜进行自动调整，所述视频显示模块通过对所述前摄像头和后摄像头获取到的视频经过处理后上传至视频显示模块，所述视频显示模块按照设定的规则进行显示，所述目标识别模块对视频中的行人车辆进行识别标记。

上述设计方案的有益效果是：通过后视镜智能调整模块实现了对所述后视镜的智能调整，提高了调整的效率和精准度，为驾驶员提供标准视野范围，并且，通过结合视频显示模块显示的前摄像头和后摄像头获取的视频，针对驾驶员的驾驶过程精准的提供汽车周围的情况，辅助驾驶员的操作，提高了驾驶过程中的安全性。

实施例2：

基于实施例1的基础上，本发明实施例提供一种汽车全时视觉辅助后视镜系统，如图2所示，后视镜智能调整模块，用于基于当前观测视野对所述后视镜进行调整包括：

获取单元，用于基于所述当前观测视野，获取所述后视镜当前的角度以及驾驶座椅的高度、所述驾驶座椅和方向盘之间的距离；

确定单元，用于根据预先设置的所述驾驶座椅的高度、所述驾驶座椅和方向盘之间的距离与所述后视镜角度的对应关系，并基于所述后视镜当前的角度，确定所述后视镜的第一调整角度和第一调整方向；

预调整单元，用于将所述后视镜按照所述第一调整角度和第一调整方向进行预调整；

感知单元，用于感知所述驾驶座椅是否有驾驶员，若是，则获取所述驾驶员眼球的高度、与所述方向盘之间的距离；

所述确定单元，还用于确定所述驾驶员眼球的高度、与所述方向盘之间的距离和所述后视镜的对应关系，并基于所述后视镜预调整后角度，确定所述后视镜的第二调整角度和第二调整方向；

调整单元，用于当所述第一调整方向和第二调整方向相同时，判断所述第一调整角度和第二调整角度的和是否小于第一预设角度；

若是，将所述后视镜按照所述第二调整角度和第二调整方向进行调整；

否则，将所述后视镜调整至标准角度；

所述调整单元，还用于当所述第一调整方向和第二调整方向不同时，判断所述第一调整角度和第二调整角度的差值绝对值是否小于第二预设角度；

若是，将所述后视镜按照所述第二调整角度和第二调整方向进行调整；

否则，对所述后视镜调整至所述标准角度。

在该实施例中，所述驾驶座椅和方向盘之间的距离与所述后视镜主体角度的对应关系可以通过搜集大量汽车驾驶过程中的座椅信息和后视镜信息进行分析统计得到。

在该实施例中，所述驾驶员眼球的高度、与所述方向盘之间的距离和所述后视镜主体的对应关系要保证驾驶员在所述后视镜主体看到的视野中汽车车身占据镜面范围的1/4。

在该实施例中，所述第一预设角度的取值为30度。

在该实施例中，所述第二预设角度的取值为20度。

在该实施例中，所述标准角度是指所述后视镜主体的中心至驾驶员两眼点中心连线与基准面间的夹角为35度。

上述设计方案的有益效果是：通过所述获取单元和感知单元获取驾驶座椅和驾驶员的信息，并根据对所述驾驶座椅和驾驶员的信息对所述后视镜进行精准的调整，并通过调整单元对调整角度进行判断和修正，使得所述后视镜达到最佳的视野效果，为驾驶员提供标准的视野范围。

实施例3：

基于实施例2的基础上，本发明实施例提供一种汽车全时视觉辅助后视镜系统，如图2所示，后视镜智能调整模块，用用于基于当前观测视野对所述后视镜进行调整，还包括：

信息获取单元，用于当所述感知单元检测到有驾驶员时，对所述驾驶员进行扫描，获取所述驾驶员的人体特征信息，并将所述人体特征信息进行存储；

调整记录单元，用于记录每次所述调整单元对所述后视镜的最终调整结果；

匹配单元，用于将所述驾驶员的人体特征信息与对应的最终调整结果进行匹配，建立匹配标签；

所述感知单元，还用于检测所述驾驶座椅的当前驾驶员是否为已建立匹配标签的同一驾驶员，若是，不对所述当前驾驶员进行扫描；

否则，将所述当前驾驶员作为第二驾驶员，并基于所述信息获取单元进行扫描，获得所述第二驾驶员的人体特征信息；

查询单元，用于查询所述信息获取单元中是否存储有所述第二驾驶员的人体特征信息，若是，获取与所述第二驾驶员的人体特征信息对应的匹配标签，并根据所述匹配标签获得对应的最终调整结果；

所述调整单元，还用于按照所述最终调整结果对所述后视镜进行调整。

在该实施例中，所述最终调整结果为经过所述调整单元调整后的所述后视镜的最终角度。

在该实施例中，所述第二驾驶员是为与所述驾驶员进行区别，且所述第二驾驶员可以是所述驾驶员。

在改实施例中，所述匹配标签用于将所述驾驶员的人体特征信息与对应的最终调整结果建立联系，利用所述匹配标签可以在已知驾驶员的人体特征信息的情况下，调取对应的最终调整结果。

在该实施例中，所述人体特征信息包括面部信息、身高信息、声音信息等可以代表人体特征的信息。

上述设计方案的有益效果是：通过对驾驶员的信息以及对应的后视镜的角度进行记录，可以在下一次感知到同一个驾驶员时，直接调取与之对应的后视镜主体的角度进行调整，提高了对后视镜调整的效率。

实施例4

基于实施例1的基础上，本发明实施例提供一种汽车全时视觉辅助后视镜系统，如图3所示，视频处理模块，用于对监测到的所述视频进行处理、存储包括：

图像获取单元，用于获取所述前摄像头监测到的第一视频和所述后摄像头监测到的第二视频，并获取所述第一视频和第二视频每一帧对应的第一图像和第二图像；

图像处理单元，用于对所述第一图像和第二图像中的像素列进行遍历，得到所述像素列对应的像素值序列，并将所述像素值序列中各像素点的像素值与其对应的权重值相乘得到目标像素值序列；

所述图像处理单元，还用于将所述第一图像和第二图像中的目标像素值序列进行比较，获得所述目标像素值序列相等的部分，得到与所述目标像素值序列相等的部分对应的图像部分，所述图像部分为所述第一图像和第二图像的重叠部分；

图像拼接单元，用于利用最佳缝合线算法获取所述重叠部分的拼接缝，并基于所述拼接缝对所述第一图像和第二图像进行拼接；

视频拼接单元，用于将所述每一帧对应的第一图像和第二图像进行拼接，得到若干拼接图像，将所述拼接图像按照帧的顺序进行排列，得到所述第一视频和第二视频的拼接视频，并将所述拼接视频作为汽车侧方视频；

视频存储单元，用于存储所述汽车侧方视频。

在该实施例中，所述像素值序列为像素列中各个像素点的像素值集合。

在该实施例中，所述目标像素值序列为进行加权后的像素列中各个像素点的像素值集合。

在该实施例中，所述各像素点的权重值依据所述像素点对所述第一图像或第二图像的拼接效果获得，取值为[0,1]，取值越大，对所述拼接效果的影响越大。

在该实施例中，所述最佳缝合线算法可以消除所述重叠部分运动物体的重影和鬼影问题。

上述设计方案的有益效果是：利用最佳缝合线算法获取重叠部分的拼接缝，可以消除所述重叠部分运动物体的重影和鬼影问题，提高了拼接图像的清晰度，通过将所述第一视频和第二视频进行拼接可以完整的得到汽车侧方视频，为驾驶员提供直观的汽车后方情况。

实施例5：

基于实施例1的基础上，本发明实施例提供一种汽车全时视觉辅助后视镜系统，还包括：

倒车摄像头，用于监测汽车后方的情况，并将获取到的汽车后方视频进行存储。

上述设计方案的有益效果是：通过倒车摄像头可以在汽车倒车时监测汽车后方的情况，辅助倒车。

实施例6：

基于实施例1的基础上，本发明实施例提供一种汽车全时视觉辅助后视镜系统，如图4所示，视频显示模块，用于对所述处理后的视频进行显示包括：

视频接收单元，用于接收所述汽车侧方视频、汽车后方视频；

信号接收单元，用于接收汽车在驾驶过程中汽车信号灯的发出的信号；

信号判断单元，用于对接收到的信号进行判断，若所述信号为汽车转向灯信号，则输出第一指令，若所述信号为汽车倒车灯信号，则输出第二指令；

车载显示屏单元，用于当接收到所述第一指令时，将所述汽车侧方视频进行显示；当接收所述第二指令时，将所述汽车后方视频进行显示。

在该实施例中，所述第一指令是指将与所述汽车侧方视频进行显示相关的准备指令。

在该实施例中，所述第二指令是指将与所述汽车后方视频进行显示相关的准备指令。

上述设计方案的有益效果是：通过接收汽车信号灯的信号来判断汽车的行驶状态，当汽车转弯时，显示汽车侧方视频；当汽车倒车时，显示汽车后方视频，依据驾驶员的驾驶状态提供相应的路况信息，辅助驾驶员的操作。

实施例7

基于实施例1的基础上，本发明提供一种汽车全时视觉辅助后视镜系统，如图5所示，目标识别模块，用于对处理后的视频进行识别分析，确定所述视频中行人车辆信息，包括：

模型建立单元，用于将数据库中行人、车辆的作为训练样本，输入到人工神经网络模型中进行特征提取，获得所述行人、车辆的基本特征，并利用所述行人、车辆的基本特征建立目标识别模型；

模型识别单元，用于将所述处理后的视频进行逐帧拆解得到多个处理图像，并将所述多个处理图像输入至所述目标识别模型中，获得所述处理图像中行人、车辆的目标区域图像；

提取单元，用于利用轮廓提取算法获取所述目标区域图像中所述行人、车辆的边缘特征点，并对所述边缘特征点进行连接得到轮廓曲线，且沿着所述轮廓曲线进行划分，从所述目标区域图像提取行人、车辆初始区域；

第一计算单元，用于获取所述行人、车辆初始区域中各个像素点的像素值，并基于所述各个像素点的像素值生成像素分布图，并预先设置每个像素值的权重系数，基于所述像素分布图获取所述各个像素点的像素值的初始概率，并计算所述像素值的初始概率与其对应权重系数的乘积，得到所述各个像素点的概率；

判断单元，用于确定相邻两个像素点概率的差值是否在预设范围内；

若是，则保留所述两个像素点对应的图像部分；

否则，则去除所述两个像素点对应的图像部分；

获取保留下来的图像部分，即为所述行人、车辆的最终区域；

标记单元，用于对所述最终区域进行动态标记，利用所述动态标记实现对所述行人、车辆的目标跟踪，并将所述行人、车辆作为第一运动目标。

在该实施例中，所述行人的基本特征包括面部、四肢、动作等信息，所述车辆的基本特征包括轮胎、车身等信息。

在该实施例中，所述像素分布图的横坐标为像素点的像素值，纵坐标为像素值出现的频率。

在该实施例中，所述权重系数的设置与其对应的像素值对行人、车辆获取的影响有关，权重系数越大，影响越大，且所述权重系数的取值为[0，1]。

上述设计方案的有益效果是：通过对视频中行人、车辆进行识别标记，实现目标跟踪，掌握行人、车辆的动态信息，进一步辅助驾驶员的操作。

实施例8

基于实施例1的基础上，本发明实施例提供一种汽车全时视觉辅助后视镜系统，如图6所示，还包括：

分析模块，用于对所述第一运动目标进行分析，其具体包括：

估计单元，用于估计所述第一运动目标与所述汽车之间的距离，并从所述第一运动目标中提取与所述汽车之间的距离最近的目标，作为第二运动目标；

坐标建立单元，基于处理后的视频，以获取所述第二运动目标的摄像头为原点，到所述第二运动目标所在地面为y轴，建立一维坐标系；

第二计算单元，用于根据如下公式准确计算所述第二运动目标与所述汽车之间的距离：

其中，S表示所述第二运动目标与所述汽车之间的距离，ε表示误差系数，取值为[0.7，0.9]，m表示所述第二运动目标的纵向单位像素，n表示所述第二运动目标的横向单位像素，

获得所述第二运动目标的运动方向、运动速度以及所述汽车的驾驶速度和驾驶方向，并根据如下公式计算所述汽车的安全距离：

其中，S

报警单元，用于判断所述第二运动目标与汽车之间的距离是否小于所述安全距离：

若是，通过语音提醒所述驾驶员当前驾驶过程处于安全状态；

否则，通过语音提醒所述驾驶员当前驾驶过程存在安全隐患，并进行报警提醒，直到所述第二运动目标与汽车之间的距离小于所述安全距离时，停止报警提醒。

在该实施例中，若汽车处于转弯状态，所述第二运动目标的摄像头为所述前摄像头或后摄像头；若汽车处于倒车状态，所述第二运动目标的摄像头为所述倒车摄像头。

在该实施例中，所述纵向单位像素和横向单位像素和所述第二运动目标的分辨率有关，例如，所述第二运动目标的分辨率为600*800，则所述纵向单位像素为800，所述横向单位像素为600。

在该实施例中，所述单位像素为所述纵向单位像素和横向单位像素的乘积。

在该实施例中，所述第二运动目标的坐标值表示第二运动目标在所述y轴上的位置，且所述坐标值为一维坐标值。

上述设计方案的有益效果是：通过确定汽车周围情况中距离最近的行人或车辆，并通过视频中运动目标的参数准确计算所述运动目标与所述汽车的距离，并通过考虑驾驶员的反应时间、路况附着系数等来计算所述汽车的安全距离，使得到的安全距离更加符合实际情况，并通过语音和报警来辅助驾驶员的操作，提高了驾驶过程中的安全性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。