一种基于双目相机的实时弯道侧翻预警系统与方法

技术领域

本发明涉及本发明属于汽车主动安全控制技术领域，具体涉及一种基于双目相机的实时弯道侧翻预警系统与方法。

背景技术

随着经济的快速发展，汽车成了现代人出行首选的代步工具，汽车保有量也随之迅速增加。车辆的逐渐增多导致交通事故呈不断上升趋势。由于交通事故给人民生命财产造成巨大的损失，因此交通安全问题逐步成为人们关注的热点。弯道作为交通事故易发路段，其发生事故频率高、危害程度大，是国内外道路交通安全重点研究对象之一。在弯道事故中，因行驶速度过快引发车辆的侧翻占据相当大的比重，更为引人关注。而且对于全地面起重机这种大型车辆来说，侧翻所造成的危害更是不可限量的。

目前比较常见的道路弯道预警装置有弯道设置减速带，弯道限速标志，弯道警告标志等。这种弯道预警装置预警效果并不理想，目前开发了很多防侧翻系统，有的未考虑悬架的动力学性能，因而限制了在防侧翻控制中的实际应用。有的缺乏对车辆动态运动的考虑，因而其预测性不足。还有的应用成本较高。

发明内容

本发明为克服上述现有技术存在的不足，提供一种基于双目相机的实时弯道侧翻预警系统与方法，给车辆以预警作用，保障车辆安全过弯，防止车辆侧翻。

本发明为解决上述技术问题，通过以下技术方案实现：

一种基于双目相机的实时弯道侧翻预警系统，包括：图像获取模块、图像处理模块、检测模块、信息处理模块、显示模块；

所述图像获取模块将实时获取车辆前方的道路图像传递给图像处理模块；

所述图像处理模块，判断前方是否为弯道，并将所得到前方道路的路面边缘及弯道曲率信息、距离弯道的距离信息传递给信息处理模块；

所述检测模块包括惯性测量单元(IMU)、侧倾角传感器、角速度传感器，并将测得的信息传递给信息处理模块；

所述信息处理模块，接收车辆参数、图像处理模块和检测模块传递来的信息，计算生成侧翻预警信息并传递给显示模块；

所述显示模块用于显示侧翻预警信息并对驾驶员进行语音提醒。

进一步地，所述的图像获取模块由双目相机构成，安装在车辆前端挡风玻璃下面。

进一步地，所述的检测模块安装在车辆惯性参考系质心位置处。

进一步地，所述的显示模块包括LED显示器和报警器。

进一步地，所述的信息处理模块由数据采集卡、计算机组成。

进一步地，所述的图像处理模块为数据采集卡，所述的信息处理模块为计算机。

一种基于双目相机的实时弯道侧翻预警方法，包括以下步骤：

步骤一：利用所述图像获取模块实时采集前方道路图像，对图像进行灰度化处理，提取ROI，中值滤波，直方图均衡化与取反处理等，增强对比度，灰度形态学处理操作，增强道路边界特征；

步骤二，利用Hough变换进行直线检测，得到直线参数，然后对车道内边界进行提取。利用一种改进的河流寻点算法，这个算法是利用Hough变换的直线作为引导线对边界特征点进行提取。在获得边界特征点后，利用随机抽样一致性算法(RANSAC)结合双曲线模型来计算弯道曲率并进行拟合。利用两条线的角度对前方有无弯道进行判断，当角度大于10度时，认为前方存在弯道，结合Hough变换拟合的直线与曲线进行结合运算，算出像素坐标系下的进弯点坐标。利用双目横向平行模式立体视觉模型计算距离弯道的距离，通过立体标定提高测距精度。

步骤三，根据载荷转移比等高线提出一种具有预测能力的车辆侧翻指标(CLRI)。通过得出临界的侧倾角、侧倾角速度、侧倾角加速度，并结合步骤二所得的弯道曲率，可得出通过此弯道的临界速度，再结合惯性测量单元(IMU)测得的车辆行驶速度，对驾驶员进行预警。

进一步地，所述的步骤二中内边界进行提取方法为：

利用一种基于向量叉乘原理的方法对车道内边界进行提取，假设有n条边界线L

F

F

在定义域范围内，F

进一步地，所述的步骤二中双曲线模型为：

式中，(u,v)表示曲线上点的坐标，h表示水平渐近线的v坐标，即为消失线纵坐标，b

进一步地，所述的步骤三中车辆侧翻指标为：

式中，

本发明的有益效果在于：

1、本发明充分考虑了道路边界不平滑以及原视觉区域的复杂环境等影响，所提方法可以避免多边界线的影响，具有道路识别精度高，适应能力强等特点。

2、本发明充分考虑了悬架的动力学性能和车辆动态运动，未将车辆作为刚体模型处理，提高了在防侧翻预警中的实际应用。

3、本发明成本较低，所用装置较少，实用性强。

附图说明

图1本发明的各种传感器的安装位置示意图；

图2本发明的实时弯道侧翻预警系统的实现流程图；

图3本发明的道路的图像处理方法流程图；

图4本发明的道路弯道的检测方法以及曲率的计算的流程图；

图5本发明的道路弯道的预判以及测距的流程图；

图6本发明的预测弯道侧翻临界速度的流程图；

其中，001-图像获取模块，002-检测模块。

具体实施方式

下面结合附图及具体实施例，对本发明进行进一步详细说明。为透彻的理解本发明，在接下来的描述中会涉及一些特定细节。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向，相关技术人员在对上述方向作简单、不需要创造性的调整不应理解为本申请保护范围以外的技术。

在本发明的描述中，除非另有规定或限定，术语“连接”应做广义理解，例如可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接连接，也可以通过中间媒介间接连接，对于本领域技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1及图2所示，本发明的一种基于双目相机的实时弯道侧翻预警系统与方法，应用在汽车起重机中，包括图像获取模块001、图像处理模块、检测模块002、信息处理模块以及显示模块。图像获取模块001由双目相机构成，安装在车辆前端挡风玻璃下面。双目相机具备深度信息，用于实时采集车辆前方的道路图像，可根据判断前方是否有弯道得出的弯道特征点对弯道进行测距，其中弯道进口处为直线结构，在到达弯道前驾驶员就会获得前方弯道曲率、通过弯道的极限车速、距弯道距离等信息，使驾驶员有充分时间做出调整并通过语音对驾驶员进行预警。图像获取模块001与图像处理模块相连，并将其所采集图像信息传输至图像处理模块进行处理。

检测模块002由惯性测量单元(IMU)、侧倾角传感器、角速度传感器构成，安装在车辆惯性参考系质心位置处，用于测量被测车辆的速度、侧倾角、侧倾角速度。

信息处理模块录入车辆参数、检测模块002所采集的数据信息以及图像处理模块处理得到的道路信息。所述车辆参数包括质心高度、侧倾转动惯量、簧载质量、轴距、侧倾中心到质心距离。通过车辆参数和检测模块002采集的数据信息可得出弯道侧翻指标，再结合图像处理模块所得到的道路信息数据预测得到车辆在弯道极限车辆速度，并以此判断是否有侧翻危险的处理信息，然后将所得信息传输到显示模块，显示模块采用LED显示器并安装在驾驶室内，侧翻危险的处理信息显示在LED显示器中，并通过附带报警器对驾驶员进行预警。

其它实施例中，双目相机通过数据线连接图像处理模块，图像处理模块为数据采集卡，所述的信息处理模块为计算机，并将计算机安装在驾驶室内。

基于双目相机的实时弯道侧翻预警方法为：如图3所示，图像处理模块接收到双目相机传递来的图像后，首先对图像进行灰度化，然后进行感兴趣区域的划分，接着通过中值滤波滤除噪点以增强图片信息，对图像进行直方图均衡化处理，并进行取反处理增强对比度，最后通过灰度形态学处理使边缘平滑。

在该过程中，首先将获取的RGB彩色图像通过加权平均法进行灰度化，对R、G、B三通道设置不同的权重，算出图像中该点的灰度值，降低图像的复杂度。对图像进行ROI提取，有效的排除了图像中的无效区域，提升了运行速度。

之后如图4所示，利用Hough变换进行直线检测，得到直线参数，然后利用一种基于向量叉乘原理的方法对车道内边界进行提取。利用提出的一种改进的河流寻点算法，这个算法是利用前文我们所进行的Hough变换的直线作为引导线对边界特征点进行提取。在获得边界特征点后，本发明利用随机抽样一致性算法(Random Sample Consensus,RANSAC)结合双曲线模型来计算弯道曲率并进行拟合。利用两条线的角度对前方有无弯道进行判断，当角度大于10度时，认为前方存在弯道，结合Hough变换拟合的直线与曲线进行结合运算，算出像素坐标系下的进弯点坐标。利用双目横向平行模式立体视觉模型计算距离弯道的距离，通过立体标定提高测距精度。

利用一种基于向量叉乘原理的方法对车道内边界进行提取，假设有n条边界线L

在定义域范围内，F

如表一所示，改进的河流寻点算法是从下到上开始寻点，搜寻过程只能向前或平行移动，通过一个5×2的模板对该点周围几个点的像素值进行比较，把像素值突变最大的点作为边界特征点。

表一搜寻模板，左右两边界通用

q

q

双曲线模型为：

式中，(u,v)表示曲线上点的坐标，h表示水平渐近线的v坐标，即为消失线纵坐标，b

道路左边界的边界特征点集合为Q，道路右边界的边界特征点集合为W。使用随机抽样一致性算法拟合曲线，对于距离小于设定的阈值U的特征点，则可以说曲线模型通过这些特征点，重复N次后，也就建立了N个曲线模型，通过比较各个曲线模型通过的特征点数目，可以选出通过数目最多的曲线模型，即最优模型。重复迭代的次数越多，建立的最优模型越准确。最优模型弯道曲率为k

其中循环次数N可以根据最小迭代次数N

假定外点均值为0，方差为σ，误差的残差符合r维的卡方分布。而残差阈值U的选取为：

式中α为置信概率，U为残差阈值，r为卡方分布的维数。

如图5所示，对两边界的直线与曲线进行比较，根据直线与曲线的角度对前方有无弯道进行判断，当角度大于10度时，认为前方存在弯道。判断角度时，要依据道路左右两边界的直线与曲线的夹角，当两边界大于10度时，才认为前方存在弯道，防止一边由于误差而误判，结合Hough变换拟合的直线与曲线进行结合运算，算出像素坐标系下的进弯点坐标。

最后利用双目横向平行模式立体视觉模型计算距离弯道的距离，通过立体标定提高测距精度。

如图6所示，通过检测模块002测得的数据，以及车辆本身参数，可基于载荷转移比等高线提出一种具有预测能力的车辆侧翻指标(Contour Line of Load Transfer Ratiobased Vehicle Rollover Index,CLRI)。通过得出临界的侧倾角、侧倾角速度、侧倾角加速度，并结合图像处理模块所得的弯道曲率，可得出通过此弯道的临界速度，再结合惯性测量单元(IMU)测得的车辆行驶速度，对驾驶员进行预警。

如果车辆在即将驶入弯道时速度大于或等于弯道侧翻临界车速，则此时车辆很可能将会发生侧翻事故，则显示模块显示当前道路边缘、弯道曲率、距弯道距离、车辆实时车速、侧翻临界车速并发出语音警报提示司机减速慢行防止侧翻。

现有技术中，为计算载荷转移比(LTR)，通常将一侧车轮离地的瞬间定义为临界侧翻点。实际上，由于车辆的惯性，大部分高速行驶的汽车在一侧车轮离地后都会绕轴线翻转90度，发生真正意义上的侧翻。

式中LTR为载荷转移比，a

定义侧翻指标CLRI为：

点A表示当前时刻车辆在侧倾相平面内的侧倾状态，侧倾相轨迹在A点的切线为

侧翻指标CLRI采用时间刻度来量化车辆发生侧翻的风险大小。因此，在使用CLRI的时候，需要设置一个预测时间t。当CLRI大于预测时间t的时候，表示在预测时间内不会侧翻。当在预测时间内刚好侧翻时，记录此时检测模块002测得的数据，结合车辆参数，以及图像处理模块所得的道路信息数据，即可得出弯道侧翻临界速度，然后对驾驶员进行预警，提升弯道行车安全。

应当理解，虽然本发明按照实施例加以描述，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施例。

需要说明的是，以上实施例仅用于解释说明本发明的技术方案，并不用于限定本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。