一种基于多毫米波雷达和视觉的露天矿障碍物检测方法

技术领域

本发明涉及感知融合技术领域，尤其涉及一种基于多毫米波雷达和视觉的露天矿障碍物检测方法。

背景技术

在露天矿中，矿车是矿内运输的主要设备，具备体积大、载重大及自重大等特点。矿车在运输过程中，通常使用电制动加机械制动，相比普通乘用车，制动距离相对较长，因此，需要看得更远、更准确。为了安全行驶，矿车安全系统需要感知周围环境，能及早准确地检测出前方的障碍物，作出预警防撞或者避障处理。

目前，对于障碍物的检测以及对道路环境的感知，逐渐从单一传感器转移到多传感器信息融合上，常用的传感器主要有毫米波雷达传感器、激光雷达传感器和视觉传感器（例如摄像头）等，每种传感器都有自己的优劣势。毫米波雷达传感器可以获取目标的距离和速度信息，测量精度也相对较高，不受环境光照条件的影响，受恶劣天气的影响也小，对于烟雾和尘埃也具有较好的穿透能力；主流较成熟的商用毫米波雷达传感器可测量目标的二维位置和速度信息，提供原始点云和目标级两种模式数据，对于目标识别技术尚未发展到成熟阶段，识别准确性还需要提高，价格方面比较适中，在几千级别。激光雷达传感器可测量目标的三维位置信息，测量精度比普通的毫米波雷达传感器要高，对光照环境的变化不敏感，但是当环境中存在较多的尘埃和颗粒物时，感知精度会受到较大的影响；大部分商用的激光雷达提供的是点云数据，需要设计开发目标检测算法检测出目标、目标形状特征识别算法识别目标以及运动状态估计算法估计出速度等信息，价格和成本相对较高，价格在几万级别。视觉传感器与其他传感器相比，可以对目标进行识别；随着硬件和算法的发展，检测和识别的实时性和准确性也越来越高，市场价格越来越合理，在几千级别，但是受视野范围影响，在较远处的测距性能相对差一些，而且在恶劣的环境以及光照较弱环境下信息感知会不同程度的失效；商用的视觉传感器提供目标级模式数据。

多传感器融合的感知系统多应用在公开道路环境的乘用车上。矿区的环境特殊，与公开道路环境不同，矿内环境通常会有沙尘碎石，道路依山傍崖，因此，道路两旁会设置挡墙，没有车道线，已有的车道线检测不能应用于矿区内，而且视觉传感器的可行驶区域边界提取的是近距离的范围，还受光照条件的限制。矿内的矿车与乘用车相比，体积和外形不同，需要合理设计传感器的布置和安装，矿车是全天作业，还需要综合考虑适用性的选择传感器，同时需要研究适配的多传感器融合算法来检测车前方的障碍物。

发明内容

有鉴于此，本发明提供了一种基于多毫米波雷达和视觉的露天矿障碍物检测方法，用以为矿车安全系统的预警防撞或者避障处理提供基础，从而减少事故的发生，提高矿车的安全性能。

本发明提供的一种基于多毫米波雷达和视觉的露天矿障碍物检测方法，包括如下步骤：

S1：将近距毫米波雷达传感器安装在矿车前横向中间位置，在近距毫米波雷达传感器的正上方向上依次安装远距毫米波雷达传感器和视觉传感器，两个雷达传感器的滚转角、俯仰角和方位角均为零；

S2：分别对三个传感器检测到的障碍物目标进行坐标系转换，转换到以近距毫米波雷达传感器的中心为原点的坐标系下；

S3：滤除超出感兴趣区域的距离范围和矿车的速度范围的雷达目标；其中，雷达目标为两个雷达传感器检测到的障碍物目标；

S4：将两个毫米波雷达传感器检测到的雷达目标进行关联；

S5：根据用于表征雷达目标的置信度的信息，滤除虚假的雷达目标；

S6：根据雷达目标的RCS，滤除RCS值小于第一阈值的雷达目标；

S7：对于同一个障碍物目标，在距离门限值和方位角门限值范围内，若两个雷达传感器都能检测到，则将两个雷达传感器检测到的雷达目标进行融合处理；其中，距离门限值为近距毫米波雷达传感器的测距精度的2倍，方位角门限值为近距毫米波雷达传感器的测角精度的2倍；

S8：滤除超出感兴趣区域的距离范围的视觉目标；其中，视觉目标为视觉传感器检测到的障碍物目标；

S9：根据视觉目标与融合后的雷达目标的关联属性，滤除误检测的视觉目标；

S10：对视觉目标和融合后的雷达目标同时进行跟踪处理；

S11：判断在距离测量误差范围内是否检测到视觉目标和融合后的雷达目标；若是，则将视觉目标和融合后的雷达目标进行目标级的融合处理，融合后目标的位置和速度使用雷达目标的位置和速度，融合后目标的其他信息使用视觉目标的信息，并对融合后目标进行跟踪，滤除融合错误的目标；若否，则直接输出视觉目标。

在一种可能的实现方式中，在本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法中，步骤S4，具体包括：

对于同一个障碍物目标，在距离测量误差范围内，若近距毫米波雷达传感器和远距毫米波雷达传感器都能在当前帧检测到，则将近距毫米波雷达传感器当前帧检测到的雷达目标与远距毫米波雷达传感器当前帧检测到的雷达目标关联；

对于同一个障碍物目标，在距离测量误差范围内，若近距毫米波雷达传感器能在当前帧检测到，远距毫米波雷达传感器能在上一帧检测到，则将近距毫米波雷达传感器当前帧检测到的雷达目标与远距毫米波雷达传感器上一帧检测到的雷达目标关联；

对于同一个障碍物目标，在距离测量误差范围内，若近距毫米波雷达传感器能在上一帧检测到，远距毫米波雷达传感器能在当前帧检测到，则将远距毫米波雷达传感器当前帧检测到的雷达目标与近距毫米波雷达传感器上一帧检测到的雷达目标关联；

距离测量误差门限值为两个雷达传感器检测到的雷达目标的距离乘以近距毫米波雷达传感器的测角精度，再加上近距毫米波雷达传感器的测距精度。

在一种可能的实现方式中，在本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法中，步骤S5，具体包括：

根据目标存在概率、目标检测状态、目标跟踪航迹的纵向距离的标准差、目标跟踪航迹的纵向速度的标准差、目标跟踪航迹的横向距离的标准差以及目标跟踪航迹的横向速度的标准差，滤除虚假的雷达目标。

在一种可能的实现方式中，在本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法中，步骤S7中，将两个雷达传感器检测到的雷达目标进行融合处理，具体包括：

判断需要融合的两个雷达目标的RCS的最大值是否大于所有雷达目标的RCS均值；若是，则需要融合的两个雷达目标为强目标，选用RCS最大值对应的雷达目标为融合输出的目标；若否，则需要融合的两个雷达目标为弱目标，对需要融合的两个雷达目标进行属性均值处理得到融合输出的目标。

在一种可能的实现方式中，在本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法中，步骤S9，具体包括：

设置视觉目标与雷达目标的关联属性为0；以视觉目标为中心，分别在第一搜索范围和第二搜索范围内搜索当前帧和上一帧的雷达目标，第一搜索范围为横向

在一种可能的实现方式中，在本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法中，步骤S10，具体包括：

对于视觉目标，采用概率数据互联算法进行关联处理，采用卡尔曼滤波算法进行滤波估计；对于融合后的雷达目标，采用联合概率数据互联算法进行关联处理，采用扩展卡尔曼滤波算法进行滤波估计。

在一种可能的实现方式中，在本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法中，步骤S11中，对融合后目标进行跟踪，滤除融合错误的目标，具体包括：

判断航迹当前帧目标的ID号与下一帧目标的ID号是否相同；若是，则判断下一帧目标的横纵向相对速度是否在航迹当前帧和上两帧目标的横纵向相对速度最小值至最大值的范围内，若是，则更新航迹，将下一帧目标加入航迹跟踪列表中，若否，则滤除目标；若否，则新建目标航迹。

在一种可能的实现方式中，在本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法中，在执行步骤S5之后，在执行步骤S6之前，还包括如下步骤：

SS1：提取矿车的左挡墙内边界和右挡墙内边界，分别滤除左挡墙内边界外的雷达目标和右挡墙内边界外的雷达目标，根据左挡墙内边界和右挡墙内边界判断当前路况是直路还是转弯，用于确定感兴趣区域的横向范围；

SS2：判断左挡墙内边界和右挡墙内边界之间的道路宽度是否大于矿车宽度；若是，则提取的左挡墙内边界和右挡墙内边界有效，直接输出左挡墙内边界和右挡墙内边界范围内的雷达目标，对于左挡墙内边界和右挡墙内边界范围内的雷达目标进行步骤S6的处理；若否，则对检测到的所有雷达目标进行步骤S6的处理。

在一种可能的实现方式中，在本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法中，步骤SS1中，提取矿车的左挡墙内边界和右挡墙内边界，具体包括：

SS11：在矿车前方的感兴趣区域内，由近到远按照分辨单元进行网格划分，得到M行N列的网格图；初步设置网格图的每个网格对应的值为0，将动态属性为静止的雷达目标投影到网格图上，雷达目标所在的网格对应的值为1；

SS12：在网格图上先横向再纵向搜索雷达目标，在第一行网格中，从中心点分别以网格为单元向左右搜索雷达目标，当网格值为1时，存在雷达目标，停止搜索，左右搜索到的雷达目标为边界点，计算左右两个边界点的间距为L(1)；依次搜索完所有行网格，得到M个道路宽度值L(k),k=1,2…,M；

SS13：当道路上存在雷达目标时，M个道路宽度值包含异常值，计算M个道路宽度值的变化量得到M-1个变化量∆L(k),k=1,2…,M-1；如果∆L(k)和∆L(k+1)均大于第二阈值∆L0，则剔除异常值L(k+1)；对于剔除的异常值，将异常值的前一个值和后一个值进行多项式模型拟合，得到新的道路宽度值；对于异常值对应的左右两个边界点，分别用各自的前一个值和后一个值进行多项式模型拟合得到新的左右两个边界点；根据新的道路宽值修正左右两个边界点，再分别在左右两个边界点附近搜索雷达目标，搜索到的雷达目标为边界点，M行的左右两个边界点为左右挡墙内边界。

在一种可能的实现方式中，在本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法中，步骤S8，还包括：

滤除左挡墙内边界外的视觉目标和右挡墙内边界外的视觉目标。

本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法，是一种可以全天候、多信息、高鲁棒性、低成本、可扩展性的矿内大型矿车前方障碍物检测方法，适用于露天矿的挡墙边界内障碍物检测。先对两个毫米波雷达传感器的目标数据进行融合处理，同时提取挡墙内边界，再与预处理后的视觉目标数据进行融合处理，可以降低障碍物目标的漏检测和误检测，提高障碍物检测稳定性，为矿车的安全系统的预警防撞或者避障处理提供基础，从而减少事故的发生，提高矿车的安全性能。

附图说明

图1为本发明实施例1中视觉传感器和两个毫米波雷达传感器在矿车的安装位置示意图；

图2为本发明实施例1中三个传感器检测到的障碍物目标融合处理流程图；

图3为本发明实施例1中障碍物目标的坐标系示意图；

图4为本发明实施例1中三个传感器的检测范围示意图；

图5为本发明实施例1中两个毫米波雷达传感器检测到的障碍物目标融合处理流程图；

图6为本发明实施例1中挡墙内边界提取流程图；

图7为本发明实施例1中视觉与融合后的雷达目标融合处理流程图；

图8为本发明实施例1中视觉目标与融合后的雷达目标关联搜索区域图；

图9为本发明实施例1中对视觉目标和融合后的雷达目标同时进行跟踪处理流程图。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。

本发明提供的一种基于多毫米波雷达和视觉的露天矿障碍物检测方法，包括如下步骤：

S1：将近距毫米波雷达传感器安装在矿车前横向中间位置，在近距毫米波雷达传感器的正上方向上依次安装远距毫米波雷达传感器和视觉传感器，两个雷达传感器的滚转角、俯仰角和方位角均为零；

即，远距毫米波雷达传感器安装在近距毫米波雷达传感器的正上方，视觉传感器安装在远距毫米波雷达传感器的正上方；

S2：分别对三个传感器检测到的障碍物目标进行坐标系转换，转换到以近距毫米波雷达传感器的中心为原点的坐标系下；

S3：滤除超出感兴趣区域的距离范围和矿车的速度范围的雷达目标；其中，雷达目标为两个雷达传感器检测到的障碍物目标；

其中，感兴趣区域可以由感知指标要求确定；

S4：将两个毫米波雷达传感器检测到的雷达目标进行关联；

S5：根据用于表征雷达目标的置信度的信息，滤除虚假的雷达目标；

S6：根据雷达目标的RCS，滤除RCS值小于第一阈值的雷达目标；

S7：对于同一个障碍物目标，在距离门限值和方位角门限值范围内，若两个雷达传感器都能检测到，则将两个雷达传感器检测到的雷达目标进行融合处理；其中，距离门限值为近距毫米波雷达传感器的测距精度的2倍，方位角门限值为近距毫米波雷达传感器的测角精度的2倍；

S8：滤除超出感兴趣区域的距离范围的视觉目标；其中，视觉目标为视觉传感器检测到的障碍物目标；

S9：根据视觉目标与融合后的雷达目标的关联属性，滤除误检测的视觉目标；

S10：对视觉目标和融合后的雷达目标同时进行跟踪处理；

S11：判断在距离测量误差范围内是否检测到视觉目标和融合后的雷达目标；若是，则将视觉目标和融合后的雷达目标进行目标级的融合处理，融合后目标的位置和速度使用雷达目标的位置和速度，融合后目标的其他信息使用视觉目标的信息，并对融合后目标进行跟踪，滤除融合错误的目标；若否，则直接输出视觉目标。

下面通过一个具体的实施例对本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法的具体实施进行详细说明。

实施例1：

选用的传感器的性能说明：视觉传感器和毫米波雷达传感器，主要考虑的是有效工作距离和水平视角，这两个参数与车辆的安全距离和驾驶员的视野有关。根据矿区内的工况，矿车的车速不超过30km/h，安全距离不小于50m，有效工作距离至少70m，参考车速与混视野的关系，水平视角至少90°。传感器在检测性能上，还要兼顾算法的实时性，处理时间长度不超过100ms。

毫米波雷达传感器选择77GHZ的车载雷达，比如，德尔福公司的或者德国大陆公司的车载雷达，毫米波雷达传感器和视觉传感器的性能要求，如表1所示。

表1传感器性能要求

第一步：将近距毫米波雷达传感器安装在矿车车头前横向的中间位置，远距毫米波雷达传感器安装在近距毫米波雷达传感器的正上方，视觉传感器安装在远距毫米波雷达传感器的正上方，两个雷达传感器的滚转角、俯仰角和方位角均为零。

如果像普通乘用车将视觉传感器安装在驾驶舱内，矿车驾驶舱在车的左侧，摄像头的视角会受限制，并且，驾驶舱离地面高度在4m以上，还会影响障碍物的测距，因此，设计视觉传感器安装在矿车驾驶舱外，其摄像头与道路面的倾斜角度保证至少有70m检测距离，且需要安装防护罩，并在车空闲时清洁防护罩。近距毫米波雷达传感器1、远距毫米波雷达传感器2和视觉传感器3在矿车4上的安装位置，如图1中的(a)所示。如图1中的(b)所示，H1是近距毫米波雷达传感器相对于地面的高度，H2是视觉传感器相对于近距毫米波雷达传感器的高度，H3是视觉传感器相对于地面的高度，不同矿车，传感器的安装高度有所差别，重要的是传感器要安装在易固定的位置上。

下面进行三个传感器检测到的障碍物目标的融合处理，流程如图2所示。

第二步：分别对三个传感器检测到的障碍物目标进行坐标系转换，转换到以近距毫米波雷达传感器的中心为原点的坐标系下，矿车的右前方区域位于坐标系的第一象限，矿车的左前方区域位于坐标系的第二象限，如图3所示。

由于三个传感器的安装位置不同，视觉传感器和毫米波雷达传感器输出的目标定义的坐标系不同，需要先进行空间对准，将三个传感器的目标数据都转换到一个统一的坐标系下。如图4所示，视觉传感器的检测区域为图4中点线对应的范围内，检测角度至少为90°（即正负45°），横向左右检测距离至少25m，纵向检测距离至少70m；近距离毫米波雷达传感器的检测区域为图4中实线所组成的范围，检测角度至少为120°，横向左右检测范围至少为25m，纵向检测距离至少70m；远距离毫米波雷达传感器的检测区域为图4中虚线所组成的范围，检测角度至少为18°，纵向检测距离至少100m。图4中，Y1≥70m，Y1≤Y2≤Y3，Y3≥100m，X1≥10m，X2≥15m，X3≥25m，θ1≥120°，θ2≥90°，θ3≥18°。

第三步：两个毫米波雷达传感器目标数据的融合处理，流程如图5所示。

(1)根据感兴趣区域(region of interest，ROI)的距离范围和矿车的速度范围，滤除超出距离范围和速度范围的雷达目标；其中，雷达目标为两个雷达传感器检测到的障碍物目标，感兴趣区域由感知指标要求确定。

为了降低处理的数据量，提高系统的检测率，只关注感兴趣区域。为了更好地适应场景的变换，判断矿车在直线行驶还是在转弯，动态划分感兴趣区域。分析矿区道路情况以及矿车信息，以及矿区对于矿车行驶速度要求不超过40km/h，得到关注的感兴趣区域的距离范围和矿车的速度范围，如表2所示。

表2距离范围和速度范围

(2)将两个毫米波雷达传感器检测到的雷达目标相互关联，滤除没有关联上的虚假目标。

至于时间对准，毫米波雷达传感器和视觉传感器的处理时间存在一定的时间差，大约在10ms到20ms，在实际应用中很难保证数据的同时性，对视觉目标和雷达目标进行融合适合采用异步融合方法，可以不要求传感器数据帧之间的精确对准。

具体地，将近距毫米波雷达传感器当前帧检测到的雷达目标与远距毫米波雷达传感器当前帧检测到的雷达目标进行关联；考虑两个毫米波雷达传感器输出目标存在一定的时间差，因此，还需将近距毫米波雷达传感器当前帧检测到的雷达目标与远距毫米波雷达传感器上一帧检测到的雷达目标进行关联，将远距毫米波雷达传感器当前帧检测到的雷达目标与近距毫米波雷达传感器上一帧检测到的雷达目标进行关联。

具体关联方法为：对于一个毫米波雷达传感器检测到的雷达目标，根据雷达检测性能，设置一定的距离测量误差门限值，在该门限范围内，判断另外一个毫米波雷达传感器是否也能检测到，若是，则两个毫米波雷达传感器检测到的雷达目标是可以关联的，若否，则表示没有关联上。距离测量误差门限值为两个雷达传感器检测到的雷达目标的距离乘以近距毫米波雷达传感器的测角精度，再加上近距毫米波雷达传感器的测距精度。即：

对于同一个障碍物目标，在距离测量误差范围内，若近距毫米波雷达传感器和远距毫米波雷达传感器都能在当前帧检测到，则将近距毫米波雷达传感器当前帧检测到的雷达目标与远距毫米波雷达传感器当前帧检测到的雷达目标关联。

对于同一个障碍物目标，在距离测量误差范围内，若近距毫米波雷达传感器能在当前帧检测到，远距毫米波雷达传感器能在上一帧检测到，则将近距毫米波雷达传感器当前帧检测到的雷达目标与远距毫米波雷达传感器上一帧检测到的雷达目标关联。

对于同一个障碍物目标，在距离测量误差范围内，若近距毫米波雷达传感器能在上一帧检测到，远距毫米波雷达传感器能在当前帧检测到，则将远距毫米波雷达传感器当前帧检测到的雷达目标与近距毫米波雷达传感器上一帧检测到的雷达目标关联。

(3) 根据用于表征雷达目标的置信度的信息，滤除虚假的雷达目标。

由于不同厂商的毫米波雷达传感器的输出目标的信息不同，通过对比分析障碍物目标和不是障碍物目标的输出信息，得到置信度门限值。比如，大陆毫米波雷达传感器，可以用于滤除的目标置信度信息包括：目标检测状态（表示目标是最新检测到的目标、已经确认的目标、预测的目标、合并后的新目标等）、目标存在概率（表示目标存在的可能性）、目标跟踪航迹的纵向距离的标准差、目标跟踪航迹的纵向速度的标准差、目标跟踪航迹的横向距离的标准差以及目标跟踪航迹的横向速度的标准差等。可以根据目标存在概率、目标检测状态、目标跟踪航迹的纵向距离的标准差、目标跟踪航迹的纵向速度的标准差、目标跟踪航迹的横向距离的标准差以及目标跟踪航迹的横向速度的标准差，滤除虚假的雷达目标。

(4) 提取矿车的左挡墙内边界和右挡墙内边界，分别滤除左挡墙内边界外的雷达目标和右挡墙内边界外的雷达目标，根据左挡墙内边界和右挡墙内边界判断当前路况是直路还是转弯，用于确定感兴趣区域的横向范围，以便于下一帧目标信息滤波使用。需要说明的是，由于挡墙具有一定宽度，因此，靠近矿车的一边为内边界，另外一边为外边界。

提取矿车的左挡墙内边界和右挡墙内边界的方法，流程如图6所示：

a) 在矿车前方的感兴趣区域内，由近到远按照分辨单元（例如，0.2m）进行网格划分，得到M行N列的网格图；初步设置网格图的每个网格对应的值为0，将动态属性为静止的雷达目标投影到网格图上，雷达目标所在的网格对应的值为1；

b) 在网格图上先横向再纵向搜索雷达目标，在第一行网格中（即纵向0m~0.2m），从中心点分别以网格为单元向左右搜索雷达目标，当网格值为1时，存在雷达目标，停止搜索，左右搜索到的雷达目标为边界点，计算左右两个边界点的间距为L(1)；依次搜索完所有行网格，得到M个道路宽度值L(k),k=1,2…,M；

c) 当道路上存在雷达目标时，M个道路宽度值包含异常值，计算M个道路宽度值的变化量得到M-1个变化量∆L(k),k=1,2…,M-1；如果∆L(k)和∆L(k+1)均大于第二阈值∆L0，则剔除异常值L(k+1)；对于剔除的异常值，将异常值的前一个值和后一个值进行多项式模型拟合，得到新的道路宽度值；对于异常值对应的左右两个边界点，分别用各自的前一个值和后一个值进行多项式模型拟合得到新的左右两个边界点；根据新的道路宽值修正左右两个边界点，再分别在左右两个边界点附近搜索雷达目标，搜索到的雷达目标为边界点，M行的左右两个边界点为左右挡墙内边界。

(5) 判断左挡墙内边界和右挡墙内边界之间的道路宽度是否大于矿车宽度；若是，则提取的左挡墙内边界和右挡墙内边界有效，直接输出左挡墙内边界和右挡墙内边界范围内的雷达目标，对于左挡墙内边界和右挡墙内边界范围内的雷达目标进行第(6)步的处理；若否，则对检测到的所有雷达目标进行第(6)步的处理。

(6) 根据雷达目标的RCS(雷达散射截面积，Radar Cross Section)，滤除RCS值小于第一阈值的雷达目标。

(7) 对于同一个障碍物目标，在距离门限值和方位角门限值范围内，若两个雷达传感器都能检测到，则将两个雷达传感器检测到的雷达目标进行融合处理；其中，距离门限值为近距毫米波雷达传感器的测距精度的2倍，方位角门限值为近距毫米波雷达传感器的测角精度的2倍，测距精度和测角精度都是根据毫米波雷达传感器的检测性能得到。

将两个雷达传感器检测到的雷达目标进行融合处理的方法为：先判断需要融合的两个雷达目标是否是强目标，若需要融合的两个雷达目标的RCS的最大值大于所有雷达目标的RCS均值，则为强目标，否则为弱目标；如果需要融合的两个雷达目标是强目标，则直接选用RCS最大值对应的雷达目标为融合输出的目标；如果需要融合的两个雷达目标是弱目标，则对需要融合的两个雷达目标进行属性均值处理得到融合输出的目标。对于融合后的雷达目标的尺寸大小，包含被融合的两个雷达目标，即被融合的两个雷达目标在融合后的雷达目标的尺寸框内。

至此，两个毫米波雷达传感器目标数据的融合处理结束，得到融合后的雷达目标。融合后的雷达目标除了障碍物目标，也包含一定的地面目标，因此需要利用视觉传感器来进行滤除。

第四步：视觉目标的预处理。

根据感兴趣区域的距离范围，滤除超出距离范围的视觉目标、左挡墙内边界外的视觉目标和右挡墙内边界外的视觉目标；其中，视觉目标为视觉传感器检测到的障碍物目标。

第五步：融合后的雷达目标与视觉目标的融合处理，流程如图7所示。

(1) 根据视觉目标与融合后的雷达目标的关联属性，滤除误检测的视觉目标。

设置视觉目标与雷达目标的关联属性为0；以视觉目标为中心，分别在第一搜索范围和第二搜索范围内搜索当前帧和上一帧的雷达目标，即进行两次搜索，如图8所示，第一搜索范围为横向

对于雷达目标，由于毫米波雷达传感器的检测灵敏度要比视觉传感器高，即毫米波雷达传感器会比视觉传感器先检测到出现的目标，因此，没有对没有关联上的雷达目标进行滤除。

(2) 对视觉目标和融合后的雷达目标同时进行跟踪处理，流程如图9所示。

对于视觉目标，由于在矿区内，场景比较固定，目标数量相对较少，视觉传感器对于相对近处的目标检测较为稳定，因此，采用概率数据互联算法（Probabilistic DataAssociation，PDA）进行关联处理，采用卡尔曼滤波算法进行滤波估计。

对于融合后的雷达目标，由于毫米波雷达传感器检测输出多个目标，尤其是大型的矿车，因此，采用联合概率数据互联算法（Joint Probabilistic Data Association，JPDA）进行关联处理，采用扩展卡尔曼滤波算法进行滤波估计。

对视觉目标和融合后的雷达目标同时进行跟踪处理得到的航迹，分别计算表示目标置信度的相关属性值：

a) 目标的跟踪持续时间；

b) 根据目标的横纵向位置的变化率分别统计得到目标横纵向速度标准差；

c) 根据目标的角度变化率统计得到偏航角速率标准差；

d) 根据目标的横纵向相对速度的变化率分别统计得到目标的横纵向加速度标准差。

对于目标跟踪持续时间至少要大于两个周期（周期取视觉传感器输出目标周期和毫米波雷达感器输出目标周期的最大值）；对于其他属性，则需要根据统计分析得到门限值。

(3) 判断在距离测量误差范围内是否检测到视觉目标和融合后的雷达目标；若是，则将融合后的雷达目标和视觉目标进行目标级的融合处理，融合后目标的位置和速度使用雷达目标的位置和速度，融合后目标的其他信息（例如，目标跟踪ID号、类别等）使用视觉目标的信息，并对融合后目标进行跟踪，滤除融合错误的目标；若否，则直接输出视觉目标。

对融合后目标进行跟踪，滤除融合错误的目标的方法为：判断航迹当前帧目标的ID号与下一帧目标的ID号是否相同；若是，则判断下一帧目标的横纵向相对速度是否在航迹当前帧和上两帧目标的横纵向相对速度最小值至最大值的范围内，若是，则更新航迹，将下一帧目标加入航迹跟踪列表中，若否，则滤除目标；若否，则新建目标航迹。

至此，三个传感器检测到的障碍物目标的融合处理结束。

本发明提供的上述基于多毫米波雷达和视觉的露天矿障碍物检测方法，是一种可以全天候、多信息、高鲁棒性、低成本、可扩展性的矿内大型矿车前方障碍物检测方法，适用于露天矿的挡墙边界内障碍物检测。先对两个毫米波雷达传感器的目标数据进行融合处理，同时提取挡墙内边界，再与预处理后的视觉目标数据进行融合处理，可以降低障碍物目标的漏检测和误检测，提高障碍物检测稳定性，为矿车的安全系统的预警防撞或者避障处理提供基础，从而减少事故的发生，提高矿车的安全性能。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。