基于交通数据中台的道路诱导设施故障排查方法及系统

技术领域

本申请涉及人工智能领域，具体涉及一种基于交通数据中台的道路诱导设施故障排查方法及系统。

背景技术

现有技术通常并不对已安装的视线诱导设施进行故障排查，而是在部署视线诱导设施时进行设计及规范化安装；由于天气、材料等不可控因素，对视线诱导设施进行故障排查以确保视线诱导设施对安全驾驶起到有益效果是十分必要的。

发明内容

为了解决上述问题，本发明提出一种基于交通数据中台的道路诱导设施故障排查方法，该方法包括：

基于目标区域内的车辆获取道路图像，对道路图像进行处理得到视区大小，当视区大小小于预设视区大小阈值时，基于道路图像得到道路边缘图像，基于每个像素点的色调值对道路边缘图像中的像素点进行分类，得到若干目标像素点集合，对目标像素点集合进行筛选，若筛选后不存在目标像素点集合，则生成第一故障排查结果；若存在，则目标像素点集合为道路视线诱导设施集合；

对道路视线诱导设施集合进行连通域分析，在各个连通域中心点生成视线诱导设施代表点，包括视线诱导设施代表点的图像为视线诱导设施识别图像；将视线诱导设施识别图像与预先构建好的图像库中的视线诱导设施标准图像进行相似度对比；若不相似，则生成第二故障排查结果；

根据第一故障排查结果或第二故障排查结果生成相应的提示信息，提示信息通过数据中台传输至终端。

所述方法还包括：基于数据中台中存储的交通事故数据将道路划分为第一类子区域、第二类子区域，其中，第一类子区域的交通事故发生率高于第二类子区域；车流量小于预设要求的第二类子区域中的车辆要驶入的下一第二类子区域为目标子区域；目标区域包括第一类子区域和目标子区域。

所述方法还包括：提取道路图像中的道路侧边像素点后构建道路侧边二值图，对道路侧边二值图中的道路侧边像素点区域进行膨胀后得到新的二值图，新的二值图与道路图像相乘得到所述道路边缘图像。

所述得到若干目标像素点集合的过程为：将道路边缘图像中每个像素点的色调值映射到极坐标系中，利用聚类算法对极坐标系中的像素点进行聚类得到若干目标像素点集合。

所述聚类包括第一次聚类和第二次聚类，根据第一次聚类的结果设置第二次聚类的聚类参数；每次聚类得到的像素点集合为目标像素点集合。

进一步地，利用DBSCAN聚类算法进行聚类，第一次聚类的聚类半径为r

进一步地，所述筛选包括初步筛选：

对于每个目标像素点集合：对目标像素点集合进行连通域分析，得到若干连通域，沿车辆行驶方向选择两端的两个连通域，根据两个连通域中心点连线得到连线二值图，在连线二值图中对中心点连线进行膨胀，得到和所述新的二值图大小相同的验证图像；计算验证图像和所述二值图中膨胀区域的交并比，若交并比大于交并比阈值，则该目标像素点集合保留。

进一步地，所述初步筛选还包括基于目标像素点集合的连通域的分布规律进行进一步筛选：

对于每个保留下来的目标像素点集合：沿车辆行驶方向为该目标像素点集合的连通域进行标号，标号取值范围为[1,x]，x为连通域个数，则标号为d的连通域中心点与标号为d+1的连通域中心点相隔z

获取车辆行驶方向的单位向量B，并根据标号为d、d+1的连通域的最小外接矩形得到单位向量A

将z

所述方法还包括对初步筛选后剩余的每个目标像素点集合进行再次筛选：判断当前是白天还是夜晚，若是白天，则计算该目标像素点集合中每个连通域灰度均值与相应的连通域邻域灰度均值的灰度差值绝对值，若存在灰度差值绝对值小于灰度阈值，则该目标像素点集合不保留；若是夜晚，根据该目标像素点集合中像素点的明度差值最大值判断该目标像素点集合是否保留。

本发明还提出一种基于交通数据中台的道路诱导设施故障排查系统，该系统包括：

道路视线诱导设施识别检测子系统：基于目标区域内的车辆获取道路图像，对道路图像进行处理得到视区大小，当视区大小小于预设视区大小阈值时，基于道路图像得到道路边缘图像，基于每个像素点的色调值对道路边缘图像中的像素点进行分类，得到若干目标像素点集合，对目标像素点集合进行筛选，若筛选后不存在目标像素点集合，则生成第一故障排查结果；若存在，则目标像素点集合为道路视线诱导设施集合；

道路视线诱导设施缺损检测子系统：对道路视线诱导设施集合进行连通域分析，在各个连通域中心点生成视线诱导设施代表点，包括视线诱导设施代表点的图像为视线诱导设施识别图像；将视线诱导设施识别图像与预先构建好的图像库中的视线诱导设施标准图像进行相似度对比；若不相似，则生成第二故障排查结果；

故障排查结果传输子系统：根据第一故障排查结果或第二故障排查结果生成相应的提示信息，提示信息通过数据中台传输至终端。

本发明的有益效果在于：

1.本发明可准确识别各种类型的视线诱导设施，相较于常规利用神经网络进行识别的方法，准确率较高，适用性好。

2.本发明通过数据中台中存储的数据划分子区域并进行数据传输，提高了有效数据的传输效率同时也避免了冗余数据的传输。

3.本发明可以在检测到视线诱导设施缺失或损坏时及时生成提示信息，并将提示信息发送给相关人员，便于相关人员及时修复或更换视线诱导设施。

具体实施方式

为了让本领域技术人员更好的理解本发明，下面结合实施例对本发明进行详细描述。

本发明的目的是实现视线诱导设施的故障排查；视线诱导设施具有明显的视觉特征，因此本发明通过针对性的图像处理的方式可以将视线诱导设施识别出来；同时，根据视线诱导设施的部署规则，可以在图像中预测出其部署位置，通过预测结果与视觉感知结果对比，即可实现故障的排查和评估。

实施例以高速公路为应用场景，高速公路各路段均部署有路侧单元，数据中台可与高速公路上的车辆进行数据的交互；具体地：

基于数据中台中存储的历史交通事故数据将道路划分为第一类子区域、第二类子区域，各子区域具有连通特性，子区域间进行定点交互可避免冗余数据交互且提高有效数据的传输效率，具体地，历史交通事故数据包括事故发生地点、发生时间、事故类型等，根据历史交通事故数据确定事故多发路段和非事故多发路段；基于道路交通事故成因分析结果可知，由于驾驶人观察和判断错误造成的交通事故占比为84.1％，因此将事故多发路段划分为第一类子区域；由于实际驾驶过程中，在车辆较少的情况下，驾驶人视野中参照物较少，容易发生交通事故，因此非事故多发路段也应进行评估，将非事故多发路段基于等分划分为第二类子区域；

子区域间具有连通性，且高速公路为单向车道，因此存在两种连通方式，一对一连通方式和二对一连通方式，其中一对一连通方式为同一车道上的两个子区域；二对一连通方式为两条车道汇流至同一车道；基于连通方式可确定后续数据交互的对象。

需要说明的是，所有第一类子区域都需要进行视线诱导设施的故障排查，而对于第二类子区域，只需对车流量小于预设车流量阈值的第二类子区域中的车辆要驶入的第二类子区域进行视线诱导设施的故障排查，因此，需要基于车流量在第二类子区域中选择目标子区域，具体地：

通过各子区域路侧单元进行车流量预测，确定需要进行视线诱导设施故障排查的第二类子区域，保证车辆通行的安全性；其中，车流量预测通过车流量预测网络实现，每个第二类子区域均需定时进行车流量预测，目前能够较好实现车流量预测的网络或开源项目较多，是一种主流的计算机视觉任务，具体使用何种方式进行车流量的预测，本发明不做约束，仅举例车流量预测常用网络架构包括CNN+LSTM、CNN+TCN或GNN+LSTM等。

设置车流量阈值，对于一对一连通方式，当某一第二类子区域预测车流量小于该车流量阈值时，与该第二类子区域相连的车辆将要驶入的下一第二类子区域为目标子区域即需进行视线诱导设施故障排查；对于二对一连通方式，当汇流前两个第二类子区域预测车流量之和小于该车流量阈值时，该汇流后的第二类子区域为目标子区域即需进行视线诱导设施故障排查。

至此，完整目标子区域的选择。

基于目标区域内的车辆获取位置信息和行车记录仪道路视频信息，目标区域包括第一类子区域和目标子区域；按照时间顺序，基于道路视频信息得到道路图像，对道路图像进行处理得到实际视区大小：

步骤a，通过语义分割网络对单帧道路图像进行处理，输出的语义分割图中，像素类别为道路的像素点的像素值为1，像素类别为道路标线的像素点的像素值为2，其他无关类别的像素点的像素类别为0。

步骤b，在语义分割图建立像素坐标系，纵轴为i，横轴为j，某一像素点的坐标为(i,j)，表示该像素点在语义分割图中位于第i行第j列，获取语义分割图中i值最小的像素值为1的一行像素点，在该行像素点中获取j值最大和最小的像素点，得到点p

步骤c，对语义分割图中像素值为2的像素点进行连通域分析，得到多个标线连通域，所述道路标线为虚线，选择像素点位于图像视区中最多的连通域，取该连通域的外接矩形，外接矩形的长边长度作为参考长度L；则实际视区大小为：

至此，得到视区大小即实际视区大小。

当视区大小小于预设视区大小阈值时，基于道路图像得到道路边缘图像，具体方法为：提取道路图像中的道路侧边像素点即在语义分割图每一行中都提取像素值为1且j值最大和最小的两个道路侧边像素点，基于提取出来的多个道路侧边像素点得到道路侧边二值图，道路侧边二值图中道路侧边像素点值为1，其他像素点值为0，图像大小和语义分割图相同，对道路侧边二值图中像素值为1的区域进行n次膨胀操作后得到新的二值图，新的二值图与道路图像相乘得到所述道路边缘图像；其中，n＝[k

基于每个像素点的色调值对道路边缘图像中的像素点进行分类，得到若干目标像素点集合：

步骤a，将道路边缘图像转换至HSV空间，以消除亮度因素对于颜色的影响，并获取道路边缘图像中每个像素点的色调值，将每个像素点的色调值映射到极坐标系中，极坐标系中每个像素点的极径ρ值固定，θ表示像素点的色调值，利用聚类算法对极坐标系中的像素点进行两次聚类，每次聚类得到的像素点集合为目标像素点集合。

实施例中聚类算法为DBSCAN聚类算法，第一次聚类的聚类半径为r

进行两次聚类的原因为考虑到视觉中除标准色以外的颜色出现较多的情况，此时颜色可能会受到周围环境如阴影等的影响，导致同一物体的色调值不同，此时为避免该物体的像素点被分到两个像素点集合中为后续处理带来干扰，本发明根据第一次的聚类结果设置第二次聚类的参数。

步骤b，对多个目标像素点集合进行筛选，具体筛选过程包括初步筛选和再次筛选，其中，初步筛选为：

对于每个目标像素点集合：对目标像素点集合进行连通域分析，得到若干连通域，沿道路行驶方向选择两端的两个连通域即选择连通域中心点i坐标最大和最小的两个连通域，根据两个连通域中心点连线得到连线二值图，在连线二值图中以两个连通域中心点连线为中心线进行膨胀操作，得到和新的二值图大小相同的验证图像，验证图像中像素值为1的区域为膨胀区域，其他区域像素点的值为0；计算验证图像和新的二值图中像素值为1的膨胀区域的交并比，若交并比大于交并比阈值，则该目标像素点集合保留；实施例中交并比阈值为0.3。

初步筛选还包括基于目标像素点集合的连通域的分布规律进行进一步筛选：

对于每个保留下来的目标像素点集合：

对该目标像素点集合中的像素点进行映射，得到映射二值图，映射二值图中属于该目标像素点集合的像素点的像素值为1，其他像素点像素值为0；对映射二值图进行连通域分析，并沿车辆行驶方向为该目标像素点集合对应的连通域进行标号，标号取值范围为[1,x]，x为连通域个数，在映射二值图中设置像素坐标系，标号为d的连通域中心点的纵坐标减去标号为d+1的连通域中心点的纵坐标得到z

根据车辆行驶方向得到单位向量B，根据标号为d、d+1的连通域的中心点的切线得到单位向量A

将z

其中，映射函数的获取过程为：在道路图像中设置像素坐标系并选择一条道路侧边，将单位向量B沿车辆行驶方向进行延长，所选择的道路侧边与延长后的向量存在交点；所选道路侧边上的每个像素点对应一个缩放值，缩放值基于道路图像每个道路侧边像素点大小与该像素点对应的道路侧边在真实世界的长度得到，即在道路图像中，i坐标越小的道路侧边像素点对应的道路侧边在真实世界中的长度越长；沿车辆行驶方向，像素点对应的缩放值递增即i坐标越小的道路侧边像素点对应的缩放值越大。

任选两个道路侧边像素点，第一像素点对应缩放值K

对初步筛选后剩余的每个目标像素点集合进行再次筛选：提取道路图像中的道路标线，并根据道路标线像素点的明度值差值判断是白天还是夜晚，具体地，设置像素坐标系，在道路标线像素点中选择纵坐标最大和最小的两个像素点，对道路图像进行HSV色彩空间转换，判断所选两个道路标线像素点的明度差值绝对值是否超过第一明度阈值，若超过，则当前环境为夜晚，否则，当前环境为白天；其中，实施例中第一明度阈值为0.2。

若是白天，则计算该目标像素点集合中每个连通域灰度均值与相应的连通域邻域灰度均值的灰度差值绝对值，若存在灰度差值绝对值小于灰度阈值，则该目标像素点集合不保留；实施例中灰度阈值设为30；其中，每个连通域的邻域的获取方法为：对该连通域进行膨胀操作，膨胀后的连通域减去膨胀前的连通域即为连通域邻域。

若是夜晚，根据该目标像素点集合中像素点的明度差值最大值判断该目标像素点集合是否保留，即在该目标像素点集合对应的映射二值图中设置像素坐标系，在映射二值图中选择纵坐标最大和最小的两个像素值为1的像素点，判断所选两个像素点的明度差值绝对值，当明度差值绝对值大于第二明度阈值时，该目标像素点集合保留；实施例中第二明度阈值设为0.4，实施者可根据实际情况对第一明度阈值、第二明度阈值进行调整。

判断经过筛选后是否存在目标像素点集合，若筛选后不存在目标像素点集合，则生成第一故障排查结果，第一故障排查结果对应的情况为无视线诱导设施；若存在，则像素点集合为道路视线诱导设施集合；对道路视线诱导设施集合进行连通域分析，得到多个连通域，根据各个连通域中心点生成视线诱导设施代表点，实施例中在道路图像中的连通域中心点通过高斯核卷积生成热斑，则包括视线诱导设施代表点即热斑的图像为视线诱导设施识别图像；将视线诱导设施识别图像与预先构建好的图像库中的视线诱导设施标准图像进行相似度对比；若相似度大于等于相似度阈值，判断视线诱导设施正常，否则，判断视线诱导设施异常，生成第二故障排查结果；其中，图像库的构建方法为：

对道路侧边二值图中像素值为1的区域进行n次膨胀操作后得到新的二值图，获取新的二值图中像素值为1的区域为膨胀区域，将膨胀区域定义为上膨胀区域和下膨胀区域，为满足低位原则，具体定义方法为：对于行车记录仪获取的道路图像，判断道路图像中道路侧边的位置，若道路侧边在道路图像中位于左侧，则道路侧边的左侧为上膨胀区域，右侧为下膨胀区域；若道路侧边在道路图像中位于右侧，则道路侧边的右侧为上膨胀区域，左侧为下膨胀区域；根据膨胀区域获取预测膨胀区域，预测膨胀区域包括n次膨胀后的下膨胀区域和

根据膨胀次数将预测膨胀区域划分为Q

至此，得到视线诱导设施故障排查结果。

根据第一故障排查结果或第二故障排查结果生成相应的提示信息，提示信息通过数据中台传输至终端；其中，终端包括运维终端和高速公路车辆终端，当发送终端为运维终端时，根据第一故障排查结果对应生成第一提示信息，提示运维终端进行视线诱导设施的安装，或根据第二故障排查结果对应生成第二提示信息，提示运维终端进行视线诱导设施的检修；当发送终端为车辆终端时，根据第一故障排查结果或第二故障排查结果生成第三提示信息，此时视线诱导设施未安装或出现缺损，因此需要生成第三提示信息提醒车辆终端集中注意力，第三提示信息通过数据中台传输至视线诱导设施出现故障的子区域以及与故障子区域连通的子区域内的车辆。

基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于交通数据中台的道路诱导设施故障排查系统，该系统包括：

道路视线诱导设施识别检测子系统：基于目标区域内的车辆获取道路图像，对道路图像进行处理得到视区大小，当视区大小小于预设视区大小阈值时，基于道路图像得到道路边缘图像，基于每个像素点的色调值对道路边缘图像中的像素点进行分类，得到若干目标像素点集合，对目标像素点集合进行筛选，若筛选后不存在目标像素点集合，则生成第一故障排查结果；若存在，则目标像素点集合为道路视线诱导设施集合；

道路视线诱导设施缺损检测子系统：对道路视线诱导设施集合进行连通域分析，在各个连通域中心点生成视线诱导设施代表点，包括视线诱导设施代表点的图像为视线诱导设施识别图像；将视线诱导设施识别图像与预先构建好的图像库中的视线诱导设施标准图像进行相似度对比；若不相似，则生成第二故障排查结果；

故障排查结果传输子系统：根据第一故障排查结果或第二故障排查结果生成相应的提示信息，提示信息通过数据中台传输至终端。

关于系统实施例，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可；以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明，凡是在本发明精神和原则之内做出的修改与变动皆在本发明的保护范围内。