基于红外图像和可见光图像的交通事件检测方法及装置

技术领域

本发明涉及一种基于红外图像和可见光图像的交通事件检测方法及装置，属于交通事件检测技术领域。

背景技术

近年来，我国城市机动车保有量不断增加，城市交通不堪重负，传统的交通事件完全依靠交警人工干预和处置，耗费了大量的人力成本。但随着技术的发展，基于深度学习的交通事件检测方法开始出现，该系统能够实时的检测交通事件并将检测到的交通事件推送到处理模块，极大节省了人力成本，提升了交管部门的工作效率，增强了城市交通治理水平。

但现有的交通事件检测方法大部分基于可见光图像进行分析，可见光图像会存在较多噪声，且使用传统的图像降噪方法也无法有效的对目标图像进行降噪处理，使用这些图像进行交通事件检测的准确率就会大大降低。

例如，中国专利申请公开号为CN 114781479 A公布的一种交通事件检测方法及装置，同样存在夜晚等低光照条件下，进行交通事件检测准确率低的问题。

上述问题是在基于红外图像和可见光图像的交通事件检测过程中应当予以考虑并解决的问题。

发明内容

本发明的目的是提供一种基于红外图像和可见光图像的交通事件检测方法及装置解决现有技术中存在的低光照条件下交通事件检测准确率有待提高的问题。

本发明的技术解决方案是：

一种基于红外图像和可见光图像的交通事件检测方法，包括以下步骤，

S1、获取待检测道路场景的红外图像和可见光图像；

S2、将获取到的红外图像和可见光图像进行预处理，获得预处理后的红外图像和预处理后的可见光图像；

S3、在预处理后的可见光图像的亮度低于设定阈值时，进入步骤S4；在预处理后的可见光图像的亮度不低于设定阈值时，将预处理后的可见光图像作为待检测图像，进入步骤S5；

S4、使用预先训练好的深度学习图像融合模型对预处理后的红外图像和预处理后的可见光图像进行融合，获得融合图像作为待检测图像，进入下一步骤S5；

S5、将待检测图像输入交通事件检测模型，获得检测结果。

进一步地，步骤S2中，将获取到的红外图像和可见光图像进行预处理，具体为，

S21、对获取到的红外图像和可见光图像进行降噪处理；

S22、对红外图像和可见光图像进行对比度和亮度的调整；

S23、根据红外图像获取到的目标物的红外特征，剔除场景中不带红外特征的干扰物。

进一步地，步骤S22中，对红外图像和可见光图像进行对比度和亮度的调整，具体为，

S221、使用卷积神经网络模型CNN对红外图像和可见光图像分别进行特征提取，分别得到红外图像和可见光图像的特征；

S222、对红外图像和可见光图像的特征进行亮度和对比度标准化；

S223、将可见光图像的特征的亮度与预设阈值进行比较，在可见光图像的特征的亮度高于预设阈值时，将红外图像的特征的亮度和对比度调整至与可见光图像一致；在可见光图像的特征的亮度低于预设阈值时，将可见光图像的特征亮度和对比度调整至与红外图像一致。

进一步地，步骤S222中，对红外图像和可见光图像的特征进行亮度和对比度标准化，具体为，

S2221、对红外图像和可见光图像分别进行亮度标准化：计算特征的均值和标准差，然后将特征的每个值减去均值并除以标准差，以确保特征的均值为零，标准差为一。

S2221、对红外图像和可见光图像分别进行对比度标准化：将特征的每个值缩放到设定范围，以增强对比度。

进一步地，步骤S4中，预先训练好的深度学习图像融合模型采用基于卷积神经网络的通用图像融合框架模型IFCNN、统一的无监督图像融合网络模型U2Fusion、语义感知的实时红外与可见光图像融合网络模型SeAFusion或红外图像和可见图像的融合模型即DenseFuse模型中的任意一种。

进一步地，步骤S5中，交通事件检测模型包括配置单元、基于深度学习的目标检测模型、基于深度学习的目标跟踪模型和参数匹配单元。

进一步地，步骤S5中，将待检测图像输入交通事件检测模型，获得检测结果，具体为，

S51、使用基于深度学习的目标检测模型对待检测图像进行检测，输出检测到的目标信息，包括车辆目标信息、非机动车目标信息和行人目标信息；

S52、使用基于深度学习的目标跟踪模型对步骤S51检测到的目标信息进行跟踪，输出目标轨迹数据；

S53、根据步骤S51和步骤S52输出的目标信息和目标轨迹数据，结合配置单元预先配置的交通事件检测参数，由参数匹配单元进行判定，在符合预先配置的交通事件检测参数时，判定发生相应的交通事件，并将检测到的目标信息和交通事件作为检测结果。

进一步地，基于深度学习的目标检测模型采用目标检测模型YOLO、单步多框目标检测模型SSD或更快的区域卷积神经网络模型即FasterRCNN模型。

进一步地，基于深度学习的目标跟踪模型采用用于目标跟踪的高效卷积神经网络模型ECO、考虑干扰的孪生区域建议网络DaSiamRPN或多领域目标跟踪检测模型即MDNet模型。

一种实现上述任一项所述的基于红外图像和可见光图像的交通事件检测方法的装置，包括图像采集模块、图像预处理模块、检测图像生成模块和交通事件检测模块，

图像采集模块：获取待检测道路场景的红外图像和可见光图像；

图像预处理模块：将获取到的红外图像和可见光图像进行预处理，获得预处理后的红外图像和预处理后的可见光图像；

检测图像生成模块：在预处理后的可见光图像的亮度低于设定阈值时，使用预先训练好的深度学习图像融合模型对预处理后的红外图像和预处理后的可见光图像进行融合，获得融合图像作为待检测图像；在预处理后的可见光图像的亮度不低于设定阈值时，将预处理后的可见光图像作为待检测图像；

交通事件检测模块：将待检测图像输入交通事件检测模型，获得检测结果。

本发明的有益效果是：该种基于红外图像和可见光图像的交通事件检测方法及装置，通过在光照条件充足时使用可见光图像进行检测，在光照条件较低时使用融合后的红外和可见光图像进行交通事件检测，能够保证光照条件充足时的高精度检测的同时，有效提高夜晚等低光照条件下交通事件检测的准确率和鲁棒性。本发明可以利用道路上现有的监控设备，降低了硬件成本。

附图说明

图1是本发明实施例基于红外图像和可见光图像的交通事件检测方法的流程示意图；

图2是实施例中交通事件检测模型的说明示意图；

图3是实施例基于红外图像和可见光图像的交通事件检测装置的说明示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

一种基于红外图像和可见光图像的交通事件检测方法，如图1，包括以下步骤，

S1、获取待检测道路场景的红外图像和可见光图像；

S2、将获取到的红外图像和可见光图像进行预处理，获得预处理后的红外图像和预处理后的可见光图像；

步骤S2中，将获取到的红外图像和可见光图像进行预处理，具体为，

S21、对获取到的红外图像和可见光图像进行降噪处理，消除或减少图像的噪声；

S22、对红外图像和可见光图像进行对比度和亮度的调整；

S221、使用卷积神经网络模型CNN对红外图像和可见光图像分别进行特征提取，分别得到红外图像和可见光图像的特征；

S222、对红外图像和可见光图像的特征进行亮度和对比度标准化；

步骤S222中，对红外图像和可见光图像的特征进行亮度和对比度标准化，具体为，

S2221、对红外图像和可见光图像分别进行亮度标准化：计算特征的均值和标准差，然后将特征的每个值减去均值并除以标准差，以确保特征的均值为零，标准差为一。

S2221、对红外图像和可见光图像分别进行对比度标准化：将特征的每个值缩放到设定范围，以增强对比度。

S223、将可见光图像的特征的亮度与预设阈值进行比较，在可见光图像的特征的亮度高于预设阈值时，将红外图像的特征的亮度和对比度调整至与可见光图像一致；在可见光图像的特征的亮度低于预设阈值时，将可见光图像的特征亮度和对比度调整至与红外图像一致。

S23、根据红外图像获取到的目标物的红外特征，剔除场景中不带红外特征的干扰物。

步骤S23中，根据红外图像获取到的目标物的红外特征，剔除场景中不带红外特征的干扰物，如树木、路牌、路灯等，使图像融合模型更专注于待检测目标的特征提取和融合。

S3、在预处理后的可见光图像的亮度低于设定阈值时，进入步骤S4；在预处理后的可见光图像的亮度不低于设定阈值时，将预处理后的可见光图像作为待检测图像，进入步骤S5；

S4、使用预先训练好的深度学习图像融合模型对预处理后的红外图像和预处理后的可见光图像进行融合，获得融合图像作为待检测图像，进入下一步骤S5；

步骤S4中，预先训练好的深度学习图像融合模型采用基于卷积神经网络的通用图像融合框架模型IFCNN、统一的无监督图像融合网络模型U2Fusion、语义感知的实时红外与可见光图像融合网络模型SeAFusion或红外图像和可见图像的融合模型即DenseFuse模型中的任意一种。

S5、将待检测图像输入交通事件检测模型，获得检测结果。

步骤S5中，如图2，交通事件检测模型包括配置单元、基于深度学习的目标检测模型、基于深度学习的目标跟踪模型和参数匹配单元。基于深度学习的目标检测模型采用目标检测模型YOLO、单步多框目标检测模型SSD或更快的区域卷积神经网络模型即FasterRCNN模型。基于深度学习的目标跟踪模型采用用于目标跟踪的高效卷积神经网络模型ECO、考虑干扰的孪生区域建议网络DaSiamRPN或多领域目标跟踪检测模型即MDNet模型。

步骤S5中，将待检测图像输入交通事件检测模型，获得检测结果，具体为，

S51、使用基于深度学习的目标检测模型对待检测图像进行检测，输出检测到的目标信息，包括车辆目标信息、非机动车目标信息和行人目标信息；

步骤S51中，车辆目标信息包括快照图像、车辆类型、款式、车牌、车身颜色等，非机动车目标信息包括快照图像、目标颜色、目标类型等、行人目标信息包括快照图像。

S52、使用基于深度学习的目标跟踪模型对步骤S51检测到的目标信息进行跟踪，输出目标轨迹数据；

S53、根据步骤S51和步骤S52输出的目标信息和目标轨迹数据，结合配置单元预先配置的交通事件检测参数，由参数匹配单元进行判定，在符合预先配置的交通事件检测参数时，判定发生相应的交通事件，并将检测到的目标信息和交通事件作为检测结果。

步骤S53中，预先配置的交通事件检测参数包括待检测区域、待检测车道、检测线等。

步骤S5中，目标检测模型和目标跟踪模型均需要在构建好的数据集上进行设定次数的训练，其中训练数据集均使用预处理后的可见光图像、融合图像构建，包括可见光图像数据集、红外和可见光融合图像数据集。

该种基于红外图像和可见光图像的交通事件检测方法，通过在光照条件充足时使用可见光图像进行检测，在光照条件较低时使用融合后的红外和可见光图像进行交通事件检测，能够保证光照条件充足时的高精度检测的同时，有效提高夜晚等低光照条件下交通事件检测的准确率和鲁棒性。本发明可以利用道路上现有的监控设备，降低了硬件成本。

如图3，实施例还提供一种实现上述任一项所述的基于红外图像和可见光图像的交通事件检测方法的装置，包括图像采集模块、图像预处理模块、检测图像生成模块和交通事件检测模块，

图像采集模块：获取待检测道路场景的红外图像和可见光图像；

图像预处理模块：将获取到的红外图像和可见光图像进行预处理，获得预处理后的红外图像和预处理后的可见光图像；

检测图像生成模块：在预处理后的可见光图像的亮度低于设定阈值时，使用预先训练好的深度学习图像融合模型对预处理后的红外图像和预处理后的可见光图像进行融合，获得融合图像作为待检测图像；在预处理后的可见光图像的亮度不低于设定阈值时，将预处理后的可见光图像作为待检测图像；

交通事件检测模块：将待检测图像输入交通事件检测模型，获得检测结果。

交通事件检测模块中，对待检测图像使用基于深度学习的交通事件检测模型进行检测，在检测到根据具体道路场景预先配置的交通事件时，则将检测到的目标信息和交通事件进行输出作为检测结果。

预先配置的交通事件包括逆向行驶、违法变道、非机动车不戴头盔、行人闯入机动车道、非机动车闯入机动车道、货车未靠右行驶、道路拥堵、交通事故、危化品车和施工占道中的一种或多种，其中，道路拥堵：需配置车道，车道通行速度，触发阈值次数，当车道通行速度低于设定的阈值，且超过设定的次数后即视为道路拥堵。交通事故：需配置检测区域，当区域内有一个以上机动车或非机动车目标距离较近且停留超过5分钟且有行人等目标在附近逗留时即判断为交通事故。危化品车：需配置机动车道和通行时间，当车道内出现危化品车目标且不在通行时间内时即判断为危化品车。施工占道：需配置检测区域，当区域内出现施工车辆，施工人员和锥桶且停留超过5分钟以上即判断为施工占道。

该种基于红外图像和可见光图像的交通事件检测中，可以使用道路上现有的监控摄像头作为可见光相机获得可见光图像；可以使用带有红外功能的监控摄像头作为红外相机获得红外图像，可以减少新设备的采购成本。红外相机和可见光相机需要进行安装位置的调整，使红外相机和可见光相机在成像位置，成像角度和成像时间上保持一致。

该种基于红外图像和可见光图像的交通事件检测方法及装置，通过可见光相机和红外相机获取目标监控点的图像，将获取到的红外图像和可见光图像通过图像融合方法进行融合。融合后的图像既保留了可见光图像的颜色、纹理等细节，又具有红外图像所提供的夜晚等低光照条件下的目标场景的红外特征。再使用基于深度学习的交通事件检测方法对融合后的图像进行检测，可以有效提高夜晚等低光照条件下交通事件的检测准确率。

该种基于红外图像和可见光图像的交通事件检测方法及装置，可以利用现有监控设施，获取红外图像和可见光图像，能够节省设备成本；在低光照条件下使用红外和可见光融合图像进行交通事件检测，可以有效提升在夜晚等低光照条件下的交通事件检测准确率和鲁棒性；该方法使用的计算机程序可存储在计算机存储介质上，该计算机存储介质可以部署在机房也可以小型化后部署在待检测的目标道路附近，可以降低部署成本。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。