一种路灯损坏检测方法、装置及相关组件

技术领域

本发明涉及照明技术领域，特别涉及一种路灯损坏检测方法、装置及相关组件。

背景技术

路灯作为城市道路照明的重要设施，对于保障行人和车辆的安全起着至关重要的作用；然而，由于长时间使用、恶劣天气、交通事故等原因，路灯很容易出现损坏或故障的情况。

目前，大多数城市通常采用以下两种方法检测路灯是否损坏：

第一种为采用人工巡查的方式来检测路灯的损坏情况，这种方式存在效率低下、成本高昂以及漏检等问题。

第二种为借助物联网技术，利用传感器等多源设备检测路灯的损坏信息，并将信息传输至云平台上，实现监控与维护；此方法存在成本高昂，维护麻烦等问题。

发明内容

本发明的目的是提供一种路灯损坏检测方法、装置及相关组件，旨在解决现有路灯检测方法成本高昂等问题。

第一方面，本发明实施例提供一种路灯损坏检测方法，包括：

获取视频流数据并对所述视频流数据进行抽帧处理，得到图片数据；

将所述图片数据输入到目标检测模型，得到灯杆检测框；

将所述灯杆检测框的中心点的坐标输入至XGBoost算法预测模型中，得到所述灯杆检测框的中心点与光源的距离；

以所述灯杆检测框的中心点为圆心，以所述距离为半径，得到所述光源的搜索范围；

在所述搜索范围对所述图片数据进行灰度处理和光源检测，得到所述光源的坐标信息；

根据相邻两帧所述图片数据中的光源的坐标信息判断所述光源的位移是否大于位移阈值；

若是，则将所述光源判定为其他光源；若否，则将所述光源判定为路灯并统计连续多帧的图片数据中位于所述坐标信息的灰度值是否大于或等于光源阈值；

若是，则判定所述路灯处于正常状态；若否，则判定所述路灯处于损坏状态。

第二方面，本发明实施例提供一种路灯损坏检测装置，包括：

抽帧单元，用于获取视频流数据并对所述视频流数据进行抽帧处理，得到图片数据；

灯杆检测框获取单元，用于将所述图片数据输入到目标检测模型，得到灯杆检测框；

距离获取单元，用于将所述灯杆检测框的中心点的坐标输入至XGBoost算法预测模型中，得到所述灯杆检测框的中心点与光源的距离；

搜索范围获取单元，用于以所述灯杆检测框的中心点为圆心，以所述距离为半径，得到所述光源的搜索范围；

坐标信息获取单元，用于在所述搜索范围对所述图片数据进行灰度处理和光源检测，得到所述光源的坐标信息；

位移判断单元，用于根据相邻两帧所述图片数据中的光源的坐标信息判断所述光源的位移是否大于位移阈值；

光源判定单元，用于若是，则将所述光源判定为其他光源；若否，则将所述光源判定为路灯并统计连续多帧的图片数据中位于所述坐标信息的灰度值是否大于或等于光源阈值；

路灯损坏判定单元，用于若是，则判定所述路灯处于正常状态；若否，则判定所述路灯处于损坏状态。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的路灯损坏检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现上述第一方面所述的路灯损坏检测方法。

本发明公开了一种路灯损坏检测方法、装置及相关组件，方法包括：获取视频流数据并对所述视频流数据进行抽帧处理，得到图片数据；将所述图片数据输入到目标检测模型，得到灯杆检测框；将所述灯杆检测框的中心点的坐标输入至XGBoost算法预测模型中，得到所述灯杆检测框的中心点与光源的距离；以所述灯杆检测框的中心点为圆心，以所述距离为半径，得到所述光源的搜索范围；在所述搜索范围对所述图片数据进行灰度处理和光源检测，得到所述光源的坐标信息；根据相邻两帧所述图片数据中的光源的坐标信息判断所述光源的位移是否大于位移阈值；若是，则将所述光源判定为其他光源；若否，则将所述光源判定为路灯并统计连续多帧的图片数据中位于所述坐标信息的灰度值是否大于或等于光源阈值；若是，则判定所述路灯处于正常状态；若否，则判定所述路灯处于损坏状态。本发明通过上述方法实现了对损坏路灯的自动检测，检测效率和准确性高，降低了人工成本，同时无需新增传感器设备，节省了额外的成本，同时可对大范围内的路灯进行检测，提升了后台工作人员的工作效率。本发明实施例同时还提供了一种路灯损坏检测装置、一种计算机可读存储介质和一种计算机设备，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例的路灯损坏检测方法的流程图；

图2为一个具体应用场景的路灯损坏检测方法的流程图；

图3为本实施例的路灯损坏检测装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，本发明提供了一种路灯损坏检测方法，包括：

S101：获取视频流数据并对所述视频流数据进行抽帧处理，得到图片数据；

本实施例中的视频流数据主要依靠道路上设置的摄像头进行获取，且单个摄像头可获取多个路灯的状况信息，如此只需调用部分摄像头的视频流数据即可，大大减少了数据传输的复杂性和成本，同时也能提高数据处理的效率；因此，通过单个摄像头可获取多个路灯的状况信息使得系统可以更加灵活和高效地处理大量的视频流数据，从而提高整个系统的性能和可靠性。

S102：将所述图片数据输入到目标检测模型，得到灯杆检测框；

具体的，对目标检测模式进行训练并在每次训练完成后记录模型的损失值和权重，得到训练权重文件；接着将训练权重文件加载至目标检测模型并将图片数据输入到加载后的目标检测模型，得到临时的灯杆检测框；然后对临时的灯杆检测框进行非极大值抑制过滤处理，输出置信度大于设定阈值的检测框，得到最终的灯杆检测框，其中，训练权重文件是选取的最佳的训练权重文件；且本实施例通过非极大值抑制处理以及设定阈值，可以有效地过滤掉低置信度、可能会产生误检的检测框，提高检测结果的精确性。

本实施例中，目标检测模型在训练的过程中需要创建数据集，具体的，根据灯杆的形状特点，利用图像标注软件对图片数据中的道路上的灯杆进行图像标注，得到标注信息并将标注信息保存至文件内，接着将图片数据和对应的标注信息按照预定比例划分为训练集、验证集和测试集；对图片数据进行标注可以帮助模型更好地理解图片中的灯杆，提高识别准确率，可以保证标注信息的完整性和可追溯性，方便后续处理和分析，其中，标注信息主要包括灯杆的位置信息和类别信息。

在一个具体的应用场景中，根据灯杆的形状特点，利用labelme图像标注软件对图片数据中的道路上的灯杆进行图像标注，得到标注信息并将标注信息保存至txt文件内，接着将图片数据和对应的标注信息按照70％、20％、10％的比例划分为训练集、验证集和测试集。

本实施例中，目标检测模型采用Yolov5网络模型，此模型主要由主干网络、Neck网络和预测层组成；主干网络由Focus模块、CBL模块、CSP模块和SPP模块构成，其中Focus模块是对输入图像等距离采样，然后，进行通道拼接；CBL模块是指封装的卷积模块，是由卷积(Conv)层、标准化(BN)层和激活函数(Leaky ReLU)组成；CSP模块是由CBL模块、残差模块和卷积层构成；SPP模块是分别采用1×1、5×5、9×9、13×13最大池化；其中，Neck网络是基于FPN框架的金字塔结构；预测层是输出目标物体的类别信息、坐标信息和置信度。

进一步的，本实施例选用以下损失函数对损失值进行计算：

其中，L表示损失值；L

L

其中，pos表示真样本；m是一个统称，在公式中分别将表示cx,cy,w,h；比如在计算检测框中心点的横坐标cx时m＝cx，此时公式L

对应的中心点横坐标；

L

其中，

本实施例中，对临时的灯杆检测框进行非极大值抑制过滤处理包括：对于每一个临时的灯杆检测框，并将其与所有的其他临时的灯杆检测框进行交并比(IoU)计算；若某个临时的灯杆检测框与另一个临时的灯杆检测框的交并比大于设定的阈值，则认为这两个临时的灯杆检测框重复识别了一个物体，将较低概率的临时的灯杆检测框(即交并比较小的临时的灯杆检测框)的分数进行抑制；重复以上过程，直到没有临时的灯杆检测框剩余；最终得到的灯杆检测框就是经过非极大值抑制处理后的临时的灯杆检测框；其中，抑制的方式有两种，一种是“软非极大值抑制”，保留该临时的灯杆检测框但将其分数降低，其能够保留更多的召回率(recall)，但可能会牺牲一定的准确率；另一种是“硬非极大值抑制”，直接将该临时的灯杆检测框过滤掉，其保留的临时的灯杆检测框相对较少，但通常具有更高的准确率。

当通过步骤S102获取到灯杆检测框之后，执行步骤S103。

S103：将所述灯杆检测框的中心点的坐标输入至XGBoost算法预测模型中，得到所述灯杆检测框的中心点与光源的距离；

在运用XGBoost算法预测模型进行预测之前需对XGBoost算法预测模型进行训练，XGBoost算法预测模型的训练过程包括：将样本数据输入到目标检测模型，得到灯杆样本检测框；接着利用欧式距离公式计算灯杆样本检测框的中心点与光源的距离；然后将灯杆样本检测框的中心点的坐标作为数据集的特征以及将灯杆样本检测框的中心点与光源的距离作为标签，得到数据集；再将数据集输入至XGBoost算法预测模型进行训练并计算相应的目标函数；当XGBoost算法预测模型的训练次数达到预定训练次数时，获取目标函数为最小值时对应的XGBoost算法预测模型。

具体的，将样本数据输入到目标检测模型，得到灯杆样本检测框；利用欧式距离公式计算灯杆样本检测框的中心点与光源的距离，公式如下：

其中，L表示灯光与路灯之间的距离，x

接着将灯杆样本检测框的中心点的坐标作为数据集的特征以及将灯杆样本检测框的中心点与光源的距离作为标签构建XGBoost算法预测模型的数据集，此数据集为有监督数据集；然后将数据集按照70％、20％、10％的比例划分为训练集、验证集和测试集；紧接着将训练集输入至XGBoost算法预测模型进行训练并计算相应的目标函数。

其中，本实施例的XGBoost算法预测模型为预测模型，其目标是获得最优的目标函数F，使得输入的灯杆样本检测框的中心点的横纵坐标(X)和输出的路灯与灯杆之间的距离(Y)达到回归效果最佳；目标函数包含训练误差和正则项，公式如下：

F(θ)＝R(θ)+ψ(θ)

其中，F(θ)表示目标函数；R(θ)表示训练误差函数；ψ(θ)表示正则项；n表示样本数量；y

假设在第t步，预测值

其中，此过程在解释模型的训练过程，

将预测值

其中，F

当XGBoost算法预测模型的训练次数达到预定训练次数时，获取目标函数为最小值时对应的XGBoost算法预测模型，其中，目标函数为最小值时对应的XGBoost算法预测模型为最佳的训练模型。

当获取到最佳的XGBoost算法预测模型时，只需灯杆检测框的中心点的坐标输入至XGBoost算法预测模型中，即可得到灯杆检测框的中心点与光源的距离。

S104：以所述灯杆检测框的中心点为圆心，以所述距离为半径，得到所述光源的搜索范围；

搜索范围设置的目的是为了减少其他光源对图像数据处理过程的影响；具体来说，将搜索范围设定为路灯与灯杆之间的区域，能够有效地过滤掉那些可能来自其他光源的干扰；这些干扰来自于周围环境的光源，例如建筑物、车辆或其他人工光源等；通过该方式可以确保图像数据只受到路灯光源的影响，从而更准确地进行路灯光源检测。此外，利用这个特定的搜索范围进行处理，不仅可以提高路灯光源检测的准确性，而且还可以提升整个计算过程的效率；因为减少了无关光源的干扰，数据处理的过程会更加迅速和有效；如此一来可以在更短的时间内得到更准确的结果，从而提高工作效率。

S105：在所述搜索范围对所述图片数据进行灰度处理和光源检测，得到所述光源的坐标信息；

具体的，保留搜索范围内的图像的像素值，将搜索范围外的图像的像素值设置为0；再对图片数据进行灰度处理，得到灰度图片数据；然后统计灰度图片数据内的灰度值，利用大津法阈值方法计算出光源阈值；接着利用光源阈值对灰度图片数据做二值化处理和图像形态学操作，得到若干个光源点；再接着将若干个光源点中的中心点的坐标信息作为光源的坐标信息。

本实施例中，主要根据如下公式对图片数据进行灰度处理：

其中，Q表示灰度值，R、G、B分别表示图像的三原色，即红、绿和蓝色的值。

本实施例中，大津法阈值是基于给定的阈值T，将图像分为背景和前景。其中背景的点数占图像比例为p

整幅图的灰度平均值m利用如下公式计算出：

m＝p

灰度值的方差σ

σ

将灰度平均值的计算公式带入方差的公式可得如下公式：

σ

通过遍历所有灰度值，当方差值为最大值时，将其对应的灰度值作为光源阈值。

本实施例中，利用光源阈值对灰度图片数据做二值化处理和图像形态学操作，得到若干个光源点包括：

将灰度图片数据内的灰度值大于光源阈值的像素点的像素值设置为255，将灰度图片数据内的灰度值小于光源阈值的像素点的像素值设置为0，得到二值化图片数据；

定义一个十字形的结构元素，并将结构元素的中心与二值化图片数据中对应的位置的像素进行比较；

若结构元素中所有像素都与二值化图片数据中对应的位置的像素相匹配，则将二值化图片数据中对应的位置设置为前景；

若结构元素中任一像素与二值化图片数据中对应的位置的像素不匹配，则将二值化图片数据中对应的位置设置为背景；

获取前景和背景中邻近像素值为255的像素点并将前景和背景中邻近像素值为255的像素点作为光源点。

本实施例通过使用光源阈值对灰度图片数据进行二值化处理，可以将图片中的不同区域进行区分，提高图片的对比度，使得光源更加突出；对二值化处理后的灰度图片数据进行图像形态学操作划分为前景和背景可以有效地去除二值化后图像中的噪声和毛刺，同时也可以对图像进行平滑处理，进一步增强了图像的质量和清晰度。

S106：根据相邻两帧所述图片数据中的光源的坐标信息判断所述光源的位移是否大于位移阈值；

具体的，将搜索范围内的光源的坐标信息进行统计标记，然后利用位移计算公式计算光源的位移，公式如下：

其中，H表示相邻两帧图片数据中的光源之间的距离，a

根据上述公式得到相邻两帧图片数据的光源的位移后，接着判断光源的位移是否大于位移阈值，若是，则执行步骤S107，若否，则执行步骤S108，再执行步骤S109；其中，位移阈值可根据实际应用场景进行相应的设置。

根据相邻两帧图片数据中的光源的坐标信息判断光源的位移是否大于位移阈值主要是判断该光源是否是移动光源，若光源的位移大于位移阈值，则表示该光源为移动光源，因此可将其判定为其他光源；若光源的位移小于或等于位移阈值，则表示该光源为静态光源，因此可将其判定为路灯。

S107：将所述光源判定为其他光源；

S108：将所述光源判定为路灯；

S109：统计连续多帧的图片数据中位于所述坐标信息的灰度值是否大于或等于光源阈值；

具体的，若坐标信息的灰度值大于或等于光源阈值，则执行步骤S110；若坐标信息的灰度值小于光源阈值，则表示光源消失，执行步骤S111，并产生相应的告警信息。

S110：判定所述路灯处于正常状态；

S111：判定所述路灯处于损坏状态。

本实施例通过结合目标检测模型、XGBoost算法预测模型和图像预处理方法构建出自动化的路灯检测方法，可实时的监测道路路灯的损坏情况，无需新增传感器设备，节约成本的同时可进行大范围地覆盖，提升了后台工作人员的工作效率。

请参阅图3，本实施例提供了一种路灯损坏检测装置300，包括：

抽帧单元301，用于获取视频流数据并对所述视频流数据进行抽帧处理，得到图片数据；

灯杆检测框获取单元302，用于将所述图片数据输入到目标检测模型，得到灯杆检测框；

距离获取单元303，用于将所述灯杆检测框的中心点的坐标输入至XGBoost算法预测模型中，得到所述灯杆检测框的中心点与光源的距离；

搜索范围获取单元304，用于以所述灯杆检测框的中心点为圆心，以所述距离为半径，得到所述光源的搜索范围；

坐标信息获取单元305，用于在所述搜索范围对所述图片数据进行灰度处理和光源检测，得到所述光源的坐标信息；

位移判断单元306，用于根据相邻两帧所述图片数据中的光源的坐标信息判断所述光源的位移是否大于位移阈值；

光源判定单元307，用于若是，则将所述光源判定为其他光源；若否，则将所述光源判定为路灯并统计连续多帧的图片数据中位于所述坐标信息的灰度值是否大于或等于光源阈值；

路灯损坏判定单元308，用于若是，则判定所述路灯处于正常状态；若否，则判定所述路灯处于损坏状态。

进一步的，所述灯杆检测框获取单元302包括：

训练权重文件获取子单元，用于对所述目标检测模式进行训练并在每次训练完成后记录模型的损失值和权重，得到训练权重文件；

加载子单元，用于将所述训练权重文件加载至所述目标检测模型并将所述图片数据输入到加载后的目标检测模型，得到临时的灯杆检测框；

过滤处理子单元，用于对所述临时的灯杆检测框进行非极大值抑制过滤处理，输出置信度大于设定阈值的检测框，得到最终的灯杆检测框。

其中，所述损失值的计算公式为：

其中，L表示损失值；L

进一步的，所述距离获取单元303包括：

输入子单元，用于将样本数据输入到目标检测模型，得到灯杆样本检测框；

距离计算子单元，用于利用欧式距离公式计算所述灯杆样本检测框的中心点与光源的距离；

数据集获取子单元，用于将所述灯杆样本检测框的中心点的坐标作为数据集的特征以及将所述灯杆样本检测框的中心点与光源的距离作为标签，得到数据集；

目标函数计算子单元，用于将所述数据集输入至所述XGBoost算法预测模型进行训练并计算相应的目标函数；

模型获取子单元，用于当所述XGBoost算法预测模型的训练次数达到预定训练次数时，获取所述目标函数为最小值时对应的XGBoost算法预测模型。

其中，所述目标函数为：

其中，F

进一步的，所述坐标信息获取单元305包括：

像素值设置子单元，用于保留所述搜索范围内的图像的像素值，将所述搜索范围外的图像的像素值设置为0；

灰度处理子单元，用于对所述图片数据进行灰度处理，得到灰度图片数据；

统计子单元，用于统计所述灰度图片数据内的灰度值，利用大津法阈值方法计算出光源阈值；

光源点获取子单元，用于利用所述光源阈值对所述灰度图片数据做二值化处理和图像形态学操作，得到若干个光源点；

光源坐标信息获取子单元，用于将若干个所述光源点中的中心点的坐标信息作为所述光源的坐标信息。

进一步的，所述光源点获取子单元还用于：

将所述灰度图片数据内的灰度值大于光源阈值的像素点的像素值设置为255，将所述灰度图片数据内的灰度值小于光源阈值的像素点的像素值设置为0，得到二值化图片数据；

定义一个十字形的结构元素，并将所述结构元素的中心与所述二值化图片数据中对应的位置的像素进行比较；

若所述结构元素中所有像素都与所述二值化图片数据中对应的位置的像素相匹配，则将所述二值化图片数据中对应的位置设置为前景；

若所述结构元素中任一像素与所述二值化图片数据中对应的位置的像素不匹配，则将所述二值化图片数据中对应的位置设置为背景；

获取所述前景和所述背景中邻近像素值为255的像素点并将所述前景和所述背景中邻近像素值为255的像素点作为光源点。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的方法。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明还提供了一种计算机设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的方法。当然所述计算机设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的。

包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。