基于巡检机器人的消防手动报警器异常检测方法与系统

技术领域

本发明涉及消防巡检技术领域，更具体的，涉及一种基于巡检机器人的消防手动报警器异常检测方法与系统。

背景技术

在商场或者建筑楼宇中，消防安全是重点，因此，建设时会在每一层设置消防手动报警器以便于人们能够及时进行消防报警。

而对于这类消防手动报警器的巡查，目前主要是通过保安或者相关人员定期对楼宇或者商场等地区进行巡逻检查，用肉眼进行判断消防手动报警器是否正常工作，存在人力成本高，而且人员在进行肉眼区分的时候比较容易产生误判和漏判，整体效率不高，时效性不强等缺点。

发明内容

本发明的目的是提供一种基于巡检机器人的消防手动报警器异常检测方法与系统，打破传统的使用安保人员进行检测的方案，检测整体效率更高，同时也能减少人工成本以及误报和漏报等问题发生。

本发明第一方面提供了一种基于巡检机器人的消防手动报警器异常检测方法，包括以下步骤：

获取消防手动报警器的点位数据，其中，所述点位数据包括消防手动报警器的坐标定位参数、安装类型参数以及附墙位置参数；

基于所述点位数据控制巡检机器人移动至在对应点位从而采集消防手动报警器的视像数据，其中，控制巡检机器人移动时包括对齐巡检机器人的摄像头，以及采集视像数据时进行平移校准和/或缩放校准；

基于采集到的视像数据进行异常检测以获取异常结果进行输出告警，其中，具体检测报警器指示灯的实际闪烁次数和/或实际闪烁频率。

本方案中，所述获取消防手动报警器的点位数据，具体包括：

建立与用户端的通信连接获取用户端输入的控制数据；

基于所述控制数据进行数据提取与分析得到不同数据因子，其中，所述数据因子包括坐标因子、类型因子以及位置因子；

基于所述坐标因子得到所述坐标定位参数、基于所述类型因子的得到所述安装类型参数以及基于所述位置因子得到所述附墙位置参数。

本方案中，所述基于所述点位数据控制巡检机器人移动至在对应点位，具体包括：

基于所述坐标定位参数获取待检消防手动报警器的楼层参数以及门洞参数；

基于所述楼层参数控制所述巡检机器人抵达对应楼层，基于所述门洞参数控制所述巡检机器人抵达对应门洞；

基于所述附墙位置参数控制所述巡检机器人的摄像头进行对齐，其中，基于深度学习模型对摄像头图像进行对齐。

本方案中，所述采集消防手动报警器的视像数据，具体包括：

当所述巡检机器人到达对应点位后，基于摄像头抓拍得到抓拍图片进行平移校准，其中，具体基于所述抓拍图片与对应的第一基准图片进行对齐得到第一单映仿射变换矩阵，从而基于所述第一单映仿射变换矩阵与采集中心点的坐标得到平移坐标，从而基于所述平移坐标进行平移校准，所述第一基准图片包括若干张消防手动报警器的平移参考图片；

基于所述抓拍图片进行缩放校准，其中，具体基于所述抓拍图片与对应的第二基准图片进行缩放校准以确保所述抓拍图片的中心位于所述采集中心点，其中，所述第二基准图片包括若干张消防手动报警器的缩放参考图片。

本方案中，所述基于所述抓拍图片进行缩放校准，具体包括：

基于所述抓拍图片与所述第二基准图片进行对齐得到第二单映仿射变换矩阵；

基于所述第二单映仿射变换矩阵与所述采集中心点的坐标得到缩放系数；

基于所述缩放系数计算当前抓拍图片的调整焦距倍数，其中，若所述调整焦距倍数大于预设值，则进行放大校准使得所述抓拍图片的中心位于所述采集中心点，若所述调整焦距倍数小于所述预设值，则进行缩小校准所述抓拍图片的中心位于所述采集中心点。

本方案中，所述基于采集到的视像数据进行异常检测，具体包括：

基于所述安装类型参数获取周期性闪烁次数和/或周期性闪烁频率；

基于所述视像数据获取报警器指示灯的实际闪烁参数，基于所述实际闪烁参数进行异常检测，其中，若采集周期内所述实际闪烁次数与所述周期性闪烁次数不同则输出告警提醒，和/或若采集周期内所述实际闪烁频率与所述周期性闪烁频率不同则输出告警提醒。

本发明第二方面还提供一种基于巡检机器人的消防手动报警器异常检测系统，包括存储器和处理器，所述存储器中包括基于巡检机器人的消防手动报警器异常检测方法程序，所述基于巡检机器人的消防手动报警器异常检测方法程序被所述处理器执行时实现如下步骤：

获取消防手动报警器的点位数据，其中，所述点位数据包括消防手动报警器的坐标定位参数、安装类型参数以及附墙位置参数；

基于所述点位数据控制巡检机器人移动至在对应点位从而采集消防手动报警器的视像数据，其中，控制巡检机器人移动时包括对齐巡检机器人的摄像头，以及采集视像数据时进行平移校准和/或缩放校准；

基于采集到的视像数据进行异常检测以获取异常结果进行输出告警，其中，具体检测报警器指示灯的实际闪烁次数和/或实际闪烁频率。

本方案中，所述获取消防手动报警器的点位数据，具体包括：

建立与用户端的通信连接获取用户端输入的控制数据；

基于所述控制数据进行数据提取与分析得到不同数据因子，其中，所述数据因子包括坐标因子、类型因子以及位置因子；

基于所述坐标因子得到所述坐标定位参数、基于所述类型因子的得到所述安装类型参数以及基于所述位置因子得到所述附墙位置参数。

本方案中，所述基于所述点位数据控制巡检机器人移动至在对应点位，具体包括：

基于所述坐标定位参数获取待检消防手动报警器的楼层参数以及门洞参数；

基于所述楼层参数控制所述巡检机器人抵达对应楼层，基于所述门洞参数控制所述巡检机器人抵达对应门洞；

基于所述附墙位置参数控制所述巡检机器人的摄像头进行对齐，其中，基于深度学习模型对摄像头图像进行对齐。

本方案中，所述采集消防手动报警器的视像数据，具体包括：

当所述巡检机器人到达对应点位后，基于摄像头抓拍得到抓拍图片进行平移校准，其中，具体基于所述抓拍图片与对应的第一基准图片进行对齐得到第一单映仿射变换矩阵，从而基于所述第一单映仿射变换矩阵与采集中心点的坐标得到平移坐标，从而基于所述平移坐标进行平移校准，所述第一基准图片包括若干张消防手动报警器的平移参考图片；

基于所述抓拍图片进行缩放校准，其中，具体基于所述抓拍图片与对应的第二基准图片进行缩放校准以确保所述抓拍图片的中心位于所述采集中心点，其中，所述第二基准图片包括若干张消防手动报警器的缩放参考图片。

本方案中，所述基于所述抓拍图片进行缩放校准，具体包括：

基于所述抓拍图片与所述第二基准图片进行对齐得到第二单映仿射变换矩阵；

基于所述第二单映仿射变换矩阵与所述采集中心点的坐标得到缩放系数；

基于所述缩放系数计算当前抓拍图片的调整焦距倍数，其中，若所述调整焦距倍数大于预设值，则进行放大校准使得所述抓拍图片的中心位于所述采集中心点，若所述调整焦距倍数小于所述预设值，则进行缩小校准所述抓拍图片的中心位于所述采集中心点。

本方案中，所述基于采集到的视像数据进行异常检测，具体包括：

基于所述安装类型参数获取周期性闪烁次数和/或周期性闪烁频率；

基于所述视像数据获取报警器指示灯的实际闪烁参数，基于所述实际闪烁参数进行异常检测，其中，若采集周期内所述实际闪烁次数与所述周期性闪烁次数不同则输出告警提醒，和/或若采集周期内所述实际闪烁频率与所述周期性闪烁频率不同则输出告警提醒。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种基于巡检机器人的消防手动报警器异常检测方法程序，所述基于巡检机器人的消防手动报警器异常检测方法程序被处理器执行时，实现如上述任一项所述的一种基于巡检机器人的消防手动报警器异常检测方法的步骤。

本发明公开的一种基于巡检机器人的消防手动报警器异常检测方法与系统，使用机器人巡检加定点抓拍分析的方式对消防手动报警器进行视频分析，从而判断是否出现异常的消防手动报警器的情况，打破传统的使用安保人员进行检测的方案，检测整体效率更高，同时也能减少人工成本以及误报和漏报等问题发生。

附图说明

图1示出了本发明一种基于巡检机器人的消防手动报警器异常检测方法的流程图；

图2示出了本发明一种基于巡检机器人的消防手动报警器异常检测系统的框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了本申请一种基于巡检机器人的消防手动报警器异常检测方法的流程图。

如图1所示，本申请公开了一种基于巡检机器人的消防手动报警器异常检测方法，包括以下步骤：

S102，获取消防手动报警器的点位数据，其中，所述点位数据包括消防手动报警器的坐标定位参数、安装类型参数以及附墙位置参数；

S104，基于所述点位数据控制巡检机器人移动至在对应点位从而采集消防手动报警器的视像数据，其中，控制巡检机器人移动时包括对齐巡检机器人的摄像头，以及采集视像数据时进行平移校准和/或缩放校准；

S106，基于采集到的视像数据进行异常检测以获取异常结果进行输出告警，其中，具体检测报警器指示灯的实际闪烁次数和/或实际闪烁频率。

需要说明的是，于本实施例中，本发明针对的是楼宇和商场等室内环境的消防手动报警器能否正常工作的问题，在楼宇或者商场等室内场所可能会出现消防手动报警器损坏或者失效的情况，而这种异常情况如果不及时发现和维修就会造成比较严重的安全隐患，甚至严重的情况发生了火灾而消防手动报警器失效了不能产生警示的作用，这就可能造成人员疏散的延误从而产生伤亡等严重后果，因此本发明就是针对这种情况提出的一种基于机器人巡检并结合深度学习的消防手动报警器异常的检测方案，具体地，使用机器人进行巡检的方式对楼宇，商场等场景固定有消防手动报警器的点位进行视频流的分析，抓拍得到的视频传送到后台服务器进行图像算法分析，从而判断视频中的消防手动报警器中是否出现了异常的情况，在图像算法中使用深度学习神经网络中的对齐方法对图像的消防手动报警器进行检测，再结合时序背景差分的方式检测消防手动报警器上的指示灯是否闪烁从而判断消防手动报警器是否正常工作，整体方案不但降低了人力的成本，同时也提高了效率，极大的提高了整体方案的时效性。

进一步地，利用巡检机器人进行巡检时，首先要针对当前应用场景下消防手动报警器的具体位置参数来控制机器人进行移动，其中，首先获取消防手动报警器的点位数据，其中，所述点位数据包括消防手动报警器的坐标定位参数、安装类型参数以及附墙位置参数，从而可以基于所述点位数据控制巡检机器人进行移动至对应点位，从而采集消防手动报警器的视像数据，其中，控制巡检机器人移动时包括对齐巡检机器人的摄像头，以及采集视像数据时进行平移校准和/或缩放校准，具体地，摄像头是置于机器人头部的，且摄像头是变焦镜头，因此为了更好地采集照片，使得消防手动报警器位于采集中心点，需要对齐巡检机器人的摄像头以及对图像进行平移校准和/或缩放校准，在校准成功后，基于采集到的视像数据进行异常检测以获取异常结果进行输出告警，其中，具体检测报警器指示灯的实际闪烁次数和/或实际闪烁频率，具体地，对消防手动报警器的指示灯闪烁次数和/或闪烁频率进行检测，一旦与预设的次数或者频率不同，则输出告警提醒，从而帮助用户快速定位出现异常的手动报警器的位置，以便于进行检修，保障楼宇或者商场用户的消防安全。

根据本发明实施例，所述获取消防手动报警器的点位数据，具体包括：

建立与用户端的通信连接获取用户端输入的控制数据；

基于所述控制数据进行数据提取与分析得到不同数据因子，其中，所述数据因子包括坐标因子、类型因子以及位置因子；

基于所述坐标因子得到所述坐标定位参数、基于所述类型因子的得到所述安装类型参数以及基于所述位置因子得到所述附墙位置参数。

需要说明的是，于本实施例中，不同的商场或者楼宇对应设置的消防手动报警器存在不同，因此，需要建立与用户端的通信连接获取用户端输入的控制数据，从而基于所述控制数据识别得到当前作业场景下的点位数据，其中，基于所述控制数据进行数据提取与分析得到不同数据因子，其中，所述数据因子包括坐标因子、类型因子以及位置因子，从而基于所述坐标因子得到所述坐标定位参数、基于所述类型因子的得到所述安装类型参数以及基于所述位置因子得到所述附墙位置参数。

根据本发明实施例，所述基于所述点位数据控制巡检机器人移动至在对应点位，具体包括：

基于所述坐标定位参数获取待检消防手动报警器的楼层参数以及门洞参数；

基于所述楼层参数控制所述巡检机器人抵达对应楼层，基于所述门洞参数控制所述巡检机器人抵达对应门洞；

基于所述附墙位置参数控制所述巡检机器人的摄像头进行对齐，其中，基于深度学习模型对摄像头图像进行对齐。

需要说明的是，于本实施例中，在控制巡检机器人进行移动时，具体是基于所述坐标定位参数获取待检消防手动报警器的楼层参数以及门洞参数，从而基于所述楼层参数控制所述巡检机器人抵达对应楼层，基于所述门洞参数控制所述巡检机器人抵达对应门洞，而后基于所述附墙位置参数控制所述巡检机器人的摄像头进行对齐，从而使得摄像头可以对准消防手动报警器的方向，其中，通过基于深度学习的对齐方法进行交互式的摄像头参数调整，使得消防手动报警器尽可能的清晰可见并且处于采集画面的中间占图像至少三分之一的面积，具体的对齐方式见后续说明。

根据本发明实施例，所述采集消防手动报警器的视像数据，具体包括：

当所述巡检机器人到达对应点位后，基于摄像头抓拍得到抓拍图片进行平移校准，其中，具体基于所述抓拍图片与对应的第一基准图片进行对齐得到第一单映仿射变换矩阵，从而基于所述第一单映仿射变换矩阵与采集中心点的坐标得到平移坐标，从而基于所述平移坐标进行平移校准，所述第一基准图片包括若干张消防手动报警器的平移参考图片；

基于所述抓拍图片进行缩放校准，其中，具体基于所述抓拍图片与对应的第二基准图片进行缩放校准以确保所述抓拍图片的中心位于所述采集中心点，其中，所述第二基准图片包括若干张消防手动报警器的缩放参考图片。

需要说明的是，于本实施例中，由于摄像头采用的变焦镜头，因此，在摄像时需要对两种参数进行校准，即上下左右校准以及远近校准，具体对应为平移校准与缩放校准，其中，先进行平移校准后进行缩放校准，具体地，对于平移校准而言：在巡检机器人到达点位后对进行抓拍时，事先基于机器人停在对应采集点位收集该点位的若干张用于对齐的参考图(对应为第一基准图片)，参考图的要求是消防手动报警器必须在图像正中间，并且用最远变倍的焦距进行拍摄。参考图的拍摄必须覆盖一天内的全部时段，在实际应用时，采用每隔一个小时进行参考图的拍摄，因此可以得到“24”张参考图片，即所述第一基准图片的数量值为“24”，进一步地，在进行平移校准时，当机器人巡逻到特定点位停下后，会抓拍一张图片用于摄像头的平移校准，首先利用抓拍图片与“24”张平移参考图片进行对齐，选取匹配数量最多的一张抓拍图片得到匹配结果，并根据匹配结果求出第一单映仿射变换矩阵，同时记录该抓拍图片的时段数以供后续缩放校准使用；而后利用采集中心点的坐标和第一单映仿射变换矩阵求出图像的近似平移坐标(del_x,del_y)，相应地，平移向量由这两个参数构成(-del_x,-del_y)，然后我们根据平移向量方向对摄像头进行最小单位的平移移动(最小单位根据摄像头云台的参数决定，即每次最小的移动角度为多少度)，移动了摄像头后重新抓拍图片，然后重复上述流程直到像素平移距离dist＝sqrt(del_x*del_x+del_y*del_y)小于预设的特定阈值dist_th，我们则认为校准完毕，在一实施例中，在本方案中的dist_th可以设置为“30”。

根据本发明实施例，所述基于所述抓拍图片进行缩放校准，具体包括：

基于所述抓拍图片与所述第二基准图片进行对齐得到第二单映仿射变换矩阵；

基于所述第二单映仿射变换矩阵与所述采集中心点的坐标得到缩放系数；

基于所述缩放系数计算当前抓拍图片的调整焦距倍数，其中，若所述调整焦距倍数大于预设值，则进行放大校准使得所述抓拍图片的中心位于所述采集中心点，若所述调整焦距倍数小于所述预设值，则进行缩小校准所述抓拍图片的中心位于所述采集中心点。

需要说明的是，于本实施例中，与平移校准类似，同样需要获取抓拍图片，不过与平移不同的是，除了收集不同时间段的抓拍图片外，还需要收集不同焦距下的抓拍图片，在一实施例中，使用的摄像头是三倍光学变焦，因此需要收集“4”张缩放校准的参考图，分别是1倍，2倍，3倍变焦以及合适算法分析的变焦时(记为x倍变焦，x可以处于1-3中的任何一个值)的消防手动报警器的图片(与平移校准类似消防手动报警器需要位于图像的正中间)，校准流程说明：当机器人进行平移校准后，会继续抓拍一张图片用于摄像头的缩放校准。首先根据平移校准时记录的参考图时段选出“4”张缩放校准的参考图，然后将抓拍的图片与这“4”张参考图片进行匹配对齐，并求出“4”个第二单映仿射变换矩阵，利用中心点坐标和第二单映仿射变换矩阵我们可以求出图像的缩放系数del_scale_i(i＝1,2,3,x)，而后将摄像头焦距校准到x倍焦距的参数：如果匹配成功或者说del_scale_x能成功求出来，我们就根据del_scale_x的大小进行调整，如果del_scale_x小于预设值(设为“1”)，则对摄像头进行最小单位的放大变倍操作(最小单位根据摄像头云台的参数决定)，否则进行缩小操作；其中，如果del_scale_x不能成功求出来(可能产生匹配失败的情况)，则根据x最临近的变倍(1,2,3倍)作为参考进行变倍的改变；直到缩放比例差delta＝abs(del_scale_x-1.0)小于一定的阈值scale_th，则认为缩放校准完毕。在一实施例中，本方案中的scale_th可以设置为“0.1”。

根据本发明实施例，所述基于采集到的视像数据进行异常检测，具体包括：

基于所述安装类型参数获取周期性闪烁次数和/或周期性闪烁频率；

基于所述视像数据获取报警器指示灯的实际闪烁参数，基于所述实际闪烁参数进行异常检测，其中，若采集周期内所述实际闪烁次数与所述周期性闪烁次数不同则输出告警提醒，和/或若采集周期内所述实际闪烁频率与所述周期性闪烁频率不同则输出告警提醒。

需要说明的是，于本实施例中，通过判断消防手动报警器指示灯是否闪烁或者闪烁次数以及闪烁频率来判断报警器正常与否，其中，正常的消防手动报警器上的指示灯是会以固定的频率闪烁的(不同品牌的消防手动报警器闪烁的频率不同，本实施中的闪烁频率为三秒一次，我们采集的视频长度为十秒钟，所以应该至少会出现三次闪烁)，而异常的消防手动报警器一般来说有两种情况，一种是指示灯常亮的情况，一种是指示灯常暗的情况，具体使用背景差分的传统图像处理方法来检测指示灯是否闪烁，整个图像的分析流程如下：首先定位消防手动报警器的位置，由于之前进行了对齐的操作，所以只要在平移参考图片和/或缩放参考图片上标注出消防手动报警器的位置即可，然后采用传统图像处理方法进行指示灯闪烁的检测，具体采用GMM(高斯混合模型)背景差分法进指示灯闪烁的检测，消防手动报警器的指示灯每次闪烁的间隔比较大，而且闪烁十分快，基本上灯在点亮的状态下只会有一两帧的情况，所以根据这个特性，可以采用视频前“5-10”帧作为GMM算法的背景建模，然后从第“10”帧后才开始进行差分分析，每次待分析的帧都会先和GMM的背景模型做一个差分操作然后对差分结果进行二值图的形态学滤波去除噪点，弥补空洞，再利用轮廓提取就能得到差异区域了，其中，GMM算法设置的高斯核数为“5”，并且每次计算差分模型的时候不会对背景进行自动更新，需要通过后续的计算判断来决定是否需要手动更新GMM的背景。进一步地，如果当前分析的图像产生了差异区域并且同时满足该区域面积超过一定的阈值和该区域在消防手动报警器目标框内部这两个条件，则判断该消防手动报警器指示灯出现了一次闪烁，也能判断该消防手动报警器是正常的；反之如果在视频的所有图片分析中一次差异区域都没有出现，则说明该消防手动报警器出现了异常情况，需要发出告警提醒以提示用户出现异常问题。相应地，在发明一实施例中，本方案中的差异面积的阈值可设为“2500＝50*50”。

值得一提的是，基于深度学习模型对摄像头图像进行对齐具体使用深度学习中“DISK+Super Point+Super Glue”模型对图像进行对齐，使用局部特征点融合的方式进行图像对齐，其中，大致流程为：分别通过Super Point和DISK模型的推理获取抓拍图片以及基准图像特征点位置和特征描述子，然后将两个模型的结果合并生成最终的特征点和特征描述子；并且将两者的结果通过Super Glue网络推理获取特征匹配的结果；最后根据匹配结果计算出一个图像的单映仿射变换矩阵，从而将抓拍图片对应的一个目标图像映射到基准图像上。

其中，局部特征点融合方案实现关键点：步骤一：为了统一特征描述子，我们将Super Point模型和DISK模型重新训练，将两者的描述子维度都统一为“128”维；由于SuperPoint模型使用的是L2距离损失对特征子进行监督的，为了统一特征维度的空间表示，我们在训练DISK模型的时候对描述子的监督也附加了一个L2损失的分支，分支的形式与SuperPoint模型的监督训练是类似的，使得DISK模型的描述子的特征空间向Super Point模型描述子的特征空间对齐。步骤二：利用步骤一中训练好的模型在海量开源数据和机器人采集的数据上提取对应的特征点和描述子，并且用这些数据重新训练Super Glue模型，在网络结构上为了提升整体Transformer模型的效率我们将原始的Attention模块改成FlashAttention v2的模块，并且精简了模型的一些通道和深度，将整体通道数和模型深度变成原来的三分之一。

图2示出了本发明一种基于巡检机器人的消防手动报警器异常检测系统的框图。

如图2所示，本发明公开了一种基于巡检机器人的消防手动报警器异常检测系统，包括存储器和处理器，所述存储器中包括基于巡检机器人的消防手动报警器异常检测方法程序，所述基于巡检机器人的消防手动报警器异常检测方法程序被所述处理器执行时实现如下步骤：

获取消防手动报警器的点位数据，其中，所述点位数据包括消防手动报警器的坐标定位参数、安装类型参数以及附墙位置参数；

基于所述点位数据控制巡检机器人移动至在对应点位从而采集消防手动报警器的视像数据，其中，控制巡检机器人移动时包括对齐巡检机器人的摄像头，以及采集视像数据时进行平移校准和/或缩放校准；

基于采集到的视像数据进行异常检测以获取异常结果进行输出告警，其中，具体检测报警器指示灯的实际闪烁次数和/或实际闪烁频率。

需要说明的是，于本实施例中，本发明针对的是楼宇和商场等室内环境的消防手动报警器能否正常工作的问题，在楼宇或者商场等室内场所可能会出现消防手动报警器损坏或者失效的情况，而这种异常情况如果不及时发现和维修就会造成比较严重的安全隐患，甚至严重的情况发生了火灾而消防手动报警器失效了不能产生警示的作用，这就可能造成人员疏散的延误从而产生伤亡等严重后果，因此本发明就是针对这种情况提出的一种基于机器人巡检并结合深度学习的消防手动报警器异常的检测方案，具体地，使用机器人进行巡检的方式对楼宇，商场等场景固定有消防手动报警器的点位进行视频流的分析，抓拍得到的视频传送到后台服务器进行图像算法分析，从而判断视频中的消防手动报警器中是否出现了异常的情况，在图像算法中使用深度学习神经网络中的对齐方法对图像的消防手动报警器进行检测，再结合时序背景差分的方式检测消防手动报警器上的指示灯是否闪烁从而判断消防手动报警器是否正常工作，整体方案不但降低了人力的成本，同时也提高了效率，极大的提高了整体方案的时效性。

进一步地，利用巡检机器人进行巡检时，首先要针对当前应用场景下消防手动报警器的具体位置参数来控制机器人进行移动，其中，首先获取消防手动报警器的点位数据，其中，所述点位数据包括消防手动报警器的坐标定位参数、安装类型参数以及附墙位置参数，从而可以基于所述点位数据控制巡检机器人进行移动至对应点位，从而采集消防手动报警器的视像数据，其中，控制巡检机器人移动时包括对齐巡检机器人的摄像头，以及采集视像数据时进行平移校准和/或缩放校准，具体地，摄像头是置于机器人头部的，且摄像头是变焦镜头，因此为了更好地采集照片，使得消防手动报警器位于采集中心点，需要对齐巡检机器人的摄像头以及对图像进行平移校准和/或缩放校准，在校准成功后，基于采集到的视像数据进行异常检测以获取异常结果进行输出告警，其中，具体检测报警器指示灯的实际闪烁次数和/或实际闪烁频率，具体地，对消防手动报警器的指示灯闪烁次数和/或闪烁频率进行检测，一旦与预设的次数或者频率不同，则输出告警提醒，从而帮助用户快速定位出现异常的手动报警器的位置，以便于进行检修，保障楼宇或者商场用户的消防安全。

根据本发明实施例，所述获取消防手动报警器的点位数据，具体包括：

建立与用户端的通信连接获取用户端输入的控制数据；

基于所述控制数据进行数据提取与分析得到不同数据因子，其中，所述数据因子包括坐标因子、类型因子以及位置因子；

基于所述坐标因子得到所述坐标定位参数、基于所述类型因子的得到所述安装类型参数以及基于所述位置因子得到所述附墙位置参数。

需要说明的是，于本实施例中，不同的商场或者楼宇对应设置的消防手动报警器存在不同，因此，需要建立与用户端的通信连接获取用户端输入的控制数据，从而基于所述控制数据识别得到当前作业场景下的点位数据，其中，基于所述控制数据进行数据提取与分析得到不同数据因子，其中，所述数据因子包括坐标因子、类型因子以及位置因子，从而基于所述坐标因子得到所述坐标定位参数、基于所述类型因子的得到所述安装类型参数以及基于所述位置因子得到所述附墙位置参数。

根据本发明实施例，所述基于所述点位数据控制巡检机器人移动至在对应点位，具体包括：

基于所述坐标定位参数获取待检消防手动报警器的楼层参数以及门洞参数；

基于所述楼层参数控制所述巡检机器人抵达对应楼层，基于所述门洞参数控制所述巡检机器人抵达对应门洞；

基于所述附墙位置参数控制所述巡检机器人的摄像头进行对齐，其中，基于深度学习模型对摄像头图像进行对齐。

需要说明的是，于本实施例中，在控制巡检机器人进行移动时，具体是基于所述坐标定位参数获取待检消防手动报警器的楼层参数以及门洞参数，从而基于所述楼层参数控制所述巡检机器人抵达对应楼层，基于所述门洞参数控制所述巡检机器人抵达对应门洞，而后基于所述附墙位置参数控制所述巡检机器人的摄像头进行对齐，从而使得摄像头可以对准消防手动报警器的方向，其中，通过基于深度学习的对齐方法进行交互式的摄像头参数调整，使得消防手动报警器尽可能的清晰可见并且处于采集画面的中间占图像至少三分之一的面积，具体的对齐方式见后续说明。

根据本发明实施例，所述采集消防手动报警器的视像数据，具体包括：

当所述巡检机器人到达对应点位后，基于摄像头抓拍得到抓拍图片进行平移校准，其中，具体基于所述抓拍图片与对应的第一基准图片进行对齐得到第一单映仿射变换矩阵，从而基于所述第一单映仿射变换矩阵与采集中心点的坐标得到平移坐标，从而基于所述平移坐标进行平移校准，所述第一基准图片包括若干张消防手动报警器的平移参考图片；

基于所述抓拍图片进行缩放校准，其中，具体基于所述抓拍图片与对应的第二基准图片进行缩放校准以确保所述抓拍图片的中心位于所述采集中心点，其中，所述第二基准图片包括若干张消防手动报警器的缩放参考图片。

需要说明的是，于本实施例中，由于摄像头采用的变焦镜头，因此，在摄像时需要对两种参数进行校准，即上下左右校准以及远近校准，具体对应为平移校准与缩放校准，其中，先进行平移校准后进行缩放校准，具体地，对于平移校准而言：在巡检机器人到达点位后对进行抓拍时，事先基于机器人停在对应采集点位收集该点位的若干张用于对齐的参考图(对应为第一基准图片)，参考图的要求是消防手动报警器必须在图像正中间，并且用最远变倍的焦距进行拍摄。参考图的拍摄必须覆盖一天内的全部时段，在实际应用时，采用每隔一个小时进行参考图的拍摄，因此可以得到“24”张参考图片，即所述第一基准图片的数量值为“24”，进一步地，在进行平移校准时，当机器人巡逻到特定点位停下后，会抓拍一张图片用于摄像头的平移校准，首先利用抓拍图片与“24”张平移参考图片进行对齐，选取匹配数量最多的一张抓拍图片得到匹配结果，并根据匹配结果求出第一单映仿射变换矩阵，同时记录该抓拍图片的时段数以供后续缩放校准使用；而后利用采集中心点的坐标和第一单映仿射变换矩阵求出图像的近似平移坐标(del_x,del_y)，相应地，平移向量由这两个参数构成(-del_x,-del_y)，然后我们根据平移向量方向对摄像头进行最小单位的平移移动(最小单位根据摄像头云台的参数决定，即每次最小的移动角度为多少度)，移动了摄像头后重新抓拍图片，然后重复上述流程直到像素平移距离dist＝sqrt(del_x*del_x+del_y*del_y)小于预设的特定阈值dist_th，我们则认为校准完毕，在一实施例中，在本方案中的dist_th可以设置为“30”。

根据本发明实施例，所述基于所述抓拍图片进行缩放校准，具体包括：

基于所述抓拍图片与所述第二基准图片进行对齐得到第二单映仿射变换矩阵；

基于所述第二单映仿射变换矩阵与所述采集中心点的坐标得到缩放系数；

基于所述缩放系数计算当前抓拍图片的调整焦距倍数，其中，若所述调整焦距倍数大于预设值，则进行放大校准使得所述抓拍图片的中心位于所述采集中心点，若所述调整焦距倍数小于所述预设值，则进行缩小校准所述抓拍图片的中心位于所述采集中心点。

需要说明的是，于本实施例中，与平移校准类似，同样需要获取抓拍图片，不过与平移不同的是，除了收集不同时间段的抓拍图片外，还需要收集不同焦距下的抓拍图片，在一实施例中，使用的摄像头是三倍光学变焦，因此需要收集“4”张缩放校准的参考图，分别是1倍，2倍，3倍变焦以及合适算法分析的变焦时(记为x倍变焦，x可以处于1-3中的任何一个值)的消防手动报警器的图片(与平移校准类似消防手动报警器需要位于图像的正中间)，校准流程说明：当机器人进行平移校准后，会继续抓拍一张图片用于摄像头的缩放校准。首先根据平移校准时记录的参考图时段选出“4”张缩放校准的参考图，然后将抓拍的图片与这“4”张参考图片进行匹配对齐，并求出“4”个第二单映仿射变换矩阵，利用中心点坐标和第二单映仿射变换矩阵我们可以求出图像的缩放系数del_scale_i(i＝1,2,3,x)，而后将摄像头焦距校准到x倍焦距的参数：如果匹配成功或者说del_scale_x能成功求出来，我们就根据del_scale_x的大小进行调整，如果del_scale_x小于预设值(设为“1”)，则对摄像头进行最小单位的放大变倍操作(最小单位根据摄像头云台的参数决定)，否则进行缩小操作；其中，如果del_scale_x不能成功求出来(可能产生匹配失败的情况)，则根据x最临近的变倍(1,2,3倍)作为参考进行变倍的改变；直到缩放比例差delta＝abs(del_scale_x-1.0)小于一定的阈值scale_th，则认为缩放校准完毕。在一实施例中，本方案中的scale_th可以设置为“0.1”。

根据本发明实施例，所述基于采集到的视像数据进行异常检测，具体包括：

基于所述安装类型参数获取周期性闪烁次数和/或周期性闪烁频率；

基于所述视像数据获取报警器指示灯的实际闪烁参数，基于所述实际闪烁参数进行异常检测，其中，若采集周期内所述实际闪烁次数与所述周期性闪烁次数不同则输出告警提醒，和/或若采集周期内所述实际闪烁频率与所述周期性闪烁频率不同则输出告警提醒。

需要说明的是，于本实施例中，通过判断消防手动报警器指示灯是否闪烁或者闪烁次数以及闪烁频率来判断报警器正常与否，其中，正常的消防手动报警器上的指示灯是会以固定的频率闪烁的(不同品牌的消防手动报警器闪烁的频率不同，本实施中的闪烁频率为三秒一次，我们采集的视频长度为十秒钟，所以应该至少会出现三次闪烁)，而异常的消防手动报警器一般来说有两种情况，一种是指示灯常亮的情况，一种是指示灯常暗的情况，具体使用背景差分的传统图像处理方法来检测指示灯是否闪烁，整个图像的分析流程如下：首先定位消防手动报警器的位置，由于之前进行了对齐的操作，所以只要在平移参考图片和/或缩放参考图片上标注出消防手动报警器的位置即可，然后采用传统图像处理方法进行指示灯闪烁的检测，具体采用GMM(高斯混合模型)背景差分法进指示灯闪烁的检测，消防手动报警器的指示灯每次闪烁的间隔比较大，而且闪烁十分快，基本上灯在点亮的状态下只会有一两帧的情况，所以根据这个特性，可以采用视频前“5-10”帧作为GMM算法的背景建模，然后从第“10”帧后才开始进行差分分析，每次待分析的帧都会先和GMM的背景模型做一个差分操作然后对差分结果进行二值图的形态学滤波去除噪点，弥补空洞，再利用轮廓提取就能得到差异区域了，其中，GMM算法设置的高斯核数为“5”，并且每次计算差分模型的时候不会对背景进行自动更新，需要通过后续的计算判断来决定是否需要手动更新GMM的背景。进一步地，如果当前分析的图像产生了差异区域并且同时满足该区域面积超过一定的阈值和该区域在消防手动报警器目标框内部这两个条件，则判断该消防手动报警器指示灯出现了一次闪烁，也能判断该消防手动报警器是正常的；反之如果在视频的所有图片分析中一次差异区域都没有出现，则说明该消防手动报警器出现了异常情况，需要发出告警提醒以提示用户出现异常问题。相应地，在发明一实施例中，本方案中的差异面积的阈值可设为“2500＝50*50”。

值得一提的是，基于深度学习模型对摄像头图像进行对齐具体使用深度学习中“DISK+Super Point+Super Glue”模型对图像进行对齐，使用局部特征点融合的方式进行图像对齐，其中，大致流程为：分别通过Super Point和DISK模型的推理获取抓拍图片以及基准图像特征点位置和特征描述子，然后将两个模型的结果合并生成最终的特征点和特征描述子；并且将两者的结果通过Super Glue网络推理获取特征匹配的结果；最后根据匹配结果计算出一个图像的单映仿射变换矩阵，从而将抓拍图片对应的一个目标图像映射到基准图像上。

其中，局部特征点融合方案实现关键点：步骤一：为了统一特征描述子，我们将Super Point模型和DISK模型重新训练，将两者的描述子维度都统一为“128”维；由于SuperPoint模型使用的是L2距离损失对特征子进行监督的，为了统一特征维度的空间表示，我们在训练DISK模型的时候对描述子的监督也附加了一个L2损失的分支，分支的形式与SuperPoint模型的监督训练是类似的，使得DISK模型的描述子的特征空间向Super Point模型描述子的特征空间对齐。步骤二：利用步骤一中训练好的模型在海量开源数据和机器人采集的数据上提取对应的特征点和描述子，并且用这些数据重新训练Super Glue模型，在网络结构上为了提升整体Transformer模型的效率我们将原始的Attention模块改成FlashAttention v2的模块，并且精简了模型的一些通道和深度，将整体通道数和模型深度变成原来的三分之一。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于巡检机器人的消防手动报警器异常检测方法程序，所述基于巡检机器人的消防手动报警器异常检测方法程序被处理器执行时，实现如上述任一项所述的一种基于巡检机器人的消防手动报警器异常检测方法的步骤。

本发明公开的一种基于巡检机器人的消防手动报警器异常检测方法与系统，使用机器人巡检加定点抓拍分析的方式对消防手动报警器进行视频分析，从而判断是否出现异常的消防手动报警器的情况，打破传统的使用安保人员进行检测的方案，检测整体效率更高，同时也能减少人工成本以及误报和漏报等问题发生。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。