一种基于图像识别的隧道防护门状态检测方法

技术领域

本发明属于隧道防护门检测技术领域，具体涉及一种基于图像识别的隧道防护门状态检测方法。

背景技术

随着我国铁路路网的高速发展，隧道数量与日俱增，导致隧道防护门的应用越来越普遍。一般情况下，隧道防护门设置在轨道旁，用于将轨行区与设备洞室或者疏散通道隔断。为了保障隧道运营的安全性，应当保证隧道防护门始终不会侵入列车的运行限界。

然而，由于列车在隧道中运行时会在隧道中产生活塞风作用，使得隧道防护门的门面会长期受到反复、高强度的活塞风作用。正因如此，隧道防护门在循环往复活塞风作用下的稳定性问题也成为了防护门设计与运用过程需要重点关注的问题，隧道防护门的设置状态也成为了重点检测的对象。

目前，针对隧道防护门的检测/检测主要通过检修人员在隧道天窗时间内进行，很难实现隧道防护门的状态实时检测，更没有办法提前判断隧道防护门的使用状态和可能存在的安全隐患，这对于隧道防护门的安全应用乃至隧道的安全运营极其不利。

发明内容

针对现有技术的以上缺陷或改进需求中的一种或者多种，本发明提供了一种基于图像识别的隧道防护门状态检测方法，能够实时采集对应隧道防护门的图像数据，并根据采集到的图像数据完成隧道防护门开闭状态的判断，简化隧道防护门的巡检过程，提升隧道防护门的应用安全性和可靠性。

为实现上述目的，本发明提供一种基于图像识别的隧道防护门状态检测方法，利用隧道防护门状态检测系统来实现，

该隧道防护门状态检测系统包括对应隧道防护门设置的摄像头和对应摄像头设置的数据传输单元和工控机；

所述摄像头对应隧道防护门设置，用于实时拍摄门体状态的照片；所述数据传输单元与所述摄像头电连接，用于接收该摄像头采集的图像数据并将其传输到所述工控机；所述工控机与所述数据传输单元通信连接，可接收来自数据传输单元的图像数据并对其进行处理；

利用所述隧道防护门状态检测系统来进行隧道防护门状态检测的方法，包括如下步骤：

(1)通过摄像头采集对应隧道防护门的状态图像；

(2)所述摄像头将采集到的图像传输到对应的数据传输单元，并由其将图像传输到所述工控机：

(3)由所述工控机对图像进行处理；图像处理的过程包括如下过程：

(3.1)对图像进行预处理；

(3.2)检测隧道防护门的边缘直线；

(3.3)检测隧道防护门边缘直线的位置变化，判断隧道防护门的实时状态；

(4)根据步骤(3)中检测的隧道防护门状态判断是否需要进行报警和维护作业。

作为本发明的进一步改进，步骤(3.1)中对图像的预处理过程包括图像滤波过程，其为双边滤波，在高斯滤波的基础上加入像素值权重和空间距离权重，并通过如下公式完成滤波窗口内每个像素值的权重和的获取；

式中，W

作为本发明的进一步改进，步骤(3.1)中对图像的预处理过程包括图像增强过程；所述图像增强过程以灰度线性变换的方式对图像进行增强对比度处理，灰度线性变换的过程以如下线性函数进行：

B＝f(A)＝aA+c

式中，A为输入图像的灰度值，B为输出图像的灰度值，a为线性函数的斜率，c为在Y轴的截距。

作为本发明的进一步改进，步骤(3.2)中对于隧道防护门边缘直线的检测方法为基于霍夫变换的直线检测方法，即将直角坐标系中的直线检测问题转换为局部的峰值点检测。

作为本发明的进一步改进，所述基于霍夫变换的直线检测方法为概率霍夫变换检测方法，其检测过程包括如下步骤：

(3.2.1)使用预处理过的图像计算图像的边缘图；

(3.2.2)随机提取边缘图中的边缘点，转换到极径-极角空间中；

(3.2.3)当极径-极角空间里有局部峰值点大于一定的阈值，则提取该点对应的直线L；

(3.2.4)在边缘图上寻找直线L上的点，将这些点连成一条线段，记录线段的端点，并将这些点删除掉；

(3.2.5)回到步骤3.2.2，直至所有边缘点都被处理过。

作为本发明的进一步改进，步骤(3.3)中对隧道防护门边缘直线的位置变化检测过程如下：

对所述隧道防护门两边缘直线之间的区域进行图像提取并二值化，对图像进行灰度统计，计算图像每一行中白色像素点的个数，然后统计单行白色像素点总数小于门宽度值对应像素点数的行数，以此判断隧道防护门是否处于开启状态。

作为本发明的进一步改进，在所述隧道防护门上还设置有报警器；所述报警器与所述工控机电连接，并可在所述工控机判断所述隧道防护门处于开启状态时报警。

作为本发明的进一步改进，所述数据传输单元为串口服务器，其与所述工控机之间以无线通信的方式进行通信。

作为本发明的进一步改进，步骤(3)中的图像处理过程还包括对图像进行分类的过程：

(3.4)将采集到的图像进行Resnet图像分类，并将状态检测系统部署在云服务器中，使用日常拍摄隧道防护门各种情况下的照片作为训练集对状态检测系统进行训练，再利用训练好的系统对实时采集的图片进行分类。

作为本发明的进一步改进，同一个工控机可同时接收多个数据传输单元传输的图像数据，且同一个数据传输单元可用于接收一个或者多个摄像头所采集的图像数据。

上述改进技术特征只要彼此之间未构成冲突就可以相互组合。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有的有益效果包括：

(1)本发明的基于图像识别的隧道防护门状态检测方法，其通过对应隧道防护门设置摄像头，并对应其设置数据传输单元和工控机，利用隧道防护门图像数据的实时采集和快速处理，可以实现隧道防护门所处状态的快速检测，进而实现隧道防护门开闭状态的准确判定，简化了隧道防护门工作状态检测的过程，节约了隧道防护门检修维护的成本，保证了隧道运营的安全性和可靠性；

(2)本发明的基于图像识别的隧道防护门状态检测方法，其通过特殊设计隧道防护门状态图像的处理过程，通过图像预处理、边缘直线检测等处理过程，准确实现了隧道防护门边缘直线的位置变化检测过程，实现了隧道防护门开闭状态的快速判定，提升了隧道防护门状态判定的效率和准确性；

(3)本发明的基于图像识别的隧道防护门状态检测方法，其系统设置简单，判定准确，能实现隧道防护门的无人化巡检，保证隧道防护门状态检测的实时性和准确性，提升隧道防护门使用的安全性和可靠性，保证隧道的安全运营，降低隧道防护门的养护成本，具有较好的实用价值和应用前景。

附图说明

图1是本发明实施例中基于图像识别的隧道防护门状态检测系统的架构示意图；

图2是本发明实施例中基于图像识别的隧道防护门状态检测系统的结构示意图；

在所有附图中，同样的附图标记表示相同的技术特征，具体为：

1、隧道防护门；2、报警器；3、摄像头；4、串口服务器；5、工控机。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

实施例：

本发明优选实施例中的基于图像识别的隧道防护门状态检测方法利用如图1、2中所示的隧道防护门状态检测系统来实现。

具体而言，优选实施例中的隧道防护门状态检测系统包括对应各隧道防护门1设置的摄像头3，进一步优选为工业摄像头，用于实时拍摄门体状态的照片；相应地，对应摄像头3设置有数据传输单元，其与摄像头3电连接，可以实现摄像头3所采集数据的接收和传输，在优选实施例中，数据传输单元为串口服务器4。同时，对应串口服务器4设置有工控机5，其与串口服务器4之间通信连接，可接收来自串口服务器4的照片数据，并对采集到的图像数据进行处理，通过图像处理的结果判断隧道防护门1的状态是否满足安全设置的要求。

可以理解，在实际设置时，一处隧道中往往设置有多个隧道防护门1，此时，针对每一个隧道防护门1分别均设置有摄像头3，其可对应设置在隧道防护门1背离轨行区的一侧，如此设置，可以充分避免摄像头3在隧道内活塞风的作用下被吹动或者被吹下，保证摄像头3的设置稳定性。

同时，在实际设置串口服务器4和工控机5时，可以在一处隧道中设置一个或者多个，即一个串口服务器4可以实现一个或者多个隧道防护门1图像数据的采集，且一个工控机5可以采集一个或者多个串口服务器4中的图像数据。例如，在一个隧道中，设置有一处工控机5，对应其设置有好几处串口服务器4，每一个串口服务器4对应一个摄像头3设置。

优选地，在各隧道防护门1上分别设置有报警器2，其与工控机5通信连接，可在工控机5发现隧道防护门1未锁紧或者脱离门框时触发，向运营人员和/或驾驶人员示警。显然，报警器2设置在隧道防护门1靠近轨行区的一侧，如图2中所示。不过，在实际设置时，也可以在摄像头3设置一侧的隧道防护门1上设置报警器2，使得摄像头3可以快速采集报警状态示意信息。

具体而言，优选实施例中利用隧道防护门状态检测系统进行隧道防护门状态检测的步骤如下：

(1)通过摄像头3采集隧道防护门1的图像；优选地，摄像头3可以周期性采集图像；或者在特定时间内采集图像，例如在列车通过隧道的时间范围内多次采集隧道防护门1的图像数据。由于活塞风的作用，会对隧道防护门1产生推拉作用，如果隧道防护门1的关闭状态有所变化，将会直接体现在所采集的图像上，如此，也可避免摄像头3的长时间工作，节约能源，提升状态判定的准确性。

(2)将摄像头3采集的隧道防护门1的图像数据传输到对应的串口服务器4，并由其将图像数据传递到工控机5；

(3)由工控机5对串口服务器4传回的图像数据进行处理，以此判断隧道防护门1的设置状态；

具体而言，优选实施例中的图像处理过程包括如下步骤：

(3.1)对图像进行预处理；

优选实施例中，图像预处理主要分为图像滤波和图像增强两部分。其中，图像滤波优选使用双边滤波，它的作用主要是在处理图形的时候可以做到在平滑图像的同时，能够保留图像的边缘信息。同时，双边滤波主要是在高斯滤波的基础上加入了像素值权重项，也就是说既要考虑距离因素，也要考虑像素值差异的影响，像素值越相近，权重越大。

进一步地，将像素值权重表示为G

其中，q、p分别表示输出图像和输入图像对应点的空间坐标，(p-q)也即欧氏距离；I

进一步地，优选将整个滤波器表示为BF，则滤波结果可以表征为：

其中，W

进一步地，优选实施例中针对图像进行增强主要是因为隧道内亮度偏暗，对比度不够，导致图像整体灰度较低，图像中的边缘相对于背景比较弱。正因如此，优选实施例中使用灰度线性变换的方式对图像进行增强对比度处理，以增强图像边缘。

其中，线性灰度变换的处理过程优选基于如下线性函数进行：

B＝f(A)＝aA+c

式中，A为输入图像的灰度值，B为输出图像的灰度值，a为线性函数的斜率，c为在Y轴的截距。

当a>1时，输出图像的对比度将增大；c越大，输出图像的亮度将越大。另外，考虑到隧道内图像亮度偏暗，对比度不够的问题，可根据现场图像情况适当调大a和c的值达到一个提高对比度和亮度的作用。

(3.2)检测隧道防护门的边缘直线；

在处理后图像数据的基础上，对图像数据中隧道防护门1的边缘直线进行检测。在初始检测时，需要对隧道防护门1的边缘直线进行检测，若门体的边缘不明显，可在门体的边缘位置贴设直线标志物，以确保图像参数检测时可以快速判断隧道防护门1边缘直线的位置变化。

实际检测时，优选实施例中采用的是基于霍夫变换(Hough Transform)的直线检测方法，其主要的做法是将直角坐标系中的直线检测问题转换到局部的峰值点检测。另外，由于标准霍夫变换在检测直线时，需要遍历所有的边缘点，并对每个边缘点进行霍夫变换，运算量非常大，因此，在优选实施例中，使用的是改进算法—“概率霍夫变换”来检测直线。其实现过程为：

(3.2.1)使用预处理过的图像计算图像的边缘图。

(3.2.2)随机提取边缘图中的边缘点，转换到极径-极角空间中。

(3.2.3)当极径-极角空间里有局部峰值点大于一定的阈值，则提取该点对应的直线L。

(3.2.4)在边缘图上寻找直线L上的点，将这些点连成一条线段，记录线段的端点，并将这些点删除掉。

(3.2.5)回到步骤3.2.2，直至所有边缘点都被处理过。

(3.3)检测隧道防护门边缘直线的位置变化；

在通过步骤(3.2)确定隧道防护门1的两边边缘之后，通过两边缘直线的位置对隧道防护门1的状态作出判断。

具体而言，优选实施例中通过对隧道防护门1两边缘直线之间的区域进行图像提取并二值化，对图像进行灰度统计，计算图像每一行中白色像素点的个数，然后统计单行白色像素点总数小于门宽度值对应像素点数的行数，如果有65％～75％的行白色像素点总数小于门宽度值对应像素点数的行数，则认为隧道防护门的状态为开启状态。

(3.4)检测并分类隧道防护门的状态类型

对图像进行分类，明确隧道防护门所处的门正常、门破损、门倾倒、人进出等情况。在优选实施例中，为了判断目标隧道防护门所处的状态，可以将采集到的图像进行Resnet图像分类，并将系统部署在云服务器中，使用日常拍摄隧道防护门各种情况下的照片作为训练集对状态检测系统进行训练，将训练好的系统部署到工业计算机中，对实时产生的图片进行分类，将得到的防护门实时情况进行向上通报或者报警等。

(4)根据工控机5图像数据处理的结果，判定是否需要报警，若需要，则控制报警器2进行报警，此后，检修作业人员可以对隧道防护门1进行维修。

对于优选实施例中的隧道防护门状态检测方法而言，其通过摄像头周期性地采集防护门状态的图像数据，然后通过相机的USB接口传入串口服务器，优选实施例中的串口服务器支持无线传输网络，使得计算机通过局域网连接上串口服务器，接收摄像头采集到的图像数据，在此基础上，首先对图像进行预处理，得到有效数据；然后对防护门边缘直线进行检测；最后对防护门边缘直线的位置变化进行检测，得到防护门现处于为打开、关闭或倾倒的状态，并将其传达给监控中心，如果出现防护门不为关闭状态将同时启动报警器。

本发明中的基于图像识别的隧道防护门状态检测方法，其系统设置简单，判定准确，能实现隧道防护门的无人化巡检，保证隧道防护门状态检测的实时性和准确性，提升隧道防护门使用的安全性和可靠性，保证隧道的安全运营，降低隧道防护门的养护成本，具有较好的实用价值和应用前景。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。