一种基于双目视觉的轨道交通异物检测方法、装置及系统

技术领域

本发明涉及轨道交通异物检测技术领域，尤其是指一种基于双目视觉的轨道交通异物检测方法、装置及系统。

背景技术

目前，轨道交通场景下，站台门与车门之间容易产生小目标异物，如若出现异物，主要依靠机车司机、站台接车员来判别，站台监控设备仅能为人工识别提供一定的辅助，容易受到站台情况、人员生理、心理状态等因素影响，异物识别费时、费力。因此，在当前轨道智能化、信息化发展背景下，为了保证乘客的乘车安全和列车的安全行驶，寻找一种自动、智能检测、识别异物侵限的解决方案是十分有价值的事情。从发展趋势看，轨道异物检测技术将成为实现列车无人驾驶和站场作业无人化的关键技术。

近年来，国内外提出了众多智能异物检测相关的技术，其核心主要是传感器的选择以及相关数据处理算法的研究与应用。当前主流的异物检测技术按照选用的传感器类型不同可分为：基于机器视觉、基于毫米波雷达、基于激光雷达、基于超声波、基于红外等传感器的检测方法。目前检测技术相对完备，考虑到传感器的成本、体积、安装稳定性等因素，然而针对轨道交通环境的异物检测技术相对较少。

国外轨道站台多为地面式站台，所以屏蔽门的配置多为半高式。不同于国外，国内站台多数建设于地下，为了保护乘客的安全，采用的屏蔽门多为封闭式，将轨行区与站台候车区完全隔离。所以在国外对于轨道交通异物检测技术并不完全适用于国内的地铁情况。目前的轨道交通屏蔽门项目应用的几种异物检测系统，包括：

瞭望灯带，为了方便列车司机在列车车头控制室操作列车门或在车头PSL上操作屏蔽门前对屏蔽门与列车门之间的间隙及外部环境进行有效无障碍观察，在限界允许的前提下，在站台每侧的列车尾端设置“司机瞭望灯带”。列车司机通过瞭望位于列车尾部的灯带观察有无障碍，如观测到灯带被遮挡则认为列车与屏蔽门之间有乘客或存在异物，列车司机会通知站台工作人员进行核查处理；如果观测到灯带清晰完整，则认为列车和屏蔽门之间没有障碍，可以安全发车。但瞭望灯带主要与传感器搭配使用，结果容易受司机主观因素影响。

红外光栅探测系统，主要采用红外光束作为探测光源，在探测过程中，任何一个防区任一光束被乘客或异物阻挡而中断时，接收器无法收到信号，报警器随即发出报警信号，同时屏蔽门无法正常关闭，系统会在操作盘上发出声光警报，同时向上级系统发出报警信号。异物探测报警装置的控制器把每个防区的检测结果汇总成一个信号，作为一个节点接入屏蔽门系统的安全回路。但红外光栅探测系统限界要求高且异物判断位置不精准；每一个屏蔽门单元要有一对红外对射装置，且需要专门的安装架进行安装，数量较多，为避免侵限，必要严格控制限界范围；由于是几道滑动门共用一组光栅，当此组光栅检测到异物时，不能立刻精确到是具体哪个门有异物，需要人为判断。

激光异物探测系统，在列车进站乘客上下车结束后，把屏蔽门的“关闭且锁紧”信号传送给激光异物探测系统的控制器，控制器在接收屏蔽门系统的指令后，控制激光发射器发出激光脉冲，如果接收器收到激光脉冲信号，就表明在此区间内没有异物，如果激光传感器没有收到激光脉冲信号，就表明在此区间内有障碍轨道交通屏蔽门与列车门间缝隙异物探测报警装置物。激光传感器可以检测到异物的精确位置，由控制器把异物的位置信息反馈到屏蔽门系统。但激光异物探测系统对安装校准要求极高，列车运行产生的振动很可能导致发射器和接收器发生瞬间甚至稳态配准故障，运行稳定性不高。

激光雷达视频探测系统的激光雷达发射与接收一体，实现立体扫描，采用激光飞行时间测量法，由激光雷达发射脉冲束，照射到检测物后反射回到激光雷达，通过测量时间差计算出与物体之间的距离。通过不同倾斜角度的棱镜高速旋转，将光束分成几个扫描面，每处激光雷达探测器装置内置摄像头，可以实时监控每道滑动门与车门之间间隙的实际情况，当激光探测器检测出异物报警时，可通过站台两侧端门显示屏、设备室显示端查看视频，以便人工辅助判断是否属于误报。但该系统对现场环境和后台算法要求较高，在检测过程中，要考虑到误报的情况，因异物的种类、大小、体积、厚度等不同，要求后台算法精准，尽可能排除掉不必要的异物报警；多模态异物检测需要多种传感器共同使用，且保证检测准确性，需要安装于站台门上方，平均一个站台需要安装12个传感器，成本巨大。

且现有的检测系统的检测设备一般装配在上下行靠近车头旁，即水平方向进行检测，虽减少设备成本，但准确性较低。或者在每个屏蔽门上方安装检测设备，即垂直方向检测，增加设备成本，保证准确性高，但一个站台所需要安装的设备成本较高。

综上所述，现有的异物检测系统无法在保证较低成本的同时，满足检测准确性；现有的异物检测系统需要安装能够覆盖站台的传感器设备，大大提高了建设成本。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中无法同时满足低成本和高准确性的问题。

为解决上述技术问题，本发明提供了一种基于双目视觉的轨道交通异物检测方法，包括：

将双目摄像机设置于轨道交通屏蔽门上预设位置处；

利用双目摄像机采集预设区域在正常状态下的双目图像，转换为点云图像，获取模板点云；

利用双目摄像机实时采集轨道交通运行过程中预设区域的双目图像，转换为点云图像，获取实时点云；

以所述模板点云为前帧、所述实时点云为后帧，进行差分，获取表征障碍物的异常点；

对所述异常点进行聚类，得到多个点云簇；

基于每个点云簇中异常点的坐标，获取点云簇所对应的障碍物的中心坐标与尺寸，实现轨道交通异物检测。

在本发明的一个实施例中，基于双目图像获取点云图像，包括：

利用棋盘法对所述双目摄像机进行标定，获取所述双目摄像机的内参，作为双目图像的立体匹配参数；

对所述双目图像的左目图像与右目图像进行畸变校正与立体校正；

基于每个像素点的横纵坐标，对校正后的左目图像与右目图像进行像素点匹配，计算左右视图视差；

根据三角相似原理及所述左右视图视差，获取双目图像的深度图，得到每个像素点的深度坐标；

根据双目图像中每个像素点的横纵坐标与深度坐标，将双目图像转换为点云图像。

在本发明的一个实施例中，所述根据三角相似原理及所述左右视图视差，获取双目图像的深度图，得到每个像素点的深度坐标，表示为：

其中，Z表示像素点的深度坐标，f表示双目摄像机的焦距，b表示双目摄像机的左目相机与右目相机之间的距离，x

在本发明的一个实施例中，所述对所述双目图像的左目图像与右目图像进行畸变校正与立体校正之前，还包括对所述双目图像进行图像增强。

在本发明的一个实施例中，所述对所述异常点进行聚类，得到多个点云簇，包括：

将异常点视为聚类对象；

计算每两个聚类对象之间的最小距离，将距离最小的两个聚类对象合并为一个新的点云簇，将新的点云簇视为聚类对象；

重复前一步骤进行聚类对象合并，直至所有聚类对象之间的距离均不小于预设距离，结束聚类，得到多个点云簇。

在本发明的一个实施例中，障碍物中心坐标的获取，包括：

分别获取点云簇中最大的横坐标、纵坐标与深度坐标，表示为：

(X

分别获取点云簇中最小的横坐标、纵坐标与深度坐标，表示为：

(X

障碍物的中心坐标(X，Y，Z)，分别表示为：

障碍物横坐标：

障碍物纵坐标：

障碍物深度坐标：

在本发明的一个实施例中，所述基于每个点云簇中异常点的坐标，获取点云簇所对应的障碍物的中心坐标与尺寸，实现轨道交通异物检测后，还包括：

若障碍物的尺寸大于预设尺寸，则生成预警信号。

本发明实施例还提供了一种基于双目视觉的轨道交通异物检测装置，包括：

模板点云获取模块，用于利用双目摄像机采集预设区域在正常状态下的双目图像，转换为点云图像，获取模板点云；

实时点云获取模块，用于利用双目摄像机实时采集轨道交通运行过程中预设区域的双目图像，转换为点云图像，获取实时点云；

差分模块，用于以所述模板点云为前帧、所述实时点云为后帧，进行差分，获取表征障碍物的异常点；

聚类识别模块，用于对所述异常点进行聚类，得到多个点云簇，基于每个点云簇中异常点的坐标，获取每个点云簇所对应的障碍物的中心坐标与尺寸，实现轨道交通异物检测。

在本发明的一个实施例中，还包括预警模块，用于在障碍物的尺寸大于预设尺寸，则生成预警信号。

本发明实施例还提供了一种基于双目视觉的轨道交通异物检测系统，包括：

双目摄像机，固定于轨道交通线路的屏蔽门上预设位置处，用于采集预设区域内的左目图像与右目图像；

基于双目视觉的轨道交通异物检测装置，与所述双目摄像机通讯连接，用于获取所述左目图像与右目图像，来实现如上述所述的基于双目视觉的轨道交通异物检测方法的步骤；

预警装置，与所述基于双目视觉的轨道交通异物检测装置通讯连接，用于在所述基于双目视觉的轨道交通异物检测装置生成预警信号时，发出声光警报。

本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的基于双目视觉的轨道交通异物检测方法，利用设置于屏蔽门上的双目摄像机获取预设区域内双目图像，进而转换成点云图像进行异物检测，双目摄像机在有效范围内能够替代雷达等高成本检测设备，降低了检测设备的设备成本；且本发明双目摄像机的图像采集区域，可根据使用场景进行实时调整，降低了检测设备的安装精度，提高了采集图像的稳定性。本发明基于点云图像进行差分获取异常点，对异常点进行聚类获取表征障碍物的点云簇，通过计算点云簇中各像素点的坐标，获取障碍物的中心坐标及尺寸；本发明利用双目图像与点云图像对异物进行检测，大大提高了异物检出率，在保证低成本、低安装精度检测设备的同时，提高了检测准确率。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明的基于双目视觉的轨道交通异物检测方法的步骤流程图；

图2是可见光下的背包带检测图

图3是；本发明的无障碍物点云的模板点云图像；

图4是本发明的有障碍物点云的实时点云图像；

图5是本发明的差分点云图像；

图6是本发明的基于双目视觉的轨道交通异物检测装置的组成示意图

图7是本发明的基于双目视觉的轨道交通异物检测装置的原理流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

参照图1所示，本发明的基于双目视觉的轨道交通异物检测方法，具体包括:

S1:将双目摄像机设置于轨道交通屏蔽门上预设位置处；

S2:利用双目摄像机采集预设区域在正常状态下的双目图像，转换为点云图像，获取模板点云；

S3:利用双目摄像机实时采集轨道交通运行过程中预设区域的双目图像，转换为点云图像，获取实时点云；

S4:以所述模板点云为前帧、所述实时点云为后帧，进行差分，获取表征障碍物的异常点；

S5:对所述异常点进行聚类，得到多个点云簇；

S6:基于每个点云簇中异常点的坐标，获取点云簇所对应的障碍物的中心坐标与尺寸，实现轨道交通异物检测。

本发明利用双目视觉相机，将双目生成的图片通过算法进行立体匹配，生成深度图，进而转化为点云数据，搭配英伟达终端平台进行点云数据处理，计算出异物的距离，以达到异物检测效果；同时可以降低设备成本，并且在覆盖范围内双目视觉的异物检出率能够与激光雷达异物检出率持平；且双目视觉相机的安装不受传感器的外部因素影响，所需设置的参数可以在算法中修改，降低了检测设备安装精度。

具体地，在步骤S2与S3中，获取双目图像后，转换为点云图像，深度图生成以左目(IL)为主视图，右目(IR)将与左目图像进行视差计算从而生成深度图(Depthmap),具体包括：

利用棋盘法对所述双目摄像机进行标定，获取所述双目摄像机的内参，作为双目图像的立体匹配参数；

对所述双目图像的左目图像与右目图像进行畸变校正与立体校正；

校正后的双目图像的像素点只在像素坐标系内的横坐标上存在偏差；

基于每个像素点的横纵坐标，对校正后的左目图像与右目图像进行像素点匹配，计算左右视图视差；

根据三角相似原理及所述左右视图视差，获取双目图像的深度图，得到每个像素点的深度坐标Z，表示为：

其中，Z表示像素点的深度坐标，f表示双目摄像机的焦距，b表示双目摄像机的左目相机与右目相机之间的距离，x

根据双目图像中每个像素点的横纵坐标与深度坐标，将双目图像转换为点云图像。

具体地，对所述双目图像的左目图像与右目图像进行畸变校正与立体校正之前，还包括对所述双目图像进行图像增强。本实施例根据双目原始图像对图像中边缘位置进行图像增强，以保证对应像素点位置的精确，旨在加强原始图片中的图片特征，提高障碍物检出效率。

具体地，所述立体校正以左视图为主，通过极线校正将左右匹配的像素点校正至同一极平面内进行左右视图的立体匹配，将左右对应像素点进行匹配。

基于上述实施例，在本实施例中，步骤S5具体包括：

S51:将异常点视为聚类对象；

S52:计算每两个聚类对象之间的最小距离，将距离最小的两个聚类对象合并为一个新的点云簇，将新的点云簇视为聚类对象；

S53:重复步骤S52进行聚类对象合并，直至所有聚类对象之间的距离均不小于预设距离，结束聚类，得到多个点云簇。

具体地，使用聚类算法对有效目标进行分类，流程如下：

①将每个对象看作一类，计算两两之间的最小距离dist

②将距离最小的两个类合并成一个新类；

③重新计算新类与所有类之间的距离；

④重复步骤②、③，直到不再有两类之间的距离满足dist

在本实施例中，步骤S6具体包括：

S61：分别获取点云簇中最大的横坐标、纵坐标与深度坐标，表示为：

(X

S62：分别获取点云簇中最小的横坐标、纵坐标与深度坐标，表示为：

(X

S63：根据最大最小坐标计算障碍物的中心坐标(X，Y，Z)，分别表示为：

障碍物横坐标：

障碍物纵坐标：

障碍物深度坐标：

具体地，获取障碍物中心坐标后，通过双目摄像机安装位置坐标，计算得到双目摄像机与障碍物的相对距离，实现更加准确地障碍物位置检测。

基于上述实施例，在本实施例中，基于每个点云簇中异常点的坐标，获取点云簇所对应的障碍物的尺寸后，若障碍物的尺寸大于预设尺寸，则生成预警信号；预设尺寸的阈值设置为会影响列车正常行驶的最小尺寸。

具体地，在本发明的一个实施例中，利用本发明所提供的基于双目视觉的轨道交通异物检测方法，进行模拟实验，验证本发明方法的性能；在本模拟实验中，设置不同类型的测试物，在不同距离下，测试异物检测效果，具体步骤包括：

打开障碍物检测系统，启动双目摄像机，将障碍物检测终端连接数据库；

点击开门按钮，开门状态刷新，在测试距离为120cm处，放置10cm

观察障碍物检测系统界面的检测窗口；

根据检测窗口的显示，可知本发明能够检测出区域范围内的障碍物，并且能够准确差分出障碍物点云中心坐标；在检测出障碍物后，保存障碍物图片文件。

参照图2所示，为可见光下的背包带检测图；参照图3所示，为本发明的无障碍物点云的模板点云图像；参照图4所示，为本发明的有障碍物点云的实时点云图像；参照图5所示，为本发明无障碍物点云的模板点云图像与有障碍物点云的实时点云图像的差分点云图像；根据图5可知，利用本发明所提供的基于双目视觉的轨道交通异物检测方法，在检测到异物的同时，能够准确识别并定位异物位置。

本发明所述的基于双目视觉的轨道交通异物检测方法，利用设置于屏蔽门上的双目摄像机获取预设区域内双目图像，进而转换成点云图像进行异物检测，双目摄像机在有效范围内能够替代雷达等高成本检测设备，降低了检测设备的设备成本；且本发明双目摄像机的图像采集区域，可根据使用场景进行实时调整，降低了检测设备的安装精度，提高了采集图像的稳定性。本发明基于点云图像进行差分获取异常点，对异常点进行聚类获取表征障碍物的点云簇，通过计算点云簇中各像素点的坐标，获取障碍物的中心坐标及尺寸；本发明利用双目图像与点云图像对异物进行检测，大大提高了异物检出率，在保证低成本、低安装精度检测设备的同时，提高了检测准确率。

参照图6所示，本发明实施例还提供了一种基于双目视觉的轨道交通异物检测装置，包括：

模板点云获取模块100，用于利用双目摄像机采集预设区域在正常状态下的双目图像，转换为点云图像，获取模板点云；

实时点云获取模块200，用于利用双目摄像机实时采集轨道交通运行过程中预设区域的双目图像，转换为点云图像，获取实时点云；

差分模块300，用于以所述模板点云为前帧、所述实时点云为后帧，进行差分，获取表征障碍物的异常点；

聚类识别模块400，用于对所述异常点进行聚类，得到多个点云簇，基于每个点云簇中异常点的坐标，获取每个点云簇所对应的障碍物的中心坐标与尺寸，实现轨道交通异物检测。

本实施例的基于双目视觉的轨道交通异物检测装置用于实现前述的基于双目视觉的轨道交通异物检测方法，因此基于双目视觉的轨道交通异物检测装置中的具体实施方式可见前文中的基于双目视觉的轨道交通异物检测方法的实施例部分，例如，模板点云获取模块100，实时点云获取模块200，差分模块300，分别用于实现上述基于双目视觉的轨道交通异物检测方法中步骤S2，S3和S4；聚类识别模块400，用于实现上述基于双目视觉的轨道交通异物检测方法中步骤S5与S6；所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

在本实施例中，基于双目视觉的轨道交通异物检测装置还包括预警模块，用于在障碍物的尺寸大于预设尺寸，则生成预警信号。

具体地，参照图7所示，在本发明的基于双目视觉的轨道交通异物检测装置中，在安装双目摄像机到指定位置后，通过可视化工具确定需要检测区域的坐标范围，划出ROI区域(region of interest)，即需要采集的预设区域；将ROI区域生成的正常状态的点云作为模板点云，将ROI区域的定时拍摄点云数据作为后帧，对ROI区域中的物体点云数据进行聚类，通过三维坐标(Xmax,Ymax,Zmax)与(Xmin,Ymin,Zmin)，计算出障碍物的中心坐标(X,Y,Z)，确定障碍物的尺寸以及其与双目摄像机的相对距离。

基于上述实施例，本发明实施例还提供了一种基于双目视觉的轨道交通异物检测系统，包括：

双目摄像机，固定于轨道交通线路的屏蔽门上预设位置处，用于采集预设区域内的左目图像与右目图像；

基于双目视觉的轨道交通异物检测装置，与所述双目摄像机通讯连接，用于获取所述左目图像与右目图像，来实现如上述所述的基于双目视觉的轨道交通异物检测方法的步骤；

预警装置，与所述基于双目视觉的轨道交通异物检测装置通讯连接，用于在所述基于双目视觉的轨道交通异物检测装置生成预警信号时，发出声光警报。

本发明基于双目视觉的轨道交通异物检测系统，将开门前后的点云数据进行差分检测，判断是否存在异物，进而保障乘客的乘车安全和列车准点运行。本发明只需要将双目摄像机固定安装至屏蔽门上方，检测区域可以根据要求在算法中进行修改，不过度要求安装的精度；使用双目视觉算法，能够同时使用图像与点云对异物进行检测，大大提高检出率。

本发明所述的基于双目视觉的轨道交通异物检测方法，利用设置于屏蔽门上的双目摄像机获取预设区域内双目图像，进而转换成点云图像进行异物检测，双目摄像机在有效范围内能够替代雷达等高成本检测设备，降低了检测设备的设备成本；且本发明双目摄像机的图像采集区域，可根据使用场景进行实时调整，降低了检测设备的安装精度，提高了采集图像的稳定性。本发明基于点云图像进行差分获取异常点，对异常点进行聚类获取表征障碍物的点云簇，通过计算点云簇中各像素点的坐标，获取障碍物的中心坐标及尺寸；本发明利用双目图像与点云图像对异物进行检测，大大提高了异物检出率，在保证低成本、低安装精度检测设备的同时，提高了检测准确率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。