一种基于图像识别边缘计算的自动扶梯安全装置

技术领域

本发明公开了一种自动扶梯安全装置，属于自动扶梯安全设备技术领域，具体涉及一种基于图像识别边缘计算的自动扶梯安全装置。

背景技术

随着城市现代化水平的不断提高，自动扶梯作为运输乘客的常用交通工具，在地铁、高铁、机场、商场、写字楼等公共交通场景得到越来越广泛的应用。随着使用频率的增长，乘客乘坐自动扶梯的安全事件时有报道。其中对乘客伤害最大的事件主要为乘客夹脚和乘客跌倒等：乘客夹脚的位置主要发生在围裙板和梯级间隙处及上下梯级间的梳齿板，自动扶梯运行一段时间后会出现变形，机械结构间的间隙可能变大，在摩擦力的作用下洞洞鞋等柔软的鞋子很容易被卷入其中从而对人体造成重大损伤。同时女士细高跟鞋很容易卡在梯级梳齿板间，最终在梯级与地面结合处发生夹脚事故；乘客跌倒主要发生在自动扶梯出入口及梯面位置，主要是由于乘客身腿部被夹，扶手带未抓稳，身体与裙板发生摩擦等原因导致身体失去平衡。

此外现有场景下自动扶梯及自动人行道发生乘客安全事故时，通常需要现场人员通过观察等人工手段判断，场所管理人员无法立即接收到对应设备的事故信息，也无法立即前往对应设备进行关停扶梯等动作，往往等管理人员发现并达到现场后被夹脚乘客已经发生不可逆转的身体损伤。另外，传统的处理方法对乘客安全事故的原因、时间节点、位置等数据没有被系统地记录，不方便后续调查、监管、责任划分等工作的进行。

发明内容

发明目的：提供一种基于图像识别边缘计算的自动扶梯安全装置，解决上述提到的由于乘客身腿部被夹，扶手带未抓稳，身体与裙板发生摩擦等原因导致身体失去平衡而跌倒和传统处理方法的响应慢、不方便事件追溯等问题。

技术方案：一种基于图像识别边缘计算的自动扶梯安全装置，包括：扶梯点终端设备、边缘计算终端、AI管理平台；

所述扶梯点终端设备包括安装固定在扶梯裙板上的双向摄像机，用来采集拉取安装位置前后梯级有效范围内的实时视频流；

所述边缘计算终端与所述扶梯点终端设备连接，用于接收扶梯点终端设备发送的实时视频流进行识别；

所述AI管理平台与所述边缘计算终端连接，安装部署在车控室机房，提供AI边缘计算设备接入管理功能，同时提供运行日志、报警信息回溯等基础服务。

在进一步的实施例中，所述边缘计算终端外接声光报警模块；当所述边缘计算终端识别到特定鞋型、异物进入安全黄线划定区域、人员发生跌倒后通过声光报警模块输出报警，提醒和劝阻乘梯人员，并将对应的报警信息、报警位置、影像照片、视频上报到所述AI管理平台。

在进一步的实施例中，所述扶梯点终端设备设有LED显示屏，能够显示自动扶梯上下行、停止信号等运行状态。

在进一步的实施例中，所述边缘计算终端内部设有物体识别分析模块和行为识别分析模块以及腿部姿态模型库；

所述物体识别分析模块通过对大量特定鞋型的图片素材进行标注，并导入神经网络大数据分析引擎进行自学习，生成算法模型后灌入边缘计算终端；

所述行为识别分析模块对收到的连续图片与事先学习完成的乘客跌倒腿部姿态模型库比对，并判断是否有乘客发生跌倒事件。

在进一步的实施例中，所述自动扶梯安全装置包括识别方法，所述识别方法如下：

第一段、识别乘客所穿鞋子是否为洞洞鞋、高跟鞋等比较容易引起夹脚事故的鞋型；

第二段、通过对视频码流的解析对安全黄线区域划定警戒区域，识别乘客脚部是否越过安全黄线；

第三段、通过对视频码流的解析对梯面乘客腿部姿态进行AI深度学习，并识别乘客是否有发生跌倒的状况。

在进一步的实施例中，所述识别方法具体包括以下步骤：

步骤一，扶梯点终端设备的双向摄像头获取安装位置前后梯级有效范围内的视频画面，并通过视频流推送至边缘计算终端；

步骤二，边缘计算终端在获取到视频流后，通过视频处理模块以毫秒为单位生成连续的图片，并同时推送至物体识别分析模块及行为识别分析模块；

步骤三，物体识别分析模块对图片加载事先划定好的安全黄线位置，并判断是否有异物进入或者通过与事先学习完成的模型库比对梯面是否有洞洞鞋、高跟鞋等特定鞋型。如果有则向扶梯点终端的声光报警模块发送信号，如果没有则返回步骤一；

步骤四，行为识别分析模块对收到的连续图片与事先学习完成的乘客跌倒腿部姿态模型库比对，并判断是否有乘客发生跌倒事件；如果有则向扶梯点终端的声光报警模块发送信号，如果没有则返回步骤一；

步骤五，扶梯点终端设备的声光报警模块在收到边缘计算终端的报警信号后向现场乘客发送声音报警及灯光报警，以便现场乘客感知；

步骤六，边缘计算终端在识别到特定鞋子类型、安全黄线区域有物体进入或者乘客发生跌倒事件后将对应的报警信息、报警位置、影像照片、视频上报到AI管理平台；

步骤七，AI管理平台以界面弹窗、声光报警等方式将报警信息传达至场所管理人员。

在进一步的实施例中，所述腿部姿态模型库通过事先录制大量乘客正常乘梯和乘客发生跌倒时的腿部视频作为初始数据集，并通过数据分类将数据分为数据集与验证集分别用于标准算法模型的建立与算法模型验证，在数据集中标注不同情况下乘客的腿部特征并导入神经网络大数据分析引擎进行自学习得出初始模型库，得到初始模型库后将验证集导入观察正负样本的数量及结果。

在进一步的实施例中，如果结果不满足预期则通过重新调整模型网络参数或者新增数据样本的方式不断优化算法模型；

如果结果满足则发布当前版本，后续通过不断收集、提取各种场景、各种姿态下的腿部姿态，来丰富正负样本库的样本量，不断重复模型优化的步骤来提高识别结果的置信度阈值准确性，迭代算法模型的版本更新。

有益效果：本发明主要利用图像识别技术分三段式对自动扶梯安全事件进行预先防护：第一段，识别乘客所穿鞋子是否为洞洞鞋、高跟鞋等比较容易引起夹脚事故的鞋型；第二段，通过对视频码流的解析对安全黄线区域划定警戒区域，识别乘客脚部是否越过安全黄线；第三段，通过对视频码流的解析对梯面乘客腿部姿态进行AI深度学习，并识别乘客是否有发生跌倒的状况。本发明的三段式防护能够从预防的角度防止自动扶梯乘客发生夹脚事故，从而保护乘客的财产生命安全，降低公共交通运营方的运营责任。

附图说明

图1是本发明的图像识别算法模型特征提取、优化流程图。

图2是本发明的工作流程图。

图3是本发明的工作示意图。

图4是本发明的方法流程图。

图5是本发明的扶梯点终端设备运行状态灯示意图。

图6是本发明的图像识别边缘计算终端系统流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于图像识别边缘计算的自动扶梯安全装置，包括：扶梯点终端设备、边缘计算终端、AI管理平台；

所述扶梯点终端设备包括安装固定在扶梯裙板上的双向摄像机，用来采集拉取安装位置前后梯级有效范围内的实时视频流；

所述边缘计算终端与所述扶梯点终端设备连接，用于接收扶梯点终端设备发送的实时视频流进行识别；

所述AI管理平台与所述边缘计算终端连接，安装部署在车控室机房，提供AI边缘计算设备接入管理功能，同时提供运行日志、报警信息回溯等基础服务。

在一个实施例中，如图1至图6所示，所述边缘计算终端外接声光报警模块；当所述边缘计算终端识别到特定鞋型、异物进入安全黄线划定区域、人员发生跌倒后通过声光报警模块输出报警，提醒和劝阻乘梯人员，并将对应的报警信息、报警位置、影像照片、视频上报到所述AI管理平台。

在一个实施例中，如图1至图6所示，所述扶梯点终端设备设有LED显示屏，能够显示自动扶梯上下行、停止信号等运行状态。

在一个实施例中，如图1至图6所示，所述边缘计算终端内部设有物体识别分析模块和行为识别分析模块以及腿部姿态模型库；

所述物体识别分析模块通过对大量特定鞋型的图片素材进行标注，并导入神经网络大数据分析引擎进行自学习，生成算法模型后灌入边缘计算终端；

所述行为识别分析模块对收到的连续图片与事先学习完成的乘客跌倒腿部姿态模型库比对，并判断是否有乘客发生跌倒事件。

在一个实施例中，如图4所示，所述自动扶梯安全装置包括识别方法，所述识别方法如下：

第一段、识别乘客所穿鞋子是否为洞洞鞋、高跟鞋等比较容易引起夹脚事故的鞋型；

第二段、通过对视频码流的解析对安全黄线区域划定警戒区域，识别乘客脚部是否越过安全黄线；

第三段、通过对视频码流的解析对梯面乘客腿部姿态进行AI深度学习，并识别乘客是否有发生跌倒的状况。

在一个实施例中，如图1至图6所示，所述识别方法具体包括以下步骤：

步骤一，扶梯点终端设备的双向摄像头获取安装位置前后梯级有效范围内的视频画面，并通过视频流推送至边缘计算终端；

步骤二，边缘计算终端在获取到视频流后，通过视频处理模块以毫秒为单位生成连续的图片，并同时推送至物体识别分析模块及行为识别分析模块；

步骤三，物体识别分析模块对图片加载事先划定好的安全黄线位置，并判断是否有异物进入或者通过与事先学习完成的模型库比对梯面是否有洞洞鞋、高跟鞋等特定鞋型。如果有则向扶梯点终端的声光报警模块发送信号，如果没有则返回步骤一；

步骤四，行为识别分析模块对收到的连续图片与事先学习完成的乘客跌倒腿部姿态模型库比对，并判断是否有乘客发生跌倒事件；如果有则向扶梯点终端的声光报警模块发送信号，如果没有则返回步骤一；

步骤五，扶梯点终端设备的声光报警模块在收到边缘计算终端的报警信号后向现场乘客发送声音报警及灯光报警，以便现场乘客感知；

步骤六，边缘计算终端在识别到特定鞋子类型、安全黄线区域有物体进入或者乘客发生跌倒事件后将对应的报警信息、报警位置、影像照片、视频上报到AI管理平台；

步骤七，AI管理平台以界面弹窗、声光报警等方式将报警信息传达至场所管理人员。

在一个实施例中，如图1至图6所示，所述腿部姿态模型库通过事先录制大量乘客正常乘梯和乘客发生跌倒时的腿部视频作为初始数据集，并通过数据分类将数据分为数据集与验证集分别用于标准算法模型的建立与算法模型验证，在数据集中标注不同情况下乘客的腿部特征并导入神经网络大数据分析引擎进行自学习得出初始模型库，得到初始模型库后将验证集导入观察正负样本的数量及结果。

在一个实施例中，如图1至图6所示，如果结果不满足预期则通过重新调整模型网络参数或者新增数据样本的方式不断优化算法模型；

如果结果满足则发布当前版本，后续通过不断收集、提取各种场景、各种姿态下的腿部姿态，来丰富正负样本库的样本量，不断重复模型优化的步骤来提高识别结果的置信度阈值准确性，迭代算法模型的版本更新。

在一个实施例种，如图1至图6所示，本发明实现的重点在于如何识别出洞洞鞋、高跟鞋等特定鞋型，划定安全黄线区域以及建立乘客正常乘梯/跌倒时的腿部姿态模型库并识别跌倒事件。识别特定鞋型可通过对大量特定鞋型的图片素材进行标注，并导入神经网络大数据分析引擎进行自学习，生成算法模型后灌入边缘计算终端。边缘计算终端截取视频流画面后，以毫秒为单位生成多张连续的图片，边缘计算终端调用算法模型对图片进行分析比对；划定安全黄线区域即边缘计算终端截取视频流画面后，以毫秒为单位生成多张连续的图片，对图片中的特定区域绘制多边形警戒框，并在后续生成的图片上加盖警戒框。

在一个实施例种，如图1所示，建立乘客正常乘梯/跌倒时的腿部姿态模型库(可通过事先录制大量乘客正常乘梯和乘客发生跌倒时的腿部视频作为初始数据集)，并通过数据分类将数据分为数据集与验证集分别用于标准算法模型的建立与算法模型验证，在数据集中标注不同情况下乘客的腿部特征并导入神经网络大数据分析引擎进行自学习得出初始模型库，得到初始模型库后将验证集导入观察正负样本的数量及结果，如果结果不满足预期则通过重新调整模型网络参数或者新增数据样本的方式不断优化算法模型，如果结果满足则发布当前版本，后续通过不断收集、提取各种场景、各种姿态下的腿部姿态，来丰富正负样本库的样本量，不断重复模型优化的步骤来提高识别结果的置信度阈值准确性，迭代算法模型的版本更新，从而提高乘客跌倒事件的识别率。

在一个实施例种，如图1至图6所示，本发明的装置主要包括扶梯点终端设备、边缘计算终端、AI管理平台。扶梯点终端设备：安装固定在扶梯裙板上的双向摄像机，用来采集拉取安装位置前后梯级有效范围内的实时视频流并向后端边缘计算终端发送，边缘计算终端识别到特定鞋型、异物进入安全黄线划定区域、人员发生跌倒后通过声光报警模块输出报警，提醒和劝阻乘梯人员。同时扶梯点终端设备设有LED显示屏，能够显示自动扶梯上下行、停止信号等运行状态；边缘计算终端：安装在扶梯前沿盖板内部，提供扶梯点终端设备的视频流接入及算法分析，算法配置，划定安全黄线区域和生成报警事件。边缘计算终端在识别到特定鞋型、异物进入安全黄线划定区域、人员发生跌倒后调用对应扶梯点终端设备的声光报警模块报警，并将对应的报警信息、报警位置、影像照片、视频上报到AI管理平台；AI管理平台：安装部署在车控室机房，提供AI边缘计算设备接入管理功能。同时提供运行日志、报警信息回溯等基础服务

本发明的具体工作原理已在上述描述清楚，这里不在过多赘述。

本发明根据现场感知预警、车站值班人员应急处置及事件追溯的业务原则，分为扶梯点、车站级两个级别的报警。现场感知预警是本发明核心业务，通过实时监控乘客所穿鞋子类型、异物是否进入安全黄线划定区域、人员是否发生跌倒，并以毫秒级的响应时机推送声光报警，并将抓拍到的影像资料上传至AI管理平台，以警示乘客规范乘梯，避免安全事故。车站值班人员应急处置是对于无视现场感知预警的提示，或者因特殊情况发生危险事故时，可将报警弹窗信息推送至车控室大屏显示，车站值班人员可以到达现场第一时间关停扶梯，并开展下一步的救援工作。

本发明基于图像识别并且在边缘端部署的方式，相较于传统的人工判断方式更为快速、安全。结合物联网展示平台的应用，能够更直观、方便的帮助场所管理人员实时了解自动扶梯/自动人行道的乘客安全情况。同时利用物联网数据快速通信的特性，能够在乘客发生安全事件前通过识别乘客所穿鞋子类型为容易被扶梯夹脚鞋型时立即提醒乘客，能够在发生乘客脚部进入安全黄线区域后立即提醒乘客，能够在乘客发生跌倒事件后立即提醒乘客并上报AI管理平台通知车站管理人员，以达到预防安全事件发生的作用。甚至识别到长时间的物体进入安全黄线区域时，立即推送报警提醒至车站管理人员到现场处理。相较于传统人工方式的不及时性。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。