掌桥专利:专业的专利平台
掌桥专利
首页

列车车厢监控识别方法、装置、可读存储介质及列车

文献发布时间:2024-04-18 19:57:31


列车车厢监控识别方法、装置、可读存储介质及列车

技术领域

本发明涉及轨道交通技术领域,尤其涉及一种列车车厢监控识别方法、装置、可读存储介质及列车。

背景技术

现有的监控识别系统通常应用于校园、广场等公共区域,从而进行实时监测。当监测到有不文明行为时,例如,打架斗殴等行为,系统立即进行语音提醒,并将上述不文明行为回传至监控后台,从而提醒后台人员及时处理。

现有的监控识别系统通常应用于视野宽阔、人员较少的情境下进行识别。而列车车厢内环境拥挤,乘客众多,在上下车途中还存在放置随身物品等相关肢体动作,这就导致在列车车厢内进行不文明行为的监控识别时容易受到周边人员的动作影响,从而出现识别精度较低的问题。

发明内容

本发明实施例提供了一种列车车厢监控识别方法、装置、可读存储介质及列车,以解决列车车厢内监控识别精度较低,无法准确识别车厢内的不文明行为的问题。

第一方面,本发明实施例提供了一种列车车厢监控识别方法,应用于列车车厢监控识别系统,所述列车车厢监控识别系统包括:第一摄像头、视频处理装置和预警装置;所述第一摄像头设置于列车车厢内部,并与所述视频处理装置连接,所述视频处理装置还与所述预警装置连接;所述方法包括:

实时采集车厢内部视频;

对所述车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频;

分别对所述人员视频进行微表情识别和微动作识别,对应得到各人员的行为预测结果;

根据所述行为预测结果,进行行为预警。

在一种可能的实现方式中,所述列车监控识别系统,还包括:第二摄像头以及数据存储装置;所述第二摄像头设置于车门位置处,并与所述视频处理装置连接;所述视频处理装置还与所述数据存储装置连接;

在对所述车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频之前,还包括:

分别采集各上车人员的第一图像;

分别对所述第一图像进行特征提取,得到包括各上车人员的特征信息的特征数据库;

所述对所述车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频,包括:

按照所述特征数据库内的特征信息,对所述车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频。

在一种可能的实现方式中,在按照所述特征数据库内的特征信息,对所述车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频之前,还包括:

分别采集各下车人员的第二图像;

分别对所述第二图像进行特征提取,对应得到各下车人员的特征信息;

从所述特征数据库中对应删除所述下车人员的特征信息。

在一种可能的实现方式中,所述第一摄像头包括至少一个;

所述实时采集车厢内部视频,包括:

实时采集列车车厢内部不同位置处的车厢内部视频;

所述按照所述特征数据库内的特征信息,对所述车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频,包括:

对所有不同位置处的车厢内部视频进行拼接,得到拼接后的车厢内部视频;

按照所述特征数据库内的特征信息,对所述拼接后的车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频。

在一种可能的实现方式中,所述按照所述特征数据库内的特征信息,对所述拼接后的车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频,包括:

按照所述特征数据库内的特征信息,对所述拼接后的车厢内部视频的当前帧图像进行分割,对应得到车厢内部各人员对应的当前帧图像;

分别根据所述各人员对应的当前帧图像以及所述各人员对应的当前帧图像之前的所有帧图像,对应组建所述各人员所对应的人员视频。

在一种可能的实现方式中,所述分别对所述人员视频进行微表情识别和微动作识别,对应得到各人员的行为预测结果,包括:

分别对各人员视频进行微表情识别和微动作识别,得到对应人员的识别结果;

按照所述识别结果,从预设的行为预测数据库中进行查询比对,得到对应人员的潜在行为及预测概率;所述行为预测数据库中包含:不同的潜在行为、各潜在行为所对应的微表情和微动作,以及当前潜在行为下,各微表情的概率占比和各微动作的概率占比;

所述根据所述行为预测结果,进行行为预警,包括:

当所述预测概率大于设定阈值时,将所述对应人员的潜在行为和所述预测概率,发送至列车管理人员处。

在一种可能的实现方式中,在当所述预测概率大于设定阈值时,将所述对应人员的潜在行为和所述预测概率,发送至列车管理人员处之前,还包括:

根据所述车厢内部视频以及车厢内部各人员的特征信息,获取所述各人员的特征信息与座位编号之间的对应关系;

将所述对应关系存储至所述特征数据库中;

所述当所述预测概率大于设定阈值时,将所述对应人员的潜在行为和所述预测概率,发送至列车管理人员处,包括:

当所述预测概率大于设定阈值时,将所述对应人员的潜在行为、所述预测概率、对应人员的特征信息以及对应的座位编号,发送至列车管理人员处。

第二方面,本发明实施例提供了一种列车车厢监控识别装置,包括:

采集模块,用于实时采集车厢内部视频;

处理模块,用于对所述车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频;

处理模块,还用于分别对所述人员视频进行微表情识别和微动作识别,对应得到各人员的行为预测结果;

预警模块,用于根据所述行为预测结果,进行行为预警。

第三方面,本发明实施例提供了一种列车,包括列车车厢监控识别系统,所述列车车厢监控识别系统用于实现如上第一方面或第一方面的任一种可能的实现方式所述列车车厢监控识别方法的步骤。

第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

本发明实施例提供一种列车车厢监控识别方法、装置、可读存储介质及列车,通过对车厢内部视频进行分割后,分别对每一个人员对应的人员视频进行微表情识别和微动作识别,可以避免在识别过程中,受到周边人员的行为影响,有效提高识别精度。并且本发明实施例通过对人员视频进行微表情识别和微动作识别,来对车厢内人员进行行为预测,并根据行为预测结果来进行行为预警,可以及时提供预警措施,便于及时制止车厢内的不文明行为。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的列车车厢监控识别系统的系统架构图;

图2是本发明一实施例提供的列车车厢监控识别方法的实现流程图;

图3是本发明另一实施例提供的列车车厢监控识别方法的实现流程图;

图4是本发明实施例提供的列车车厢监控识别装置的结构示意图。

具体实施方式

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图通过具体实施例来进行说明。

本发明实施例提供了一种列车车厢监控识别方法。该方法应用于列车车厢监控识别系统中。图1为本发明实施例提供的列车车厢监控识别系统的系统架构图。参见图1,列车车厢监控识别系统包括:第一摄像头11、视频处理装置12和预警装置13;第一摄像头11设置于列车车厢内部,并与视频处理装置12连接,视频处理装置12还与预警装置13连接。

图2为本发明实施例提供的列车车厢监控识别方法的实现流程图,详述如下:

步骤201,实时采集车厢内部视频。

第一摄像头设置于列车车厢内部,以便于实时采集车厢内部视频。

可选的,第一摄像头包括至少一个。通常情况下,单个摄像头的拍摄范围有限,而列车车厢通常较长,由此可以在车厢内部设置多个第一摄像头,从而确保对列车车厢内部进行无死角拍摄。

示例性地,参见图1,多个第一摄像头铺设在车厢内部左右两排,形成阵列,用于实时采集车厢内部视频。

在此基础上,步骤201可以包括:实时采集列车车厢内部不同位置处的车厢内部视频。

通过在车厢内部设置多个第一摄像头,可以有效保证采集到包含车厢内部所有人员的视频。

步骤202,对车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频。

由于列车车厢内环境拥挤且人员众多,因此,直接对车厢内部视频中的各人员进行微表情识别和微动作识别的话,很容易受到周边人员的活动影响,从而降低识别精度。由此,本发明实施例预先对车厢内部视频进行分割,得到每一个车内人员所对应的一个人员视频。以便于后续在进行微表情识别和微动作识别时,可以针对每一个人员视频进行单独识别,提升识别精度。

参见图1,上述列车监控识别系统,还包括:第二摄像头14以及数据存储装置15;第二摄像头14设置于车门位置处,并与视频处理装置12连接;视频处理装置12还与数据存储装置15连接。

可选的,在步骤202之前,还包括:

分别采集各上车人员的第一图像。

分别对第一图像进行特征提取,得到包括各上车人员的特征信息的特征数据库。

参见图1,第二摄像头14设置于列车车厢的车门位置处,用于分别采集每一个上车人员的第一图像,并发送至视频处理装置12。

视频处理装置12中内置特征建立模块,用于分别对各第一图像进行特征提取,得到每一个上车人员的特征信息,形成特征数据库,并将特征数据库存储于数据存储装置15中。

这里的特征信息可以包含面部特征和衣着信息特征。第二摄像头14对每一个上车人员的面前与身后同时拍照,获得每一个上车人员的面前照和身后照,从而对应提取每一个上车人员的面部特征和衣着特征。

示例性地,参见图1,第二摄像头14分别设置于列车车厢两端的车门位置处,且数量为至少一个,以便于准确获取每一个上车人员的面前照和身后照。

在进行特征提取时,以提取面部特征为例,可以利用opencv中的detectMultiScale函数来调用分类器功能,用于对当前上车人员的面前照进行人脸区域定位;采用python中的图形处理库PIL,可以对上述定位完成的图像进行裁剪,得到包含人脸区域的子图像;最后采用方向梯度直方图的方式提取子图像中的人脸特征,得到面部特征。

同理,按照上述方法,可以对应提取每个上车人员的衣着信息特征。在提取衣着信息特征时,可以分别对每个上车人员的面前照和身后照进行衣着信息特征提取,从而获得完整的衣着信息特征。

通过获取所有上车人员的特征信息,可以对应建立特征数据库,并存储于数据存储装置15中。特征数据库内包含所有上车人员的特征信息。为便于管理,还可以对各人员的特征信息进行人员编号,使得每一个车内人员对应一个人员编号。

可选的,在执行步骤202之前,还包括:

分别采集各下车人员的第二图像。

分别对第二图像进行特征提取,对应得到各下车人员的特征信息。

从特征数据库中对应删除下车人员的特征信息。

与上车过程相对应,在人员下车时,也需要对各下车人员进行特征提取,从而获得各下车人员的特征信息,并相应从特征数据库中删除各下车人员的特征信息。

列车车厢内人流量较大,在进行特征提取时,就需要更多的存储资源以及计算资源。本发明实施例采用上车建立特征信息,下车删除特征信息的方式,可以有效减少列车监控识别系统的存储空间,从而利用很小的存储空间就可以实现流动人员的特征信息存储。降低了列车监控识别系统中的机器运行消耗,提高了系统的监控识别速度。

在此基础上,步骤202可以包括:

按照特征数据库内的特征信息,对车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频。

在预先建立特征数据库的基础上,可以直接根据特征数据库中所有车内人员的特征信息,可以对车厢内部视频进行分割,得到每一个人员所对应的人员视频。

实际应用中,可以按人员编号对各人员视频进行对应编号,形成人员编号、特征信息以及人员视频之间的一一对应关系,便于后续进行行为预警时,可以明确当前的行为预测结果与当前人员的特征信息、当前的人员编号之间的对应关系。

可选的,在步骤201采集列车车厢内部不同位置处的车厢内部视频的基础上,上述步骤202可以包括:

对所有不同位置处的车厢内部视频进行拼接,得到拼接后的车厢内部视频;

按照特征数据库内的特征信息,对拼接后的车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频。

如前所述,各第一摄像头分别采集不同位置处的车厢内部视频。实际应用中,各第一摄像头的采集区域不可避免地会出现重叠部分。也就是说,同一人员可能会同时出现在两个第一摄像头所采集到的车厢内部视频中,如果分别对各第一摄像头所采集到车厢内部视频进行分割识别,那么就会出现重复分割识别的情况,浪费计算资源。

为避免这一问题,本发明实施例预先对所有不同位置处的车厢内部视频进行拼接,从而形成完整的车厢内部视频,以便于执行后续的分割识别。完整的车厢内部视频中包含车厢内部所有人员。

视频拼接的过程实质就是图像拼接的过程。在进行视频拼接时,可以对不同位置处的车厢内部视频的当前帧图像进行拼接,形成拼接好的当前帧图像。将拼接好的当前帧图像以及之前拼接好的所有帧图像,组建成为拼接后的车厢内部视频。

对不同位置处的车厢内部视频的当前帧图像进行拼接时,主要分为图像匹配、重投影、缝合和融合4个步骤。

图像匹配的目的是明确所有当前帧图像之间的几何对应关系。进行图像匹配时,可以采用SIFT算法提取所有当前帧图像之间的特征匹配点,利用特征匹配点来表示不同当前帧图像之间的几何对应关系。受限于算法误差,提取特征匹配点的过程中,可能会存在误匹配的情况。可以利用RANSAC算法去除特征匹配点中的误匹配点,从而得到最终的特征匹配点。

重投影的目的是将已经明确了几何对应关系的所有当前帧图像,转换至同一坐标系下。进行重投影时,可以基于当前帧图像中的特征匹配点,利用opencv中的cv2.findHomography函数将所有当前帧图像变换到同一坐标系下。

缝合主要是合并重叠部分的像素值,并保持没有重叠的像素值,从而形成更大画布的图像。常规的缝合算法主要包括:颜色插值法和多分辨率样条技术等。用户可自行选择。本发明实施例对此不做具体限定。示例性地,基于加权平滑算法具有快速简单的特点,本发明实施例中采用加权平滑算法来进行缝合。

最后,利用opencv库函数将缝合后的图像融合拼接成一张完整的当前帧图像。

各第一摄像头每采集到一帧图像,就可以按照上述方法进行拼接,得到拼接后的完整图像,所有拼接后的完整图像构成拼接后的车厢内部视频。对拼接后的车厢内部视频进行视频分割,可以对应得到车厢内部各人员所对应的人员视频。

可选的,在对拼接后的车厢内部视频进行视频分割时,可以按照下述步骤执行:

按照特征数据库内的特征信息,对拼接后的车厢内部视频的当前帧图像进行分割,对应得到车厢内部各人员对应的当前帧图像。

分别根据各人员对应的当前帧图像以及各人员对应的当前帧图像之前的所有帧图像,对应组建各人员所对应的人员视频。

参见图1,视频处理装置12中的人体特征识别模块,用于按照车内各人员的特征信息,对于拼接后的车厢内部视频中的每一帧图像进行分割,对应得到车厢内部各人员所对应的每一帧图像,将每一个人员所对应的所有帧图像组建成该人员所对应的人员视频。

对拼接后的当前帧图像进行分割时,可以利用opencv中的detectMultiScale函数来调用分类器功能,用于对当前帧图像进行人员定位;采用python中的图形处理库PIL,可以对上述定位完成的图像进行裁剪,得到包含车内人员的图像,也就是,人员所对应的当前帧图像。

本发明实施例通过预先对所有第一摄像头采集到的不同位置处的车厢内部视频进行拼接,可以避免重复识别计算的情况。在此基础上,按照车内人员的特征信息对于拼接后的车厢内部视频进行分割,得到各人员对应的人员视频,用于后续微表情识别和微动作识别,可以有效提升识别精度。

步骤203,分别对人员视频进行微表情识别和微动作识别,对应得到各人员的行为预测结果。

可选的,步骤203可以包括:

分别对各人员视频进行微表情识别和微动作识别,得到对应人员的识别结果;

按照识别结果,从预设的行为预测数据库中进行查询比对,得到对应人员的潜在行为及预测概率。

参见图1,视频处理装置12中的微表情-微动作识别模块,用于分别对各人员视频进行微表情识别和微动作识别,得到识别结果;根据从预设的行为预测数据库中查询得到对应人员的潜在行为和预测概率。

在进行微表情识别和微动作识别时,可以预先利用微表情视频训练集和微动作视频训练集训练深度学习模型。这里的深度学习模型可以是卷积神经网络模型。训练卷积神经网络模型的过程就是进行卷积深度学习的过程,用于学习输入的微表情视频训练集中的微表情以及微动作视频训练集中的微动作。训练完成后的深度学习模型实质就是识别模型,用于识别人员视频中的微动作和微表情。

通过将各人员视频依次输入到训练好的深度学习模型中,深度学习模型依次输出对应的识别结果。识别结果中包含对应人员的微表情和微动作。

列车车厢内空间狭小,通过采用微表情和微动作联合识别的方式,可以进一步提升识别精度。可以理解的是,各人员的人员视频是动态更新的,相应地,深度学习模型输出的识别结果也是动态更新的。

行为预测数据库中包含:不同的潜在行为、各潜在行为所对应的微表情和微动作,以及当前潜在行为下,各微表情的概率占比和各微动作的概率占比。

示例性地,潜在行为可以包括:潜在暴力行为、撒谎以及无语言交流等。

当车厢内人员出现眉头紧蹙(微表情)、两眼瞪视(微表情)、双唇紧抿(微表情)以及握拳(微动作)时,表明该人员正处于愤怒或生气的状态,可能会在后续发生暴力行为。由此,当车厢内人员出现上述微表情和/或微动作时,确定该人员存在潜在的暴力行为。其中,眉头紧蹙的概率占比为20%、两眼瞪视的概率为30%、双唇紧抿的概率占比为20%,握拳的概率占比为30%。

所谓概率占比指的是,出现当前微动作或微表情时,对应的潜在行为的概率。示例性地,当前人员出现眉头紧蹙这一微表情时,该人员存在潜在暴力行为的概率为20%。对应确定该人员的潜在行为是潜在暴力行为,预测概率为20%。

当同时出现两个或两个以上的微表情和/或微动作时,预测概率为所有微表情和/或微动作的概率占比之和。示例性地,当前人员同时出现眉头紧蹙以及两眼瞪视时,该人员存在潜在暴力行为的概率是20%+30%=50%。对应确定该人员的潜在行为是潜在暴力行为,预测概率为50%。

当车厢内人员出现耸肩(微动作)、下意识低头(微动作)以及眼神飘忽(微表情)时,确定该人员存在撒谎这一潜在行为。其中,耸肩的概率占比的30%,下意识低头的概率占比为30%,眼神飘忽的概率占比为40%。

当车厢内人员出现两个人眼神之间的对接(微表情)、头部点头(微动作)、头部摇头(微动作)时,确定该人员存在无语言交流这一潜在行为。其中,两个人眼神之间的对接的概率占比为40%、头部点头的概率占比为30%、头部摇头的概率占比为30%。

根据上述深度学习模型输出的识别结果,可以对应确定当前人员的微表情和微动作。根据当前人员的微表情和微动作,可以从行为预测数据库中,对应查询得到当前人员的潜在行为,以及该潜在行为对应的预测概率。

采用微表情和微动作联合识别的方式,并根据识别结果进行潜在行为分析,不仅可以保证识别精度,还可以确定车厢内人员潜在的行为倾向,从而及时提醒列车管理人员,便于提前采取预警措施。

步骤204,根据行为预测结果,进行行为预警。

可选的,步骤204可以包括:

当预测概率大于设定阈值时,将对应人员的潜在行为和预测概率,发送至列车管理人员处。

行为预测结果包含:对应人员的潜在行为及预测概率。预测概率大于设定阈值时,预警装置13将对应人员的潜在行为和预测概率发送至列车管理人员处。

设定阈值可由用户自行设定,本发明实施例对此不做具体限定。示例性地,设定阈值可以为90%。只有当预测概率大于设定阈值时,将对应人员的潜在行为和预测概率发送至列车管理人员处,从而提醒列车管理人员注意车厢内可能会发生不文明行为。

示例性地,当潜在行为为潜在暴力行为时,且预测概率大于90%时,可以将行为预测结果发送至列车管理人员处,提醒列车管理人员重点关注对应人员,以避免发生暴力行为。

可选的,在步骤204之前,还包括:

根据车厢内部视频以及车厢内部各人员的特征信息,获取各人员的特征信息与座位编号之间的对应关系。

将对应关系存储至所述特征数据库中。

通常情况下,列车车厢内部各人员落座于不同座位。可以根据车厢内部视频以及各人员的特征信息,确定人员与座位之间的对应关系。根据座位与人员之间的对应关系,可以对应确定各人员的位置,以便于列车管理人员可以实时定位车厢内各人员的具体位置。

存在一些特殊情况,部分人员可能没有落座,此时,可以将该人员附近的座位编号作为该人员所对应的座位编号,从而确定该人员的当前位置。

在确定人员特征信息与座位编号的对应关系的基础上,步骤204可以包括:

当预测概率大于设定阈值时,将对应人员的潜在行为、预测概率、对应人员的特征信息以及对应的座位编号,发送至列车管理人员处。

参见图1,当预测概率大于设定阈值时,通过预警装置13,将对应人员的潜在行为、预测概率、对应人员的特征信息以及对应的座位编号,统一发送至列车管理人员处,进行行为预警。并将上述信息存储至数据存储装置15中。

实际应用中,当预测概率大于设定阈值时,将对应人员的潜在行为、预测概率、对应人员的特征信息以及对应的座位编号统一发送至列车管理人员处,使得列车管理人员可以及时定位对应人员,并相应采取预警措施,从而避免在车厢内部出现不文明行为,尤其是暴力行为,保证财产和生命安全。

图3示出了一种列车车厢监控识别方法的流程示意图。参见图3,在人员上车时,进行人员特征采集,得到特征信息,并对应进行编号,形成特征数据库。人员下车时,对应删除其特征信息。

采集车厢内部视频并对其进行拼接,形成完整视频。根据完整视频和特征信息,确定特征信息与座位编号之间的对应关系,以便于实时定位车厢内部各人员的当前位置。

按照特征信息将完整的车厢内部视频进行分割,得到各人员对应的人员视频。对人员视频进行微表情识别和微动作识别,并将识别结果与行为预测数据库进行对比,得到对应人员的潜在行为和预测概率,进行行为预警。

相比于现有技术,本发明实施例的有益效果在于:

本发明实施例通过对车厢内部视频进行分割后,分别对每一个人员对应的人员视频进行微表情识别和微动作识别,可以避免在识别过程中,受到周边人员的行为影响,有效提高识别精度。并且本发明实施例通过对人员视频进行微表情识别和微动作识别,来对车厢内人员进行行为预测,并根据行为预测结果来进行行为预警,可以及时提供预警措施,便于及时制止车厢内的不文明行为。

另一方面,针对于列车车厢人流量大的特点,本发明实施例提供了上车建立特征信息,下车删除特征信息的动态特征数据库,可以有效减少列车车厢监控识别系统的存储空间,降低机器损耗,保证列车车厢监控识别系统稳定运行。

同时,特征数据库内还存储有特征信息与座位编号之间的对应关系,从而使得列车管理人员可以实时定位车厢内各人员的位置,以便于在需要采取预警措施时,准确定位位置。

应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。

以下为本发明的装置实施例,对于其中未详尽描述的细节,可以参考上述对应的方法实施例。

图4示出了本发明实施例提供的列车车厢监控识别装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:

如图4所示,列车车厢监控识别装置4包括:采集模块41、处理模块42和预警模块43。

采集模块41,用于实时采集车厢内部视频。

处理模块42,用于对车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频。

处理模块42,还用于分别对人员视频进行微表情识别和微动作识别,对应得到各人员的行为预测结果。

预警模块43,用于根据行为预测结果,进行行为预警。

在一种可能的实现方式中,采集模块41,用于分别采集各上车人员的第一图像。

处理模块42,用于分别对第一图像进行特征提取,得到包括各上车人员的特征信息的特征数据库。

处理模块42,还用于按照特征数据库内的特征信息,对车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频。

在一种可能的实现方式中,采集模块41,用于分别采集各下车人员的第二图像。

处理模块42,用于分别对第二图像进行特征提取,对应得到各下车人员的特征信息。

处理模块42,还用于从特征数据库中对应删除下车人员的特征信息。

在一种可能的实现方式中,采集模块41,用于实时采集列车车厢内部不同位置处的车厢内部视频。

处理模块42,用于对所有不同位置处的车厢内部视频进行拼接,得到拼接后的车厢内部视频。

处理模块42,还用于按照特征数据库内的特征信息,对拼接后的车厢内部视频进行分割,分别得到车厢内部各人员所对应的人员视频。

在一种可能的实现方式中,处理模块42,用于按照特征数据库内的特征信息,对拼接后的车厢内部视频的当前帧图像进行分割,对应得到车厢内部各人员对应的当前帧图像。

处理模块42,还用于分别根据各人员对应的当前帧图像以及各人员对应的当前帧图像之前的所有帧图像,对应组建各人员所对应的人员视频。

在一种可能的实现方式中,处理模块42,用于分别对各人员视频进行微表情识别和微动作识别,得到对应人员的识别结果。

处理模块42,还用于按照识别结果,从预设的行为预测数据库中进行查询比对,得到对应人员的潜在行为及预测概率。行为预测数据库中包含:不同的潜在行为、各潜在行为所对应的微表情和微动作,以及当前潜在行为下,各微表情的概率占比和各微动作的概率占比。

预警模块43,用于当预测概率大于设定阈值时,将对应人员的潜在行为和预测概率,发送至列车管理人员处。

在一种可能的实现方式中,处理模块42,用于根据车厢内部视频以及车厢内部各人员的特征信息,获取各人员的特征信息与座位编号之间的对应关系。

处理模块42,还用于将对应关系存储至特征数据库中。

预警模块43,用于当预测概率大于设定阈值时,将对应人员的潜在行为、预测概率、对应人员的特征信息以及对应的座位编号,发送至列车管理人员处。

相比于现有技术,本发明实施例的有益效果在于:

本发明实施例通过处理模块42对车厢内部视频进行分割后,分别对每一个人员对应的人员视频进行微表情识别和微动作识别,可以避免在识别过程中,受到周边人员的行为影响,有效提高识别精度。并且本发明实施例利用处理模块42对人员视频进行微表情识别和微动作识别,来对车厢内人员进行行为预测,并根据行为预测结果来进行行为预警,可以及时提供预警措施,便于及时制止车厢内的不文明行为。

另一方面,针对于列车车厢人流量大的特点,本发明实施例提供了上车建立特征信息,下车删除特征信息的动态特征数据库,可以有效减少列车车厢监控识别系统的存储空间,降低机器损耗,保证列车车厢监控识别系统稳定运行。

同时,特征数据库内还存储有特征信息与座位编号之间的对应关系,从而使得列车管理人员可以实时定位车厢内各人员的位置,以便于在需要采取预警措施时,准确定位位置。

以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

相关技术
  • 列车速度控制方法、系统、设备及计算机可读存储介质
  • 一种车牌识别方法、装置、计算机装置及计算机可读存储介质
  • 一种多模式情绪识别方法、装置及计算机可读存储介质
  • 图像识别方法及装置、布控系统、计算机可读存储介质
  • 端对端语音识别方法、电子装置及计算机可读存储介质
  • 一种列车车厢信息获取方法、装置、监控设备及存储介质
  • 一种列车车厢信息获取方法、装置、监控设备及存储介质
技术分类

06120116459303