掌桥专利:专业的专利平台
掌桥专利
首页

一种信息关联方法、装置、安检设备及存储介质

文献发布时间:2023-06-19 12:16:29


一种信息关联方法、装置、安检设备及存储介质

技术领域

本申请涉及互联网技术领域,特别是涉及一种信息关联方法、装置、安检设备及存储介质。

背景技术

随着社会的不断进步和民众对关键场所安全性的关注不断提升,安检设备的应用越来越广泛。如火车站、机场等场所中均设置有安检设备。人员将携带的包裹放置在安检设备的传送带上,安检设备借助传送带将包裹传送至X光(X射线)检测区域,从而完成对包裹中的物品的异常检测,例如检测包裹中是否携带有违禁物品。

目前,在检测到包裹中包含有异常物品时,由于人员与包裹的关联性较差,需要人工确定异常包裹所关联的目标人员。例如,在检测到某一包裹包含有违禁物品时,检测人员通过人工关联的方式确定该包裹的主人,即上述目标人员,从而降低该目标人员将违禁物品带上飞机或火车所造成的安全隐患。然而,针对人流量较多或者环境较为复杂的场景,人工关联所需的时长以及关联难度将大大增加,这将严重影响信息关联的效率和准确性。

发明内容

本申请实施例的目的在于提供一种信息关联方法、装置、安检设备及存储介质,以提高信息关联效率和准确性。具体技术方案如下:

本申请实施例提供了一种信息关联方法,应用于安检设备,所述方法包括:

获取所述安检设备入口处的监控图像;

确定所述监控图像中的待检测包裹以及所述待检测包裹所属的目标人员;

根据所述待检测包裹在所述安检设备的传送带上的放置位置,以及所述安检设备的检测区域的位置,确定所述安检设备采集的包括所述待检测包裹的目标X光图像;

建立所述待检测包裹、所述目标人员和所述目标X光图像的对应关系。

可选的,所述安检设备的传送带上包括压力传感器;

所述获取所述安检设备入口处的监控图像的步骤,包括:

在通过所述压力传感器检测到存在包裹被放置在所述传送带上时,获取当前时刻采集到的所述安检设备入口处的监控图像。

可选的,所述确定所述监控图像中的待检测包裹以及所述待检测包裹所属的目标人员的步骤,包括:

将所述监控图像中所述安检设备的传送带上的包裹,确定为待检测包裹;

将所述监控图像中距离所述待检测包裹最近的人员,确定为所述待检测包裹所属的目标人员。

可选的,所述根据所述待检测包裹在所述安检设备的传送带上的放置位置,以及所述安检设备的检测区域的位置,确定所述安检设备采集的包括所述待检测包裹的目标X光图像的步骤,包括:

根据所述待检测包裹在所述安检设备的传送带上的放置位置,以及所述安检设备的检测区域的位置,确定所述待检测包裹与所述检测区域间的距离;

基于所确定的距离以及所述传送带的传送速度,确定所述待检测包裹传送至所述检测区域的时间范围;

从所述时间范围内所述安检设备采集的X光图像中,确定所述安检设备采集的包括所述待检测包裹的目标X光图像。

可选的,所述安检设备的传送带上包括压力传感器;

所述方法还包括:

对所述监控图像进行识别,得到所述待检测包裹在所述安检设备的传送带上的放置位置;和/或

将所述压力传感器检测到的压力信号的位置,确定为所述待检测包裹在所述传送带上的放置位置。

可选的,在从所述时间范围内所述安检设备采集的X光图像中,确定所述安检设备采集的包括所述待检测包裹的目标X光图像之前,还包括:

获取所述监控图像中所述待检测包裹的第一包裹特征;

所述从所述时间范围内所述安检设备采集的X光图像中,确定所述安检设备采集的包括所述待检测包裹的目标X光图像的步骤,包括:

获取所述时间范围内所述安检设备采集的每一张X光图像中包裹的第二包裹特征;

将所述第一包裹特征与每一张X光图像中包裹的第二包裹特征进行匹配,得到所述安检设备采集的包括所述待检测包裹的目标X光图像。

可选的,所述包裹特征包括多维特征;

所述将所述第一包裹特征与每一张X光图像中包裹的第二包裹特征进行匹配,得到所述安检设备采集的包括所述待检测包裹的目标X光图像的步骤,包括:

针对每一张X光图像,计算该X光图像的第二包裹特征与所述第一包裹特征中每一特征维度对应的匹配置信度的加权和,得到该X光图像中的包裹与所述待检测包裹间的匹配置信度;

基于每一张X光图像中的包裹与所述待检测包裹间的匹配置信度,以及所述待检测包裹所属的目标人员,对所述每一X光图像进行逻辑判断,确定所述安检设备采集的包括所述待检测包裹的目标X光图像。

可选的,所述包裹特征包括包裹重量、包裹大小和包裹形状中的一种或多种。

可选的,所述建立所述待检测包裹、所述目标人员和所述目标X光图像的对应关系的步骤,包括:

获取所述待检测包裹进入所述检测区域前的包裹图像和所述目标人员的人员图像;

基于所述包裹图像、所述人员图像和所述目标X光图像,建立所述待检测包裹、所述目标人员和所述目标X光图像的对应关系。

可选的,所述方法还包括:

在检测到所述目标X光图像中的包裹包含有异常物品时,基于所述待检测包裹、所述目标人员和所述目标X光图像的对应关系,输出告警消息。

本申请实施例还提供了一种信息关联装置,应用于安检设备,所述装置包括:

第一获取模块,用于获取所述安检设备入口处的监控图像;

第一确定模块,用于确定所述监控图像中的待检测包裹以及所述待检测包裹所属的目标人员;

第二确定模块,用于根据所述待检测包裹在所述安检设备的传送带上的放置位置,以及所述安检设备的检测区域的位置,确定所述安检设备采集的包括所述待检测包裹的目标X光图像;

建立模块,用于建立所述待检测包裹、所述目标人员和所述目标X光图像的对应关系。

本申请实施例还提供了一种安检设备,所述安检设备包括摄像头、传送带、图像分析模块、X光检测模块和信息关联模块;所述传送带上包括压力传感器:

所述摄像头,用于在通过所述压力传感器检测到存在包裹被放置在所述传送带上时,获取当前时刻采集到的所述安检设备入口处的监控图像;

所述传送带,用于传送包裹;

所述图像分析模块,用于获取所述监控图像;确定所述监控图像中的待检测包裹;

所述X光检测模块,用于在所述传送带上的包裹传输至检测区域时,采集所述包裹的X光图像,并基于所述X光图像,对所述包裹进行异常检测;

所述信息关联模块,用于确定所述监控图像中所述待检测包裹所属的目标人员;根据所述待检测包裹在所述安检设备的传送带上的放置位置,以及所述安检设备的检测区域的位置,确定所述安检设备采集的包括所述待检测包裹的目标X光图像;建立所述待检测包裹、所述目标人员和所述目标X光图像的对应关系。

可选的,所述安检设备还包括压力分析模块、人脸抓拍模块、信息存储模块和信息显示模块;

所述压力分析模块,用于获取所述待检测包裹被放置在传送带上时,所述压力传感器生成的压力信号,并根据预设的压力信号与压力值间的对应关系,确定所述压力传感器生成的压力信号对应的压力值,作为所述待检测包裹的包裹重量;

所述人脸抓拍模块,用于在通过所述压力传感器检测到存在包裹被放置在所述传送带上时,对所述安检设备入口处人员的人脸进行抓拍;

所述信息存储模块,用于存储所述待检测包裹、所述目标人员和所述目标X光图像的对应关系;

所述信息显示模块,用于在检测到所述目标X光图像中的包裹包含有异常物品时,基于所述待检测包裹、所述目标人员和所述目标X光图像的对应关系,输出告警消息。

本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的信息关联方法步骤。

本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的信息关联方法。

本申请实施例有益效果:

本申请实施例提供的信息关联方法、装置、安检设备及存储介质,通过获取安检设备入口处的监控图像,可以确定该监控图像中的待检测包裹所属的目标人员,即确定待检测包裹所关联的目标人员。另外,根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,可以确定安检设备采集到的包括待检测包裹的目标X光图像,即确定待检测包裹所关联到的目标X光图像。这使得安检设备可以根据待检测包裹所属的目标人员,以及包括待检测包裹的目标X光图像,建立待检测包裹、目标人员以及目标X光图像间的对应关系,即将包裹、人员和X光图像三者进行关联。由于该关联过程直接有由安检设备基于采集到的监控图像和X光图像进行的,不需要人工参与,节约了人工关联所需的时间,降低了人流量较多或环境较为复杂的场景人工关联出现错误的可能性,提高了信息关联的效率的准确性。

另外,采用本申请实施例提供的技术方案,通过在相关的安检设备的基础上进行较小的改装,实现对包裹、人员和X光图像三者进行关联,这使得安检设备的改装成本较低。并且,整个信息关联过程中,目标人员仅需将包裹放置在传输带上,安检设备即可自动对包裹、人员和X光图像进行关联,也就是在人员未感知的情况下完成信息关联过程,这并不影响人员安检过程。

当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的信息关联方法的第一种流程示意图;

图2为本申请实施例提供的安检设备的第一种结构示意图;

图3为本申请实施例提供的安检设备的第二种结构示意图;

图4为本申请实施例提供的安检设备的第三种结构示意图;

图5为本申请实施例提供的信息关联方法的第二种流程示意图;

图6为本申请实施例提供的待检测包裹传送的一种示意图;

图7为本申请实施例提供的信息关联方法的第三种流程示意图;

图8为本申请实施例提供的压力分析模块的一种示意图;

图9为本申请实施例提供的异常告警方法的一种流程示意图;

图10为本申请实施例提供的信息关联过程的一种信令图;

图11为本申请实施例提供的信息关联模块的一种结构示意图;

图12为本申请实施例提供的信息关联装置的一种结构示意图;

图13为本申请实施例提供的安检设备的第四种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

为了解决相关技术中人工关联所带来的效率和准确性问题,本申请实施例提供的一种信息关联方法。该方法应用于安检设备。如图1所示,如图1所示,图1为本申请实施例提供的信息关联方法的第一种流程示意图。该方法应用于上述安检设备,具体包括以下步骤。

步骤S101,获取安检设备入口处的监控图像。

步骤S102,确定监控图像中的待检测包裹以及待检测包裹所属的目标人员。

步骤S103,根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,确定安检设备采集的包括待检测包裹的目标X光图像。

步骤S104,建立待检测包裹、目标人员和目标X光图像的对应关系。

上述安检设备可以为安检机,其中,安检机也可以称为安检仪、安检X光机、行李安检机、通道式X光机等。安检机是借助于传送带将被包裹送入X射线检查通道(即检测区域),从而完成对包裹中物品进行检测的电子设备。在本申请实施例中,对上述安检设备不作具体限定。

为便于理解,以图2为例对上述安检设备进行说明。图2为本申请实施例提供的安检设备的第一种结构示意图。上述安检设备至少可以包括传动带、压力传感器、双目摄像头、图像分析模块、X光检测模块和信息关联模块。在图2所示的安检设备中并未示出上述传送带。

上述压力传感器分布在上述传送带上。图2所示双目摄像头、图像分析模块、X光检测模块和信息关联模块可以分布在同一硬件实体上,如上述安检机上。

在图2所示的实施例中,上述安检设备中的摄像头为双目摄像头。由于上述安检设备是在相关的安检设备的基础上进行较小的改装后得到的,例如,增加了上述信息关联模块等,因此,根据安检设备的具体应用场景的不同,相关的安检设备中的摄像头也有所不同,基于该相关的安检设备改装后得到的安检设备中的摄像头也有所不同。例如,上述安检设备中的摄像头还可以是红外摄像头等。在此,对上述案件设备中包括的摄像头不同具体限定。为便于描述,下文仅以双目摄像头为例进行说明,并不起任何限定的限定作用。

以图3为例进行说明,图3为本申请实施例提供的安检设备的第二种结构示意图。在图3中安检设备主要包括传送区域和检测区域,传送区域中分布有上述压力传感器和传送带。检测区域分布有上述双目摄像头、图像分析模块、X光检测模块和信息关联模块。在图3中箭头方向表示传送带的运动方向。

在本申请实施例中,上述安检设备的传送带上分布有多个压力传感器,在此,对上述传送带上的压力传感器的数量以及分布方式不作具体限定。

针对上述安检设备除了上述图2所示的各个组件以外,还可以包括其他组件,如压力分析模块、人脸抓拍模块、信息存储模块和信息显示模块。具体如图4所示,图4为本申请实施例提供的安检设备的第三种结构示意图。关于上述安检设备中各个组件的功能可参见下文描述,在此不作赘述。

通过本申请实施例提供的方法,通过获取安检设备入口处的监控图像,可以确定该监控图像中的待检测包裹所属的目标人员,即确定待检测包裹所关联的目标人员。另外,根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,可以确定安检设备采集到的包括待检测包裹的目标X光图像,即确定待检测包裹所关联到的目标X光图像。这使得安检设备可以根据待检测包裹所属的目标人员,以及包括待检测包裹的目标X光图像,建立待检测包裹、目标人员以及目标X光图像间的对应关系,即将包裹、人员和X光图像三者进行关联。由于该关联过程直接有由安检设备基于采集到的监控图像和X光图像进行的,不需要人工参与,节约了人工关联所需的时间,降低了人流量较多或环境较为复杂的场景人工关联出现错误的可能性,提高了信息关联的效率的准确性。

另外,采用本申请实施例提供的技术方案,通过在相关的安检设备的基础上进行较小的改装,实现对包裹、人员和X光图像三者进行关联,这使得安检设备的改装成本较低。并且,整个信息关联过程中,目标人员仅需将包裹放置在传输带上,安检设备即可自动对包裹、人员和X光图像进行关联,也就是在人员未感知的情况下完成信息关联过程,这并不影响人员安检过程。

下面通过具体的实施例,对本申请实施例进行说明。

针对上述步骤S101,即获取安检设备入口处的监控图像。

在本步骤中,上述双目摄像头可以实时对安检设备入口处进行图像采集,得到监控视频。该监控视频中包括多帧监控图像。上述图像分析模块可以从双目摄像头采集到的监控视频中获取监控图像。

一个可选的实施例中,上述获取安检设备入口处的监控图像可以表示为:图像分析模块获取双目摄像头采集到的监控视频每一帧监控图像。

另一个可选的实施例中,为了提高图像分析模块对获取到的监控图像的分析效率,节约图像分析模块的计算资源,上述获取安检设备入口处的监控图像可以表示为:在通过压力传感器检测到存在包裹被放置在传送带上时,获取双目摄像头在当前时刻采集到的安检设备入口处的监控图像。

在上述实施例中,当压力传感器检测到包裹被放置在传送带上时,双目摄像头在当前时刻采集到的监控图像中一定包括包裹和至少一个人员。并且该监控图像包括的人员中一定存在包裹所属的目标人员。因此,图像分析模块通过获取这一时刻的监控图像,可以在保证获取到的监控图像一定存在待检测包裹的前提下,减少图像分析模块所需分析的监控图像的数量,提高了图像分析模块对监控图像的分析效率,节约了图像分析模块的计算资源。另外,由于这一时刻的监控图像中一定包括待检测包裹所属的目标人员,这也便于后期上述信息关联模块确定该监控图像中待检测包裹所属的目标人员,即便于确定包裹与人员间关联信息的确定,提高了包裹与人员间关联信息确定的效率及准确性。

上述安检设备入口处可以包括为上述安检设备的传送带所在区域,以及该传送带周围预设范围内的区域。其中,传送带周围预设范围可以根据双目摄像头的拍摄范围和用户需求等进行调节,在此对上述安检设备入口处不作具体限定。

上述双目摄像头中的一个摄像头为可见光摄像头。关于另一个摄像头可以根据上述安检设备的应用场景以及用户需求的不同的进行选择。例如,上述双目摄像头中的另一个摄像头可以为热成像摄像头。再例如,上述双目摄像头中的另一个摄像头还可以为可见光摄像头或深度摄像头等。在此,对上述双目摄像头中除可见光摄像头以外的另一个摄像头的类别不作具体限定。

在本申请实施例中,由于上述双目摄像头中除可见光摄像头以外的另一个摄像头的类别的不确定性,上述图像分析模块所获取到的监控图像可以包括上述可见光摄像头所采集到的可见光图像。除此以外,还可以包括双目摄像头采集到的视差图。

针对上述步骤S102,即确定监控图像中的待检测包裹以及待检测包裹所属的目标人员。

在本步骤中,上述安检设备中的图像分析模块可以对上述获取到的监控图像进行分析,确定监控图像中的待检测包裹。上述安检设备中的信息关联模块可以基于监控图像,确定待检测包裹所属的目标人员。

一个可选的实施例中,上述步骤S102中的确定监控图像中的待检测包裹,具体可以表示为:

上述图像分析模块将监控图像中安检设备的传送带上的包裹,确定为待检测包裹。

例如,图像分析模块可以利用深度学习算法,对监控图像中传送带上的包裹进行识别,从而将识别出的包裹确定为待检测包裹。例如,图像分析模块可以根据监控图像中传送带的像素值与监控图像中包裹的像素值间的差异,识别出监控图像中的待检测包裹。

另一个可选的实施例中,当上述安检设备所在的环境的人流量较多或环境较为复杂时,上述安检设备的传送带上可能同时存在多个包裹,即监控图像中存在多个待检测包裹,此时,为了便于对每一待检测包裹的区分,图像分析模块在确定监控图像中的待检测包裹时,还可以综合上述压力传感器检测到的压力信号的位置,确定待检测包裹。例如,图像分析模块可以将识别出的待检测包裹的所在的位置与压力传感器检测到的压力信号的位置一一对应。

在本申请实施例中,上述待检测包裹可以为监控图像任一包裹,在此,对上述监控图像中包括的待检测包裹的数量不作具体限定。为便于描述,本申请实施例中仅以一个待检测包裹进行说明,并不起任何限定作用。

一个可选的实施例中,上述步骤S102中的确定监控图像中的待检测包裹所属的目标人员具体可以表示为:

上述信息关联模块可以将监控图像中距离待检测包裹最近的人员,确定为待检测包裹所属的目标人员。

在本步骤中,上述图像分析模块可以将获取到的监控图像发送至上述信息关联模块。信息关联模块可以按照最近邻规则分类(K Nearest Neighbor,KNN)算法,确定监控图像中包括的每一人员与确定的待检测包裹间的距离,从而将距离该待检测包裹最近的人员确定为该检测包裹所属的目标人员。

一个可选的实施例中,上述监控图像中每一人员与确定的待检测包裹间的距离,可以根据监控图像中每一人员对应深度信息与待检测包裹间的深度信息计算得到。在此,对该距离的计算不作具体说明。

一个可选的实施例中,当上述安检设备中的摄像头为上述双目摄像头时,上述深度信息可以根据双目摄像头间的视差计算得到。在此,对深度信息的计算不作具体说明。

另一个可选的实施例中,当上述安检设备中的摄像头为其他类型的摄像头,如上述红外摄像头时,上述深度信息可以通过该摄像头与其他传感器的结合获得。例如,通过将红外摄像头与深度传感器结合可以确定监控图像中每一人员对应深度信息与待检测包裹的深度信息。

在本申请实施例中,对上述监控图像中每一人员对应深度信息和待检测包裹的深度信息确定方式不作具体限定。

一个可选的实施例中,信息关联模块在确定待检测包裹所属的目标人员时,可以建立待检测包裹与其所属目标人员间的对应关系。该对应关系中至少包括待检测包裹的包裹图像和目标人员的人员图像。关于包裹图像和人员图像的获取可参见下文描述,在此不作赘述。

在上述实施例中,当上述监控图像是根据压力传感器的检测结果获取的,也就是压力传感器检测到存在包裹被放置在传送带上时获取的,由于此时目标人员刚刚将包裹放置在传送带上,因此,该目标人员与包裹间的距离小于监控图像中其他人员与该包裹间的距离的可能性较大。这使得基于待检测包裹与人员间的距离所确定的目标人员的准确性将大大提高,从而提高了包裹与人员间关联信息的准确性。

一个可选的实施例中,为了进一步提高上述目标人员确定的准确性,上述在确定监控图像中距离待检测包裹最近的人员后,可以基于上述监控图像,对该人员的行为进行追踪,从而确定该人员是否为待检测包裹所属的目标人员。

一个可选的实施例中,根据上述图1所示的信息关联方法,本申请实施例还提供了一种信息关联方法。如图5所示,图5为本申请实施例提供的信息关联方法的第二种流程示意图。在图5所示的方法中,将上述步骤S103,即根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,确定安检设备采集的包括待检测包裹的目标X光图像,细化为以下步骤,即步骤S1031-步骤S1033。

步骤S1031,根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,确定待检测包裹与检测区域间的距离。

在本步骤中,上述图像分析模块可以根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域所在的位置,计算待检测包裹的放置位置与检测区域所在的位置间的距离,得到待检测包裹与检测区域间的距离。图像分析模块可以将确定的待检测包裹与检测区域间的距离发送给上述信息关联模块。

一个可选的实施例中,上述待检测包裹与检测区域间的距离可以为一个具体的距离值。例如,上述待检测包裹与检测区域间的距离可以表示为:上述待检测包裹的放置位置的中心位置到检测区域所在位置的中心位置间的距离。

另一个可选的实施例中,上述待检测包裹与检测区域间的距离也可以为一个具体的距离范围。例如,该距离范围的最小值可以待检测包裹中最先进入检测区域一侧与检测区域所在区域间的距离,该距离范围的最大值可以为待检测包裹中最后离开检测区域一侧与检测区域所在区域间的距离。

为便于理解,结合图6为例进行说明,图6为本申请实施例提供的待检测包裹传送的一种示意图。其中,位置B为检测区域所在位置的中点位置,A侧和C侧分别为检测区域的左侧边缘位置和右侧边缘位置,位置E为待检测包裹放置位置的中心位置,D侧和F侧分别为待检测包裹的左侧边缘位置和右侧边缘位置。按照传送带的运动方向,即自右向左进行传送,待检测包裹的D侧最先进入待检测区域,F侧最后离开待检测区域。

上述图像分析模块所确定待检测包裹与检测区域间的距离,可以表示为待检测包裹放置位置的中心位置(即位置E)到检测区域所在位置的中心位置(即位置B)间的距离,即图6所示的距离d2。也可以表示为图6所示的[d1,d3]。

在本申请实施例中,对上述待检测包裹与检测区域间的距离的表示方式不作具体限定。

上述安检设备的检测区域所在的位置是根据上述X光检测模块所在的位置确定的。例如,X光检测模块可以设置在传送带传送方向的终点位置处。再例如,X光检测模块可以设置在传送带传送方向的终点位置前的预设距离处,该预设距离可以根据用户需求、安检设备可检测包裹的大小等进行设定。在此对上述将检测区域所在的位置不作具体限定。

一个可选的实施例中,关于上述待检测包裹在传送带上的放置位置,具体可以通过以下方式获取得到:

方式一,上述图像分析模块可以对监控图像进行识别,得到待检测包裹在安检设备的传送带上的放置位置。

例如,根据监控图像中待检测包裹的深度信息,计算得到待检测包裹在安检设备的传送带上的放置位置。

方式二,上述压力分析模块可以对将压力传感器检测到的压力信号的位置,确定为待检测包裹在传送带上的放置位置。图像分析模块从压力分析模块获取得到待检测包裹在传送带上的放置位置。

通过上述方式一和方式二,可以准确的确定出待检测包裹在传送带上的放置位置,从而提高上述根据该放置位置所确定的待检测包裹与检测区域间的距离的准确性。

步骤S1032,基于所确定的距离以及传送带的传送速度,确定待检测包裹传送至检测区域的时间范围。

在本步骤中,由于待检测包裹被放置在传送带上后,传送带将以一定的传送速度将待检测包裹传送至上述检测区域进行检测。因此,上述信息关联模块可以根据上述确定出的待检测包裹与检测区域间的距离,以及传送带的传送速度,计算待检测包裹传送至检测区域所需的时间,从而确定该待检测包裹传送至检测区域的时间范围。

为便于理解,以上述待检测包裹与检测区域间的距离为一距离范围为例进行说明。上述确定的待检测包裹传送至检测区域的时间范围的最小值可以为该距离范围的最小值与传送带的传送速度的商,时间范围的最大值可以为该距离范围的最大值与传送带的传送速度的商。

上述传送带的传送速度可以是直接从安检设备读取得到的,也可以根据双目摄像头采集到的监控视频中待检测包裹与检测区域间的距离随时间的变换情况计算得到的。在此,对上述传送带的传送速度的获取不作具体限定。

在本申请实施例中,由于传送带的传送速度可能受到传送带上传送的包裹的数量的影响,因此,上述在根据上述确定出的待检测包裹与检测区域间的距离,以及传送带的传送速度,计算待检测包裹传送至检测区域所需的时间后,可以基于计算得到的时间,选取一时间范围,从而保证后期基于该时间范围所获取的X光图像中包括待检测包裹所关联的X光图像。

步骤S1033,从时间范围内安检设备采集的X光图像中,确定安检设备采集的包括待检测包裹的目标X光图像。

关于上述包括待检测包裹的目标X光图像的确定具体可参见下文描述,在此不作具体说明。

另一个可选的实施例中,当上述传送带上传送的包裹较少,或传送的包裹较轻时,信息关联模块可以直接获取上述步骤S1032中计算得到待检测包裹传送至检测区域所需的时间点处安检设备采集到的X光图像,作为包括待检测包裹的目标X光图像。

在本申请实施例中,在确定安检设备采集的包括待检测包裹的目标X光图像时,信息关联模块可以建立待检测包裹与目标X光图像间的对应关系。该对应关系中至少包括待检测包裹的包裹图像以及上述目标X光图像。关于包裹图像的获取可参见下文描述,在此不作赘述。

通过上述步骤S1031-步骤S1033所示的方法,信息关联模块可以准确的确定出上述待检测包裹进入检测区域的时间范围,从而获取在此期间安检设备采集到待检测采集到的X光图像,进而确定出包括上述待检测包裹的目标X光图像,有效提高了获取到的包括上述待检测包裹的目标X光图像的准确性。

另一个可选的实施例中,在获取安检设备采集的包括待检测包裹的目标X光图像的图像时,除了采用上述图5所示的步骤S1031-步骤S1033以外,上述图像分析模块可以实时监测上述待检测包裹与检测区域间的距离,并在距离为0时,触发上述X光检测模块采集待检测包裹的X光图像,也就是上述包括待检测包裹的目标X光图像,从而获取得到与待检测包裹关联的目标X光图像。

针对上述步骤S104,即建立待检测包裹、目标人员和目标X光图像的对应关系。

在本步骤中,由于上述步骤S102所确定的待检测包裹所属的目标人员是唯一的,因此,当上述步骤S103所确定的包括待检测包裹的目标X光图像也是唯一的,此时,信息关联模块可以直接根据待检测包裹所属的目标人员,以及包括待检测包裹的目标X光图像,建立待检测包裹、目标人员和目标X光图像间的对应关系。该对应关系至少包括待检测包裹的包裹图像、目标人员的人员图像以及目标X光图像。

一个可选的实施例中,根据图5所示的方法,本申请实施例还提供了一种信息关联方法。如图7所示,图7为本申请实施例提供的信息关联方法的第三种流程示意图。该方法包括以下步骤。

步骤S701,获取安检设备入口处的监控图像。

步骤S702,确定监控图像中的待检测包裹以及待检测包裹所属的目标人员。

步骤S703,根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,确定待检测包裹与检测区域间的距离。

步骤S704,基于所确定的距离以及传送带的传送速度,确定待检测包裹传送至检测区域的时间范围。

上述步骤S701-步骤S704与上述图5所示的步骤S101-步骤S1032相同。

步骤S705,获取监控图像中待检测包裹的第一包裹特征。

在本步骤中,上述信息关联模块可以获取上述监控图像中待检测包裹的包裹特征,得到待检测包裹的第一包裹特征。

一个可选的实施例中,上述第一包裹特征可以为多维特征。例如,上述第一包裹特征可以包括待检测包裹的包裹重量、包裹大小、包裹颜色、包裹形状等。在此,对上述第一包裹特征不作具体限定。

一个可选的实施例中,当上述第一包裹特征包括上述包裹重量时,上述压力分析模块可以根据待检测包裹被放置在传送带上的压力信号,确定待检测包裹的包裹重量,从而将确定出的包裹重量发送给上述信息关联模块。

为便于理解,结合图8对上述包裹重量的确定进行说明。图8为本申请实施例提供的压力分析模块的一种示意图。在图8所示的压力分析模块中可以包括压力信号输入单元801,信号滤波单元802,信号转压力单元803和触发单元804。

具体的,当目标人员将上述待检测包裹放置在上述传送带上时,传送带上的压力传感器将生成相应的电信号,记为压力信号。此时,上述压力信号输入单元801将获取得到该压力信号。

由于实际过程中目标人员将待检测包裹放置传送带上后,该待检测包裹将被传送至检测区域进行检测。在此期间,待检测包裹未离开传送带,即待检测包裹对应的放置区域内的压力传感器始终处于触发状态。因此,上述电信号是通过触发的压力传感器获得的跟踪电信号。

上述压力信号输入单元801在获得上述压力信号后,可以将该压力信号传输至信号滤波单元802。信号滤波单元802对接收到的压力信号进行滤波处理,得到滤波后的压力信号,并将滤波后的压力信号传输至信号转压力单元803。其中,信号滤波单元802采用的滤波方式包括但不限于均值滤波和中值滤波。

在本申请实施例中,通过对上述压力信号的滤波处理,可以有效抑制该压力信号中噪声信号,从而提高基于滤波后的压力信号所确定包裹重量准确性。

信号转压力单元803在接收到信号滤波单元802发送的滤波后的压力信号,可以根据预设的压力信号与压力值间的对应关系,确定压力传感器生成的压力信号对应的压力值,作为待检测包裹的包裹重量。

在本申请实施例中,上述待检测包裹的包裹重量表示为待检测包裹对传送带上产生压力值。除此以外,待检测包裹的包裹重量也可以表示为待检测包裹的真实重量。例如,上述压力分析模块可以根据待检测包裹对传送带上产生压力值,以及待检测包裹与传送带间的接触面积,通过数学计算得到的真实重量。在此,对待检测包裹的真实重量的计算过程不作具体说明。

在图8所示的压力分析模块中还包括上述触发单元804。该触发单元804可以与上述人脸抓拍模块和图像分析模块连接。当上述压力信号输入单元801在获取得到上述压力信号时,触发单元804可以向人脸抓拍模块和图像分析模块发送触发信号,从而触发人脸抓拍模块进行人脸抓拍,以及触发信息关联模块对包裹和人员进行关联,即上述步骤S102中确定待检测人员所属的目标人员。

一个可选的实施例中,为了提高待检测包裹与X光图像关联的准确性,上述压力信号输入单元801在获取得到上述压力信号后,触发单元804可以按照预设的触发逻辑规则,向上述人脸抓拍模块和图像分析模块发送触发信号。

为便于理解,上述预设的触发逻辑规则可以为上述压力信号的持续时长。具体的,由于人员将包裹放置在传送带上后,可能出现用户立即拾取该包裹的情况,此时,上述压力信号将中断,若触发单元804发送上述触发信号,将影响后期待检测包裹与X光图像关联的准确性。另外,在本申请实施例中,对上述预设的触发逻辑规则不作具体限定。

一个可选的实施例中,上述压力信号输入单元801在获取上述压力信号的同时,可以根据触发的压力传感器所在的位置,确定待检测包裹在传送带上的放置位置。

一个可选的实施例中,当上述第一包裹特征包裹上述包裹颜色时,上述图像分析模块在确定上述监控图像中的待检测包裹后,可以获取该待检测包裹的包裹颜色,从而将获取到的包裹颜色发送给上述信息关联模块。例如,上述图像分析模块可以利用深度学习算法,对上述监控图像进行分类得到待检测包裹的包裹颜色。在此,对包裹颜色的获取过程不作具体限定。

一个可选的实施例中,当上述第一包裹特征包裹上述包裹大小时,上述图像分析模块在确定上述监控图像中的待检测包裹后,还可以确定该待检测包裹的包裹大小,从而将确定的包裹大小发送给上述信息关联模块。

上述图像分析模块在确定待检测包裹的包裹大小时,可以利用深度学习算法,对上述监控图像进行图像分割,并对监控图像中的待检测包裹与传送带进行像素级分类,也就是对监控图像中待检测包裹所在区域的像素点与传送带所在区域的像素点进行区分,从而确定待检测包裹对应的像素面积或像素体积。

在本申请实施例中,当上述待检测包裹的包裹大小表示为上述待检测包裹的像素体积时,该包裹大小可以表示为上述像素面积与包裹高度乘积。其中,包裹高度可以通过以下公式计算得到。

ΔD=D

其中,ΔD为包裹高度,D

上述D

D=f*B/XL

其中,D为目标距离,即上述D

一个可选的实施例中,受到双目摄像头对待检测包裹进行采集时的拍摄角度的影响,上述双目摄像头中两个摄像头所采集到的监控图像中待检测包裹的像素面积可能存在一定差异。为了提高上述待检测包裹的像素面积的准确性,图像分析模块可以将双目摄像头中两个摄像头所采集到的监控图像中待检测包裹的像素面积的均值,确定为该待检测包裹的像素面积。

一个可选的实施例中,当上述第一包裹特征包括上述包裹形状时,上述图像分析模块在确定上述监控图像中的待检测包裹后,还可以确定该待检测包裹的包裹形状,从而将确定的包裹形状发送给上述信息关联模块。

上述图像分析模块在确定待检测包裹的包裹形状时,可以利用深度学习算法,对上述监控图像中待检测包裹的轮廓信息进行提取,得到待检测包裹的包裹形状。其中,深度学习算法包括但不限于整体嵌套边缘检测(Holistically-nested Edge Detection,HED)算法和语义边缘检测(Deep Category-Aware Semantic Edge Detection,CASENet)算法。

上述步骤S705可以与上述步骤S703同时执行。

步骤S706,获取时间范围内安检设备采集的每一张X光图像中包裹的第二包裹特征。

在本步骤中,关联信息模块获取上述X光检测模块在步骤S704所确定的时间范围内采集到的所有X光图像,并针对每一张X光图像,获取该X光图像中包裹的包裹特征,作为该X光图像的第二包裹特征。

一个可选的实施例中,上述第二包裹特征可以为多维特征。例如,上述第二包裹特征可以包括待检测包裹的包裹重量、包裹大小、包裹形状等。在此,对上述第一包裹特征不作具体限定。

上述待检测包裹的第二包裹特征的获取方式可以参照上述待检测包裹的第一包裹特征的获取方式,在此,对上述待检测包裹的第二包裹特征的获取不作具体说明。

在本申请实施例中,上述第一包裹特征和第二包裹特征可以包括上述包裹重量、包裹大小和包裹形状中的一种或多种。

步骤S707,将第一包裹特征与每一张X光图像中包裹的第二包裹特征进行匹配,得到安检设备采集的包括待检测包裹的目标X光图像。

一个可选的实施例中,当上述第一包裹特征和第二包裹特征为多维特征时,上述步骤S707具体可以包括以下步骤:

步骤一,针对每一张X光图像,计算该X光图像的第二包裹特征与第一包裹特征中每一特征维度对应的匹配置信度的加权和,得到该X光图像中的包裹与待检测包裹间的匹配置信度。

一个可选的实施例中,针对每一张X光图像,可以利用以下公式,计算得到该X光图像中的包裹与待检测包裹间的匹配置信度Conf:

其中,n为第一包裹特征或第二包裹特征包括的包裹特征的特征维度数,i为第i个特征维度,a

为便于理解,以第一包裹特征和第二包裹特征在面积区域维度上的匹配置信度为例进行说明。现假设第一包裹特征中面积区域位置上的包裹特征为包裹与传送带接触面所对应的区域A,第二包裹特征中面积区域位置上的包裹特征为包裹与传送带接触面所对应的区域B。区域A与区域B的并集为区域C。此时,第一包裹特征和第二包裹特征在面积区域维度上的匹配置信度可以表示为:区域A与区域C的比值,或者区域B与区域C的比值。当该比值越大时,也就是第一包裹特征和第二包裹特征在面积区域维度上的匹配置信度越大时,区域A与区域B为同一区域的可能性越大,X光图像中的包裹与待检测包裹间的匹配置信度越大。

在本申请实施例中,上述X光图像中的包裹与待检测包裹间的匹配置信度,可以表示该X光图像中的包裹与待检测包裹间的关联程度。具体的,X光图像中的包裹与待检测包裹间的匹配置信度越大,该X光图像中的包裹与待检测包裹间的关联程度越高。X光图像中的包裹与待检测包裹间的匹配置信度越小,该X光图像中的包裹与待检测包裹间的关联程度越低。

步骤二,基于每一张X光图像中的包裹与待检测包裹间的匹配置信度,以及待检测包裹所属的目标人员,对每一X光图像进行逻辑判断,确定安检设备采集的包括待检测包裹的目标X光图像。

在本步骤中,信息关联模块可以基于上述步骤一确定的每一张X光图像中的包裹与待检测包裹间的匹配置信度,以及待检测包裹所属的目标人员,利用预设的关联逻辑判断规则,对获取到的每一X光图像进行逻辑判断,确定安检设备采集的包括待检测包裹的目标X光图像。

为便于理解,以上述预设的关联逻辑判断规则为预设匹配置信度阈值和预设像素阈值为例进行说明。针对获取到的每一X光图像,上述信息关联模块在对该X光图像进行逻辑判断时,若该X光图像中的包裹与待检测包裹间的匹配置信度小于预设匹配置信度阈值时,则信息关联模块可以丢弃该X光图像。或者,针对获取到的每一X光图像,上述信息关联模块可以计算该X光图像中包裹的像素与监控图像中待检测包裹的像素间的差值,若该差值大于上述预设像素阈值,则信息关联模块可以丢弃该X光图像。

在本申请实施例中,对上述预设的关联逻辑判断规则除了上述预设匹配置信度阈值和预设像素阈值以外,还可以包括其他逻辑判断规则。上述信息关联模块通过多个逻辑判断规则,对上述获取到的X光图像进行逻辑判断,从而得到包括待检测包裹的目标X光图像。在此,对上述预设的关联逻辑判断规则不作具体限定。

通过上述对获取到的每一X光图像的逻辑判断过程,可以有效提高待检测包裹与X光图像关联的准确性,从而提高了待检测包裹、目标人员和目标X光图像检测关联的准确性。

上述步骤S706-步骤S707是对上述图5所示的步骤S1033的细化。

步骤S708,建立待检测包裹、目标人员和目标X光图像的对应关系。

上述步骤S708与上述步骤S104相同。

一个可选的实施例中,针对上述步骤S104,即建立待检测包裹、目标人员和目标X光图像的对应关系,可以细化为以下步骤,即步骤一-步骤三。

步骤一,获取待检测包裹进入检测区域前的包裹图像。

在本步骤中,信息关联模块可以截取上述监控图像中待检测包裹所在区域的图像,得到待检测包裹进入检测区域前的包裹图像。

关于上述包裹图像的获取,由于上述双目摄像头一直在对安检设备入口处进行图像采集,因此,信息关联模块获取双目摄像头在待检测包裹被放置在传送带上,至待检测包裹进入上述检测区域这一时间段内的监控视频,从而从该监控视频中的任一监控图像中获取待检测包裹的包裹图像。

步骤二,获取目标人员的人员图像。

上述人员图像可以为目标人员的人体图像,也可以为目标人员的人脸抓拍图像。

一个可选的实施例中,当上述人员图像为目标人员的人体图像时,信息关联模块可以从上述监控图像中获取目标人员的人体图像。具体可参照上述包裹图像的获取方式,在此不作具体说明。

另一个可选的实施例中,当上述人员图像为目标人员的人脸抓拍图像。上述压力传感器在检测到待检测包裹被放置在传送带上时,可以触发上述人脸抓拍模块对安检设备入口处的人员的人脸进行抓拍,得到人员的人脸抓拍图像。上述信息关联模块可以根据待检测包裹所属的目标人员,从人脸抓拍模块获取到的人脸抓拍图像中,获取该目标人员的人脸抓拍图像。

在本申请实施例中,上述人脸抓拍模块在抓拍得到人脸抓拍图像后,还可以基于该人脸抓拍图像,进行人脸定位,人脸关键点检测,人脸建模等操作,从而获取得到人员的人员信息。该人员信息包括不限于人脸属性和人脸特征向量。其中,人脸属性包括但不限于年龄或是否戴口罩。在此,对人脸抓拍图像中人员信息的获取过程不作具体说明。

一个可选的实施例中,为了提高上述人员信息的准确性,上述人脸抓拍模块在获取上述人员的人员信息时,可以针对每一人员获取一定时间段内的多张人脸抓拍图像,从而针对每一人脸抓拍图像,对该人脸抓拍图像进行人脸评分,并从每一人员的人脸评分最高的人脸抓拍图像中获取上述人员信息。

步骤三,基于包裹图像、人员图像和目标X光图像,建立待检测包裹、目标人员和目标X光图像的对应关系。

在本申请实施例中,上述信息关联模块建立的待检测包裹、目标人员和目标X光图像间的对应关系中至少包括上述包裹图像、人员图像和目标X光图像。如表1所示,表1为本申请实施例提供的一种信息关联的方式。

表1

在本申请实施例中,上述待检测包裹、目标人员和目标X光图像的对应关系除了包括上述包裹图像、人员图像和目标X光图像以外,还可以包括其他信息,例如,上述目标人员的人员信息,目标X光图像的检测结果,具体如表2所示。

表2

上述表2中的检测结果是上述X光检测模块对X光图像中的包裹进行异常检测得到的。其中,检测结果正常指示包裹中未包含有异常物品。检测结果异常指示包裹中包含有异常物品,如上述违禁物品。

基于同一种发明构思,根据上述本申请实施例提供的信息关联方法,本申请实施例还提供了一种异常告警方法。如图9所示,图9为本申请实施例提供的异常告警方法的一种流程示意图。获取安检设备入口处的监控图像。

步骤S901,获取安检设备入口处的监控图像。

步骤S902,确定监控图像中的待检测包裹以及待检测包裹所属的目标人员。

步骤S903,根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,确定安检设备采集的包括待检测包裹的目标X光图像。

步骤S904,建立待检测包裹、目标人员和目标X光图像的对应关系。

上述步骤S901-步骤S904与上述步骤S101-步骤S104相同。

步骤S905,在检测到目标X光图像中的包裹包含有异常物品时,基于待检测包裹、目标人员和目标X光图像的对应关系,输出告警消息。

在本步骤中,上述X光检测模块针对采集到的每一X光图像,可以对该X光图像中包裹所包含的物品进行异常检测。当X光检测模块检测到上述目标X光图像中的包裹包含有异常物品,如上述违禁物品时,X光检测模块可以根据上述信息关联模块建立的待检测包裹、目标人员和目标X光图像间的对应关系,输出显示告警消息。

上述告警消息是根据上述待检测包裹、目标人员和目标X光图像间的对应关系的对应关系生成的。例如,上述告警消息可以包裹上述目标X光图像、目标人员的人员信息、待检测包裹的包裹图像等,这将有利于检测人员在看到该告警消息时,可以准确的确定出包含异常物品的包裹,以及该包裹的主人,即上述目标人员,从而提高飞机、火车等运行的安全性,保障其他乘客的生命安全。

为便于理解,下面结合图10和图11对上述信息关联过程进行说明。图10为本申请实施例提供的信息关联过程的一种信令图。图11为本申请实施例提供的信息关联模块的一种结构示意图。

步骤S1001,双目摄像头采集安检设备入口处的监控图像。

步骤S1002,压力传感器在检测到目标人员将待检测包裹放置在传送带上时,生成压力信号,并将该压力信号发送至压力分析模块。

步骤S1003,压力分析模块根据接收到的压力信号,分别向图像分析模块和人脸抓拍模块发送触发信号。

在本步骤中,压力分析模块还可以根据压力传感器检测到的压力信号的位置,确定为待检测包裹在传送带上的放置位置,根据预设的压力信号与压力值间的对应关系,确定待检测包裹的包裹重量,并将确定的待检测包裹的放置位置和包裹重量,通过图像分析模块发送至信息关联模块。

步骤S1004,图像分析模块在接收到触发信号后,获取压力传感器检测到检测包裹时双目摄像头采集到的监控图像。

步骤S1005,图像分析模块在获取到的监控图像中确定待检测包裹,并获取该监控图像中待检测包裹的包裹特征。

上述包裹特征可以包括包裹大小、包裹颜色、包裹形状等。

步骤S1006,图像分析模块将获取到的监控图像和待检测包裹的包裹特征发送给信息关联模块。

步骤S1007,人脸抓拍模块在接收到触发信号后,对安检设备入口处的人员进行人脸抓拍,得到人脸抓拍图像。

上述人脸抓拍模块还可以对每一人员的人脸抓拍图像进行分析,得到每一人员的人员信息。

步骤S1008,信息关联模块将监控图像中距离待检测包裹最近的人员,确定为待检测包裹所属的目标人员,并根据待检测包裹所属的目标人员,建立待检测包裹与目标人员间的对应关系。

在本步骤中,信息关联模块在接收到图像分析模块发送的监控图像后,可以利用图11所示的人员与包裹关联单元,将监控图像中距离待检测包裹最近的人员,确定为待检测包裹所属的目标人员。

人员与包裹关联单元可以从上述人脸抓拍模块中获取待检测包裹所属目标人员的人脸抓拍图像和人员信息,并根据目标人员的人脸抓拍图像和人员信息,待检测包裹的包裹图像,以及待检测包裹的第一包裹特征,建立待检测包裹与目标人员间的对应关系。

步骤S1009,X光检测模块采集检测区域内的X光图像,并对采集到的X光图像进行异常检测。

步骤S1010,信息关联模块根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,确定安检设备采集的包括待检测包裹的目标X光图像。

在本步骤中,图11所示的包裹与X光图像关联单元可以根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,从X光检测模块中获取包括待检测包裹的目标X光图像。

包裹与X光图像关联单元在确定包括待检测包裹的目标X光图像后可以对根据待检测包裹的包裹图像,待检测包裹的第一包裹特征,目标X光图像,以及目标X光图像的第二包裹特征,建立待检测包裹与目标X光图像间的对应关系。

步骤S1011,信息关联模块建立待检测包裹、目标人员和目标X光图像间的对应关系。

在本步骤中,图11所示的人员、包裹及X光图像关联单元可以根据人员与包裹关联单元建立的待检测包裹与目标人员间的对应关系,以及包裹与X光关联单元建立的待检测包裹与目标X光图像间的对应关系,建立待检测包裹、目标人员和目标X光图像三者间的对应关系。

步骤S1012,信息关联模块将待检测包裹、目标人员和目标X光图像间的对应关系存储至信息存储模块。

基于同一种发明构思,根据上述本申请实施例提供的信息关联方法,本申请实施例还提供了一种信息关联装置。如图12所示,图12为本申请实施例提供的信息关联装置的一种结构示意图。该装置为上述安检设备。该安检设备可以包括以下模块。

第一获取模块1201,用于获取安检设备入口处的监控图像;

第一确定模块1202,用于确定监控图像中的待检测包裹以及待检测包裹所属的目标人员;

第二确定模块1203,用于根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,确定安检设备采集的包括待检测包裹的目标X光图像;

建立模块1204,用于建立待检测包裹、目标人员和目标X光图像的对应关系。

可选的,上述安检设备的传送带上可以包括压力传感器;

上述第一获取模块1201,具体可以用于在通过压力传感器检测到存在包裹被放置在传送带上时,获取当前时刻采集到的安检设备入口处的监控图像。

可选的,上述第一确定模块1202,具体可以用于将监控图像中安检设备的传送带上的包裹,确定为待检测包裹;

将监控图像中距离待检测包裹最近的人员,确定为待检测包裹所属的目标人员。

可选的,上述第二确定模块1203,可以包括:

第一确定子模块,用于根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,确定待检测包裹与检测区域间的距离;

第二确定子模块,用于基于所确定的距离以及传送带的传送速度,确定待检测包裹传送至检测区域的时间范围;

第三确定子模块,用于从时间范围内安检设备采集的X光图像中,确定安检设备采集的包括待检测包裹的目标X光图像。

可选的,上述安检设备的传送带上可以包括压力传感器;

上述信息关联装置还可以包括:

识别模块,用于对监控图像进行识别,得到待检测包裹在安检设备的传送带上的放置位置;和/或

第三确定模块,用于将压力传感器检测到的压力信号的位置,确定为待检测包裹在传送带上的放置位置。

可选的,上述信息关联装置还可以包括:

第二获取模块,用于在从时间范围内安检设备采集的X光图像中,确定安检设备采集的包括待检测包裹的目标X光图像之前,获取监控图像中待检测包裹的第一包裹特征;

第三确定子模块,具体用于获取时间范围内安检设备采集的每一张X光图像中包裹的第二包裹特征;

将第一包裹特征与每一张X光图像中包裹的第二包裹特征进行匹配,得到安检设备采集的包括待检测包裹的目标X光图像。

可选的,上述包裹特征可以包括多维特征;

第三确定子模块,具体用于针对每一张X光图像,计算该X光图像的第二包裹特征与第一包裹特征中每一特征维度对应的匹配置信度的加权和,得到该X光图像中的包裹与待检测包裹间的匹配置信度;

基于每一张X光图像中的包裹与待检测包裹间的匹配置信度,以及待检测包裹所属的目标人员,对每一X光图像进行逻辑判断,确定安检设备采集的包括待检测包裹的目标X光图像。

可选的,上述包裹特征可以包括包裹重量、包裹大小和包裹形状中的一种或多种。

可选的,上述建立模块1204,具体可以用于获取待检测包裹进入检测区域前的包裹图像和目标人员的人员图像;基于包裹图像、人员图像和目标X光图像,建立待检测包裹、目标人员和目标X光图像的对应关系。

可选的,上述信息关联装置还可以包括:

告警模块,用于在检测到目标X光图像中的包裹包含有异常物品时,基于待检测包裹、目标人员和目标X光图像的对应关系,输出告警消息。

通过本申请实施例提供的装置,通过获取安检设备入口处的监控图像,可以确定该监控图像中的待检测包裹所属的目标人员,即确定待检测包裹所关联的目标人员。另外,根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,可以确定安检设备采集到的包括待检测包裹的目标X光图像,即确定待检测包裹所关联到的目标X光图像。这使得安检设备可以根据待检测包裹所属的目标人员,以及包括待检测包裹的目标X光图像,建立待检测包裹、目标人员以及目标X光图像间的对应关系,即将包裹、人员和X光图像三者进行关联。由于该关联过程直接有由安检设备基于采集到的监控图像和X光图像进行的,不需要人工参与,节约了人工关联所需的时间,降低了人流量较多或环境较为复杂的场景人工关联出现错误的可能性,提高了信息关联的效率的准确性。

另外,采用本申请实施例提供的技术方案,通过在相关的安检设备的基础上进行较小的改装,实现对包裹、人员和X光图像三者进行关联,这使得安检设备的改装成本较低。并且,整个信息关联过程中,目标人员仅需将包裹放置在传输带上,安检设备即可自动对包裹、人员和X光图像进行关联,也就是在人员未感知的情况下完成信息关联过程,这并不影响人员安检过程。

基于同一种发明构思,根据上述本申请实施例提供的信息关联方法,本申请实施例还提供了一种安检设备。如图13所示,图13为本申请实施例提供的安检设备的第四种结构示意图。该安检设备可以包括摄像头1301、传送带1302、图像分析模块1303、X光检测模块1304和信息关联模块1305;该传送带1302上可以包括压力传感器1306:

上述摄像头1301,用于在通过压力传感器1306检测到存在包裹被放置在传送带1302上时,获取当前时刻采集到的安检设备入口处的监控图像;

上述传送带1302,用于传送包裹;

上述图像分析模块1303,用于获取监控图像;确定监控图像中的待检测包裹;

上述X光检测模块1304,用于在传送带1302上的包裹传输至检测区域时,采集包裹的X光图像,并基于X光图像,对包裹进行异常检测;

上述信息关联模块1305,用于确定监控图像中待检测包裹所属的目标人员;根据待检测包裹在安检设备的传送带1302上的放置位置,以及安检设备的检测区域的位置,确定安检设备采集的包括待检测包裹的目标X光图像;建立待检测包裹、目标人员和目标X光图像的对应关系。

可选的,上述安检设备还可以包括压力分析模块、人脸抓拍模块、信息存储模块和信息显示模块;

上述压力分析模块,用于获取待检测包裹被放置在传送带1302上时,压力传感器1306生成的压力信号,并根据预设的压力信号与压力值间的对应关系,确定压力传感器1306生成的压力信号对应的压力值,作为待检测包裹的包裹重量;

上述人脸抓拍模块,用于在通过压力传感器1306检测到存在包裹被放置在传送带1302上时,对安检设备入口处人员的人脸进行抓拍;

上述信息存储模块,用于存储待检测包裹、目标人员和目标X光图像的对应关系;

上述信息显示模块,用于在检测到目标X光图像中的包裹包含有异常物品时,基于待检测包裹、目标人员和目标X光图像的对应关系,输出告警消息。

通过本申请实施例提供的安检设备,通过获取安检设备入口处的监控图像,可以确定该监控图像中的待检测包裹所属的目标人员,即确定待检测包裹所关联的目标人员。另外,根据待检测包裹在安检设备的传送带上的放置位置,以及安检设备的检测区域的位置,可以确定安检设备采集到的包括待检测包裹的目标X光图像,即确定待检测包裹所关联到的目标X光图像。这使得安检设备可以根据待检测包裹所属的目标人员,以及包括待检测包裹的目标X光图像,建立待检测包裹、目标人员以及目标X光图像间的对应关系,即将包裹、人员和X光图像三者进行关联。由于该关联过程直接有由安检设备基于采集到的监控图像和X光图像进行的,不需要人工参与,节约了人工关联所需的时间,降低了人流量较多或环境较为复杂的场景人工关联出现错误的可能性,提高了信息关联的效率的准确性。

另外,采用本申请实施例提供的技术方案,通过在相关的安检设备的基础上进行较小的改装,实现对包裹、人员和X光图像三者进行关联,这使得安检设备的改装成本较低。并且,整个信息关联过程中,目标人员仅需将包裹放置在传输带上,安检设备即可自动对包裹、人员和X光图像进行关联,也就是在人员未感知的情况下完成信息关联过程,这并不影响人员安检过程。

基于同一种发明构思,根据上述本申请实施例提供的信息关联方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一信息关联方法的步骤。

基于同一种发明构思,根据上述本申请实施例提供的信息关联方法,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一信息关联方法。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、安检设备、计算机可读存储介质和计算机程序产品等实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

相关技术
  • 一种信息关联方法、装置、安检设备及存储介质
  • 信息显示方法、信息关联方法、装置、设备及存储介质
技术分类

06120113229478