离位检测方法、系统及计算机存储介质

技术领域

本发明涉及人员管理领域，更具体地，涉及一种离位检测方法、离位检测系统及计算机存储介质。

背景技术

针对一些特殊场所，需要准确识别监控范围内人员状态，确定被监控人员是否离开位置。现有的离开位置检测方法一般采用硬件：通过压力传感器、红外传感器等方式组成检测系统，获得位置上人员是否离开的状态。一般离位检测识别流程为：先通过传感器获取目标状态数据，目标可以是位置或者人，然后软件分析获取到的数据，最终判断是否发生离位行为。虽然能通过在位置上安装红外传感器等硬件方式间接判断得到人员离位行为，但是这种方式以硬件判断为主，安装难度大，对传感器的精度要求高，直接安装在位置上的传感器会随环境时间而发生老化。一个位置上的传感器等硬件仅仅能判断一个目标人员是否离位，判断多人离位需使用多个传感器等硬件，成本高昂。

现有的另一种离开位置检测方法是应用图像传感器进行离位检测，应用较少，主要是通过图像的方法进行离位检测，识别率低，相对于利用在位置上安装硬件检测方法的漏检率高。

发明内容

为解决上述技术问题，本发明提供一种离位检测方法、离位检测系统及计算机存储介质，可以实时获取目标人员的移动轨迹，能同时判断是否发生多人离位行为，降低了硬件成本和安装复杂度。

根据本发明第一方面实施例的离位检测方法，包括以下步骤：S1、获取某一区域内的人体基于时间序列的图像数据；S2、对所述图像数据进行处理，得到与所述区域内每一个人体分别一一对应的检测框；S3、根据所述检测框对所述区域内的人体进行人体跟踪；S4、根据人体跟踪结果计算得到每帧的轨迹点，生成人体位移轨迹；S5、根据所述人体位移轨迹是否跨越某一位置的边缘判断人体是否离开所述位置。

由此，根据本发明实施例的离位检测方法，通过某一区域内获得的视频图像，结合人体跟踪方法即可对某一区域内的人员是否离开某一位置进行离位分析，不仅简化了离位检测的硬件系统，减少了硬件开发和装配成本，而且监控范围更大，可以通过一个图像数据，获得多人位移轨迹，判断多人是否离位，另外，该方法采用了人体轨迹跟踪，使得离位行为判断更加简单准确。

根据本发明实施例的离位检测方法还可以具有如下的附加技术特征：

根据本发明的一些实施例，在步骤S1中，通过安装在某一区域的摄像头，后台获取所述区域内的人体基于时间序列的所述图像数据。

根据本发明的一些实施例，步骤S2包括：S21、将所述图像数据输入检测网络，获得人体检测框；S22、通过NMS去除多余的人体检测框，得到与所述区域内每一个人体分别一一对应的所述检测框。

根据本发明的一些实施例，步骤S3包括：S31、输入所述检测框，通过特征提取网络提取得到各个所述检测框对应的特征；S32、通过行人重识别方法对人体进行特征匹配，将每一个人体前后帧的所述检测框连接起来，得到具有时序的人体检测框图像序列；S33、计算所述人体检测框图像序列中的一个所述检测框与上一帧跟踪轨迹框的交并比值，若交并比值大于设定阈值，则所述检测框与所述上一帧跟踪轨迹框继续进行余弦匹配，若交并比值小于设定阈值，则匹配不上的检测框与跟踪轨迹框再进行交并比匹配；S34、将所述检测框与所述上一帧跟踪轨迹框进行余弦匹配，若匹配成功，跟踪结果为跟踪成功轨迹，将其送入轨迹更新，若匹配不成功，则匹配不上的检测框与跟踪轨迹框再进行交并比匹配；S35、将所述匹配不上的检测框与跟踪轨迹框再进行交并比匹配，若匹配成功，跟踪结果为跟踪成功轨迹，若匹配不成功，跟踪结果为跟踪丢失轨迹或未匹配到检测框，将其送入轨迹更新。

根据本发明的一些实施例，在步骤S35中，若跟踪结果为未匹配到所述检测框，则执行以下步骤：S351、将未匹配上的所述检测框作为待定状态轨迹，连续跟踪成功固定次数后变为确定状态轨迹，跟踪期间出现跟踪丢失则变为删除状态轨迹待删除；S352、确定状态轨迹若连续丢失次数超过固定值，则变为删除状态轨迹待删除；S353、待删除状态轨迹稍后删除。

根据本发明的一些实施例，在步骤S4中，所述轨迹点为所述检测框的下边框的中心点，步骤S5包括：S51、获取跟踪结果，得到最新的n个轨迹点；S52、若轨迹点数n小于设定阈值，则认为目标离开位置，判断为离位。

根据本发明的一些实施例，步骤S5还包括：S53、若轨迹点数n大于设定阈值，则统计在位置内、外的点数a、b，然后判断点数a、b是否满足设定值，若不满足则认为目标离开位置，判断为离位，a＝0.2n且b＝0.2n。

根据本发明的一些实施例，步骤S5还包括：S54、判断最新轨迹点下边框中心点两侧像素距离width/m的点都在位置外，其中width为检测框下边框像素宽度，若满足则认为目标离开位置，判断为离位，n＝10，m为6～8。

根据本发明第二方面实施例的离位检测系统，包括：获取图像模块，所述获取图像模块获取某一区域内人体基于时间序列的图像数据；图像处理模块，所述图像处理模块对上述图像数据进行处理得到与所述区域内每一个人体分别一一对应的检测框；人体跟踪模块，所述人体跟踪模块对所述区域内的人体进行人体跟踪；轨迹获得模块，所述轨迹获得模块根据人体跟踪结果计算得到每帧的轨迹点，生成人体位移轨迹；判断模块，所述判断模块根据所述人体位移轨迹是否跨越位置边缘判断人体是否离位。

第三方面，本发明实施例提供一种计算机存储介质，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如上述实施例所述的方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的离位检测方法的流程图；

图2为根据本发明实施例的离位检测方法中对人体跟踪流程图；

图3为根据本发明实施例的离位检测方法的人体跟踪轨迹更新流程图；

图4为根据本发明实施例的离位检测方法的离位判断流程图；

图5为本发明实施例的电子设备的示意图。

附图标记：

电子设备300；

存储器310；操作系统311；应用程序312；

处理器320；网络接口330；输入设备340；硬盘350；显示设备360。

具体实施方式

下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

下面首先结合附图具体描述根据本发明实施例的离位检测方法。

如图1所示，根据本发明实施例的离位检测方法，包括以下步骤：

S1、获取某一区域内的人体基于时间序列的图像数据；

S2、对图像数据进行处理，得到与区域内每一个人体分别一一对应的检测框；

S3、根据检测框对区域内的人体进行人体跟踪；

S4、根据人体跟踪结果计算得到每帧的轨迹点，生成人体位移轨迹；

S5、根据人体位移轨迹是否跨越某一位置的边缘判断人体是否离开位置。

首先需要说明的是，根据本发明实施例的离位检测方法可以用于对某一区域内的人员是否离开某一位置进行检测，例如，某一区域可以是需要准确识别监控范围内人员状态，确定被监控人员是否离开位置的看守所，某一位置可以是看守所内的床或者座椅等，通过本发明实施例的离位检测方法可以实时检测看守所内人员是否离开床或者座椅。

具体地，根据本发明实施例的离位检测方法在使用时，首先获取需要进行离位检测的某一区域内的图像数据，该图像数据为该区域内的包含人体活动状态的时间序列的图像数据，例如可以是某一时间段的视频等，该区域内的人体可以为一个，也可以为多个；接着，对该区域内的图像数据进行处理，筛选出每个人分别唯一对应的检测框，例如可以是通过对图像数据的人体进行识别，经过多次筛选，得到与每个人分别对应的一个检测框；然后根据每个检测框分别对该区域内的人体进行跟踪，并根据根据人体跟踪结果计算得到每个人在每帧图像上的轨迹点，将这些轨迹点串联生成人体位移轨迹，其中，对人体进行跟踪可以是一个图像数据跟踪多个目标人员，也可以是跨多个图像数据进行行人重识别；最后，根据每个人的人体位移轨迹是否跨越某一位置的边缘，即可判断该人体是否离开位置。

由此，根据本发明实施例的离位检测方法，通过某一区域内获得的视频图像，结合人体跟踪方法即可对某一区域内的人员是否离开某一位置进行离位分析，不仅简化了离位检测的硬件系统，减少了硬件开发和装配成本，而且监控范围更大，可以通过一个图像数据，获得多人位移轨迹，判断多人是否离位，另外，该方法采用了人体轨迹跟踪，使得离位行为判断更加简单准确。

根据本发明的一个实施例，在步骤S1中，通过安装在某一区域的摄像头，后台获取区域内的人体基于时间序列的图像数据。

具体的，在某一区域可以设有多个单摄像头，每个单摄像头可以分别获取对应范围内的人员的人体基于时间序列的图像数据，同时每个单摄像头还可以分别筛选出符合设定要求的人体。

根据本发明的一个实施例，步骤S2包括：

S21、将图像数据输入检测网络，获得人体检测框；

S22、通过NMS去除多余的人体检测框，得到与区域内每一个人体分别一一对应的检测框。

具体的说，将获得的某个区域的的人体基于时间序列图像数据输入检测网络，例如：检测网络可以是深度学习网络Faster R-CNN，将图像数据输入深度学习网络Faster R-CNN获取多个人体检测框，然后通过NMS去除多余的人体检测框，NMS为非极大值抑制，将上述得到的多个人体检测框进行处理，根据分类器的类别分类概率做排序，将属于被监控人员的概率按从小到大排列，对多个按概率大小排列的人体检测框进行交并比，设定阈值，大于一定阈值的剔除，小于阈值的保留，对保留的人体检测框再此进行交并比。通过多次对比得到得到与区域内每一个人体分别一一对应的检测框。通过上述步骤可以实时获取数据并进一步的获得更高精度的图像数据。

根据本发明的一个实施例，步骤S3包括：

S31、输入检测框，通过特征提取网络提取得到各个检测框对应的特征；

S32、通过行人重识别方法对人体进行特征匹配，将每一个人体前后帧的检测框连接起来，得到具有时序的人体检测框图像序列；

S33、计算人体检测框图像序列中的一个检测框与上一帧跟踪轨迹框的交并比值，若交并比值大于设定阈值，则检测框与上一帧跟踪轨迹框继续进行余弦匹配，若交并比值小于设定阈值，则匹配不上的检测框与跟踪轨迹框再进行交并比匹配；

S34、将检测框与上一帧跟踪轨迹框进行余弦匹配，若匹配成功，跟踪结果为跟踪成功轨迹，将其送入轨迹更新，若匹配不成功，则匹配不上的检测框与跟踪轨迹框再进行交并比匹配；

S35、将匹配不上的检测框与跟踪轨迹框再进行交并比匹配，若匹配成功，跟踪结果为跟踪成功轨迹，若匹配不成功，跟踪结果为跟踪丢失轨迹或未匹配到检测框，将其送入轨迹更新。

换句话说，如图2所示，对区域内的人体进行人体跟踪可以通过以下步骤：

首先，将步骤S22中得到的与人体一一对应的检测框作为输入，输入到特征提取网络提取得到各个检测框对应的特征，例如：特征提取网络可以是深度卷积网络VGG-Net模型，提取得到各个检测框对应的特征可以是穿着、体态、发型等特征。

接着，根据行人的穿着、体态、发型等特征的人体检测框进行匹配对跨摄像头跨场景下行人的识别与检索，并将每一个人体前后帧的检测框连接起来，得到具有时序的人体检测框图像序列。

然后，将具有时序的人体检测框图像序列中的一个检测框与上一帧跟踪轨迹框的距离取为交并比值，若交并比值大于设定阈值，对应检测框与跟踪轨迹框距离较近，则检测框与跟踪轨迹框继续进行余弦匹配，若交并比值小于设定阈值，对应检测框与跟踪轨迹框距离较远，后续不做余弦匹配，则匹配不上的检测框与跟踪轨迹框再进行交并比匹配。

需要说明的是，跟踪轨迹框也是检测框，属于上一帧的检测框，此检测框属于某个轨迹，因此称为跟踪轨迹框，亦称为跟踪框。检测框与跟踪轨迹框距离取值范围为0到1，0为距离最远，1为距离最近。

再将检测框与上一帧跟踪轨迹框进行余弦匹配，若匹配成功，跟踪结果为跟踪成功轨迹，将其送入轨迹更新，若匹配不成功，则匹配不上的检测框与跟踪轨迹框再进行交并比匹配。

最后，将匹配不上的检测框与跟踪轨迹框再进行交并比匹配，若匹配成功，跟踪结果为跟踪成功轨迹，若匹配不成功，跟踪结果为跟踪丢失轨迹或未匹配到检测框，将其送入轨迹更新。

通过上述步骤进行人体跟踪获取人员轨迹，不局限与人体的外在属性，更关注人体的高维特征，同时生成的轨迹覆盖了人员在相关区域的全部活动，相比较与现有的红外传感器获得的轨迹，信息更全面，相比较与现有的图像传感器获得的轨迹，大幅提高了人体轨迹识别率。

进一步的，根据本发明的一个实施例，在步骤S35中，若跟踪结果为未匹配到检测框，则执行以下步骤：

S351、将未匹配上的检测框作为待定状态轨迹，连续跟踪成功固定次数后变为确定状态轨迹，跟踪期间出现跟踪丢失则变为删除状态轨迹待删除；

S352、确定状态轨迹若连续丢失次数超过固定值，则变为删除状态轨迹待删除；

S353、待删除状态轨迹稍后删除。

具体的，如图3所示，未匹配上的检测框作为待定状态轨迹，将未匹配上的检测框继续进行跟踪，连续跟踪成功固定次数后未匹配上的检测框由待定状态轨迹变为确定状态轨迹，继续跟踪期间出现跟踪丢失则未匹配上的检测框由待定状态轨迹变为删除状态轨迹待删除，当确定状态轨迹若连续丢失次数超过固定值，则变为删除状态轨迹待删除。

其中需要说明的是，确定状态轨迹和待定状态轨迹可以变为待删除状态，待删除状态轨迹不能变为其他两种状态，待删除状态轨迹稍后删除。通过对未匹配上的检测框再次跟踪，增加跟踪精度，减小目标丢失概率。

根据本发明的一个实施例，在步骤S4中，轨迹点为检测框的下边框的中心点，步骤S5包括：

S51、获取跟踪结果，得到最新的n个轨迹点；

S52、若轨迹点数n小于设定阈值，则认为目标离开位置，判断为离位。

根据本发明的一个实施例，步骤S5还包括：

S53、若轨迹点数n大于设定阈值，则统计在位置内、外的点数a、b，然后判断点数a、b是否满足设定值，若不满足则认为目标离开位置，判断为离位，a＝0.2n且b＝0.2n。

根据本发明的一个实施例，步骤S5还包括：

S54、判断最新轨迹点下边框中心点两侧像素距离width/m的点都在位置外，其中width为检测框下边框像素宽度，若满足则认为目标离开位置，判断为离位，n＝10，m为6～8。

具体的，如图4所示，通过跟踪结果，得到被监控人员的最新的n个轨迹点，其中，轨迹点取人体检测框的下边框的中心点，设定阈值，若轨迹点数n小于设定阈值，则认为被监控人员离开位置，判断为离位。若n大于设定阈值，则统计在位置内、外的点数a、b，然后判断点数a、b是否满足设定值，若满足则认为被监控人员从位置内到了位置外，判断为离位。同时为了避免被监控人员在位置边缘坐着的时候，轨迹点可能在边缘抖动，导致误判为离位，因此多加一个判断条件即离位轨迹的当前帧的轨迹点需离位置边缘距离大于width/m像素距离，即最新轨迹点下边框中心点两侧像素距离width/m的点都在位置外，若满足则认为被监控人员离开位置，判断为离位。其中width为检测框下边框像素宽度，m为通过跟踪实际测试得到的值，一般为6～8。

总而言之，根据本发明的离位检测方法至少具有以下优点：

(1)仅通过摄像头获得视频图像进行离位分析，简化离位检测的硬件系统，监控范围更大。

(2)在人员多的情况下，利用视频分析的方法，通过加入人体跟踪的方式，实时获取目标人员的移动轨迹，能同时判断是否发生多人离位行为。

(3)加入人体轨迹跟踪，使得离位行为判断算法简单准确，有效判断人是从位置内到位置外，而不是位置外的人靠近位置内导致误判。

根据本发明实施例的离位检测系统包括获取图像模块、图像处理模块、人体跟踪模块、轨迹获得模块和判断模块。

具体的，获取图像模块获取某一区域内人体基于时间序列的图像数据，图像处理模块对上述图像数据进行处理得到与区域内每一个人体分别一一对应的检测框，人体跟踪模块对区域内的人体进行人体跟踪，轨迹获得模块根据人体跟踪结果计算得到每帧的轨迹点，生成人体位移轨迹，判断模块根据人体位移轨迹是否跨越位置边缘判断人体是否离位。

由此，根据本发明实施例的离位检测系统，仅通过获得视频图像进行离位分析，简化离位检测的硬件系统，监控范围更大，可以通过一个图像数据，获得多人位移轨迹，判断多人是否离位，且加入人体轨迹跟踪，使得离位行为判断算法简单准确。

根据本发明实施例的离位检测系统的各模块的作用在上述实施例中已经详细描述，因此不再赘述。

此外，本发明还提供一种计算机存储介质，计算机存储介质包括一条或多条计算机指令，一条或多条计算机指令在执行时实现上述任一的离位检测方法。

也就是说，计算机存储介质存储有计算机程序，计算机程序被处理器运行时，使得处理器执行上述任一的离位检测方法。

如图5所示，本发明实施例提供了一种电子设备300，包括存储器310和处理器320，所述存储器310用于存储一条或多条计算机指令，所述处理器320用于调用并执行所述一条或多条计算机指令，从而实现上述任一所述的方法。

也就是说，电子设备300包括：处理器320和存储器310，在所述存储器310中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器320执行上述任一所述的方法。

进一步地，如图5所示，电子设备300还包括网络接口330、输入设备340、硬盘350、和显示设备360。

上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器320代表的一个或者多个中央处理器(CPU)，以及由存储器310代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

所述网络接口330，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘350中。

所述输入设备340，可以接收操作人员输入的各种指令，并发送给处理器320以供执行。所述输入设备340可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

所述显示设备360，可以将处理器320执行指令获得的结果进行显示。

所述存储器310，用于存储操作系统运行所必须的程序和数据，以及处理器320计算过程中的中间结果等数据。

可以理解，本发明实施例中的存储器310可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器310旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器310存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统311和应用程序312。

其中，操作系统311，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序312，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序312中。

本发明上述实施例揭示的方法可以应用于处理器320中，或者由处理器320实现。处理器320可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器320中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器320可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器310，处理器320读取存储器310中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体地，处理器320还用于读取所述计算机程序，执行上述任一所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。