一种复杂场景下的行人目标跟踪方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种复杂场景下的行人目标跟踪方法及装置。

背景技术

重点人物的目标跟踪有很重要的使用价值，在现实世界中，运动场景都比较复杂，简单的线性运动模型、或者传统的目标跟踪技术，都显得捉襟见肘。一些应用场景中，行人目标交叠，并且行人的特征变化不显著，导致两个目标人物的轨迹交叉、误匹配，最终导致目标人物丢失。对目标人物的智能监控和追踪都会带来不好的体验。

基于深度学习等相关性滤波的单目标跟踪虽然也取得了比较好的跟踪效果，但是在效率上还是不好，对应对复杂场景的行人目标跟踪效果也不是很好。

人脸特征、身份重识别的内嵌特征在生物特征识别、身份辨别领域都取得了很好的效果，用这些稳定的特征进行目标人物跟踪辅助是有效的技术途径。

发明内容

本发明提供了一种复杂场景下的行人目标跟踪方法，包括：

选定目标人物，获取目标图像的起始时刻，为目标人物建立运动轨迹；

计算下一次检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，判断该时间间隔是否在预设轨迹消失时间阈值内：

如果该时间间隔超过预设轨迹消失时间阈值，则表示目标人物丢失太久，确定目标已经丢失；

如果该时间间隔在预设轨迹消失时间阈值内，则计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，若能够匹配到目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。

如上所述的复杂场景下的行人目标跟踪方法，其中，在复杂场景下进行某一目标人物追踪时，先查找该目标人物的目标图像在视频中的起始时刻t，该时刻代表获得了一个新的检测目标，为该目标重新建立一条运动轨迹Trackobj，记录此时的目标图像为image

如上所述的复杂场景下的行人目标跟踪方法，其中，如果该时间间隔在预设轨迹消失时间阈值内，则具体执行如下子步骤：

对运动轨迹中最后更新时刻t所对应的目标图像位置position

计算t+k时刻的预测位置position

将满足距离条件的t+k时刻的若干目标组成一组候选集objSet{obj0,obj1,...,objm}。

如上所述的复杂场景下的行人目标跟踪方法，其中，对运动轨迹中最后更新时刻t所对应的目标图像位置position

如上所述的复杂场景下的行人目标跟踪方法，其中，进行人物相似度匹配，具体包括如下子步骤：

对t+k时刻的目标图像候选集objSet的所有成员，进行人脸检测；

如果人脸区域存在，则提取t+k时刻对应的人脸特征FaceFea

如果人脸区域不存在，则提取内嵌特征ReidFea

本发明还提供一种复杂场景下的行人目标跟踪装置，包括：运动轨迹创建模块21、目标运动轨迹检测模块22、目标运动轨迹确定模块23；

运动轨迹创建模块21，用于选定目标人物，获取目标图像的起始时刻，为目标人物建立运动轨迹；

目标运动轨迹检测模块22，用于计算下一次检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，判断该时间间隔是否在预设轨迹消失时间阈值内：如果该时间间隔超过预设轨迹消失时间阈值，则表示目标人物丢失太久，确定目标已经丢失；如果该时间间隔在预设轨迹消失时间阈值内，则触发目标运动轨迹确定模块23；

目标运动轨迹确定模块23，用于计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，若能够匹配到目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。

如上所述的复杂场景下的行人目标跟踪装置，其中，如果该时间间隔在预设轨迹消失时间阈值内，则目标运动轨迹检测模块22具体用于：对运动轨迹中最后更新时刻t所对应的目标图像位置position

如上所述的复杂场景下的行人目标跟踪装置，其中，对运动轨迹中最后更新时刻t所对应的目标图像位置position

如上所述的复杂场景下的行人目标跟踪装置，其中，目标运动轨迹确定模块23具体用于：对t+k时刻的目标图像候选集objSet的所有成员，进行人脸检测；如果人脸区域存在，则提取t+k时刻对应的人脸特征FaceFea

本发明还提供一种计算机存储介质，其特征在于，包括：至少一个存储器和至少一个处理器；

存储器用于存储一个或多个程序指令；

处理器，用于运行一个或多个程序指令，用以执行上述任一项所述的一种复杂场景下的行人目标跟踪方法。

本发明实现的有益效果如下：本发明提出一个实时的且通过多种特征属性约束的方式进行跟踪的改进方法。实现在较短时间间隔内的目标人物跟踪定位场景下，结合脸部信息、目标人物的上半身内嵌特征进行辅助判别关联，进行有效的特征对匹配的结果进行验证和修正，有利于提升复杂场景下的目标人物的跟踪效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种复杂场景下的行人目标跟踪方法流程图；

图2是当判定时间间隔在预设轨迹消失时间阈值内所执行方法流程图

图3是进行人物相似度匹配方法流程图；

图4是本发明实施例二提供的一种复杂场景下的行人目标跟踪装置示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，本发明实施例一提供一种复杂场景下的行人目标跟踪方法，包括：

步骤110、选定目标人物，获取目标图像的起始时刻，为目标人物建立运动轨迹；

在复杂场景下进行某一目标人物追踪时，先查找该目标人物的目标图像在视频中的起始时刻t，该时刻代表获得了一个新的检测目标，为该目标重新建立一条运动轨迹Track

设定对于任意的目标object，其位置表示为position(x，y，width，height)，其中，x，y是目标外接矩形的左上角坐标，用其表示目标的位置，width，height是对应矩形的宽度和高度，用其表示目标的大小，因此此时对应t时刻的目标人物object的位置为position

步骤120、计算下一次检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，判断该时间间隔是否在预设轨迹消失时间阈值内，如果该时间间隔超过预设轨迹消失时间阈值，则表示目标人物丢失太久，确定目标已经丢失；如果该时间间隔在预设轨迹消失时间阈值内，则执行步骤130；

本发明实施例中，对于t+k时刻检测到的目标图像image

如图2所示，如果时间间隔在时间阈值内，则执行如下子步骤：

步骤210、对运动轨迹中最后更新时刻t所对应的目标图像位置position

优选地，本发明采用kalman(卡尔曼)线性预测，根据当前帧位置position

其中，Kalman预测具体方法为：

Kalman状态估计使用一个8维空间去刻画轨迹在某时刻的状态

步骤220、计算t+k时刻的预测位置position

具体地，计算t+k时刻的预测位置position

其中，xcen

若经距离条件筛选后所得的候选集objSet为空，则继续进行下一帧的目标追踪。此外，计算距离轨迹Trackobj最后更新的时间间隔timeInterval，判断间隔timeInterval是否大于轨迹消失的时间阈值，直到间隔timeInterval大于轨迹消失的时间阈值endTrackThr，结束该轨迹，建立新的轨迹。

返回参见图1，步骤130、计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，若能够匹配到目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物；

内嵌特征(embedding feature)指目标人物穿着、人脸、发型等综合特征，本申请综合考虑人脸特征和内嵌特征，实现对目标任务的精准追踪定位。

本发明实施例中，如图3所示，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，具体包括如下子步骤：

步骤310、对t+k时刻的目标图像候选集objSet的所有成员，进行人脸检测，如果人脸区域存在，则执行步骤320，否则执行步骤330；

步骤320、提取t+k时刻对应的人脸特征FaceFea

若目标图像候选集objSet的所有成员中存在多个相似度大于给定的阈值faceThr的目标，则选择相似度最高的目标作为目标人物的运动轨迹，对应目标object记录添加到轨迹Trackobj中，完成匹配。

步骤330、提取内嵌特征ReidFea

具体地，相似度的计算公式为：

其中，缓冲轨迹的目标特征为fea0(fea0

若目标图像候选集objSet的所有成员中存在多个相似度大于给定的阈值AttriThr的目标，则选择相似度最高的目标作为目标人物的运动轨迹，对应目标object记录添加到轨迹Trackobj中，完成匹配，由此完成跟踪，等待下一帧的新目标输入。

实施例二

如图4所示，本发明实施例二提供一种复杂场景下的行人目标跟踪装置40，包括运动轨迹创建模块41、目标运动轨迹检测模块42、目标运动轨迹确定模块43；

运动轨迹创建模块41，用于选定目标人物，获取目标图像的起始时刻，为目标人物建立运动轨迹；

具体地，在复杂场景下进行某一目标人物追踪时，先查找该目标人物的目标图像在视频中的起始时刻t，该时刻代表获得了一个新的检测目标，为该目标重新建立一条运动轨迹Trackobj，记录此时的目标图像为image

目标运动轨迹检测模块42，用于计算下一次检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，判断该时间间隔是否在预设轨迹消失时间阈值内：如果该时间间隔超过预设轨迹消失时间阈值，则表示目标人物丢失太久，确定目标已经丢失；如果该时间间隔在预设轨迹消失时间阈值内，则触发目标运动轨迹确定模块43；

具体地，如果该时间间隔在预设轨迹消失时间阈值内，则具体包括：对运动轨迹中最后更新时刻t所对应的目标图像位置position

其中，对运动轨迹中最后更新时刻t所对应的目标图像位置position

目标运动轨迹确定模块43，用于计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，若能够匹配到目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。

具体地，进行人物相似度匹配，具体包括：对t+k时刻的目标图像候选集objSet的所有成员，进行人脸检测；如果人脸区域存在，则提取t+k时刻对应的人脸特征FaceFea

与上述实施例对应的，本发明实施例提供一种计算机存储介质，包括：至少一个存储器和至少一个处理器；

存储器用于存储一个或多个程序指令；

处理器，用于运行一个或多个程序指令，用以执行复杂场景下的行人目标跟踪方法。

与上述实施例对应的，本发明实施例提供一种计算机可读存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被处理器执行复杂场景下的行人目标跟踪方法。

本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的一种复杂场景下的行人目标跟踪方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。