一种对象识别跟踪方法和装置

技术领域

本公开涉及对象跟踪技术领域，尤其涉及一种对象识别跟踪方法和装置。

背景技术

在视频的监控和视频数据的处理过程中，多目标跟踪为一种常见且具有实用意义的技术。本公开的发明人在实现本申请相关技术中，发现，可以通过先对目标进行识别，然后通过多帧累计的方式实现对于目标的跟踪，但是这种方式需要较高的计算量，当累计的帧数比较大，存在较大的计算延迟，导致跟踪的效率降低。

发明内容

本公开实施例提供一种对象识别跟踪方法和装置，以提高对于对象识别和跟踪的效率。

第一方面，本公开实施例提供了一种对象识别跟踪方法，包括以下步骤：

检测目标帧图像中包括的M个第一对象，所述M为正整数；

获取第一视频数据中的跟踪数据中包括的N个第二对象，所述第一视频数据包括所述目标帧图像之前的L帧图像，其中，N和L均为正整数，L是根据述第二对象与所述第一对象的匹配权重确定的；

将所述M个第一对象与所述N个第二对象相匹配，以确定每一第一对象和每一第二对象的对应关系，每一第二对象与所述第一对象的匹配权重随当前第二对象所在图像与所述目标帧图像之间的时间间隔变化；

根据所述M个第一对象与所述N个第二对象的匹配结果跟踪所述第一对象。

在一些实施例中，所述将所述M个第一对象与所述N个第二对象相匹配，以确定所述第一对象和所述第二对象的对应关系包括：

分别计算所述L帧图像中每一帧图像中的N个第二对象的特征向量与所述M个第一对象的特征向量的特征距离；

依次计算每个所述第二对象与所述第一对象的特征距离的加权移动平均值，其中，每一第二对象与所述第一对象的匹配权重随当前第二对象所在图像与所述目标帧图像之间的时间间隔的减小而增加；

将加权移动平均值大于预设阈值，且最大的第一对象和第二对象相对应。

在一些实施例中，所述第二对象与所述第一对象的匹配权重，随所在图像与所述目标帧图像之间的时间间隔的减小而呈指数变化。

在一些实施例中，所述检测目标帧图像中包括的M个第一对象，包括：

分别提取目标帧图像中包括的M个第一对象的特征向量；

所述获取第一视频数据中的跟踪数据中包括的N个第二对象，包括：

生成所述第一视频数据中每一被跟踪的第二对象对应的特征向量；

所述将所述M个第一对象与所述N个第二对象相匹配，包括：

计算每一所述第一对象的特征向量与每一第二对象的特征向量的特征距离；

根据所述特征距离确定每一所述第一对象的特征向量与所述N个第二对象的特征向量的最大匹配，并将所述最大匹配作为相对应的第一对象和第二对象。

在一些实施例中，所述根据所述M个第一对象与所述N个第二对象的匹配结果跟踪所述第一对象，包括：

若存在与所述第二对象匹配的第一对象，则将相对应的第一对象和第二对象作为同一对象跟踪；

若不存在与所述第二对象匹配的第一对象，则根据所述第二对象新增跟踪对象。

第二方面，本公开实施例提供了一种对象识别跟踪装置，包括：

检测模块，用于检测目标帧图像中包括的M个第一对象，所述M为正整数；

跟踪数据获取模块，用于获取第一视频数据中的跟踪数据中包括的N个第二对象，所述第一视频数据包括所述目标帧图像之前的L帧图像，其中，N和L均为正整数，L是根据述第二对象与所述第一对象的匹配权重确定的；

匹配模块，用于将所述M个第一对象与所述N个第二对象相匹配，以确定每一第一对象和每一第二对象的对应关系，每一第二对象与所述第一对象的匹配权重随当前第二对象所在图像与所述目标帧图像之间的时间间隔变化；

跟踪模块，用于根据所述M个第一对象与所述N个第二对象的匹配结果跟踪所述第一对象。

在一些实施例中，所述匹配模块包括：

距离计算子模块，用于分别计算所述L帧图像中每一帧图像中的N个第二对象的特征向量与所述M个第一对象的特征向量的特征距离；

加权移动平均值计算子模块，用于依次计算每个所述第二对象与所述第一对象的特征距离的加权移动平均值，其中，每一第二对象与所述第一对象的匹配权重随当前第二对象所在图像与所述目标帧图像之间的时间间隔的减小而增加；

匹配子模块，用于将加权移动平均值大于预设阈值，且最大的第一对象和第二对象相对应。

在一些实施例中，所述第二对象与所述第一对象的匹配权重，随所在图像与所述目标帧图像之间的时间间隔的减小而呈指数变化。

在一些实施例中，所述检测模块，具体用于分别提取目标帧图像中包括的M个第一对象的特征向量；

所述跟踪数据获取模块，具体用于生成所述第一视频数据中每一被跟踪的第二对象对应的特征向量；

所述匹配模块包括：

所述距离计算子模块，具体用于计算每一所述第一对象的特征向量与所述N个第二对象的特征向量的特征距离；

匹配子模块，具体用于根据所述特征距离确定每一所述第一对象的特征向量与每一第二对象的特征向量的最大匹配，并将所述最大匹配作为相对应的第一对象和第二对象。

在一些实施例中，所述跟踪模块，具体用于：

若存在与所述第二对象匹配的第一对象，则将相对应的第一对象和第二对象作为同一对象跟踪；

若不存在与所述第二对象匹配的第一对象，则根据所述第二对象新增跟踪对象。

本公开实施例通过检测目标帧图像中包括的M个第一对象，所述M为正整数；获取第一视频数据中的跟踪数据中包括的N个第二对象，所述第一视频数据包括所述目标帧图像之前的L帧图像，其中，N和L均为正整数，L是根据述第二对象与所述第一对象的匹配权重确定的；将所述M个第一对象与所述N个第二对象相匹配，以确定所述第一对象和所述第二对象的对应关系；根据所述M个第一对象与所述N个第二对象的匹配结果跟踪所述第一对象。这样，通过根据第二对象和第一对象的匹配权重确定跟踪数据所使用的图像帧数量，有助于减少所需使用的第一视频数据的图像帧数量，提高对于对象的识别和跟踪效率。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。

图1是本公开一实施例提供的对象识别跟踪方法的流程图；

图2是本公开一实施例提供的对象识别跟踪装置的结构图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本公开保护的范围。

本公开实施例提供了一种对象识别跟踪方法。

如图1所示，在一个实施例中，该方法包括以下步骤：

步骤101：检测目标帧图像中包括的M个第一对象，所述M为正整数。

本公开实施例中，首选检测目标帧图像中包括的M个第一对象，该第一对象可能是人员，也可能是其他对象。

在一个实施例中，该步骤101进一步包括：

分别提取目标帧图像中包括的M个第一对象的特征向量。

实施时，可以首先建立与每一所识别的第一对象一一对应的检测框，进一步生成与该检测框对应的特征向量，作为相应的第一对象的特征向量。实施时，可以通过包括但不限于deepsort等特征提取算法提取每一第一对象的特征向量。

步骤102：获取第一视频数据中的跟踪数据中包括的N个第二对象，所述第一视频数据包括所述目标帧图像之前的L帧图像，N和L均为正整数。

对象的识别主要针对目标帧图像，而对于对象的跟踪则主要为将历史视频数据中识别的图像与目标帧图像中的对象相匹配，这样，能够获得对象的运动轨迹、运动速度等相关参数，实现对于对象的跟踪。

本实施例的技术方案中，第一视频数据指的是上述历史视频数据，而目标帧则指的位于第一视频数据之后且尚未实现对其中包括的对象进行连续跟踪的一帧图像。

进一步的，在一个实施例中该步骤102包括：

生成所述第一视频数据中每一被跟踪的第二对象对应的特征向量。

与上述步骤101类似的，本实施例中首先建立与每一被跟踪的第二对象一一对应的跟踪框，并进一步生成每一跟踪框对应的特征向量。

应当理解的是，跟踪框的特征向量和检测框的特征向量的格式是相同的，例如，如果检测框的特征向量为128维特征向量，那么跟踪框的特征向量同样为128维特征向量。

步骤103：将所述M个第一对象与所述N个第二对象相匹配，以确定每一第一对象和每一第二对象的对应关系。

在确定了目标帧图像中的M个第一对象和跟踪数据中的N个第二对象之后，进一步将第一对象和第二对象相匹配。从而确定第一对象和第二对象之间的对应关系。

实施时，对于M个第一对象和N各第二对象一一进行匹配，例如，对第一个第一对象，将其依次与第一个至第N个第二对象进行匹配，共计获得N组匹配数据，接下来，对第二个第一对象，将其依次与第一个至第N个第二对象进行匹配，同样获得N组匹配数据，依此类推，共计可以获得M*N组匹配数据，也就是每一第一对象和每一第二对象的对应关系。

每一第二对象与所述第一对象的匹配权重随当前第二对象所在图像与所述目标帧图像之间的时间间隔变化。可以理解为，每一第二对象的图像存在于第一视频数据包括的L帧图像中的多帧图像中，为了获取对于第二对象的跟踪数据，会引入第二对象在L帧图像中的多帧图像中的数据。

在时间变化的尺度上，每一第二对象在不同帧图像中的数据对于该第二对象在目标帧中的数据的影响程度不同，因此，本实施例中进一步设置了随时间变化的匹配权重，以提高对于第二对象的跟踪效果。

在一个实施例中，该步骤103包括：

计算每一所述第一对象的特征向量与所述N个第二对象的特征向量的特征距离；

根据所述特征距离确定每一所述第一对象的特征向量与每一第二对象的特征向量的最大匹配，并将所述最大匹配作为相对应的第一对象和第二对象。

本实施例的技术方案中，可以通过余弦距离计算第一对象和第二对象的特征向量之间的特征距离，也可以采用其他方式，例如欧氏距离等计算第一对象和第二对象的特征向量之间的特征距离。

以余弦距离为例说明，

其中，dist为特征距离，x和y分别为第一对象和第二对象的特征向量。

进一步的，在计算获得了第一对象和第二对象的特征向量的特征距离之后，可以利用匈牙利算法确定第一对象和第二对象的最大匹配。

两个集合的最大匹配指的是两个集合中对象的匹配结果最多的匹配结果，因此，第一对象的集合与第二对象的集合的最大匹配实际上就是确定第一对象和第二对象之间可能性最高的一一对应关系，也就是说，该最大匹配结果可以认为是目标帧图像中包括的M个第一对象与跟踪数据中包括的N个第二对象的一一对应关系。

匈牙利算法用于寻找增广路径，用增广路径求二分图的最大匹配。

二分图的定义为，若图G的结点集合V可以分成两个非空子集V1和V2，并且图G的任意边m-n关联的两个结点m和n分别属于这两个子集，则G是二分图。

匈牙利算法的基本步骤可以概括为：

(1)找到当前结点m可以匹配的对象M，若该对象M已被匹配，则转入第3步，否则转入第2步；

(2)将该对象M的匹配对象记为当前对象m，转入第6步；

(3)寻找该对象M已经匹配的对象n，寻求n是否可以匹配另外的对象，如果可以，转入第4步，否则，转入第5步；

(4)将匹配对象n更新为另一个对象N，将对象M的匹配对象更新为aa，转入第6步；

(5)结点m寻求下一个可以匹配的对象，如果存在，则转入第1步，否则说明当前结点m没有可以匹配的对象，转入第6步；

(6)转入下一结点再转入第1步，直到全部完成。

本发明中，全部第一对象的为集合V1，全部第二对象为集合V2，进一步的，根据第一对象和第二对象的特征向量的特征距离，对第一对象和第二对象进行匹配。

进一步的，该步骤103具体包括。

分别计算所述L帧图像中每一帧图像中的N个第二对象的特征向量与所述M个第一对象的特征向量的特征距离；

依次计算每个所述第二对象与所述第一对象的特征距离的加权移动平均值，其中，每一第二对象与所述第一对象的匹配权重随当前第二对象所在图像与所述目标帧图像之间的时间间隔的减小而增加；

将加权移动平均值大于预设阈值，且最大的第一对象和第二对象相对应。

应当理解的是，对于第一视频数据中包括的L帧图像，已经完成了对其中的第二对象的跟踪，因此，每一第二对象在第一视频数据包括的L帧图像中的位置均可以理解为已知的。

进一步的，根据每一第二对象在L帧图像中的不同帧图像中的特征向量，分别计算与每一对象的特征向量之间的特征距离，并进一步计算每一第二对象对应的各加权移动平均值。

实施时，上述步骤的顺序也可以调整，例如，先计算每一第二对象的特性向量的加权移动平均值，然后计算该特征向量的加权移动平均值与第一对象的特征向量之间的特征距离。

v

实施时，可以通过上述公式(1)计算加权移动平均值，其中，上式中θ

系数β表示加权下降的速率，其值越小下降的越快；v

在一个具体实施方式中，目标帧中识别出了第一对象A

实施时，可以分别计算每一第一对象与每一第二对象的特征距离，例如，第二对象B

接下来，计算A

也可以理解为，L帧图像中，越靠近目标帧的图像与目标帧图像之间的关联程度越大，相应的加权权重越大。

在另一个具体实施方式中，则是获取第二对象B

在一个实施例中，加权权重随所在图像与所述目标帧图像之间的时间间隔的减小而呈指数变化。

进一步的，可以获得公式：

v

该公式(2)用于计算加权移动平均值。这样，能够进一步体现时间对于对象运动信息的影响，更加充分的利用与目标帧时间间隔较小的图像中的信息。

应当理解的是，本实施例中的L是根据第二对象与所述第一对象的匹配权重确定的。

实施时，可以设定一临界值，例如，将其设置为1/e，其中，e为自然底数，约等于2.71828……。进一步的，本实施例中设定一加权下降的速率，也就是上述公式(2)中的β，例如，将当β＝0.9时，0.9

这样，根据第二对象与所述第一对象的匹配权重设置L的值，既能够选取有效数据，提高对于对象的跟踪效果，也有助于降低计算量，提高对于对象的跟踪效率。

步骤104：根据所述M个第一对象与所述N个第二对象的匹配结果跟踪所述第一对象。

具体的，在一个实施例中，该步骤104包括：

若存在与所述第二对象匹配的第一对象，则将相对应的第一对象和第二对象作为同一对象跟踪；

若不存在与所述第二对象匹配的第一对象，则根据所述第二对象新增跟踪对象。

本实施例中，如果存在与第一对象匹配的第二对象，那么说明该第一对象很可能和与之匹配的第二对象为同一对象，这样，将其作为同一对象，以实现对该第一对象的跟踪，如果不存在与第一对象匹配的第二对象，那么说明该第一对象之前很可能未在视频图像中出现过，这样，将该第一对象作为一个新的对象进行跟踪，从而对视频图像中对象的不断检测与跟踪，实现对于视频图像对应的区域中对象的持续监测。

本公开实施例通过根据第二对象和第一对象的匹配权重确定跟踪数据所使用的图像帧数量，有助于减少所需使用的第一视频数据的图像帧数量，提高对于对象的识别和跟踪效率。

本公开还提供了一种对象识别跟踪装置。

如图2所示，在一个实施例中，该对象识别跟踪装置200包括：

检测模块201，用于检测目标帧图像中包括的M个第一对象，所述M为正整数；

跟踪数据获取模块202，用于获取第一视频数据中的跟踪数据中包括的N个第二对象，所述第一视频数据包括所述目标帧图像之前的L帧图像，其中，N和L均为正整数，L是根据述第二对象与所述第一对象的匹配权重确定的；

匹配模块203，用于将所述M个第一对象与所述N个第二对象相匹配，以确定每一第一对象和每一第二对象的对应关系，每一第二对象与所述第一对象的匹配权重随当前第二对象所在图像与所述目标帧图像之间的时间间隔变化；

跟踪模块204，用于根据所述M个第一对象与所述N个第二对象的匹配结果跟踪所述第一对象。

在一些实施例中，所述匹配模块203包括：

距离计算子模块，用于分别计算所述L帧图像中每一帧图像中的N个第二对象的特征向量与所述M个第一对象的特征向量的特征距离；

加权移动平均值计算子模块，用于依次计算每个所述第二对象与所述第一对象的特征距离的加权移动平均值，其中，每一第二对象与所述第一对象的匹配权重随当前第二对象所在图像与所述目标帧图像之间的时间间隔的减小而增加；

匹配子模块，用于将加权移动平均值大于预设阈值，且最大的第一对象和第二对象相对应。

在一些实施例中，所述第二对象与所述第一对象的匹配权重，随所在图像与所述目标帧图像之间的时间间隔的减小而呈指数变化。

在一些实施例中，所述检测模块201，具体用于分别提取目标帧图像中包括的M个第一对象的特征向量；

所述跟踪数据获取模块，具体用于生成所述第一视频数据中每一被跟踪的第二对象对应的特征向量；

所述匹配模块203包括：

所述距离计算子模块，具体用于计算每一所述第一对象的特征向量与所述N个第二对象的特征向量的特征距离；

匹配子模块，具体用于根据所述特征距离确定每一所述第一对象的特征向量与每一第二对象的特征向量的最大匹配，并将所述最大匹配作为相对应的第一对象和第二对象。

在一些实施例中，所述跟踪模块204，具体用于：

若存在与所述第二对象匹配的第一对象，则将相对应的第一对象和第二对象作为同一对象跟踪；

若不存在与所述第二对象匹配的第一对象，则根据所述第二对象新增跟踪对象。

以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。