电动自行车轨迹追踪方法、摄像机装置和服务器

技术领域

本发明涉及智能交通(Intelligent Transportation System，ITS)领域，尤其涉及一种电动自行车轨迹追踪方法、摄像机装置和服务器。

背景技术

随着我国城市化进程的加快和居民生活水平的提高，绿色环保出行理念的深入人心，电动自行车成为广大市民短程出行的重要工具，电动自行车的数量也出现高度增长。电动自行车作为城市交通工具，由于遍布范围广、使用频繁，而且电动自行车在道路行驶不需进行类似四轮机动车那样严格的驾考等手续，极易引发交通安全问题，已成为社会各界非常关注的热点问题。因此目前亟需对电动自行车进行有效地监管。

发明内容

本发明提供电动自行车轨迹追踪方法、摄像机装置和服务器，有效提升了多个电动自行车复杂场景的轨迹追踪效果，为电动自行车违章类型判定和监管执法提供了准确的数据基础，进而能够对电动自行车进行有效监管。

第一方面，提供一种电动自行车轨迹追踪方法，包括：

检测及特征提取步骤：依次对摄像机采集的视频流中的各帧图像进行电动自行车检测以获得每一帧图像中的各个电动自行车框图，并分别对每一帧图像中的各个电动自行车框图进行特征提取以获得每一帧图像的各个电动自行车特征；

每一帧图像的分类识别步骤：根据从该帧图像提取的各个电动自行车特征，对该帧图像中的各个电动自行车框图进行分类识别，以使该帧图像中的各个电动自行车框图分配至不同的追踪数据集；

轨迹构建步骤：根据不同的追踪数据集，构建不同的电动自行车的轨迹信息。

可选的实施例中，每一帧图像的分类识别步骤具体包括：将该帧图像提取的各个电动自行车特征分别与前一帧图像的各个电动自行车特征一一进行特征匹配；若匹配成功，则将该帧图像中匹配成功的电动自行车特征对应的电动自行车框图分配至相应的追踪数据集；若匹配失败，则为该帧图像中匹配失败的电动自行车特征建立新的电动行车追踪数据集，并将该帧图像中匹配失败的电动自行车特征对应的电动自行车框图添加至相应的、新的追踪数据集。

可选的实施例中，在轨迹构建步骤之前，所述方法还包括：追踪断开恢复步骤：分别记录各个追踪数据集的连续无匹配帧数，若该追踪数据集连续无成功匹配帧数小于预设阈值，则在下一帧图像继续对该追踪数据集进行匹配；若在下一帧图像对该追踪数据集匹配成功，则将该追踪数据集连续无成功匹配帧数归零。

可选的实施例中，在追踪断开恢复步骤之后，所述方法还包括：追踪数据集合并步骤：若该追踪数据集连续无成功匹配帧数大于预设阈值，则在下一帧图像不继续对该追踪数据集进行匹配；将该追踪数据集分别与其他追踪数据集进行匹配，若匹配成功则将配对的两个追踪数据集进行合并。

可选的实施例中，在每一帧图像的分类识别步骤之后，所述方法还包括：根据对摄像机画幅预设的新增区域依次对摄像机采集的视频流中的各帧图像进行电动自行车检测，以获得每一帧图像出现在所述新增区域的各个电动自行车框图。

可选的实施例中，轨迹构建步骤，具体包括：当判断有电动自行车离开摄像机画幅预设的追踪区域，则根据该电动自行车的追踪数据集，构建该电动自行车的轨迹信息。

可选的实施例中，分别对每一帧图像中的各个电动自行车框图进行特征提取以获得每一帧图像的各个电动自行车特征，包括：分别提取每一帧图像中的各个电动自行车框图的全局特征；分别提取每一帧图像中的各个电动自行车框图的局部特征；分别提取每一帧图像中的各个电动自行车框图的全局/局部纹理特征；综合所述各个电动自行车框图的全局特征、局部特征、全局/局部纹理特征，以获得每一帧图像的各个电动自行车特征。

可选的实施例中，在轨迹构建步骤之后，所述方法还包括：根据所述电动自行车的轨迹信息，结合交通行驶规则和道路属性，判断电动自行车的行驶行为是否违章，若违章则进一步判断违章类型。

第二方面，提供一种摄像机装置，所述摄像机装置包括处理器和存储有计算机程序的存储器，所述处理器在执行所述存储器中存储的计算机程序时实现第一方面任一实施例所述的电动自行车轨迹追踪方法的步骤。

第三方面，提供一种服务器，所述服务器包括处理器和存储有计算机程序的存储器，所述处理器在执行所述存储器中存储的计算机程序时实现第二方面任一实施例所述的电动自行车轨迹追踪方法的步骤。

本发明实施例中，依次对摄像机采集的视频流中的各帧图像进行电动自行车检测以获得每一帧图像中的各个电动自行车框图，并分别对每一帧图像中的各个电动自行车框图进行特征提取以获得每一帧图像的各个电动自行车特征；根据从该帧图像提取的各个电动自行车特征，对该帧图像中的各个电动自行车框图进行分类识别，以使该帧图像中的各个电动自行车框图分配至不同的追踪数据集；根据不同的追踪数据集，构建不同的电动自行车的轨迹信息。实施本发明实施例，有效提升了多个电动自行车复杂场景的轨迹追踪效果，为电动自行车违章类型判定和监管执法提供了准确的数据基础，进而能够对电动自行车进行有效监管。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：

图1是本发明实施例提供的电动自行车轨迹追踪方法的流程示意图；

图2是本发明实施例提供的摄像机装置的硬件结构示意图；

图3是本发明实施例提供的服务器的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种动自行车轨迹追踪方法，有效提升了多个电动自行车复杂场景的轨迹追踪效果，为电动自行车违章类型判定和监管执法提供了准确的数据基础，进而能够对电动自行车进行有效监管。

下面参见图1，该方法具体包括：

S101、检测及特征提取步骤：依次对摄像机采集的视频流中的各帧图像进行电动自行车检测以获得每一帧图像中的各个电动自行车框图，并分别对每一帧图像中的各个电动自行车框图进行特征提取以获得每一帧图像的各个电动自行车特征。

首先需要说明的，图1方法实施例可以在摄像机装置运行，即该摄像机装置具有较强的处理器，能够进行图像处理。当然图1方法实施例也可以在服务器上运行，该服务器可以为本地服务器，即工控机，通过有线或无线的方式接收前端摄像机采集的视频流后进行处理，该服务器也可以为远端服务器，通过无线通信方式接收前端摄像机采集的视频流后进行处理。

还需说明的，本发明实施例所描述的电动自行车框图并非仅包括电动自行车的框图，同时还包括了电动自行车上的驾驶人。当然电动行车特征同样并非仅针对电动自行车的特征，还可以包括在驾驶人的特征。

其中，步骤S101分为两步：基于深度学习的电动自行车检测和电动自行车特征提取。

基于深度学习的电动自行车检测：基于深度学习模型对摄像机传输来的每一帧图像进行电动自行车检测，获取图像中电动自行车在图像中的位置信息和电动自行车框图，其中电动自行车框图可以为矩形框图，其位置信息可以采用矩形框图的左上角坐标和右下角坐标表示，当然也可以采用矩形框图的中心表示。应理解的，本发明实施例对电动自行车框图的具体形状，电动自行车在图像的位置信息的表示方式，均不作具体限定。

电动自行车特征提取：对从基于深度学习的电动自行车检测所获得电动自行车框图进行特征提取，以形成每一检测到电动自行车框图的可区分身份标识。但在进行特征提取过程中，由于不同电动自行车之间特征表现相似，每辆电动自行车经过的情况下可能存在彼此遮挡的情况，而采用常规的特征提取方式对不同的电动自行车框图并不能较明显的进行区分，因此本发明实施中，提供一种新的针对电动自行车特征提取方式，即多尺度特征提取方式，在每一帧图像中的电动自行车框图中，提取其全局特征、局部特征以及全局纹理特征，或者，提取其全局特征、局部特征以及局部纹理特征；然后综合提取到的所有特征，从而构成电动自行车特征，采用该电动自行车特征来对不同电动自行车框图进行分类识别，即使不同电动自行车特征相似，或者彼此存在遮挡的情况下，也能够较好的进行区分。

S102、每一帧图像的分类识别步骤：根据从该帧图像提取的各个电动自行车特征，对该帧图像中的各个电动自行车框图进行分类识别，以使该帧图像中的各个电动自行车框图分配至不同的追踪数据集。

从步骤S101中，每当接收到一帧图像，就可以从该帧图像里检测得到不同的电动自行车框图，以及各个电动自行车框图各自对应的电动自行车特征。这样，在步骤S102中，就可以基于所提取到的电动自行车特征对各个电动自行车框图进行分类识别。

由于需要同时对多个单体电动自行车进行轨迹追踪，需要对大量的图像帧进行处理，为避免混乱，本发明实施例针对每个单体电动自行车建立对应的追踪数据集，每个追踪数据集与单个电动自行车对应。单个追踪数据集用于存储单个电动自行车的追踪数据。追踪数据具体可以包括所针对的目标电动自行车分别在每一帧图像中检测到的电动自行车框图，还可以包括与电动自行车框图对应的电动自行车特征，以及位置信息等。

针对每一帧图像的分类识别步骤具体如下：将该帧图像提取的各个电动自行车特征分别与前一帧图像的各个电动自行车特征一一进行特征匹配；若匹配成功，则将该帧图像中匹配成功的电动自行车特征对应的电动自行车框图分配至相应的追踪数据集；若匹配失败，则为该帧图像中匹配失败的电动自行车特征建立新的追踪数据集，并将该帧图像中匹配失败的电动自行车特征对应的电动自行车框图添加至相应的、新的追踪数据集。

实际实现过程中，会建立用于存储各个追踪数据集的队列，当从步骤S101中获得当前帧图像的各个电动自行车框图及各自对应的特征，首先查看队列，若队列为空，则基于当前帧图像所新检测到的电动自行车框图及各自对应的特征分别构建各个追踪数据集，并将各个追踪数据集放入队列；若队列不为空，则将当前帧图像所新提取到的电动自行车特征分别与队列中的各个追踪数据集的模板特征(模板特征为该追踪数据集在前一帧图像中匹配成功的电动自行车框图所对应的特征)进行特征比对，如果匹配成功，则认为是同一目标电动自行车，此时将该电动自行车框图及其特征放入该与之匹配成功的追踪数据集，如果匹配失败，则认为是新增的电动自行车，则为该新增的电动自行车构建新的追踪数据集，并将该新的追踪数据集加入到前述队列中。

在一些实施例中，还进一步增加判断是否为新增电动自行车的条件，对摄像机画幅设定新增区域，只有出现在新增区域内的电动自行车才认为是新增的电动自行车。在该条件下，当判断上述用于存储追踪数据集的队列为空时，或者，从当前帧图像中所检测到电动自行车框图对应的特征没有从上述队列中查找到与之匹配的追踪数据集时，这时不可直接判断该电动自行车框图即为新增的电动自行车，还需进一步判断该电动自行车框图与新增区域的位置关系，只有该电动自行车框图位于新增区域内，才判断该电动自行车框图为新增的电动自行车。由于交警进行违章执法时，通常需要完整的证据链数据，即需要提供完整的电动自行车轨迹信息，对于突然从其他区域半路蹿入监控区域内的电动自行车，由于轨迹信息不完整，交警并不能对其执法，因此本发明实施例，通过设定新增区域，将突然从其他区域半路蹿入监控区域内的电动自行车的情况筛除，不仅可以减低计算量，还可以为交警部门提供质量更高的数据信息。

特征对比过程中，可以从全局特征、局部特征以及全局或者局部纹理特征几个维度进行比较，计算得到新检测到的电动行车框图对应的特征与各个追踪数据集对应的模板特征之间的相似度，并基于相似度判断是否匹配。

多辆电动自行车路过卡口时，由于行驶行为的随机性，会造成遮挡，使得基于深度学习的电动自行车检测会在某些帧对某些电动自行车检测失败，导致在短时间无法获取某一电动自行车的位置，使得追踪断开。同时由于光线、角度以及车辆重叠，使得同一电动自行车在不同图片上的特征差异变大，导致同一电动自行车追踪断开，只能获取到其部分的运动轨迹。为了获取足够且完整的电动自行车目标的运动轨迹，对短时间内的追踪断开进行恢复，以及对同一电动自行车的多段运动轨迹进行合并。

本发明实施还包括追踪断开恢复步骤：分别记录各个追踪数据集的连续无匹配帧数，若该追踪数据集连续无成功匹配帧数小于预设阈值，则在下一帧图像继续对该追踪数据集进行匹配；若在下一帧图像对该追踪数据集匹配成功，则将该追踪数据集连续无成功匹配帧数归零。

本发明实施还包括追踪数据集合并步骤：若该追踪数据集连续无成功匹配帧数大于预设阈值，则在下一帧图像不继续对该追踪数据集进行匹配；将该追踪数据集分别与其他追踪数据集进行匹配，若匹配成功则将配对的两个追踪数据集进行合并。具体过程中，循环选择不同队列两两组合，提取出时间间隔最短的两个电动自行车框图，重新进行特征比对，如果匹配成功，则将两个队列合并，并重新该电动自行车在最新一帧图像所获得的特征作为模板特征。

S103、轨迹构建步骤：根据不同的追踪数据集，构建不同的电动自行车的轨迹信息。

通过步骤S101、步骤S102后会形成每一个追踪数据集，每一个追踪数据集记录着某一电动自行车目标在连续多帧图像上的电动自行车框图和位置信息。基于此，即可同时对多个电动自行车进行轨迹追踪。

在一些实施例中，为了计算资源的合理分配以及实际应用的需求，只需要捕获到电动自行车在指定范围内的追踪数据，形成完整的运动轨迹即可，为后续的违章判定和违章执法提供数据基础。因此，本发明实施例在摄像机画幅预先设定追踪区域，当判断有电动自行车离开摄像机画幅预设的追踪区域，则根据该电动自行车的追踪数据集，构建该电动自行车的轨迹信息。具体的，可以通过对电动自行车框图的位置信息和追踪区域的位置信息进行比较，从而判断电动自行车是否离开追踪区域。

在一些实施例中，在轨迹构建步骤之后，还可以根据电动自行车的轨迹信息，结合交通行驶规则和道路属性，判断电动自行车的行驶行为是否违章，若违章则进一步判断违章类型。

为避免数据计算量过大，当轨迹构建完成之后，还将已离开所述追踪区域的电动自行车对应的追踪数据集从前述队列中删除，即从下一帧图像中新检测到的电动自行车框图不再与该追踪数据集进行匹配。

本发明实施例中，依次对摄像机采集的视频流中的各帧图像进行电动自行车检测以获得每一帧图像中的各个电动自行车框图，并分别对每一帧图像中的各个电动自行车框图进行特征提取以获得每一帧图像的各个电动自行车特征；根据从该帧图像提取的各个电动自行车特征，对该帧图像中的各个电动自行车框图进行分类识别，以使该帧图像中的各个电动自行车框图分配至不同的追踪数据集；根据不同的追踪数据集，构建不同的电动自行车的轨迹信息。实施本发明实施例，有效提升了多个电动自行车复杂场景的轨迹追踪效果，为电动自行车违章类型判定和监管执法提供了准确的数据基础，进而能够对电动自行车进行有效监管。

参见图2，图2是本发明实施例提供的摄像机装置的硬件结构示意图。该摄像机装置包括：处理器201和存储有计算机程序与数据资源的存储器202，所述处理器201在执行所述存储器中存储的计算机程序时实现图1实施例的方法和步骤。可能实施例中，所述摄像机装置还可以包括：图像拍摄模块203，一个或多个输出接口204。

上述处理器201、图像拍摄模块203、输出接口204和存储器202通过总线205连接。存储器202用于存储指令以及程序执行所需的数据，处理器201用于执行存储器202存储的指令，图像拍摄模块203用于拍摄采集视频流，输出接口204用于输出数据，例如可以输出电动自行车的轨迹信息等。

其中，处理器201被配置用于调用所述程序指令执行：图1实施例中涉及与摄像机装置的处理器相关的方法步骤。

应当理解，在本公开实施例中，所称处理器201可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器202可以包括只读存储器和随机存取存储器以及可读写可编程非易失性存储器，如计算机硬盘(例如固态硬盘或者机械硬盘)，U盘等，该存储器202向处理器201提供指令和数据。存储器202的一部分还可以包括非易失性随机存取存储器。例如，存储器202还可以存储接口类型的信息。

在一些实现方式中，本公开实施例中所描述的摄像机装置的上述各部件可用于执行图1方法实施例中的方法步骤，为了简洁，这里不再赘述。

参见图3，图3是本发明实施例提供的服务器的硬件结构示意图。其中该服务器可以为位于本地的工控机，或者位于云端的服务器，通过有线或者无线的方式与摄像机通信，该服务器包括：处理器301和存储有计算机程序与数据资源的存储器302，所述处理器301在执行所述存储器中存储的计算机程序时实现图1实施例的方法和步骤。可能实施例中，所述服务器还可以包括：一个或多个输入接口303，一个或多个输出接口304。

上述处理器301、输入接口303、输出接口304和存储器302通过总线305连接。存储器302用于存储指令以及程序执行所需的数据，处理器301用于执行存储器302存储的指令，输入接口303用于接收数据，例如接收摄像机拍摄采集的视频流数据等，输出接口304用于输出数据，例如电动自行车的轨迹信息等。

其中，处理器301被配置用于调用所述程序指令执行：图1实施例中涉及与服务器的处理器相关的方法步骤。

应当理解，在本公开实施例中，所称处理器301可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器302可以包括只读存储器和随机存取存储器以及可读写可编程非易失性存储器，如计算机硬盘(例如固态硬盘或者机械硬盘)，U盘等，该存储器302向处理器301提供指令和数据。存储器302的一部分还可以包括非易失性随机存取存储器。例如，存储器302还可以存储接口类型的信息。

在一些实现方式中，本公开实施例中所描述的服务器的上述各部件可用于执行图1方法实施例中的方法步骤，为了简洁，这里不再赘述。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何纂改、等同替换、改进等，均应包含在本发明的权利要求范围之内。