一种违章车辆的识别方法、系统及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种违章车辆的识别方法、系统及装置。

背景技术

随着智能交通技术的不断发展，无人机正在被越来越多地应用至违章车辆的排查过程中。通过对无人机拍摄的视频或者图像进行分析，可以识别出道路上存在违章行为的车辆。例如，可以对道路上车辆的行驶状态进行分析，从而识别出存在违停、超速、逆向行驶等行为的车辆。

在现有的图像分析过程中，都是默认无人机处于悬停的状态中，这样才能根据无人机拍摄的视频或者图像准确地分析出车辆的实际行驶状态。但是在实际应用中，无人机很可能处于飞行的状态，这就导致现有技术中在对图像进行分析时，得到的结果可能与真实的结果不符，存在违章车辆的误报行为。

发明内容

有鉴于此，本发明实施方式提供了一种违章车辆的识别方法、系统及装置，能够提高违章车辆的识别准确度。

本发明一方面提供了一种违章车辆的识别方法，所述方法包括：获取在时序上具备先后关系的多帧待检测图像；识别所述多帧待检测图像中目标车辆的行驶轨迹；确定所述多帧待检测图像的光流信息，并结合所述光流信息和所述目标车辆的行驶轨迹，判断所述目标车辆是否为违章车辆。

通过对时序上具备先后关系的多帧待检测图像进行分析，可以识别出目标车辆的行驶轨迹，该行驶轨迹是相对于拍摄图像的设备而言的，并非是目标车辆实际的行驶轨迹。后续，可以计算多帧待检测图像的光流信息，在该光流信息中，可以表征地面静止参照物相对于拍摄图像的设备的运行关系。通过比对光流信息和目标车辆的行驶轨迹，从而可以确定出目标车辆实际的行驶状态，根据该实际的行驶状态就能准确地判断目标车辆是否存在违章行为。可见，通过将车辆的相对行驶轨迹和图像的光流信息相结合，能够准确地识别出车辆是否存在违章行为。

在一个实施方式中，识别所述多帧待检测图像中目标车辆的行驶轨迹包括：针对所述多帧待检测图像中的任一待检测图像，检测所述待检测图像中各个车辆的位置和各个车辆的标识；在所述多帧待检测图像中，将具备相同标识的车辆作为待检测的目标车辆，并基于所述目标车辆在各个所述待检测图像中的位置，确定所述目标车辆的行驶轨迹。

通过检测车辆的位置和标识，从而可以在多帧待检测图像中定位出同一车辆的位置。根据定位结果，可以确定出车辆的行驶轨迹。这样，当待检测图像中存在多个车辆时，不会对不同车辆的位置发生混淆，从而提高了识别出的行驶轨迹的准确度。

在一个实施方式中，在所述待检测图像中检测各个车辆的位置和各个车辆的标识包括：利用初始模型提取所述待检测图像的多维度特征，并利用层级模型对所述待检测图像的多维度特征进行融合，以生成多个融合特征；在所述多个融合特征中选取指定融合特征，并分别对所述指定融合特征进行车辆位置识别和车辆标识识别，以得到所述待检测图像中各个车辆的位置和各个车辆的标识。

通过初始模型和层级模型的处理，使得生成的融合特征能够具备更加丰富的信息，通过指定其中的一个融合特征进行位置识别和标识识别，能够使得识别结果更加精确。

在一个实施方式中，在所述多个融合特征中选取指定融合特征包括：将所述多个融合特征中维度最小的融合特征作为选取的所述指定融合特征。

维度最小的融合特征通常位于最底层，而最底层的融合特征往往具备最佳的融合效果，对该最底层的融合特征进行位置识别和标识识别，能够具备较好的识别效果。

在一个实施方式中，分别对所述指定融合特征进行车辆位置识别和车辆标识识别包括：将所述指定融合特征输入检测分支网络中，以对所述指定融合特征进行车辆位置识别；将所述指定融合特征输入重识别分支网络中，以对所述指定融合特征进行车辆标识识别。

利用不同的分支网络对指定融合特征进行位置识别和标识识别，能够保证各个识别结果的准确度。

在一个实施方式中，对所述指定融合特征进行车辆位置识别，得到的识别结果中包括各个车辆对应的中心位置热力图、中心位置偏移量、检测框边界信息中的至少一种。

位置识别的结果中可以包括一种或者多种不同的信息，从而能够更加全面和准确地表征识别的车辆位置。

在一个实施方式中，判断所述目标车辆是否为违章车辆包括：根据所述光流信息，确定拍摄所述待检测图像的设备相对于地面静止参照物的运动信息；比对所述运动信息和所述目标车辆的行驶轨迹，以确定所述目标车辆相对于所述地面静止参照物的行驶速度和行驶方向，并根据所述行驶速度和所述行驶方向，判断所述目标车辆是否为违章车辆。

通过与地面静止参照物进行比较，可以确定出拍摄图像的设备实际的运行信息。将该运动信息与从图像中识别出的目标车辆的行驶轨迹进行比较，能够确定出目标车辆实际的行驶速度和行驶方向，这样便能够准确地对目标车辆是否存在违章行为进行判断。

本发明另一方面还提供了一种违章车辆的识别系统，所述系统包括：图像获取单元，用于获取在时序上具备先后关系的多帧待检测图像；车辆轨迹识别单元，用于识别所述多帧待检测图像中目标车辆的行驶轨迹；违章判断单元，用于确定所述多帧待检测图像的光流信息，并结合所述光流信息和所述目标车辆的行驶轨迹，判断所述目标车辆是否为违章车辆。

本发明另一方面还提供了一种违章车辆的识别装置，所述违章车辆的识别装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的违章车辆的识别方法。

本发明另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的违章车辆的识别方法。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明一个实施方式中违章车辆的识别方法步骤图；

图2示出了本发明一个实施方式中特征提取的结构示意图；

图3示出了本发明一个实施方式中结合光流信息的结构示意图；

图4示出了本发明一个实施方式中违章车辆的识别系统的功能模块示意图；

图5示出了本发明一个实施方式中违章车辆的识别装置的结构示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

本申请提供的违章车辆的识别方法，可以应用于诸如无人机、监控摄像头等图像采集设备中。当然，如果这些图像采集设备不具备较强的图像处理能力，那么采集的图像或者视频通常会被发往后台的数据服务器进行处理。因此，本申请提供的违章车辆的识别方法，也可以应用于这些后台的数据服务器中。

请参阅图1，本申请一个实施方式提供的违章车辆的识别方法，可以包括以下多个步骤。

S1：获取在时序上具备先后关系的多帧待检测图像。

在本实施方式中，待检测图像可以是由图像采集设备按照一定的时间间隔拍摄的。例如，图像采集设备可以每秒钟拍摄10张待检测图像。此外，待检测图像也可以是从图像采集设备拍摄的视频流中获取的。通常而言，图像采集设备拍摄的图像(或者视频流中的图像帧)，往往都会具备对应的时间戳。该时间戳可以表征图像被拍摄的时间，或者表征拍摄的图像被上传至数据服务器中的时间。各个图像的时间戳可以构成时序，不同的时间戳可以对应时序上不同的先后关系。为了对车辆的行驶状态进行分析，在本实施方式中可以获取在时序上具备先后关系的多帧待检测图像。

在一个实施方式中，图像采集设备针对待监控的道路可以拍摄视频流。为了减少需要处理的数据量，可以从视频流中抽取一部分视频帧作为待检测图像。同时，考虑到道路中的车辆行驶速度可能较快，因此抽取的视频帧之间相隔可以较近。例如，可以在视频流中隔帧抽取视频帧，并将抽取的视频帧作为待检测图像。

在一个实施方式中，考虑到图像采集设备的性能参差不齐，拍摄的图像的分辨率也可能互不相同。为了提高后续的数据处理速度，同时也为了保证数据处理精度，可以将抽取的视频帧缩放至统一的指定尺寸。例如，该指定尺寸可以是512*288，那么分辨率较高的视频帧可以通过降采样的方式，缩小至该指定尺寸。而分辨率较低的视频帧，可以通过像素插值的方式，放大至该指定尺寸。经过尺寸缩放后的视频帧，可以作为获取的多帧待检测图像。

S3：识别所述多帧待检测图像中目标车辆的行驶轨迹。

在本实施方式中，可以采用目标检测算法，对各个待检测图像中的车辆进行识别。具体地，目标检测算法例如可以是Fast R-CNN、YOLO、SSD和RetinaNet等算法，根据实际场景需求，可以选用其中的任意一种算法对待检测图像中的车辆进行识别。识别出各个待检测图像中的车辆后，可以将车辆的各个位置进行汇总，从而生成车辆的行驶轨迹。

在一个实施方式中，考虑到待检测图像中通常存在多个车辆，如果仅通过目标检测算法对车辆进行识别，后续在生成车辆的行驶轨迹时，可能会将不同车辆的位置混淆，从而导致行驶轨迹不够准确。鉴于此，在本实施方式中，可以将目标检测算法和重识别(Re-ID)算法进行结合，来生成车辆的行驶轨迹。

具体地，针对多帧待检测图像中的任一待检测图像，可以在该待检测图像中检测出各个车辆的位置，同时还可以识别各个车辆的标识。其中，车辆的标识可以唯一地对车辆进行表示。在不同的待检测图像中，如果检测出的车辆具备相同的标识，那么就认为这些具备相同标识的车辆实际上是同一个车辆。这样，在多帧待检测图像中，可以将具备相同标识的车辆作为待检测的目标车辆，然后基于该目标车辆在各个待检测图像中的位置，从而确定出该目标车辆的行驶轨迹。

在一个实施方式中，为了有效地对车辆进行位置识别和标识识别，可以采用多个模型的组合对待检测图像进行特征提取。具体地，可以先利用初始模型提取待检测图像的多维度特征，再利用层级模型对所述待检测图像的多维度特征进行融合。这样，能同时增强初始模型中浅层网络的语义特征和深层网络的空间特征，使得后续的位置识别和标识识别的精度更高。

在本实施方式中，初始模型可以是基于ResNet34构建的模型，初始模型可以作为基础网络(backbone)。在实际应用中，该初始模型中可以包括卷积层、池化层、BN(BatchNormalization，归一化)层和ReLU(激活)层。该初始模型在完成设计后，可以与层级模型相结合。请参阅图2，最左侧从下至上的多级下采样过程，可以由初始模型完成，每经过一次下采样，便可以生成一个对应的维度特征。在经过多次下采样后，便可以得到不同分辨率的多维度特征。需要说明的是，在下采样过程中，尽管尺寸是不断降低的，但由于通道数提升，各个特征的维度是不断上升的。例如，初始模型在对待检测图像进行下采样的过程中，可以依次得到维度为256、512、1024和2048的多个多维度特征。

为了增强初始模型中浅层网络的语义特征和深层网络的空间特征，可以利用层级模型继续对多维度特征进行融合，从而生成多个融合特征。

具体地，该层级模型可以采用FPN(Feature Pyramid Networks，金字塔特征网络)架构，对所述多维度特征进行逐层上采样，从而生成多个融合特征。需要说明的是，在逐层上采样的过程中，融合特征的尺寸虽然是在不断上升的，但由于通道数减少，融合特征的维度是在不断降低的。例如在图2中，融合特征从上至下的维度可以分别为2048、1024、512和256。

在生成多个融合特征后，可以在所述多个融合特征中选取指定融合特征，并分别对所述指定融合特征进行车辆位置识别和车辆标识识别，从而得到所述待检测图像中各个车辆的位置和各个车辆的标识。其中，该指定融合特征可以是任意的一个融合特征。

在一个实施方式中，考虑到维度最小的融合特征通常位于最底层，而最底层的融合特征往往具备最佳的融合效果，因此，可以将所述多个融合特征中维度最小的融合特征作为选取的所述指定融合特征。这样，对该最底层的融合特征进行位置识别和标识识别，能够具备较好的识别效果。例如，可以将图2中最底层的维度为256的融合特征，作为后续位置识别和标识识别的依据。

在本实施方式中，在选取了指定融合特征后，可以将所述指定融合特征输入检测分支网络中，以对所述指定融合特征进行车辆位置识别。同时，还可以将所述指定融合特征输入重识别分支网络中，以对所述指定融合特征进行车辆标识识别。在实际应用中，检测分支网络和重识别分支网络都可以由多个卷积层和1个激活层构成，只不过这两个分支网络输出的通道数不同。具体地，检测分支网络输出的识别结果中，可以包括各个车辆对应的中心位置热力图、中心位置偏移量、检测框边界信息中的至少一种。其中，中心位置热力图的通道数可以是1，中心位置偏移量的通道数可以是2，检测框边界信息的通道数可以是4。而重识别分支网络输出的识别结果中，通道数可以是128。

在实际应用中，上述的中心位置热力图、中心位置偏移量以及检测框边界信息可以按照以下方式生成：

假设一张待检测图像的某个车辆的检测框可以表示为：

待检测图像经过特征提取后，尺寸会进行缩放，因此在指定融合特征上的车辆中心会发生变化。具体地，在指定融合特征上的车辆的中心可以表示为

(1)中心位置热力图：在像素点(x,y)位置的热力图可以表示为：

其中N为待检测图像中车辆的数量，σ

(2)中心位置偏移量：由于指定融合特征相对于原始的待检测图像进行了缩放，会导致对应的像素点经过缩放后出现亚像素(缩放后像素位置并不是整数，因此经过向下取整后得到的像素)，中心位置偏移量便是为了对这种亚像素的位置进行纠正。具体地，中心位置偏移量可以表示为：

其中，k表示缩放系数。例如，指定融合特征缩放为待检测图像的1/4，那么该缩放系数就是4。由于中心位置偏移量分别有x方向和y方向的偏移，因此维度可以表示为1*2*128*72，其中1是指1张图像，2为特征通道数(x方向和y方向)，128*72为缩放后的图像尺寸。

(3)检测框边界信息：是指车辆的检测框中心位置距离左边界、下边界、右边界、上边界的距离。因此所得到检测框边界信息的维度为1*4*128*72，其中1是指1张图像，4为特征通道数(四个边界方向)，128*72为缩放后的图像尺寸。

在一个实施方式中，上述的初始模型、层级模型以及两个分支网络，都可以通过训练样本进行不断地训练，在训练完成之后再对待检测图像进行位置识别和标识识别。具体地，在训练过程中，上述不同的识别结果，可以采用不同的损失函数来表征误差。其中，中心位置热力图可以选用Focal Loss作为损失函数，中心位置偏移量和检测框边界信息都可以选用Reg-L1Loss作为损失函数，重识别得到的车辆标识可以选用交叉熵函数作为损失函数。各个损失函数在计算得到误差值后，可以使用SGD(Stochastic Gradient Descent，随机梯度下降)优化器，通过反向传播算法来更新初始模型、层级模型以及两个分支网络中的参数，使得训练得到的结果与训练样本的实际识别结果相匹配。

在一个实施方式中，为了丰富训练样本，可以对图像采集设备采集到的训练样本进行随机平移、旋转和尺度变换等操作。这样，基于原始的一个训练样本，可以生成场景更加复杂、干扰各不相同的多张训练样本。这样可以减少图像采集设备的采集压力，生成的多张训练样本也能够对模型和网络进行不同程度的训练，从而达到较好的训练效果。

在本实施方式中，利用完成训练的初始模型、层级模型以及两个分支网络，最终可以在待检测图像中识别出各个车辆的位置和各个车辆的标识。在多帧待检测图像中，将具备相同标识的车辆作为待检测的目标车辆，并基于所述目标车辆在各个所述待检测图像中的位置，便可以确定所述目标车辆的行驶轨迹。

需要说明的是，图像采集设备在采集图像时，可能自身具备一定的行驶速度。例如，无人机可以在飞行的过程中采集图像。这样，根据待检测图像生成的目标车辆的行驶轨迹，实际上是以图像采集设备为参考系的行驶轨迹。举例来说，目标车辆在当前的道路上处于静止状态，而无人机在以一定的速度向前飞行。在这种情况下生成的行驶轨迹，会表明车辆是在倒退行驶。又例如，目标车辆与无人机在以相同的速度沿相同的方向行驶，那么生成的目标车辆的行驶轨迹就是静止的。鉴于此，根据待检测图像生成的行驶轨迹，并不能表示目标车辆真实的行驶状态。

S5：确定所述多帧待检测图像的光流信息，并结合所述光流信息和所述目标车辆的行驶轨迹，判断所述目标车辆是否为违章车辆。

在本实施方式中，为了确定出目标车辆真实的行驶状态，可以将目标车辆的行驶轨迹与图像的光流信息进行对比。具体地，请参阅图3，可以通过将相邻的两帧待检测图像输入至PWC-Net网络中，从而计算出这两帧待检测图像之间的光流信息。该光流信息可以表征图像中像素点的运动情况。

在本实施方式中，可以根据光流信息，确定拍摄待检测图像的图像采集设备相对于地面静止参照物的运动信息。其中，地面静止参照物例如可以是道路两侧的树木或者灌木丛。具体地，从光流信息中，可以识别出地面静止参照物的光流，如果图像采集设备是静止不动的，那么该地面静止参照物的光流应当是0，而如果该图像采集设备是运动的，那么该地面静止参照物的光流就不是0，而是呈现出与图像采集设备的运动信息相反的光流。这样，通过识别光流信息中地面静止参照物的光流，便可以确定出图像采集设备相对于地面静止参照物的运动信息。该运动信息可以通过矢量来表示。其中，该矢量的大小可以表示运动的速度，矢量的方向则表示运动的方向。

在本实施方式中，目标车辆的行驶轨迹也可以通过矢量来表示，只不过该矢量的大小表征的是目标车辆相对于图像采集设备的运动速度，该矢量的方向表征的也是目标车辆相对于图像采集设备的运动方向。这样，通过比对所述运动信息和所述目标车辆的行驶轨迹，就能够确定所述目标车辆相对于所述地面静止参照物的行驶速度和行驶方向。具体地，可以将表征行驶轨迹的矢量与表征所述图像采集设备的运动信息的矢量相加，相加后的矢量便可以表征目标车辆真实的行驶速度和行驶方向。

通过对目标车辆真实的行驶速度和行驶方向进行分析，从而可以判断该目标车辆是否为违章车辆。例如，若当前处于高速公路的场景下，而目标车辆的行驶速度为0，那么可以判定该目标车辆为在高速公路中违停的车辆。又例如，如果目标车辆的行驶速度超过了速度阈值，则可以判定该目标车辆存在超速行为。又例如，如果目标车辆的行驶方向与当前道路的规定方向不一致，则可以判定该目标车辆存在逆向行驶的行为。

通过对时序上具备先后关系的多帧待检测图像进行分析，可以识别出目标车辆的行驶轨迹，该行驶轨迹是相对于拍摄图像的设备而言的，并非是目标车辆实际的行驶轨迹。后续，可以计算多帧待检测图像的光流信息，在该光流信息中，可以表征地面静止参照物相对于拍摄图像的设备的运行关系。通过比对光流信息和目标车辆的行驶轨迹，从而可以确定出目标车辆实际的行驶状态，根据该实际的行驶状态就能准确地判断目标车辆是否存在违章行为。可见，通过将车辆的相对行驶轨迹和图像的光流信息相结合，能够准确地识别出车辆是否存在违章行为。

请参阅图4，本申请一个实施方式还提供一种违章车辆的识别系统，所述系统包括：

图像获取单元，用于获取在时序上具备先后关系的多帧待检测图像；

车辆轨迹识别单元，用于识别所述多帧待检测图像中目标车辆的行驶轨迹；

违章判断单元，用于确定所述多帧待检测图像的光流信息，并结合所述光流信息和所述目标车辆的行驶轨迹，判断所述目标车辆是否为违章车辆。

请参阅图5，本申请一个实施方式还提供一种违章车辆的识别装置，所述违章车辆的识别装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的违章车辆的识别方法。

其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请一个实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的违章车辆的识别方法。

本领域技术人员可以理解，实现上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。