一种车辆变道检测方法、装置、设备及存储介质

技术领域

本发明实施例涉及智能交通技术领域，尤其涉及一种车辆变道检测方法、装置、设备及存储介质。

背景技术

根据道路交通安全法的规定，机动车在道路上行驶时不得在实线处发生变道行为，一些地区的执法部门也接受市民使用视频举报违法变道行为。

但是，由于市民提供的举报视频拍摄场景不固定，摄像设备可能不稳定，拍摄的车辆发生违法变道时也很可能存在车道线被遮挡的情况，而传统判别车辆违法变道的方法，主要是通过判断视频帧中车辆与车道线的距离关系，当车道线被遮挡时，或视频帧不清晰时，则无法正确判断。

发明内容

本发明提供一种车辆变道检测方法、装置、设备及存储介质，以实现准确检测出视频图像中车辆的变道类型。

第一方面，本发明实施例提供了一种车辆变道检测方法，包括：

对视频图像进行目标车辆检测，确定目标车辆的车辆位置区域序列；

将所述车辆位置区域序列作为输入数据，通过预先训练的目标变道检测模型进行车辆变道检测，输出车辆变道行为，所述车辆变道行为包括实线变道、虚线变道和无变道；

根据所述车辆变道行为，确定所述目标车辆的变道类型，所述变道类型包括合法变道和违法变道。

可选的，所述对视频图像进行目标车辆检测，确定目标车辆的车辆位置区域序列，包括：

对视频图像中的所有检测帧进行目标车辆检测，确定各所述检测帧中候选车辆区域；

针对每个检测帧中的每个候选车辆区域，确定所述候选车辆区域与上一检测帧中各目标车辆区域的重叠指数；

如果各所述重叠指数中的最大重叠指数大于预设的重叠指数阈值，则确定所述候选车辆区域中包含的候选车辆与所述最大重叠指数对应的目标车辆区域中包含的目标车辆为同一车辆；否则，

确定所述候选车辆为新的目标车辆；

确定同一目标车辆在各所述检测帧中的车辆位置区域图像，并形成对应的车辆位置区域序列。

可选的，所述对视频图像中的所有检测帧进行目标车辆检测，确定各所述检测帧中候选车辆区域，包括：

在视频图像的所有图像帧中抽取至少两个检测帧；

将各所述检测帧依次输入预先训练的目标车辆检测模型，得到各所述检测帧中包含车辆信息的车辆信息区域；

将各所述车辆信息区域对应的最小外接矩形区域确定为候选车辆区域。

可选的，所述确定同一目标车辆在各所述检测帧中的车辆位置区域图像，并形成对应的车辆位置区域序列，包括：

针对每个目标车辆，获取所述目标车辆在各所述检测帧中的目标车辆区域；

以各所述目标车辆区域的区域中心为中心点，按预设尺寸比例确定包含所述目标车辆区域的车辆位置区域；

截取各所述检测帧中的车辆位置区域并进行缩放，形成预设检测尺寸的车辆位置区域图像；

将所述目标车辆的各所述车辆位置区域图像按对应的图像采集时间排序，形成车辆位置区域序列。

可选的，所述将所述车辆位置区域序列作为输入数据，通过预先训练的目标变道检测模型进行车辆变道检测，输出车辆变道行为，包括：

针对每个车辆位置区域序列，分别对所述车辆位置区域序列进行高频率采样和低频率采样，得到高采样序列和低采样序列，所述高频率采样的采样频率大于所述低频率采样的采样频率；

将所述高采样序列输入车道线特征提取通道，得到车道线特征数据；

将所述低采样序列输入车辆特征提取通道，得到车辆特征数据；

将所述车道线特征数据与所述车辆特征数据融合，得到变道检测特征数据；

根据所述变道检测特征数据进行车辆变道检测，确定车辆变道行为。

可选的，所述高频率采样的采样频率与所述低频率采样的采样频率的比值为预设采样比值。

可选的，所述目标变道检测模型的训练过程包括：

在训练视频图像中提取标准车辆的标准区域序列，并对所述标准车辆在所述标准区域序列中发生的变道行为进行标注，得到标准变道行为；

将所述标准区域序列输入待训练变道检测模型，获得输出的预测变道行为；

根据所述标准变道行为以及所述预测变道行为，结合给定的损失函数，对所述待训练变道检测模型进行反向传播，得到所述目标变道检测模型。

第二方面，本发明实施例还提供了一种车辆变道检测装置，该装置包括：

目标车辆检测模块，用于对视频图像进行目标车辆检测，确定目标车辆的车辆位置区域序列；

变道行为检测模块，用于将所述车辆位置区域序列作为输入数据，通过预先训练的目标变道检测模型进行车辆变道检测，输出车辆变道行为，所述车辆变道行为包括实线变道、虚线变道和无变道；

变道类型确定模块，用于根据所述车辆变道行为，确定所述目标车辆的变道类型，所述变道类型包括合法变道和违法变道。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的车辆变道检测方法的步骤。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的车辆变道检测方法的步骤。

本发明通过对视频图像进行目标车辆检测，确定目标车辆的车辆位置区域序列，将车辆位置区域序列作为输入数据，通过预先训练的目标变道检测模型进行车辆变道检测，输出车辆变道行为，根据所述车辆变道行为，确定目标车辆的变道类型。本发明解决了现有检测方法只对单独的图像帧进行车辆变道检测，通过判断图像帧中车辆与车道线距离来确定车辆是否发生变道，导致车道线被遮挡时无法进行准确判断，检测准确率低的问题，实现了将目标车辆的行驶区域从视频图像中提取出来，并运用预先训练的目标变道检测模型对目标车辆的车辆位置区域序列进行车辆变道检测，通过目标车辆与车道线的位置变化关系，确定目标车辆的变道行为，在一些视频图像帧中的车道线被遮挡时，依然可以准确识别车辆变道行为，在快速检测的同时也提高了检测的准确性。

附图说明

图1是本发明实施例一提供的一种车辆变道检测方法的流程图；

图2是本发明实施例一提供的一种车辆变道检测方法中目标变道检测模型训练过程的流程图；

图3是本发明实施例二提供的一种车辆变道检测方法的流程图；

图4是本发明实施例二提供的一种车辆变道检测方法中检测目标车辆的原理示意图；

图5是本发明实施例二提供的一种车辆变道检测方法中形成车辆位置区域序列的流程图；

图6是本发明实施例三提供的一种车辆变道检测装置的结构框图；

图7是本发明实施例四提供的一种计算机设备的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1为本发明实施例一提供的一种车辆变道检测方法的流程图，本实施例可适用于检测视频图像中车辆的变道类型的情况，该方法可以由车辆变道检测装置来执行，该装置可以通过软件和/或硬件实现。

如图1所示，该方法具体包括如下步骤：

步骤110、对视频图像进行目标车辆检测，确定目标车辆的车辆位置区域序列。

其中，目标车辆可以理解为出现在视频图像中的车辆。对视频图像进行目标车辆检测可以理解为将视频图像中的车辆进行识别与标注，可以采用任意目标检测的方法对视频图像进行检测，识别出其中的车辆图像。在本实施例中，可以将图像中识别出的目标车辆进行提取，将车辆所在的图像区域截取出来，由于一个视频片段是由多帧图像组成的，因此对视频图像进行目标车辆检测就可以理解为分别对多帧图像进行目标车辆检测，对于一个目标车辆来说，在一帧图像中可以截取出一个包含车辆在内的车辆位置区域，在多帧图像中就存在多个车辆位置区域，一个目标车辆的车辆位置区域序列即为采集到该目标车辆的所有视频帧中的车辆位置区域图像的时序集合。

具体的，可以获取监控视频或其他拍摄装置拍摄的视频图像，对获取到的视频图像进行目标检测，识别出其中的车辆信息，将识别出的车辆确定为目标车辆，并确定目标车辆在不同帧视频图像中分别对应的车辆位置区域，将同一目标车辆的所有车辆位置区域图像形成一个车辆位置区域序列。例如，在获取到视频图像后，对每一帧视频图像进行一次目标检测，或是对每间隔若干帧的一帧视频图像进行一次目标检测，以提高计算效率；在检测出车辆后，确定每个车辆所在的车辆区域，针对某个车辆区域，判断该车辆区域内的车辆在上一次检测中有没有出现，如果该车辆在上一次检测中没有被检测到，那么可以将该车辆确定为新的目标车辆，如果该车辆在上一次检测中就被检测到，则将该车辆区域与对应的目标车辆建立匹配关系。通过目标检测可以确定视频图像中出现的每个目标车辆的行驶轨迹，因此可以在视频帧中以目标车辆为中心，截取一定尺寸的图像，作为车辆位置区域图像，将目标车辆所有的车辆位置区域图像形成一个车辆位置区域序列，相当于形成了一个以目标车辆为拍摄中心的小视频。在截取车辆位置区域图像时，图像中可以包括一定的路面信息，如目标车辆在某视频帧中占据200*350的像素区域，那么可以取包括该目标车辆的400*700的像素区域作为车辆位置区域并截取出来，这样在车辆位置区域图像中就可以显示出车辆所在路面的车道线信息，在后续步骤中方便进行车辆变道检测。

步骤120、将车辆位置区域序列作为输入数据，通过预先训练的目标变道检测模型进行车辆变道检测，输出车辆变道行为。

其中，车辆变道行为可以包括实线变道、虚线变道和无变道。

具体的，目标变道检测模型可以预先通过对大量的训练数据集进行训练得到，可以用于对车辆位置区域序列中的目标车辆进行检测，识别目标车辆在行驶过程中是否改变车道，如果发生变道，是压车道实线进行变道还是压车道虚线进行变道。

可选的，图2是本发明实施例一提供的一种车辆变道检测方法中目标变道检测模型训练过程的流程图。如图2所示，目标变道检测模型的训练过程，可以包括以下步骤：

步骤1201、在训练视频图像中提取标准车辆的标准区域序列，并对标准车辆在标准区域序列中发生的变道行为进行标注，得到标准变道行为。

其中，训练视频图像可以理解为用于训练变道检测模型的原始样本视频。标准区域序列可以理解为在训练视频图像的各视频帧中提取的以一个车辆为中心的区域图像所组成的时序集合，该车辆可以记为标准车辆。标准变道行为可以理解为标准车辆在标准区域序列中真实发生的变道行为。

具体的，可以对训练视频图像中出现的车辆进行划分，确定至少一个标准车辆，并截取每个标准车辆在各图像帧中的行驶区域，形成标准区域序列。由于本实施例的变道检测模型要实现车辆变道行为的识别，因此需要对标准车辆在标准区域序列中发生的变道行为进行标注，得到标准变道行为，标准变道行为可以分为实线变道、虚线变道和无变道。另外，还可以对本实施例所使用的训练视频图像按照9:1的比例进行随机划分，形成训练集和测试集，利用训练集中的训练视频图像优化待训练变道检测模型，利用测试集中的训练视频图像检测变道检测模型的训练效果。

步骤1202、将标准区域序列输入待训练变道检测模型，获得输出的预测变道行为。

其中，待训练变道检测模型可以理解为初始构建的用于检测视频图像中的车辆变道行为的深度学习模型。预测变道行为可以理解为待训练变道检测模型检测出的车辆变道行为。

具体的，可以采用搭建好的待训练变道检测模型对标准区域序列进行检测，将检测出的标准区域序列中标准车辆发生的车辆变道行为，确定为预测变道行为。

在本实施例中，可以基于SlowFast视频分类模型搭建待训练变道检测模型。SlowFast网络模仿灵长类动物视网膜神经节的工作原理。在视网膜神经节中，大约80％的细胞以低频运作，可以识别细节，而大约20％的细胞则以高频运作，负责响应快速变化的原理。类似的，在SlowFast网络模型中，将输入到网络的数据分成两个流向分别提取特征，其中一个慢通道使用高采样间隔，更多的通道数来捕获视频的静态内容，一个快通道使用低采样间隔，更少的通道数来捕获视频的动态内容。一般常用的原始慢通道采集的帧率是快通道的1/8，但是这样可能会造成车道线信息的丢失，为了避免这种情况，本发明实施例将慢通道采集的帧率和快通道采集的帧率的比值设置为1/4。众所周知，运动是相对的，一般情况下都是以地面为参照物，车辆从车道线的一侧移动至另一侧视为车辆发生变道。如果改变车辆行驶时的参照物，将车辆看做静止的物体，那么当车辆变道时，就是车道线的位置发生了变化。由于本实施例中的车辆变道检测方法中，是将车辆在各图像帧中的行驶区域提取出来，形成标准区域序列，因此在标准区域序列的各图像中，车辆的位置是基本不变的，可以将车辆当做背景，车道线为运动的物体。可以通过模型中的慢通道提取标准车辆的特征信息，通过快通道提取车道线的特征信息。同时，为了降低计算量，可以将所有层的通道数减半。

步骤1203、根据标准变道行为以及预测变道行为，结合给定的损失函数，对待训练变道检测模型进行反向传播，得到目标变道检测模型。

具体的，由于标准变道行为是根据预测视频内容进行标注的，预测变道行为是由未训练好的变道检测模型检测输出的，必然会有一些标准变道行为与对应的预测变道行为存在误差，可以根据出现的误差，结合给定的损失函数表达式，得到损失函数，以实现对变道检测模型的训练优化。可以通过传统的交叉熵损失函数驱动训练，以此获得最优的目标变道检测模型。在对待训练变道检测模型进行反向传播时，可以选取F1指标对模型进行评估，选取F1指标最高对应的模型确定为目标变道检测模型。F1指标是统计学中用来衡量二分类模型精确度的一种指标，F1指标同时兼顾了分类模型的精确率和召回率，可以看作是模型精确率和召回率的一种调和平均。

步骤130、根据车辆变道行为，确定目标车辆的变道类型。

其中，变道类型可以包括合法变道和违法变道。

具体的，根据交通法的规定，机动车在道路上行驶时不得在车道实线处发生变道行为，可以在车道虚线处变道，因此，当目标变道检测模型识别出车辆位置区域序列中目标车辆的车辆变道行为是虚线变道时，可以确定目标车辆的变道类型为合法变道，当目标变道检测模型识别出车辆位置区域序列中目标车辆的车辆变道行为是实线变道时，可以确定目标车辆的变道类型为违法变道。另外，当目标变道检测模型识别出车辆位置区域序列中目标车辆的车辆变道行为是无变道时，可以认为目标车辆没有违法变道，因此可以确定目标车辆的变道类型为合法变道。当然，也可以将变道类型分为合法变道、违法变道和无变道，在目标车辆的车辆变道行为是无变道时，可以确定目标车辆的变道类型为无变道。

本实施例的技术方案，通过对视频图像进行目标车辆检测，确定目标车辆的车辆位置区域序列，将车辆位置区域序列作为输入数据，通过预先训练的目标变道检测模型进行车辆变道检测，输出车辆变道行为，根据车辆变道行为，确定目标车辆的变道类型。本发明实施例解决了现有检测方法只对单独的图像帧进行车辆变道检测，通过判断图像帧中车辆与车道线距离来确定车辆是否发生变道，导致车道线被遮挡时无法进行准确判断，检测准确率低的问题，实现了将目标车辆的行驶区域从视频图像中提取出来，并运用预先训练的目标变道检测模型对目标车辆的车辆位置区域序列进行车辆变道检测，通过目标车辆与车道线的位置变化关系，确定目标车辆的变道行为，在一些视频图像帧中的车道线被遮挡时，依然可以准确识别车辆变道行为，在快速检测的同时也提高了检测的准确性。

实施例二

图3为本发明实施例二提供的一种车辆变道检测方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述车辆变道检测方法。

如图3所示，该方法具体包括：

步骤210、对视频图像中的所有检测帧进行目标车辆检测，确定各检测帧中候选车辆区域。

其中，候选车辆区域可以理解为检测帧中包含车辆信息的像素区域块。

具体的，视频图像中出现的车辆是不断变化的，因此需要不断更新跟踪的目标车辆，为了节约计算时间和计算资源，提高检测效率，可以不对每一帧视频图像都进行目标车辆的检测，而是在所有图像帧中进行等帧抽取，得到一定数量的检测帧。在确定了检测帧后，只需对各检测帧进行目标车辆检测，如果检测帧中包含车辆信息，那么可以将检测出的车辆所在的区域确定为候选车辆区域。可以理解的是，一个检测帧中可能有多个候选车辆区域，也可能没有候选车辆区域。

可选的，步骤210具体可以通过以下步骤实现：在视频图像的所有图像帧中抽取至少两个检测帧；将各检测帧依次输入预先训练的目标车辆检测模型，得到各检测帧中包含车辆信息的车辆信息区域；将各车辆信息区域对应的最小外接矩形区域确定为候选车辆区域。

具体的，可以根据预设的抽帧规则在对视频图像进行抽帧处理，可以以一定周期抽取检测帧进行目标车辆的检测。可以预先设置帧间隔数n，将每间隔n帧的一帧视频图像确定为检测帧。可以利用预先训练好的目标车辆检测模型对各检测帧进行目标车辆检测，将显示有车辆信息的车辆信息区域进行标记。由于车辆的轮廓是一个不规则形状，因此检测到的车辆信息区域一般也是一个不规则图形，但是为了方便对比各检测帧中车辆的位置，可以将车辆所在的一个矩形区域作为车辆所在的位置，为了提高定位车辆位置的准确率，可以将包含车辆信息的车辆信息区域的最小外接矩形区域确定为候选车辆区域。

在本实施例中，目标车辆检测模型可以基于CenterNet模型进行优化得到，由于要处理多帧视频图像，因此对模型的实时性要求较高，本发明实施例采用裁剪版ResNet18作为基网络，可以输入尺寸为608*608像素的图片，并将原始默认每个通道的层数由64,64,128,256,512分别改为32,32,64,128,256。通过损失函数L

L

其中，L

另外，在训练初始的车辆检测模型时，可以将训练数据中的车辆进行标注，并按照9:1的比例进行随机划分，形成训练集和测试集，利用训练集中的训练视频图像优化待训练的车辆检测模型，使用如上的损失函数驱动模型训练，得到目标车辆检测模型。利用测试集中的训练视频图像检测车辆检测模型的训练效果，可以利用MAP指标对模型进行评估，选取MAP指标最高的模型进行工程应用。MAP(mean Average Precision)，即模型中各类别AP的平均值。

步骤220、针对每个检测帧中的每个候选车辆区域，确定候选车辆区域与上一检测帧中各目标车辆区域的重叠指数。

其中，重叠指数可以理解为两个车辆区域的交并比IOU值。

具体的，可以在对检测帧进行目标识别确定出各候选车辆区域后，分别计算各候选车辆区域与上一检测帧中各目标车辆区域的重叠指数，例如，识别到当前检测帧中有2个候选车辆区域，上一检测帧中已经确定有3个目标车辆区域，那么就分别计算这2个候选车辆区域与3个目标车辆区域的重叠指数，共计算出6个重叠指数。

步骤230、判断各重叠指数中的最大重叠指数是否大于预设的重叠指数阈值。

其中，重叠指数阈值可以理解为界定两个跟踪框中的车辆是否为同一车辆的临界值，当重叠指数大于重叠指数阈值，则可以认为两个跟踪框中的车辆为同一车辆。

具体的，一个候选车辆区域与上一检测帧中每个目标车辆区域都分别有一个重叠指数，可以确定该候选车辆区域的各重叠指数中取值最大的为最大重叠指数，将最大重叠指数与预设的重叠指数阈值比较，若最大重叠指数大于重叠指数阈值，则可以进行步骤240；否则，进行步骤250。

步骤240、确定候选车辆区域中包含的候选车辆与最大重叠指数对应的目标车辆区域中包含的目标车辆为同一车辆。

具体的，当候选车辆区域的最大重叠指数大于重叠指数阈值时，可以认为候选车辆区域中包含的候选车辆与最大重叠指数对应的目标车辆区域中包含的目标车辆为同一车辆，也就是上一帧中该目标车辆行驶到了当前检测帧中的候选车辆区域，相应的，可以将该候选车辆区域重新确认为该目标车辆的目标车辆区域，可以继续进行步骤260。

步骤250、确定候选车辆为新的目标车辆。

具体的，当候选车辆区域的最大重叠指数不大于重叠指数阈值时，可以认为候选车辆区域内的候选车辆与上一检测帧中各目标车辆区域中的目标车辆都不为同一车辆，因此可以将该候选车辆确定为新的目标车辆，相应的，该候选车辆区域重新确认为该目标车辆的目标车辆区域，可以继续执行步骤260。

示例性的，图4是本发明实施例二提供的一种车辆变道检测方法中检测目标车辆的原理示意图。如图4所示，目标A所在的矩形区域为对第T个检测帧进行目标车辆检测后，确定出的候选车辆区域，目标B和目标C所在的矩形区域为对第T+1个检测帧进行目标车辆检测后，确定出的候选车辆区域。可以计算目标B和目标A所在的矩形区域的IOU值，以及目标C和目标A所在的矩形区域的IOU值。如计算目标B和目标A所在的矩形区域的IOU值时，

步骤260、确定同一目标车辆在各检测帧中的车辆位置区域图像，并形成对应的车辆位置区域序列。

其中，车辆位置区域图像可以理解为采集的视频图像中包含目标车辆与目标车辆附近行驶环境的像素块。

具体的，通过对各检测帧进行的目标车辆检测以及将各帧中的车辆进行区分，可以将同一目标车辆在不同检测帧中的车辆位置区域划分出来，形成一组车辆位置区域图像，即为一个车辆位置区域序列。

可选的，图5是本发明实施例二提供的一种车辆变道检测方法中形成车辆位置区域序列的流程图。如图5所示，步骤260具体可以通过以下步骤实现：

步骤2601、针对每个目标车辆，获取目标车辆在各检测帧中的目标车辆区域。

具体的，在执行步骤210对视频图像中的检测帧进行目标车辆检测时，确定了图像中每个车辆的候选车辆区域，将各候选车辆区域中的候选车辆进行关联，划分形成不同的目标车辆，相应的，目标车辆对应的各候选车辆区域就被重新确认为该目标车辆的目标车辆区域。目标车辆区域体现了目标车辆在检测帧中的具体位置，可以获取同一目标车辆在各检测帧中的目标车辆区域。

步骤2602、以各目标车辆区域的区域中心为中心点，按预设尺寸比例确定包含目标车辆区域的车辆位置区域。

其中，目标车辆区域体现了目标车辆在检测帧中的具体位置，目标车辆区域中的大部分图像是目标车辆，主要包含的是目标车辆的信息，但是目标车辆区域中包含很少的道路信息，因此需要将目标车辆区域向外扩展，得到包含一定目标车辆行驶附近道路信息的车辆位置区域。

具体的，对于每个目标车辆区域，可以计算出目标车辆区域的区域中心，以区域中心为中心点，获取预先设置的尺寸比例，将目标车辆区域按照预设尺寸比例扩大，得到包含目标车辆和目标车辆行驶附近道路的车辆位置区域。

步骤2603、截取各检测帧中的车辆位置区域并进行缩放，形成预设检测尺寸的车辆位置区域图像。

具体的，可以将各检测帧中的车辆位置区域从检测帧图像中截取出来。由于采集视频图像时，目标车辆是在行驶的过程中，因此，同一个目标车辆由于距离拍摄设备的距离不同，在不同的图像帧中所占据的像素区域大小也是不同的，为了方便检测车辆变道，可以将各车辆位置区域图像进行缩放，按预先设置的检测尺寸统一各车辆位置区域图像的图像尺寸，形成各车辆位置区域图像。

步骤2604、将目标车辆的各车辆位置区域图像按对应的图像采集时间排序，形成车辆位置区域序列。

具体的，对于一个目标车辆，可以将目标车辆对应的所有车辆位置区域图像，按照视频图像的采集时间从前到后进行排序，形成目标车辆对应的车辆位置区域序列。可以以相同的方法形成每个目标车辆的车辆位置区域序列。

步骤270、针对每个车辆位置区域序列，分别对车辆位置区域序列进行高频率采样和低频率采样，得到高采样序列和低采样序列，高频率采样的采样频率大于低频率采样的采样频率。

具体的，通常情况下，视频场景中主要可以分为缓慢变化的静态区域和快速变化的动态区域，对于行为识别的检测过程来说，动态区域更能体现行为的发生，对于动态区域的识别相对更加重要。在本实施例中，由于是以目标车辆区域的区域中心为中心点向外扩充得到的车辆位置区域，因此在车辆位置区域序列的各图像中，车辆的位置是基本不变的，可以将车辆当做背景，车道线为运动的物体。可以使用目标变道检测模型对车辆位置区域序列分别进行两次不同频率的采样，得到高采样序列和低采样序列。

可选的，高频率采样的采样频率与低频率采样的采样频率的比值为预设采样比值。

具体的，一般常用的高频率采样与低频率采样的采样频率的比值8:1，考虑到可能出现车辆对车道线遮挡，造成车道线信息丢失的情况，为了解决该问题，在本实施例可以通过对大量数据的测试比对，将高频率采样的采样频率与低频率采样的采样频率设置成最优采样比值4:1。

步骤280、将高采样序列输入车道线特征提取通道，得到车道线特征数据。

具体的，可以更加关注高采样序列中动态变化过程的特征提取，较多的体现车辆位置区域序列中动态变化的信息，得到相应的车道线特征数据。

步骤290、将低采样序列输入车辆特征提取通道，得到车辆特征数据。

具体的，可以更加关注低采样序列中静态区域的特征提取，较多的体现车辆位置区域序列中的场景信息，得到相应的车辆特征数据。

步骤2100、将车道线特征数据与车辆特征数据融合，得到变道检测特征数据。

具体的，将能够体现动态变化的车道线特征数据和体现视频场景的车辆特征数据相融合，就可以形成车辆位置区域序列完整的特征信息了。

步骤2110、根据变道检测特征数据进行车辆变道检测，确定车辆变道行为。

具体的，根据变道检测特征数据可以判断车辆与车道线的位置关系是否发生改变，以及车道线的类型，由此确定目标车辆在行驶过程中是否改变车道，如果发生变道，是压车道实线进行变道还是压车道虚线进行变道。

步骤2120、根据车辆变道行为，确定目标车辆的变道类型。

本实施例的技术方案，通过对视频图像进行目标车辆检测，由检测出的候选车辆区域确定各检测帧中车辆的关联关系，划分出不同的目标车辆，针对每个目标车辆，将目标车辆的各目标车辆区域扩展得到车辆位置区域，并截取车辆位置区域图像形成车辆位置区域序列，对车辆位置区域序列分别进行高频率采样和低频率采样，得到高采样序列和低采样序列，并分别输入车道线特征提取通道和车辆特征提取通道，得到车道线特征数据和车辆特征数据，融合后得到变道检测特征数据，根据变道检测特征数据进行车辆变道检测，确定车辆变道行为，最终确定目标车辆的变道类型。本发明实施例解决了现有检测方法只对单独的图像帧进行车辆变道检测，通过判断图像帧中车辆与车道线距离来确定车辆是否发生变道，导致车道线被遮挡时无法进行准确判断，检测准确率低的问题，实现了将目标车辆的行驶区域从视频图像中提取出来，并运用预先训练的目标变道检测模型对目标车辆的车辆位置区域序列进行车辆变道检测，通过目标车辆与车道线的位置变化关系，确定目标车辆的变道行为，在一些视频图像帧中的车道线被遮挡时，依然可以准确识别车辆变道行为，在快速检测的同时也提高了检测的准确性。

实施例三

本发明实施例所提供的车辆变道检测装置可执行本发明任意实施例所提供的车辆变道检测方法，具备执行方法相应的功能模块和有益效果。图6是本发明实施例三提供的一种车辆变道检测装置的结构框图，如图6所示，该装置包括：目标车辆检测模块310、变道行为检测模块320和变道类型确定模块330。

目标车辆检测模块310，用于对视频图像进行目标车辆检测，确定目标车辆的车辆位置区域序列；

变道行为检测模块320，用于将所述车辆位置区域序列作为输入数据，通过预先训练的目标变道检测模型进行车辆变道检测，输出车辆变道行为，所述车辆变道行为包括实线变道、虚线变道和无变道；

变道类型确定模块330，用于根据所述车辆变道行为，确定所述目标车辆的变道类型，所述变道类型包括合法变道和违法变道。

本实施例的技术方案，通过对视频图像进行目标车辆检测，确定目标车辆的车辆位置区域序列，将车辆位置区域序列作为输入数据，通过预先训练的目标变道检测模型进行车辆变道检测，输出车辆变道行为，根据车辆变道行为，确定目标车辆的变道类型。本发明解决了现有检测方法只对单独的图像帧进行车辆变道检测，通过判断图像帧中车辆与车道线距离来确定车辆是否发生变道，导致车道线被遮挡时无法进行准确判断，检测准确率低的问题，实现了将目标车辆的行驶区域从视频图像中提取出来，并运用预先训练的目标变道检测模型对目标车辆的车辆位置区域序列进行车辆变道检测，通过目标车辆与车道线的位置变化关系，确定目标车辆的变道行为，在一些视频图像帧中的车道线被遮挡时，依然可以准确识别车辆变道行为，在快速检测的同时也提高了检测的准确性。

可选的，所述目标车辆检测模块310，包括：

候选车辆区域确定单元，用于对视频图像中的所有检测帧进行目标车辆检测，确定各所述检测帧中候选车辆区域；

重叠指数确定单元，用于针对每个检测帧中的每个候选车辆区域，确定所述候选车辆区域与上一检测帧中各目标车辆区域的重叠指数；

第一目标车辆确定单元，用于当各所述重叠指数中的最大重叠指数大于预设的重叠指数阈值，则确定所述候选车辆区域中包含的候选车辆与所述最大重叠指数对应的目标车辆区域中包含的目标车辆为同一车辆；

第二目标车辆确定单元，用于当各所述重叠指数中的最大重叠指数小于等于预设的重叠指数阈值，则确定所述候选车辆为新的目标车辆；

车辆位置区域序列确定单元，用于确定同一目标车辆在各所述检测帧中的车辆位置区域图像，并形成对应的车辆位置区域序列。

可选的，所述候选车辆区域确定单元，具体用于：

在视频图像的所有图像帧中抽取至少两个检测帧；

将各所述检测帧依次输入预先训练的目标车辆检测模型，得到各所述检测帧中包含车辆信息的像素区域；

将各所述像素区域对应的最小外接矩形区域确定为候选车辆区域。

可选的，所述车辆位置区域序列确定单元，具体用于：

针对每个目标车辆，获取所述目标车辆在各所述检测帧中的目标车辆区域；

以各所述目标车辆区域的区域中心为中心点，按预设尺寸比例确定包含所述目标车辆区域的车辆位置区域；

截取各所述检测帧中的车辆位置区域并进行缩放，形成预设检测尺寸的车辆位置区域图像；

将所述目标车辆的各所述车辆位置区域图像按对应的图像采集时间排序，形成车辆位置区域序列。

可选的，所述变道行为检测模块320，具体用于：

针对每个车辆位置区域序列，分别对所述车辆位置区域序列进行高频率采样和低频率采样，得到高采样序列和低采样序列，所述高频率采样的采样频率大于所述低频率采样的采样频率；

将所述高采样序列输入车道线特征提取通道，得到车道线特征数据；

将所述低采样序列输入车辆特征提取通道，得到车辆特征数据；

将所述车道线特征数据与所述车辆特征数据融合，得到变道检测特征数据；

根据所述变道检测特征数据进行车辆变道检测，确定车辆变道行为。

可选的，所述高频率采样的采样频率与所述低频率采样的采样频率的比值为预设采样比值。

可选的，所述目标变道检测模型的训练过程包括：

在训练视频图像中提取标准车辆的标准区域序列，并对所述标准车辆在所述标准区域序列中发生的变道行为进行标注，得到标准变道行为；

将所述标准区域序列输入待训练变道检测模型，获得输出的预测变道行为；

根据所述标准变道行为以及所述预测变道行为，结合给定的损失函数，对所述待训练变道检测模型进行反向传播，得到所述目标变道检测模型。

本实施例的技术方案，通过对视频图像进行目标车辆检测，由检测出的候选车辆区域确定各检测帧中车辆的关联关系，划分出不同的目标车辆，针对每个目标车辆，将目标车辆的各目标车辆区域扩展得到车辆位置区域，并截取车辆位置区域图像形成车辆位置区域序列，对车辆位置区域序列分别进行高频率采样和低频率采样，得到高采样序列和低采样序列，并分别输入车道线特征提取通道和车辆特征提取通道，得到车道线特征数据和车辆特征数据，融合后得到变道检测特征数据，根据变道检测特征数据进行车辆变道检测，确定车辆变道行为，最终确定目标车辆的变道类型。本发明实施例解决了现有检测方法只对单独的图像帧进行车辆变道检测，通过判断图像帧中车辆与车道线距离来确定车辆是否发生变道，导致车道线被遮挡时无法进行准确判断，检测准确率低的问题，实现了将目标车辆的行驶区域从视频图像中提取出来，并运用预先训练的目标变道检测模型对目标车辆的车辆位置区域序列进行车辆变道检测，通过目标车辆与车道线的位置变化关系，确定目标车辆的变道行为，在一些视频图像帧中的车道线被遮挡时，依然可以准确识别车辆变道行为，在快速检测的同时也提高了检测的准确性。

实施例四

图7为本发明实施例四提供的一种计算机设备的结构框图，如图7所示，该计算机设备包括处理器410、存储器420、输入装置430和输出装置440；计算机设备中处理器410的数量可以是一个或多个，图7中以一个处理器410为例；计算机设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图7中以通过总线连接为例。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的车辆变道检测方法对应的程序指令/模块(例如，车辆变道检测装置中的目标车辆检测模块310、变道行为检测模块320和变道类型确定模块330)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的车辆变道检测方法。

存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种车辆变道检测方法，该方法包括：

对视频图像进行目标车辆检测，确定目标车辆的车辆位置区域序列；

将所述车辆位置区域序列作为输入数据，通过预先训练的目标变道检测模型进行车辆变道检测，输出车辆变道行为，所述车辆变道行为包括实线变道、虚线变道和无变道；

根据所述车辆变道行为，确定所述目标车辆的变道类型，所述变道类型包括合法变道和违法变道。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的车辆变道检测方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述车辆变道检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。