一种视频车辆分类方法、装置、计算机设备及存储介质

技术领域

本发明涉及大数据与AI专业领域，特别涉及一种视频车辆分类方法、装置、计算机设备及存储介质。

背景技术

随着计算机视觉和视频技术的发展，基于视频数据的智能交通系统逐渐得到了广泛的应用，其中车辆分类是智能交通系统的核心管理能力之一。

目前的视频车辆分类的常见方法是基于机器学习的方法，根据分割后的车辆目标，采用SVM等分类器进行分类学习，这种方法需要对各种天气气候情况进行训练，需要的测试训练数据较多。此外，还有根据车牌信息直接获得车辆类型的相关研究，但如果是套牌车则无法获取到正确信息，从而导致失败，从而不利于实际应用。

因此，现有的视频车辆分类方法存在准确率较低、过程繁琐和效果较差的问题。

发明内容

本发明的目的是提供一种视频车辆分类方法、装置、计算机设备及存储介质，旨在解决现有视频车辆分类方法存在准确率较低、过程繁琐和效果较差的问题。

第一方面，本发明实施例提供了一种视频车辆分类方法，其特征在于，包括：

获取监控视频，并根据所述监控视频的编码格式对所述监控视频进行解码，利用帧差法定位所述监控视频中车辆所在的位置，并分割出所述车辆，得到所有包含所述车辆的视频帧；

对所述视频帧进行预处理；

以过视频帧的图像中心并沿着所述车辆运动方向的直线为主轴，将所述车辆分为对称的两部分；从所述两部分的两端开始，以离主轴最远的点开始搜索，若存在凸起的小块区域，则将所述凸起的小块区域标记为细节特征；

采用归一化切割技术将所述视频帧进行图像分割，将切割后的图像合并成两个显著区域；对所述两个显著区域进行腐蚀操作，分离所述两个显著区域；根据区域位置关系获得所述车辆沿着运动方向的外形特征；

基于所述细节特征对所述车辆进行初次分类；

基于所述外形特征对所述车辆进行二次分类；

跟踪识别所述监控视频中的所述车辆；

统计并输出识别结果。

第二方面，本发明实施例提供了一种视频车辆分类装置，包括：

解码提取单元，用于获取监控视频，并根据所述监控视频的编码格式对所述监控视频进行解码，利用帧差法定位所述监控视频中车辆所在的位置，并分割出所述车辆，得到所有包含所述车辆的视频帧；

预处理单元，用于对所述视频帧进行预处理；

特征选取单元，用于以过视频帧的图像中心并沿着所述车辆运动方向的直线为主轴，将所述车辆分为对称的两部分；从所述两部分的两端开始，以离主轴最远的点开始搜索，若存在凸起的小块区域，则将所述凸起的小块区域标记为细节特征；

归一化切割单元，用于采用归一化切割技术将所述视频帧进行图像分割，将切割后的图像合并成两个显著区域；对所述两个显著区域进行腐蚀操作，分离所述两个显著区域；根据区域位置关系获得所述车辆沿着运动方向的外形特征；

初次分类单元，用于基于所述细节特征对所述车辆进行初次分类；

二次分类单元，用于基于所述外形特征对所述车辆进行二次分类；

跟踪监控单元，用于跟踪识别所述监控视频中的所述车辆；

输出单元，用于统计并输出识别结果。

第三方面，本发明实施例提供了一种视频车辆分类计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的视频车辆分类方法。

第四方面，本发明实施例提供了一种视频车辆分类存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的视频车辆分类方法。

本发明实施例提供一种视频车辆分类方法、装置、计算机设备及存储介质，方法包括：获取监控视频，并根据所述监控视频的编码格式对所述监控视频进行解码，利用帧差法定位所述监控视频中车辆所在的位置，并分割出所述车辆，得到所有包含所述车辆的视频帧；对所述视频帧进行预处理；以过视频帧的图像中心并沿着所述车辆运动方向的直线为主轴，将所述车辆分为对称的两部分；从所述两部分的两端开始，以离主轴最远的点开始搜索，若存在凸起的小块区域，则将所述凸起的小块区域标记为细节特征；采用归一化切割技术将所述视频帧进行图像分割，将切割后的图像合并成两个显著区域；对所述两个显著区域进行腐蚀操作，分离所述两个显著区域；根据区域位置关系获得所述车辆沿着运动方向的外形特征；基于所述细节特征对所述车辆进行初次分类；基于所述外形特征对所述车辆进行二次分类；跟踪识别所述监控视频中的所述车辆；统计并输出识别结果。本发明实施例从车辆的细节特征和外形特征入手，分别对车辆进行初次分类和二次分类，分类准确性高，过程明确清晰，相较于现有视频车辆分类方法的效果显著提升。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频车辆分类方法的流程示意图；

图2为本发明实施例提供的一种视频车辆分类方法的子流程示意图；

图3为本发明实施例提供的一种视频车辆分类方法的另一子流程示意图；

图4为本发明实施例提供的一种视频车辆分类方法的另一子流程示意图；

图5为本发明实施例提供的一种视频车辆分类方法的另一子流程示意图；

图6为本发明实施例提供的一种视频车辆分类方法的另一子流程示意图；

图7为本发明实施例提供的一种视频车辆分类装置的示意性框图；

图8为本发明实施例提供的一种视频车辆分类计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1是本发明实施例提供的一种视频车辆分类方法的流程示意图，包括步骤S101～S108：

S101、获取监控视频，并根据所述监控视频的编码格式对所述监控视频进行解码，利用帧差法定位所述监控视频中车辆所在的位置，并分割出所述车辆，得到所有包含所述车辆的视频帧；

本步骤是通过对监控视频解码，定位并分割出车辆对象的所有视频帧。目前高清摄像头在智能交通系统中已经得到了广泛的应用，监控视频的获取简单便捷。

S102、对所述视频帧进行预处理；

本步骤中，对视频帧进行预处理能够更方便地提取车辆对象的细节特征和外形轮廓。

在一实施例中，如图2所示，所述步骤S102包括：

S201、对所述视频帧进行噪声过滤和平滑变换；

S202、采用边界提取算子提取出所述视频帧中所述车辆的轮廓区域，并根据整体轮廓获得全局的像素点统计参数；

S203、利用光流法确定所述视频帧中所述车辆运行的正方向。

在本实施例中，对所述视频帧进行噪声过滤和平滑变换，对图像进行滤波，从而获得车辆对象的更清晰的信息，进而采用边界提取的方法获得车辆对象的轮廓区域。

S103、以过视频帧的图像中心并沿着所述车辆运动方向的直线为主轴，将所述车辆分为对称的两部分；从所述两部分的两端开始，以离主轴最远的点开始搜索，若存在凸起的小块区域，则将所述凸起的小块区域标记为细节特征；

本步骤即搜索并定位标记细节特征，将凸起的小块区域标记为细节特征。

在一实施例中，以所述离主轴最远的点为一个顶点，以平行于运动方向的直线与区域外边界相交的两个交点构成底边组成三角形，若所述三角形的所述底边与高的比值小于第三预定阈值，则确认所述三角形为一凸起的小块区域，并将所述凸起的小块区域标记为细节特征。

S104、采用归一化切割技术将所述视频帧进行图像分割，将切割后的图像合并成两个显著区域；对所述两个显著区域进行腐蚀操作，分离所述两个显著区域；根据区域位置关系获得所述车辆沿着运动方向的外形特征；

本步骤中，采用归一化切割技术能够消除其他变换函数对图像变换的影响，提高后续判断的准确率，腐蚀操作使得图像更加清晰，易于判断。

S105、基于所述细节特征对所述车辆进行初次分类；

在一实施例中，如图3所示，所述步骤S105包括：

S301、判断是否存在沿着主轴对称的两个细节特征，且所述两个细节特征的外接圆半径与所述车辆沿运动方向的长度比值大于第一预定阈值；

S302、若存在，则判定所述车辆为中小型车；

S303、若不存在，则判定所述车辆为大型车。

在本实施例中，第一预定阈值为1/30，存在沿着主轴对称的两个细节特征，且所述两个细节特征的外接圆半径与所述车辆沿运动方向的长度比值大于1/30，则判定所述车辆为中小型车，若不存在，则判定所述车辆为大型车。

S106、基于所述外形特征对所述车辆进行二次分类；

在一实施例中，如图4所示，所述步骤S106包括：

S401、根据所述外形特征，选取类型为前后两块关系的外形特征，计算所述前后两块关系的比例关系；

S402、若所述比例关系在第一阈值范围内，将所述车辆归类为货车；

S403、若所述比例关系在第二阈值范围内，将所述车辆归类为客车；

S404、若所述比例关系超过第二预定阈值，将所述车辆归类为特殊车辆；

在本实施例中，第一阈值范围为大于所述第二阈值范围，所述第二预定阈值为第一阈值范围的上限，具体的，第一阈值范围为[1,5]，第二阈值范围为[0,1]，第二预定阈值为5，特殊车辆如消防车、救护车等。

S107、跟踪识别所述监控视频中的所述车辆；

在一实施例中，如图5所示，所述步骤S107包括：

S501、根据光流法确定所述车辆后续存在的所有视频帧；

S502、在所有视频帧中，根据时间步长挑选出多个预定时间的视频帧，进行识别分类；

S503、将所挑选出的视频帧的分类结果输出到结果列表，同时选择所有视频帧中所述车辆的中心与对应帧图像的中心距离最近的视频帧为代表帧。

在本实施例中，挑选出的视频帧数量越多，分类准确率越高，代表帧的准确率越高。

S108、统计并输出识别结果。

在一实施例中，如图6所示，所述步骤S108包括：

S601、判断是否有三分之二以上视频帧的分类结果一致；

S602、若有三分之二以上视频帧的分类结果一致，输出三分之二以上视频帧的分类结果；

S603、若否，输出所述代表帧的分类结果。

在本实施例中，多数视频帧的分类结果和代表帧的分类结果均可在一定程度上代表车辆对象的分类结果。

本发明实施例还提供一种视频车辆分类装置，该一种视频车辆分类装置用于执行前述视频车辆分类方法的任一实施例。具体的，请参阅图7，图7是本发明实施例提供的视频车辆分类装置的示意性框图，该视频车辆分类装置可以配置于服务器中。

如图7所示，视频车辆分类装置700包括：解码提取单元701、预处理单元702、特征选取单元703、归一化切割单元704、初次分类单元705、二次分类单元706、跟踪监控单元707、输出单元708。

解码提取单元701，用于获取监控视频，并根据所述监控视频的编码格式对所述监控视频进行解码，利用帧差法定位所述监控视频中车辆所在的位置，并分割出所述车辆，得到所有包含所述车辆的视频帧；

预处理单元702，用于对所述视频帧进行预处理；在一实施例中，所述预处理包括对所述视频帧进行噪声过滤和平滑变换；采用边界提取算子提取出所述视频帧中所述车辆的轮廓区域，并根据整体轮廓获得全局的像素点统计参数；利用光流法确定所述视频帧中所述车辆运行的正方向。

特征选取单元703，用于以过视频帧的图像中心并沿着所述车辆运动方向的直线为主轴，将所述车辆分为对称的两部分；从所述两部分的两端开始，以离主轴最远的点开始搜索，若存在凸起的小块区域，则将所述凸起的小块区域标记为细节特征；

归一化切割单元704，用于采用归一化切割技术将所述视频帧进行图像分割，将切割后的图像合并成两个显著区域；对所述两个显著区域进行腐蚀操作，分离所述两个显著区域；根据区域位置关系获得所述车辆沿着运动方向的外形特征；

初次分类单元705，用于基于所述细节特征对所述车辆进行初次分类；在一实施例中，对所述车辆进行初次分类即判断是否存在沿着主轴对称的两个细节特征，且所述两个细节特征的外接圆半径与所述车辆沿运动方向的长度比值大于第一预定阈值；若存在，则判定所述车辆为中小型车；若不存在，则判定所述车辆为大型车。

二次分类单元706，用于基于所述外形特征对所述车辆进行二次分类；在一实施例中，对所述车辆进行二次分类即根据所述外形特征，选取类型为前后两块关系的外形特征，计算所述前后两块关系的比例关系；若所述比例关系在第一阈值范围内，将所述车辆归类为货车；若所述比例关系在第二阈值范围内，将所述车辆归类为客车；若所述比例关系超过第二预定阈值，将所述车辆归类为特殊车辆。

跟踪监控单元707，用于跟踪识别所述监控视频中的所述车辆；在一实施例中，跟踪识别所述监控视频中的所述车辆即根据光流法确定所述车辆后续存在的所有视频帧；在所有视频帧中，根据时间步长挑选出多个预定时间的视频帧，进行识别分类；将所挑选出的视频帧的分类结果输出到结果列表，同时选择所有视频帧中所述车辆的中心与对应帧图像的中心距离最近的视频帧为代表帧。

输出单元708，用于统计并输出识别结果。在一实施例中，统计并输出识别结果即判断是否有三分之二以上视频帧的分类结果一致；若有三分之二以上视频帧的分类结果一致，输出三分之二以上视频帧的分类结果；若否，输出所述代表帧的分类结果。

请参阅图8，图8是本发明实施例提供的计算机设备的示意性框图。该计算机设备800是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图8，该计算机设备800包括通过系统总线801连接的处理器802、存储器和网络接口805，其中，存储器可以包括非易失性存储介质803和内存储器804。

该非易失性存储介质803可存储操作系统8031和计算机程序8032。该计算机程序8032被执行时，可使得处理器802执行视频车辆分类方法。

该处理器802用于提供计算和控制能力，支撑整个计算机设备800的运行。

该内存储器804为非易失性存储介质803中的计算机程序8032的运行提供环境，该计算机程序8032被处理器802执行时，可使得处理器802执行视频车辆分类方法。

该网络接口805用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备800的限定，具体的计算机设备800可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器802用于运行存储在存储器中的计算机程序8032，以实现如下功能：获取监控视频，并根据所述监控视频的编码格式对所述监控视频进行解码，利用帧差法定位所述监控视频中车辆所在的位置，并分割出所述车辆，得到所有包含所述车辆的视频帧；对所述视频帧进行预处理；以过视频帧的图像中心并沿着所述车辆运动方向的直线为主轴，将所述车辆分为对称的两部分；从所述两部分的两端开始，以离主轴最远的点开始搜索，若存在凸起的小块区域，则将所述凸起的小块区域标记为细节特征；采用归一化切割技术将所述视频帧进行图像分割，将切割后的图像合并成两个显著区域；对所述两个显著区域进行腐蚀操作，分离所述两个显著区域；根据区域位置关系获得所述车辆沿着运动方向的外形特征；基于所述细节特征对所述车辆进行初次分类；基于所述外形特征对所述车辆进行二次分类；跟踪识别所述监控视频中的所述车辆；统计并输出识别结果。

本领域技术人员可以理解，图8中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图8所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器802可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器802还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：获取监控视频，并根据所述监控视频的编码格式对所述监控视频进行解码，利用帧差法定位所述监控视频中车辆所在的位置，并分割出所述车辆，得到所有包含所述车辆的视频帧；对所述视频帧进行预处理；以过视频帧的图像中心并沿着所述车辆运动方向的直线为主轴，将所述车辆分为对称的两部分；从所述两部分的两端开始，以离主轴最远的点开始搜索，若存在凸起的小块区域，则将所述凸起的小块区域标记为细节特征；采用归一化切割技术将所述视频帧进行图像分割，将切割后的图像合并成两个显著区域；对所述两个显著区域进行腐蚀操作，分离所述两个显著区域；根据区域位置关系获得所述车辆沿着运动方向的外形特征；基于所述细节特征对所述车辆进行初次分类；基于所述外形特征对所述车辆进行二次分类；跟踪识别所述监控视频中的所述车辆；统计并输出识别结果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。