基于目标检测的车辆图像过滤方法、系统、装置及介质

技术领域

本发明涉及图像处理技术领域，尤其是基于目标检测的车辆图像过滤方法、系统、装置及介质。

背景技术

现有的车型识别技术需要大量高质量的汽车外观图片数据进行模型训练来提高预测的准确率，如果出现不规范或质量比较低的图片数据，会导致整个模型的性能下降。

行业上只有定向抓取图片的网络爬虫技术，还没有对图片进行清洗与标注等自动化技术。现有技术一般使用人工清洗和标注来对繁多的图片进行处理，这就需要大量人力成本，出错率也非常高。

发明内容

有鉴于此，本发明实施例提供一种成本低且准确率高的，基于目标检测的车辆图像过滤方法、系统、装置及介质。

本发明的第一方面提供了一种基于目标检测的车辆图像过滤方法，包括：

基于RetinaNet目标检测算法训练得到目标检测模型；

获取车辆外观图像数据；

通过PHash算法以及汉明距离算法对所述车辆外观图像数据进行图片去重，得到去重后的初始图像；

通过所述目标检测模型对所述初始图像进行数据清洗，得到目标图像。

在一些实施例中，所述基于RetinaNet目标检测算法训练得到目标检测模型，包括：

获取待训练的车辆图片数据以及对应每个车辆图片数据的标注数据，得到初始训练集；

对所述初始训练集中的照片进行第一清洗，得到目标训练集；

基于动态学习率和动态训练次数，通过RetinaNet目标检测算法对所述目标训练集进行模型训练，得到目标检测模型。

在一些实施例中，所述获取车辆外观图像数据，包括：

对汽车网站中的车辆图片对应的网页结构进行分析，获取车型信息与车辆图像的映射数据；

根据对所述网页结构的分析结果，通过python requests库开发适合不同网站的抓图工具；

通过所述抓图工具获取所述汽车网站中的图像地址，并将图像对应的车型信息存储至工作队列。

在一些实施例中，所述通过PHash算法以及汉明距离算法对所述车辆外观图像数据进行图片去重，得到去重后的初始图像，包括：

将所述车辆外观图像数据的图片尺寸进行缩小；

将缩小后的图片转化为灰度图；

计算所述灰度图的DCT变换结果；

将所述DCT变换结果缩小后计算DCT均值；

根据所述DCT均值获取二值图；

根据所述二值图生成各个图片对应的哈希值；

通过任意两个图片的哈希值计算两个图片之间的汉明距离；

根据所述汉明距离对所述车辆外观图像数据中的图片进行去重，得到去重后的初始图像。

在一些实施例中，所述通过所述目标检测模型对所述初始图像进行数据清洗，得到目标图像，包括：

通过所述目标检测模型对所述初始图像进行检测，生成图片类别概率；

根据所述图片类别概率以及所述初始图像对应的原始车辆外观图像，确定满足质量要求的目标图像；

对所述目标图像进行裁切以及标注，生成存档文件。

本发明的第二方面提供了一种基于目标检测的车辆图像过滤系统，包括：

训练模块，用于基于RetinaNet目标检测算法训练得到目标检测模型；

获取模块，用于获取车辆外观图像数据；

去重模块，用于通过PHash算法以及汉明距离算法对所述车辆外观图像数据进行图片去重，得到去重后的初始图像；

清洗过滤模块，用于通过所述目标检测模型对所述初始图像进行数据清洗，得到目标图像。

本发明的第三方面提供了一种装置，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如本发明第一方面所述的方法。

本发明的第四方面提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本发明第一方面所述的方法。

本发明的实施例基于RetinaNet目标检测算法训练得到目标检测模型；获取车辆外观图像数据；通过PHash算法以及汉明距离算法对所述车辆外观图像数据进行图片去重，得到去重后的初始图像；通过所述目标检测模型对所述初始图像进行数据清洗，得到目标图像。本发明使用目标检测技术自动收集、清洗、标注车辆图像，不用担心人为操作失误，大大降低人工成本的同时保证高品质高精确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的整体步骤流程图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明提供了基于目标检测的车辆图像过滤方法，包括以下步骤S100-S400：

S100、基于RetinaNet目标检测算法训练得到目标检测模型；

在一些实施例中，步骤S100包括S110-S130：

S110、获取待训练的车辆图片数据以及对应每个车辆图片数据的标注数据，得到初始训练集；

S120、对所述初始训练集中的照片进行第一清洗，得到目标训练集；

S130、基于动态学习率和动态训练次数，通过RetinaNet目标检测算法对所述目标训练集进行模型训练，得到目标检测模型。

具体地，本发明实施例通过分析图像分类以及目标检测的特性，目标检测可以获取目标的坐标以及尺寸。更适合用到本发明的图片过滤、标注以及裁切。RetinaNet目标检测算法是行业内优秀的算法，实验证明RetinaNet不仅可以达到one-stage detector的速度，也能有two-stage detector的准确率，非常合适本发明使用。训练过程具体为以下四部分：

1.数据收集，通过开源数据集CIFAR-100,Pascal VOC,MS COCO等收集车辆图片数据以及标注数据。

2.数据清洗，去掉非车辆相关的图片数据，提高训练速度以及模型性能，并且去掉非乘用车数据，如：货车、公交车等。

3.基于RetinaNet目标检测算法进行模型训练,通过不断调整learning rate(学习率)来提高训练速度，调整epochs(训练次数)来提高模型准确率，以及调整batch_size(每次训练样本大小)等常用超参数来提升模型训练的性能。

4.使用训练好的模型开发检测程序提供给其他程序模块使用。

S200、获取车辆外观图像数据；

在一些实施例中，步骤S200包括S210-S230：

S210、对汽车网站中的车辆图片对应的网页结构进行分析，获取车型信息与车辆图像的映射数据；

S220、根据对所述网页结构的分析结果，通过python requests库开发适合不同网站的抓图工具；

S230、通过所述抓图工具获取所述汽车网站中的图像地址，并将图像对应的车型信息存储至工作队列。

具体地，本发明实施例通过分析各大垂直汽车网站，对车辆图片网页结构进行分析。分析各个门户网站车型信息，生成本发明的车型信息映射数据；通过第一步的分析制作基于python requests库开发适合不同网站的抓图程序；抓取到图像的地址以及车型信息保存到工作队列。

S300、通过PHash算法以及汉明距离算法对所述车辆外观图像数据进行图片去重，得到去重后的初始图像；

在一些实施例中，步骤S300包括S310-S380：

S310、将所述车辆外观图像数据的图片尺寸进行缩小；

S320、将缩小后的图片转化为灰度图；

S330、计算所述灰度图的DCT变换结果；

S340、将所述DCT变换结果缩小后计算DCT均值；

S350、根据所述DCT均值获取二值图；

S360、根据所述二值图生成各个图片对应的哈希值；

S370、通过任意两个图片的哈希值计算两个图片之间的汉明距离；

S380、根据所述汉明距离对所述车辆外观图像数据中的图片进行去重，得到去重后的初始图像。

具体地，本发明实施例可以通过布隆过滤器进行去重处理。布隆过滤器是一种巧妙的概率型数据结构(probabilistic data structure)，特点是能够高效地插入和查询。布隆过滤器是一个bit向量或者说bit数组，所需的空间小、复杂度低，大大提高了去重效率，并降低了成本。

汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个(相同长度)字对应位不同的数量，一般以d(x,y)表示两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。使用明汉距离算法计算图片指纹的距离，从而判断新图像是否已经存在。避免相似图片太多增加存储成本和数据重复度高。

S400、通过所述目标检测模型对所述初始图像进行数据清洗，得到目标图像。

在一些实施例中，步骤S400包括S410-S430：

S410、通过所述目标检测模型对所述初始图像进行检测，生成图片类别概率；

S420、根据所述图片类别概率以及所述初始图像对应的原始车辆外观图像，确定满足质量要求的目标图像；

S430、对所述目标图像进行裁切以及标注，生成存档文件。

具体地，本发明实施例通过已训练好的模型，对图片进行检测。通过检测结果对图片质量进行判断(其中，检测结果能表达图片里包含汽车的数量，如果在图片中检测不出汽车对象，或者检测出来汽车对象的数量比较多的话，则代表图片质量较低，如果检测出只有一个汽车对象的话，则代表图片质量高)。通过分类概率的高低以及检测出来的对象尺寸跟原图像之间的比例进行质量判别(例如，当图片的检测通过概率大于70％并且对象尺寸在原图像的尺寸占比大于50％时，则确定该图片为合格图片)。不合格的直接过滤掉，合格的通过检测出来的信息进行裁切和生成标注文件进行存档。

另外，本发明实施例还提供了一种基于目标检测的车辆图像过滤系统，包括：

训练模块，用于基于RetinaNet目标检测算法训练得到目标检测模型；

获取模块，用于获取车辆外观图像数据；

去重模块，用于通过PHash算法以及汉明距离算法对所述车辆外观图像数据进行图片去重，得到去重后的初始图像；

清洗过滤模块，用于通过所述目标检测模型对所述初始图像进行数据清洗，得到目标图像。

本发明实施例还提供了一种装置，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现本发明所述的方法。

本发明实施例还提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本发明所述的方法。

综上所述，本发明使用目标检测技术自动收集、清洗、标注车辆图像，不用担心人为操作失误，大大降低人工成本的同时保证高品质高精确率。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。