基于视频的车辆外观部件深度学习分割方法和系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于视频的车辆外观部件深度学习分割方法和一种基于视频的车辆外观部件深度学习分割系统。

背景技术

车辆外观部件识别是各类汽车业务中的重要一环，在譬如汽车保险理赔，分时租赁以及汽车日租的取车还车过程，都需要对车辆外观部件进行识别。目前普遍的实现方式有两种，一种是现场工作人员对待识别车辆查勘并完成车辆外观部件识别，另一种是用户拍摄照片(或视频)，用深度学习模型进行处理，例如现有技术中提出的基于深度学习的多任务车辆部件识别模型、方法和系统。

现有的系统存在以下问题：

1.单一地使用分类模型或检测模型，无法精确识别到车辆外观的所有总成部件信息，因为现实中车辆外观部件及子部件配件大小尺寸不一，部分配件细节图像相似，因此从较远距离单一图像中做定损是永远覆盖不全车辆外观部件信息的，看上去会明显弱于人眼辨识能力，而采用图像特征匹配或逻辑匹配(例如空间位置强制对应)则通常会出现匹配失败或错误，准确率低，同时对不同场景也不鲁棒(例如夜晚)；逻辑匹配则会需要用户拍摄时小心谨慎，试图通过人工刻意调整角度和距离来匹配，明显会降低用户定损采集体验。

2.在保险理赔、验车、分时租赁等实际的汽车业务应用场景中，不仅需要对车辆进行远距离的拍摄，还要求对车辆进行近距离的拍摄，而不同距离下的车辆外观精准识别是非常具有挑战的一个视觉任务。现有的系统只适用于较远距离拍摄场景，而如何在近距离情况下准确地识别车辆部件，成为影响整个车辆部件识别系统落地的难题。

3.现实中人工后台阅读理赔案件的定损图片通常是从远到近顺序阅读理解，是一个相对连续递进的过程，通常情况下在中距离或远距离条件下人眼从车辆外观图片中可以准确辨识外观部件，但随着距离不断变小，人眼辨识能力会下降，下降的原因主要是车辆细节结构很多都是相似的，当拍摄图片中仅有这些细节结构时，即使有经验的人也可能判断出多个可能的汽车位置与之对应，这是符合认知常识的，因此对于特别近距离下尤其是图片中涉及到的外观部件仅有1个或2个时，无论是后台审核人员还是深度学习模型对其辨别能力是不足的。而现在的深度学习图像识别技术成熟的多数是单张图片识别，从单张图片来看存在着较远距离容易辨识车辆外观部件但较难看见或看清损伤细节，而较近距离容易看清和辨识损伤细节但较难辨识损伤所在的车辆外观部件及其上的子部件信息的现实矛盾。

发明内容

针对上述问题，本发明提供了一种基于视频的车辆外观部件深度学习分割方法和系统，通过语义分割对起始帧图像进行分割和上色，并利用半监督视频目标分割模型，基于起始帧图像的分割上色图进行传导学习推理，实现像素级的目标追踪，从而解决不同距离下的图片部件分割识别问题，无需通过图像特征匹配和逻辑关系对不同图片的部件区域进行关联，提高了视频分割的精度和鲁棒性。

为实现上述目的，本发明提供了一种基于视频的车辆外观部件深度学习分割方法，包括：获取车辆外观部件的录制视频，确定视频中可辨识车辆外观部件的起始位置作为起始帧；将所述视频由所述起始帧开始每间隔预设数量帧取一帧图像存入预设的图像缓冲区；对所述起始帧的图像进行语义分割，并基于语义分割图像掩码标签进行上色，形成语义分割上色图片；将所述语义分割上色图片和所述图像缓冲区内其余图像输入至训练完成的半监督视频目标分割模型中进行推理分割，输出所述图像缓冲区中所有图像对应的分割图像。

在上述技术方案中，优选地，所述半监督视频目标分割模型的训练方法包括：获取车辆外观部件的录制视频，确定视频中可辨识车辆外观部件的起始位置作为起始帧；将所述视频由所述起始帧开始每间隔预设数量帧取一帧图像存入预设的图像缓冲区；对所述起始帧的图像进行语义分割，并基于语义分割图像掩码标签进行上色，形成语义分割上色图片；对所述图像缓冲区中的其余图像进行分割，并对分割后的图像进行标注；将所述语义分割上色图片以及所述图像缓冲区内的其余图像作为输入、以对应所述图像缓冲区分割和标注后的图像作为输出，对所述半监督视频目标分割模型进行训练。

在上述技术方案中，优选地，所述对所述起始帧的图像进行语义分割，并基于语义分割图像掩码标签进行上色，形成语义分割上色图片具体包括：采用语义分割算法对所述起始帧的图像进行语义分割；根据语义分割后图像的掩码标签，通过预设的转换函数对分割后的图像进行上色，上色后的图像作为语义分割上色图片。

在上述技术方案中，优选地，所述视频由所述起始帧每隔3帧取一帧图像存入所述图像缓冲区。

本发明还提出一种基于视频的车辆外观部件深度学习分割系统，应用上述技术方案中任一项提出的基于视频的车辆外观部件深度学习分割方法，包括：视频获取模块，用于获取车辆外观部件的录制视频，确定视频中可辨识车辆外观部件的起始位置作为起始帧；图像间取模块，用于将所述视频由所述起始帧开始每间隔预设数量帧取一帧图像存入预设的图像缓冲区；分割上色模块，用于对所述起始帧的图像进行语义分割，并基于语义分割图像掩码标签进行上色，形成语义分割上色图片；视频分割模块，用于将所述语义分割上色图片和所述图像缓冲区内其余图像输入至训练完成的半监督视频目标分割模型中进行推理分割，输出所述图像缓冲区中所有图像对应的分割图像。

在上述技术方案中，优选地，所述半监督视频目标分割模型的训练方法包括：获取车辆外观部件的录制视频，确定视频中可辨识车辆外观部件的起始位置作为起始帧；将所述视频由所述起始帧开始每间隔预设数量帧取一帧图像存入预设的图像缓冲区；对所述起始帧的图像进行语义分割，并基于语义分割图像掩码标签进行上色，形成语义分割上色图片；对所述图像缓冲区中的其余图像进行分割，并对分割后的图像进行标注；将所述语义分割上色图片以及所述图像缓冲区内的其余图像作为输入、以对应所述图像缓冲区分割和标注后的图像作为输出，对所述半监督视频目标分割模型进行训练。

在上述技术方案中，优选地，所述分割上色模块具体用于：采用语义分割算法对所述起始帧的图像进行语义分割；根据语义分割后图像的掩码标签，通过预设的转换函数对分割后的图像进行上色，上色后的图像作为语义分割上色图片。

在上述技术方案中，优选地，所述图像间取模块将所述视频由所述起始帧每隔3帧取一帧图像存入所述图像缓冲区。

与现有技术相比，本发明的有益效果为：通过语义分割对起始帧图像进行分割和上色，并利用半监督视频目标分割模型，基于起始帧图像的分割上色图进行传导学习推理，实现像素级的目标追踪，从而解决不同距离下的图片部件分割识别问题，无需通过图像特征匹配和逻辑关系对不同图片的部件区域进行关联，提高了视频分割的精度和鲁棒性。

附图说明

图1为本发明一种实施例公开的基于视频的车辆外观部件深度学习分割方法的流程示意图；

图2为本发明一种实施例公开的起始帧图像的分割上色示意图；

图3为本发明一种实施例公开的基于视频的车辆外观部件深度学习分割系统的示意框图。

图中，各组件与附图标记之间的对应关系为：

11.视频获取模块，12.图像间取模块，13.分割上色模块，14.视频分割模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

如图1所示，根据本发明提供的一种基于视频的车辆外观部件深度学习分割方法，包括：获取车辆外观部件的录制视频，确定视频中可辨识车辆外观部件的起始位置作为起始帧；将视频由起始帧开始每间隔预设数量帧取一帧图像存入预设的图像缓冲区；对起始帧的图像进行语义分割，并基于语义分割图像掩码标签进行上色，形成语义分割上色图片；将语义分割上色图片和图像缓冲区内其余图像输入至训练完成的半监督视频目标分割模型中进行推理分割，输出图像缓冲区中所有图像对应的分割图像。

在该实施例中，通过语义分割对起始帧图像进行分割和上色，并利用半监督视频目标分割模型，基于起始帧图像的分割上色图进行传导学习推理，实现了像素级的目标追踪，从而解决了不同距离下的图片部件分割识别问题，无需通过图像特征匹配和逻辑关系对不同图片的部件区域进行关联，提高了视频分割的精度和鲁棒性。

具体地，以针对定损的视频的分割为例，视频定损录制中捕获到“车辆外观部件可辨识图”类别，该类别可以使用深度学习分类模型获取，当前帧作为半监督视频目标分割的起始图片。预先建立一个图像缓冲区作为该视频定损的数据存储空间，假设视频帧率是30帧/s，优选地，每间隔N＝3帧取一帧图像放入图像缓冲区，这里N＝3经过实验测试，如果N取得过大会导致缓冲区图片序列像素偏移量较大，超出深度学习网络学习能力。对图像缓冲区第1帧(起始帧)进行单张图片的语义分割，并基于输出的语义分割图像掩码标签进行上色，从而转换成一张彩色的语义分割上色图片。将图像缓冲区中的图片和第1帧的语义分割上色图片输入到半监督视频目标分割模型中，推理得到图像缓冲区所有图片的视频分割图像，由此实现了从远到近的车辆外观部件及子部件配件的像素级部件识别信息。

如图2所示，具体地，图像语义分割算法，如：Deeplab、PSPNet、SegNet、FCN、DIS、IDW-CNN等，训练后对车辆图片做外观部件分割，得到分割结果。下面以Deeplab为例子阐述其原理：

1)一个深度卷积神经网络，比如VGG-16或ResNet-101，采用全卷积的方式，用多孔卷积减少信号降采样的程度(从32x降到8x)；

2)在双线性内插值阶段，增大特征地图到原始图像分辨率；

3)用条件随机场优化分割结果，更好的抓取物体边缘。

分割的意义是把各类车辆外观部件区分开的同时，给出每个部件具体的像素信息。半监督视频目标分割技术，只给出视频第1帧的正确分割掩码，然后在之后的每一连续帧中像素级地分割标注的目标，实际就是像素级的目标追踪问题，常用的有：STM、CFBI、VOT、FTMU、TVOS等。以TVOS为例，采用标签传播的方式，简单高性能、高效率，基于当前帧和历史帧和图像标签做传导学习来推理当前帧的图像标签，具有一定的短时记忆功能。

在上述实施例中，优选地，半监督视频目标分割模型的训练方法包括：获取车辆外观部件的录制视频，确定视频中可辨识车辆外观部件的起始位置作为起始帧；将视频由起始帧开始每间隔预设数量帧取一帧图像存入预设的图像缓冲区；对起始帧的图像进行语义分割，并基于语义分割图像掩码标签进行上色，形成语义分割上色图片；对图像缓冲区中的其余图像进行分割，并对分割后的图像进行标注；将语义分割上色图片以及图像缓冲区内的其余图像作为输入、以对应图像缓冲区分割和标注后的图像作为输出，对半监督视频目标分割模型进行训练。

在该实施例中，利用图像缓冲区中的图像以及上色后的起始帧图像作为输入、以预先标注后的分割图像作为输出，对半监督视频目标分割模型进行训练，训练至收敛后，在输入新的起始帧语义分割上色图片以及后续帧的视频图像后，能够推理得到后续帧的视频图像的分割图像，实现像素级的目标追踪。利用训练的半监督视频目标分割模型，能够使得车辆外观部件识别能力更加鲁棒、精度更高。

在上述实施例中，优选地，对起始帧的图像进行语义分割，并基于语义分割图像掩码标签进行上色，形成语义分割上色图片具体包括：采用语义分割算法对起始帧的图像进行语义分割；根据语义分割后图像的掩码标签，通过预设的转换函数对分割后的图像进行上色，上色后的图像作为语义分割上色图片。

如图3所示，本发明还提出一种基于视频的车辆外观部件深度学习分割系统，应用上述实施例中任一项提出的基于视频的车辆外观部件深度学习分割方法，包括：视频获取模块11，用于获取车辆外观部件的录制视频，确定视频中可辨识车辆外观部件的起始位置作为起始帧；图像间取模块12，用于将视频由起始帧开始每间隔预设数量帧取一帧图像存入预设的图像缓冲区；分割上色模块13，用于对起始帧的图像进行语义分割，并基于语义分割图像掩码标签进行上色，形成语义分割上色图片；视频分割模块14，用于将语义分割上色图片和图像缓冲区内其余图像输入至训练完成的半监督视频目标分割模型中进行推理分割，输出图像缓冲区中所有图像对应的分割图像。

在该实施例中，基于视频的车辆外观部件深度学习分割系统应用上述实施例中的车辆外观部件深度学习分割方法，通过语义分割对起始帧图像进行分割和上色，并利用半监督视频目标分割模型，基于起始帧图像的分割上色图进行传导学习推理，实现像素级的目标追踪，从而解决不同距离下的图片部件分割识别问题，无需通过图像特征匹配和逻辑关系对不同图片的部件区域进行关联，提高了视频分割的精度和鲁棒性。

在上述实施例中，优选地，半监督视频目标分割模型的训练方法包括：获取车辆外观部件的录制视频，确定视频中可辨识车辆外观部件的起始位置作为起始帧；将视频由起始帧开始每间隔预设数量帧取一帧图像存入预设的图像缓冲区；对起始帧的图像进行语义分割，并基于语义分割图像掩码标签进行上色，形成语义分割上色图片；对图像缓冲区中的其余图像进行分割，并对分割后的图像进行标注；将语义分割上色图片以及图像缓冲区内的其余图像作为输入、以对应图像缓冲区分割和标注后的图像作为输出，对半监督视频目标分割模型进行训练。

在该实施例中，利用图像缓冲区中的图像以及上色后的起始帧图像作为输入、以预先标注后的分割图像作为输出，对半监督视频目标分割模型进行训练，训练至收敛后，在输入新的起始帧语义分割上色图片以及后续帧的视频图像后，能够推理得到后续帧的视频图像的分割图像，实现像素级的目标追踪。利用训练的半监督视频目标分割模型，能够使得车辆外观部件识别能力更加鲁棒、精度更高。

在上述实施例中，优选地，分割上色模块具体用于：采用语义分割算法对起始帧的图像进行语义分割；根据语义分割后图像的掩码标签，通过预设的转换函数对分割后的图像进行上色，上色后的图像作为语义分割上色图片。

在上述实施例中，优选地，图像间取模块将视频由起始帧每隔3帧取一帧图像存入图像缓冲区。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。