车辆伤损识别方法、装置、设备及存储介质

技术领域

本申请涉及计算机视觉领域，具体而言，涉及一种车辆伤损识别方法、装置、设备及存储介质。

背景技术

得益于深度学习的飞速发展，计算机视觉的商业价值逐渐在安防、互联网、工业制造等多个领域得到体现。迁移、改造、创新人工智能算法，同样可适用于车辆定损的辅助分析中。AI可以帮助提高确定车辆损伤的效率和准确性。目前现有车辆定损流程为：根据用户现场拍摄车损的图片来识别判断车损状况。可以提升用户体验并且降低保险公司的成本。

目前智能定损的最大难点在于车辆损伤的识别具有较高精度的要求，不仅要求精确定位出损伤位置，还要判断损伤类别，而目前现有定损方案中对车辆伤损的精度不高。

发明内容

本申请实施例的目的在于提供一种车辆伤损识别方法、装置、设备及存储介质，用以提高车辆伤损识别的精确度。

为此，本申请第一方面公开一种车辆伤损识别方法，所述方法包括：

获取待监测车辆的伤损图片；

根据神经网络提取所述待监测车辆的伤损图片的图像特征；

根据所述图像特征确定所述伤损图片中的若干个伤损候选区域；

根据实例分割模型对所述带有所述若干个伤损候选区域的所述伤损图片进行处理，以使得所述实例分割模型输出所述待监测车辆的损伤检测结果，所述损伤检测结果包括至少一个损伤的信息，所述损伤的信息包括所述损伤的类别和位置信息。

在本申请第一方面中，通过获取待监测车辆的伤损图片，进而能够根据神经网络提取待监测车辆的伤损图片的图像特征，进而能够根据图像特征确定伤损图片中的若干个伤损候选区域，进而能够根据实例分割模型对带有若干个伤损候选区域的伤损图片进行处理，以使得实例分割模型输出待监测车辆的损伤检测结果，损伤检测结果包括至少一个损伤的信息，损伤的信息包括损伤的类别和位置信息。与现有技术相比，本申请实施例能够利用实例分割模型对伤损图片进行处理，使得伤损定位到图像的每个像素点，进而能够提高车辆伤损的识别定位精确度。

在本申请第一方面中，作为一种可选的实施方式，所述实例分割模型包括分类分支网络、边框回归分支网络、mask预测分支网络；

以及，所述根据所述图像特征确定所述伤损图片中的若干个伤损候选区域，包括：

根据所述分类分支网络对所述伤损图片中的所述若干个伤损候选区域进行分类，得到第一预测结果；

根据所述边框回归分支网络对所述伤损图片中的所述若干个伤损候选区域进行边框回归处理，得到第二预测结果；

根据所述mask预测分支网络对所述伤损图片中的所述若干个伤损候选区域进行mask预测，以得第三预测结果；

根据所述第一预测结果、所述第二预测结果、所述第三预测结果输出所述待监测车辆的损伤检测结果。

在本可选的实施方式中，通过分类分支网络对伤损图片中的若干个伤损候选区域进行分类，进而能够得到第一预测结果；根据边框回归分支网络对伤损图片中的若干个伤损候选区域进行边框回归处理，进而能够得到第二预测结果；再一方面，根据mask预测分支网络对伤损图片中的若干个伤损候选区域进行mask预测，进而能够得第三预测结果，从而根据第一预测结果、第二预测结果、第三预测结果输出待监测车辆的损伤检测结果。

在本申请第一方面中，作为一种可选的实施方式，所述mask预测分支网络包括若干个深度可分卷积网络和一个反卷积网络；

以及，所述根据所述mask预测分支网络对所述伤损图片中的所述若干个伤损候选区域进行mask预测，以得第三预测结果，包括：

将所述伤损图片中的所述若干个伤损候选区域作为所述反卷积网络的输入，以使得所述反卷积网络输出所述伤损图片中的所述若干个伤损候选区域的浅层特征；

根据所述若干个深度可分卷积网络对所述伤损图片中的所述若干个伤损候选区域进行处理，以输出所述伤损图片中的所述若干个伤损候选区域的深层特征；

根据所述浅层特征、所述深层特征得到所述第三预测结果。

在可选的实施方式中，通过将伤损图片中的所述若干个伤损候选区域作为反卷积网络的输入，进而能够通过反卷积网络对伤损图片中的所述若干个伤损候选区域进行采样操作，以提取浅层特征，另一方面，通过若干个深度可分卷积网络可提取深层特征，这样一来，就能够将浅层特征和深层特征融合并基于融合后的输出进行识别定位，其中，由于浅层特征无需经过多层连续卷积，进而能够增强图像中的空间位置信息的传递，进而提高车辆伤损的识别定位精确度，尤其是对于车辆的小伤损有更优的识别定位精确度。

在本申请第一方面中，作为一种可选的实施方式，所述分类分支网络包括sigmod函数；

以及，所述根据所述分类分支网络对所述伤损图片中的所述若干个伤损候选区域进行分类，得到第一预测结果，包括：

根据所述sigmod函数对所述伤损图片中的所述若干个伤损候选区域进行分类，得到所述第一预测结果。

在本可选的实施方式中，由于分类分支网络使用了sigmod函数，进而能够避免softmax分类函数所造成的类间竞争问题，进而将每个伤损类别分别独立预测，从而解耦每个伤损类别的预测，从而进一步提高伤损识别定位的精确度。

在本申请第一方面中，作为一种可选的实施方式，所述分类分支网络还包括损失函数，所述损失函数的计算式为：

L

以及，

其中，L表示交叉熵损失函数。L

在本申请第一方面中，作为一种可选的实施方式，所述损伤的类别为剐蹭、划伤、边角变形、非边角变形、死褶、开裂、破裂、位移、部分缺失、完全缺失、灯具破损、玻璃破损、严重损伤中的一种。

在本可选的实施方式中，损伤的类别为剐蹭、划伤、边角变形、非边角变形、死褶、开裂、破裂、位移、部分缺失、完全缺失、灯具破损、玻璃破损、严重损伤中的一种，即与现有技术相比，本可选的实施方式能够识别定位更多类型的伤损类型，以进一步提高伤损识别定位的精细度。

本申请第二方面公开一种车辆伤损识别装置，所述装置包括：

获取模块，用于获取待监测车辆的伤损图片；

提取模块，用于根据神经网络提取所述待监测车辆的伤损图片的图像特征；

确定模块，用于根据所述图像特征确定所述伤损图片中的若干个伤损候选区域；

识别模块，用于根据实例分割模型对所述带有所述若干个伤损候选区域的所述伤损图片进行处理，以使得所述实例分割模型输出所述待监测车辆的损伤检测结果，所述损伤检测结果包括至少一个损伤的信息，所述损伤的信息包括所述损伤的类别和位置信息。

本申请第二方面的装置通过执行车辆伤损识别方法，进而能够待监测车辆的伤损图片，进而能够根据神经网络提取待监测车辆的伤损图片的图像特征，进而能够根据图像特征确定伤损图片中的若干个伤损候选区域，进而能够根据实例分割模型对带有若干个伤损候选区域的伤损图片进行处理，以使得实例分割模型输出待监测车辆的损伤检测结果，损伤检测结果包括至少一个损伤的信息，损伤的信息包括损伤的类别和位置信息。与现有技术相比，本申请实施例能够利用实例分割模型对伤损图片进行处理，使得伤损定位到图像的每个像素点，进而能够提高车辆伤损的识别定位精确度。

在本申请第二方面中，作为一种可选的实施方式，所述实例分割模型包括分类分支网络、边框回归分支网络、mask预测分支网络；

以及，所述确定模块包括：

分类子模块，用于根据所述分类分支网络对所述伤损图片中的所述若干个伤损候选区域进行分类，得到第一预测结果；

边框回归处理子模块，用于根据所述边框回归分支网络对所述伤损图片中的所述若干个伤损候选区域进行边框回归处理，得到第二预测结果；

预测子模块，用于根据所述mask预测分支网络对所述伤损图片中的所述若干个伤损候选区域进行mask预测，以得第三预测结果；

输出模块，用于根据所述第一预测结果、所述第二预测结果、所述第三预测结果输出所述待监测车辆的损伤检测结果。

通过分类分支网络对伤损图片中的若干个伤损候选区域进行分类，进而能够得到第一预测结果；根据边框回归分支网络对伤损图片中的若干个伤损候选区域进行边框回归处理，进而能够得到第二预测结果；再一方面，根据mask预测分支网络对伤损图片中的若干个伤损候选区域进行mask预测，进而能够得第三预测结果，从而根据第一预测结果、第二预测结果、第三预测结果输出待监测车辆的损伤检测结果。

本申请第三方面公开一种车辆伤损识别设备，所述设备包括：

处理器；以及

存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，使得所述处理器执行本申请第一方面的车辆伤损识别方法。

本申请第三方面的设备通过执行车辆伤损识别方法，进而能够待监测车辆的伤损图片，进而能够根据神经网络提取待监测车辆的伤损图片的图像特征，进而能够根据图像特征确定伤损图片中的若干个伤损候选区域，进而能够根据实例分割模型对带有若干个伤损候选区域的伤损图片进行处理，以使得实例分割模型输出待监测车辆的损伤检测结果，损伤检测结果包括至少一个损伤的信息，损伤的信息包括损伤的类别和位置信息。与现有技术相比，本申请实施例能够利用实例分割模型对伤损图片进行处理，使得伤损定位到图像的每个像素点，进而能够提高车辆伤损的识别定位精确度。

本申请第四方面公开一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行本申请第一方面的车辆伤损识别方法。

本申请第四方面的存储介质通过执行车辆伤损识别方法，进而能够待监测车辆的伤损图片，进而能够根据神经网络提取待监测车辆的伤损图片的图像特征，进而能够根据图像特征确定伤损图片中的若干个伤损候选区域，进而能够根据实例分割模型对带有若干个伤损候选区域的伤损图片进行处理，以使得实例分割模型输出待监测车辆的损伤检测结果，损伤检测结果包括至少一个损伤的信息，损伤的信息包括损伤的类别和位置信息。与现有技术相比，本申请实施例能够利用实例分割模型对伤损图片进行处理，使得伤损定位到图像的每个像素点，进而能够提高车辆伤损的识别定位精确度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例公开的一种车辆伤损识别方法的流程示意图；

图2是现有技术中的一种mask预测分支网络的结构示意图；

图3是本申请实施例公开的一种mask预测分支网络的结构示意图；

图4是本申请实施例公开的一种车辆伤损识别装置的结构示意图；

图5是本申请实施例公开的一种车辆伤损识别设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

实施例一

请参阅图1，图1是本申请实施例公开的一种车辆伤损识别方法的流程示意图。如图1所示，本申请实施例的方法包括步骤：

101、获取待监测车辆的伤损图片；

102、根据神经网络提取待监测车辆的伤损图片的图像特征；

103、根据图像特征确定伤损图片中的若干个伤损候选区域；

104、根据实例分割模型对带有若干个伤损候选区域的伤损图片进行处理，以使得实例分割模型输出待监测车辆的损伤检测结果，损伤检测结果包括至少一个损伤的信息，损伤的信息包括损伤的类别和位置信息。

在本申请实施例中，通过获取待监测车辆的伤损图片，进而能够根据神经网络提取待监测车辆的伤损图片的图像特征，进而能够根据图像特征确定伤损图片中的若干个伤损候选区域，进而能够根据实例分割模型对带有若干个伤损候选区域的伤损图片进行处理，以使得实例分割模型输出待监测车辆的损伤检测结果，损伤检测结果包括至少一个损伤的信息，损伤的信息包括损伤的类别和位置信息。与现有技术相比，本申请实施例能够利用实例分割模型对伤损图片进行处理，使得伤损定位到图像的每个像素点，进而能够提高车辆伤损的识别定位精确度。

在本申请实施例中，作为一种示例，图像特征可以是括颜色、纹理、形状等特征中的一种或者组合。另一方面，候选区域是指目前不能确定该区域就是发生伤损的区域。

在本申请实施例中，在具有图像特征的图像上的每个像素点取9个大小比例不同的候选框，其中，候选框圈定的区域为伤损候选区域。

在本申请实施例中，实例分割模型为MASKRCNN。

在本申请实施例中，作为一种可选的实施方式，实例分割模型包括分类分支网络、边框回归分支网络、mask预测分支网络；

以及，步骤：根据图像特征确定伤损图片中的若干个伤损候选区域，包括：

根据分类分支网络对伤损图片中的若干个伤损候选区域进行分类，得到第一预测结果；

根据边框回归分支网络对伤损图片中的若干个伤损候选区域进行边框回归处理，得到第二预测结果；

根据mask预测分支网络对伤损图片中的若干个伤损候选区域进行mask预测，以得第三预测结果；

根据第一预测结果、第二预测结果、第三预测结果输出待监测车辆的损伤检测结果。

在本可选的实施方式中，通过分类分支网络对伤损图片中的若干个伤损候选区域进行分类，进而能够得到第一预测结果；根据边框回归分支网络对伤损图片中的若干个伤损候选区域进行边框回归处理，进而能够得到第二预测结果；再一方面，根据mask预测分支网络对伤损图片中的若干个伤损候选区域进行mask预测，进而能够得第三预测结果，从而根据第一预测结果、第二预测结果、第三预测结果输出待监测车辆的损伤检测结果。

在本申请实施例中，根据分类分支网络对伤损图片中的若干个伤损候选区域进行分类，得到第一预测结果的具体方式为：

分类分支网络根据每个候选区域(即候选框)的特征计算候选区域属于每个类别的得分，其中，将得分最高的类别作为候选区域的类别。例如，分类分支网络根据每个候选区域(即候选框)的颜色、纹理、形状计算候选区域属于伤损类别的得分，其中，将得分最高的伤损类别作为候选区域的伤损类别。

需要说明的是候选区域的伤损类别指剐蹭、划伤、边角变形、非边角变形、死褶、开裂、破裂、位移、部分缺失、完全缺失、灯具破损、玻璃破损、严重损伤中的一种。

在本申请实施例中，边框回归分支网络对伤损图片中的若干个伤损候选区域进行边框回归处理，得到第二预测结果的具体方式为：

通过边框回归分支网络确定哪些候选框更接近真实伤损发生位置的框，并不断的调整候选框的位置来更接近真实伤损框的位置，最终将最优的候选框圈定的区域作为第二预测结果。进一步地，边框回归分支网络确定哪些候选框更接近真实伤损发生位置的框可通过非极大值抑制(Non-Maximum Suppression，NMS)来筛选冗余的框并确定哪些候选框更接近真实伤损发生位置的框。需要说明的是，若干个伤损候选区域的数量可以是2个、3个。

在本申请实施例中，作为一种可选的实施方式，mask预测分支网络包括若干个深度可分卷积网络和一个反卷积网络；

以及，根据mask预测分支网络对伤损图片中的若干个伤损候选区域进行mask预测，以得第三预测结果，包括：

将伤损图片中的若干个伤损候选区域作为反卷积网络的输入，以使得反卷积网络输出伤损图片中的若干个伤损候选区域的浅层特征；

根据若干个深度可分卷积网络对伤损图片中的若干个伤损候选区域进行处理，以输出伤损图片中的若干个伤损候选区域的深层特征；

根据浅层特征、深层特征得到第三预测结果。

在可选的实施方式中，通过将伤损图片中的若干个伤损候选区域作为反卷积网络的输入，进而能够通过反卷积网络对伤损图片中的若干个伤损候选区域进行采样操作，以提取浅层特征，另一方面，通过若干个深度可分卷积网络可提取深层特征，这样一来，就能够将浅层特征和深层特征融合并基于融合后的输出进行识别定位，其中，由于浅层特征无需经过多层连续卷积，进而能够增强图像中的空间位置信息的传递，进而提高车辆伤损的识别定位精确度，尤其是对于车辆的小伤损有更优的识别定位精确度。

在本可选的实施方式中，作为一种示例，如图2、图3所示，现有技术中的mask预测分支网络仅包括若干个深度可分卷积网络，而本申请实施例的mask预测分支网络包括若干个深度可分卷积网络和一个反卷积网络，具体地，包括4个深度可分卷积网络。

在本申请实施例中，作为一种可选的实施方式，分类分支网络包括sigmod函数；

以及，步骤：根据分类分支网络对伤损图片中的若干个伤损候选区域进行分类，得到第一预测结果，包括：

根据sigmod函数对伤损图片中的若干个伤损候选区域进行分类，得到第一预测结果。

在本可选的实施方式中，由于分类分支网络使用了sigmod函数，进而能够避免softmax分类函数所造成的类间竞争问题，进而将每个伤损类别分别独立预测，从而解耦每个伤损类别的预测，从而进一步提高伤损识别定位的精确度。

在本申请实施例中，作为一种可选的实施方式，分类分支网络还包括损失函数，损失函数的计算式为：

L

以及，

其中，L表示交叉熵损失函数。L

在本可选的实施方式中，通过将L

在本申请第一方面中，作为一种可选的实施方式，损伤的类别为剐蹭、划伤、边角变形、非边角变形、死褶、开裂、破裂、位移、部分缺失、完全缺失、灯具破损、玻璃破损、严重损伤中的一种。

在本可选的实施方式中，损伤的类别为剐蹭、划伤、边角变形、非边角变形、死褶、开裂、破裂、位移、部分缺失、完全缺失、灯具破损、玻璃破损、严重损伤中的一种，即与现有技术相比，本可选的实施方式能够识别定位更多类型的伤损类型，以进一步提高伤损识别定位的精细度。

实施例二

请参阅图4，图4是本申请实施例公开的一种车辆伤损识别装置的结构示意图。如图4所示，本申请实施例的装置包括：

获取模块201，用于获取待监测车辆的伤损图片；

提取模块202，用于根据神经网络提取待监测车辆的伤损图片的图像特征；

确定模块203，用于根据图像特征确定伤损图片中的若干个伤损候选区域；

识别模块204，用于根据实例分割模型对带有若干个伤损候选区域的伤损图片进行处理，以使得实例分割模型输出待监测车辆的损伤检测结果，损伤检测结果包括至少一个损伤的信息，损伤的信息包括损伤的类别和位置信息。

本申请实施例的装置通过执行车辆伤损识别方法，进而能够待监测车辆的伤损图片，进而能够根据神经网络提取待监测车辆的伤损图片的图像特征，进而能够根据图像特征确定伤损图片中的若干个伤损候选区域，进而能够根据实例分割模型对带有若干个伤损候选区域的伤损图片进行处理，以使得实例分割模型输出待监测车辆的损伤检测结果，损伤检测结果包括至少一个损伤的信息，损伤的信息包括损伤的类别和位置信息。与现有技术相比，本申请实施例能够利用实例分割模型对伤损图片进行处理，使得伤损定位到图像的每个像素点，进而能够提高车辆伤损的识别定位精确度。

在本申请实施例中，作为一种可选的实施方式，实例分割模型包括分类分支网络、边框回归分支网络、mask预测分支网络；

以及，确定模块包括：

分类子模块，用于根据分类分支网络对伤损图片中的若干个伤损候选区域进行分类，得到第一预测结果；

边框回归处理子模块，用于根据边框回归分支网络对伤损图片中的若干个伤损候选区域进行边框回归处理，得到第二预测结果；

预测子模块，用于根据mask预测分支网络对伤损图片中的若干个伤损候选区域进行mask预测，以得第三预测结果；

输出模块，用于根据第一预测结果、第二预测结果、第三预测结果输出待监测车辆的损伤检测结果。

通过分类分支网络对伤损图片中的若干个伤损候选区域进行分类，进而能够得到第一预测结果；根据边框回归分支网络对伤损图片中的若干个伤损候选区域进行边框回归处理，进而能够得到第二预测结果；再一方面，根据mask预测分支网络对伤损图片中的若干个伤损候选区域进行mask预测，进而能够得第三预测结果，从而根据第一预测结果、第二预测结果、第三预测结果输出待监测车辆的损伤检测结果。

需要说明的是，关于本申请实施例的其他说明，请参照本申请实施例一的详细描述，本申请实施例对此不作赘述。

实施例三

请参阅图5，图5是本申请实施例公开的一种车辆伤损识别装置的结构示意图。如图5所示，本申请实施例的装置包括：

处理器301；以及

存储器302，配置用于存储机器可读指令，指令在由处理器301执行时，使得处理器301执行本申请实施例一的车辆伤损识别方法。

本申请实施例的设备通过执行车辆伤损识别方法，进而能够待监测车辆的伤损图片，进而能够根据神经网络提取待监测车辆的伤损图片的图像特征，进而能够根据图像特征确定伤损图片中的若干个伤损候选区域，进而能够根据实例分割模型对带有若干个伤损候选区域的伤损图片进行处理，以使得实例分割模型输出待监测车辆的损伤检测结果，损伤检测结果包括至少一个损伤的信息，损伤的信息包括损伤的类别和位置信息。与现有技术相比，本申请实施例能够利用实例分割模型对伤损图片进行处理，使得伤损定位到图像的每个像素点，进而能够提高车辆伤损的识别定位精确度。

实施例四

本申请实施例公开一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行本申请实施例一的车辆伤损识别方法。

本申请实施例的存储介质通过执行车辆伤损识别方法，进而能够待监测车辆的伤损图片，进而能够根据神经网络提取待监测车辆的伤损图片的图像特征，进而能够根据图像特征确定伤损图片中的若干个伤损候选区域，进而能够根据实例分割模型对带有若干个伤损候选区域的伤损图片进行处理，以使得实例分割模型输出待监测车辆的损伤检测结果，损伤检测结果包括至少一个损伤的信息，损伤的信息包括损伤的类别和位置信息。与现有技术相比，本申请实施例能够利用实例分割模型对伤损图片进行处理，使得伤损定位到图像的每个像素点，进而能够提高车辆伤损的识别定位精确度。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。