一种车载相机的语义分割方法、装置及设备

技术领域

本申请涉及车辆技术领域，尤其涉及一种车载相机的语义分割方法、装置及设备。

背景技术

随着人们生活水平的提高和社会经济的快速发展，汽车的使用率逐渐增高，越来越多的汽车走进了人们的生活，为人们生活的各个方面都带来了极大的便利。其中，随着智能驾驶技术的快速发展，人们对自动驾驶车辆的接受和需求度正在逐渐提升。

目前，视觉感知中的语义分割方法作为自动驾驶车辆的重要功能受到越来越多的关注。由于语义分割方法是一个稠密的分类问题，如何在对实时性要求较高的场景中取得较好的分类准确度，仍旧是一个困难且亟待解决的问题，尤其是对搭载多目相机系统且计算资源有限的自动驾驶车辆中。目前主流的自动驾驶车辆上通常会搭载由多个不同视角的相机构成的多目视觉系统。为了能够得到这多个相机的语义分割结果，传统方法通常分别对多个相机采集到的视频序列进行独立处理，这会导致多个相机获取的可解释性信息无法关联，进而导致单个相机的语义分割结果不够，且分割的实时性较差。

发明内容

本申请实施例的主要目的在于提供一种车载相机的语义分割方法、装置及设备，能够利用不同相机之间的语义共享与融合，实现不同相机语义分割结果间的优势互补，从而提升了语义分割结果的精确性和实时性。

本申请实施例提供了一种车载相机的语义分割方法，包括：

通过目标车辆上第一视角的车载相机获取第一目标图像；以及通过所述目标车辆上第二视角的车载相机获取第二目标图像；所述第一视角和第二视角是不同的；

将第一目标图像进行视角转换，得到第二视角的转换后的第一目标图像；以及将第二目标图像进行视角转换，得到第一视角的转换后的第二目标图像；

利用光流变换，弥补所述第二视角的转换后的第一目标图像的畸变损失，得到弥补后的第一目标图像；以及利用光流变换，弥补所述第一视角的转换后的第二目标图像的畸变损失，得到弥补后的第二目标图像；

将所述弥补后的第一目标图像的特征图、所述第一目标图像的特征图以及所述第二目标图像的特征图进行语义融合，并根据得到的融合结果确定所述第二目标图像的语义分割结果；

将所述弥补后的第二目标图像的特征图、所述第二目标图像的语义分割结果以及所述第一目标图像的特征图进行语义融合，并根据得到的融合结果确定所述第一目标图像的语义分割结果。

在一种可选的实现方式中，所述第一视角的车载相机为120度水平视角的车载相机；所述第二视角的车载相机为60度水平视角的车载相机。

在一种可选的实现方式中，所述将所述弥补后的第一目标图像的特征图、所述第一目标图像的特征图以及所述第二目标图像的特征图进行语义融合，并根据得到的融合结果确定所述第二目标图像的语义分割结果，包括：

将所述弥补后的第一目标图像的特征图和所述第一目标图像的特征图相乘，并将相乘后得到的特征图与所述第二目标图像的特征图进行拼接，得到拼接后的特征图；

将所述拼接后的特征图经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第二目标图像的语义分割结果；或者，将所述拼接后的特征图先经过一个标准的带有3×3卷积的残差结构，再经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第二目标图像的语义分割结果。

在一种可选的实现方式中，所述将所述弥补后的第二目标图像的特征图、所述第二目标图像的语义分割结果以及所述第一目标图像的特征图进行语义融合，并根据得到的融合结果确定所述第一目标图像的语义分割结果，包括：

将所述弥补后的第二目标图像的特征图和所述第二目标图像的语义分割结果相乘，并将相乘后得到的特征图与所述第一目标图像的特征图进行拼接，得到拼接后的特征图；

将所述拼接后的特征图经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第一目标图像的语义分割结果；或者，将所述拼接后的特征图先经过一个标准的带有3×3卷积的残差结构，再经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第一目标图像的语义分割结果。

对应于上述车载相机的语义分割方法，本申请提出了一种车载相机的语义分割装置，包括：

获取单元，用于通过目标车辆上第一视角的车载相机获取第一目标图像；以及通过所述目标车辆上第二视角的车载相机获取第二目标图像；所述第一视角和第二视角是不同的；

转换单元，用于将第一目标图像进行视角转换，得到第二视角的转换后的第一目标图像；以及将第二目标图像进行视角转换，得到第一视角的转换后的第二目标图像；

弥补单元，用于利用光流变换，弥补所述第二视角的转换后的第一目标图像的畸变损失，得到弥补后的第一目标图像；以及利用光流变换，弥补所述第一视角的转换后的第二目标图像的畸变损失，得到弥补后的第二目标图像；

第一确定单元，用于将所述弥补后的第一目标图像的特征图、所述第一目标图像的特征图以及所述第二目标图像的特征图进行语义融合，并根据得到的融合结果确定所述第二目标图像的语义分割结果；

第二确定单元，用于将所述弥补后的第二目标图像的特征图、所述第二目标图像的语义分割结果以及所述第一目标图像的特征图进行语义融合，并根据得到的融合结果确定所述第一目标图像的语义分割结果。

在一种可选的实现方式中，所述第一视角的车载相机为120度水平视角的车载相机；所述第二视角的车载相机为60度水平视角的车载相机。

在一种可选的实现方式中，所述第一确定单元包括：

第一相乘子单元，用于将所述弥补后的第一目标图像的特征图和所述第一目标图像的特征图相乘，并将相乘后得到的特征图与所述第二目标图像的特征图进行拼接，得到拼接后的特征图；

第一确定子单元，用于将所述拼接后的特征图经过的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第二目标图像的语义分割结果；或者，将所述拼接后的特征图先经过一个标准的带有卷积的残差结构，再经过的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第二目标图像的语义分割结果。

在一种可选的实现方式中，所述第二确定单元包括：

第二相乘子单元，用于将所述弥补后的第二目标图像的特征图和所述第二目标图像的语义分割结果相乘，并将相乘后得到的特征图与所述第一目标图像的特征图进行拼接，得到拼接后的特征图；

第二确定子单元，用于将所述拼接后的特征图经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第一目标图像的语义分割结果；或者，将所述拼接后的特征图先经过一个标准的带有3×3卷积的残差结构，再经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第一目标图像的语义分割结果。

本申请实施例还提供了一种车载相机的语义分割设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述车载相机的语义分割方法中的任意一种实现方式。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述车载相机的语义分割方法中的任意一种实现方式。

由此可见，本申请实施例具有如下有益效果：

本申请实施例提供一种车载相机的语义分割方法、装置及设备，首先通过目标车辆上第一视角的车载相机获取第一目标图像；以及通过目标车辆上第二视角的车载相机获取第二目标图像；其中，第一视角和第二视角是不同的，然后，将第一目标图像进行视角转换，得到第二视角的转换后的第一目标图像；以及将第二目标图像进行视角转换，得到第一视角的转换后的第二目标图像；接着，利用光流变换，弥补第二视角的转换后的第一目标图像的畸变损失，得到弥补后的第一目标图像；以及利用光流变换，弥补第一视角的转换后的第二目标图像的畸变损失，得到弥补后的第二目标图像；进而可以将弥补后的第一目标图像的特征图、第一目标图像的特征图以及第二目标图像的特征图进行语义融合，并根据得到的融合结果确定第二目标图像的语义分割结果，再将弥补后的第二目标图像的特征图、第二目标图像的语义分割结果以及第一目标图像的特征图进行语义融合，并根据得到的融合结果确定第一目标图像的语义分割结果。从而能够利用不同视角的车载相机之间的语义共享与融合，实现各个相机语义分割结果间的优势互补，进而提升了语义分割结果的精确性和实时性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种车载相机的语义分割方法的流程图；

图2为本申请实施例提供的车载相机的语义分割的整体示意图；

图3为本申请实施例提供的一种车载相机的语义分割装置的组成示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

众所周知，随着云计算、人工智能、现代传感、信息融合、通信以及自动控制等高新技术的不断进步，自动驾驶车辆未来发展速度将加快，同时人们对自动驾驶车辆的接受和需求度也正在逐渐提升。

目前主流的自动驾驶车辆上通常会搭载由多个不同视角的相机构成的多目视觉系统，为了能够得到多个相机的语义分割结果，传统方法通常分别对多个相机采集到的视频序列进行独立处理，这会导致网络的可解释性仍主要取决于单个网络的设计，而多个相机获取的可解释性信息无法关联，进而导致单个相机的语义分割结果不够准确。

基于此，本申请提出了一种车载相机的语义分割方法、装置及设备，能够利用不同相机之间的语义共享与融合，实现不同相机语义分割结果间的优势互补，从而提升了语义分割结果的精确性和实时性。

以下将结合附图对本申请实施例提供的车载相机的语义分割方法进行详细说明。参见图1所示，其示出了本申请实施例提供的一种车载相机的语义分割方法实施例的流程图，本实施例可以包括以下步骤：

S101：通过目标车辆上第一视角的车载相机获取第一目标图像；以及通过目标车辆上第二视角的车载相机获取第二目标图像；其中，第一视角和第二视角是不同的。

在本实施例中，将利用本申请实施例的方法实现车载相机的语义分割的任一自动驾驶车辆定义为目标车辆，为了实现对目标车辆上不同视角的车载相机的语义分割，提高各个语义分割结果的精确性和实时性，本申请提出首先需要通过目标车辆上第一视角的车载相机获取第一目标图像；以及通过目标车辆上第二视角的车载相机获取第二目标图像，用以执行后续步骤S102。

其中，第一视角和第二视角是不同的，一种可选的实现方式是，第一视角的车载相机可以为120度水平视角的车载相机；第二视角的车载相机可以为60度水平视角的车载相机。则第一目标图像可以是如图2所示的I

需要说明的是，后续本申请将以目标车辆上的双目视觉系统为例，对本申请提供的车载相机的语义分割方法进行介绍，具体的，后续将以第一视角的车载相机为120°水平视角的车载相机(即cam-120)，第二视角的车载相机为60°水平视角的车载相机(即am-60)为例，对本申请提供的车载相机的语义分割方法进行介绍，其他结构和视角的车载相机的语义分割方式不再一一赘述，参考实现即可。

S102：将第一目标图像进行视角转换，得到第二视角的转换后的第一目标图像；以及将第二目标图像进行视角转换，得到第一视角的转换后的第二目标图像。

在本实施例中，为了实现对对目标车辆上不同视角的车载相机的语义分割，提高各个语义分割结果的精确性和实时性，在通过步骤S101获取到第一目标图像和第二目标图像后，进一步可以将第一目标图像进行视角转换，得到第二视角的转换后的第一目标图像；以及将第二目标图像进行视角转换，得到第一视角的转换后的第二目标图像。

具体来讲，如图2所示，利用Cam-120相机获取到第一目标图像(I

其中，H表示将cam-120图像映射到cam-60图像的单应性矩阵，K

S103：利用光流变换，弥补第二视角的转换后的第一目标图像的畸变损失，得到弥补后的第一目标图像；以及利用光流变换，弥补第一视角的转换后的第二目标图像的畸变损失，得到弥补后的第二目标图像。

在本实施例中，在通过步骤S102确定出得到第二视角的转换后的第一目标图像和第一视角的转换后的第二目标图像后，进一步可以利用光流变换，弥补第二视角的转换后的第一目标图像的畸变损失，得到弥补后的第一目标图像；以及利用光流变换，弥补第一视角的转换后的第二目标图像的畸变损失，得到弥补后的第二目标图像，用以执行后续步骤S104。

例如，如图2所示，第一目标图像(I

这样，实现了在不同视角的第一目标图像和第二目标图像之间建立了映射和匹配关系，用以执行后续步骤S104。

S104：将弥补后的第一目标图像的特征图、第一目标图像的特征图以及第二目标图像的特征图进行语义融合，并根据得到的融合结果确定第二目标图像的语义分割结果。

在本实施例中，在通过步骤S103得到弥补后的第一目标图像和弥补后的第二目标图像后，进一步可以将弥补后的第一目标图像的特征图(如图2中Warp

其中，第一目标图像(如图2的I

具体来讲，一种可选的实现方式是，本步骤S104的实现过程可以包括下述步骤A1-A2：

步骤A1：将弥补后的第一目标图像的特征图和第一目标图像的特征图相乘，并将相乘后得到的特征图与第二目标图像的特征图进行拼接，得到拼接后的特征图。

具体来讲，在本实现方式中，如图2所示，可以将弥补后的第一目标图像的特征图(如图2中Warp

步骤A2：将拼接后的特征图经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据语义融合结果，确定第二目标图像的语义分割结果；或者，将拼接后的特征图先经过一个标准的带有3×3卷积的残差结构，再经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据语义融合结果，确定第二目标图像的语义分割结果。

在本实现方式中，如图2所示，通过步骤A1将弥补后的第一目标图像的特征图(如图2中Warp

S105：将弥补后的第二目标图像的特征图、第二目标图像的语义分割结果以及第一目标图像的特征图进行语义融合，并根据得到的融合结果确定第一目标图像的语义分割结果。

在本实施例中，在通过步骤S104得到第二目标图像的语义分割结果后，进一步可以将弥补后的第二目标图像的特征图(如图2中Warp

具体来讲，一种可选的实现方式是，本步骤S105的实现过程可以包括下述步骤B1-B2：

步骤B1：将弥补后的第二目标图像的特征图和第二目标图像的语义分割结果相乘，并将相乘后得到的特征图与第一目标图像的特征图进行拼接，得到拼接后的特征图。

具体来讲，在本实现方式中，如图2所示，可以将弥补后的第二目标图像的特征图(如图2中Warp

步骤B2：将拼接后的特征图经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据语义融合结果，确定第一目标图像的语义分割结果；或者，将拼接后的特征图先经过一个标准的带有3×3卷积的残差结构，再经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据语义融合结果，确定第一目标图像的语义分割结果。

在本实现方式中，如图2所示，通过步骤B1将弥补后的第二目标图像的特征图(如图2中Warp

这样，通过执行上述步骤S101-105，在具有公共视野但视角不同的车载相机之间建立图像数据关联，利用不同车载相机之间的语义共享与融合，提升了现有多目标语义分割模型在结构和结果上的可解释性，实现了不同相机语义分割结果间的优势互补，从而提升了语义分割结果的精确性和实时性。

综上，本实施例提供的一种车载相机的语义分割方法，首先通过目标车辆上第一视角的车载相机获取第一目标图像；以及通过目标车辆上第二视角的车载相机获取第二目标图像；其中，第一视角和第二视角是不同的，然后，将第一目标图像进行视角转换，得到第二视角的转换后的第一目标图像；以及将第二目标图像进行视角转换，得到第一视角的转换后的第二目标图像；接着，利用光流变换，弥补第二视角的转换后的第一目标图像的畸变损失，得到弥补后的第一目标图像；以及利用光流变换，弥补第一视角的转换后的第二目标图像的畸变损失，得到弥补后的第二目标图像；进而可以将弥补后的第一目标图像的特征图、第一目标图像的特征图以及第二目标图像的特征图进行语义融合，并根据得到的融合结果确定第二目标图像的语义分割结果，再将弥补后的第二目标图像的特征图、第二目标图像的语义分割结果以及第一目标图像的特征图进行语义融合，并根据得到的融合结果确定第一目标图像的语义分割结果。从而能够利用不同视角的车载相机之间的语义共享与融合，实现各个相机语义分割结果间的优势互补，进而提升了语义分割结果的精确性和实时性。

参见图3所示，本申请还提供一种车载相机的语义分割装置实施例，可以包括：

获取单元301，用于通过目标车辆上第一视角的车载相机获取第一目标图像；以及通过所述目标车辆上第二视角的车载相机获取第二目标图像；所述第一视角和第二视角是不同的；

转换单元302，用于将第一目标图像进行视角转换，得到第二视角的转换后的第一目标图像；以及将第二目标图像进行视角转换，得到第一视角的转换后的第二目标图像；

弥补单元303，用于利用光流变换，弥补所述第二视角的转换后的第一目标图像的畸变损失，得到弥补后的第一目标图像；以及利用光流变换，弥补所述第一视角的转换后的第二目标图像的畸变损失，得到弥补后的第二目标图像；

第一确定单元304，用于将所述弥补后的第一目标图像的特征图、所述第一目标图像的特征图以及所述第二目标图像的特征图进行语义融合，并根据得到的融合结果确定所述第二目标图像的语义分割结果；

第二确定单元305，用于将所述弥补后的第二目标图像的特征图、所述第二目标图像的语义分割结果以及所述第一目标图像的特征图进行语义融合，并根据得到的融合结果确定所述第一目标图像的语义分割结果。

在本申请一些可能的实现方式中，所述第一视角的车载相机为120度水平视角的车载相机；所述第二视角的车载相机为60度水平视角的车载相机。

在本申请一些可能的实现方式中，所述第一确定单元304包括：

第一相乘子单元，用于将所述弥补后的第一目标图像的特征图和所述第一目标图像的特征图相乘，并将相乘后得到的特征图与所述第二目标图像的特征图进行拼接，得到拼接后的特征图；

第一确定子单元，用于将所述拼接后的特征图经过的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第二目标图像的语义分割结果；或者，将所述拼接后的特征图先经过一个标准的带有卷积的残差结构，再经过的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第二目标图像的语义分割结果。

在本申请一些可能的实现方式中，所述第二确定单元305包括：

第二相乘子单元，用于将所述弥补后的第二目标图像的特征图和所述第二目标图像的语义分割结果相乘，并将相乘后得到的特征图与所述第一目标图像的特征图进行拼接，得到拼接后的特征图；

第二确定子单元，用于将所述拼接后的特征图经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第一目标图像的语义分割结果；或者，将所述拼接后的特征图先经过一个标准的带有3×3卷积的残差结构，再经过1×1的卷积层处理后输出融合的特征，作为语义融合结果，并根据所述语义融合结果，确定所述第一目标图像的语义分割结果。

由上述实施例可以看出，本申请实施例提供的车载相机的语义分割装置，首先通过目标车辆上第一视角的车载相机获取第一目标图像；以及通过目标车辆上第二视角的车载相机获取第二目标图像；其中，第一视角和第二视角是不同的，然后，将第一目标图像进行视角转换，得到第二视角的转换后的第一目标图像；以及将第二目标图像进行视角转换，得到第一视角的转换后的第二目标图像；接着，利用光流变换，弥补第二视角的转换后的第一目标图像的畸变损失，得到弥补后的第一目标图像；以及利用光流变换，弥补第一视角的转换后的第二目标图像的畸变损失，得到弥补后的第二目标图像；进而可以将弥补后的第一目标图像的特征图、第一目标图像的特征图以及第二目标图像的特征图进行语义融合，并根据得到的融合结果确定第二目标图像的语义分割结果，再将弥补后的第二目标图像的特征图、第二目标图像的语义分割结果以及第一目标图像的特征图进行语义融合，并根据得到的融合结果确定第一目标图像的语义分割结果。从而能够利用不同视角的车载相机之间的语义共享与融合，实现各个相机语义分割结果间的优势互补，进而提升了语义分割结果的精确性和实时性。

进一步地，本申请实施例还提供了一种车载相机的语义分割设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述车载相机的语义分割方法的任一种实现方法。

进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述车载相机的语义分割方法的任一种实现方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。