凸面镜反射图像的生成、语义分割方法及装置

技术领域

本发明涉及凸面镜反射图像领域，尤其涉及一种凸面镜反射图像的生成、语义分割方法及装置。

背景技术

凸面镜常常见于街道拐角处，通过反射视野盲区的场景，来为行人，司机提供安全保障。近年来，基于深度学习的场景分割技术得到了快速的发展，而通过有监督的方式训练一个分割网络需要大量的标注数据。然而，现有的凸面镜反射图像很少，不能获取全面的训练集的内容。一个原始的方法是在一个域内的数据上进行训练，在另外一个域上进行测试；而由于不同的域之间存在着域差异，所以这样的模型精度往往会很低。

为了解决这个问题，一些方法提出了无监督域适应的方法，比如基于对抗学习或者是自训练的方法。然而这些方法解决的都是传统的基于风格差异导致的域差异，他们忽略了凸面镜反射图像和正常图像的差异主要来源于几何形态，即凸面镜反射图像有着严重的扭曲，而正常图像则没有。因此传统的解决风格差异的方法并不能直接应用于解决凸面镜反射图像和正常图像之间的几何形态差异。

发明内容

为了克服现有的技术的不足，本发明提供了一种凸面镜反射图像的生成、语义分割方法及装置，通过生成高质量的凸面镜反射图像数据，使得语义分割模型在凸面镜反射图像上又更高的精度。

本发明的技术方案如下：

一种凸面镜反射图像的生成方法，其步骤包括：

构建世界坐标系与相机坐标系，并基于凸面镜反射图像I

基于所述径向扭曲参数k，对置于所述相机坐标系的平面图像I

基于倾斜角度参数α与倾斜角度参数β，将所述扭曲图像围绕世界坐标系的X轴与Y轴旋转，得到所述平面图像I

进一步地，获取所述姿态参数的方法包括：将凸面镜反射图像I

进一步地，训练所述姿态估计器的方法，包括：

提取凸面镜反射图像I

基于凸面镜反射图像I

根据所述第一损失与第二损失进行反向传播，调整所述姿态估计器的参数。

进一步地，所述对置于所述相机坐标系的平面图像I

1)对所述平面图像I

2)根据参数r

一种语义分割方法，其步骤包括：

根据凸面镜反射图像I

使用所述训练集对一卷积网络进行训练，得到分割网络；

将目标凸面镜反射图像输入所述分割网络，得到所述目标凸面镜反射图像的语义分割结果。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一所述方法。

一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一所述方法。

通过上述步骤，能够有效减少正常图像和凸面镜反射图像在几何形态上的域差异，从而提升真实凸面镜反射图像的语义分割结果。

与现有技术相比，本发明的有益效果：

本发明依靠建立的凸面镜模拟模块来模拟凸面镜成像，并通过对抗学习使得模拟的凸面镜图像和真实的图像在几何形态上接近，进而提升真实凸面镜反射图像的语义分割精度。

附图说明

图1为本发明提供的减少正常图像和凸面镜反射图像域差异的框架。

图2，图3和图4为本发明实施例中模拟的凸面镜成像的过程。

图5为发明提供的真实凸面镜图像和模拟的凸面镜图像。

图6和图7为本发明提供的输入图像和对应的语义分割结果。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

图1为本发明提供的凸面镜反射图像无监督语义分割的框架图。由图1的流程可以看出整个的系统包含设计的凸面镜模拟层，姿态估计器估计目标域图像的参数，在输入图像的边缘上做对抗，以及在输出结果的语义边界上做对抗。

第一阶段：建立凸面镜模拟层；图2，图3和图4为本发明提供的凸面镜模拟层，包含建立相机坐标系和世界坐标系之间的关系，将径向扭曲的图像放置在世界坐标系，对放置的图像进行旋转并成像。

具体地，首先建立相机坐标系和世界坐标系的关系，他们都为右手坐标系。如图2所示，设定世界坐标系一点为P，相机坐标系中的一点为P

假设成像平面上的一点为

则可以得到

其次，对图像进行径向扭曲，设定正常的图像的坐标点为[x

其中

最后，将径向扭曲的图像放置到世界坐标系的X

最终的变换可以由如下公式表述

其中

其中s

第二阶段：在输入空间上对边缘进行对抗学习；为了使得合成的图像更加逼真，分别对合成的源域图像I′

其中，D

第三阶段：对输出空间的语义边界进行对抗学习。假设源分割结果的语义边界为

同样可以得到训练姿态估计器的损失函数为

综合在输入空间对抗的损失L

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。