一种基于鱼眼相机的车辆朝向角获取方法及相关设备

技术领域

本申请涉及图像处理技术领域，特别是涉及一种基于鱼眼相机的车辆朝向角获取方法及相关设备。

背景技术

随着自动驾驶技术的飞速发展，自动驾驶技术广泛应用于各类交通工具中。在对车辆进行自动驾驶控制的过程中，对周围环境以及车辆的感知尤为重要，在目前的自动驾驶控制中，通常需要对本车周边的其他车辆的运动朝向进行预测，从而根据不同车辆的运动朝向以及运动情况来完成对本车的自动驾驶控制。而在现有技术中对本车周边其他车辆的运动朝向进行预测的过程中，通常通过鱼眼相机来拍摄周边车辆的图像来进行预测，但由于鱼眼相机本身带来的局限性，其会使得所拍摄的带有周边车辆的图像出现较大的形变，从而影响到后续对周边车辆运动朝向的预测，使得对车辆运动朝向的预测准确度较低。

因此，如何解决现有技术在进行自动驾驶控制的过程中，对车辆运动朝向的预测准确度较低的问题成为本领域技术人员急需解决的技术问题。

发明内容

基于上述问题，为了解决现有技术在进行自动驾驶控制的过程中，对车辆运动朝向的预测准确度较低的问题，本申请提供了一种基于鱼眼相机的车辆朝向角获取方法及相关设备。

本申请实施例公开了如下技术方案：

第一方面，本申请公开了一种基于鱼眼相机的车辆朝向角获取方法，包括：

获取目标图像；所述目标图像基于鱼眼相机拍摄得到，且所述目标图像中包括目标车辆；

根据所述鱼眼相机的内外参数，对所述目标图像进行去畸变处理，得到经过去畸变处理的目标图像；

根据所述经过去畸变处理的目标图像和所述鱼眼相机的内外参数，确定所述目标车辆相对于所述鱼眼相机的入射角度；

通过预设深度学习网络，确定所述目标车辆在所述经过去畸变处理的目标图像中的局部朝向；

根据所述局部朝向以及所述目标车辆相对于所述鱼眼相机的入射角度，确定所述目标车辆的朝向角度。

可选的，所述经过去畸变处理的目标图像以小孔相机成像图片的形式进行展示；所述根据所述经过去畸变处理的目标图像和所述鱼眼相机的内外参数，确定所述目标车辆相对于所述鱼眼相机的入射角度，具体包括：

获取所述目标车辆在所述经过去畸变处理的目标图像中的中心像素点；所述中心像素点为基于所述小孔相机成像图片的中心像素点；

根据所述鱼眼相机的内外参数，将所述中心像素点转换为基于鱼眼相机成像图片的中心像素点；

根据所述鱼眼相机的畸变表和所述基于鱼眼相机成像图片的中心像素点，确定所述目标车辆相对于所述鱼眼相机的入射角度。

可选的，所述根据所述鱼眼相机的畸变表和所述基于鱼眼相机成像图片的中心像素点，确定所述目标车辆相对于所述鱼眼相机的入射角度，具体包括：

根据所述基于鱼眼相机成像图片的中心像素点，计算所述目标车辆的成像比例值；

根据所述鱼眼相机的畸变表和所述目标车辆的成像比例值，确定所述目标车辆相对于所述鱼眼相机的入射角度。

可选的，所述根据所述局部朝向以及所述目标车辆相对于所述鱼眼相机的入射角度，确定所述目标车辆的朝向角度之后，还包括：

根据所述目标车辆的朝向角度，对自动驾驶模式进行调整。

可选的，所述根据所述目标车辆的朝向角度，对自动驾驶模式进行调整，具体包括：

若所述目标车辆的朝向角度与本车的朝向角度之间的差值超过预设阈值，则将所述自动驾驶模式调整为预设安全预警模式。

第二方面，本申请公开了一种基于鱼眼相机的车辆朝向角获取装置，包括：

获取模块，用于获取目标图像；所述目标图像基于鱼眼相机拍摄得到，且所述目标图像中包括目标车辆；

去畸变处理模块，用于根据所述鱼眼相机的内外参数，对所述目标图像进行去畸变处理，得到经过去畸变处理的目标图像；

入射角度确定模块，用于根据所述经过去畸变处理的目标图像和所述鱼眼相机的内外参数，确定所述目标车辆相对于所述鱼眼相机的入射角度；

局部朝向确定模块，用于通过预设深度学习网络，确定所述目标车辆在所述经过去畸变处理的目标图像中的局部朝向；

朝向角度确定模块，用于根据所述局部朝向以及所述目标车辆相对于所述鱼眼相机的入射角度，确定所述目标车辆的朝向角度。

可选的，所述入射角度确定模块，具体用于：

获取所述目标车辆在所述经过去畸变处理的目标图像中的中心像素点；所述中心像素点为基于所述小孔相机成像图片的中心像素点；

根据所述鱼眼相机的内外参数，将所述中心像素点转换为基于鱼眼相机成像图片的中心像素点；

根据所述鱼眼相机的畸变表和所述基于鱼眼相机成像图片的中心像素点，确定所述目标车辆相对于所述鱼眼相机的入射角度。

可选的，所述入射角度确定模块，具体用于：

根据所述基于鱼眼相机成像图片的中心像素点，计算所述目标车辆的成像比例值；

根据所述鱼眼相机的畸变表和所述目标车辆的成像比例值，确定所述目标车辆相对于所述鱼眼相机的入射角度。

第三方面，本申请公开了一种电子设备，所述设备包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行所述的基于鱼眼相机的车辆朝向角获取方法。

第四方面，本申请公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于鱼眼相机的车辆朝向角获取方法。

相较于现有技术，本申请具有以下有益效果：本申请提供了一种基于鱼眼相机的车辆朝向角确定方法与相关设备，通过获取基于鱼眼相机拍摄，且包括有目标车辆的目标图像，并根据鱼眼相机的内外参数对目标图像进行去畸变处理，得到经过去畸变处理的目标图像。然后根据经过去畸变处理的目标图像和鱼眼相机的内外参数，确定目标车辆相对于鱼眼相机的入射角度，并通过预设深度学习网络，确定目标车辆在所述经过去畸变处理的目标图像中的局部朝向，最后根据局部朝向以及目标车辆相对于所述鱼眼相机的入射角度，即可确定得到目标车辆的朝向角度。通过上述方法，使得车辆通过鱼眼相机来获取车辆的运动朝向时，鱼眼相机成像图片中较大的图像形变不再对车辆运动朝向的预测带来负面影响，提升了车辆运动朝向的预测准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于鱼眼相机的车辆朝向角确定方法的流程示意图；

图2为本申请实施例提供的一种经过去畸变处理的目标图像的示意图；

图3为本申请实施例提供的一种基于基于鱼眼相机的车辆朝向角确定装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

正如前文描述，在对车辆进行自动驾驶控制的过程中，对周围环境以及车辆的感知尤为重要，在目前的自动驾驶控制中，通常需要对本车周边的其他车辆的运动朝向进行预测，从而根据不同车辆的运动朝向以及运动情况来完成对本车的自动驾驶控制。而在现有技术中对本车周边其他车辆的运动朝向进行预测的过程中，通常通过鱼眼相机来拍摄周边车辆的图像来进行预测，但由于鱼眼相机本身带来的局限性，其会使得所拍摄的带有周边车辆的图像出现较大的形变，从而影响到后续对周边车辆运动朝向的预测，使得对车辆运动朝向的预测准确度较低。

因此，如何解决现有技术在进行自动驾驶控制的过程中，对车辆运动朝向的预测准确度较低的问题成为本领域技术人员急需解决的技术问题。

为了解决上述问题，本申请提供了一种基于鱼眼相机的车辆朝向角确定方法与相关设备，通过获取基于鱼眼相机拍摄，且包括有目标车辆的目标图像，并根据鱼眼相机的内外参数对目标图像进行去畸变处理，得到经过去畸变处理的目标图像。然后根据经过去畸变处理的目标图像和鱼眼相机的内湾参数，确定目标车辆相对于鱼眼相机的入射角度，并通过预设深度学习网络，确定目标车辆在所述经过去畸变处理的目标图像中的局部朝向，最后根据局部朝向以及目标车辆相对于所述鱼眼相机的入射角度，即可确定得到目标车辆的朝向角度。通过上述方法，使得车辆通过鱼眼相机来获取车辆的运动朝向时，鱼眼相机成像图片中较大的图像形变不再对车辆运动朝向的预测带来负面影响，提升了车辆运动朝向的预测准确度。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

S101：获取目标图像；所述目标图像基于鱼眼相机拍摄得到，且所述目标图像中包括目标车辆。

首先，在确定车辆的朝向角之前，会先获取包括有目标车辆的目标图像，且目标图像基于本车的鱼眼相机拍摄得到

鱼眼相机是一种可以独立实现大范围无死角监控的全景相机，不同类型的鱼眼相机可以达到不同的广角拍摄效果，当下主流的鱼眼相机采用吊装与壁装的方式可以分别得到360度与180度的监控效果，因而其广泛应用于车载摄像头中，为车辆的自动驾驶控制提供帮助。

S102：根据所述鱼眼相机的内外参数，对所述目标图像进行去畸变处理，得到经过去畸变处理的目标图像。

在获取包含有目标车辆的目标图像后，会根据鱼眼相机的内外参数，对目标图像进行去畸变处理，将以鱼眼相机成像图片形式进行展示的目标图像转化为以小孔相机成像图片形式展示的图像，此以小孔相机成像图片进行展示的图像即为经过去畸变处理的目标图像。

S103：根据所述经过畸变处理的目标图像和所述鱼眼相机的内外参数，确定所述目标车辆相对于所述鱼眼相机的入射角度。

在完成对目标图像的去畸变处理，得到经过去畸变处理的目标图像后，需要根据鱼眼相机具体的内外参数，同时结合经过权去畸变处理的目标图像，确定在经过畸变处理的图像中，目标车辆相对于本车鱼眼相机的入射角度。具体的，可以通过以下三个步骤来实现：

步骤一、获取所述目标车辆在所述经过畸变处理的目标图像中的中心像素点；所述中心像素点为基于所述小孔相机成像图片的中心像素点；

步骤二、根据所述鱼眼相机的内外参数，将所述中心像素点转换为基于鱼眼相机成像图片的中心像素点；

步骤三、根据所述鱼眼相机的畸变表和所述基于鱼眼相机成像图片的中心像素点，确定所述目标车辆相对于所述鱼眼相机的入射角度。

在确定目标车辆相对于鱼眼相机的入射角度时，首先会获取目标车辆在经过去畸变的目标图像中的中心像素点，因为目标图像在经过去畸变处理后，是以小孔相机成像图片的形式进行展示，因而在计算其中的目标车辆相对于鱼眼相机的入射角度时，需要将目标车辆基于小孔相机成像图片的中心像素点转化为基于语言相机成像图片的中心像素点。

在得到目标车辆基于鱼眼相机成像图片的中心像素点后，对应于本车鱼眼相机的畸变表，即可通过中心像素点来确定目标车辆相对于鱼眼相机的入射角度。

S104：通过预设深度学习网络，确定所述目标车辆在所述经过去畸变处理的目标图像中的局部朝向。

在得到经过去畸变处理的图像后，会通过预设深度学习网络，确定目标车辆在经过去畸变处理的目标图像中的局部朝向。以下将会对局部朝向的概念进行讲解，具体可以参照图2，图2为本申请实施例提供的一种经过去畸变处理的目标图像的示意图。

在图4中，S1为本实施例中的目标车辆，此时可以将目标车辆单独截取处理，独立于图片中去观察目标车辆的局部朝向。此时，目标车辆的局部朝向偏向于右侧，针对于垂直方向上的角度分析，目标车辆应该是向右偏移15度左右。此时，此向右偏移的十五度即为目标车辆的局部朝向。

对于预设深度学习网络，在利用预设深度学习网络确定局部朝向之间，会先采集大量图像来对深度学习网络进行训练。在用于对深度学习网络进行训练的图像中，标注有车辆具体的朝向角度、相对于鱼眼相机的入射角度以及车辆的局部朝向，通过输入大量的图片进行训练，并将车辆的局部朝向作为学习网络的输出数据，即可完成对于预设深度学习网络的训练。训练完成后将其应用于实际场景中对车辆的局部朝向进行预测，即可得到目标车辆的局部朝向。

S105：根据所述局部朝向以及所述目标车辆相对于所述鱼眼相机的入射角度，确定所述目标车辆的朝向角度。

最后，根据目标车辆的局部朝向以及目标车辆相对于鱼眼相机的入射角度，即可确定目标车辆的朝向角度，其具体可以通过以下公式来完成目标车辆朝向角度的计算。

θ

其中θ

作为一种可选的实施方式，在步骤S105之后，还包括以下步骤：

步骤一、根据所述目标车辆的朝向角度，对自动驾驶模式进行调整。

在得到目标车辆的朝向角度后，可以根据目标车辆具体的朝向角度来对车辆的自动驾驶模式进行调整。具体的，可以设定一个预设阈值，当目标车辆的朝向角度与本车的朝向角度之间的差值超过预设阈值时，则会确定两车存在碰撞的风险，此时会将本车的自动驾驶模式调整为预设安全预警模式，在预设安全预警模式下，用于进行车辆自动驾驶控制的行车系统会根据目标车辆的行车速度以及朝向角度实时调整本车的行驶速度与朝向角度，能够有效的保证自动驾驶的行车安全。

作为另一种可选的实施方式，在确定目标车辆相对于鱼眼相机的入射角度时，可以通过以下两个步骤来完成：

步骤一、根据所述基于鱼眼相机成像图片的中心像素点，计算所述目标车辆的成像比例值；

步骤二、根据所述鱼眼相机的畸变表和所述目标车辆的成像比例值，确定所述目标车辆相对于所述鱼眼相机的入射角度。

在得到目标车辆基于鱼眼相机成像图片的中心像素点后，通过计算目标车辆的成像比例值，即可根据目标车辆的成像比例值来进一步确定得到目标车辆相对于鱼眼相机的入射角度。具体的，目标车辆的成像比例值具体可以通过以下公式计算得到

式中，

得到目标车辆的成像比例值后，通过目标车辆的成像比例值，查询鱼眼相机的畸变表，即可得到目标车辆相对于鱼眼相机的入射角度。

本实施例提供了一种基于鱼眼相机的车辆朝向角确定方法与相关设备，通过获取基于鱼眼相机拍摄，且包括有目标车辆的目标图像，并根据鱼眼相机的内外参数对目标图像进行去畸变处理，得到经过去畸变处理的目标图像。然后根据经过去畸变处理的目标图像和鱼眼相机的内外参数，确定目标车辆相对于鱼眼相机的入射角度，并通过预设深度学习网络，确定目标车辆在所述经过去畸变处理的目标图像中的局部朝向，最后根据局部朝向以及目标车辆相对于所述鱼眼相机的入射角度，即可确定得到目标车辆的朝向角度。通过上述方法，使得车辆通过鱼眼相机来获取车辆的运动朝向时，鱼眼相机成像图片中较大的图像形变不再对车辆运动朝向的预测带来负面影响，提升了车辆运动朝向的预测准确度。

下面对本申请实施例提供的一种基于鱼眼相机的车辆朝向角确定装置进行介绍，下文描述的一种基于鱼眼相机的车辆朝向角确定装置与上文描述的一种基于鱼眼相机的车辆朝向角确定方法可相互对应参照。

获取模块100，用于获取目标图像；所述目标图像基于鱼眼相机拍摄得到，且所述目标图像中包括目标车辆；

去畸变处理模块200，用于根据所述鱼眼相机的内外参数，对所述目标图像进行去畸变处理，得到经过去畸变处理的目标图像；

入射角度确定模块300，用于根据所述经过去畸变处理的目标图像和所述鱼眼相机的内外参数，确定所述目标车辆相对于所述鱼眼相机的入射角度；

局部朝向确定模块400，用于通过预设深度学习网络，确定所述目标车辆在所述经过去畸变处理的目标图像中的局部朝向；

朝向角度确定模块500，用于根据所述局部朝向以及所述目标车辆相对于所述鱼眼相机的入射角度，确定所述目标车辆的朝向角度。

可选的，所述入射角度确定模块，具体用于：

获取所述目标车辆在所述经过去畸变处理的目标图像中的中心像素点；所述中心像素点为基于所述小孔相机成像图片的中心像素点；

根据所述鱼眼相机的内外参数，将所述中心像素点转换为基于鱼眼相机成像图片的中心像素点；

根据所述鱼眼相机的畸变表和所述基于鱼眼相机成像图片的中心像素点，确定所述目标车辆相对于所述鱼眼相机的入射角度。

可选的，所述入射角度确定模块，具体用于：

根据所述基于鱼眼相机成像图片的中心像素点，计算所述目标车辆的成像比例值；

根据所述鱼眼相机的畸变表和所述目标车辆的成像比例值，确定所述目标车辆相对于所述鱼眼相机的入射角度。

可选的，所述基于鱼眼相机的车辆朝向角获取装置，还包括：

调整模块，用于根据所述目标车辆的朝向角度，对自动驾驶模式进行调整。

可选的，所述调整模块，具体用于：

在所述目标车辆的朝向角度与本车的朝向角度之间的差值超过预设阈值时，将所述自动驾驶模式调整为预设安全预警模式。

参见图4，该图为本申请实施例提供的一种电子设备的结构示意图，包括：

存储器11，用于存储计算机程序；

处理器12，用于执行所述计算机程序时实现上述任意方法实施例所述的基于鱼眼相机的车辆朝向角获取方法的步骤。

在本实施例中，设备可以是车载电脑、PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。

该设备可以包括存储器11、处理器12和总线13。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备的内部存储单元，例如该设备的硬盘。存储器11在另一些实施例中也可以是设备的外部存储设备，例如设备上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备的应用软件及各类数据，例如执行故障预测方法的程序代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行故障预测方法的程序代码等。

该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，设备还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该设备与其他电子设备之间建立通信连接。

可选地，该设备还可以包括用户接口15，用户接口15可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口15还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-EmittingDiode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在设备中处理的信息以及用于显示可视化的用户界面。

图4仅示出了具有组件11-15的设备，本领域技术人员可以理解的是，图4示出的结构并不构成对设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法装置、电子设备及车辆而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的方法装置、电子设备及车辆仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。