基于人工智能的车载3D环视拼接方法及装置

技术领域

本发明涉及辅助驾驶技术领域，尤其涉及一种基于人工智能的车载3D环视拼接方法及装置。

背景技术

随着社会的发展，车辆数目增加，带来的交通事故也随之增加，事故的频繁发生，严重影响人们日常生活，甚至带来生命安全问题。因此，高级驾驶辅助系统应用而生，其中包括全景驾驶辅助系统，通过生成车辆周围的全景图像，可以有效辅助驾驶员判断车身周围环境，从而提高驾驶安全性。在此基础上，还用于为盲区监测、自动泊车、车道辅助和车距检测等提供数据。

在现有全景驾驶辅助系统中，全景图像生成一般是先对二维平面进行畸变矫正获得矫正图，再透视变换为俯视图，最后，俯视图与立体模型进行纹理映射，经过渲染得到全景图像。由于俯视视角下的视野范围有限，显示的车辆周围人物拉伸变形严重，导致现有3D环视的显示效果较差，并且生成畸变矫正图以及俯视图占用了一些存储资源。

因此，现在亟需一种基于人工智能的车载3D环视拼接方法及装置来解决上述问题。

发明内容

针对现有技术存在的问题，本发明提供一种基于人工智能的车载3D环视拼接方法及装置。

本发明提供一种基于人工智能的车载3D环视拼接方法，包括：

对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；

根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；

基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。

根据本发明提供的一种基于人工智能的车载3D环视拼接方法，所述对车辆前后左右四路摄像头标定外参，包括：

计算摄像头位置的世界坐标系P

对世界坐标系P

根据本发明提供的一种基于人工智能的车载3D环视拼接方法，所述对于每一路摄像头建立一个对应的立体网格曲面，包括：

基于渐近角度拼缝融合算法，对两个曲面的重叠区域进行融合算法处理。

根据本发明提供的一种基于人工智能的车载3D环视拼接方法，所述融合算法处理的公式为：

blend

其中，blend

根据本发明提供的一种基于人工智能的车载3D环视拼接方法，所述对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图，包括：

根据车身状态信息，获取当前时刻的车辆行驶状态信息，并确定所述车辆行驶状态信息对应的全景辅助视角；

根据所述全景辅助视角渲染当前画面，显示出3D环视全景视图。

根据本发明提供的一种基于人工智能的车载3D环视拼接方法，所述对每个立体网格曲面上的映射区域进行渲染，包括：

根据图像像素坐标到曲面坐标的映射关系，将每个摄像头采集的实时图像以纹理方式贴到对应的立体网格曲面上，进行渲染显示。

本发明还提供一种基于人工智能的车载3D环视拼接装置，包括：

标定模块，用于对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；

映射模块，用于根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；

视图模块，用于基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于人工智能的车载3D环视拼接方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于人工智能的车载3D环视拼接方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于人工智能的车载3D环视拼接方法的步骤。

本发明提供的基于人工智能的车载3D环视拼接方法及装置，通过对车辆前后左右四路摄像头进行标定外参；通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，建立世界坐标点到图像像素坐标点映射关系；对于四路摄像头建立四个立体网格曲面，对每个网格曲面上的映射像素区域进行渲染，显示出3D环视全景视图；采用该方案可以将车辆周围立体环境清晰的显示出来，扩大了车载环视系统的显示范围，减小车辆周围人物拉伸，不需要生成畸变矫正图、俯视图，降低时间复杂度，既提高了显示效果也节省了存储资源。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于人工智能的车载3D环视拼接方法的流程示意图；

图2为本发明提供的3D曲面网格模型的示意图；

图3为本发明提供的2D到3D映射关系的示意图；

图4为本发明提供的3D观察视角的示意图；

图5为本发明提供的基于人工智能的车载3D环视拼接装置的结构示意图；

图6为本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的基于人工智能的车载3D环视拼接方法的流程示意图，如图1所示，本发明提供了一种基于人工智能的车载3D环视拼接方法，包括：

步骤101，对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；

步骤102，根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；

步骤103，基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。

在本发明中，首先，需要对布置在车辆周围的四路摄像头进行外参标定，根据图像中像素点和世界坐标点的关系，需对摄像头建立该相机坐标系及世界坐标系之间的方程组，从而计算出摄像头安装参数。

具体的，在步骤101中，通过对车辆前后左右的四路摄像头进行标定外参；通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，然后在步骤102中，建立世界坐标点到图像像素坐标点映射关系；最后，在步骤103中，对每个网格曲面上的映射像素区域进行渲染，显示出3D环视全景视图。需要说明的是，在另一实施例中，还可以在对摄像头外参进行标定时，同时去获取摄像头内参以及三维立体方程模型。

本发明提供的基于人工智能的车载3D环视拼接方法，通过对车辆前后左右四路摄像头进行标定外参；通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，建立世界坐标点到图像像素坐标点映射关系；对于四路摄像头建立四个立体网格曲面，对每个网格曲面上的映射像素区域进行渲染，显示出3D环视全景视图；采用该方案可以将车辆周围立体环境清晰的显示出来，扩大了车载环视系统的显示范围，减小车辆周围人物拉伸，不需要生成畸变矫正图、俯视图，降低时间复杂度，既提高了显示效果也节省了存储资源。

在上述实施例的基础上，所述对车辆前后左右四路摄像头标定外参，包括

计算摄像头位置的世界坐标系P

对世界坐标系P

在本发明中，首先计算每个摄像头位置的世界坐标系P

P

RP

P

其中，当P

进一步地，通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，建立世界坐标点到图像像素坐标点映射关系。在本发明中，以车辆为中心，通过上述推导公式，构建3D曲面网格模型，图2为本发明提供的3D曲面网格模型的示意图，可参考图2所示，该3D曲面网格模型是由4个立体网格曲面构成，包括平面部分、曲面部分和柱面部分。

在上述实施例的基础上，所述对每个立体网格曲面上的映射区域进行渲染，包括：

根据图像像素坐标到曲面坐标的映射关系，将每个摄像头采集的实时图像以纹理方式贴到对应的立体网格曲面上，进行渲染显示。其中，图像像素点坐标映射到3D曲面网格模型上的映射关系，即图像像素坐标到曲面坐标的映射关系具体如下：

假设像素点在世界坐标系中的坐标为(X,Y,Z)，该像素点的图像坐标系中的点坐标为(u，v)，R是外参旋转矩阵，T是外参平移矩阵。进一步地，该像素点从世界坐标系到图像坐标系的转换关系如下：

其中，S是比例系数，

优选地，在一实施例中，由于鱼眼摄像头存在一定的畸变，故对每个鱼眼摄像头所拍摄的鱼眼图像进行去除畸变的操作，获得理想摄像头下的图像，其中，从理想相机中的点到畸变点的对应关系如下：

u'＝x*(1+k

v'＝y*(1+k

其中，(u，v)为理想相机中的像素点，u′和v′是畸变后的像素点，k

本发明根据世界坐标系下的像素点到平面图像像素坐标系的映射关系，以及与3D曲面网格模型之间关系，将图像上像素坐标点映射到3D曲面网格模型的对应位置，实现车辆周围的立体环境视图效果。

在一实施例中，对本申请提供的映射过程进行整体说明。具体地，建立的映射关系是平面图像上像素点坐标(u,v)，根据摄像头内参进行该像素点的畸变矫正，得到去畸变的像素点，再根据摄像头外参，经过透视变换，将畸变矫正的像素点转换为俯视图下的像素点，由预先设定的比例系数，将俯视图下的像素点转换为世界坐标系下的坐标点(X

在上述实施例的基础上，所述对于每一路摄像头建立一个对应的立体网格曲面，还包括：

基于渐近角度拼缝融合算法，对两个曲面的重叠区域进行融合算法处理。

在上述实施例的基础上，所述融合算法处理的公式为：

blend

其中，blend

在上述实施例的基础上，所述对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图，包括：

根据车身状态信息，获取当前时刻的车辆行驶状态信息，并确定所述车辆行驶状态信息对应的全景辅助视角；

根据所述全景辅助视角渲染当前画面，显示出3D环视全景视图。

在本发明中，在一些情况下，根据车辆当前的状态，获取车辆的行驶信息，在不同行驶状态下，需要看到某个视角下的环视全景图像，这就需要切换视角，视角主要是描述虚拟观察者的位置，主要的视角有前侧视角、后侧视角、左侧视角、右侧视角和鸟瞰视角等，图4为本发明提供的3D观察视角的示意图，如图4所示，根据视角不同，渲染不同视角下的环视全景图像。

优选地，在一实施例中，由于获得平面图像像素坐标点到3D曲面网格上的映射关系，可以预先生成图像上像素点坐标(u,v)到3D曲面网格模型的对应位置坐标(X

在上述实施例的基础上，所述对每个立体网格曲面上的映射区域进行渲染，包括：

根据图像像素坐标到曲面坐标的映射关系，将每个摄像头采集的实时图像以纹理方式贴到对应的立体网格曲面上，进行渲染显示。

在本发明中，对于3D环视全景拼接图显示，采用GPU并行运算和OpenGL函数。其中，OpenGL中虚拟视角的设计，可以通过两种方法实现，包括旋转被观察物和旋转观察点，本发明设计过程中采用旋转观察点的方式，在OpenGL中通过调整lookat参数来实现功能，对于平滑过渡的视角旋转功能，需要将旋转轨迹转换到球面上。在3D环视全景系统应用中，需要对观察视角变换范围做约束，以免看到曲面未包络的天空区域和图像消失线以下的地面区域。视角的旋转主要包括水平旋转和俯仰角旋转，前后左右四个3D观察视角处于统一平面上，五个观察点位于两个相互正交的圆面的外沿上，这样设计可以简化视角转换逻辑，对于任意两个视角的平滑切换，可以转换为圆弧上的位置渐变或切面直径上的移动。对于采集的摄像头图像进行实时渲染输出，并根据当前视角，生成漫游的全景视频，实现了3D全景环视视图。

图5为本发明提供的基于人工智能的车载3D环视拼接装置的结构示意图，如图5所示，本发明提供了一种基于人工智能的车载3D环视拼接装置，包括标定模块501、映射模块502和视图模块503，其中，标定模块501用于对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；映射模块502用于根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；视图模块503用于基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。

本发明提供的基于人工智能的车载3D环视拼接装置，通过对车辆前后左右四路摄像头进行标定外参；通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，建立世界坐标点到图像像素坐标点映射关系；对于四路摄像头建立四个立体网格曲面，对每个网格曲面上的映射像素区域进行渲染，显示出3D环视全景视图；采用该方案可以将车辆周围立体环境清晰的显示出来，扩大了车载环视系统的显示范围，减小车辆周围人物拉伸，不需要生成畸变矫正图、俯视图，降低时间复杂度，既提高了显示效果也节省了存储资源。

在上述实施例的基础上，所述标定模块包括计算单元和处理单元，其中，计算单元用于计算摄像头位置的世界坐标系P

在上述实施例的基础上，所述视图模块包括曲面融合单元，用于基于渐近角度拼缝融合算法，对两个曲面的重叠区域进行融合算法处理。所述融合算法处理的公式为：

blend

其中，blend

在上述实施例的基础上，所述视图模块还包括行驶状态确定单元和渲染单元，其中，行驶状态确定单元用于根据车身状态信息，获取当前时刻的车辆行驶状态信息，并确定所述车辆行驶状态信息对应的全景辅助视角；渲染单元用于根据所述全景辅助视角渲染当前画面，显示出3D环视全景视图。

本发明提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

图6为本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(CommunicationsInterface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行基于人工智能的车载3D环视拼接方法，该方法包括：对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。

此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于人工智能的车载3D环视拼接方法，该方法包括：对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于人工智能的车载3D环视拼接方法，该方法包括：对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。