基于环视的透明车底拼接方法、系统、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于环视的透明车底拼接方法、系统、设备及存储介质。

背景技术

图像拼接技术是近年来汽车电子领域研究的热点，被应用于车载环视显示系统。车载环视主要是利用安装在车头，车尾和两个后视镜上的四个相机获取四幅图像拼接成一幅全景图像的技术。现阶段市面的车载环视系统产品多是2D和3D的环视图像拼接，由于相机的安装位置前后相机会有盲区，一般车头和车尾存在20cm的盲区。因此，如何实现360度环视的透明底盘拼接功能成为一个亟待解决的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种基于环视的透明车底拼接方法、系统、设备及存储介质，旨在解决如何实现360度环视的透明底盘拼接功能的技术问题。

为实现上述目的，本发明提供了一种基于环视的透明车底拼接方法，所述基于环视的透明车底拼接方法包括：

获取当前车辆的当前帧环视图，并根据所述当前帧环视图确定上一帧环视图；

根据所述当前帧环视图和所述上一帧环视图确定上一帧车辆位置信息、车辆位移量及车辆航向角；

根据所述上一帧车辆位置信息、所述车辆移动量及所述车辆航向角计算当前帧车辆位置信息；

通过像素坐标映射关系确定所述上一帧车辆位置信息对应的上一帧像素坐标；

根据所述上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素；

将所述上一帧截取范围像素贴至所述当前帧环视图，以实现透明车底拼接。

可选地，所述根据所述当前帧环视图和所述上一帧环视图确定车辆位移量及车辆航向角的步骤，包括：

根据所述当前帧环视图和所述上一帧环视图获取当前车辆的方向盘转角和轮速；

根据所述方向盘转角和所述轮速通过航迹推测算法计算车辆移动量和航向角。

可选地，所述根据所述上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素的步骤之前，还包括：

通过所述像素坐标映射关系确定所述当前帧车辆位置信息对应的当前帧像素坐标；

根据所述上一帧像素坐标和所述当前帧像素坐标确定仿射变换矩阵。

可选地，所述根据所述上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素的步骤，包括：

根据所述上一帧像素坐标确定第一范围内像素；

根据所述第一范围内像素通过所述仿射变换矩阵确定第二范围内像素；

将所述第二范围内像素作为上一帧截取范围像素。

可选地，所述获取当前车辆的当前帧环视图，并根据所述当前帧环视图确定上一帧环视图的步骤之前，还包括：

获取当前车辆的世界坐标信息和鱼眼相机对应的内外参数；

根据所述世界坐标信息和所述内外参数确定像素映射关系。

可选地，所述将所述上一帧截取范围像素贴至所述当前帧环视图的步骤之后，还包括：

判断贴后的当前帧环视图是否存在图像重叠；

若存在，则对所述贴后的当前帧环视图中的重叠部分进行图像加权处理，以消除所述贴后的当前帧环视图内的拼接缝。

此外，为实现上述目的，本发明还提出一种基于环视的透明车底拼接系统，所述基于环视的透明车底拼接系统包括：

获取模块，用于获取当前车辆的当前帧环视图，并根据所述当前帧环视图确定上一帧环视图。

确定模块，用于根据所述当前帧环视图和所述上一帧环视图确定上一帧车辆位置信息、车辆位移量及车辆航向角；

计算模块，用于根据所述上一帧车辆位置信息、所述车辆移动量及所述车辆航向角计算当前帧车辆位置信息；

所述确定模块，用于通过像素坐标映射关系确定所述上一帧车辆位置信息对应的上一帧像素坐标；

截取模块，用于根据所述上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素；

贴图模块，用于将所述上一帧截取范围像素贴至当前帧环视图，以实现透明车底拼接。

此外，为实现上述目的，本发明还提出一种基于环视的透明车底拼接设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于环视的透明车底拼接程序，所述基于环视的透明车底拼接程序配置为实现如上文所述的基于环视的透明车底拼接方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于环视的透明车底拼接程序，所述基于环视的透明车底拼接程序被处理器执行时实现如上文所述的基于环视的透明车底拼接方法的步骤。

本发明首先获取当前帧环视图，根据当前帧环视图确定上一帧环视图，根据当前帧环视图和上一帧环视图确定上一帧车辆位置信息、车辆位移量及车辆航向角，然后根据上一帧车辆位置信息、车辆移动量及车辆航向角计算当前帧车辆位置信息，之后通过像素坐标映射关系确定上一帧车辆位置信息对应的上一帧像素坐标，最后根据上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素，将上一帧截取范围像素贴至当前帧环视图，以实现透明车底拼接。相较于现有技术中车载环视系统产品多是2D和3D的环视图像拼接，存有车头和车尾相对距离盲区，而本发明能消除360度环视前后盲区，通过这个透视底盘功能，驾驶员可以直观地看到底盘下方的地形地貌和阻碍物，然后通过航迹推测算法能高精度计算出车辆的位移量，以实现360度环视的透明底盘拼接功能和无缝的透明底盘环视效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的基于环视的透明车底拼接设备的结构示意图；

图2为本发明基于环视的透明车底拼接方法第一实施例的流程示意图；

图3为本发明基于环视的透明车底拼接方法第一实施例的360度环视图；

图4为本发明基于环视的透明车底拼接方法第一实施例的360度环视开启透明底盘功能过车道线图；

图5为本发明基于环视的透明车底拼接方法第一实施例的360度环视开启透明底盘功能过禁停线图；

图6为本发明基于环视的透明车底拼接方法第一实施例的360度环视开启透明底盘功能过禁停标志图；

图7为本发明基于环视的透明车底拼接系统第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于环视的透明车底拼接设备结构示意图。

如图1所示，该基于环视的透明车底拼接设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(DisPlay)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储系统。

本领域技术人员可以理解，图1中示出的结构并不构成对基于环视的透明车底拼接设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于环视的透明车底拼接程序。

在图1所示的基于环视的透明车底拼接设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于环视的透明车底拼接设备中的处理器1001、存储器1005可以设置在基于环视的透明车底拼接设备中，所述基于环视的透明车底拼接设备通过处理器1001调用存储器1005中存储的基于环视的透明车底拼接程序，并执行本发明实施例提供的基于环视的透明车底拼接方法。

本发明实施例提供了一种基于环视的透明车底拼接方法，参照图2，图2为本发明基于环视的透明车底拼接方法第一实施例的流程示意图。

本实施例中，所述基于环视的透明车底拼接方法包括以下步骤：

步骤S10：获取当前车辆的当前帧环视图，并根据所述当前帧环视图确定上一帧环视图。

易于理解的是，本实施例的执行主体可以是具有数据处理、网络通讯和程序运行等功能的基于环视的透明车底拼接系统，也可以为其他具有相似功能的计算机设备等，本实施例并不加以限制。

还需要说明的是，当前车辆的当前帧环视图为4个鱼眼相机通过内参数和外参数计算出像素和世界坐标的映射关系，然后将4个相机图像通过计算的映射关系转换成俯视图，再将4个俯视图拼接在一起通过加权融合的方法消除拼接缝，得到360度环视图，参考图3，图3为本发明基于环视的透明车底拼接方法第一实施例的360度环视图。

步骤S20：根据所述当前帧环视图和所述上一帧环视图确定上一帧车辆位置信息、车辆位移量及车辆航向角。

进一步的，根据当前帧环视图和上一帧环视图确定车辆位移量及车辆航向角的处理方式为根据当前帧环视图和上一帧环视图获取当前车辆的方向盘转角和轮速；根据方向盘转角和轮速通过航迹推测算法计算车辆移动量和航向角。

在本实施例中，航迹推测算法是依据单车模型(Bicycle Model)通过车辆的方向盘转角和轮速计算车辆移动量和航向角。

步骤S30：根据所述上一帧车辆位置信息、所述车辆移动量及所述车辆航向角计算当前帧车辆位置信息。

在具体实现中，以上一帧的车辆位置(即上一帧车辆位置信息)为原点，并根据车辆移动量和车辆航向角计算当前帧车辆位置信息。

应理解的是，上一帧车辆位置信息和当前帧车辆位置信息为世界坐标下对应的位置信息。

步骤S40：通过像素坐标映射关系确定所述上一帧车辆位置信息对应的上一帧像素坐标。

还需要说明的是，获取当前车辆的世界坐标信息和鱼眼相机对应的内外参数，之后根据世界坐标信息和内外参数确定像素映射关系。

还应理解的是，需要将上一帧车辆位置信息通过像素坐标映射关系转换为360度环视图上对应的像素坐标信息即上一帧像素坐标P1。

步骤S50：根据所述上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素。

还需要说明的是，通过像素坐标映射关系确定当前帧车辆位置信息对应的当前帧像素坐标，根据上一帧像素坐标和当前帧像素坐标确定仿射变换矩阵。

进一步的，根据上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素的处理方式为根据上一帧像素坐标确定第一范围内像素；根据第一范围内像素通过仿射变换矩阵确定第二范围内像素；将第二范围内像素作为上一帧截取范围像素。

需要说明的是，算法处理速度非常快，计算定位和仿射变换耗时极低。

还应理解的是，第一范围内像素为上一帧中上一帧像素坐标对应的第一范围内像素，第二范围内像素为上一帧中需要截取的范围像素。

在本实施例中，将上一帧像素坐标P1和当前360环视图的车辆像素坐标P2(当前帧像素坐标)，计算出一个仿射变换矩阵。然后通过将P1范围的像素(第一范围内像素)通过计算的仿射变换矩阵，可以得到P2范围的像素点(第二范围内像素)。

步骤S60：将所述上一帧截取范围像素贴至所述当前帧环视图，以实现透明车底拼接。

在具体实现中，将P2范围内像素贴回当前帧的360环视图，得到一个有底盘信息的环视图，下一帧基于这张图继续计算，然后循环执行这个流程就可以实现透明底盘效果。

进一步的，将上一帧截取范围像素贴至当前帧环视图的步骤之后判断贴后的当前帧环视图是否存在图像重叠，若存在，则对贴后的当前帧环视图中的重叠部分进行图像加权处理，以消除贴后的当前帧环视图内的拼接缝。

在本实施例中，P1和P2的范围要比实际车辆大10％-20％，多出来的部分需要和360度环视图的重叠部分按图的权重进行加权，可以达到消除拼接缝的效果。生成带实时车辆底盘信息的无缝360度环视图，实现真正意义上的360度环视无车辆盲区，参考图4-图6，图4为本发明基于环视的透明车底拼接方法第一实施例的360度环视开启透明底盘功能过车道线图，图5为本发明基于环视的透明车底拼接方法第一实施例的360度环视开启透明底盘功能过禁停线图，图6为本发明基于环视的透明车底拼接方法第一实施例的360度环视开启透明底盘功能过禁停标志图。

在本实施例中，首先获取当前帧环视图，根据当前帧环视图确定上一帧环视图，根据当前帧环视图和上一帧环视图确定上一帧车辆位置信息、车辆位移量及车辆航向角，然后根据上一帧车辆位置信息、车辆移动量及车辆航向角计算当前帧车辆位置信息，之后通过像素坐标映射关系确定上一帧车辆位置信息对应的上一帧像素坐标，最后根据上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素，将上一帧截取范围像素贴至当前帧环视图，以实现透明车底拼接。相较于现有技术中车载环视系统产品多是2D和3D的环视图像拼接，存有车头和车尾相对距离盲区，而本实施例能消除360度环视前后盲区，通过这个透视底盘功能，驾驶员可以直观地看到底盘下方的地形地貌和阻碍物，然后通过航迹推测算法能高精度计算出车辆的位移量，以实现360度环视的透明底盘拼接功能和无缝的透明底盘环视效果。

参照图7，图7为本发明基于环视的透明车底拼接系统第一实施例的结构框图。

如图7所示，本发明实施例提出的基于环视的透明车底拼接系统包括：

获取模块4001，用于获取当前车辆的当前帧环视图，并根据所述当前帧环视图确定上一帧环视图。

还需要说明的是，当前车辆的当前帧环视图为4个鱼眼相机通过内参数和外参数计算出像素和世界坐标的映射关系，然后将4个相机图像通过计算的映射关系转换成俯视图，再将4个俯视图拼接在一起通过加权融合的方法消除拼接缝，得到360度环视图，参考图3，图3为本发明基于环视的透明车底拼接方法第一实施例的360度环视图。

确定模块4002，用于根据所述当前帧环视图和所述上一帧环视图确定上一帧车辆位置信息、车辆位移量及车辆航向角。

进一步的，根据当前帧环视图和上一帧环视图确定车辆位移量及车辆航向角的处理方式为获取当前车辆的方向盘转角和轮速；根据方向盘转角和轮速通过航迹推测算法计算车辆移动量和航向角。

在本实施例中，航迹推测算法是依据单车模型(Bicycle Model)通过车辆的方向盘转角和轮速计算车辆移动量和航向角。

计算模块4003，用于根据所述上一帧车辆位置信息、所述车辆移动量及所述车辆航向角计算当前帧车辆位置信息。

在具体实现中，以上一帧的车辆位置(即上一帧车辆位置信息)为原点，并根据车辆移动量和车辆航向角计算当前帧车辆位置信息。

应理解的是，上一帧车辆位置信息和当前帧车辆位置信息为世界坐标下对应的位置信息。

所述确定模块4002，用于通过像素坐标映射关系确定所述上一帧车辆位置信息对应的上一帧像素坐标。

还需要说明的是，获取当前车辆的世界坐标信息和鱼眼相机对应的内外参数，之后根据世界坐标信息和内外参数确定像素映射关系。

在具体实现中，4个鱼眼相机通过内参数和外参数计算出像素和世界坐标的映射关系，然后将4个相机图像通过计算的映射关系转换成俯视图，再将4个俯视图拼接在一起通过加权融合的方法消除拼接缝，得到360度环视图，参考图3，图3为本发明基于环视的透明车底拼接方法第一实施例的360度环视图。

还应理解的是，需要将上一帧车辆位置信息通过像素坐标映射关系转换为360度环视图上对应的像素坐标信息即上一帧像素坐标P1。

截取模块4004，用于根据所述上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素。

还需要说明的是，通过像素坐标映射关系确定当前帧车辆位置信息对应的当前帧像素坐标，根据上一帧像素坐标和当前帧像素坐标确定仿射变换矩阵。

进一步的，根据上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素的处理方式为根据上一帧像素坐标确定第一范围内像素；根据第一范围内像素通过仿射变换矩阵确定第二范围内像素；将第二范围内像素作为上一帧截取范围像素。

需要说明的是，算法处理速度非常快，计算定位和仿射变换耗时极低。

还应理解的是，第一范围内像素为上一帧中上一帧像素坐标对应的第一范围内像素，第二范围内像素为上一帧中需要截取的范围像素。

在本实施例中，将上一帧像素坐标P1和当前360环视图的车辆像素坐标P2(当前帧像素坐标)，计算出一个仿射变换矩阵。然后通过将P1范围的像素(第一范围内像素)通过计算的仿射变换矩阵，可以得到P2范围的像素点(第二范围内像素)。

贴图模块4005，用于将所述上一帧截取范围像素贴至所述当前帧环视图，以实现透明车底拼接。

在具体实现中，将P2范围内像素贴回当前帧的360环视图，得到一个有底盘信息的环视图，下一帧基于这张图继续计算，然后循环执行这个流程就可以实现透明底盘效果。

进一步的，将上一帧截取范围像素贴至当前帧环视图的步骤之后判断贴后的当前帧环视图是否存在图像重叠，若存在，则对贴后的当前帧环视图中的重叠部分进行图像加权处理，以消除贴后的当前帧环视图内的拼接缝。

在本实施例中，P1和P2的范围要比实际车辆大10％-20％，多出来的部分需要和360度环视图的重叠部分按图的权重进行加权，可以达到消除拼接缝的效果。生成带实时车辆底盘信息的无缝360度环视图，实现真正意义上的360度环视无车辆盲区。

在本实施例中，首先确定上一帧车辆位置信息、车辆位移量及车辆航向角，然后根据上一帧车辆位置信息、车辆移动量及车辆航向角计算当前帧车辆位置信息，之后通过像素坐标映射关系确定上一帧车辆位置信息对应的上一帧像素坐标，最后根据上一帧像素坐标通过仿射变换矩阵确定上一帧截取范围像素，将上一帧截取范围像素贴至当前帧环视图，以实现透明车底拼接。相较于现有技术中车载环视系统产品多是2D和3D的环视图像拼接，存有车头和车尾相对距离盲区，而本实施例能消除360度环视前后盲区，通过这个透视底盘功能，驾驶员可以直观地看到底盘下方的地形地貌和阻碍物，然后通过航迹推测算法能高精度计算出车辆的位移量，以实现360度环视的透明底盘拼接功能和无缝的透明底盘环视效果。

本发明基于环视的透明车底拼接系统的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。