车载全景图生成方法、装置及系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种车载全景图生成方法、装置及系统。

背景技术

车辆后视镜是驾驶员间接获得视野的重要途径之一，但车辆后视镜的视野有时会被后排乘客、后座头枕、后挡车贴等物体遮挡住，从而影响驾驶员观看车辆后方的景物。

目前，通过在车尾设置单个车载相机采集车后的视野图，并将采集到的视野图展示在显示屏上，从而驾驶员可以实时观看到车辆后方的景物。

然而，车尾的车载相机能够采集到的视场比较有限，驾驶员无法观察到车辆左右两侧的视野盲区，如A柱和B柱的视野盲区。

发明内容

有鉴于此，本申请提供一种车载全景图生成方法，以解决驾驶员可观察到的视野有限的问题。

根据本申请实施例的第一方面，提供一种车载全景图生成方法，所述方法包括：

获取各车载相机在同一时间采集的车辆周围的图像，所述车载相机至少包括三个，分别设置在车辆的左右两侧和车尾；

将获取的各帧图像拼接为车载全景图并显示在车内的后视镜上。

根据本申请实施例的第二方面，提供一种车载全景图生成系统，所述系统包括：

车载相机，用于采集车辆周围的图像，所述车载相机至少包括三个，分别设置在车辆的左右两侧和车尾；

处理器，用于获取所述车载相机在同一时间采集的车辆周围的图像，并将获取的各帧图像拼接为车载全景图并发送至车内的后视镜；

后视镜，用于显示所述车载全景图。

根据本申请实施例的第三方面，提供一种车载全景图生成装置，所述装置包括：

获取模块，用于获取各车载相机在同一时间采集的车辆周围的图像，所述车载相机至少包括三个，分别设置在车辆的左右两侧和车尾；

拼接模块，用于将获取的各帧图像拼接为车载全景图；

显示模块，用于将所述车载全景图显示在车内的后视镜上。

应用本申请实施例，通过获取各车载相机在同一时间采集的车辆周围的图像，所述车载相机至少包括三个，分别设置在车辆的左右两侧和车尾，然后将获取的各帧图像拼接为车载全景图并显示在车内的后视镜上。

基于上述描述可知，通过利用至少三个车载相机采集车辆左侧、右侧以及车尾的图像，并将采集的图像拼成一副完整且视场比较大的全景图直接输出显示在车内后视镜上，以供驾驶员观察车辆周围关键盲区(如车辆A柱和B柱的视野盲区)的景物，保证行车安全。

附图说明

图1A为本申请根据一示例性实施例示出的一种车载全景图生成系统结构图；

图1B为本申请根据图1A所示实施例示出的一种车载相机设置示意图；

图2A为本申请根据一示例性实施例示出的一种车载全景图生成方法的实施例流程图；

图2B为本申请根据图2A所示实施例示出的一种虚拟视点与视平面关系图；

图2C为本申请根据图2A所示实施例示出的一种欧拉角旋转示意图；

图2D为本申请根据图2A所示实施例示出的一种待拼接子图的拼接关系示意图；

图2E为本申请根据图2A所示实施例示出的一种拼接效果图；

图2F为本申请根据图2A所示实施例示出的一种车载全景图生成过程示意图；

图3为本申请根据一示例性实施例示出的一种车载全景图生成装置的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

由于目前采用的车尾设置车载相机方式，驾驶员可观察到的视野比较有限，特别是车辆左右两侧A柱和B柱的视野盲区，驾驶员无法观察到，因此目前所采用的方式无法保证行车安全。

为解决上述问题，本申请提出一种车载全景图生成方法，通过获取各车载相机在同一时间采集的车辆周围的图像，所述车载相机至少包括三个，分别设置在车辆的左右两侧和车尾，然后将获取的各帧图像拼接为车载全景图并显示在车内的后视镜上。

基于上述描述可知，通过利用至少三个车载相机采集车辆左侧、右侧以及车尾的图像，并将采集的图像拼成一副完整且视场比较大的全景图直接输出显示在车内后视镜上，以供驾驶员观察车辆周围关键盲区(如车辆A柱和B柱的视野盲区)的景物，保证行车安全。

图1A为本申请根据一示例性实施例示出的一种车载全景图生成系统结构图，包括：至少三个车载相机(图1A中所示的左车载相机、右车载相机以及后车载相机)、处理器以及后视镜；其中，三个车载相机分别设置在车辆的左右两侧和车尾，分别用于采集车辆左侧、右侧以及后方的图像，从而形成车辆周围的图像；处理器用于获取各车载相机在同一时间采集的车辆周围的图像，并将获取的各帧图像拼接为车载全景图并发送至车内的后视镜；后视镜用于显示接收到的车载全景图。

其中，为了扩大驾驶员能够观察的车后方视野，通过在车辆左右两侧增加设置车载相机，即左车载相机和右车载相机，以采集左右两侧关键盲区视野。另外，通过将拼接好的车载全景图显示在车内后视镜上，相比于显示屏更加切合用户的开车习惯。

示例性的，车内的后视镜可以是流媒体后视镜，或者也可以是行车记录仪，本申请对此不进行限定。

如图1B所示，后车载相机设置在车辆的车尾，左车载相机设置在车辆的左侧后视镜上，右车载相机设置在车辆的右侧后视镜上，通过三个车载相机可以采集到车辆周围的图像，并通过车内的流媒体后视镜显示拼接好的车载全景图。

图2A为本申请根据一示例性实施例示出的一种车载全景图生成方法的实施例流程图，所述车载全景图生成方法可以应用于上述图1A所示系统中的处理器上，如图2A所示，所述车载全景图生成方法包括如下步骤：

步骤201：获取各车载相机在同一时间采集的车辆周围的图像。

在一实施例中，可以每隔预设时间间隔，从各车载相机中获取当前时刻采集的图像，并将获取的图像作为车辆周围的图像，以用于后续的拼接。

步骤202：将获取的各帧图像拼接为车载全景图显示在车内的后视镜上。

在执行步骤202之前，由于车辆上设置的车载相机之间的相对位置关系始终不会发生变化，因此在拼接之前可以预先确定每个车载相机的拼接映射表并存储，即确定出车载相机采集的图像中每一像素点对应在待拼接子图中的坐标位置，以节约后续图像拼接的计算开销，提高车载全景图生成效率。

针对每个车载相机的拼接映射表的确定过程可以是：确定该车载相机的内参和外参，并依据所述内参和外参获取该车载相机对应的单应性矩阵，同时也依据预设俯仰视角获取该车载相机对应的透视变换矩阵，所述预设俯仰视角指的是将图像投影到人眼正视的视平面对应的视角，然后依据所述单应性矩阵和所述透视变换矩阵确定该车载相机采集的图像中每一像素点对应在待拼接子图中的坐标位置并存储至该车载相机对应的拼接映射表中。

其中，单应性矩阵是用于将各车载相机采集的图像转换为视平面为地面的俯视图，预设俯仰视角是用于将俯视图转换到与地面垂直的视平面上，且该视平面的视点为车辆后方，以方便驾驶员以舒适的角度来观察外部环境。如图2B所示，虚拟视点为车辆后方，与虚拟视点的虚拟光轴垂直的视平面与地面垂直，因此通过上述单应性矩阵和透视变换矩阵得到的拼接映射表，可以将图像转换到以车辆后方为视点的视平面上。

示例性的，内参指的是相机内部的固定参数，如焦距、主点坐标、机电系数等参数，外参指的是相机的外部参数，如偏航角、翻滚角、俯仰角等参数，相机安装方向不同，外参不同。由内参可以得到内参矩阵，由外参可以得到外参矩阵，内参矩阵与外参矩阵的乘积为相机对应的单应性矩阵，通过该单应性矩阵可以将相机采集到的图像投影到地平面。

下面对预设俯仰视角的设置过程进行详细介绍：

如图2C所示，在欧拉角中，常用的旋转顺序是俯仰-偏航-滚转(pitch-yaw-roll)，即先绕X轴旋转得到俯仰角pitch，再绕旋转后的Y轴旋转得到滚转角roll，最后绕旋转后的Z轴旋转得到偏航角yaw。

绕X轴旋转角度pitch，得到的旋转矩阵为：

绕Y轴旋转角度yaw，得到的旋转矩阵为：

绕Z轴旋转角度roll，得到的旋转矩阵为：

由上述的pitch-yaw-roll旋转顺序可得透视变换矩阵如下式：

T＝PITCH×YAW×ROLL (公式4)

通过单应性矩阵得到的待拼接子图是相当于将相机采集的图像投影到地面上，为了将待拼接子图投影到人眼正视的视平面，即视点为车辆后方，待投影的视平面与地平面垂直，正符合人眼的感观，因此还需要将待拼接子图绕X轴逆时针旋转90°，即预设俯仰角设置为-90°，即将pitch＝-90°，yaw＝0°，roll＝0°分别代入上述公式(1)、(2)、(3)，便可获得透视变换矩阵T中的各元素值，该透视变换矩阵用于将图像从地平面投影到垂直于地平面的视平面。

值得说明的是，单应性矩阵也是通过上述公式(4)得到，只是代入公式(1)、(2)、(3)中的pitch、yaw、roll均是相机安装完成后，相机实际的偏航角、翻滚角、俯仰角。

示例性的，依据单应性矩阵和透视变换矩阵确定图像中每一像素点对应在待拼接子图中的坐标位置的公式可以是：

其中，(x，y)表示的是待拼接子图中的坐标，(x'，y')表示的是原始图像中的坐标，(x'，y')∈[(0，0)～(m-1，n-1)]，H表示的是单应性矩阵，T表示的是透视变换矩阵。

在一实施例中，在得到各个车载相机对应的拼接映射表后，可以将获取的各帧图像拼接为车载全景图，拼接过程可以是：针对每个车载相机，依据该车载相机对应的拼接映射表将由该车载相机采集的图像转换为待拼接子图，然后再将转换得到的各帧待拼接子图拼接为车载全景图。

其中，转换得到的各帧待拼接子图与车载全景图位于同一图像坐标系中，且该图像坐标系为预设俯仰角对应的视平面的坐标系。

在一实施例中，针对将转换得到的各帧待拼接子图拼接为车载全景图的过程，可以将各帧待拼接子图按照指定顺序进行排序，再依次合并排序后的各帧待拼接子图并对各帧待拼接子图中的重叠区域进行融合，得到车载全景图；其中，所述重叠区域指的是相邻两帧待拼接子图中具有相同坐标信息的像素点组成的区域。

示例性的，待拼接子图的排列顺序可以是车辆左侧、后方、右侧的顺序，如图2D所示的排列顺序，左子视图为车辆左侧的待拼接子图，后子视图为车辆后方的待拼接子图，右子视图为车辆右侧的待拼接子图。

本领域技术人员可以理解的是，对重叠区域进行融合的过程可以通过相关技术实现，如加权融合方式，本申请对此不进行限定。

如图2E所示，通过以车辆后方为视点，对车辆左侧的待拼接子图、车辆后方的待拼接子图以及车辆右侧的待拼接子图进行拼接后，得到的拼接效果图。

基于上述描述，现有实现方式驾驶员是以相机镜头的视点观看图像，并不利于驾驶员以舒适的角度来观察外部环境，而本申请能够根据驾驶员的习惯进行视点变换，即通过对图像进行视角变换，以将图像投影到符合人眼感观的视平面进行拼接，从而驾驶员可以以舒适的角度来观察外部环境。

针对上述步骤201至步骤202的过程，如图2F所示，为车载全景图生成过程：在进行拼接前，可以先对车辆上设置的三个车载相机进行标定，以获得各自对应的拼接映射表，然后便可对三个车载相机采集的图像，分别用各自对应的拼接映射表进行转换得到相应的待拼接子图，进而对三帧待拼接子图按照左、后、右的顺序进行拼接，获取车载全景图。

需要说明的是，在获取车载全景图过程中，用于拼接全景图的各帧图像中的细节均会有丢失，为了看到更多的细节，在将获取的各帧图像拼接为车载全景图并显示在车内的后视镜上之后，还可以根据用户的需求，切换显示侧重角度不同的拼接图，以供驾驶员看到某一角度更加多的细节。

切换显示实现过程可以是：当接收到用于指示侧重显示车辆左侧图的第一切换指令时，将位于车辆左侧车载相机采集的图像和位于车尾车载相机采集的图像的拼接图，显示在后视镜上；当接收到用于指示侧重显示车辆右侧图的第二切换指令时，将位于车辆右侧的车载相机采集的图像和位于车尾的车载相机采集的图像的拼接图，显示在后视镜上；当接收到用于指示侧重显示车底盲区的第三切换指令时，依据历史帧确定所述车载全景图中的车底区域的像素信息并填充至所述车底区域中，并将填充后的车载全景图显示在后视镜上。

其中，侧重车辆右侧的拼接图为车辆右侧车载相机采集的图像对应的待拼接子图与车尾车载相机采集的图像对应得待拼接子图的拼接图；侧重车辆左侧的拼接图为车辆左侧车载相机采集的图像对应的待拼接子图与车尾车载相机采集的图像对应得待拼接子图的拼接图。

示例性的，第一切换指令可以是当车辆向左转时触发生成的，第二切换指令可以是当车辆向右转时触发生成的，第三切换指令当车辆向后倒车时触发生成的。当然，当车辆向前行进时还可以触发生成第四切换指令，以再次在后视镜上显示车载全景图。

其中，针对依据历史帧确定所述车载全景图中的车底区域的像素信息的过程，可以采用相关技术实现，本申请在此不进行限定。

在本申请实施例中，通过获取各车载相机在同一时间采集的车辆周围的图像，所述车载相机至少包括三个，分别设置在车辆的左右两侧和车尾，然后将获取的各帧图像拼接为车载全景图并显示在车内的后视镜上。

基于上述描述可知，通过利用至少三个车载相机采集车辆左侧、右侧以及车尾的图像，并将采集的图像拼成一副完整且视场比较大的全景图直接输出显示在车内后视镜上，以供驾驶员观察车辆周围关键盲区(如车辆A柱和B柱的视野盲区)的景物，保证行车安全。

图3为本申请根据一示例性实施例示出的一种车载全景图生成装置的结构图，所述车载全景图生成装置可以应用于上述图1A所示系统中的处理器上，如图2A所示，所述车载全景图生成装置包括：

获取模块310，用于获取各车载相机在同一时间采集的车辆周围的图像，所述车载相机至少包括三个，分别设置在车辆的左右两侧和车尾；

拼接模块320，用于将获取的各帧图像拼接为车载全景图；

显示模块330，用于将所述车载全景图显示在车内的后视镜上。

在一可选实现方式中，所述拼接模块320，具体用于针对每个车载相机，依据预先确定的该车载相机对应的拼接映射表，将由该车载相机采集的图像转换为待拼接子图，所述拼接映射表记录有图像中每一像素点对应在待拼接子图中的坐标位置；将转换得到的各帧待拼接子图拼接为车载全景图；其中，所述各帧待拼接子图位于同一图像坐标系中。

在一可选实现方式中，所述装置还包括(图3中未示出)：

拼接表建立模块，用于确定该车载相机的内参和外参；依据所述内参和外参获取该车载相机对应的单应性矩阵；依据预设俯仰角获取该车载相机对应的透视变换矩阵，所述预设俯仰角指的是将图像投影到人眼正视的视平面对应的视角；依据所述单应性矩阵和所述透视变换矩阵确定该车载相机采集的图像中每一像素点对应在待拼接子图中的坐标位置并存储至该车载相机对应的拼接映射表中。

在一可选实现方式中，所述拼接模块320，具体用于在将转换得到的各帧待拼接子图拼接为车载全景图过程中，将各帧待拼接子图按照指定顺序进行排序；依次合并排序后的各帧待拼接子图并对各帧待拼接子图中的重叠区域进行融合，得到车载全景图；其中，所述重叠区域指的是相邻两帧待拼接子图中具有相同坐标信息的像素点组成的区域。

在一可选实现方式中，所述装置还包括(图3中未示出)：

切换显示模块，用于当接收到用于指示侧重显示车辆左侧图的第一切换指令时，将位于车辆左侧车载相机采集的图像和位于车尾车载相机采集的图像的拼接图，显示在所述后视镜上；当接收到用于指示侧重显示车辆右侧图的第二切换指令时，将位于车辆右侧的车载相机采集的图像和位于车尾的车载相机采集的图像的拼接图，显示在所述后视镜上；当接收到用于指示侧重显示车底盲区的第三切换指令时，依据历史帧确定所述车载全景图中的车底区域的像素信息并填充至所述车底区域中，并将填充后的车载全景图显示在所述后视镜上。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。