全景视图合成系统和方法

技术领域

本发明涉及一种全景视图(around view)合成系统和方法，尤其涉及一种通过合成多个图像来形成车辆全景视图的系统和方法。

背景技术

近来，为了驾驶员的方便，智能车辆的开发和商业化正在进步。特别地，智能车辆包含提供车辆周围图像的全景视图监视器(around view monitor,AVM)系统和显示车辆后侧图像的盲点视图监视器(blind-spot view monitor,BVM)系统。

具体地，全景视图监视系统是对设置在车辆的前、后、左、右的相机拍摄的图像进行合成进而显示为图像的系统。

然而，全景视图监视器系统提供通过合成前、后、左、右相机拍摄的图像而获得的合成图像，由于每个相机的视角的差异，在合成图像中的每个图像之间的边界区域中产生了盲区。当盲区中存在障碍物时，该障碍物可能不出现在合成图像中或仅出现在任何一个图像中。

也就是说，在全景视图监视系统中，存在每个图像合成边界处的障碍物双重可见或不可见的问题，导致全景视图监视系统的可靠性降低，进而难以替代稳定的盲点视图监控系统。

被描述为背景技术的内容仅用于帮助理解本发明的背景技术，而不应被认为是对应于本领域技术人员已知的现有技术。

发明内容

因此，本发明考虑到了现有技术中出现的上述问题，而且本发明的目的之一就是提供一种通过改变要合成的多个图像之间的边界来形成车辆的全景视图的系统和方法。

为了实现上述目的，根据本发明的全景视图合成系统包括多个相机，每个所述相机安装在车辆中以拍摄所述车辆周围的各个不同区域；边界设置单元，在所述多个相机拍摄的图像的重叠区域中设置被拍摄图像的合成边界；以及图像合成器，接收由所述多个相机拍摄的图像，并且根据由所述边界设置单元设置的所述合成边界来合成接收到的图像。

所述多个相机可以包括：第一相机，拍摄所述车辆的前方；第二相机，拍摄所述车辆的后方；第三相机，拍摄所述车辆的左侧；第四相机，拍摄所述车辆的右侧。

所述边界设置单元可以检测所述重叠区域中的障碍物，并基于所述障碍物的检测状态来设置合成边界。

所述系统还可以包括传感器，所述传感器检测所述车辆周围的障碍物，其中所述边界设置单元使用所述传感器感测到的感测信息或所述多个相机拍摄的图像来检测所述重叠区域中的障碍物。

在所述障碍物的检测状态的基础上，所述边界设置单元可以在由所述多个相机拍摄的在所述重叠区域中重叠的图像之间设置上层，并且设置被设置为所述上层的图像的合成边界。

当由所述多个相机拍摄的、在所述重叠区域中重叠的图像中的仅一个图像中检测到障碍物时，所述边界设置单元可以将检测到所述障碍物的图像设置为所述上层并将被设置为所述上层的所述图像的所述合成边界设置为位于检测到的障碍物之外；所述图像合成器可以合成由所述多个相机拍摄的图像之间的上层和下层。

当在由所述多个相机拍摄的、在所述重叠区域中重叠的所有图像中检测到同一障碍物时，所述边界设置单元可以将在与所述车辆的前进方向交叉的方向上拍摄的图像设置为上层并且将被设置为所述上层的所述图像的合成边界设置在检测到的障碍物之外；所述图像合成器可以合成由所述多个相机拍摄的图像之间的上层和下层。

当在由所述多个相机拍摄的、在所述重叠区域中重叠的图像中的第一图像中检测到的障碍物中仅一部分障碍物在第二图像中被检测到时，所述边界设置单元可以将所述合成边界设置为位于所述第一图像中检测到的所述障碍物的最外侧的障碍物之外。

当在由所述多个相机拍摄的、在所述重叠区域中重叠的图像中检测到彼此不同的障碍物时，所述边界设置单元可以将所述图像的合成边界设置为位于所述彼此不同的障碍物之间。

所述图像合成器可以在高于所述车辆的车身的水平的视点处合成面向所述车辆的三维全景视图图像，并且所述系统还可以包括图像显示器，所述图像显示器显示由所述图像合成器合成的所述三维全景视图图像。

当所述障碍物与车辆重叠而被隐藏在所述三维全景视图图像中时，所述图像显示器可以显示所述车辆透明度增加的图像。

为了实现上述目的，根据本发明的全景视图合成方法包括：通过分别安装在车辆中的多个相机来拍摄车辆周围的相应不同区域；在由所述多个相机拍摄的图像的重叠区域中设置被拍摄的图像的合成边界；根据所述设置的合成边界合成由所述多个相机拍摄的图像。

在设置所述合成边界之前，所述方法还包括：使用感测所述车辆周围的障碍物的传感器感测到的感测信息或由所述多个相机拍摄的图像来检测所述重叠区域中的障碍物，其中所述传感器感测车辆周围的障碍物，其中，在所述合成边界的设置中，基于所述障碍物的检测状态来设置合成边界。

所述合成边界的设置可以包括：当在所述重叠区域中检测到所述障碍物时，检测所述障碍物的位置并基于检测到的所述障碍物的位置来设置所述合成边界。

所述合成边界的设置可以包括：基于所述障碍物的检测状态，在由所述多个相机拍摄的、在重叠区域中重叠的图像之间设置上层；以及设置被设置为所述上层的所述图像的合成边界。

所述方法还可以包括：在合成所述图像时，在比所述车辆的车身更高的水平的视点处，合成面向所述车辆的三维全景视图图像；所述图像合成后，显示合成的三维全景视图图像。

所述图像的显示可以包括：当所述障碍物与所述车辆重叠而隐藏在所述三维全景视图图像中时，显示所述车辆的透明度增加的图像。

根据本发明的全景视图合成系统和方法，防止了所述车辆周围的障碍物被双重可见或不可见，从而提高了全景视图的可靠性。

另外，合成的全景视图可以代替车辆的盲点视图监视器(BVM)系统，从而提高位于车辆后侧的障碍物的可见性。

附图说明

结合附图，从下面的详细描述中，将更清楚地理解本发明的以上和其他目的、特征和其他优点，其中：

图1是示出根据本发明的实施例的全景视图合成系统的框图；

图2是示出根据本发明的实施例的合成模型图；

图3A和图3B是示出根据本发明实施例的具有变化的合成边界的合成模型的图；

图4至图7是示出根据本发明的各个实施例的合成边界的设置的图；

图8是示出根据本发明实施例的三维全景视图图像的图；

图9是示出根据本发明的实施例的全景视图合成方法的流程图。

具体实施方式

仅出于描述根据本发明的实施例的目的而示出了根据本文公开的本发明的实施例的功能描述的特定结构，并且，根据本发明的实施例可以以各种形式实现，不应被解释为仅限于本文描述的实施例。

由于根据本发明的实施例可以进行各种修改并且具有各种形式，因此将在附图中示出并且在本说明书中详细描述特定的实施例。然而，这并不旨在将根据本发明的概念的实施例限制为特定公开的形式，应当理解为包括本发明的精神和范围内包含的所有改变、等同形式和替代形式。

诸如第一和/或第二的术语可以用于描述各种组件，但是该组件不应受到这些术语的限制。这些术语仅用于将一个组件与其他组件区分开，例如，在不脱离本发明构思的权利范围的情况下，第一组件可以被称为第二组件，第二组件也可以被称为第一组件。

当一个组件被称为“连接”或“耦合”到另一个组件时，应理解该组件直接连接或耦合到另一个组件，以及它们之间也存在另一个组件。同时，当组件被称为“直接连接”或“直接耦合”至另一组件时，应理解为在它们之间没有其他组件。还应该解释描述组件之间的关系的其他表达，例如“之间”和“直接在……之间”或“与……相邻”和“直接相邻”。

本文所使用的术语仅出于描述特定实施例的目的，并不旨在限制本发明。除非上下文另外明确指出，否则单数表达包括复数表达。如本文中所使用的术语“包括”或“具有”旨在表示存在所描述的特征、数量、步骤、动作、组件、部件或其组合，并且存在一个或多个其他特征或数量。应当理解，本发明并不预先排除步骤、动作、组件、部件或其组合的可能性或增加。

除非另有定义，否则本文使用的所有术语，包括技术或科学术语，具有与本领域普通技术人员通常理解的相同含义。诸如在常用字典中定义的那些术语应被解释为与现有技术的上下文中的含义一致的含义，并且除非本文明确定义，否则不应以理想的或过度正式的含义来解释。

在下文中，将参照附图详细描述本发明的示例性实施例。附图中相同的附图标记表示相同的元件。

图1是示出根据本发明的实施例的全景视图合成系统的框图；图2是示出根据本发明的实施例的合成模型的图。图3A和3B是示出根据本发明的实施例的具有变化的合成边界的合成模型的图。

参照图1、图2、图3A和3B，根据本发明实施例的全景视图合成系统包括多个相机10，每个相机10安装在车辆V中以拍摄车辆V周围的各个不同区域；边界设置单元30，设置在重叠区域S中拍摄的图像的合成边界B，由多个相机10拍摄的图像在重叠区域S中重叠；以及图像合成器40，其接收由多个相机10拍摄的图像，并且根据边界设置单元30设置的合成边界B来合成接收到的图像。

多个相机10可以安装在车辆V中以分别拍摄车辆V的前、左、右和后侧。特别是多个相机10可以分别位于车辆V的前、左、右和后各个方向，以拍摄车辆V的外围。彼此相邻的相机10拍摄的图像可以彼此部分重叠。

图像合成器40可以通过合成多个相机10中的每个相机拍摄的图像来合成全景图像。然而，由多个相机10拍摄的图像可以彼此部分重叠，并且可以在重叠区域中沿着合成边界B来合成图像。

根据现有技术，还存在以下问题：在合成的全景图像中，位于重叠区域S处的障碍物O是不可见的或双重可见的。

边界设置单元30可以在合成区域B中设置合成边界B，在由多个相机10拍摄的图像重叠的重叠区域S中，该合成边界B合成由相邻相机10拍摄的图像。

根据本发明实施例的边界设置单元30和图像合成器40可以通过用于存储控制车辆V的各个组件的操作的算法或与用于再现该算法的软件指令有关的数据的非易失性存储器(未示出)以及用于使用存储在存储器中的数据来执行以下所述操作的处理器(未示出)来实现。在这里，存储器和处理器可以被实现为单独的芯片。或者，存储器和处理器可以被实现为彼此集成的单个芯片。处理器可以采用一个或多个处理器的形式。

具体地，参照图2、图3A和3B，根据本发明实施例的合成模型可以是三维半球或U形形状。图2、图3A和3B是示出了合成模型的(二维)俯视图的图。

在3D合成模型中，可以形成其中由多个相机10拍摄的图像重叠的重叠区域S。合成边界B可以形成在重叠区域S内，使得合成车辆V周围的底部图像总是显示在全景视图图像中。

特别地，如图3A至3B所示，合成边界B可以在重叠区域S内变化。

具体地，多个相机10包括：第一相机11，拍摄车辆V的前方；第二相机12，拍摄车辆V的后方；第三相机13，拍摄车辆V的左侧；第四相机14，拍摄车辆V的右侧。

第一相机11位于车辆V的前方，第二相机12位于车辆V的后方，第三相机13位于车辆V的左侧，第四相机14位于车辆V的右侧。

在边界设置单元30中，可以在重叠区域S中检测障碍物O，并且可以基于障碍物O的检测状态来设置合成边界B。

边界设置单元30可以将重叠区域S设置为感兴趣区域(region of interest,ROI)，并且检测位于重叠区域S内的障碍物O。

另外，边界设置单元30可以识别位于重叠区域S中的障碍物O的类型，并且边界设置单元30可以在检测到多个障碍物O时识别出多个障碍物O彼此相同还是不同。

根据本发明实施例的系统还包括检测车辆V周围的障碍物(O)的传感器20，其中边界设置单元30使用由传感器20感测到的感测信息或由多个相机10拍摄的图像来检测重叠区域S中的障碍物O。

传感器20，例如，是可以安装在车辆V的保险杠上的超声波传感器，或者可以是LiDAR或雷达传感器。

边界设置单元30可以检测障碍物O是否位于3D合成模型的重叠区域S中。另外，可以通过使用由传感器20感测到的感测信息或多个相机10拍摄的图像来检测障碍物O。在此，可以使用深度学习或机器学习人工智能来检测障碍物O的类型(车辆V、行人、建筑物等)。

另外，边界设置单元30可以将检测到的障碍物O的二维合成模型的位置坐标转换为三维合成模型的位置坐标。边界设置单元30可以基于障碍物O的三维合成模型的位置来设置合成边界B。

当在重叠区域S中没有检测到障碍物O时，边界设置单元30可以原样使用预设合成边界B作为合成边界B。

这里，可以将合成边界B预设为重叠区域S的一侧或另一侧边界。或者，可以将预设的合成边界B预设为重叠区域S的中心。

边界设置单元30可以在重叠区域S中检测到障碍物O时检测障碍物O的位置，并且基于障碍物O的位置来设置合成边界B。特别是，边界设置单元30可以基于在重叠区域S内检测到的障碍物O的位置来移动预定的合成边界B。

图4至图7是示出根据本发明的各个实施例的合成边界的设置的图。

参照图4至图7，边界设置单元30基于障碍物O的检测状态来设置由多个相机10拍摄的、在重叠区域S中重叠的图像之间的上层，并且设置被设置为上层的图像的合成边界B。

图像合成器40可以以将边界设置单元30设置为上层的图像与在重叠区域S中与上层重叠的设置为下层的图像彼此重叠的方式合成多个图像。

更具体地，如图4所示，在边界设置单元30中，当在由多个相机10拍摄的、在重叠区域S中重叠的图像中的任何一个中检测到障碍物O时，将检测到障碍物O的图像设置为上层，并且，被设置为上层的图像的合成边界B被设置为位于检测到的障碍物O的外部。在图像合成器40中，可以通过α混合来合成由多个相机10拍摄的图像的上层和下层。

此处，α混合(alpha blending)是指通过将表示透明度的变量α添加到一般图像数据来表达透射图像的技术，并且可以是半透明的渲染功能。

如图所示，当在左图像中检测到障碍物O并且在前图像中未检测到障碍物O时，边界设置单元30可以将左图像设置为上层。另外，边界设置单元30可以移动被设置为上层的左图像的合成边界B。

图像合成器40可以通过根据边界设置单元30设置的左图像的合成边界B合成左图像和前图像，来形成全景视图。

另外，如图5所示，在边界设置单元30中，当在由多个摄像机10拍摄的、在重叠区域S中重叠的所有图像中检测到同一障碍物O时，将在与车辆V的前进方向交叉的方向上拍摄的图像设置为上层，并且将被设置为上层的图像的合成边界B设置为位于检测到的障碍物O的外部。图像合成器40可以通过α混合来合成由多个相机10捕获的图像的上层和下层。

如图所示，当在左图像和前图像中检测到同一障碍物O时，边界设置单元30可以将左图像设置为上层。另外，边界设置单元30可以移动被设置为上层的左图像合成边界B。

特别地，与前图像或后图像相比，边界设置单元30可以优先考虑左图像或右图像。因此，即使当车辆V沿着前进方向移动时，也可以在相对较长的时间内在沿与车辆V的前进方向交叉的方向拍摄的图像中检测到障碍物O。

图像合成器40可以根据由边界设置单元30设置的左图像的合成边界B，通过合成左侧图像和正面图像来形成全景视图。

如图6所示，可以在第二图像中检测到在重叠区域S中重叠的由多个相机10拍摄的图像中的第一图像中检测到的障碍物O1和O2的一部分(障碍物O2)，边界设置单元30可以将合成边界B设置为位于在第一图像中检测出的障碍物O的最外侧的障碍物O2的外侧。

如图所示，当在前图像中仅检测到在左图像中检测到的障碍物O1和O2的一部分时，将合成边界B设置为位于左图像检测到的障碍物O1和O2的最外侧的障碍物O2的外部。即，当在左图像中检测到人(O1)和车辆V(O2)时，可以将合成边界B设置在位于最外侧的车辆V(O2)的外侧。

其中，边界设置单元30可以将具有更多障碍物O1和O2的图像设置为上层。即，边界设置单元30可以将左图像设置为上层，并且图像合成器40可以通过合成左图像和前图像来形成全景视图。

然而，在这种情况下，可以合成左侧图像和前图像，使得设置为上层的左侧图像(第一图像)面向上，而无需应用α混合。

参照图7，在边界设置单元30中，当在由多个相机10拍摄的、在重叠区域S中重叠的图像中检测到彼此不同的障碍物O1和O2时，可以将图像的合成边界B设置为位于障碍物O1和O2之间。

当在第一图像和第二图像中检测到障碍物O1和O2时，可以彼此无关地应用第一图像和第二图像的层顺序。在边界设置单元30中，可以在不应用α混合的情况下基于合成边界B来合成第一图像和第二图像。

特殊地，边界设置单元30可以在第一图像和第二图像两者中设置合成边界B，以使得第一图像和第二图像彼此不重叠，并且沿合成边界B合成第一图像和第二图像。

图8是示出根据本发明的实施例的三维全景视图图像的图。

参照图8，图像合成器40可以在高于车辆V的车身的视点处合成面对车辆V的三维全景视图图像。

三维全景视图可以是从车辆V的外部面向车辆V的车辆V周围的图像，并且视点可以位于高于车辆V的车身的位置，以改善障碍物O与车辆V之间的距离感。

具体地，在基于现有技术的盲点视图监视器(BVM)系统的情况下，由于视点位于比车身低的水平，因此驾驶员难以感觉到车辆V与位于车辆V周围的障碍物O之间的距离感。为了解决该问题，可以提供三维全景视图，使得视点位于比车身更高的水平。

根据本发明的实施例的系统还包括图像显示器50，该图像显示器50显示由图像合成器40合成的三维全景视图图像。

图像显示器50可以是显示装置，其向驾驶员显示由图像合成器40合成的三维全景图像。

当通过驾驶员的操作打开方向指示器或当根据多个相机10拍摄的图像或传感器20的感测信息检测到障碍物O时，图像显示器50可以向驾驶员自动显示合成的三维全景图像。

当障碍物O与车辆V重叠而被隐藏在三维全景视图图像中时，图像显示器50可以显示车辆V的透明度增加的图像。

即，当从三维全景视图图像观察障碍物O位于车辆V的后方，使得障碍物O与车辆V重叠因而被隐藏时，车辆V的车身可以被半透明地显示。因此，可以防止障碍物O图像的显示在三维全景视图中受到干扰。

图9是示出根据本发明的实施例的全景视图合成方法的流程图。

参照图9，根据本发明实施例的全景视图合成方法包括：通过分别安装在车辆V中的多个相机10拍摄车辆V周围的各个不同区域(S100)；设置在由多个相机10拍摄的图像重叠的重叠区域S中拍摄的图像的合成边界B(S500)；以及，根据设置的合成边界B合成由多个相机10拍摄的图像(S600)。

在设置合成边界B之前(S500)，该方法还包括：使用感测车辆V周围的障碍物O的传感器20感测到的感测信息或者由多个相机10拍摄的图像来检测重叠区域S中的障碍物O(S200)，并且在合成边界B的设置中(S500)，可以基于障碍物O的检测状态来设置合成边界B。

当在重叠区域S中检测到障碍物O时，合成边界的设置包括检测障碍物O的位置，以及基于检测到的障碍物O的位置来设置合成边界B。

详细来说，当在重叠区域S中检测到障碍物O时，可以将障碍物的检测坐标(二维模型)转换为三维模型坐标(S300)。另外，可以基于转换后的障碍物的三维模型坐标来设置合成边界B(S500)。

合成边界B的设置(S500)包括：基于障碍物O的检测状态，设置由多个相机10拍摄的、在重叠区域S中重叠的图像中的上层(S400)；以及设置被设置为上层的图像的合成边界B(S500)。

图像的合成(600)包括：在比车辆V的车身高的视点上，合成面对车辆V的三维全景视图图像，并且该方法还包括在图像的合成之后显示合成的三维全景视图图像(S800)。

图像的显示(S800)包括：当障碍物O与车辆V重叠而将被隐藏在三维全景视图图像中时，显示车辆V的透明度增加的图像(S700)。

本发明的实施例不仅仅通过上述装置和/或方法来实现，并且本发明的范围也不限于此，本领域技术人员使用本发明的基本思想进行的各种修改和改进也落入本发明的范围内。