用于监视车辆周围环境的设备和非暂时性计算机可读介质

本申请要求于2019年12月26日提交的第10-2019-0175540号韩国专利申请的优先权，所述韩国专利申请通过引用被全部包含于此。

技术领域

本公开涉及一种用于监视车辆周围环境的设备，更具体地，涉及一种这样的用于监视车辆周围环境的设备：该设备提供车辆周围的图像以允许驾驶员更容易地监视车辆周围环境。

背景技术

通常，在车辆中，车内后视镜允许驾驶员确保车辆后面的视野，车外后视镜安装在车辆的两侧。基于利用车内后视镜或车外后视镜获取的视野，驾驶员在诸如倒车、超车或改变车道的情况下感知周围的车辆或行人。

最近，相机安装在车辆中而不是车外后视镜中，以减少空气动力学阻力并减少在车辆运行时由外部撞击引起的损坏的可能性。通过设置在车辆内部的显示装置显示由相机获取的图像。因此，驾驶员可容易地感知车辆的周围情况。

通常，通过提取由相机获取的图像的一部分经由显示装置显示图像。驾驶员通过调整由相机获取的图像中的提取区域来确保最佳视场。然而，不可感知由相机获取的图像与提取的区域之间的相对位置关系。因此，需要重复调整提取的区域，直到提取到期望的区域。

因此，需要一种使得驾驶员能够容易地感知由相机获取的图像与将要提取的区域之间的相对位置关系的方法。

发明内容

本公开的方面提供了一种用于监视车辆周围环境的设备，其使得驾驶员能够更容易地感知由成像装置获取的图像与将要提取的区域之间的相对位置关系。

本公开的问题不限于上述问题，并且本领域技术人员可从以下描述中清楚地理解未提及的其他问题。

然而，本公开的方面不限于本文阐述的那些方面。通过参照下面给出的本公开的具体实施方式，本公开的以上和其他方面对于本公开所属领域的普通技术人员来说将变得更加明显。

根据本公开的一方面，一种用于监视车辆周围环境的设备可包括：成像装置，获取所述车辆周围的至少一个方向的原始图像；图像处理器，被配置为提取所述原始图像中的与设置区域对应的监视图像；以及图像显示器，输出提取的所述监视图像。所述图像处理器可被配置为在所述监视图像上显示指示所述原始图像与所述监视图像之间的相对位置关系的引导地图。

所述引导地图可包括：第一显示区域，与所述原始图像对应；以及第二显示区域，与所述监视图像对应，并且所述图像处理器可被配置为根据所述设置区域的位置使所述第二显示区域在所述第一显示区域内移动和显示。

所述第一显示区域可包括表示车身线的线。

所述图像处理器可被配置为在调整所述设置区域的所述位置时，在所述第一显示区域中显示所述原始图像的捕获图像，所述捕获图像可以是在所述引导地图被激活时捕获的所述原始图像。可选地，所述图像处理器可被配置为在所述第一显示区域中输出所述原始图像。此外，所述图像处理器可被配置为在所述引导地图中显示水平方向和竖直方向中的至少一个方向的视角。

所述第一显示区域和所述第二显示区域可具有不同的图像属性。所述图像属性可包括图像的色调、饱和度、亮度和透明度中的至少一者。

还可设置用户界面以用于调整所述设置区域的位置，并且所述图像处理器可被配置为响应于从所述用户界面输入的操作信号而在所述监视图像上显示所述引导地图。此外，所述图像处理器可被配置为当在预定或更长的时间段内没有输入操作信号时，从所述监视图像中去除所述引导地图。

本公开的另一方面提供一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含由处理器或控制器执行的程序指令。所述程序指令在由所述处理器或所述控制器执行时可被配置为：使用成像装置获取车辆周围的至少一个方向的原始图像；在图像显示器中显示从所述原始图像提取的监视图像以与所述原始图像内的设置区域对应；以及在所述图像显示器中显示引导地图，所述引导地图指示所述原始图像与所述监视图像之间的相对位置关系。

所述引导地图可包括：第一显示区域，示出所述原始图像；以及第二显示区域，示出所述监视图像，并且所述程序指令在由所述处理器或所述控制器执行时可被配置为根据所述设置区域相对于所述原始图像的位置，使所述第二显示区域在所述第一显示区域内移动和显示。

所述程序指令在由所述处理器或所述控制器执行时可被配置为响应于经由用户界面接收到操作信号而在所述监视图像上显示所述引导地图。所述程序指令在由所述处理器或所述控制器执行时可被配置为当在预定或更长的时间段内没有输入操作信号时，从所述监视图像中去除所述引导地图。此外，所述程序指令在由所述处理器或所述控制器执行时可被配置为在调整所述设置区域的所述位置时，在所述第一显示区域中显示所述原始图像的捕获图像，所述捕获图像是在所述引导地图被激活时的所述原始图像。

所述程序指令在由所述处理器或所述控制器执行时还可被配置为在所述第一显示区域中显示表示车身线的线。所述程序指令在由所述处理器或所述控制器执行时可被配置为在所述引导地图中显示水平方向和竖直方向中的至少一个方向的视角。

所述第一显示区域和所述第二显示区域可具有不同的图像属性，所述图像属性包括图像的色调、饱和度、亮度和透明度中的至少一者。

根据本公开的用于监视车辆周围环境的设备具有以下益处中的一个或更多个。可通过基于由成像装置获取的原始图像中的与监视图像对应的设置区域的位置显示原始图像与设置区域之间的相对位置关系来改善驾驶员的便利性。

本公开的益处不限于上述益处，并且本领域技术人员可从权利要求书中清楚地理解未提及的其他益处。

附图说明

通过参照附图详细地描述本公开的示例性实施例，本公开的以上和其他方面以及特征将变得更加明显，在附图中：

图1是示出根据本公开的示例性实施例的用于监视车辆周围环境的设备的框图；

图2是示出根据本公开的示例性实施例的安装有图像获取单元的车辆的示意图；

图3是示出根据本公开的示例性实施例的图像获取单元的水平视角的示意图；

图4是示出根据本公开的示例性实施例的图像获取单元的竖直视角的示意图；

图5是示出根据本公开的示例性实施例的与监视图像对应的设置区域的示意图；

图6是示出根据本公开的示例性实施例的在设置区域的水平方向上的提取角度的示意图；

图7是示出根据本公开的示例性实施例的在设置区域的竖直方向上的提取角度的示意图；

图8是示出根据本公开的示例性实施例的图像输出单元的位置的示意图；

图9是示出根据本公开的示例性实施例的原始图像中的设置区域的位置的示意图；

图10是示出根据本公开的示例性实施例的引导地图的示意图；

图11是示出根据本公开的示例性实施例的在第一显示区域内移动位置的第二显示区域的示意图；以及

图12至图15是示出根据本公开的另一示例性实施例的引导地图的示意图。

具体实施方式

通过参照示例性实施例的以下具体实施方式和附图，可更容易地理解本公开的优点和特征以及实现其的方法。然而，本公开可以以许多不同的形式呈现，并且不应被解释为限于本文阐述的示例性实施例。更确切地说，提供这些示例性实施例使得本公开将是彻底的和完整的，并将向本领域技术人员充分地传达本公开的构思，并且本公开将仅由所附权利要求限定。在整个说明书中，附图中相似的附图标记表示相似的元件。

在一些示例性实施例中，将不详细地描述公知的步骤、结构和技术以避免模糊本公开。

在此使用的术语仅用于描述特定示例性实施例的目的，并不旨在限制本公开。如在此所使用的，除非上下文另有清楚地说明，否则单数形式旨在也包括复数形式。将进一步理解的是，当在本说明书中使用时，术语“包括”和/或“包含”列举存在所陈述的特征、整数、步骤、操作、元件和/或组件，但不排除存在或添加一个或更多个其他的特征、整数、步骤、操作、元件、组件和/或它们的组。如在此所使用的，术语“和/或”包括相关所列项中的一个或更多个的任意组合和所有组合。

参照作为本公开的理想化示例性实施例的示意性图示的平面图示和截面图示在此描述本公开的示例性实施例。因此，预期作为例如制造技术和/或公差的结果的图示形状的变化。因此，本公开的示例性实施例不应被解释为限于在此所示的区域的特定形状，而是包括例如由制造引起的形状偏差。在附图中，为了便于说明，可放大或缩小各个组件的尺寸。

在下文中，将参照根据本公开的示例性实施例的用于监视车辆周围环境的设备的附图来描述本公开。

图1是示出根据本公开的示例性实施例的用于监视车辆周围环境的设备的框图。参照图1，根据本公开的示例性实施例的车辆周围环境监视系统1可包括图像获取单元100(例如，成像装置)、图像处理单元200、图像输出单元300(例如，图像显示器)和操作单元400。

在本公开的示例性实施例中，如图2中所示，图像获取单元100可安装在车辆两侧的前门上或附近，以使根据本公开的车辆周围环境监视系统1替换车外后视镜的作用，并获取车辆的后部和/或侧后部的图像。然而，本公开不限于此，并且图像获取单元100可获取需要驾驶员监视或注意的至少一个方向的图像。

在本公开的示例性实施例中，将作为示例描述安装在车辆两侧中的驾驶员侧的图像获取单元100。安装在乘客侧(即，驾驶员侧的相对侧)的图像获取单元100也可类似地配置，但是在安装位置方面可能存在一些差异。这里，驾驶员侧和乘客侧分别指的是车辆驾驶员就座的一侧和与驾驶员侧相对的一侧。在美国，车辆的左侧通常被称为驾驶员侧，车辆的右侧通常被称为乘客侧。然而，驾驶员侧和乘客侧在左右方向上的实际侧可根据道路使用习惯以及地方法规和规定而变化。

根据驾驶员需要监视的视场，图像获取单元100可使用具有各种视角(例如，可视角度、视场等)的至少一个成像装置(例如，相机)，诸如窄角相机或广角相机。在本公开的示例性实施例中，图像获取单元100可获取呈现如图3中所示的水平方向上的视角θ1和如图4中所示的竖直方向上的视角θ2的图像。

由图像获取单元100获取的图像的尺寸可由水平方向上的视角θ1和竖直方向上的视角θ2限定。在下文中，由本公开的示例性实施例中的图像获取单元100获取的图像将被称为“原始图像”。

图像处理单元200可被配置为提取原始图像A的与设置区域A'对应的监视图像(如图5中所示)，并且使提取的监视图像经由图像输出单元300输出。可基于监视图像中包括的诸如周边车辆、行人和固定设施的对象的尺寸来确定设置区域A'。设置区域A'的尺寸可被确定为具有这样的放大率：降低驾驶员可能误解在监视图像中出现的对象的尺寸和/或到对象的距离的风险。

换句话说，随着设置区域A'增大，出现在监视图像中的对象的尺寸减小，因此放大率减小。因此，设置区域A'越小，出现在监视图像中的对象的尺寸变得越大，因此放大率增大。设置区域A'可被确定为具有允许驾驶员适当地识别出现在监视图像中的对象的尺寸或到对象的距离的放大率。

原始图像A可具有比设置区域A'大的尺寸。换句话说，设置区域A'可设置为原始图像A的一部分。这是为了防止监视图像中的图像失真，因为图像失真更可能发生在原始图像A的边缘区域中而不是在其中央区域中，并且允许根据驾驶员的偏好来调整设置区域A'。

如图6和图7中所示，可相对于水平方向上的提取角度a

这里，可基于图像输出单元300与驾驶员的观察点(例如，驾驶员眼睛的位置)之间的距离或角度来确定水平方向上的提取角度a

图像输出单元300可包括具有预定尺寸的图像显示器(例如，屏幕)310，在图像显示器310上输出或显示监视图像。在本公开的示例性实施例中，图像获取单元100可分别安装在车辆的两侧。因此，如图8中所示，图像输出单元300也可分别安装在驾驶员侧和乘客侧。例如，图像输出单元300可安装在仪表盘两侧的A柱附近。

操作单元400可允许驾驶员激活用于调整设置区域A'的位置的引导地图，并且可使得驾驶员能够调整设置区域A'的位置。操作单元400可包括用户界面，并且可以以按钮、开关、操纵杆等的形式设置在车辆中。然而，本公开不限于此，并且当图像输出单元300被配置为触摸显示面板时，操作单元400可被设置为触摸按钮。在这样的示例性实施例中，图像显示器和用户界面可被提供为诸如触摸屏幕的单个单元。

例如，当驾驶员想要在当前正在经由图像输出单元300输出的监视图像中增大朝向车辆的侧面旁路的视野或者减小监视图像中车辆自身的比例时，可经由操作单元400调用或激活引导地图以允许显示引导地图，然后可调整原始图像A中的设置区域A'的位置。

图9是示出根据本公开的示例性实施例的通过操作单元调整位置的设置区域的示意图。参照图9，驾驶员可激活引导地图以允许显示引导地图，以用于根据驾驶员的偏好调整设置区域A'的位置。随后，驾驶员可基于如图5中所示和如上所述的设置区域A'使用操作单元400沿着上、下、左和右的方向移动设置区域A'的位置。图像处理单元200可被配置为从原始图像A提取与由驾驶员移动的设置区域A'对应的监视图像。在图9中，设置区域A'的位置可沿着上、下、左和右的方向移动。然而，本公开不限于此，并且设置区域A'可沿着对角线方向移动，对角线方向是两个或更多个方向的组合。

如上所述，当驾驶员使用操作单元400调整设置区域A'的位置时，驾驶员可能难以感知设置区域A'相对于实际原始图像A的相对位置。因此，即使当设置区域A'的边缘设置在原始图像A的边缘上并且不再可能进一步定位设置区域A'时，驾驶员也可能尝试调整设置区域A'的位置。在这样的情况下，可能发生不必要的操作，从而降低驾驶员的便利性。

换句话说，当驾驶员不知道原始图像A与设置区域A'之间的相对位置关系时，即使不能进一步调整设置区域A'的位置，驾驶员也可能频繁地输入不必要的操作。为此，在本公开的示例性实施例中，可在监视图像上显示允许驾驶员知道原始图像A与设置区域A'之间的相对位置关系的信息，从而有利于方便驾驶员。

图10是示出根据本公开的示例性实施例的在监视图像上显示的引导地图的示意图。参照图10，响应于驾驶员激活引导地图，图像处理单元200可被配置为在图像输出单元300上显示的监视图像上显示引导地图500。引导地图500可指示原始图像A内的与监视图像对应的设置区域A'的位置。

在本公开的示例性实施例中，图像处理单元200可被配置为当操作单元400输入操作信号时，例如，通过将引导地图500插设在监视图像内来将引导地图500与监视图像合成，并且可被配置为当在特定或更长的时间段内没有输入操作信号时不显示引导地图。然而，本公开不限于此，并且即使在没有输入操作信号时，也可显示引导地图500。

引导地图500可包括：第一显示区域510，示出原始图像A；以及第二显示区域520，示出与监视图像对应的设置区域A'。如图11中所示，当驾驶员操作操作单元400时，第二显示区域520可在第一显示区域510内移动到与设置区域A'对应的位置，并且显示在屏幕310上的具有预定尺寸的监视图像也可根据第一显示区域510的移动而移动。

图11示出了如图9中所示当设置区域A'沿着上、下、左和右的方向移动时第二显示区域520在第一显示区域510内沿着上、下、左和右的方向移动的示例。然而，本公开不限于此，并且第二显示区域520可根据设置区域A'的移动方向沿着对角线方向以及沿着上、下、左和右的方向移动。

第一显示区域510和第二显示区域520可具有不同的图像属性，例如，色调、饱和度、亮度、透明度等，以确保驾驶员的可见性。作为示例，第一显示区域510可以以黑白图像(即，显著降低的饱和度)显示，第二显示区域520可以以彩色显示。驾驶员可通过操作操作单元400来调整设置区域A'的位置，同时通过引导地图500基于原始图像A检查设置区域A'的位置。作为示例，第二显示区域520可通过在屏幕310上的触摸拖动或通过操纵单独设置(例如，在中央仪表板处、在仪表盘处或与门板上的电动车窗开关相邻地单独设置)的操纵杆型开关而在第一显示区域510内移动。然而，本公开不限于此，并且可不同地配置用于操作单元400的用户界面。

在上述示例性实施例中，已描述了第一显示区域510和第二显示区域520具有不同图像属性的示例。然而，本公开不限于此，并且如图12中所示，在驾驶员操作操作单元400时捕获的原始图像A的图像可显示在第一显示区域510上，使得驾驶员可更直观地识别第二显示区域520的位置。

因此，驾驶员可检查车体在设置区域A'中占据的比例，并且操作单元400可被操作以根据驾驶员的偏好增大或减小车体在设置区域A'中占据的比例，从而调整第二显示区域520的位置，如上述图11中所示。

图12示出了在第一显示区域510上显示捕获图像的示例。然而，本公开不限于此，并且原始图像A可在第一显示区域510中显示为画中画(PIP)图像，从而可在检查实时改变的原始图像A的同时调整设置区域A'的位置。在上述示例性实施例中，已描述了在驾驶员经由PIP图像检查车身线的同时驾驶员调整设置区域A'的位置的示例。然而，本公开不限于此，并且如图13中所示，可在第一显示区域510上显示表示车身的线511。

在上述示例性实施例中，已描述了第二显示区域520显示原始图像A与设置区域A'之间的相对位置关系的示例，在第一显示区域510内移动第二显示区域520的位置。然而，本公开不限于此，并且如图14和图15中所示，引导地图500可包括表示水平视角(例如，水平可视角度)的示图和/或表示竖直视角(例如，竖直可视角度)的示图。

例如，当驾驶员使用操作单元400在水平方向上调整设置区域A'的位置时，引导地图500可显示为相对于原始图像A的水平视角531的设置区域A'的水平视角532，如图14中所示。当驾驶员在竖直方向上调整设置区域A'的位置时，引导地图500可显示为相对于原始图像A的竖直视角541的设置区域A'的竖直视角542，如图15中所示。

上述图14和图15是调整由安装在驾驶员座椅侧的图像获取单元100获取的原始图像A中的设置区域A'的位置的示例。尽管图14和图15描述了基于车辆图标V在驾驶员侧显示引导地图500的示例，但本公开不限于此。当调整由安装在乘客侧的图像获取单元获取的原始图像中的设置区域的位置时，可基于车辆图标在乘客侧显示引导地图500。

另外，在图14和图15中，已描述了分别显示指示水平视角和竖直视角的引导地图500的示例。然而，本公开不限于此，并且当驾驶员在水平或竖直方向上调整设置区域A'的位置时，可同时显示指示水平视角和竖直视角的引导地图500。

如上述图8中所示，当图像输出单元300分别设置在驾驶员的左侧和右侧时，乘客侧的图像输出单元可设置为比驾驶员侧的图像输出单元远离驾驶员眼睛。为了补偿距离差异，乘客侧的图像输出单元的引导地图的尺寸可大于驾驶员侧的图像输出单元的引导地图的尺寸，这可使驾驶员更容易地调整左图像和右图像。换句话说，驾驶员可使用操作单元400选择驾驶员侧的图像输出单元或乘客侧的图像输出单元。当驾驶员选择乘客侧的图像输出单元时，可以以比在驾驶员侧的图像输出单元上显示引导地图时更大的尺寸显示引导地图。

尽管示例性实施例被描述为使用多个单元来执行示例性过程，但应当理解的是，示例性过程也可由一个或多个模块执行。另外，应当理解的是，术语“处理器/图像处理器/控制器/控制单元”指的是包括存储器和处理器的硬件装置。存储器被配置为存储模块，并且处理器被具体配置为执行所述模块以执行上述一个或更多个过程。

此外，本公开的控制逻辑可呈现为计算机可读介质上的非暂时性计算机可读介质(包含由处理器、控制器/控制单元等执行的可执行程序指令)。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读记录介质还可分布在网络耦合的计算机系统中，使得计算机可读介质例如由远程信息处理服务器或控制器局域网(CAN)以分布式方式存储和执行。

如上所述，利用根据本公开的用于感测车辆周围环境的周围环境监视系统1，驾驶员可在使用引导地图500检查由图像获取单元100获取的原始图像A和与经由图像输出单元300输出的监视图像对应的设置区域A'之间的相对位置关系的同时调整设置区域A'的位置。因此，可改善驾驶员的便利性。

在总结具体实施方式时，本领域技术人员将理解的是，在基本上不脱离本公开的原理的情况下，可对示例性实施例进行许多变化和修改。因此，本公开的所公开的示例性实施例仅在一般意义和描述性意义上使用，而不是为了限制的目的。