掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本发明涉及通过向驾驶员显示拍摄了车辆周围的影像来提供驾驶便利的全景监控系统(Around View Monitoring system:AVM),更详细地,涉及根据车辆行驶状态及驾驶员的状态来调节摄像机的视角的车辆用全景监控系统及其方法。

另外,本发明涉及用于改善从车辆用全景监控系统的显示部提供的影像的直观性的车辆用全景监控系统及其方法。

背景技术

全景监控系统(Around View Monitoring system:AVM)是将附着在车辆的摄像机拍摄到的车辆的周围影像显示在车辆内的监控器,使得驾驶员能够通过监控器的影像来识别车辆周围环境,并在此状况下驾驶车辆的系统。

通常,在驾驶车辆时,驾驶员可以容易地识别并判断作为前进方向的前方的状况,然而车辆的左、右两侧及后方作为驾驶员的视野盲区,难以识别。为此,作为解决当前在运行的车辆中存在的这些问题的手段,在车辆的室内外部及侧面部安装常规室内镜、侧视镜、后视镜等作为基本配置。

另一方面,如上所述的常规配置的视野确保手段(室内镜、侧视镜、后视镜等)是由通过利用光反射来识别物体的镜子,其分别分散设置于车辆的室内外部以及侧面部。

因此,这种以往的视野确保手段作为简单地通过光的反射作用来识别物体的镜子结构,形成的视角窄,并且后座席的人、行李、拖车等会遮挡视野,被摄体的清晰度以及反射范围也极度受限。

为此,近年来,作为解决了部分如上所述的以往视野确保手段的问题的技术,具有如下的电子式全显示镜(Full Display Mirror)等的装置:即,将从后置摄像机获取的影像信息传输到执行室内镜功能的显示部并进行显示,从而确保宽视野。

然而,与镜式室内镜不同地,这种电子式全显示镜不会根据观察者视线与镜轴形成的角度变化而产生相位变换,因此会使驾驶员感到异样感。

发明内容

发明要解决的问题

为了解决如上所述的问题,本发明提供具有如下的车辆用全景监控系统及其方法:即,图像处理部向驾驶员显示与驾驶员的面部的轴或位置、方向盘的转向角或车体的倾斜度信息相匹配的区域的影像,同时摄像机转向部根据这些信息调节后置摄像机模块的摄像机的角度。然而,这些问题仅是例示性的,本发明的范围并不限于此。

用于解决问题的手段

根据本发明一实施例的车辆用全景监控系统可包括:后置摄像机模块,安装在车辆的一区域,用于获取车辆的周围影像,接口部,用于接收驾驶员的面部向左右旋转的旋转角和/或面部从驾驶员的身体中心轴向左右移动的左右移动量信息,摄像机转向处理器,进行控制以根据接口部接收到的信息来调节后置摄像机模块的摄像机的角度,以及图像处理器,进行控制以通过显示部显示车辆的周围影像中与接口部接收到的信息相匹配的区域的影像。

在根据本发明一实施例的车辆用全景监控系统中,接口部还可以接收方向盘的转向角和/或车体的倾斜度信息。

在根据本发明一实施例的车辆用全景监控系统中,图像处理器可以进行控制以根据驾驶员的面部轴的旋转角或左右移动量、方向盘的转向角和/或车体的倾斜度信息来移动通过显示部显示的区域的影像或变更显示倍率。

在根据本发明一实施例的车辆用全景监控系统中,在驾驶员的面部位置向前方或后方移动时,图像处理器可以进行控制以分别增大或减小通过显示部显示的区域的影像的显示倍率。

在根据本发明一实施例的车辆用全景监控系统中,在驾驶员的面部向右侧或左侧旋转时,摄像机转向处理器可以进行控制以使后置摄像机模块的摄像机的轴分别向顺时针方向或逆时针方向旋转。

在根据本发明一实施例的车辆用全景监控系统中,在面部从驾驶员的身体中心轴向右侧或左侧移动时,摄像机转向处理器可以进行控制以使后置摄像机模块的摄像机的轴分别向顺时针方向或逆时针方向旋转。

在根据本发明一实施例的车辆用全景监控系统中,在车辆前进时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况下,摄像机转向处理器可以进行控制以使后置摄像机模块的摄像机的轴分别向顺时针方向或逆时针方向旋转。

在根据本发明一实施例的车辆用全景监控系统中,在车辆倒车时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况下,摄像机转向处理器可以进行控制以使后置摄像机模块的摄像机的轴分别向顺时针方向或逆时针方向旋转。

在根据本发明一实施例的车辆用全景监控系统中,摄像机转向处理器和/或图像处理器可以进行控制,使得在驾驶员的面部位置移动的情况下,与驾驶员的面部旋转的情况相比,通过显示部显示的区域的影像更大幅度地移动或摄像机轴更大幅度地旋转。

根据本发明一实施例的车辆用全景监控方法可包括如下步骤:接口部接收驾驶员的面部向左右旋转的旋转角和/或面部从驾驶员的身体中心轴向左右移动的左右移动量信息,摄像机转向处理器从接口部接收所述信息,并进行控制以根据信息调节后置摄像机模块的摄像机的角度,以及图像处理器进行控制以通过显示部显示后置摄像机模块获取的车辆的周围影像中与驾驶员的面部轴的旋转角或左右移动量、方向盘的转向角或车体的倾斜度信息相匹配的区域的影像。

在根据本发明一实施例的车辆用全景监控方法中,在接口部接收信息的步骤中,还接收方向盘的转向角和/或车体的倾斜度信息;在进行控制以调节摄像机的角度的步骤中,可以通过将从接口部接收到的面部轴的旋转角或左右移动量信息与方向盘的转向角或车体的倾斜度信息叠加来调节摄像机的角度。

在根据本发明一实施例的车辆用全景监控方法中,接口部接收信息的步骤可以包括如下步骤:收集驾驶员的图像,以及检测驾驶员的面部。

在根据本发明优选实施例的车辆用全景监控方法中,在检测到驾驶员的面部时,还可以包括如下步骤:提取驾驶员的面部的肌理或纹理,检测驾驶员的眼睛、鼻子、嘴巴,以及利用驾驶员的眼睛、鼻子、嘴巴的检测值来确定驾驶员的面部的轴或位置。

在根据本发明一实施例的车辆用全景监控方法中,在没有检测到驾驶员的面部时,还可以包括如下步骤:接口部对用于接收驾驶员的信息的检测部进行旋转校正,以识别驾驶员的面部。

在根据本发明一实施例的车辆用全景监控方法中,在进行控制以调节摄像机的角度的步骤中,在车辆前进时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况下,使后置摄像机模块的摄像机的轴分别向顺时针方向或逆时针方向旋转所增大角度,在车辆倒车时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况下,可以使后置摄像机模块的摄像机的轴分别向逆时针方向或顺时针方向旋转所增大角度。

发明效果

本发明通过根据车辆的行驶状态及驾驶员的状态调节摄像机的视角,改善了由车辆用全景监控系统的显示部提供的影像的直观性,从而可以去除电子式全显示监控器中可产生的异样感。

附图说明

图1是本发明一实施例的车辆用全景监控系统的结构图。

图2是示出本发明一实施例的车辆用全景监控系统应用于车辆外部的状态的图。

图3是示出本发明一实施例的车辆用全景监控系统应用于车辆内部的状态的图。

图4是示出本发明一实施例的车辆的周围影像中与由接口部接收的信息相匹配的影像通过显示部显示的区域的图。

图5的(a)部分是示出现有全显示镜的摄像机轴随着驾驶员的面部移动而旋转的方向的图,图5的(b)部分是示出本发明一实施例的摄像机轴随着驾驶员的面部移动而旋转的方向的图。

图6的(a)部分是示出本发明一实施例的驾驶员的面部位置移动的情况的图,图6的(b)部分是示出当驾驶员的面部旋转时,摄像机轴移动的情况的图。

图7是示出本发明一实施例的当驾驶员的面部向右侧或左侧旋转时,摄像机轴旋转的方向的图。

图8是示出本发明一实施例的当面部从驾驶员的身体中心轴向左右移动时,摄像机轴旋转的方向的图。

图9是示出本发明一实施例的当车辆前进时的方向盘的转向角或车体的倾斜度向左侧或右侧增大时,摄像机轴旋转的方向的图。

图10是示出本发明一实施例的当车辆倒车时的方向盘的转向角或车体的倾斜度向左侧或右侧倾斜时,摄像机轴旋转的方向的图。

图11是示出本发明一实施例的车辆用全景监控方法的图。

图12是示出本发明一实施例的在接口部接收信息的步骤中,计算面部识别转向角的过程的图。

图13是示出本发明一实施例的在进行控制以调节摄像机的角度的步骤中,计算方向盘的转向角以及车体的倾斜度的过程的图。

具体实施方式

通过附图以及以下实施例,上述目的、多个特征以及优点将更加明显。

特定结构乃至功能性描述仅用于描述根据本发明的概念的实施例的目的,并且根据本发明的概念的多个实施例可以以各种形式实施,而不限于本申请的说明书中描述的多个实施例。

根据本发明的概念的实施例可以有多种变化并且可以具有多种形式,因此多个特定实施例在附图中示出并在本申请的说明书中详细描述。然而,这并非意在将根据本发明的概念的多个实施例限定为特定公开的形式,而应理解为包括包含在本发明的思想和技术范围内的所有修改、等同物乃至替代物。

本申请的说明书中所使用的术语仅用于描述特定实施例,并不用于限制本发明。除非上下文另有明确规定,否则单数表达包括复数表达。在本说明书中,“包括”或“具有”等术语旨在表示所描述的特征、数字、步骤、操作、构成要素、部件或其组合存在,并且应当理解,不预先排除包括一个或多个其他特征或数字、步骤、操作、构成要素、部件或其组合的存在或添加的可能性。

以下,通过参照附图描述本发明的优选实施例来详细描述本发明。各图中相同的附图标记表示相同的元件。

本说明书中描述的车辆是如下的概念:即,汽车、摩托车等的任意运输工具,进而,包括具有任意引擎作为动力源的内燃机车辆、具有引擎和电动马达作为动力源的混合动力车辆、具有电动马达作为动力源的电动汽车等。以下,为了便于说明,以车辆中的汽车为例进行说明。

本说明书中描述的车辆的行驶是指除车辆向后方移动或倒车以外的所有情况,本说明书将使用驾驶来表达行驶和倒车。因此,倒车包括车辆的引擎齿轮位于倒挡(R)的状态。另一方面,行驶是指驾驶员乘坐车辆的状态或车辆被启动的状态,但不限于此,还可以包括车辆停放时的情况。

在以下描述中,车辆的左侧是指车辆行驶方向的左侧,车辆的右侧是指车辆行驶方向的右侧。

另外,摄像机的轴向顺时针方向或逆时针方向旋转是指,摄像机以摄像机拍摄物体的方向的轴为中心向顺时针方向或逆时针方向旋转。

图1是本发明的优选实施例的车辆用全景监控系统的结构图。图2是示出应用所述车辆用全景监控系统的车辆的外观的图。图3是示出图1的驾驶员乘坐状态的车辆的内部的图。

参照图1至图3,根据本发明优选实施例的车辆用全景监控系统可包括后置摄像机模块10、接口部20、摄像机转向处理器30以及图像处理器50。

后置摄像机模块10是安装在车辆的一区域,用于获取车辆的周围影像的装置。例如,后置摄像机10可设置于车辆1的后窗眉中央部,或者可设置于行李舱盖中央部。当后置摄像机10设置于车辆1的后窗眉中央部时,视野更接近驾驶员,可以获取高的视野,当后置摄像机10设置于车辆1的行李舱盖中央部时,具有易于与以往常规安装的其他后置摄像机连动的优点。

后置摄像机模块10的后置摄像机控制装置的电气结构大致可包括:马达驱动部110,具有设置于后置摄像机模块10的内部的摄像机11和能够上下左右调节摄像机11的拍摄角度的平移/倾斜驱动马达;焦点调节部120,用于调节摄像机镜头的焦点。

此时,马达驱动部110的平移/倾斜驱动马达可由常规直流马达实现,平移/倾斜驱动马达的轴还可以安装有用于降低其旋转速度的减速齿轮(未示出)。马达驱动部110可由常规的晶体管电路等实现,可以根据所连接的控制部的控制向平移/倾斜驱动马达供应电源或切断电源。

进而,后置摄像机模块10不限于马达驱动部110,还可以配置成使用磁性、形状记忆合金等来调整轴的角度。

另一方面,在所述例中,后置摄像机模块10虽然以安装在车辆的后方侧的方式说明,但不限于此,只要能够拍摄到车辆的后方图像,则可以设置在车辆的任一部分。

另外,在所述例,后置摄像机模块10的摄像机虽然以一个摄像机11举例说明,但不限于此,可以设有多个摄像机,也可以在后述的处理器中合成并处理多个摄像机的拍摄信息。在此情况下,多个摄像机分别可以设置有具有适当视角的轴,以使所获取的影像与相邻的摄像机所获取的影像部分重叠。像这样,合成通过多个摄像机获取的影像信息,从而可以获取宽视野的影像以及更清晰的影像。

接口部20可配置成能够接收驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体中心轴向左右移动的左右移动量l。

详细地,旋转角α表示因驾驶员转头而将面部21从驾驶员的面部21的中心轴向左右旋转的程度,左右移动量l表示驾驶员的面部21的中心轴偏离驾驶员的身体的中心轴的程度。

在所述例中,旋转角α和左右移动量l虽然以这种方式定义,但也可以通过跟踪驾驶员的面部或身体的某一部分的移动来定义旋转角α和左右移动量l。

在这种情况下,旋转角α和左右移动量l的基准可以指从驾驶员朝向面部识别摄像机210的视线。然而,旋转角α和左右移动量l的基准不限于此,也可以以驾驶员在驾驶时注视车辆前方的视线。

另一方面,为了接收这种信息,接口部20与设置于驾驶员的前方以用于拍摄驾驶员的面部的面部识别摄像机210以及用于获取车辆信息的车辆信息传感器220相连接。

面部识别摄像机210执行收集驾驶员的图像的作用,并检测驾驶员的面部。例如,面部识别摄像机210使用红外LED来获取驾驶员的影像,无论白天还是黑夜,并且可以从影像检测驾驶员的眼睛、鼻子、嘴巴等。

接口部20内的处理器(例如,GPU)可从所检测到的信息,基于驾驶员的眼睛、鼻子、嘴巴等的高度和左右位置来计算出驾驶员的面部角度和面部的上下左右位置(在这种情况下,还可以使用通过眼动追踪(eye trac king)的影像匹配算法)。

另一方面,这种面部识别摄像机210可位于驾驶员的正面,也可以位于由室内镜等来形成的显示部40的左侧面。当面部识别摄像机210位于驾驶员的正面时,可易于识别驾驶员的面部,当面部识别摄像机210位于显示部40的左侧面时,具有可以与显示部40一体安装而无需另外设置安装部的优点。

车辆信息传感器220感测与车辆1的行驶等相关的信号。为此,感测部可包括例如,碰撞传感器、车轮传感器、速度传感器、倾斜传感器、位置模块、车辆前进/倒车传感器以及基于方向盘旋转的转向传感器。

由此,车辆信息传感器220可以获取对于车辆碰撞信息、车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/倒车信息以及方向盘旋转角度等的感测信号。

尤其,车辆信息传感器220可获取方向盘22的转向角β和/或车体23的倾斜度r信息。

像这样,可通过使用面部识别摄像机210和车辆信息传感器220的各信息来调节后述的后置摄像机11的角度θ。

然而,在本发明一实施例中,以如下的系统为中心进行说明:即,根据从面部识别摄像机210获取的驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体的中心轴向左右移动的左右移动量l的信息、以及从车辆信息传感器220获取的方向盘22的转向角β和/或车体23的倾斜度r信息,来调节后置摄像机11的角度θ。

摄像机转向处理器30可以进行控制以根据接口部20接收到的信息来调节后置摄像机模块10的摄像机11的角度θ。

详细地,接口部20通过面部识别摄像机210和车辆信息传感器220接收驾驶员及车辆的所述信息,摄像机转向处理器30处理从所述接口部20接收到的信息以计算对后置摄像机模块10的摄像机11的角度θ的调节程度并进行调节。

根据在摄像机转向处理器30中处理的信息的后置摄像机模块10的摄像机11的角度θ之间的详细关系将在后面描述。

在这种情况下,在摄像机转向处理器从接口部20接收到的信息中,驾驶员的面部21左右旋转的旋转角α和/或面部21从驾驶员的身体的中心轴向左右移动的左右移动量l、以及方向盘22的转向角β和/或车体23的倾斜度r信息是在调节摄像机的角度θ方面占据重要部分的信息。

尤其,如以往驾驶员识别模块中,若仅识别驾驶员的面部21的视线,则只能判断驾驶员注视面部识别摄像机的某一位置,因此难以掌握驾驶员实际上看后视镜(室内镜)时的驾驶员的整体动作。

因此,在本发明一实施例中,例如,提取驾驶员的面部的肌理/纹理后,确定眼睛、鼻子、嘴巴等各部位,以同时计算驾驶员的面部21向左右旋转的旋转角α和面部21从驾驶员的身体的中心轴向左右移动的左右移动量l。

由此,当转弯行驶、急转弯、或倒进停车等的驾驶员的面部相当部分旋转时,即,当面部的旋转角α或左右移动量l大时,可以认为驾驶员识别车辆周围的视野盲区的意愿很大,因此本发明积极反应驾驶员的这种意愿,当驾驶员需要看到视野盲区时,可以迅速地将视野盲区的影像显示给驾驶员,而无需另外的装置操作。

另外,在本发明一实施例中,在摄像机转向处理器30中整合驾驶员的面部21向左右旋转的旋转角α和面部21从驾驶员的身体的中心轴向左右移动的左右移动量l并进行计算的原因在于,例如,当驾驶员需要急转弯时,若周围车辆在视野盲区,则有必要快速应对状况,此时,由于驾驶员本能地将面部21从驾驶员的身体的中心轴向左右移动的左右移动量l变得很大,因此需要将其作为调节摄像机的角度θ的因素包括在内。

为此,在本发明一实施例中,参照图6,与驾驶员的面部21旋转的情况(图6的(b)部分)相比,当驾驶员的面部位置移动(图6的(a)部分)时,摄像机转向处理器30和/或图像处理器50可以进行控制以使通过显示部显示的区域41的影像更大幅度地移动或摄像机11轴更大幅度地旋转。

这里不仅可以增加影像的移动量或摄像机轴的旋转量大小,还可以通过增加影像的移动速度或摄像机轴的旋转速度,来在急转弯等情况下,迅速看到视野盲区。

另外,由于摄像机转向处理器30和图像处理器50均可以应用所述结构,因此摄像机轴的旋转与通过显示部显示的影像的移动可以自然地连动。

参照图4,图像处理器50进行控制使得车辆1的周围影像中与接口部20接收到的信息相匹配的区域41的影像通过显示部40显示。

在这种情况下,在车辆中,例如,显示部40可由室内镜等的装置形成,可以形成为平面形状,仅选择性放大车辆的周围影像中的必要部分,以适于输出。

显示部40可以显示图像处理器50所处理的信息。详细地,如上所述,摄像机转向处理器30处理通过接口部20接收到的所述驾驶员及车辆的各信息,从而调节后置摄像机模块10的摄像机11的角度θ,由这样调节的角度θ的后置摄像机模块10的摄像机11拍摄的车辆的周围影像再次被接口部20接收,并在图像处理器50处理后,通过显示部40输出与接口部20接收到的信息相匹配的区域41的影像。

即,图像处理器50可以进行控制以根据驾驶员的面部21轴的旋转角α或左右移动量l、方向盘22的转向角β和/或车体23的倾斜度r信息来移动通过显示部40显示的区域41的影像或变更显示倍率。

进而,由图像处理器50处理的所述信息可存储在存储器60中。例如,不仅驾驶员的面部的各部分的形状及高度等因人而异,根据驾驶员的习惯驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体中心轴向左右移动的左右移动量l的大小也不同。因此,通过在存储器60中蓄积根据驾驶员的个体特征的信息,来实时修改用于测定驾驶员的面部的各部分的形状及高度、以及驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体中心轴向左右移动的左右移动量l的标准,从而可以为各驾驶员设定最合适的标准。

另一方面,通过显示部40输出与接口部20接收到的信息相匹配的区域41的影像方式也具有如现有技术的如下方法:即,通过后置摄像机获取整体影像后,在显示整体影像的同时,另外显示其中部分区域,通过驾驶员的操作移动部分区域。

然而,如上所述的方式中,通过一个摄像机确保车辆后方视野受限,不仅如此,使用多个摄像机并进行合成后,使其内部区域移动的方式降低所显示的影像的准确性,并且由于需要经过这种过程,影像处理过程中会出现明显的延迟。

为此,本发明是使用直接移动后置摄像机模块10的摄像机11的方式,虽然也可以使用如上所述的方式,但优选使用如下方式:即,基于通过反映驾驶员及车辆的状态而移动的摄像机11来获取的影像,通过显示部40仅输出与接口部20接收到的信息相匹配的区域41的影像,而不是输出整体影像。

在此情况下,如上所述,不仅可以通过一个摄像机11获取车辆的周围影像,还可以通过多个摄像机获取车辆的周围影像,在这种情况下,多个摄像机分别适用本发明一实施例的摄像机11的工作方式。在此情况下,由于对通过反映驾驶员及车辆的状态而移动的多个摄像机获取的影像进行合成,与以往对从固定的多个摄像机获取的影像进行合成的方式相比,可具有相当高的准确性,由于对相邻的部分进行合成,因此可以明显减少影像处理过程中的延迟。

由此,后置摄像机模块10的摄像机11拍摄的车辆的周围影像中,图像处理器50仅处理驾驶员行驶时所需部分,并输出到显示部40。

尤其,如图5的(a)部分所示,以往的室内镜通常直接输出从后方拍摄的画面,但如图5的(b)部分所示,本发明的输出方式是根据驾驶员的面部21的移动来移动后置摄像机模块10的摄像机11轴,可基于驾驶员的状态进行操作以获取更自然的视野及远近感。

另外,在所述结构的基础上,当驾驶员的面部21位置向前方或后方移动时,图像处理器50进行控制以分别增大或减小通过显示部41区域的影像的显示倍率。

通常,例如,倒进停车时,当驾驶员想要放大视野盲区的车辆时,面部21会更靠近室内镜。在本发明一实施例中,当驾驶员的面部21靠近室内镜时,由图像处理器50放大通过显示部41显示的区域的影像的显示倍率,以便向驾驶员适当提供作为驾驶员所需信息的周围放大影像。

与此不同地,例如,当驾驶员位于十字路口等时,驾驶员不仅想要观察视野盲区还想要观察车辆周围的整体状况,在这种情况下,通常,驾驶员会将面部21移离室内镜。在本发明一实施例中,当驾驶员将面部21移离室内镜时,由图像处理器50减小通过显示部41显示的区域的影像的显示倍率,以便向驾驶员适当提供作为驾驶员所需信息的周围整体影像。

这种结构可以与驾驶员的面部21轴的旋转角α或左右移动量l的信息整合,并反映在图像处理器50,因此可以最大限度地反映驾驶员在驾驶时所需视野,以向驾驶员提供便利,通过提供适于情况的信息,从而可以大大降低驾驶员发生事故的危险。

以上,说明了本发明多个实施例的车辆用全景监控系统的各结构。以下,参照图7至图10,按照各类型说明本发明的车辆用全景监控系统如何根据转弯行驶的方向反映驾驶员或车辆的状态。

[驾驶员的面部向右侧或左侧旋转的情况]

当驾驶员的面部21轴向右侧或左侧旋转时,摄像机转向处理器30可以进行控制以使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转。

例如,如图7所示,当驾驶员向右侧转动面部21并看室内镜时,面部识别摄像机210识别驾驶员的面部21向右侧旋转的旋转角α,接口部20向摄像机转向处理器30传递该信息。

摄像机转向处理器30根据所述信息顺时针转动后置摄像机模块10的摄像机11的轴,从而使摄像机11向车辆左侧的视野盲区侧旋转。由此,驾驶员可以容易地确保车辆左侧的视野盲区的视野。

[面部从驾驶员的身体的中心轴向左右移动的情况]

当从驾驶员的身体的中心轴向右侧或左侧移动面部21时,摄像机转向处理器30可以进行控制以使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转。

例如,如图8所示,当驾驶员一边将面部21从身体的中心轴向右侧移动一边看室内镜时,面部识别摄像机210识别将面部21从驾驶员的身体的中心轴向右侧移动的右侧移动量l,接口部20向摄像机转向处理器30传递该信息。

摄像机转向处理器30根据所述信息顺时针转动后置摄像机模块10的摄像机11的轴,使摄像机11向车辆左侧的视野盲区侧旋转。由此,驾驶员可以容易地确保车辆左侧的视野盲区的视野。

[车辆前进时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况]

在车辆前进时方向盘22的转向角或车体的倾斜度向左侧或右侧增大的情况下,摄像机转向处理器30可以进行控制以使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转。

例如,如图9的(a)部分所示,在车辆前进时驾驶员将方向盘向‘左侧’转动的情况下,车辆信息传感器220识别转向左侧的方向盘22的转向角β和/或车体23的倾斜度r,接口部20向摄像机转向处理器30传递该信息。

摄像机转向处理器30根据所述信息顺时针转动后置摄像机模块10的摄像机11的轴,从而使摄像机11向车辆左侧的视野盲区侧旋转。由此,驾驶员可以容易地确保车辆左侧的视野盲区的视野。

另一方面,如图9的(b)部分所示,在车辆前进时驾驶员将方向盘向‘右侧’转动的情况下,车辆信息传感器220识别转向右侧的方向盘22的转向角β和/或车体23的倾斜度r,接口部20向摄像机转向处理器30传递该信息。

摄像机转向处理器30根据所述信息逆时针转动后置摄像机模块10的摄像机11的轴,从而使摄像机11向车辆右侧的视野盲区侧旋转。由此,驾驶员可以容易地确保车辆右侧的视野盲区的视野。

由此,驾驶员在车辆前进时向左右侧急转弯的情况下,可以迅速确保与从车道左右侧后方接近的车辆有关的视野,可以减少如驾驶员在弯道转动方向盘进行急转弯时频繁发生的事故危险。

[车辆倒车时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况]

在车辆倒车时方向盘22的转向角或车体的倾斜度向左侧或右侧增大的情况下,摄像机转向处理器30可以进行控制以使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转。

在车辆倒车时方向盘22的转向角或车体的倾斜度向左侧或右侧增大的情况下,摄像机转向处理器30可以进行控制以使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转。

例如,如图10的(a)部分所示,在车辆倒车时驾驶员将方向盘向‘左侧’转动的情况下,车辆信息传感器220识别转向左侧的方向盘22的转向角β和/或车体23的倾斜度r,接口部20向摄像机转向处理器30传递该信息。

摄像机转向处理器30根据所述信息顺时针转动后置摄像机模块10的摄像机11的轴,从而使摄像机11向车辆左侧的视野盲区侧旋转。由此,驾驶员可以容易地确保车辆左侧的视野盲区的视野。

另一方面,如图10的(b)部分所示,在车辆倒车时驾驶员将方向盘向‘右侧’转动的情况下,车辆信息传感器220识别转向右侧的方向盘22的转向角β和/或车体23的倾斜度r,接口部20向摄像机转向处理器30传递该信息。

摄像机转向处理器30根据所述信息逆时针转动后置摄像机模块10的摄像机11的轴,从而使摄像机11向车辆右侧的视野盲区侧旋转。由此,驾驶员可以容易地确保车辆右侧的视野盲区的视野。

由此,例如,在驾驶员倒车或倒进停车的情况下,可以迅速确保与从驾驶员的左右侧后方接近的车辆、或预先停放的车辆有关的视野,可以减少因驾驶员无法识别所驾驶车辆的后方视野盲区的其他车辆而频繁发生的事故危险。

以上,按照各类型说明本发明的车辆用全景监控系统如何根据转弯行驶的方向反映驾驶员或车辆的状态。以下,参照图11至图13说明本发明的车辆用全景监控系统执行的方法。

参照图11至图13,根据本发明一实施例的车辆用全景监控方法可包括:步骤S10,从接口部20接收信息,步骤S20,进行控制以调节摄像机11的角度θ,以及步骤S30,进行控制以通过显示部40显示影像。

接口部20接收信息的步骤S10为如下的步骤:即,接口部20接收驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体中心轴向左右移动的左右移动量l信息。

在这种情况下,在接口部20接收信息的步骤S10中,还可以接收方向盘22的转向角β和/或车体23的倾斜度r信息。

进行控制以调节摄像机11的角度θ的步骤S20为如下的步骤:即,摄像机转向处理器30从接口部20接收驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体中心轴向左右移动的左右移动量l信息,并进行控制以根据所述信息来调节后置摄像机模块10的摄像机11的角度θ。

在这种情况下,可通过将从接口部20接收的面部21轴的旋转角α或左右移动量l信息与方向盘22的转向角β和/或车体23的倾斜度r信息叠加来调节摄像机11的角度θ。

进行控制以通过显示部40显示影像的步骤S30为如下的步骤:即,图像处理器50进行控制以通过显示部40显示后置摄像机模块10获取的车辆的周围影像中与驾驶员的面部21轴的旋转角α或左右移动量l、方向盘22的转向角β或车体23的倾斜度r信息相匹配的区域41的影像。

以下,参照图12,说明在接口部20接收信息的步骤S10中,计算面部识别转向角的过程,参照图13,更详细地说明进行控制以调节摄像机11的角度的步骤S20中,计算方向盘的转向角以及车体的倾斜度的过程。

参照图12,接口部20接收信息的步骤S10可以包括:步骤S11,收集驾驶员的图像;以及步骤S12,检测驾驶员的面部。

在这种情况下,当在检测驾驶员的面部的步骤S12中检测到驾驶员的面部时,还可以包括:步骤S13,提取驾驶员的面部的肌理或纹理;步骤S14,检测驾驶员的眼睛、鼻子、嘴巴;以及步骤S15,利用驾驶员的眼睛、鼻子、嘴巴的检测值确定驾驶员的面部的轴或位置。

与此不同地,当在检测驾驶员的面部的步骤S12中没有检测到驾驶员的面部时,还可以包括:步骤S16,对所接收到的驾驶员图像进行校正,以识别驾驶员的面部。

参照图13,在进行控制以调节摄像机11的角度的步骤S20中,在车辆前进时方向盘22的转向角β或车体23的倾斜度r向左侧或右侧增大的情况下,使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转所增大角度,

在车辆倒车时方向盘22的转向角β或车体23的倾斜度r向左侧或右侧增大的情况下,使后置摄像机模块10的摄像机11的轴分别向逆时针方向或顺时针方向旋转所增大角度。

以上,参照附图详细说明了本发明的优选实施例,但本发明不限于此,本领域技术人员可通过这些描述,在不脱离本发明的技术思想范围内进行替换和/或改变。因此,本发明的范围不应限于上述实施例,而应由权利要求书及其等效物来限定。

相关技术
  • 调节摄像机的视角的车辆用全景监控系统及其方法
  • 视角可配置的摄像机全景拼接方法
技术分类

06120113109312