掌桥专利:专业的专利平台
掌桥专利
首页

增强现实驾驶显示方法、装置、设备及存储介质

文献发布时间:2024-04-18 20:02:18


增强现实驾驶显示方法、装置、设备及存储介质

技术领域

本申请涉及增强现实技术领域,尤其涉及一种增强现实驾驶显示方法、装置、设备及存储介质。

背景技术

增强现实(Augmented Reality,AR)技术是近年来的一个研究热点,有着广泛的应用前景,它是对显示世界的补充,使得虚拟物体从感官上成为周围真实环境的组成部分。

在汽车驾驶场景中,可以通过佩戴AR智能眼镜的方式,实现AR的辅助驾驶,现有的AR穿戴设备在使用的时候需要现场光线充足的情况下才能完成虚拟信息与真实场景的叠加显示,若在光线较弱、较强、夜晚、恶劣天气等视线不清楚的情况时,AR眼镜无法更好的显示实际场景中的车辆信息、环境信息等,不利于驾驶者对驾驶状况的判断,降低了AR眼镜的功效,导致驾驶安全性低。

发明内容

为克服相关技术中存在的问题,本说明书提供了方法、装置、设备及存储介质。

根据本说明书实施例的第一方面,提供一种方法,所述增强现实驾驶显示方法包括:

获取通过增强现实穿戴设备对实际场景进行抓取后得到的第一图像,并确定抓取过程的第一光线强度;

根据所述第一光线强度确定目标显示模式,基于所述目标显示模式中第二光线强度替换所述第一光线强度,基于所述实际场景重绘所述第一图像,所述显示模式根据图像显示清晰度与亮度确定;

获取所述第一图像对应的实际场景中各物体相对于当前车辆的状态数据;

将所述状态数据融合于重绘后的第一图像中,所述重绘后的第一图像显示于所述增强现实穿戴设备的显示界面中。

根据本申请提供的一种增强现实驾驶显示方法,所述获取通过增强现实穿戴设备对实际场景进行抓取后得到的第一图像,包括:

通过所述增强现实穿戴设备对实际场景进行扫描后得到的第二图像,所述第二图像包括视线中车辆的内部视野图像和/或外部视野图像;

获取当前车辆外部环境的第三图像,根据所述第二图像与所述第三图像确定视线盲区对应的第四图像;

将所述第四图像中所述视线盲区的数据与所述第二图像融合,重绘出通过所述增强现实穿戴设备对实际场景进行抓取后得到的所述第一图像。

根据本申请提供的一种增强现实驾驶显示方法,所述根据所述第一光线强度确定目标显示模式,基于所述目标显示模式中第二光线强度替换所述第一光线强度,包括:

根据所述第一光线强度确定目标显示模式;

基于所述显示模式中第二光线强度对所述第一图像中物体进行高亮显示处理,以使处理后第一图像中物体饱和度等于预设值;

其中,处理后所述第一图像的显示清晰度与亮度大于处理前所述第一图像的显示清晰度与亮度。

根据本申请提供的一种增强现实驾驶显示方法,所述方法还包括:

获取车辆在当前状态时的实时行驶数据与行驶目标;

基于所述行驶目标,对所述行驶目标对应的历史路况信息与历史操作信息进行解析,预测车辆的行驶风险性;

基于所述实时行驶数据与所述行驶风险性,确定出至少一个显示于所述重绘后的第一图像中的行驶策略,以供用户查看。

根据本申请提供的一种增强现实驾驶显示方法,所述基于所述行驶目标,对所述行驶目标对应的历史路况信息与历史操作信息进行解析,预测车辆的行驶风险性之前,所述方法还包括:

验证佩戴所述增强现实穿戴设备的用户是否具有使用权限;

若是,则获取具有使用权限的当前用户的所述历史路况信息与所述历史操作信息。

根据本申请提供的一种增强现实驾驶显示方法,所述获取车辆在当前状态时的实时行驶数据与行驶目标之后,所述方法还包括:

比对所述实时行驶数据分别与所述历史路况信息和所述历史操作信息中相同行驶目标的行驶数据,确定两者的差异性数据;

将所述差异性数据显示于所述重绘后的第一图像中的行驶策略,以供用户查看。

根据本申请提供的一种增强现实驾驶显示方法,所述方法还包括:

当所述增强现实穿戴设备的所述显示界面中显示驾驶警示数据时,获取所述增强现实穿戴设备对用户视线进行动态追踪得到的视线运动数据;

基于所述视线运动数据,判断用户视线是否捕捉到所述驾驶警示数据;

若否,则输出自动驾驶指令,以供车辆进入自动驾驶状态。

根据本申请提供的一种增强现实驾驶显示方法,所述方法还包括:

采集用户视线未抓取到所述驾驶警示数据时的次数,判断是否达到预设次数;

若是,则输出自动驾驶指令;

若否,则继续采集,直至连续采集到所述预设次数为止。

本申请还提供一种增强现实驾驶显示装置,所述装置包括:

图像获取模块,用于获取通过增强现实穿戴设备对实际场景进行抓取后得到的第一图像,并确定抓取过程的第一光线强度;

亮度调节模块,用于根据所述第一光线强度确定目标显示模式,基于所述目标显示模式中第二光线强度替换所述第一光线强度,基于所述实际场景重绘所述第一图像,所述显示模式根据图像显示清晰度与亮度确定;

数据获取模块,用于获取所述第一图像对应的实际场景中各物体相对于当前车辆的状态数据;

图像显示模块,用于将所述状态数据融合于重绘后的第一图像中,所述重绘后的第一图像显示于所述增强现实穿戴设备的显示界面中。

本申请还提供一种增强现实驾驶显示设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述增强现实驾驶显示方法。

本申请还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述增强现实驾驶显示方法。

本说明书实施例中增强现实驾驶显示方法、装置、设备及存储介质,获取通过增强现实穿戴设备对实际场景进行抓取后得到的第一图像,并确定抓取过程的第一光线强度;根据所述第一光线强度确定目标显示模式,基于所述目标显示模式中第二光线强度替换所述第一光线强度,基于所述实际场景重绘所述第一图像,所述显示模式根据图像显示清晰度与亮度确定;获取所述第一图像对应的实际场景中各物体相对于当前车辆的状态数据;将所述状态数据融合于重绘后的第一图像中,所述重绘后的第一图像显示于所述增强现实穿戴设备的显示界面中。也即,通过对增强现实穿戴设备获取的第一图像进行清晰度与亮度调整,对驾驶者视线内的物体进行有效分辨,同时,将实际场景中各物体相对于当前车辆的状态数据一并显示于增强现实穿戴设备的显示界面中,即保证了驾驶视线安全清晰,又保证了提供给驾驶者当前真实路况的数据,提高了增强现实穿戴设备的使用功效,提升了驾驶安全性。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。

图1是本说明书根据一示例性实施例示出的一种方法的流程图;

图2是本说明书根据一示例性实施例示出的一种方法的另一流程图;

图3是本说明书根据一示例性实施例示出的一种增强现实驾驶显示装置示意图;

图4是本说明书根据一示例性实施例示出的一种增强现实驾驶显示设备示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。除非另作定义,本申请使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请说明书以及权利要求书中使用的“第一”“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”或者“一”等类似词语也不表示数量限制,而是表示存在至少一个。“多个”或者“若干”表示两个及两个以上。“包括”或者“包含”等类似词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同,并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而且可以包括电性的连接,不管是直接的还是间接的。

在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

本申请提供一种增强现实驾驶显示方法、装置、设备及存储介质。下面结合附图,对本申请进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。

如图1所示,图1是本说明书根据一示例性实施例示出的一种方法的流程图,包括以下步骤:

在步骤101、获取通过增强现实穿戴设备对实际场景进行抓取后得到的第一图像,并确定抓取过程的第一光线强度;

在步骤102、根据所述第一光线强度确定目标显示模式,基于所述目标显示模式中第二光线强度替换所述第一光线强度,基于所述实际场景重绘所述第一图像,所述显示模式根据图像显示清晰度与亮度确定;

在步骤103、获取所述第一图像对应的实际场景中各物体相对于当前车辆的状态数据;

在步骤104、将所述状态数据融合于重绘后的第一图像中,所述重绘后的第一图像显示于所述增强现实穿戴设备的显示界面中。

本实施例旨在:在汽车驾驶场景中,可以通过佩戴AR智能眼镜的方式,实现AR的辅助驾驶,但由于AR穿戴设备在光线充足的情况下才能完成虚拟信息与真实场景的叠加显示,若在视线不清楚时,AR眼镜无法更好的显示实际场景中的相关信息,这是及其不利于驾驶者对驾驶状况的判断,降低了AR眼镜的功效,同时也降低驾驶时的安全性。因此本申请公开了一种增强现实驾驶显示方法、装置、设备及存储介质,通过对增强现实穿戴设备获取的第一图像进行清晰度与亮度调整,对驾驶者视线内的物体进行有效分辨,同时,将实际场景中各物体相对于当前车辆的状态数据一并显示于增强现实穿戴设备的显示界面中,即保证了驾驶视线安全清晰,又保证了提供给驾驶者当前真实路况的数据,提高了增强现实穿戴设备的使用功效,提升了驾驶安全性。

作为一种示例,增强现实驾驶显示方法可以应用于增强现实驾驶显示系统,所述增强现实驾驶显示系统包括增强现实驾驶显示设备、增强现实驾驶显示处理器、增强现实穿戴设备、车身处理器、车辆各执行器的处理器。

作为一种示例,增强现实穿戴设备可以是AR眼镜,还可以是其他增强现实的设备,以下以AR眼镜为例进行描述。

作为一种示例,增强现实驾驶显示设备可以分为头盔显示器和非头盔显示设备,优选的,增强现实驾驶显示系统使用透视式头盔显示器。

作为一种示例,增强现实穿戴设备具备联网、供电、运算能力,拥有声学系统,其处理器可以融合在增强现实穿戴设备上,也可以融合在车身处理器中,其根据车身处理器的算力合理配置,在此不做具体限定。当处理器融合在增强现实穿戴设备上时,增强显示穿戴设备具备独立联网、供电、运算能力等,无需外接手机或主机,可实现AR显示,让用户在驾驶车辆的过程中,实时查看导航信息、车身环境信息、行驶数据等信息,提高良好的视觉体验、驾驶便捷性,同时避免传统的低头查看车载显示屏或手机时带来的驾驶安全性问题。

作为一种示例,在AR眼镜上设置有“一键隐藏AR信息”的快捷按键,在特殊情况(AR眼镜不能给用户带来更好的辅助作用时,如镜片起雾等)可以隐藏AR眼镜显示界面中显示的信息,避免AR信息分散用户的注意力。

具体步骤如下:

在步骤101、获取通过增强现实穿戴设备对实际场景进行抓取后得到的第一图像,并确定抓取过程的第一光线强度。

用户佩戴车载的AR眼镜后,通过AR眼镜对当前视线内的实际场景进行抓取或捕捉后得到第一图像,该第一图像与用户视线内的实际场景一致。需要说明的是,AR眼镜中第一图像能够跟随用户视线、头部的转动而随之移动的,属于用户的正面视角范围内的画面。

作为一种示例,车载AR眼镜与车辆并非固定的一体式安装,因此用户佩戴车载AR眼镜的位置可以是在车内,也可以是在车辆外进行远程佩戴,同样会建立AR眼镜与云端和车端的通信,以供AR眼镜获取车辆行驶的相关信息,为后续信息显示、数据处理等做准备。

由于光线强度的变化,会对AR眼镜显示功效上产生不利影响,例如,开车在黑夜中行驶时,第一光线强度会相对偏弱,此时用户通过AR眼镜看到的视线会产生不清楚的情况(如路面的颜色与路肩的颜色高度一致),此时则需要提高光线强度,以对视线内的物体进行有效分辨。因此,在通过AR眼镜抓取第一图像的过程中,确定第一图像所在的实际场景的第一光线强度,根据第一光线强度对第一图像进行调整,以使第一图像中的物体能够清晰的显示于AR眼镜的显示界面中。

作为一种示例,第一光线强度是根据感光元件对光线环境进行实时检测得到,其中,感光元件可以安装在AR眼镜中,也可以安装在其他便于准确检测光线环境的位置。

在步骤102、根据所述第一光线强度确定目标显示模式,基于所述目标显示模式中第二光线强度替换所述第一光线强度,基于所述实际场景重绘所述第一图像,所述显示模式根据图像显示清晰度与亮度确定。

作为一种示例,显示模式是指AR眼镜的显示界面所需达到的显示效果,其与光线强度有关。示例性的,白天显示模式、晴天显示模式等。

其中,显示模式根据图像显示清晰度与亮度确定,在适宜(或属于预设范围内)的光线强度下得到的第一图像的显示清晰度与亮度越适宜(或属于预设范围内),能够对视线内物体进行有效分辨,保证用户视线的安全提醒。需要说明的是,显示模式是用户期望在AR眼镜的显示界面中能够呈现出的具有一定清晰度的画面呈现模式。

作为一种示例,光线强度与显示模式之间存在映射关系,目标显示模式是指在多个显示模式中与第一光线强度对应的显示模式,通过目标显示模式得到对应的第二光线强度,该第二光线强度是与不在预设范围(光线充足时的光线强度范围)内的第一光线产生相反效果的光线强度。可以理解,通过第二光线强度替换第一光线强度重绘第一图像时,可以是对高光线强度的图像调低显示,也可以是对低光线强度的图像调高显示,以使重绘出的第一图像中各物体能够清晰的显示出来。

示例性的,第一光线强度较低时,表示此时视线较弱,则显示的第一图像会出现不清晰情况,此时,相应确定出光线强度大于第一光线强度的第二光线强度,通过第二光线强度替换掉第一光线强度,并对第一图像进行高亮显示处理,使得第一图像中各物体更清晰的显示于AR眼镜的显示界面中,实现对物体的有效分辨。

作为一种示例,所述根据所述第一光线强度确定目标显示模式,基于所述目标显示模式中第二光线强度替换所述第一光线强度,包括:

步骤A1、根据所述第一光线强度确定目标显示模式;

步骤A2、基于所述显示模式中第二光线强度对所述第一图像中物体进行高亮显示处理,以使处理后第一图像中物体饱和度等于预设值;

其中,处理后所述第一图像的显示清晰度与亮度大于处理前所述第一图像的显示清晰度与亮度。

作为一种示例,第一光线强度与显示模式之间存在映射关系,该对应关系可以是根据当前的第一光线强度设置的预设模式。示例性的,为了提高视线中物体的清晰度,设定黑夜环境下测得的第一光线强度对应的目标显示模式为白天显示模式,在白天显示模式下的第二光线强度会对第一图像中各物体进行高亮显示处理,使得处理后的第一图像中各物体的饱和度有所提升,等于适宜清晰度时的预设值或处于预设范围内。可以理解,处理后的第一图像的显示清晰度与亮度大于处理前第一图像的显示清晰度与亮度,从而能够实现在光线较弱、较强、夜晚、恶劣天气等视线不清楚的情况时,AR眼镜能够更好的显示实际场景中的车辆信息、环境信息等,提高驾驶安全性。

示例性的,在极端工况下,如黑夜或雨天驾驶车辆,路面突然出现的岩石,且岩石与道路颜色高度一致,导致AR眼镜中视线受到影响,无法清晰看到岩石。此时,通过当前实际场景的第一光线强度,根据第一光线强度判断出当前光线环境处于黑夜或雨天等光线不充足的情况,由此为了提高显示清晰度与亮度确定出目标显示模式,在目标显示模式中的第二光线强度与目标显示模式能够显示的效果对应。因此,利用第二光线强度替换掉第一光线强度而对第一图像进行重绘,也即对第一图像中的物体进行高亮显示处理或清晰度调整处理,将岩石等物体在AR视线里高亮度或饱和度的区别显示,从而得到重绘后的第一图像,该重绘后的第一图像能够有效的分辨AR眼镜视线内的各物体,并将物体清晰显示于AR眼镜的显示界面中。需要说明的是,第二光线强度始终在用户AR视线里或人眼感知中能够接受的光线强度内,呈现出良好的显示效果。

作为一种示例,在雨天驾驶车辆且视线非常不佳时,不仅能够通过第二光线强度能够提升物体的显示清晰度,还可以在AR眼镜的显示界面中对第一图像的场景进行调整,如雨天时,显示界面呈现出晴天模式,显示光线合适的路面,提高视线的清晰度。但为了防止误解当前真实工况,保证既能够得到清晰的画面,又可以得到当前真实的路况,则在后续需要将第一图像对应的实际场景中的真实状态数据显示于显示界面中,供用户查看,提高了AR眼镜的使用功效,提升了驾驶安全性。

在步骤103、获取所述第一图像对应的实际场景中各物体相对于当前车辆的状态数据。

作为一种示例,各物体相对于当前车辆的状态数据包括各物体相对于车辆而言的位置数据、角度数据、距离数据等与驾驶相关的数据,通过这些数据便于用户及时了解车辆驾驶情况。

作为一种示例,第一图像对应的实际场景中各物体相对于当前车辆的状态数据可以是通过车外摄像头、卫星系统或者高精度地图等能够获知车辆驾驶相关数据的所有方式确定,在此不做具体限定。

在步骤104、将所述状态数据融合于重绘后的第一图像中,所述重绘后的第一图像显示于所述增强现实穿戴设备的显示界面中。

将实际场景中各物体相对于当前车辆的状态数据融合于具有一定清晰度的第一图像中,共同显示于AR眼镜的显示界面中,得到光线充足场景下的虚拟信息与真实场景的叠加显示,既能通过状态数据的显示,保证驾驶实现的安全提醒,又能保证当前真实路况带来的行车影响的真实反馈,便于用户在极端天气行驶时,清晰的查看路况并进行有效驾驶。

本申请提供一种增强现实驾驶显示方法、装置、设备及存储介质,与目前光线不充足情况下驾驶,增强现实穿戴设备难以实现其显示功效,导致驾驶安全性低相比,在本申请中,获取通过增强现实穿戴设备对实际场景进行抓取后得到的第一图像,并确定抓取过程的第一光线强度;根据所述第一光线强度确定目标显示模式,基于所述目标显示模式中第二光线强度替换所述第一光线强度,基于所述实际场景重绘所述第一图像,所述显示模式根据图像显示清晰度与亮度确定;获取所述第一图像对应的实际场景中各物体相对于当前车辆的状态数据;将所述状态数据融合于重绘后的第一图像中,所述重绘后的第一图像显示于所述增强现实穿戴设备的显示界面中。也即,通过对增强现实穿戴设备获取的第一图像进行清晰度与亮度调整,对驾驶者视线内的物体进行有效分辨,同时,将实际场景中各物体相对于当前车辆的状态数据一并显示于增强现实穿戴设备的显示界面中,即保证了驾驶视线安全清晰,又保证了提供给驾驶者当前真实路况的数据,提高了增强现实穿戴设备的使用功效,提升了驾驶安全性。

基于上述第一实施例,提出增强现实驾驶显示方法的第二实施例。

作为一种示例,所述获取通过增强现实穿戴设备对实际场景进行抓取后得到的第一图像的步骤101,包括:

步骤B1、通过所述增强现实穿戴设备对实际场景进行扫描后得到的第二图像,所述第二图像包括视线中车辆的内部视野图像和/或外部视野图像;

步骤B2、获取当前车辆外部环境的第三图像,根据所述第二图像与所述第三图像确定视线盲区对应的第四图像;

步骤B3、将所述第四图像中所述视线盲区的数据与所述第二图像融合,重绘出通过所述增强现实穿戴设备对实际场景进行抓取后得到的所述第一图像。

由于车体的阻挡,在AR视线中会有部分区域显示的遮挡物的信息,无法获知被遮挡部分的信息,为了提高驾驶时AR视线内数据的完整性,以提供给用户准确且全面的信息,获取AR视线盲区内数据,并呈现于AR眼镜的显示界面中。

作为一种示例,在车辆的内外部分别设置有车内摄像头、车外摄像头,车内摄像头可以安装于AR眼镜中,与用户视线同向,则车内摄像头拍摄到的画面即为通过增强现实穿戴设备对实际场景进行扫描后得到的第二图像。由于AR眼镜随着用户视线、头部移动而随之移动。因此,AR眼镜扫描到的第二图像是变化的,可以是包括车辆的内部视野图像(即AR视线中仅看到车辆内部环境的画面,如方向盘、操作台等),还可以是包括车辆的外部视野图像(即AR视线中仅看到车辆外部环境的画面,如道路、绿化带、交通灯等),还可以是同时包括内部视野图像于与外部视野图像(即AR视线中既看到车辆内部环境,又看到车辆外部环境),因此,增强现实驾驶显示方法是对实时获取的第一图像进行重绘,及时显示重绘后的图像。

需要说明的是,根据实际显示需求,若需要扩大显示视角、或增加视线外区域的显示,也可以将车内摄像头安装于车辆内部其他位置。

车外摄像头可以安装于车辆周身,也可以是车辆周围环境的物体上,例如道路两旁或交通路口的监控设备也可以作为车外摄像头。目的是根据车内摄像头与车外摄像头确定出用户的视线盲区,该视线盲区是指车辆的外部情况被遮挡时的区域,例如,在第二图像中显示有右侧车门,在包括当前车辆外部环境的第三图像中显示该右侧车门外有一个障碍物,则通过第二图像与第三图像确定出视线盲区为右侧车门的区域。

在确定视线盲区对应的第四图像时,将第四图像中视线盲区的数据与第二图像融合,重绘出通过增强现实穿戴设备对实际场景进行抓取后得到的第一图像,该第一图像能够将车身透明化,让用户看清楚被车身遮挡住的区域的情况,有助于判断车辆与周围环境中物体的距离、位置等关系,提升驾驶安全性。示例性的,继续上述示例,当确定出视线盲区为右侧车门的区域时,获取右侧车门外障碍物的数据,通过车外摄像头的影像投射,将障碍物体现于第一图像中,并与第二图像进行融合,直观的展示出车辆状态。

在本实施例中,通过对AR视线盲区的图像进行显示,增加了显示界面的使用功效,提高驾驶时AR视线内数据的完整性,以提供给用户准确且全面的信息。同时,将视线盲区的数据与AR眼镜捕捉到的第二图像进行融合,重绘出的图像更贴合用户视角,便于用户正面视角信息的查看,为用户提供更直观、智能的驾驶显示,提高驾驶体验。

基于上述第一实施例或第二实施例,提出增强现实驾驶显示方法的第三实施例。

作为一种示例,所述方法还包括:

在步骤201、获取车辆在当前状态时的实时行驶数据与行驶目标;

在步骤202、基于所述行驶目标,对所述行驶目标对应的历史路况信息与历史操作信息进行解析,预测车辆的行驶风险性;

在步骤203、基于所述实时行驶数据与所述行驶风险性,确定出至少一个显示于所述重绘后的第一图像中的行驶策略,以供用户查看。

在AR眼镜的显示界面中除了对实际场景的清晰化显示之外,还提供了智能化的、直观的信息提示,该提示的信息包括导航信息、车辆资讯等信息,为了提高驾驶安全性,提前进行风险预警或提示。

作为一种示例,获取车辆的行驶目标,该行驶目标可以是某一行驶指标的理想状态,还可以是出行的目的地,以下以行驶目标为目的地为例进行描述。在确定了行驶目标后,获取该行驶目标对应的历史行驶数据,通过对历史行驶数据的解析,能够预测在执行该行驶目标的驾驶过程中,可能遇见的驾驶风险、行驶路况等。结合当前状态下车辆的实时行驶数据,能够预测出在未来这段行程中的行驶风险性。

需要说明的是,历史行驶数据包括历史路况信息与历史操作信息,根据行驶目标对应的历史路况信息能够得知行驶路况,根据用户的历史操作信息,能够得知用户在该路况行驶时通常会执行的操作,从而可以提前给用户作为提示或警示。

示例性的,根据行驶目标的历史行驶数据,提醒前往目的地会途径150公里暴雨天气,以往在该路段情况下用户出现过三次急刹车,接下来要行驶的路段也有可能发生。

作为一种示例,为了避免用户为了查找解决警示信息的策略,而出现注意力不集中的情况,则AR眼镜的处理器根据实时行驶数据与行驶风险性,确定出至少一个行驶策略,该行驶策略也会显示于重绘后的第一图像中,即呈现于AR眼镜的显示界面中。

示例性的,在提示用户接下来要行驶的路段可能会出现三次急刹车的同时,根据车辆的实时行驶数据如车速、能耗、制动情况等,若预测车辆无法到达目的地,则给出降低其他车载设备如空调等的能源供给的行驶策略,对能源进行合理分配,以使车辆到达目的地。或者是根据当前路面和未来路况、以及车辆的剩余能量数据,给出建议将空调等能源分配至AR眼镜的计算上,以保证AR眼镜的功效。还可以建议更改出行计划,如果继续行驶,AR眼镜会实时提示出现风险。

在本实施例中,AR眼镜区别于手机和车载屏幕等智能终端,AR眼镜佩戴之后,具有眼镜的属性,能够在视线内直接提示相关信息,不会存在手机和车内屏幕提示,避免驾车注意力集中而出现的忽略情况。而且还能够提供行驶风险对应的解决方案,解决了用户的忧虑,风险提示之后无需用户再次寻找其他工具搜索并询问解决方案,通过AR眼镜是能够同步完成,解决了用户对行驶风险的担忧而带来的驾驶安全影响问题。

作为一种示例,所述基于所述行驶目标,对所述行驶目标对应的历史路况信息与历史操作信息进行解析,预测车辆的行驶风险性的步骤202之前,所述方法还包括:

步骤C1、验证佩戴所述增强现实穿戴设备的用户是否具有使用权限;

步骤C2、若是,则获取具有使用权限的当前用户的所述历史路况信息与所述历史操作信息。

历史行驶数据可以根据车型、用户身份、用户特征等划分,因此,用于预测车辆行驶风险性的历史行驶数据可以是用户自己的,还可以是其他用户的,用户自己的历史行驶数据相对于用户自身而言,准确性更高。

因此,为了保证用户隐私的同时,提高行驶风险性预测的准确性,给出用户合理的行驶策略,在对行驶目标对应的历史路况信息与历史操作信息进行解析,预测车辆的行驶风险性验证之前,验证佩戴AR眼镜的用户是否为车主本人,从而决定是否从云端调取历史行驶数据。

作为一种示例,验证佩戴AR眼镜的用户是否具有使用权限,还可以是验证佩戴者是否具有被授予使用权的权限,即车主本人授权使用的用户也是可以调取车主本人的历史行驶数据或从云端调取其他的历史行驶数据。

作为一种示例,所述获取车辆在当前状态时的实时行驶数据与行驶目标的步骤201之后,所述方法还包括:

步骤D1、比对所述实时行驶数据分别与所述历史路况信息和所述历史操作信息中相同行驶目标的行驶数据,确定两者的差异性数据;

步骤D2、将所述差异性数据显示于所述重绘后的第一图像中的行驶策略,以供用户查看。

在给出用户的行驶策略的同时,利用用户的历史行驶数据中相同行驶目标的行驶数据和实时行驶数据进行比较,确定车辆当前存在的行驶差异性数据,这些差异性数据为用户的驾驶判断提供参考,且为了使用户及时捕捉到这些差异性数据,将差异性数据显示于AR眼镜的显示界面中,还可以通过警示、闪动、振动等方式提示。

在本实施例中,利用历史行驶数据和当下的实时行驶数据,与未来的行驶目标的数据结合,进行三重校验,提出差异和风险,使用户可以提前了解车辆当前状态与行驶路线的危险关系,并做出处理。

基于上述第一实施例或第二实施例或第三实施例,提出增强现实驾驶显示方法的第四实施例。

作为一种示例,所述方法还包括:

在步骤301、当所述增强现实穿戴设备的所述显示界面中显示驾驶警示数据时,获取所述增强现实穿戴设备对用户视线进行动态追踪得到的视线运动数据;

在步骤302、基于所述视线运动数据,判断用户视线是否捕捉到所述驾驶警示数据;

在步骤303、若否,则输出自动驾驶指令,以供车辆进入自动驾驶状态。

AR眼镜用于辅助驾驶时,其AR眼镜显示界面的信息也可能会导致注意力分散,同时驾驶者身体状况出现问题(眼镜疲劳、视线不集中)时也会影响驾驶安全性。因此,为了避免潜在危险,减少交通事故的发生,对驾驶者的视线进行精准捕捉,获取其视线运动数据,如眼跳速度、眨眼速度、视线角度变化等数据,眼跳速度会随着疲倦程度的增加而降低,眨眼速度和眼镜睁开程度的降低则可能意味着疲倦的加重,这都将影响驾驶。

理想状态下,当AR眼镜的显示界面中显示驾驶警示数据时,通过对用户虹膜、晶状体等对用户视线进行动态追踪得到的视线运动数据,用户的视线运行数据应当反映出用户在显示界面中显示驾驶警示数据时捕捉到了驾驶警示数据,当用户未捕捉到驾驶警示数据时,则可能出现了驾驶者注意力分散、或驾驶者肌肉痉挛、疲劳驾驶等直接影响驾驶安全的情况,此时为了提高驾驶安全性,会输出自动驾驶指令,使得自动驾驶介入,会将车辆驾驶到安全区域。

在本实施例中,设定了对用户视线是否捕捉到驾驶警示数据的判断,保证了驾驶警示功能不是完全替代驾驶者在安全隐患下的驾驶,而是保证驾驶者的健康安全和行驶安全,让用户提前获知行驶信息,做出相应处理,提高了驾驶安全性。

作为一种示例,所述方法还包括:

步骤E1、采集用户视线未抓取到所述驾驶警示数据时的次数,判断是否达到预设次数;

步骤E2、若是,则输出自动驾驶指令;

步骤E3、若否,则继续采集,直至连续采集到所述预设次数为止。

为了提高判断的准确性,可以设定用户视线未抓取到驾驶警示数据时的次数低于用户处于非安全驾驶状态对应的极限值时的预设次数,只有该情况连续出现的次数达到了预设次数时,则输出自动驾驶指令,使得自动驾驶介入,辅助脱离危险进入安全区域,否则,继续监测。

作为一种示例,所述输出自动驾驶指令之后,所述方法还包括:

步骤F1、输出求救信号至车身处理器,以供所述车身处理器根据所述求救信息启动救援策略,所述救援策略在所述增强现实穿戴设备的显示界面中显示。

车辆自动驾驶到安全区域时,发送求救信号至车身处理器,以供车身处理器接收到驾驶者意外情况信息,并向车载自动救援设备发送指令,救援设备处理器接收到该指令后向救援设备发送执行指令,类似于氧气、可吸入镇定剂等释放,用于对驾驶者或其他用户进行紧急、辅助救助,为外部救援争取时间。

在本实施例中,设定了用户视线未抓取到驾驶警示数据的次数的判断条件,保证了用户安全性的同时,进行辅助救援,保证用户的健康安全与行驶安全。

作为一种示例,如图2所示,在一些场景下,增强现实驾驶显示方法的整体过程如下:

步骤01、用户用车:涵盖用户远程开启车辆,用户上车未启动,用户上车后启动但未行驶的状态。

步骤02、佩戴车载AR眼镜:涵盖用户车内佩戴,用户在车外佩戴,佩戴后可以查看上次行车环境以及当前车辆停车环境,包括对于未来行驶路线的预估分析。

步骤03、车身处理器:车身处理器会接收来自于AR眼镜佩戴的信号,而且能够调用AR眼镜的虹膜识别来验证是不是车主本人,从而决定是否从云端处理器调用数据。

步骤04、云端处理器:在识别了用户身份之后,或者用户授权使用的用户身份后,远端开始加载数据,包括上次行驶数据与当前前往地址路况信息等。

步骤05、车内摄像头:车内摄像头将车内当前的信息进行收集,包括是否影响行车视线,包括是否有阅读灯和其他额外光线(在夜间行车时)对于驾驶车辆安全的影响。

步骤06、车外摄像头:获取车辆启动前,车辆周围的环境,包括静态阻挡和动态阻挡,以及可能出现的阻挡和影响安全行为。

步骤07、车身处理器:车设处理器接收来自于云端数据、车内摄像头、车外摄像头的信息,与上次或历史的行驶记录进行校核,将影响的差异(如车辆常规停车场出入口有人群会影响安全)发送至AR眼镜处理器。

步骤08、AR眼镜处理器:AR眼镜处理器接收车内外差异与当前实时状态,并传送给AR眼镜的显示界面。

步骤09、AR眼镜显示:显示来自于AR眼镜处理器提供的数据进行显示,此处会优先着重显示当前的差异,以提醒用户,在用户处理后(例如选择新路线或者不出行)或者选择忽略后显示当前实时信息。

步骤10、行进途中:行进途中用户继续佩戴车载AR眼镜,然后会继续抓取车内和车外的实时状态,并且同步更新到AR眼镜的显示上。

步骤11、云端处理器:云端处理器继续将当前路况当中的实时信息下发到AR眼镜的显示界面里,包括天气/信号/道路信息等。

步骤12、车身处理器:车身处理器将这些信号与当前车身状态融合,给出提醒建议和自动调整,包括根据当前路面和未来路况与当前车辆的剩余能量,对能量悬架、轮胎摩擦力之间的关系进行提醒调整。

步骤13、AR眼镜处理器:在综合车身车内外状态的信息综合处理之后,经过车身处理器强大的算力,在AR眼镜处进行综合吹了,对于AR眼镜在极端路况下行驶时,采取车内外环境重新测绘。

步骤14、AR眼镜显示:AR眼镜显示经过重新测绘之后的车内外影像。

步骤15、车身处理器:车身处理器结合AR处理器对于用户当前的体征状态和反应速度进行计算,如果当前极端路况对于用户带来影响驾驶安全的可能性,则自动驾驶介入,快速脱困,停止或替代驾驶。

步骤16、自动驾驶介入:自动驾驶在极端路况、车况下,协助或主导车辆快速驶离高度危险的驾驶工况。

基于与上述方法同样的申请构思,本申请实施例还提出一种增强现实驾驶显示装置,如图3所示。所述装置包括:

图像获取模块402,用于获取通过增强现实穿戴设备对实际场景进行抓取后得到的第一图像,并确定抓取过程的第一光线强度;

亮度调节模块404,用于根据所述第一光线强度确定目标显示模式,基于所述目标显示模式中第二光线强度替换所述第一光线强度,基于所述实际场景重绘所述第一图像,所述显示模式根据图像显示清晰度与亮度确定;

数据获取模块406,用于获取所述第一图像对应的实际场景中各物体相对于当前车辆的状态数据;

图像显示模块408,用于将所述状态数据融合于重绘后的第一图像中,所述重绘后的第一图像显示于所述增强现实穿戴设备的显示界面中。

可选地,所述图像获取模块402,用于通过所述增强现实穿戴设备对实际场景进行扫描后得到的第二图像,所述第二图像包括视线中车辆的内部视野图像和/或外部视野图像;获取当前车辆外部环境的第三图像,根据所述第二图像与所述第三图像确定视线盲区对应的第四图像;将所述第四图像中所述视线盲区的数据与所述第二图像融合,重绘出通过所述增强现实穿戴设备对实际场景进行抓取后得到的所述第一图像。

可选地,所述亮度调节模块404,用于根据所述第一光线强度确定目标显示模式;

基于所述显示模式中第二光线强度对所述第一图像中物体进行高亮显示处理,以使处理后第一图像中物体饱和度等于预设值;

其中,处理后所述第一图像的显示清晰度与亮度大于处理前所述第一图像的显示清晰度与亮度。

可选地,所述装置还包括是数据显示模块(未图示),用于获取车辆在当前状态时的实时行驶数据与行驶目标;基于所述行驶目标,对所述行驶目标对应的历史路况信息与历史操作信息进行解析,预测车辆的行驶风险性;基于所述实时行驶数据与所述行驶风险性,确定出至少一个显示于所述重绘后的第一图像中的行驶策略,以供用户查看。

可选地,所述数据显示模块,还用于验证佩戴所述增强现实穿戴设备的用户是否具有使用权限;若是,则获取具有使用权限的当前用户的所述历史路况信息与所述历史操作信息。

可选地,所述数据显示模块,还用于比对所述实时行驶数据分别与所述历史路况信息和所述历史操作信息中相同行驶目标的行驶数据,确定两者的差异性数据;将所述差异性数据显示于所述重绘后的第一图像中的行驶策略,以供用户查看。

可选地,所述装置还包括安全预警模块(未图示),用于当所述增强现实穿戴设备的所述显示界面中显示驾驶警示数据时,获取所述增强现实穿戴设备对用户视线进行动态追踪得到的视线运动数据;基于所述视线运动数据,判断用户视线是否捕捉到所述驾驶警示数据;若否,则输出自动驾驶指令,以供车辆进入自动驾驶状态。

可选地,所述安全预警模块,还用于采集用户视线未抓取到所述驾驶警示数据时的次数,判断是否达到预设次数;若是,则输出自动驾驶指令;若否,则继续采集,直至连续采集到所述预设次数为止。

上述装置中各个模块/子模块/单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,可以达到相同的技术效果,在此不再赘述。

与前述方法的实施例相对应,本说明书还提供了装置及其所应用的终端的实施例。

本说明书增强现实驾驶显示装置的实施例可以应用在计算机设备上,例如服务器或终端设备。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在增强现实驾驶显示的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本说明书实施例增强现实驾驶显示装置所在计算机设备的一种硬件结构图,除了图4所示的处理器310、内存330、网络接口320、以及非易失性存储器340之外,实施例中装置331所在的服务器或电子设备,通常根据该计算机设备的实际功能,还可以包括其他硬件,对此不再赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

技术分类

06120116576634