驾驶辅助方法和系统

技术领域

本发明涉及电子领域。更详细地，本发明涉及驾驶辅助方法和系统。

背景技术

迄今为止，诸如关于移动速度、燃料水平、导航方向等的信息的驾驶信息示出在车辆的仪表板上或车辆配备的任何信息娱乐屏幕上。仪表板和屏幕二者通常位于车辆中需要驾驶员将眼睛至少部分离开道路环境的位置，因此既降低了驾驶安全性又降低了使用这种信息的可能性。

在汽车和航空领域，“平视显示器”，或简称为HUD，已经被提出作为这个问题的部分解决方案。HUD是一种允许将图像投射到车辆挡风玻璃上的系统。特别地，HUD允许信息直接投射到汽车的挡风玻璃上，使用户能够专注于驾驶，始终保持他对道路的关注。

然而，HUD的当前标准，已知为HUD 1.0，仅用于示出经典机载仪器提供的冗余信息。此外，申请人已经观察到HUD技术不允许有效地描绘增强现实的元素。事实上，投影系统完全覆盖驾驶员视野所需的范围比现有技术水平下可获得的范围大得多。特别地，没有HUD能够利用基本上由车辆挡风玻璃限定的整个主视野，以及辅助视野，例如一个或多个侧窗。

除了HUD系统之外，最近已经提出了基于可佩戴屏幕的系统，更好地已知为“头戴式显示器”，或简称为HMD，其包括透明或半透明的屏幕，在该屏幕上可以再现图像，例如向驾驶车辆时佩戴HMD的用户提供驾驶辅助信息。

例如，US2016/084661、EP 2933707、US2015/317834和US 2015/097864描述了涉及使用HMD的驾驶辅助系统。

此外，G.Berg,“Das Vehicle in the Loop:Ein Werkzeug für die Entwicklungund Evaluation von sicherheitskritischen Fahrerassistenzsystemen”,München,Univ.derBundeswehr,Diss.,2014描述了一种驾驶辅助系统，包括使用HMD以及静态(标记)和动态(头部跟踪器)参考元件，以便精确地确定由HMD获取的图像相对于车辆的姿态。

申请人注意到，已知的系统制造起来非常复杂，并且在将增强现实图像放置在用户的视野中时提供受限的质量。事实上，申请人观察到，在已知系统中，增强现实图像与HMD框定的真实环境不协调。具体而言，增强现实图像出现在相对于其预期放置偏移的位置，特别是在增强现实图像旨在出现为叠加或布置在平坦表面(如道路表面)上的情况下，和/或在增强现实对象位于距观察点(即距HMD的位置)相当远的距离(例如百米量级的距离)的情况下。

发明内容

本发明的目的是克服现有技术的缺点

特别地，本发明的目的是提供一种驾驶辅助方法和相关系统，其被配置为通过HMD再现增强现实图像，使得它们与用户通过HMD观察到的周围环境相协调。

本发明的进一步的目的是提出一种方法和相关系统，其允许以最佳方式再现旨在叠加在表面上、特别是道路表面上的增强现实对象。

本发明的这些和其他目的是通过并入了所附权利要求的特征的系统来实现的，所附权利要求形成了本说明书的组成部分。

根据第一方面，本发明涉及一种车辆驾驶辅助方法。该方法通过一种系统来实现，该系统包括安装在车辆上的HMD和定位模块，其中HMD包括屏幕和沿着屏幕的主长度方向位于屏幕的相对侧的一对视频相机。

该方法包括以下步骤：

a.借助于HMD获取一对图像，每个图像由HMD的相应相机获取，并且框定相同视野部分，所述相同视野部分包括道路表面的一部分；

b.基于该对获取的图像和视频相机的特性，估计包括在相同视野部分中的每个点在三维空间中的位置；

c.基于所获取的该对图像和由定位模块确定的在获取该对图像附近的位置，估计包括道路表面的所述部分的三维空间的感兴趣体积；

d.选择包括在相同视野部分中并且包括在感兴趣体积中的点的子集；

e.基于包括在所选点的子集中的点的估计位置来计算对应于道路表面的平坦表面，以及

g.在HMD的屏幕上再现二维图像，使得其被布置在与步骤e中计算的道路表面相对应的平坦表面上。

由于这种解决方案，二维图像，即由屏幕再现的增强现实图像，被佩戴HMD的用户感知为正确定位在视野内的(虚拟)对象，即使在远距离，例如在距离佩戴HMD的用户几百米的量级的远距离。特别地，显示在道路表面附近的增强现实对象被正确地布置在其上，就好像它们是绘制在道路表面上的图像或者搁置在道路表面上的物理三维对象一样。因此，避免了所谓的“诡异谷”效应——归因于真实环境和在HMD屏幕上再现的增强现实图像之间缺乏和谐——该效应可能对佩戴HMD的用户的感知和/或驾驶表现有负面影响。

在一个实施例中，每个获取的图像是数字图像，因此包括沿行和列对准布置的多个像素。在这种情况下，估计包括在相同视野部分中的每个点在三维空间中的位置的步骤b包括：

-对于与包括在相同视野部分中的点相关联的该对图像中一个图像的每个像素，标识与包括在相同视野部分中的相同点相关联的该对图像中另一个图像中的对应像素，以及

-通过从所述像素对开始执行点的三角测量来确定所述点在三维空间中的位置。

优选地，标识该对图像中另一个图像中的对应像素的步骤包括通过比较该对图像中的图像来计算视差图。

此外，确定所述点在三维空间中的位置包括在该点的三角测量中使用视差图中包括的该对图像的对应像素之间的视差值。

通过利用从由HMD屏幕隔开的视点获取的图像，可以有效且可靠地确定三维空间(或体积)中的分布。

在一个实施例中，估计包括道路表面的所述部分的三维空间的感兴趣体积的步骤c包括：

-基于该对图像和由定位模块在获取该对图像时确定的位置来估计道路表面的所述部分的近似位置；

-计算或选择第一偏移值；

-计算或选择第二偏移值；

-将感兴趣体积定义为由第一边界表面和第二边界表面界定的体积，第一边界表面位于等于道路表面的所述部分的近似位置加上第一偏移值的高度，第二边界表面位于等于道路表面的所述部分的近似位置减去第二偏移值的高度。

以这种方式，可以在计算方面以特别简单和快速的方式确定包含道路表面的感兴趣体积，结果获得能够有效分离属于道路表面的三维空间(从获取的图像获得)中的点的滤波器。

优选地，感兴趣体积延伸如下：

-在平行于车辆纵向长度的方向上，从距HMD位置等于或大于最小阈值的距离开始延伸，优选地，最小阈值包括在5m和15m之间，更优选地，最小阈值等于10m，并且

-在平行于车辆纵向长度的方向上，延伸直到距HMD位置等于或小于最大阈值的距离，优选地，最大阈值包括在50m和150m之间，更优选地，最大阈值等于100m。

附加地或可替换地，感兴趣体积具有的宽度基本上对应于在横向于车辆纵向长度的方向上的道路表面的宽度，优选地，该宽度在3m和12m之间，更优选地，该宽度等于6m。

申请人已经确定，这些值的区间允许包含该方法的计算复杂度，而不会显著降低该方法在提供增强现实图像的最佳定位方面的有效性。

在一个实施例中，计算平坦表面的步骤e包括借助于M-估计器样本一致性(MSAC)类型的算法来加工包括在感兴趣体积中的相同视野部分的点的子集。

申请人已经确定MSAC型算法在计算对应于道路表面的平坦表面时特别有效和可靠。

在一个实施例中，该系统还包括布置在车辆内部的至少一个参考元件。此外，要在HMD屏幕上再现的每个二维图像代表由三维空间中的点集定义的虚拟对象。在这种情况下，该方法还包括：

-基于由定位模块确定的位置以及由HMD的相机框定的至少一个参考元件的位置，来确定HMD的位置，

-基于HMD的位置，确定对应于包括在HMD的视野中的空间体积的视见体积；

-如果要被再现为二维图像的至少一个虚拟对象包括在视见体积中，则在HMD的屏幕上再现二维图像的步骤g包括：

-基于由定位模块确定的位置和在步骤e中计算的平坦表面的位置，校正三维空间的所述点集的每个点；

-基于所述点集的正确点来计算显示与虚拟对象相关联的二维图像的屏幕位置，以及

-在HMD的显示器上在所述屏幕位置再现二维图像。

优选地，校正三维空间中所述点集的每个点包括：

-计算每个正确点为：

其中wp是该点的坐标，wp'是该点的校正坐标，p是HMD的位置在平坦表面上的投影，并且

通过基于平坦表面重新计算三维空间中定义虚拟对象的点，增强现实的所得二维图像将在用户中产生虚拟对象相对于道路表面精确定位的感知。

本发明的不同方面涉及一种驾驶辅助系统，包括：

-HMD，包括屏幕和沿着屏幕的主长度方向位于屏幕相对侧的一对视频相机；

-安装在车辆上的定位模块，被配置为检测车辆的位置，

-存储器区域，其中存储与要显示为二维图像的虚拟对象相关联的至少一个点集，以及

-处理单元，操作地连接到定位模块、HMD，并被配置成实现根据上述实施例中任一个的方法。

如此配置的系统使得可以获得上文针对所考虑的方法实施例阐述的优点。

根据对附图的描述，本发明的进一步特征和优点将更加明显。

附图说明

在下文中，参考通过非限制性示例提供并在附图中示出的某些示例来描述本发明。这些附图示出了本发明的不同方面和实施例，并且在适当的情况下，不同附图中示出结构、组件、材料和/或类似元件的附图标记由类似的附图标记指示。

图1是安装在车辆上的根据本发明实施例的系统的示意图；

图2是安装了根据本发明实施例的系统的行驶车辆的示意性俯视图；

图3是根据本发明实施例的系统校准过程的流程图；

图4a和4b是示意图，示出了包括在图1和2的系统中的HMD的姿态的变化；

图5a-5c示意性地示出了通过HMD可见的视野；

图6是示意性立体图，示出了图1的系统的标记的取向和位置的标识和确定步骤；

图7是示意性示出图1系统的三个标记的轴测图，这三个标记具有不同的取向和位置；

图8a和8b是示出根据本发明实施例的系统轴线校准过程的主要步骤的示意图；

图9是根据本发明实施例的用于在HMD上动态显示增强现实元素的操作过程的流程图；

图10是在执行根据本发明的用于增强现实图像的精确定位的子过程时，从HMD获取的一对图像开始处理的点云的定性图；

图11a和11b分别是在执行根据本发明的用于增强现实图像的精确定位的子过程时，道路表面上的车辆和被处理的容纳体积的示意性侧视图和俯视图；

图12是在执行根据本发明的增强现实图像的精确定位的子过程时确定的属于道路表面的点云的点的子集的定性图；

图13是示出根据本发明的用于增强现实图像的精确定位的子过程的点的位置校正的示意图，以及

图14是示出在系统的HMD上显示与相应感兴趣对象相关联的图像的示意图。

具体实施方式

虽然本发明易于进行各种修改和可替换构造，但是某些优选实施例在附图中示出，并在下文中详细描述。在任何情况下都必须理解的是，没有意图将本发明限制于所示的特定实施例，而是相反，本发明旨在覆盖落入权利要求所限定的本发明的范围内的所有修改、替换和等同结构。

除非另有指示，否则“例如”、“等”、“或”的使用指示不受限制的非排他性的替换。除非另有指示，否则“包括”的使用意味着“包括但不限于”。

参考附图，根据本发明实施例的系统1包括：可佩戴屏幕，称为头戴式显示器或HMD10；定位模块，例如GNSS模块20(全球导航卫星系统)；处理单元30，被配置为连接到GNSS模块20和HMD 10；以及一个或多个参考元件，例如ArUco型标记40。

GNSS模块20被配置为周期性地和/或根据请求提供关于检测到的位置的指示，优选地，该位置在源自地球中心的三维参考系统中定义，该三维参考系统在下文中被称为术语“全球参考系统”。例如，GNSS模块20包括GPS导航器，并被配置为提供地理坐标集，该地理坐标集指示由GNSS模块20检测到的全球位置，并因此指示车辆5的全球位置。优选地，由GNSS模块20提供的该坐标集参考从上方观察的车辆5的中央部分(即，相对于其平面图的车辆的中央部分)。

HMD 10包括透明和/或半透明的屏幕11，从而例如允许佩戴HMD 10的用户透过屏幕11观看(如图5a和6中示意性示出的)。此外，HMD 10被配置为(例如，它包括合适的电路(未示出))在屏幕11上显示图像，该图像被叠加在佩戴HMD 10的用户的视野(FOV)中呈现的内容上(为了简洁起见，以下称为“HMD 10的视野FOV”(在图2中示意性示出))，从而创建增强现实效果。为此，HMD 10可以包括本地处理单元13，被配置为基于由处理单元30提供的数据和/或指令生成要显示的图像。

HMD 10包括一对相机15，被配置成从不同的视点框定基本相同的空间区域(如图5c示意性所示)。有利地，HMD 10的相机15被布置在HMD 10的屏幕11的框架的相对侧。换句话说，该对相机15沿着屏幕11的主长度方向彼此分开已知且恒定的距离，优选地平行于连结佩戴HMD 10的用户的眼睛的线。每个相机15被配置成获取基本上对应于HMD 10的FOV的一个或多个图像。

处理单元30包括微控制器、微处理器、通用处理器(例如，CPU)和/或图形处理器(例如，GPU)、DSP、FPGA、ASIC、存储器模块、用于向处理单元30的各种组件提供能量的电源模块以及优选地一个或多个接口模块中的一个或多个，所述一个或多个接口模块用于连接到其他装置和/或用于与其他实体(例如，HMD 10、GNSS模块20、远程服务器等)交换数据。

处理单元30还包括存储器区域31和/或连接到存储器模块(未示出)，其中可以存储与一个或多个增强现实对象OA(即虚拟对象)相关的信息。增强现实对象OA的示例包括停止空间OA1、最佳轨迹OA2和虚拟路标OA3(在图2中示意性示出)。

在一个实施例中，至少增强现实对象OA由点集{wp}定义，这些点在技术术语中被称为“世界点”。一般来说，通用世界点集{wp}中的每个世界点包括三维空间的坐标向量。在所考虑的示例中，该世界点集{wp}定义了通过全球参考系统定义的三维空间中的相应增强现实对象的形状。

优选地，存储器区域31被配置成存储关于一个或多个真实对象OR的信息。

真实对象OR的示例包括车辆5行驶的道路OR0、人行横道OR1、行驶道路中的弯道OR2(在图2中示意性示出)、建筑物、纪念碑、广告牌、文化兴趣点、视点等。

每个真实对象OR与全球参考系统的坐标集相关联，这些坐标定义了所考虑的真实对象OR在空间中的位置。

一个或多个增强现实对象OA的世界点集{wp}可以用绝对术语来定义(例如，每个世界点对应于全球参考系统的坐标集)，或者被相关(例如，作为真实对象OR的坐标的函数)。例如，停止空间OA1的世界点集{wp1}可以被定义为人行横道OR1的坐标集的函数。

可选地，存储器区域31被配置为存储关于一个或多个真实对象OR增强现实对象OA的一个或多个附加信息，例如图像和/或文本信息等。

在优选实施例中，处理单元30被配置成连接到惯性测量单元或IMU 6和/或其上安装处理单元30的车辆5的数据总线55，例如LIN/CAN总线，以访问车辆5的机载传感器(未示出)提供的数据(例如：速度、加速度、转向角等)，来利用计算能力、用户接口和/或利用车辆5的机载计算机(未示出)的连接性。

每个标记40包括基准图案，例如，基本上由白色或黑色像素组成的二进制矩阵，这允许它容易与周围环境区分开来。有利地，每个标记40的基准图案包含标识码，该标识码使得唯一地标识所述标记40成为可能。

优选地，尽管以非限制性的方式，标记40可以包括背光组装件(未示出)，该背光组装件被配置为从背后照亮标记40的基准图案，以便简化基于图像的标记40及其基准图案的标识，特别是通过对由HMD 10的相机15获取的图像的处理来进行标识。

在安装步骤中，标记40被定位在车辆5的乘客舱51内，以作为主参考元件操作，并且优选地，可变数量的辅助标记40(在图中考虑的示例中为三个)可以被布置在乘客舱中，以作为辅助参考元件操作(框101)。

在所考虑的示例中，标记40位于车辆5的挡风玻璃53上或其附近的车辆乘客舱51内。这使得可以标识HMD 10相对于标记40的取向和位置，并且因此标识相对于车辆5的挡风玻璃53的取向和位置，用户通过挡风玻璃53观察周围环境。这使得可以确定关于车辆5的乘客舱51并且特别是关于挡风玻璃53待确定的HMD 10的视野FOV。有利的是，标识HMD 10相对于标记40的位置和取向也允许在屏幕11的显示区域R上显示图像，如下所述。

例如，考虑如图所示驾驶位置在左侧的车辆5，一种示例性的布置——其允许以特别可靠的方式标识HMD 10的取向和位置——包括将第一标记40定位在挡风玻璃53的一个左端附近，将第二标记40定位在相对于用户位置的前方位置——而不妨碍对路径的查看，和将第三标记40相对于挡风玻璃53的横向延伸定位在挡风玻璃53的中间位置附近。

在将系统1安装在车辆5的乘客舱51内之后(如图1中示意性示出的)，对其进行校准过程100。校准过程100包括对准步骤和轴线校准步骤。

在对准步骤中，HMD 10由维持预定驾驶姿势的用户佩戴；优选地，头部——以及因此HMD 10——面向挡风玻璃53(例如，如图4a中示意性示出的)。一对图像IL和IR基本上在同一时刻通过相机15获取(框101)。优选地，在HMD 10保持在相同位置或缓慢移动(例如，由于佩戴HMD 10的用户进行的正常姿势校正或改变)的时间间隔期间，获取图像对IL和IR的序列。

给定相机15在HMD 10的屏幕侧的定位，图像IL和IR二者将再现HMD 10的基本相同的视野FOV，但是从不同的观察点f1和f2观察(如在图5a-5c中可以理解的)。

相机15的图像IL和IR中的每一个被处理以识别标记40(框103)。例如，在图像IL和IR中标识对应于标记40的轮廓，而通过标识对应的基准图案来标识单个标记40。

对于在图像IL和IR的每个中标识的每个标记40，计算相对于与获取图像IL和IR的相应相机15相关联的参考系统的相对位置和取向(框105和图6)。优选地，通过在每个图像IL、IR中找到标记40的中心点来标识每个标记40的位置。例如，计算包括每个图像IL、IR中的标记40的中心点的坐标的位置向量tL、tR。相反，通过首先标识标记40的表面，并然后通过标识标记40的表面相对于HMD 10的参考系统的取向，来确定每个标记40的取向。例如，计算包括每个图像IL、IR中的标记40的表面的旋转角度的取向矩阵RL、RR。

接下来，计算相对于与HMD 10相关联的参考系统的相对位置和取向，该参考系统即基本上位于佩戴HMD 10的用户的视点中心的三维参考系统(框107)。优选地，通过对从图像IL和IR开始计算的每个标记40的位置和取向进行三角测量来计算每个标记40的组合位置和取向。详细地，通用标记40的组合位置通过从标记40的中心点的位置进行三角测量来计算，该标记40的中心点的位置从图像IL和IR开始确定。类似地，通用标记40的组合取向通过从标记40的表面取向进行三角测量来计算，该标记40的表面取向从图像IL和IR开始计算。换句话说，从图像IL和IR开始获得的位置向量和取向矩阵对[tL，RL]和[tR，RR]被组合在一起，并以便获得组合的位置向量和取向矩阵对[tHMD，RHMD]。例如，根据Hartley，R.和A.Zisserman：“Multiple View Geometry in Computer Vision”剑桥大学出版社，第312页，2003年，执行上述三角测量操作。

选择标记40作为主标记(框109)。例如，在获取的图像IL和IR中具有最佳可见度的标记40或者具有预定标识码的标记40被选择为主标记。

然后，计算将每个标记40的位置链接到主标记40的位置的关系(框111和图7)。优选地，标记40之间的关系通过旋转平移操作，即同质变换的矩阵操作来定义。

校准过程100的轴线校准步骤建立GNSS模块20的位置和HMD 10的实际位置之间的补偿法则。

在优选实施例中，通过标识与参考标记40相关联的相对参考系统和与GNSS模块20相关联的全球参考系统之间的旋转平移关系来定义补偿法则。

具体参照图8a和8b，最初，车辆5、特别是GNSS模块20，相对于轴线校准对象OB(例如真实物理对象)定位在预定距离d处并具有已知取向(框113)。因此，与轴线校准对象OB相关联的轴线校准位置PB(即，全球参考系统的坐标集)是已知的。申请人已经认识到，直线段可以用作轴线校准对象OB，以允许系统1的精确轴线校准。然而，申请人已经发现，多边形图形和/或三维对象允许用户更简单地完成轴线校准步骤。

GNSS模块20测量的轴线校准位置PB和车辆位置PV用于确定在HMD 10的屏幕11上再现的对应(二维)轴线校准(增强现实)图像ARB(框115)。

优选地，轴线校准图像ARB具有诸如对应于通过车辆5的挡风玻璃53看到的轴线校准对象OB的轮廓。

轴线校准图像ARB在HMD 10的屏幕11上的屏幕位置PAR，即用于显示轴线校准图像ARB的HMD 10的屏幕11的像素的坐标，是从与对应轴线校准增强现实对象OAB相关联的世界点集{wpB}开始计算的。特别地，轴线校准增强现实对象OAB是轴线校准对象OB的虚拟复制品，其世界点集{wpB}是基于由GNSS模块20提供的车辆VP的位置来定义的。

由于GNSS模块20和HMD 10的不同位置，通常，轴线校准图像ARB将不会叠加在轴线校准对象OB上。

轴线校准图像ARB因此沿着HMD 10的屏幕11平移，直到轴线校准图像ARB叠加在轴线校准对象OB上——在通过车辆5的挡风玻璃53可见的新的屏幕位置PAR’(框117)。例如，处理单元30可以被配置成允许用户移动轴线校准图像ARB，例如经由处理单元30的用户接口(未示出)或者经由连接到处理单元的设备(例如HMD 10本身，或者个人计算机、智能手机、平板电脑、车辆5的机载计算机等)的用户接口来移动。

因此，处理导致轴线校准图像ARB和轴线校准对象OB之间重叠的HMD 10的屏幕11上的平移，以确定能够补偿轴线校准图像ARB和轴线校准对象OB之间的差异或偏移的补偿法则(框119)。

例如，补偿法则可以由补偿矩阵基于与轴线校准增强现实对象OAB相关联的世界点集{wpB}和与轴线校准对象OB相关联的轴线校准位置PB之间的旋转平移关系来定义，轴线校准图像ARB对应于所述轴线校准增强现实对象OAB。

换句话说，校准过程100建立由全球参考系统的坐标定义的周围环境、由GNSS模块20提供的车辆5相对于全球参考系统的位置、通过其获取图像IL、IR的HMD 10的位置、以及由HMD 10的相机15拍摄的车辆5的乘客舱(特别是挡风玻璃53)的位置之间的关系。

在完成校准过程100时，系统1能够在HMD 10的屏幕11上实时再现一个或多个增强现实图像AR，每个增强现实图像AR对应于对应的增强现实对象OA，使得它们与视野FOV中可见的内容整合。

具体地，系统1执行增强现实元素的动态显示的操作过程200(在图9中示意性示出)，该操作过程200最初提供确定HMD 10相对于标记40的姿态(框201)。

换句话说，每个相机15相对于每个标记40的姿态的计算通过经由相机15获取成对的图像IL和IR来执行，以标识相机15和标记40之间的相对位置和取向，随后，通过利用在校准过程100的对准步骤期间确定的关系，这些位置和取向被组合以确定HMD 10相对于标记40的位置和取向。

随后或并行地，通过GNSS模块20检测车辆位置PV(框203)。优选地，在获取图像对的同时检测车辆的位置PV；甚至更优选地，在获取图像对的同时检测车辆的位置PV。

因此，通过应用在校准过程100的轴线校准步骤期间定义的补偿法则来修改车辆的位置PV，以便确定HMD 10相对于全球参考系统的位置(框205)。

总之，操作过程200的步骤203-205可靠地实时确定HMD 10相对于全球参考系统的位置和取向。

优选地，一个或多个被标识的标记40可以被用于定义屏幕11的图像将被显示在其中的显示区域R的形状和延伸，例如使得图像被叠加显示在车辆5的挡风玻璃53上或者通过挡风玻璃53可见的外部环境中的对象上(框207，如图4a和4b中示意性示出的)。

基于HMD 10相对于全球参考系统的位置和取向，确定视见体积VOL，即包括在HMD10的视野FOV中的空间体积(框209)。优选地，视见体积VOL(在图2中示意性示出)在由HMD10的当前位置预先确定的距离(即，视野FOV的深度)内延伸，该距离可能基于由IMU 6和/或由车辆5的传感器获取的参数(例如，车辆5的速度和/或加速度)而被修改。

随后，验证存储在存储器区域中的一个或多个增强现实对象OA是否包括在视见体VOL中(判定框211)。如果不是(框211的输出分支N)，则不采取行动。

相反，在一个或多个增强现实对象OA包括在视见体积VOL中的情况下(框211的输出分支Y)，对于每个增强现实对象OA，计算屏幕11上的对应屏幕位置AP，使得佩戴HMD 10的用户可以看到在相应世界点集{wp}附近的对应增强现实对象OA(框213)。有利地，屏幕位置AP基于车辆5的位置和全球参考系统的坐标集中的世界点集{wp}的位置来计算。

在优选实施例中，操作过程200包括精确定位子过程300(如图9的流程图所示)，其被配置为再现增强现实对象OA，使得它们与用户通过车辆5的HMD 10和挡风玻璃53观察到的周围环境最佳地整合。特别地，子过程300允许获得虚拟对象OA和通过HMD 10可见的道路表面OR0之间的最佳叠加(由用户感知)。

精确定位过程300涉及使用由HMD的相机15获取(优选地在同一时刻获取)的一对图像IL、IR(框301)。有利的是，图像IL、IR与过程200用来确定视野FOV和视见体积VOL的那些图像相同。

如上面已经考虑的，该对图像IL、IR捕获了对佩戴HMD 10的观察者可见的视野FOV的相同部分。换句话说，图像IL的至少一部分可叠加到图像IR的对应部分，并且反之亦然。

特别地，考虑到HMD 10正面向车辆5的挡风玻璃53的情况，所获取的图像IL、IR将描绘车辆5外部的环境，并且特别是车辆5前方的道路表面OR0的一部分。

通过处理该对图像IL、IR，估计属于可以彼此叠加的部分的图像IL、IR的每个点(例如每个像素)在三维空间中的位置，以便获得所谓的点云PC(框303和图10)。换句话说，估计两个图像IL、IR中描绘的每个点在视见体积VOL中的位置。

在一个实施例中，估计点在三维空间中的位置首先提供计算对应于该对图像IL、IR相对于其中另一图像的同一点的像素之间的视差图(子框3031)，并然后基于对应像素对计算两个图像中描绘的每个点在三维空间中的位置(子框3033)，例如通过从对应像素对和由视差图标识的相关联视差值开始三角测量每个点来进行计算。

在优选实施例中，根据H.Hirschmuller，“Accurate and efficientstereoprocessing by semi-global matching and mutual information”，2005年IEEE计算机学会计算机视觉和模式标识会议(CVPR’05)，圣地亚哥，CA，USA，2005，第2卷第807-814页中描述的内容来计算视差图。此外，根据R.Hartley，A.Zisserman，“Multiple ViewGeometry In Computer Vision”CUP，Cambridge，UK，2003，p.312中描述的内容来计算图像IL、IR的点的三角测量。

此后，设想估计包括道路表面OR0的容纳体积VC(框305)。

在所考虑的实施例中，包括道路表面OR0的容纳体积VC的估计如下进行。

最初，从获取的图像IL、IR开始，通过标识道路表面并通过应用上述过程200的步骤，执行道路表面OR0的位置的第一估计(子框3051)。换句话说，叠加在包括在视见体积VOL中的道路表面OR0的至少一部分上的增强现实对象OA的位置被估计，道路表面OR0的该至少一部分是相应的坐标集在全球参考系统中与之相关联的真实对象OR。换句话说，增强现实对象OA对应于根据过程200直到关于框213描述的操作所确定的道路表面OR0的位置的估计，即，基于一对图像IL、IR和在图像IL、IR的获取附近检测到的车辆5的位置进行的估计。

为了限制伪元素的存在，容纳体积VC包括与HMD 10的位置(平行于车辆5的移动方向，或者更一般地，在平行于车辆5的纵向长度的方向上)的距离等于或大于最小阈值(例如包括在5m和15m之间，优选地等于10m)的一部分视见体积VOL。以这种方式，可以排除与车辆5的乘客舱内部相关联的点云PC的点以及通过挡风玻璃53可见(因此包括在视见体积VOL中)的车辆5的前部。

此外，为了减少计算负担，容纳体积VC包括与HMD 10的位置(平行于车辆5的移动方向，或者更一般地，在平行于车辆5的纵向长度的方向上)的距离等于或小于最大阈值(例如包括在50m和150m之间，优选地等于100m)的一部分视见体积VOL。

有利的是，容纳体积VC还被限制为视见体积VOL的一部分，该部分具有的宽度(横向于车辆5的移动方向以及其纵向长度)基本上对应于道路表面的宽度，例如包括在3m和12m之间，优选地等于6m。

从道路表面OR0的估计位置P0开始计算容纳体积VC(如图11a和11b示意性所示)。体积VC包括在平行于道路表面OR0的估计位置P0的一对表面SU和SB之间，并且从横向表面ST开始延伸到HMD 10和所考虑的道路表面OR0的部分之间的距离的最小阈值附近的平行表面SU和SB。详细地，通过将第一偏移值OFF1加到道路表面部分OR0的估计位置P0的每个点的全球参考系统的坐标的高程值来确定该对平行表面的上表面SU(子框3053)。类似地，通过从道路表面部分OR0的估计位置P0的每个点的全球参考系统的坐标的高程值中减去第二偏移值OFF2来确定该对表面中的下表面SB(子框3055)。

在优选实施例中，第一偏移值OFF1和第二偏移值OFF2对应于相机15的特性和车辆5的特性并基于这些特性来确定。详细地，偏移值OFF1和OFF2随着相机精度的增加而减小，或者类似地，随着非理想性(例如相机的光学像差)的减小而减小。此外，偏移值OFF1和OFF2直接取决于车辆5在移动期间受到的应力以及车辆5对应力的响应。例如，车辆5的悬架越硬，车辆5在移动期间经历的俯仰越小，并且因此补偿俯仰所需的偏移越小。

随后，确定包括在容纳体积VC中的点云PC的点的子集(框307)。换句话说，容纳体积VC被配置成过滤点云PC，以便隔离点云PC中最有可能实际属于道路表面OR0的点的子集。

处理属于道路表面OR0的点云PC的点的子集，以计算对应于道路表面OR0的平坦表面RS(框309)。

在优选实施例中，点云PC的点的子集借助于M-估计器样本一致性(MSAC)类型的算法来处理，该算法允许确定表示点云的三维参考系统中的平坦表面RS的数学公式。优选地，平坦表面RS的数学公式产生以下形式：

αx+βy+γz＝δ (1)

其中α，β，γ，δ是基于点云PC的点的子集通过MSAC型算法确定的系数。

例如，点云的点的子集如在P.H.S.Torr，A.Zisserman：“MLESAC:A New RobustEstimator with Application to Estimating Image Geometry”，计算机视觉和图像理解，第78卷，第1期，2000，第138-156页中所描述的那样被处理。

随后，基于平坦表面RS重新计算增强现实对象OA的世界点集{wp}的每个世界点wp(框311和图13)。

所计算的平坦表面RS用于校正要通过HMD 10显示的增强现实对象OA的定位。特别地，由于从平坦表面RS开始进行的校正，要叠加在道路表面OR0上显示的增强现实对象OA(例如最佳轨迹OA1和阻带OA2)被正确地叠加在用户视野FOV中的道路表面OR0上。

详细地，给定要被放置在道路表面OR0上的增强现实对象OA的世界点集{wp}的通用世界点wp，经校正的世界点wp'被计算为：

其中p是HMD 10的位置在平坦表面上的投影，并且

然后，正确世界点集{wp'}用于确定屏幕11上对应的正确屏幕位置AP'(框313)。因此，在关于过程200的框215描述的步骤处，在屏幕上的屏幕位置AP'附近再现增强现实(二维)图像AR。以这种方式，佩戴HMD 10的用户在相应的正确世界点集{wp'}附近看到增强现实对象OA。

因此，对于每个增强现实对象OA，对应的增强现实图像AR被再现在HMD 10的屏幕11上对应的正确屏幕位置AP'(框215)。优选地，如果每个增强现实图像AR包括在叠加在车辆5的挡风玻璃53上的屏幕11的显示区域R中，则再现该增强现实图像AR。

有利地，在屏幕11上再现的增强现实图像AR根据HMD 10和全球参考系中对应增强现实对象OA的世界点集{wp}之间的距离和相对位置来缩放和取向。

例如，参考图14，提供计算屏幕11上的屏幕位置AP'1-3，在屏幕位置AP'1-3，再现对应于增强现实对象OA1-3中每个的增强现实图像AR1-3，使得佩戴HMD 10的用户在视野FOV内的相应世界点集{wp1-3}的附近看到每个增强现实对象OA1-3。

特别地，要在道路表面上显示二维增强现实对象OA的情况下，例如条带指示车辆5要遵循的轨迹或停止线。该系统提供沿着横向于车辆移动方向的方向生成增强现实对象OA的第一点集，并且在平行于车辆的方向上平移这些点，直到到达增强现实对象OA的范围。换句话说，一旦增强现实对象OA的第一点被“放置”在估计平面上，增强现实对象OA就精确地从投影到平面上的第一点开始被增加到期望的期望尺寸(例如，宽度和长度)，以例如投影分离的位置或轨迹。通过这种方式，可以确保增强现实对象OA的整体属于该平面——因为其顶点位于该平面上——并且用户所感知的尺寸正是所期望的尺寸——没有投影误差或失真。

在HMD 10的使用期间，连续重复过程200，以便根据车辆5和HMD 10的位置随时间的变化，以及因此根据视野FOV和视见体积VOL随时间的变化，实时更新增强现实图像的显示。

总之，以上呈现的过程100和200以及子过程300的组合形成了驾驶辅助方法，该驾驶辅助方法被配置成向用户提供实时信息，特别是通过在用户佩戴的HMD 10的屏幕11上再现增强现实图像来提供实时信息。

然而，清楚的是，上述示例不必须在限制性含义上被解释，并且如此构思的本发明易于进行多种修改和变化。

例如，相同过程或不同过程的一个或多个步骤可以彼此之间并行执行，或者根据与上述顺序不同的顺序执行。类似地，可以从上述一个或多个过程中添加或移除一个或多个可选步骤。

在一个实施例中，可以通过基于2004年F.Ababsa，M.Mallem的“Robust CameraPose Estimation Using 2D Fiducials Trackingfor Real-Time Augmented RealitySystems”虚拟现实连续体及其在工业中的应用国际会议，第431-435页中描述的算法来标识每个相机15相对于标记40的姿态，即相对位置和取向。

然而，这并不妨碍实现这样的实施例，其中不使用标记40，并且通过替代手段来确定HMD 10的位置和取向，例如通过被配置为拍摄用户并检测HMD 10的位置和取向的拍摄系统。

附加地或可替换地，被配置为标识相机姿态的算法可以基于包含在以下文献中的教导：Madjid Maidi，Jean-Yves Didier，Fakhreddine Ababsa，Malik Mallem:“Aperformance studyfor camerapose estimation using visual marker-basedtracking”，发表在机器视觉和应用第21卷第3期第265-376页，2010年；和/或FranciscoJ.Romero-Ramirez，Rafael Munoz-Salinas，Rafael MedinIRCarnicer:“Speeded UpDetection of Squared Fiducial Markers”，发表在图像和视觉计算第76卷，2018年。

在一个实施例中，通过实现包括在软件产品

在一个实施例中，过程200提供根据HMD 10的位置和对应增强现实对象OA的世界点集合{wp}根据时间的变化，来修改在HMD 10的屏幕11上再现的每个增强现实图像AR——例如，通过缩放、视角改变等。换句话说，提供对每个世界点wp的跟踪，直到对应增强现实对象OA被包括在佩戴HMD10的用户的视见体积VOL中。

在一个实施例中，子过程300被实现为仅生成与要被定位在部分道路表面OR0上的增强现实对象OA相关的增强现实图像IR。在增强现实对象OA没有叠加在道路表面OR0上的情况下，系统1提供省略子过程300，因此，增强现实图像在屏幕上被直接再现在位置AP(即，从框213切换到框215)。

在另一实施例中，子过程300被实现为仅生成与增强现实对象OA相关的增强现实图像IR，该增强现实对象OA的位置用相对于道路平面的垂直坐标来表示。

在一个实施例中，使用同一对象OA或其一部分来执行道路表面OR0的估计，该同一对象OA或其一部分要被叠加显示在道路表面OR0上，在步骤213中为该道路表面OR0计算位置AP。

有利的是，偏移值OFF1和OFF2在已知条件下用类似于轴线校准步骤的校准步骤被校准，在轴线校准步骤期间，验证容纳体积VC包括与参考已知测试条件的点云的道路表面相关联的所有点。优选地，偏移值OFF1和OFF2在车辆5的移动期间基于经由车辆5的数据总线55获取的关于减震器的操作的信息被动态地校正。

在一个实施例中，周期性地重复过程200和/或子过程300。优选地，过程200和/或子过程300的重复频率是可变的，作为用户头部移动频率的函数——借助于HMD 10的传感器测量，或者作为相机15获取的图像的FOV变化的函数——和/或作为车辆5的旋转移动(即，侧倾和俯仰)的函数。优选地，过程200和/或子过程300的重复频率大于30Hz，优选地大于或等于40Hz。

附加地或可替换地，过程200和/或子过程300的重复频率是可变的，作为车辆5的速度的函数，例如它随着车辆5的速度增加而增加。

在一个实施例中，对准步骤提供确定缩放值和/或校正因子，以补偿由所使用的相机15的特定特性引入的变形和/或像差。可替换地或附加地，可以随时间过滤每个标记40相对于HDM 10的位置和计算的取向，以去除任何噪声。

在一个实施例中，对准步骤提供针对通过分析在随后时刻获取的图像对IL和IR而确定的标记40的每个位置，计算将每个标记40的位置链接到主标记40的旋转平移。然后对为每个标记40计算的旋转平移进行时间平均，以便获得每个标记40相对于主标记40的单个旋转平移。

自然，所有的细节都可以用其他技术上等效的元素来替换。

总之，上述设备、装置和终端所使用的材料以及可能的形状和尺寸可以根据具体的实现要求而定，而不会由此脱离所附权利要求的保护范围。