使用增强现实相机的后视方法和设备

技术领域

本发明涉及在机动车辆上的使用相机的后视法。

更具体地，本发明的主题是一种用于车辆的使用相机的后视方法，该后视方法在屏幕上向驾驶员呈现通过将相机视图分组在一起而构建的场景。

背景技术

与常规的后视镜相比，数字后视相机与车辆内部中的返回屏幕一起使用为使视野与车辆的外部轮廓相适配提供了更大的可能性。相机尤其确保了驾驶员对车辆的后部和侧面具有较宽的视野。然而，对于有些人来说较难的是评估屏幕上的相对距离(诸如障碍物的横向接近度或纵向接近度)、相对速度等。

具有镜子的后视系统为驾驶员提供了相对于车辆轮廓及其内部背景而被加框的外部视图。在外部后视镜中，通常看到的是车辆的翼部或车门的一部分，例如，把手。在内部后视镜中，看到的是后窗和头枕。另外，由于图像是由每只眼睛直接观看的，因此镜像技术呈现三维景观。

后视相机消除了死角，并消除了乘客或庞大物体对视野的限制。然而，这些表示可能使驾驶员因缺乏用于定位其车辆位置和估算距离的视觉标记而感到困惑。

通过公开文件FR 2 780 230，已知一种使用相机的后视设备，该后视设备在同一屏幕上传递后视图像和由车辆的发动机控制计算机提供的补充信息。该设备自动地选择全部或部分后视图像，以通过动态加框在屏幕上显示附加信息。一些驾驶信息会出现在屏幕上，而不会嵌入图像中，以限制图像与某些所显示符号发生混淆的风险。然而，驾驶员没有关于他或她的环境的任何补充标记。多项研究已经强调了用户使用相机进行后视所遇到的困难，因为所呈现的图像去掉了有关车辆足迹的标记或该车辆在环境中的位置的标记。

发明内容

本发明旨在补救使用相机的已知后视系统的缺陷。

为此，本发明提出在后视图像上创建表示车辆后部的非实际元素，以辅助用户找到使用镜子的常规后视系统的标记。

该结果是在增强现实中通过以下方式使用物理标记获得的：

-将与该车辆匹配的三维数字模型插入到由这些相机构建的场景中，并且

-通过将这些三维模型叠加在由这些相机构建的场景上来构建增强现实场景。

该设备包括成对布置的一组后视相机1、特定于每组相机的静态或动态软件遮挡物、以及至少一个呈现屏幕2。

附图说明

参照附图阅读对本发明的非限制性实施例的以下说明将更好地理解本发明，在附图中：

-图1是使用嵌入在车辆上的相机的后视设备的图，

-图2展示了本发明的方法，以及

-图3展示了所获得的结果。

具体实施方式

在图1中，示意性地表示了机动车辆，该机动车辆具有图像采集系统，该图像采集系统使用双相机1(侧部相机和后部相机)和一组图像呈现屏幕2(优选地是自动立体式)。相关联的处理装置包括后视视点计算机A、具有纹理3D模型(三维形式)和布置3D模型的存储器B、增强现实图像计算机C(像素、光、由用户进行的参数化)、以及用于将图形分布到屏幕的图形分布单元D。

这些组件允许将使用相机的后视设备构建为具有：

-成对布置的一组后视相机1，例如，两个后部相机和两个侧部相机，

-特定于每组相机的静态或动态软件遮挡物，

-一组呈现屏幕2，该组呈现屏幕可以是常规的(LCD、LED、TN)，但优选地是自动立体式，

-用户参数化界面，以及可能地

-用于获取驾驶员双眼的位置的系统。

遮挡物的目的是将通常在后视镜上表示的一些标记(后窗、后头枕、翼部、把手等)添加到后视图，以便为驾驶员提供关于相机视点的索引。该系统还提供了三维视图，以使空间感知最大化。在本发明的上下文中，软件遮挡物优选地是应用于相机图像流的图形覆盖物，以在该图形覆盖物上叠加信息。虚拟元素(诸如来自相机的真实图像流上的标记)的应用通过增强正在拍摄的场景的真实感来提升对该场景的感知。

所提出的后视方法依赖于在相机的视野中选择与后视镜的通常后视图相对应的区域。对相机视图进行用于在屏幕上向驾驶员呈现通过将来自相机的不同视图分组在一起而构建的场景所需的校正。

本发明提出在外部场景的图像上叠加车辆的一些标记。该遮挡物为用户提供了使用相机的后视法和使用镜子的后视法的集合优势，而没有它们各自的缺陷。借助该遮挡物，后视设备呈现出无死角且车辆的物体或乘员所在的视野不会留白的完整外部环境场景，同时使用车辆的物理标记来丰富该场景，从而促进空间感知。

总而言之，本发明提供了：将与车辆匹配的三维数字模型插入到由相机构建的场景中，并且通过将三维模型叠加在由相机构建的场景上来构建增强现实场景。该设备包括：

-成对布置的一组后视相机1，

-特定于每组相机的静态或动态软件遮挡物，以及

-至少一个呈现屏幕。

“自动立体3D”技术允许驾驶员直接看到以三维形式插入的元素，而无需诸如3D眼镜等特殊装备。通过三维呈现确保的景深有助于强化空间感知。

相机可以有利地放置于其在车辆上的通常位置处。这些相机成对地布置、间隔约65mm，因为该距离对应于双眼之间的平均间距并且允许向用户呈现立体图像。

对本发明的实施做出贡献的其他资源如下：

-内部存储器，该内部存储器包含车辆的带有纹理的数字模型，这些带有纹理的数字模型可以叠加在后视图上；

-数字模型位置计算机，该数字模型位置计算机可以与用于定位驾驶员的双眼以使其与图像匹配的系统一起工作；

-图形单元，该图形单元能够以足够的分辨率以3D显示这些数字模型，而无论是否进行实时计算都可以增强场景的真实感：阴影、环境亮度、入射光等。

遮挡物是实时生成的，并且不断刷新。该遮挡物通过以下几个步骤应用于图像。

第一步骤是加框。该第一步骤包括在场中选择与后视镜的通常后视图相对应的区域，如果后视图需要形成概图，则可能地通过对该区域施加某些变型来进行选择。

第二步骤是获取模型。该第二步骤包括放置与车辆匹配的数字模型并将这些数字模型插入到由相机构建的场景中。通常，所需的模型是头枕、门等。

构建增强现实场景的第三步骤包括执行对叠加在相机的场景上的3D模型的呈现。为此，计算机考虑了由用户选择的参数化及其头部的位置(在车辆配备有可选的眼睛定位系统时为中间位置或精确位置)。

返回屏幕优选地是自动立体式，以在没有特定眼镜或其他附件的情况下以三维形式显示内容。

该界面可供驾驶员在他或她的仪表板上使用。通过该界面，他或她就可以通过设置数字插入件的透明度或机械插入件的数量来参数化后视图。设置界面可以有利地结合在预先存在的导航向导控制台的软件中。如果控制台具有触摸屏，则该触摸屏有助于进行设置。

在本发明的特定实施例(称为“动态透明度”实施例)中，插入件的透明度根据车辆(例如，在可能被掩盖的区域中存在车辆时)当前所停驻的外部环境等而变化。最后，优选的是还能够设置立体视觉的深度。

将遮挡物叠加在图像上会降低该图像在有关区域中的透明度。对亮度的抑制可以是局部的或全部的。图3在示例中示出了由一个后部相机和两个侧部相机的视图构建的图像。在第一视图I1上，图像上未出现软件遮挡物(整个表面的透明度为100％)；在第二I2上，遮挡物使图像在有关区域的透明度降低60％；在第三I3上，这种降低为80％。

本发明使得能够消除死角并提高安全性。与常规的相机系统相比，本发明促进了驾驶员的学习阶段和控制阶段。对双眼的定位是可选的，因为可以仅使用中间位置。最后，本发明的应用不限于机动车辆。其对使用相机的其他运输工具也具有重大意义。