用于控制驾驶员信息的输出和用于保持自动化车辆的驾驶员注意力的设备和方法

技术领域

本发明涉及一种用于控制驾驶员信息向车辆的驾驶员的输出的设备和方法，所述设备和方法具有以下目的，使车辆的驾驶员和/或乘员得到消遣和/或提高驾驶员的驾驶员注意力。为此，设置有具有景点或符合一般兴趣的对象的数据库、地势信息的数据库、用于确定车辆的停留地的装置，和被馈给这些信息的分析评价装置。该分析评价装置从车辆的瞬时停留地和地势信息中求取哪些景点或符合一般兴趣的对象位于驾驶员的视野中并且通过输出装置输出关于已被分析评价装置求取为位于驾驶员的视野内的景点或关于符合一般兴趣的对象的驾驶员信息。

背景技术

由DE102013212186Al已知一种车辆中的用于使用摄像机拍摄至少一个处于车辆外部的对象的至少一个图像的装置，其中，该装置包括用于确定具有包含地形模型的存储器的摄像机的位置的定位装置，该地形模型包括至少一个待拍摄对象的位置信息和摄像机与该对象所位于的风景的中间位置的风景模型，具有用于由摄像机位置、待拍摄对象的位置信息和风景模型来确定摄像机与待拍摄对象之间的视线连接的确定装置，并且具有控制装置，该控制装置构造为用于，当通过确定装置确定摄像机与待拍摄对象之间存在视线连接时，操控摄像机以拍摄图像或者图像序列，以及一种用于拍摄图像的方法，由此，使得能够自动地拍摄所谓的兴趣点(POI)的图像，在经过所述兴趣点时在利用车辆的行驶的范畴内。

发明内容

本发明的核心为，提出一种用于控制驾驶员信息的输出的设备和方法，所述驾驶员信息在需要时使驾驶员得到消遣或在需要时提高驾驶员的驾驶员注意力，其方式是，输出关于在驾驶员的视野中的景点或符合一般兴趣的对象的信息。这可以通过输出请求信号来实现。

根据本发明，该方法通过独立权利要求的特征来解决。有利扩展方案和构型由从属权利要求中得出。

可以通过感测驾驶员引发的动作来输出请求信号，例如通过较长时间地保持驾驶员视线或者驾驶员手势，或者可以通过在特定状况中将触发条件识别为已满足的监测系统来输出请求信号，例如其方式是，驾驶员监测系统识别到驾驶员的疲劳并且输出请求信号。

有利地设置，附加地设置用于监测驾驶员的装置，借助该用于监测驾驶员的装置，能够感测驾驶员的瞬时注视方向和/或驾驶员的面部表情和/或驾驶员的手势和/或驾驶员的手指、手部或者手臂的指向方向和/或用于语音识别的装置和/或由驾驶员对操作装置的操纵并且确定驾驶员的瞬时视野。在此，视野是驾驶员瞬时观察的区域。在此，视线区域也可以限定为兴趣区，即作为以预确定的空间延伸尺度围绕兴趣点的区域。为此，特别有利地，使用驾驶员监测摄像机，例如内部空间摄像机，该摄像机能够拍摄驾驶员关于瞬时行驶事件的注意力，以及能够识别驾驶员的手势或者面部表情以及注视方向并且可供分析评价装置使用。

此外，在根据本发明的方法的范畴中有利的是，附加地给分析评价装置馈给用于监测驾驶员的装置的数据，尤其将驾驶员的注视方向识别的数据和/或驾驶员的面部表情识别的数据和/或驾驶员的手势识别的数据，和/或驾驶员的手指的指向方向的识别数据和/或语音识别装置的数据和/或驾驶员可操纵的操作装置的数据馈给分析评价装置并且由此确定驾驶员的瞬时视野。

进一步有利的是，设置车辆上的环境传感器和/或设置用于确定车辆定向的装置，借助所述用于确定车辆定向的装置来确定驾驶员的瞬时视野。通过该用于确定车辆定向的装置或用于感测车辆前方的车辆环境的环境传感器能够确定驾驶员的粗略的瞬时注视方向，并且由此，结合地势信息的数据库和具有景点或符合一般兴趣的对象的数据库能确定哪些景点或符合一般兴趣的对象当前在驾驶员的视野中是可见的。车辆上的环境传感器尤其可以作为沿行驶方向定向的驾驶员辅助摄像机，该驾驶员辅助摄像机通常装配在车辆前风挡的区域中并且沿车辆的行驶方向感测车辆环境。

通过知道瞬时驾驶员注视方向并且知道瞬时在车辆环境中可见的景点或符合公共兴趣的对象能够确定，是否驾驶员瞬时在看景点或者指向景点或符合公共兴趣的对象并因此应播放属于该对象的信息。此外能实现，如果识别到驾驶员变得疲劳或者开始入睡，则播放关于瞬时可见的符合公共兴趣的对象或瞬时可见的景点的信息，由此减少驾驶员的疲劳并且提高交通安全。

进一步有利的是，输出装置是用于输出图像和/或视频的显示设备和/或用于输出音乐和/或语音信息的音频系统。在此，关于景点或符合公共兴趣的对象的信息可以是关于历史事实、关于建筑、关于城市规划方面、关于运动、文化或者自然中的或风景中的景点的视频或者文本或者图像。在此，可以针对每个对象存储不同类型的多个信息。

进一步有利的是，分析评价装置借助输出装置来输出关于以下景点或者符合一般兴趣的对象的驾驶员信息：驾驶员以他的手指指向的景点或对象、驾驶员将他的视线朝向的景点或对象，或者驾驶员借助语音控制口头地从信息系统中请求信息的景点或对象。在此，可以有利地实施，驾驶员可以将他的朝符合一般兴趣的对象或景点的视线或者手指指向保持最小时间，使得被识别到期望有关于这些的信息播放。此外，替代或组合地能实现，借助驾驶员可操纵的操作元件，例如开关或者屏幕输入器具(触摸屏)，手动地请求信息的输出。

进一步有利的是，将借助用于监测驾驶员的装置所识别的驾驶员注视方向或者驾驶员指向方向从车辆坐标系变换到世界坐标系中并且在考虑所求取的瞬时车辆位置的情况下并且在考虑所求取的瞬时车辆定向的情况下，求取驾驶员的瞬时视野(7)。内部空间传感装置是车辆固定的并且仅能够关于车辆固定的坐标确定驾驶员的注视方向或指向方向，所以在借助于所求取的瞬时车辆位置和所求取的瞬时车辆定向的情况下将该注视方向或者指向方向从车辆坐标系换算到世界坐标系中是特别有利的。只要驾驶员的注视方向或者指向方向存在于世界坐标系、即不与车辆或者其他可运动对象一起运动的地点固定的坐标系中，就能够相对简单地求取，哪些景点或者哪些符合一般兴趣的对象位于驾驶员注视方向中，因为指向方向或注视方向存在于与景点或符合一般兴趣的对象的地理坐标相同的坐标系中。

进一步有利的是，如果用于监测驾驶员的装置识别到驾驶员具有疲劳迹象时、驾驶员表现出倦怠迹象、驾驶员不再专注于行驶事件，或者行驶路线具有单调性，则自动地启动对最近的景点或最近的符合一般兴趣的对象的信息的输出。由此可以实现，通过对信息、尤其对于驾驶员来说感兴趣的信息的系统引发的播放来提高该驾驶员的注意力并因此可以有助于道路安全性。例如可以借助内部空间摄像机识别驾驶员疲劳或者驾驶员分心，该内部空间摄像机拍摄驾驶员及他的面部活动。替代或组合地，也可以分析评价转向角度，因为具有疲劳表现或者注意力不足的驾驶员具有表征性的转向运动和转向模式。例如，可以基于视线从行驶事件偏离的频率和持续时长来求取倦怠迹象。例如，借助基于视频的或者基于雷达的环境传感器来识别行驶路线的单调性的迹象，其方式是，识别总是反复出现的图案、例如护栏的规律性和持续时长。

进一步有利的是，在数据库中，为每个景点或每个符合公共兴趣的对象存储多个信息，尤其是关于不同的信息领域的信息，例如关于历史、文化、建筑、运动、经济或者风景和自然的信息，并且存储：哪个信息已经在较早时刻播放过，以便避免重复并且根据驾驶员偏好来播放这些信息。如果相同的行驶路线被多次驶过，则由此能够实现，在每次经过相同的景点或相同的符合一般兴趣的对象时，每次输出不同的信息，使得即使在多次经过相同部位的情况下驾驶员也得到新的且因此感兴趣的信息，因为不会在每次经过相同部位时重复相同的信息。进一步有利的是，可由驾驶员预给定偏好：关于一个景点或者符合一般兴趣的对象由输出装置播放哪些信息，或者以何种顺序播放关于一个景点或符合一般兴趣的对象的信息。针对每个景点或每个符合一般兴趣的对象存储按照领域的不同的信息，例如存储有如下领域：历史信息、建筑信息、运动信息、关于自然和风景的信息或者关于风土人情的信息，所以驾驶员能够指明他所优选的信息领域，或者将信息领域列表按他感兴趣的顺序进行分类，使得在播放信息时，仅播放他感兴趣的领域信息，或者在多次经过时以他感兴趣的顺序播放不同的信息。

根据本发明的方法例如可以以软件或者硬件形式或者以软件和硬件的混合形式在控制器中实现。

在此所提出的方案还实现一种驾驶员信息和驾驶员注意力系统，该系统构造为用于在相应的装置中实施、操控或实现在此所提出的方法的变型的步骤。

用于控制驾驶员信息的播放或提高驾驶员注意力的控制系统可以是电器具，该电器具具有至少一个用于处理信号或者数据的计算单元、至少一个用于存储信号或者数据的存储单元，和至少一个用于读入或者输出嵌入在通信协议中的数据的接口和/或通信接口。计算单元例如可以是信号处理器、所谓的系统ASIC，或者用于处理传感器信号和根据所述传感器信号输出数据信号的微控制器。存储器单元例如可以是闪存、EPROM，或者磁存储单元。接口可以构造为用于从传感器读入传感器信号的传感器接口，和/或构造为用于向促动器输出数据信号和/或控制信号的促动器接口。通信接口可以构造为用于，无线地和/或有线地读入或者输出数据。所述接口也可以是软件模块，所述软件模块例如与其他软件模块一起存在于微控制器上。

也有利地涉及一种具有程序代码的计算机程序产品或者计算机程序，所述程序代码可以存储在机器可读的载体或者存储介质，例如半导体存储器、硬盘存储器或者光学存储器上并且用于尤其当该程序产品或者程序在计算机、可编程控制器或者类似设备上执行时，用于实施、实现和/或操控根据前述实施方式中任一项所述的方法的步骤。

应指出，在此，参考不同的实施方式将本发明的可能的特征和优点中的一些说明为用于控制驾驶员信息装置的方法。本领域技术人员认识到，可以以适当的方式组合、适配或者交换所述特征，以便获得本发明的其他实施方式。

附图说明

以下根据附图阐述本发明的实施例。附图示出：

图1：用于阐述本发明的一种实施方式的示意性行驶状况；

图2：根据本发明的设备的一种实施方式的示意性方框图；

图3：用于阐述根据本发明的方法的一种实施方式的示意性方框图。

具体实施方式

图1示出一种示例性的行驶状况，在所述行驶状况中示出道路1。在该道路1上行驶具有根据本发明的系统的车辆2。道路1还具有弯道并且该道路对于车辆2的驾驶员来说仅在较近区域内可见。在此，车辆2是具有自动化驾驶模式甚至自主驾驶模式的车辆，使得驾驶员除了能手动引导车辆以外也能够使车辆独立地行驶并且在自动行驶时仅必需履行监测任务或者完全不再承担任何驾驶责任。在车辆2中例如安装有环境传感器，该环境传感器示例地作为摄像机安装在车辆前风挡的区域中。替代地，也可以使用全球卫星导航系统的传感器，例如GPS传感器，该传感器与陀螺传感器和数字地图被共同地分析评价，以确定车辆定向。

在车辆2在道路1上行驶期间，车辆2中的驾驶员能够眺望确定的地形区段。为此，在图1中标出该驾驶员的视野7的边界。在此，在车辆中所安装的环境传感器具有大致相同的视野7，该环境传感器例如可以作为前置摄像机安装在车辆前风挡的区域中。根据本发明确定，哪些景点3、4、5处于驾驶员的视野7内。在此，示例地以村庄(Ortschaft)示出的景点3位于驾驶员的视野7中。在此，在图1中示例地作为风景景点或者自然景点示出的、符合公众兴趣的对象4位于驾驶员的视野4以外，并且仅当驾驶员会转动头部或者他在道路1的进一步走势中这样改变车辆2的车辆定向，使得景点4进入到驾驶员的视野7中时才会被该驾驶员看到。示例地作为历史景点或建筑景点以城堡形式示出的另一景点5位于地形凸起6的后方，该地形凸起示例地在图1中作为山示出。这种呈景点5形式的符合一般兴趣的对象虽然正如作为村庄示出的景点3那样也将位于驾驶员的视野7内，但景点5对于驾驶员来说不可见，因为城堡5位于地形凸起6的后方。在道路1的进一步走势中，当车辆2已部分地绕过该地形凸起时，呈所示出的城堡形式的景点5才可见。在图1的这种示例性示出的行驶状况中能够看出，对于车辆2的驾驶员来说，仅呈村庄3形式的符合一般兴趣的对象瞬时在驾驶员的视野7中是可见的。呈风景对象形式的符合一般兴趣的景点4不位于视野7内，因为该景点由于观察角度位于视野7以外，而且符合建筑兴趣或者历史兴趣的、呈城堡5形式的景点5，对于驾驶员来说在他的视野7内也不可见，因为该景点被地形凸起6隐藏。根据本发明，借助景点3、4、5的位置在具有符合一般兴趣的对象的数据库中确定瞬时处于视野7中的对象的位置。由同一数据库或者另外的数据库中提供周围地形的地势信息，由此求取高度数据并且使用这些数据确定：哪些符合一般兴趣的对象3、4、5中对于车辆2的驾驶员来说不仅位于他的注视方向中，而且基于地形地势瞬时实际上对于该驾驶员来说也是可见的。村庄3是唯一的、位于车辆2的驾驶员的视野7中的、瞬时对于驾驶员来说也可见的符合一般兴趣的对象，所以为该对象准备好信息。在此，可以针对对象3、4、5的每个对象准备多个信息，例如关于历史背景、风景特点的信息、运动信息、文化信息或者另外的信息领域。在出现请求信号之后，才输出这种关于瞬时处在视野7中的景点3的信息，其中，在信息输出时，可由驾驶员预先确定偏好，即应输出哪些信息领域或者应优先输出哪些领域。该请求例如可以是驾驶员视线较长时间保持在处于驾驶员的视野7中的景点3中的一个景点上，这例如能够借助内部空间摄像机来识别。替代或组合地，该请求也可以通过以下方式来识别，驾驶员较长时间地指向可见的景点3、4中的一个景点，或者该驾驶员通过语音输入语音地请求。此外能实现，自动地生成请求信号，其方式是，车辆2的驾驶员监测装置、例如转向柱的转向角度监测或者车辆2的驾驶员的面部识别确定超过疲劳阈值，并且然后在驾驶员的视野7中自动地播放关于景点3的信息，以提高驾驶员注意力。

在图2中示出根据本发明的设备的一种实施方式的示例性方框图，如可以示例性地安装在车辆2中的那样的设备。能看到，具有输入电路11的分析评价装置10，并且通过该输入电路能够给分析评价装置10提供输入信号12。具有关于景点或符合一般兴趣的对象3、4、5的信息的数据库13的数据可以作为输入信号12。在此，除景点以外，还存储这些景点的地理位置，尤其是这些景点的地理经度和纬度以及关于所设置的信息领域的感兴趣信息。此外，给分析评价装置10的输入电路11馈给具有地势信息的数据库14的输入信号12。在此，具有地势信息的数据库14包括关于车辆2周围的区域中的地形型廓的数据，有利地远至驾驶员的可见地平线的信息。该关于地势信息的数据库14还可以包含关于周围的建筑的信息，使得例如在大城市内周围的高建筑也作为地势信息可供使用。作为另外的输入信号12，给分析评价装置10的输入电路11馈给位置确定装置15的代表车辆2的瞬时地理位置的信息。位置确定装置15的该位置数据例如也可以包含车辆2在风景中的定向。替代或组合地，还可以实现，这由车辆2在其环境中的方向信息借助用于确定车辆定向的另一装置16来求取，该另一装置例如可以是环境传感器，如车辆2的前风挡的区域中的前置摄像机。借助该环境摄像机，可以确定车辆2的视野7并且与来自数据库或者数据云的所保存的图像数据进行比较，并因此识别周围环境中的车辆定向。替代或附加于位置确定装置15的定向信息，将环境传感器16的这些数据作为输入信号12馈给输入电路11。由对瞬时车辆位置、瞬时车辆定向以及符合一般兴趣的对象3、4、5的位置的认识，能够求取瞬时的驾驶员视野7。在添加了数据库14的地势信息的情况下，能够滤掉虽然位于驾驶员的视野7内但由于地形地势或者建筑对于驾驶员来说瞬时不可见的符合一般兴趣的对象3、4、5，如例如对图1中的景点5所说明的那样。借助用于监测驾驶员的装置9能够识别，驾驶员是否将其视线较长时间地保持在景点3、4、5上，他是否使用其手指或者其手部较长时间地指向景点3、4、5，或者他是否具有注意力降低的迹象。此外能实现，驾驶员通过驾驶员可操纵的操作元件，如旋压调节器或者触敏的显示和输入器具(触摸屏输入器具)手动地请求信息。将用于监测驾驶员的装置9的请求信号也作为输入信号12馈给分析评价装置10的输入电路11。在输入信号11经由可有利地实施为总线系统的数据交换装置17馈给例如可实施为微处理器或者微控制器的计算装置18之后，在计算装置18中确定位于驾驶员的视野7内且基于地形凸起对驾驶员来说实际也可见的景点3、4、5。如果接下来识别到驾驶员监测装置9的请求信号，则输出关于对车辆2的驾驶员来说瞬时可见的景点3的信息。在此，驾驶员可以预先加入偏好，即应输出哪些信息，例如仅输出运动信息，或者确定播放关于可见的符合一般兴趣的对象3的信息领域应按照的顺序。如果在计算装置18中识别到请求信号，则经由数据交换装置17将输出信息输出给分析评价装置10的输出电路19，该输出电路输出输出信号20。在此，输出信号20可以是呈图像、电影、音乐或文本形式的播放信息，该播放信息经由至少一个输出装置20输出。在此，包括例如光学的播放信息在内的输出信号20借助视频装置22播放文本或者电影，该视频装置例如可以是车辆的中控台中的或者前排座椅的头枕中的显示装置。作为输出信号20输出的声学播放信息可以在输出装置21中例如作为文本或者音乐输出，其方式是，该播放信息馈给音频系统23。附加或替代地可行的是，输出信号20馈给播放装置21，该播放装置可以具有无线电接口24，该无线电接口例如可以实施为用于数据通信的无线接口，例如WLAN适配器或者蓝牙适配器，使得车辆2的乘员能够在便携式终端例如智能手机或者平板设备上看到和/或听到这些信息。

图3中示例性示出根据本发明的方法的流程图。该方法在步骤27中开始，其方式例如是接通车辆点火装置或者激活安装在车辆中的辅助系统或者信息娱乐系统。

在紧接着的步骤28中，借助位置确定装置15确定本车辆2的地理位置并且馈给计算装置18。

在紧接着的步骤29中，确定车辆2的定向，其方式例如是，位置确定装置15可以提供关于车辆定向的信息，或者其方式是，通过环境传感器16和由此所确定的地形标记来求取车辆2的定向。

在紧接着的步骤30中，确定驾驶员的视野7，其方式是，在计算装置18中，由瞬时车辆位置和瞬时车辆定向确定行驶方向和驾驶员的注视方向。为此，借助内部空间传感装置监测驾驶员并且求取驾驶员注视方向或者驾驶员的指示方向。在此，该驾驶员注视方向或者驾驶员的指示方向存在于车辆的固定坐标系中，因为内部空间传感装置装配在车辆中。在借助所求取的瞬时车辆位置和所求取的瞬时车辆定向的情况下，这些存在于车辆坐标系中的坐标变换到不与车辆一起运动而是地点固定的世界坐标系中。由此，能求取驾驶员的瞬时视野(7)并由此也能够确定位于驾驶员的注视方向中的景点3、4、5或符合一般兴趣的对象3、4、5。

紧接着在步骤31中，求取位于驾驶员的注视方向中且附加地对于驾驶员可见的景点或符合一般兴趣的对象3、4、5。为此，附加地将具有地势信息14的数据库的信息馈给计算装置18并且在计算装置18中求取，哪些景点或符合一般兴趣的对象不仅位于驾驶员的注视方向内而且在驾驶员的视野7内可见，其方式是，将地形条件考虑在内。例如在图1中，仅村庄3在驾驶员的视野7内可见，而城堡5不可见，该城堡虽然位于驾驶员的注视方向内但瞬时不可见。相反，自然景点4既不位于驾驶员的视野7中，也不在驾驶员的注视方向上。

在紧接着的步骤32中，通过计算装置18检查，驾驶员监测装置9是否已输出请求信号，例如其方式是，已确定驾驶员疲劳或者驾驶员将其注视较长时间地保持在景点3、4、5上，或者利用指向手势，例如用手指或者手部或者手臂较长时间地指向景点3、4、5。如果确定没有驾驶员监测装置9的请求，则步骤32分支到“否”，并且继续进行步骤28，其方式是，重新确定自身位置。如果在步骤32中确定，由于发生了请求而信息输出是必要的，则步骤32分支到“是”并且在接下来的步骤33中确定符合一般兴趣的对象或所选择的景点3，关于所述对象或景点应播放信息。

在紧接着的步骤34中，输出驾驶员信息，其方式是，播放关于步骤33中所选择的景点或符合一般兴趣的对象的视听信息。在此，可以为步骤34中的输出可选地馈给驾驶员可以预先确定的偏好列表35的信息。通过该偏好列表来确定，应以何种顺序播放信息或者应仅播放哪些信息领域，或者应根本不播放哪些信息领域。驾驶员可以通过该偏好列表35来确定，例如，不输出关于位于行驶道路1上的足球场的运动信息，或者在多次经过同一景点3或同一符合一般兴趣的对象3时应以何种顺序播放多个不同的信息领域。如果车辆多次驶过路线并且在此多次请求关于景点3、4、5的驾驶员信息，则这些领域信息可以分别在经过时按照该顺序来播放，使得能够最大程度地避免重复相同的信息播放。

如果在步骤34中触发驾驶员信息的输出，因此在接下来的步骤36中，在数据库13中保存哪个信息已播放，以避免重复相同的信息播放。紧接着，在步骤36之后，再次以步骤28继续进行该方法，其方式是，确定自身位置并且该方法重新从开头运行。