用于显示装置的动态信息保护

技术领域

本公开内容涉及用于显示装置的动态信息保护的方法和具有用于显示装置的动态信息保护的系统。本公开内容尤其是涉及用于在车辆中的显示装置(尤其是信息娱乐系统)的动态信息保护的方法和具有用于显示装置的动态信息保护的系统。

背景技术

部分自动化驾驶、自动化驾驶和自主驾驶允许相应车辆的用户和乘员比驾驶车辆有越来越多的时间致力于其它活动。这意味着，不仅乘客而且驾驶员、即车辆的所有乘员越来越多地执行这样的其它活动，例如在使用车载信息娱乐系统的情况下。尤其是，自主驾驶能够实现新的商业模式，其还能够实现例如在打车服务或拼车服务和机器人出租车中运送不同类型的人群。在此，信息娱乐服务的使用并非总是毫无问题的，因为屏幕内容经常构成个人数据或者另外值得保护的内容。在此情况下，存在对信息保护、尤其是对以隐私保护(防窥保护，Blickschutz)形式的信息保护的高需求，其确保未经授权的人员不能看到屏幕或显示器的内容，而经授权的人员能够尽可能不受限制地使用屏幕或显示器。

特别是商务旅行者考虑到他们的屏幕的内容不能被其他同行者看见。因此，对于这些新商业模式中的信息娱乐系统并且特别是其显示系统来说，对信息保护存在高要求，这通常不能通过传统的用于屏幕的隐私保护来确保。

在现有技术中已知以下方法，这些方法基于机器学习算法和图像检测(例如借助立体相机)能够实现确定人员与屏幕的距离并且在由相机生成的图像或视频中探测他们的瞳孔。此外，已知一种用于屏幕的可电接通的隐私保护装置和/或用于显示器、例如笔记本电脑显示屏的以具有薄片的塑料片形式的静态隐私保护滤镜。

文献US2010/0293502A1描述了一种用于移动终端设备的显示方法，该显示方法能够实现在唯一的显示器上同时显示多个屏幕内容，其中，所述多个屏幕内容中的每个屏幕内容仅能够从相对于显示器的预先确定的观察角度看到。该文献的焦点在于放大移动终端设备的可供使用的显示面以及类似的应用，例如受限制的三维展示。

文献US7,813,042B2描述了一种定向显示器，该定向显示器从不同的方向观察可以同时显示不同的图像内容，例如出于自动立体视觉的目的或者为了提供一种双视图显示器，主要出于最小化成本和结构空间的原因。

因此，已知的用于屏幕的隐私保护装置通常仅为固定的预定义的区域(例如角度，参见现有技术)提供私密性保护。这限制了在自主车辆中在新座椅和内饰方案中的显示器定位。在以不允许的方式想看向显示器的另一人员的位置改变时，不能实现动态保护。

但是，恰好对于新的商业模式和服务来说，应用于自主驾驶的方案需要迄今未知的在使用显示器时的灵活性。另一种不利的效果是，尤其是在汽车领域中安装隐私保护膜可能容易给用户或者说顾客带来廉价的印象。

根据本发明的方法和系统能够实现基于机器学习和视线简档(Blickprofil)的学习来克服前述缺点并且由于在放置部件时更大的灵活性以及改进的私密性保护而允许新的座椅和内饰方案。

尤其是，对于自主驾驶的新商业模式而言，这不仅能够实现改善私密性，而且能够对于所有乘员(包括驾驶员在内)而言实现改善对在车辆中所花费的时间的利用。

发明内容

本公开内容的任务是，提供用于显示装置的动态信息保护的方法和具有用于显示装置的动态信息保护的系统，它们避免一个或多个上述缺点和/或能够实现一个或多个上述优点。

所述任务通过独立权利要求的主题来解决。有利的设计方案在从属权利要求中给出。

在第一方面中，根据本公开内容的实施方式，给出一种用于控制用于显示单元的隐私保护的系统，所述隐私保护对由显示单元显示的内容的至少一部分进行保护。该系统包括：相机、优选立体相机，其被配置用于产生视频信号；视频信号处理单元，其被配置用于基于所述相机的视频信号来确定一个或多个人员相对于所述显示单元的相应位置并且确定所述一个或多个人员的相应视线方向；数据库，其被配置用于，基于所述一个或多个人员中每个人员的由所述视频信号处理单元检测到的相应位置和视线方向，产生对所述一个或多个人员中每个人员的行为的预测，其中，所述预测包含相应人员的一个或多个预测的视线方向；以及显示控制单元，其被配置用于基于所述预测来控制用于所述显示单元的隐私保护。

在根据方面1的第二方面中，所述控制包括以下内容中的一个或多个：淡出由显示单元显示的内容的所述至少一部分；使由显示单元显示的内容的所述至少一部分不能辨认；以及在由显示单元显示的内容的所述至少一部分中插入提示；其中，所述部分处于一个人员的所检测到的或所预测的视线方向中。

在根据前述方面1或2中任一方面的第三方面中，所述控制包括：相对于被授权浏览的人员开放由显示单元显示的内容的至少第二部分的视图，其中，所述第二部分通过从由显示单元显示的内容减去所述至少一部分而形成。

在根据前述方面1至3中任一方面的第四方面中，所述数据库被进一步配置用于存储用于所述一个或多个人员和第三人员的多个简档。优选地，所述多个简档中的一个简档包括以下内容中的一个或多个：一个或多个经学习的视线简档，所述经学习的视线简档分别描述相应人员或第三人员之一的所检测到的视线方向的序列；一个或多个基于由显示单元显示的内容所期望的视线简档，所期望的视线简档分别描述相应人员或第三人员之一的预先确定的视线方向的期望序列；一个或多个时间分量，所述时间分量描述在人员视线中的方向变化的频率或人员捕捉屏幕区域的速度；和一个或多个表征性的视线简档，优选地，一个簇的平均值代表一簇视线简档。

在根据前述方面1至4中任一方面的第五方面中，所述视频信号处理单元被进一步配置用于，从相机接收视频信号，并且用于提供描述所述一个或多个人员和/或第三人员中每个人员的所检测到的相应位置和视线方向的信号。

在根据前述方面1至5中任一方面的第六方面中，所述视频信号处理单元确定一个或多个人员相对于显示单元的相应位置并且基于机器学习确定所述一个或多个人员的相应视线方向。

在根据前述方面1至6中任一方面的第七方面中，所述显示控制单元被配置用于接收所述预测并且产生用于显示单元的控制信号。

在第八方面中，根据本公开内容的实施方式给出一种车辆，该车辆包括根据本公开内容的实施方式的系统。

在第九方面中，根据本公开内容的实施方式给出一种用于控制用于显示单元的隐私保护的方法，所述隐私保护对由显示单元显示的内容的至少一部分保护。该方法包括：产生视频信号；基于所述视频信号确定一个或多个人员相对于所述显示单元的相应位置；确定所述一个或多个人员的相应视线方向；基于所述一个或多个人员中每个人员的所检测到的相应位置和视线方向来产生对所述一个或多个人员中每个人员的行为的预测，其中，所述预测包含相应人员的一个或多个预测的视线方向；以及基于所述预测来控制用于所述显示单元的隐私保护。

在第十方面中，根据本公开内容的实施方式给出一种用于车辆的控制单元，其中，该控制单元被配置用于实施根据本公开内容的实施方式的方法。

附图说明

本公开内容的各实施例在附图中示出并且在下面进一步描述。在此，接下来只要没有另外标注，对于相同的和相同作用的元件使用相同的附图标记。

图1示出根据本公开内容的实施方式的一种用于显示装置中的信息保护的系统的示意图；

图2示意性地示出根据本公开内容的实施方式的一种用于显示装置中的信息保护的系统的工作原理；以及

图3示出根据本公开内容的实施方式的一种方法的流程图。

具体实施方式

图1示出根据本公开内容的实施方式的用于显示装置150中的信息保护的系统100的示意图。并且图2示意性地示出根据本公开内容的实施方式的用于显示装置中的信息保护的系统100的工作原理。相机110、例如立体相机连续地记录在显示器150前方位于相机的可见范围内的人员82、84、86(或者说可能看向显示器150的人员82、84、86)并且将相应的视频信号116(例如视频流、图像、图像系列)提供给视频信号处理单元120。

视频信号处理单元120实现神经网络以用于面部/视线识别并且用于确定距离。视频信号处理单元120被配置用于识别用户或用于借助机器学习来学习对用户的识别。在此，例如可以在使用卷积神经网络(CNN)的情况下进行识别(例如利用Faster RCNN方法)。可以借助典型的特征来识别用户，这些特征可以利用描述符有针对性地提取或者由CNN直接学习。为了训练对用户的识别(参见经授权的人员86)，用户可以为系统提供一些自身图像和/或在使用之前从不同的视角拍摄其面部的视频。这能够改善识别的鲁棒性。基于从相机110接收的视频信号，视频信号处理单元120确定人员82、84、86相对于显示器150的相应距离。

系统100被配置用于使隐私保护或信息保护持续地匹配于用户86和其他人员82、84的改变的位置和/或视线方向。这基于相机110和视频信号处理单元120对人员82、84、86的定期的、周期的或连续的检测来实现。在一些实施方式中，可以按需控制地进行检测，例如通过至少一个人员的位置或视线方向改变(例如能通过相机110的视频流116中的改变来识别)而触发。

例如基于先前的登记(例如利用面部的图像和/或基于其它可选的生物测量特征)，用户86被识别为经授权的人员，并且因此可以被识别为显示单元150的用户86。为此，视频信号处理单元120与数据库130连接126，数据库尤其是被配置用于存储以下数据：经学习的或已识别出的用户86、人员82、84的经学习的视线简档。视线简档尤其是被配置用于表征用户(参见人员86)和非用户(参见人员82、84)关于其视线导引(Blickführung)的行为。这能够实现预测相应人员下一次将看哪里。这进一步能够实现预测人员是仅在看屏幕(例如含糊地朝向该屏幕)还是这样看屏幕使得人员能够主动察觉内容。视线简档也可以根据显示内容而被增加概率(例如条件概率)。

视频信号处理单元120被配置用于基于神经网络(例如CNN)来检测人员82、84、86的瞳孔并且进一步基于相机150的视频信号来确定显示单元150与人员82、84、86的眼睛之间的距离以及视角。

不能看见显示内容的人员82(参见图2)可以因此从处理中被排除并且不被进一步考虑，因为其到显示单元150的距离太大，以至于不能看见内容。

用户86原则上获得对整个显示器156的完整访问、即自由浏览。对于其视线方向已知的并且足够靠近显示单元150的其他人员84而言，通过显示控制单元140局部地激活隐私保护154，所述隐私保护不会妨碍用户86。隐私保护154例如可以包含局部变暗、淡出内容、插入对请求往别处看的通知等等。显示控制单元140被配置用于，一旦人员84足够靠近显示单元并且其视线指向显示单元，则基于识别到的(第三)人员82、84来激活用于显示单元150的隐私保护。为此，显示控制单元140从数据库130接收关于人员82、84或用户86的信息136以及关于人员82、84和用户86的行为的预测并且将控制指令146发送给显示单元150。

视频信号处理单元120还可以也根据显示单元150的内容(例如电子邮件、视频、网页)学习其他人员82、84的视线简档。基于此，因此能够预测人员82、84的视线的运动。为此，其他人员82、84的视线简档在训练期间被记录并且通过特征向量来描述，所述特征向量描述在显示单元150上的例如以屏幕区域的序列的形式的视线走向。在此，也可以使用时间分量来形成特征，例如以何种频率进行方向变化或各屏幕区域以何种彼此的相对速度被捕捉。这些向量以无监督机器学习被聚类。特征向量被检测用于训练可能类型的(未经授权的但不相关的或不危险的)人员82和(未经授权的和相关的)人员84的多个个体。所述向量利用无监督机器学习算法(如k-means聚类或BIRCH)被聚类。每个簇描述一组非用户，例如想要一起阅读的紧张入侵者。

在未来，其他人员82、84(即通过在特定时间段的特征向量描述的非用户)因此可以与视线简档(簇)相关联并且其视线运动被预测。此外，可以根据簇成员

尤其是，系统100可以包括数据库130，该数据库130被配置用于存储用于多个人员82、84、86(即非用户和用户)和第三人员的多个简档，所述第三人员不作为用户或非用户出现，但被考虑用于创建简档。

所述多个简档中的一个简档优选包括以下说明中的一个或多个：

-一个或多个经学习的视线简档，所述经学习的视线简档分别描述相应人员82、84、86或第三人员之一的所检测到的视线方向的序列。

-一个或多个基于由显示单元150显示的内容156所期望的视线简档，所期望的视线简档分别描述相应人员82、84、86或第三人员之一的预先确定的视线方向的期望序列；

-一个或多个时间分量，所述时间分量描述(视线)方向变化的频率或屏幕区域(彼此或连续地)被捕捉的(相对)速度；

-一个或多个表征性的视线简档，优选地，一簇的平均值代表一簇视线简档。在此，在使用所述系统时(根据簇的训练和确定)为了选择防御机制，可以通过与簇的特征向量(例如平均值)的欧几里德距离来实现将迄今未知的人员配设给该簇。

此外，可以为每个簇存储一个人群(例如紧张的间谍)的特性和/或最佳的防御措施(参见上文)。

除了视线简档之外，面部表情例如可以借助通过摄像头的拍摄(例如好奇的、专注的、疲劳的；通过所谓的路标来描述)作为特征被编码地存储，以便这些特征与视线简档组合地允许更好地估计非用户的潜在危险。在这里可以利用CNN分析借助视线简档识别的危险人物(例如危险的非用户)的面部或面部表情(例如基于照片)，或者可以将它们与针对面部表情所存储的特征进行比较。由此能够进一步改善对人员的估计。

此外，也可以在查找表中根据簇和面部表情存储针对特定的必要的或推荐的防御机制的概率和/或考虑用于评估人员的附加边界条件(例如时间、亮度)。

在图2中示出系统100的工作原理。所识别出的用户86可以看到显示单元150的所有内容。人员84被识别为“危险的”或未授权的并且由于局部主动的隐私保护154而不能看到被确定(仅)用于用户86的所有内容156。用户86未受到影响。人员82由于其与显示器的距离(通过相机110识别)或者基于人员82的所检测到的或预测的视角而不被视作危险并且不明确地被隐私保护所考虑。

图3示出根据本公开内容的实施方式的用于控制用于显示单元150的隐私保护的方法300的流程图。所述隐私保护对由显示单元150显示的内容156的至少一部分154进行保护。方法300在步骤301中开始。

在步骤302中，优选通过相机110、进一步优选通过立体相机产生视频信号116，该相机被配置用于除了视频数据流之外提供通过视频流检测的物体的空间检测。由相机110产生的数据可以以唯一的数据流的形式被编码并且被提供。

在步骤304中，基于视频信号116确定一个或多个人员82、84、86相对于显示单元150的相应位置，如上所述的那样。基本上同时或随后在步骤306中，确定所述一个或多个人员82、84、86的相应视线方向，同样如上所述的那样。

在步骤308中，基于所述一个或多个人员82、84、86中每个人员的所检测到的相应位置和视线方向来产生对所述一个或多个人员82、84、86中每个人员的行为的预测136。所述预测136包括相应人员82、84、86的一个或多个预测的视线方向。

在步骤310中，基于所述预测136来控制对显示单元150的隐私保护。如上所述，控制310可以包含一个或多个进攻的、防守的或机密的防御措施(参见上文)。

方法300优选周期性地、规律地、以预定的间隔或按需受控制地重复。替代地，方法300在步骤312中结束。

虽然本发明在细节上已经通过优选的实施例更详细地被示出和阐述，但本发明不受所公开的示例限制，并且技术人员可以在不离开本发明的保护范围的情况下由此推导出其它变型方案。因此清楚的是，存在大量变型可能性。同样清楚的是，示例性地提到的实施方式实际上仅构成示例，所述示例无论如何不应被理解为对本发明的例如保护范围、应用可能性或配置的限制。而是上述说明和附图说明使本领域技术人员能够具体实现示例性的实施方式，其中，本领域技术人员在了解所公开的发明构思的情况下例如可以在各个在示例性实施方式中提到的元件的功能或布置结构方面进行各种变化，而不会脱离通过权利要求书及其法律等同方案(例如在说明书中的广泛阐述)所限定的保护范围。