用于触摸稳定的方法、系统和计算机程序

技术领域

实施例涉及一种用于稳定用户与车辆中的触摸屏的交互的方法、装置和计算机程序。

背景技术

车辆越来越多地配备更少的物理控件，同时在其驾驶室中并入更多的支持触摸或仅触摸的界面。在某些车辆座椅配置(例如，零重力或平躺座椅)中，触摸屏界面可能优于物理界面。然而，动态汽车应用中的传统触摸屏可能无法提供在与触摸屏交互时稳定用户的手指或手的方法。这会在用户驾驶时产生安全问题，因为用户可能在道路和数字显示器之间分散他们的注意力。此外，与非车辆环境相比，车辆的内部设计和驾驶座布局将触摸屏置于与用户一臂之遥或更远的位置，这加剧了手部稳定性的缺乏。因此，可能需要用于稳定用户与车辆中的触摸屏的交互的改进方法和装置。

发明内容

实施例涉及用于稳定用户与车辆中的触摸屏的交互的方法、系统和计算机程序。按照实施例，一种用于稳定用户与触摸屏的交互的方法包括用多个元素填充触摸屏显示器的界面。所述多个元素中的每个元素包括用于登记用户的触摸交互的有效区域。所述方法进一步确定用户在界面上的聚焦区域，并将所述聚焦区域与所述多个元素的有效区域进行比较，以确定界面元素的所聚焦的集合。所述所聚焦的集合包括超过可能选择阈值的至少一个元素。所述方法调整所述多个元素的有效区域，以降低所述所聚焦的集合中的至少一个元素的选择阈值，从而增大选择的可能性。

该方法的实施例使用眼睛凝视来增加眼睛所聚焦于的图形用户界面(GUI)的按钮、图标、交互元素或其他特征的目标或有效区域。这为用户手指增加的不精确性(即，误触)提供了空间或余地。目标是使GUI适应诸如移动的车辆之类的动态环境中的不精确触摸。其他目标包括提高触摸准确性和成功率，减少驾驶员对道路的注意力分散，以及提高用户对易用性的信心和感知。该方法通过预测用户可能选择哪些元素，并增加它们的选择的可能性来稳定用户的选择。例如，人们可以将眼睛凝视跟踪视为有点像手电筒或放大镜的作用，当眼睛凝视在GUI上移动时，它增加了GUI按钮的有效区域或目标区的大小。目标区的大小增加对于用户来说可以是不可见的或可见的。

车辆可以是陆基的、海基的或空基的。它可以包括任何用于运输的装置。另外，所述方法、系统和计算机程序是独立于车辆的，并且可以部署在不用于运输或不为运输而设计的环境和系统中，比如在家庭、零售环境、公共空间、办公室中。

触摸屏可以是具有电容或类似触摸性质的数字显示器。显示器可以是电致发光(ELD)、液晶(LCD)、发光二极管(LED)、薄膜晶体管、有机LED(OLED)、有源矩阵OLED(AMOLED)、等离子体(PDF)、量子点(QLED)、阴极射线管或段式显示器。显示器可以具有附加性质，例如存在检测、声学或红外触摸屏性质。

该方法可以应用于不是显示器的触敏表面(例如，下面没有基于像素的显示器的电容式或电阻式敏感表面)。在车辆中，这可能是显示永久性的、经常使用的按钮(比如汽车的气候控制系统或门锁的按钮)的触敏控制台。这些触敏表面可以单独工作或者与非触摸显示器或触摸屏显示器远程配合工作。该方法还可以应用于具有触摸或手势交互的投影显示器(例如，GUI被投影到环境表面或用户的身体/手上)。

触摸屏界面的元素可以是作为静态或运动图像的任何数字媒体(例如，GUI、渲染的3D对象、运动图形动画、照片图像、电影等)。有效区域，有时称为目标区域，可以是允许与元素交互的界面元素的一种性质。它是GUI元素(例如，按钮、图标、特征)上或周围的区域或字段，在被触摸时将导致GUI元素被激活(例如，按钮/图标被点击)。有效区域有时与元素出现在屏幕上的视觉形状相同，但是与元素的视觉外观无关。例如，许多不规则形状的界面元素包括考虑到易于交互的矩形有效区域。因此，当用户试图选择不规则元素时，他们不需要在元素的视觉边界内进行触摸，而是可以通过在元素的更大且更方便的有效区域内进行触摸来选择该元素。目标区域或有效区域通常对用户是隐藏的；然而，其存在可以通过各种方式来指示。例如，当用户的手指接近元素或屏幕时，可以突出显示有效区域。或者，例如通过细微的视觉指示或利用简短的动画，可以在视觉上向用户显示有效区域。

车辆中传统触摸屏的用户在面对伴随着道路振动和动量变化的不断变化的环境时，经常会在道路和屏幕之间分散他们的注意力。当用户不成功地反复寻找他们想要的界面元素时，这通常导致猛戳行为。通过稳定用户的触摸交互，用户可以具有更安全和更高效的体验，因为他们的注意力被分散的时间更短，并且他们的选择更有可能被选中。另外，通过使选择用户界面元素变得更容易，稳定用户的触摸交互可以帮助手不稳定的用户或视力受损的用户。

用于稳定的传统技术解决方案包括使用压力触控触摸屏技术(例如，当用户用其手指按压、找到目标、按住然后松开手指进行选择时)，或者在UI目标按钮上“归零”之前物理地使用触摸屏来稳定手指。然而，这些传统的解决方案需要片刻的眼睛注视或停留时间，这造成了注意力分散和选择延迟的进一步问题。其他解决方案，比如使用确认提示或物理接受按钮(例如，在方向盘上)也存在类似的问题，并且不是立即直观的。另外，使用不同的模式来消除与触摸屏交互的需要——比如语音交互——可能增加用户的认知负荷，因为他们现在必须回想菜单选项和正确的措辞。用户可能还需要改变他们车辆的环境、比如调低音乐音量或摇起车窗，以增加新模式的成功率。于是，与传统解决方案相比，预测用户的选择将发生在哪里，并在与触摸屏接触时(或不久之后)激活选择可以在减少聚焦时间和选择延迟的同时实现稳定。所公开的实施例通过利用诸如眼睛跟踪(即，凝视跟踪)或手指跟踪之类的用户跟踪技术来“平滑”该交互过程。

使用眼睛跟踪技术的传统解决方案可能需要用户操纵单独的设备、比如遥控器来选择屏幕上的元素。这里，眼睛跟踪或眼睛凝视可以用作遥控器的辅助。遥控器可以具有被占用状态(例如，当设备被握在手中或被触摸时)和有效状态(例如，触摸屏接收触摸输入)。在这些解决方案中，当遥控器用于导航GUI元素时，眼睛凝视提供次要影响。或许提供触觉反馈来影响操纵遥控器的方式。然而，这些解决方案可能不适用于车辆环境，因为遥控器的长时间操纵或触觉反馈的体验可能使驾驶员分心，并使他们的注意力离开道路。通常，在车辆环境中，所有的反馈都应该是为了确认成功的交互。

在主要实施例中，眼睛跟踪可以是对每个GUI元素的有效区域的主要修改或调整。用户的触摸输入可以次要于该修改，并且不应覆盖眼睛凝视。用户的眼睛凝视可以增加眼睛所聚焦于的GUI按钮或其他元素的有效区域。只有当用户没有看显示器(即，用户的盲触)时，眼睛凝视才会被覆盖或丢弃。在盲触情况下，用户在不看显示器的情况下触摸显示器，或者触摸显示器然后再看显示器。这种方法适应了这种可能性，因为GUI将在其默认触摸区设定下操作(例如，有效区域与GUI按钮或元素的大小匹配)。

该方法可以进一步确定与用户与触摸屏的交互相对应的物理区域，并且通过将该物理区域与所聚焦的集合的有效区域进行比较来确定触摸目标。该方法然后可以基于触摸目标来选择多个元素中的一个元素。通过结合用户与触摸屏的物理交互，可以进行错误纠正和更准确的稳定，并且可以提高信心。物理区域可以小到表示用户与屏幕的接触点的点。它也可以更大，例如表示在接触的时刻更宽的接触区域(即，指尖的宽度)，或者表示在接触后不久形成的一系列接触点(即，手指在屏幕上拖动的路径或区域)。在后一种情况下，用户可以有意地在屏幕上拖动他们的手指，作为通过使用触摸屏来支撑他们的手指的校正机制。这也可能是无意的，因为车辆的动量或行驶品质发生了变化。该方法可以考虑这些因素，并基于外部因素修改物理区域的大小，当检测到更粗暴的行驶时更为宽松(例如，增加物理区域的大小)。或者，如果用户在屏幕上拖动他们的手指，超过了距离阈值，则该方法可以选择系列或路径中的最后一个点作为物理区域。

当用户通过触摸手势(例如，单点或多点触摸、滑动、捏、缩放等)与触摸屏上的GUI交互时，用户经历一个认知和物理过程来与GUI元素、比如菜单或按钮进行交互。在简化的示例中，用户一般通过首先查看显示器、识别目标GUI元素(例如，按钮)、伸出手并在本体感觉反馈回路中定位按钮来发起与触摸屏的交互，最终导致成功激活该按钮。然而，在动态驾驶状况下，定位和激活按钮的本体感觉过程可能是需要认知和体力努力的困难过程，这进而增加了用户的负荷(例如，认知负荷、注意力负荷、体力负荷等)。

物理上，屏幕的大小和用户的触及范围可能会影响用户的触摸交互的准确性。通常，触摸的准确性随着触及的范围/距离而降低(例如，当他们的手臂伸展时，力量、稳定性、本体感觉、从道路上转移视线等会变得更加受到挑战)。由于将注意力从驾驶任务上转移开，这种增加的负荷因此增加了用户驾驶时的安全风险。

该方法还可以包括将物理区域与所聚焦的集合的有效区域进行平均，以确定所聚焦的集合中的哪个元素是触摸目标。当进行物理交互(即，确定物理区域)时，可以对照所聚焦的集合的元素对其进行加权。例如，如果物理区域在所聚焦的集合内，则可以对其进行很高地加权，从而导致执行元素的选择。然而，如果物理区域在所聚焦的集合之外，则可以将其位置与所聚焦的集合进行平均，以找到供选择的第三位置。例如，这可以是所聚焦的集合中离物理区域最近的元素或有效区域，在聚焦区域的质心和物理区域的质心之间中间的元素(例如，当所聚焦的集合和物理区域是大的或不规则的形状时可以这样做)，或者本领域技术人员已知的一些其他计算。

该方法还可以包括延迟触摸目标的选择，直到所述物理区域与所聚焦的集合的一个有效元素重新对准为止。如果物理区域在所聚焦的集合之外，则该方法可以允许用户有机会通过将他们的手指重新对准(例如，通过拖动)所聚焦的集合的元素来校正他们的选择。然后，该系统允许用户选择所聚焦的集合中的项目，而不是无意中选择与物理区域对应的所聚焦的集合之外的元素。

调整有效区域可以包括调整有效区域的大小、移动有效区域或在视觉上突出显示有效区域。通过调整有效区域的大小，图形用户界面的元素可以具有更大的选择目标，而不改变界面上元素的视觉大小。这允许一致的视觉用户体验，同时允许用户选择元素而无需落在其确切的视觉位置或表示上。此外，有效区域的大小增加可以与眼睛凝视停留时间成比例。增加按钮或其他GUI元素的有效区域应提高在用户第一次尝试时激活所需元素的成功率，并提高用户对系统的信心。

突出显示有效区域还可以通过给用户一个明显的着陆区域来进行物理交互，从而帮助用户稳定他们的触摸交互。另外，移动有效区域还可以允许用户选择他们可能打算瞄准但无法容易地触及(特别是在触摸屏距离用户超过臂长的车辆中)的界面元素。

增加或以其他方式调整GUI的按钮、图标或其他特征的目标交互区域对用户来说可以是不可见的或可见的。例如，如果调整是不可见的，则目标区域增加，而其图形表示不增加。如果调整是可见的，则图形元素或特征的表示被修改以用信号表示增大的目标区域。目标区域和按钮、图标或其他元素都可以被修改以同时改变大小或形状。此外，如果调整了元素的不可见的目标区域和可见的图形表示两者，则它们的调整可能不相同。例如，与按钮的可见的放大相比，不可见的目标区域可以放大到更大的程度。

确定聚焦区域可以包括使用眼睛跟踪装置来跟踪用户的眼睛。眼睛跟踪技术(例如，帧速率、分辨率、组合的RGB和IR等)的准确性稳步提高，现在可以可靠地跟踪中央凹视野区。机器学习可以进一步提高这种准确性，因为凝视(动作)和触摸(输入)的模型提供数据来训练机器学习模型。

该方法可以包括确定用户的眼睛相对于触摸屏的定向或凝视。用户眼睛的定向对应于触摸屏的第一物理位置。该方法还可以包括测量用户的眼睛占据所述定向的聚焦时间，并基于眼球的定向和聚焦时间计算触摸屏上的聚焦区域。使用用户的凝视来确定聚焦区域可以减少用户(即驾驶员)在驾驶时与触摸屏交互时的认知和身体负荷。理解触摸屏并与触摸屏进行物理交互所需的时间是用户的注意力从道路上转移开的时间。这带来安全风险。

在权衡多个因素以确定所聚焦的集合时，用户的凝视通常应先于触摸。这是因为触摸屏无法以与物理按钮相同的方式提供物理启示来稳定用户的手指或手。此外，在认知过程中，用户首先在视觉上识别GUI目标，然后尝试触摸目标GUI元素。这创建了一种使用户对GUI元素的视觉识别优先于它们的物理识别的顺序。利用汽车中的传统触摸屏进行该过程可能需要时间和精力。在动态且移动的车辆中(例如，有道路颠簸、转弯等)，伸出手臂、手和手指去触摸手臂可触及的点(例如，大约在25～27英寸处)可能要求很高、很难而且很累。此外，这些因素使得在没有物理稳定手和/或手指的情况下难以进行GUI按钮的准确触摸选择。

该方法还可以包括跟踪用户的至少一根手指的手指跟踪装置。用户的至少一根手指的定向对应于触摸屏的第二物理位置。该方法可以包括基于用户的至少一根手指的定向来计算触摸屏上的聚焦区域。通过可选地添加手部或手指跟踪(例如，电容式触摸感测、TOF摄像头、具有骨骼建模的摄像头、激光雷达等)来补充眼睛跟踪，可以创建反馈回路，从而允许更准确的预测、错误纠正和界面调整。另外，结合凝视和手指跟踪可以提供额外的GUI适配可能性。

该方法还可以包括计算触摸屏上的聚焦区域，直到登记或确定与用户与触摸屏的交互相对应的物理区域为止。通过在用户接近触摸屏时修正聚焦区域，可以基于最新的凝视和手指跟踪来动态调整有效区域。

在另一个实施例中，该方法可以由用于稳定用户与触摸屏的交互的系统执行。所述系统可以包括触摸屏、眼睛跟踪装置和处理器。所述处理器可被配置为用多个元素填充触摸屏显示器的界面，其中，所述多个元素中的一个元素包括用于登记用户的触摸交互的有效区域。所述处理器可以进一步确定用户在界面上的聚焦区域，并将所述聚焦区域与所述多个元素的有效区域进行比较，以确定包括超过选择阈值的至少一个元素的所聚焦的集合。然后，所述处理器可以调整所述多个元素的有效区域，以增大所聚焦的集合中的至少一个元素的选择阈值。

此外，机器学习方法可以帮助系统从眼睛凝视行为和交互行为中学习。这可以允许为驾驶员校准系统，从模式中学习以预测行为，以及其他机器学习的好处。机器学习方法可以允许上下文理解来理解或识别模式，并基于用户、车辆或GUI上下文进行预测。机器学习还可以帮助针对不同用户或驾驶员校准系统。此外，凝视聚焦和手指接近的组合可以允许交互数据的统计评估。例如，凝视点和触摸之间的维度关系和基于时间的关系。或者，在另一个示例中，基于交互的成功的学习(例如，在交互之后，判定用户是否在已知过程中继续前进，或者判定用户是否由于误触、错误输入或探索等而重复步骤或回溯)。该系统还可以确定用户与触摸屏或其界面元素的交互频率。跟踪交互频率可以了解界面的哪些元素更有可能被用户选择，使得这些元素被加权以增加其被选择的可能性。这可以针对单独的用户来进行，使得可以基于所记录的不同驾驶员的频率对相似的触摸交互模式(例如，相似的聚焦区域和物理区域)进行不同的加权。

在一些实施例中，稳定可以利用接近触摸(即，当手指接近显示器时对手指的检测)。利用机器学习方法并结合过去的关于凝视和触摸行为的数据模式，系统可以具有可选特征(例如，依据用户偏好选择的，或自动激活的)，以在实际触摸时刻之前预测性地激活GUI元素(例如，表现为半空中或接近触摸手势)。在另一个实施例中，稳定可以使用3D手指跟踪来实现当用户伸出他们的手、触及并触摸显示器时本体感觉“归零(zeroing-in)”行为的理解。归零行为是对于GUI常见的“释放时点击(click on release)”按钮动作的常见根本原因，因为它允许用户纠正错误。这还可以提供“悬停”特征(例如，用户可以暂停并将手指悬停在触摸屏上方，或者在用户界面上移动手指，使得当用户悬停并在GUI屏幕上移动手指时，不同的GUI元素作出响应(例如，提供预览、提示或进一步信息，这在GUI实践中很常见)。

该方法或系统的眼睛跟踪装置可以包括红外摄像头或头盔(headset)。眼睛跟踪装置可以包括头部跟踪、面部跟踪或眼睛跟踪。跟踪用户或观看者的眼睛可以实现高度精确地估计观看者的视角，以精确地调整全息显示。头部或面部跟踪也可以利用更便宜或专业的设备产生类似的结果。

确定用户在界面上的聚焦区域可以包括使用眼睛跟踪装置跟踪用户的眼睛，并且确定用户的眼睛相对于触摸屏的定向。用户眼睛的定向可以对应于触摸屏的第一物理位置。所述处理器可以进一步测量用户的眼睛占据所述定向的聚焦时间，并基于眼球的定向和聚焦时间计算触摸屏上的聚焦区域。

所述系统可以包括跟踪用户的至少一根手指的手指跟踪装置。用户的至少一根手指的定向可以对应于触摸屏的第二物理位置。所述处理器可以进一步基于用户的至少一根手指的定向来计算触摸屏上的聚焦区域。

眼睛跟踪装置可以包括头部跟踪、面部跟踪以及眼睛跟踪特征。跟踪用户或观看者的眼睛可以实现高度精确地估计观看者的视角，以精确地调整有效区域。头部或面部跟踪也可以利用更便宜或专业的设备产生类似的结果。所述系统可以包括占用传感器。与单独的测量设备相比，使用占用传感器可以实现更精确的装置调整。例如，如果车辆只具有用于驾驶员的眼睛或头部跟踪摄像头，则对于乘客座椅使用占用传感器可以允许如果检测到乘客的话针对乘客和驾驶员调整该装置。

触摸屏可能位于车辆的扶手、立柱、仪表板、引擎盖、车顶内衬或控制台中。与传统显示器相比，触摸屏的特性允许屏幕的非传统放置。此外，将触摸屏放置在车辆的扶手、立柱、车顶内衬或其他区域可以利用非传统使用的、对于传统触摸屏会带来稳定性问题的空间。

所描述的技术的实现可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。这方面的其他实施例包括各自被配置为执行所述方法的动作的对应计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序。所描述的技术的实现可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。

附图说明

下面将仅通过示例的方式并参考附图来描述装置和/或方法的一些示例，附图中

图1示出用于稳定用户与触摸屏的交互的方法的框图。

图2示出用于触摸稳定的系统的实施例。

图3A～图3C示出在多个界面元素之间的眼睛凝视跟踪的示例性示例。

图4示出车辆中用于触摸稳定的系统的示意图。

图5示出界面元素的有效区域的适配的示例。

具体实施方式

现在参考附图更详细地描述一些示例。然而，其他可能的示例不限于详细描述的这些实施例的特征。其他示例可以包括对特征的修改以及特征的等同物和替代物。此外，本文中用于描述某些示例的术语不应限制另外的可能示例。

在附图的整个描述中，相同或相似的附图标记指代相同或相似的元件和/或特征，这些元件和/或特征可以相同地或以修改的形式实现，同时提供相同或相似功能。为了清楚起见，图中的线条、层次和/或区域的厚度也可能被夸大。

当使用‘或’组合两个元件A和B时，应理解为公开了所有可能的组合，即，只有A、只有B以及A和B，除非在个别情况下另有明确定义。作为相同组合的替代措辞，可以使用“A和B中的至少一个”或“A和/或B”。这等同地适用于多于两个元件的组合。

如果使用诸如“一”、“一个”和“该”之类的单数形式，并且仅使用单个元件未被明确或隐含地定义为强制性的，则另外的示例也可以使用几个元件来实现相同的功能。如果下面将功能描述为使用多个元件来实现，则另外的示例可以使用单个元件或单个处理实体来实现相同的功能。还应理解的是，用语“包括”和/或“包含”在使用时描述指定特征、整数、步骤、操作、过程、元件、组件和/或它们的组的存在，但是不排除存在或增加一个或多个其他特征、整数、步骤、操作、过程、元件、组件和/或它们的组。

图1示出用于稳定用户与触摸屏的交互的方法100的框图。方法100包括用多个元素(即，GUI元素)填充触摸屏显示器的界面110，其中，多个元素中的一个元素包括用于登记用户的触摸交互的有效区域。方法100还包括确定用户在界面上的聚焦区域120，并将聚焦区域与多个元素的有效区域进行比较130，以确定包括超过可能选择阈值的至少一个元素的所聚焦的集合。方法100然后包括调整多个元素的有效区域140，以降低所聚焦的集合中的至少一个元素的可能选择阈值。

通常，用户的聚焦区域是通过观察并测量一只眼睛或两只眼睛的凝视来确定的。尽管为了进一步修正聚焦区域确定，可以可选地包括其他测量(例如，他们的手指在接触显示器之前的位置)。眼睛凝视跟踪(例如高精度凝视跟踪，比如通过高分辨率、快帧速率摄像头)使用眼睛凝视注视数据来动态扩展GUI元素(例如按钮、滑块等)的有效区域或目标区域。扩展有效区域使用户更容易选择特定的GUI元素。换句话说，扩展有效区域需要用户更少的准确性、注意力和精力来成功使用触摸屏。

在确定用户打算与界面交互之后，方法100首先确定界面上的聚焦区域120。聚焦区域至少可以是一个点，但是它可以是用户瞄准的任何2D形状。通常，它可以是一个圆，其中，半径或直径取决于技术解决方案或测量装置(例如，摄像头分辨率和计算位置的软件)的准确性和精度。方法100然后将聚焦区域与一个或多个界面元素的有效区域进行比较，并且如果聚焦区域(例如，中央凹注视)和有效区域超过选择阈值，则选择一个或多个界面元素中的一个界面元素。可选步骤可以包括扩展GUI元素的有效区域或触发区的大小和/或修改其形状。改变有效区域对用户来说可以是不可见的，并且纯粹由系统确定。然而，改变有效区域可能与GUI元素的基本相同的调整相对应，以在视觉上指示变更后的、使一些元素更易于选择的界面。

在一些实施例中，可能不存在对界面元素的实际选择。GUI元素可以按某种方式进行修改，比如通过突出显示、增长(例如以表达触发区的变化)，或者通过本领域已知的其他手段。

在一些实施例中，该方法在改变GUI元素的有效区域之前等待与显示器的物理接触。方法100然后确定用户正在瞄准的界面上的聚焦(即，用户打算瞄准的位置)区域(至少是一个点，但是它可以是任何2D形状)，并将瞄准区域与一个或多个界面元素的有效区域进行比较。如果瞄准区域和有效区域超过匹配阈值，则方法100选择一个或多个界面元素。在选择之后，方法100调整一个或多个所选择的界面元素的有效区域，以增大它们通过与显示器的物理交互而被选择的概率；

方法100还可以包括确定与用户与触摸屏的交互相对应的物理区域150。然后，通过比较物理区域与所聚焦的集合的有效区域来确定触摸目标160。最后，方法100包括基于触摸目标选择170多个元素中的一个元素。

当系统登记与显示器的物理交互时，方法100确定与物理输入相对应的物理区域(至少是一个点，但是它可以是任何2D形状)。如果物理区域和有效区域超过选择阈值，则方法100选择界面元素的调整后的一个或多个有效区域中的一个有效区域。选择阈值可以包括如果触摸的区域接触(例如，触摸、重叠)或接近(例如，比任何其他元素更接近一个元素或在某个阈值内，则选择该元素。

使用手指接触与触摸屏进行物理交互是一件动态的事情。用户的手通常不稳定，特别是在车辆环境中。此外，用户在试图做出决定时经常移动他们的手或手指。用户经常同时触摸和思考，使得从GUI设计的角度来看，更好的是在手指移开时而不是在第一次触摸时登记动作(例如，按下按钮)。这被称为释放时点击。

确定触摸目标160可以包括将物理区域与所聚焦的集合的有效区域进行平均162，以确定所聚焦的集合中的哪个元素是触摸目标。确定触摸目标160还可以包括延迟164触摸目标的选择，直到物理区域与所聚焦的集合的一个有效元素重新对准为止。

在一些实施例中，如果方法100确定用户打算与界面交互，则方法100首先确定用户瞄准的界面上的聚焦区域120。方法100然后确定界面上与接收到的物理输入相对应的物理区域，并基于每个区域的置信值对瞄准区域和物理区域进行加权。接下来，方法100使用瞄准区域和物理区域的加权值来确定聚焦区域，基于聚焦区域来选择一个或多个界面元素；

确定聚焦区域120可以包括使用眼睛跟踪装置跟踪用户的眼睛122，然后确定用户的眼睛相对于触摸屏的定向124。用户眼睛的定向可以对应于触摸屏的第一物理位置。确定聚焦区域120还可以包括测量用户的眼睛占据该定向的聚焦时间126，并基于眼球的定向和聚焦时间计算触摸屏上的聚焦区域128。

跟踪用户的眼睛或眼睛凝视的定向主要包括确定用户虹膜的位置。然而，这可能包括其他因素、例如监视其他面部特征的排列或定向。当用户注视一个点或物体时瞳孔/眼球的定向与头部/面部定向无关(假设跟踪系统是静态的(安装在驾驶室中，靠近触摸屏或在触摸屏上)且没有绑在头上)。

在不同的场景中可以调整确定凝视的每个因素的构成。人眼不会平滑地移动，而是在所谓的跳视(saccade)中从一个地方跳到另一个地方。眼睛跳视有助于确定用户的凝视，因为它给了我们一个更明确的注视位置/值。然而，当眼睛注视时，它确实往往会轻微漂移(例如，1/10度)，这是普通技术人员能考虑到的。当诸如IR摄像头之类的测量设备固定在环境中时，方法100可以更好地判定用户是否正在看显示器而不是例如杯架。这是因为摄像头和触摸屏的相对布置是已知的。为了确定对特定GUI元素的注视，一旦查看了元素，该方法就基于时间阈值和平均位置(以考虑跳视和漂移)来确定注视。此外，在与触摸屏接触的时刻，眼睛注视和手指触摸可能是复合的(例如，当用户的手指对准按钮时，用户的眼睛注视该按钮)。在此时用户的视觉注意力和认知注意力(可能还有随着手指的动作/控制的“本体感觉”注意力)更加紧密地结合在一起。

在一些实施例中，如果用户在道路和显示器之间改变他们的聚焦，则可以收集关于用户意图的信息(例如，当一个人试图理解GUI并找到按钮时，与偶尔看一眼地图相比，眼睛行为会有所不同)。

确定聚焦区域120还可以包括使用手指跟踪装置来跟踪用户的至少一根手指123。用户的至少一根手指的定向可以对应于触摸屏的第二物理位置。触摸屏上的聚焦区域的计算128可以进一步包括用户的至少一根手指的定向。在另一个实施例中，计算触摸屏上的聚焦区域128可以继续，直到确定与用户与触摸屏的交互相对应的物理区域为止150。

在一些实施例中，(一个或多个)RGB摄像头、(一个或多个)IR摄像头或基于激光雷达的传感器跟踪手和手指的位置。如本领域已知的，许多系统对手指关节建模并理解骨骼定向和位置。在一些情况下，3D手指跟踪可能无法提供足够的分辨率来准确地检测触摸接触。于是，其他技术的组合可以弥补任何不足。电容式感测可以用于感测触摸，并且也可以被调节为给出压力和接近度。

在一些实施例中，方法100可以在多个用户之间进行区分。例如，驾驶员正在看显示屏，而乘客正在进行选择。在该实施例中，该方法可以忽视驾驶员的凝视。该方法还可以聚焦于乘客的凝视并针对乘客调整目标，特别是当多个用户被单个摄像头或多个摄像头覆盖时。此外，当进行眼睛和手跟踪两者时，该方法可以将手和眼睛联系在一起，使得它们属于同一用户(乘客或驾驶员)。这可以通过观察手的定向或更完整地观察用户来完成。

在一些实施例中，可能存在能由多人(例如，驾驶员和乘客)同时使用的大型或共享显示器(例如，立柱到立柱或中央信息显示器(CID))。方法100还可以包括基于每个用户的眼睛凝视并将每个用户的凝视与该用户的手指或手相关联来针对每个用户进行触摸稳定。

当方法100正在执行时，它不一定会阻止触摸屏正常工作。凝视注视的结果之一是扩展GUI元素的触发区，它不一定需要减少其他GUI元素的触发区。换句话说，GUI上的触发区仍然可供用户或任何人访问以使用。例如，如果用户看着显示器的右上角，而他们的手指悬停在右下角附近，则该方法可以专注于扩展眼睛所注视的触发区。然而，触摸屏的其余部分仍然可以正常交互(即，没有增强的有效区域)。于是，用户触摸并激活(即，释放时点击)的GUI元素决定了交互的结果。通过眼睛凝视确定的聚焦区域支持交互。

在用户可能盲目(即，不看触摸屏，例如，当他们的眼睛注视在路上时)且凭记忆触摸显示器的场景下。方法100可以使用先前已知的关于用户习惯的信息或简单的频率度量来触发默认状态。这种状态可以扩展最常用或最可能的界面元素的有效区域。

在一些实施例中，测量手指与注视点的接近度可以缩放有效区域被增大的量。这种缩放可以被限制于阈值或者相对于其他GUI元素及它们的有效区域而被限制。例如，由于眼睛凝视聚焦区域而选择的GUI元素的有效区域可以扩展到相邻GUI元素的有效区域。聚焦元素的有效区域也可以在不完全覆盖其他GUI元素的有限程度上与其他GUI元素重叠。

通常，用户的认知意图(即，用户在想什么)随后由用户所看的内容(即，用户的视觉注意力或注视)反映出来，或者随后不久跟着用户所看的内容(即，用户的视觉注意力或注视)。用户在动作之后看什么可以揭示关于被注视元素的假设是否正确。例如，如果用户寻找或查看后退按钮(即，用户做出了错误的选择)，那么关于注视的假设可能是错误的。相反，如果用户查看预期的接下来的步骤(例如，用户选择音乐专辑，然后按下播放键或选择曲目)，则关于注视的假设可能是正确的。

在实施例中，通过确保触摸输入偏置于一种方式或另一种方式，可以防止选择GUI元素的模糊性。例如，通过直到用户离开模糊状态并移向按钮的有效区域或可视区域之前(例如释放时点击)，阻止用户做出(即，不登记)选择。在实施例中，可以基于对准用户的凝视、触摸、有效区域以及可选的交互完成时间或停留时间(例如，停留时间将是在元素被激活之前手指与触摸屏接触的时间长度)的组合来调整选择元素时的连续尝试或未来尝试。

可选地，方法100可以重复任何次数。例如，可以重复方法100直到实现预先定义的环境上下文为止。如果该方法由人工智能代理进行，则重复方法100可以提高性能，因为数据可以得到改善。例如，用户可能并不总是赞同人工智能代理可能已经学习并执行的元素的选择170。因此，用户可以根据自己的意愿自由地更新它。这可以通过用户调整他们的行为来完成，使得人工智能代理学习新的调整例程。代理还可以改变所学习的例程，并确定这些改变是否为用户带来更好或更准确的选择体验(例如通过从在步骤164进行的调整中学习，在步骤164中物理区域与所聚焦的集合的一个有效元素被重新对准)。这允许人工智能代理从那些作为反馈的偶尔变化中更好地学习用户的行为，并且可以减少来自用户的交互。该用例可以举例说明算法、例如人工智能代理可以如何帮助用户。因为算法本身可能更通用，并且可以基于可能导致用例和特征的数据来学习用户行为。

在另一个实施例中，方法100可以作为程序代码存储在非临时性计算机可读介质上。当在处理器上执行程序代码时，可以执行该方法。

图2示出了用于稳定用户与触摸屏204的交互的系统200的实施例。该系统可以包括触摸屏204、眼睛跟踪装置206和处理器。处理器可被配置为用多个元素242填充触摸屏显示器204的界面240。多个元素242中的每个元素242-1、242-2包括用于登记用户的触摸交互的有效区域243。处理器然后可以确定用户在界面240上的聚焦区域263。然后将聚焦区域263与多个元素242的有效区域243进行比较，以确定包括超过选择阈值的至少一个元素的所聚焦的集合。处理器进一步调整多个元素242的有效区域243，以增大所聚焦的集合中的至少一个元素的选择阈值。

系统200的眼睛跟踪装置206可以包括红外摄像头(IR)或头盔。红外摄像头将IR照射引导262到用户的眼睛202。摄像头然后接收264从眼睛的瞳孔和角膜反射的IR图案。一般，摄像头是IR或近IR摄像头，但是也可以使用可见光摄像头。在任何摄像头系统中，眼睛都受到对应波长的光照射，且系统寻找瞳孔(它吸收而不反射光，因此呈现黑色)和角膜反射(它反射来自光源的光)。系统200然后计算矢量(即，瞳孔和角膜反射之间的矢量)。该矢量确定凝视方向，于是确定触摸屏上的凝视位置。如果使用可见光摄像头，则系统可以使用角膜反射的图像或颜色图案作为错误检查机制，以确认用户正在查看在触摸屏上呈现的相同图像或颜色图案。

在另一个实施例中，系统200可以使用增强现实或混合现实(AR或MR)设备、比如AR眼镜。在该实施例中，眼睛跟踪可以来自位于眼镜内的摄像头。可以使用其他输入来确定聚焦区域，包括与触摸屏或触摸表面(即，不是传统显示器的表面)的物理交互。

确定用户在界面240上的聚焦区域可以包括使用眼睛跟踪装置206跟踪用户的眼睛220，然后确定用户的眼睛220相对于触摸屏204的定向。用户眼睛220的定向可以对应于触摸屏204的第一物理位置。确定聚焦区域还可以包括测量用户的眼睛220占据该定向的聚焦时间，并基于眼球的定向和聚焦时间计算触摸屏204上的聚焦区域。

眼睛跟踪装置可以位于触摸屏上或触摸屏附近。然而，该系统可以针对整个车辆驾驶室或其他空间内的各种触摸屏和摄像头配置进行校准。

确定聚焦区域还可以包括使用手指跟踪装置来跟踪用户的手222的至少一根手指222-1。用户的至少一根手指的定向对应于触摸屏的第二物理位置。基于用户的至少一根手指的定向来计算触摸屏上的聚焦区域。通常，用户的手指可以是集中他们的视觉注意力和认知注意力两者(例如，找到并触摸特定按钮)的催化剂。总的来说，身体、眼睛和手指可以揭示用户的心理认知注意力(即，某人在想什么)。系统200可以使用手指的接近度、运动和移动矢量的组合来提供可能的确认，从而提高准确性。

图3A～图3C示出了多个界面元素之间的眼睛凝视跟踪的示例性示例。图3A示出了在第一按钮342-A和第二按钮342-B之间的眼睛凝视跟踪的示例。用户的一只或两只眼睛320注视在第一按钮或GUI元素342-A上，然后看向第二按钮342-B，然后将他们的注视返回到第一按钮342-A。在实施例中，有效区域363在短时间(例如，＜1秒)内增长363-2和收缩363-1。在用户在元素342之间进行决定并且聚焦区域被分割的该实施例中，与如果在第一按钮342-A和屏幕外元素370之间分割聚焦相比，系统300可以调整第一按钮342-A的触发区或有效区域，以使其扩展得更大或者在更长时段(例如，＜1.5秒)内保持其扩展状态。图3B示出了有效区域或触发区(TZ)从其默认状态或正常状态363-1扩展到扩展状态363-2。

图3C示出了两个界面元素的有效区域或触发区如何随时间(t)变化的曲线图。随着眼睛注视的移动，有效区域或触发区会扩展并收缩。在示例性示例中，用户在第一步骤中注视在第一按钮上。然后，第一按钮342-A的有效区域或触发区(TZ-A)扩展(例如从按钮的100％的视觉大小扩展到110％)。这种扩展可以是即时的或者迅速完成的。在第二步骤中，用户注视在第二按钮342-B上。当用户的注视移动时，第一按钮342-A的有效区域收缩而第二按钮342-B的有效区域(TZ-B)扩展。第二按钮的有效区域的扩展可以不像第一按钮的有效区域的扩展那样迅速地完成，而是与第一按钮的有效区域的减小成比例地进行的。第一按钮342-A的收缩可能不是立即的或均匀的，因为系统100可能确定用户正在两个按钮或界面元素之间进行选择并且可能返回到第一按钮342-A。在第三步骤中，用户将他们的聚焦返回到第一按钮342-A，并且有效区域(如果它已经收缩)，则再次扩展。可选地，与在第一步骤中第一次聚焦于按钮时相比，基于用户对按钮的重新注视，第一按钮342-A的有效区域可以扩展得更大或者扩展更长的时间。图3B

图4示出了车辆401中用于触摸稳定的系统400的示意图。该系统可以包括触摸屏404、眼睛跟踪装置和处理器。处理器可被配置为用多个元素442填充触摸屏显示器404的界面440。多个元素442中的每个元素包括用于登记用户402的触摸交互的有效区域。处理器然后可以确定用户在界面440上的聚焦区域。然后将聚焦区域与多个元素442的有效区域进行比较，以确定包括超过选择阈值的至少一个元素的所聚焦的集合。处理器进一步调整多个元素442的有效区域，以增大所聚焦的集合中的至少一个元素的选择阈值。

系统400可以通过使用眼睛跟踪装置跟踪用户的眼睛来确定用户402在界面上的聚焦区域，以确定用户的聚焦或凝视420，这是通过测量用户的眼睛相对于触摸屏404的定向来确定的。系统400还可以包括手指跟踪装置，其中，确定用户在界面上的聚焦区域包括使用手指跟踪装置跟踪用户的至少一根手指422。

图5示出了GUI元素的适配的示例。调整有效区域或触发区域可以包括调整有效区域的大小501、在视觉上突出显示有效区域502或移动有效区域503。另外，可以对界面元素本身的视觉表示进行这些调整。然而，与明显地突出显示或明显地增大按钮的大小相比，扩展触发区而不一定将其表示为对用户来说可见的事物(即，触发区对用户来说不可见)对用户的干扰可能更小。

当确定聚焦区域时，可以调整界面元素的不同性质。一些性质包括大小、用法或优先级。

关于界面元素的大小，例如可以扩展GUI元素的有效区域。然而，过度扩展可能会导致诸如按钮之类的GUI元素不再作为按钮工作。有效区域或触发区的扩展应足以考虑到所尝试的触摸中精度的准确性的缺乏。例如，取决于显示器、按钮大小或比例，有效区域可以扩展5％～15％或者3～10mm。有效区域的适配对于不同的GUI元素可能不同，并且对于每个元素可能不一致。例如，与方形按钮相比，滑块的有效区域可能在形状上更呈矩形。

关于用法，例如在音乐界面上，用户可以选择相等地落在播放/暂停按钮和跳过歌曲按钮之间的位置。该方法的实施例可以考虑每个按钮被按下的频率以增强对每个按钮的选择。方法也可以等待不明确的选择得到解决。例如，用户可以触摸并朝着他们的注视滑动他们的手指(即，视觉、认知和本体感觉注意力的融合)，并且该方法可以等待一瞬间，以使它们结合在一起。该方法的一个优点在于通过扩展触发区，用户解决模糊性并朝着他们的注视移动或拖动他们的手指所用的时间将减少。图5示出了将手指拖动到有效区域505的方面。在该实施例中，系统忽视初始触摸点，并允许手指移动到有效区域以避免误触。

另一种纠错方法可以涉及将物理区域与所聚焦的集合的有效区域进行平均504，以确定所聚焦的集合中的哪个元素是触摸目标。当进行物理交互时，可以对照所聚焦的集合的元素对其进行加权。例如，如果物理区域在所聚焦的集合中，则可以对其进行高度加权，从而导致执行元素的选择。然而，如果物理区域在所聚焦的集合之外，则可以将其位置与所聚焦的集合进行平均，以找到供选择的第三位置。例如，这可以是所聚焦的集合中离物理区域最近的元素、在聚焦区域的质心和物理区域之间中间的元素，或者一些其他计算。

关于优先级，例如，在导航界面上，用户可以选择相等地落在键盘上的搜索和删除按钮之间的位置。在这种情况下，该方法的实施例可以使用在用户的过程中的当前位置来增强对每个按钮的选择(例如，如果用户正在输入地址的过程中，则与输入五位邮政编码时的搜索按钮相比，删除按钮可能更可取)。在另一个实施例中，方法100可以按照最可能的选项来调整触发区。例如，有效区域可以以如下这样的方式扩展，使得删除按钮需要更高的触摸精度，而搜索按钮需要更低的精度(例如，搜索按钮触发区扩展到与删除按钮重叠，并挤压/缩小删除触发区)

可以使用不止一种加权机制来确定如何增大GUI元素的有效区域或触发区域。并且多种算法可以并行执行，产生的结果将被加权并用于确定如何修改有效区域。

该系统可以包括基于特定用户或不同GUI特征的纯使用模式的机器学习。通过依据用户的汽车钥匙或智能电话来识别用户，可以区分不同的用户。特别是如果用户使用智能访问来解锁车辆或将他们的电话与车辆的计算机或娱乐系统配对。用户也可以经由摄像头来认证。机器学习算法或人工智能组件可能需要初始设定过程，该初始设定过程基于用户的独特界面选择模式来训练机器。机器学习训练的输入可以包括凝视和手指跟踪测量、停留时间、成功率、交互、精度或准确性度量。

当重新训练机器学习算法时，各因素可能包括触发区域扩展量和基于时间的收缩量以及其他输入度量(例如，成功率、停留时间等)。机器学习可以在云中或在车辆上完成，在车辆上完成的情况下将提高实时性能。

另外，随着时间的推移，可以按照经验和成功来修改眼睛凝视支持或眼睛凝视支持的水平。例如，随着时间的推移，使用机器学习来跟踪准确性和精度，该数据可以用于增加或降低眼睛凝视支持的水平。此外，使用机器学习可以优化GUI内容(大小、位置等)，以提高准确性和精度(例如，通过移动频繁使用的GUI元素/按钮以更靠近用户)。

在一些实施例中，系统可以耦接到控制模块。控制模块可以使用一个或多个处理单元、一个或多个处理设备、任何用于处理的装置(比如处理器、计算机或可与相应适配的软件一起操作的可编程硬件组件)来实现。类似地，控制模块的所描述的功能也可以用随后在一个或多个可编程硬件组件上执行的软件来实现。此类硬件组件可以包括通用处理器、数字信号处理器(DSP)、微控制器等。

在实施例中，系统可以包括存储器和至少一个处理器，所述处理器可操作地耦接到所述存储器并被配置为进行上述方法。

所提出的任何方法都可以在计算机上实现。该方法可以作为用于计算机或其他装置的指令存储在非临时性计算机可读介质上。当计算机读取介质时，该方法可以由计算机或与计算机联网的任何装置进行或执行。计算机实现的方法可以提供基于强化学习的算法来自主学习不同上下文下的用户行为。该方法可能不需要有监督的注释数据，并且可以自适应地在小数据集上有效且自动地进行学习。在处理可能是常见使用场景但会分散用户注意力的一系列决策和动作时，它可能变得更加有用。

相对于先前的各示例中的一个特定示例描述的各个方面和特征也可以与一个或多个另外的示例组合，以替换所述另外的示例的相同或相似特征，或者额外将这些特征引入所述另外的示例中。

示例还可以是或者涉及(计算机)程序，所述程序包括当在计算机、处理器或其他可编程硬件组件上执行该程序时，执行上述方法中的一种或多种方法的程序代码。因此，上述方法中的不同方法的步骤、操作或过程也可以由程控计算机、处理器或其他可编程硬件组件执行。示例还可以覆盖程序存储设备、比如数字数据存储介质，所述程序存储设备是机器、处理器或计算机可读的，并且编码和/或包含机器可执行的、处理器可执行的或计算机可执行的程序和指令。例如，程序存储设备可以包括或者是数字存储设备、诸如磁盘和磁带之类的磁存储介质、硬盘驱动器或者光学可读数字数据存储介质。其他示例还可以包括被编程以执行上述方法的步骤的计算机、处理器、控制单元、(现场)可编程逻辑阵列((F)PLA)、(现场)可编程门阵列((F)PGA)、图形处理器单元(GPU)、专用集成电路(ASIC)、集成电路(IC)或片上系统(SoC)系统。

还应理解的是，在说明书或权利要求书中公开的若干步骤、过程、操作或功能的公开不应被解释为暗示这些操作必然取决于所描述的顺序，除非在个别情况下有明确规定或出于技术原因而必需之外。于是，前面的描述并没有将若干步骤或功能的执行限制于一定的顺序。此外，在另外的示例中，单个步骤、功能、过程或操作可以包括和/或分解为几个子步骤、子功能、子过程或子操作。

如果相对于设备或系统已描述了一些方面，则这些方面也应当被理解为对对应方法的描述。例如，设备或系统的块、设备或功能方面可以对应于对应方法的特征、比如方法步骤。因此，相对于方法所描述的各个方面也应当被理解为对对应设备或对应系统的对应块、对应元件、性质或功能特征的描述。

以下权利要求在此并入具体实施方式部分中，其中，每个权利要求可以独立地作为单独的示例。还应注意的是，尽管在权利要求书中，从属权利要求涉及与一个或多个其他权利要求的特定组合，但是其他示例也可以包括该从属权利要求与任何其他从属或独立权利要求的主题的组合。此类组合在此被明确地提出，除非在个别情况下声明不打算采用特定组合。此外，任何其他独立权利要求也应包括某个权利要求的特征，即使该权利要求未被直接定义为从属于该其他独立权利要求。