用户界面的显示控制方法、装置、电子设备及介质

技术领域

本申请涉及辅助驾驶领域，尤其涉及一种用户界面的显示控制方法、装置、电子设备、及介质。

背景技术

随着科技的发展，近年来触控型的车载系统已经逐渐成为各家厂商车辆的标准配置。相对于传统的基于物理控件的车载系统，基于触控的车载系统能够提供更为丰富的功能，例如通话、导航、视频、音乐等。不同于移动交互场景，车载场景中驾驶任务是主要任务，其他任务的都属于次要任务，应在驾驶安全的前提下使用车载系统。但是，无论是物理控件的车载系统还是基于触控的车载系统，都需要用户进行触摸操作才能显示次要任务，使得注意力长时间被转移至影响驾驶安全的其他区域，在驾驶中会占用用户更多的视觉资源，影响驾驶安全。

发明内容

本申请实施例提供一种用户界面的显示控制方法、装置、电子设备、及介质，以解决相关技术存在的问题，技术方案如下：

第一方面，本申请实施例提供了一种用户界面的显示控制方法，应用于车载终端，包括：对实时采集的用户行为进行识别分析，得到用户行为数据；根据该用户行为数据，控制预设应用界面以不同的显示模式显示。

第二方面，本申请实施例提供了一种用户界面的显示控制装置，应用于车载终端，包括：识别模块，用于对实时采集的用户行为进行识别分析，得到用户行为数据；控制模块，用于根据该用户行为数据，控制预设应用界面以不同的显示模式显示。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，以使至少一个处理器能够执行上述用户界面的显示控制方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，当计算机指令在计算机上运行时，上述各方面任一种实施方式中的方法被执行。

上述技术方案中的优点或有益效果至少包括：

本申请能够根据用户行为数据确定预设应用界面的不同显示模式，从而在保证驾驶安全的前提下，提升用户体验。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。

图1为根据本申请一实施例的用户界面的显示控制方法的流程图；

图2为根据本申请一实施例的目标手势行为的示意图；

图3为根据本申请一实施例的预设应用界面的示意图；

图4A-图4D为根据本申请一实施例的预设应用界面的不同显示模式的示意图；

图5为根据本申请一实施例的预设应用界面在不同显示模式的切换的示意图；

图6为根据本申请一实施例的用户界面的显示控制装置的框图；

图7是用来实现本申请实施例的用户界面的显示控制方法的电子设备的框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

在现有技术中，触控型的车载系终端已经逐渐成为各家厂商车辆的标准配置，但是，当用户在驾驶中需要启动某些具有娱乐功能的应用时，不可避免需要用户进行触摸操作以切换至应用操作界面，进一步，由于车载系统的触摸屏无法提供触觉反馈，在驾驶中会占用用户较多的视觉资源，使得用户不能专注于驾驶，影响驾驶安全。

鉴于此，请参阅图1所示，本申请实施例提供一种用户界面的显示控制方法，应用于车载终端，如图1所示，该显示控制方法可以包括：

步骤S101：对实时采集的用户行为进行识别分析，得到用户行为数据。

步骤S102：根据用户行为数据，控制预设应用界面以不同的显示模式显示。

本申请实施例中的用户界面的显示控制方法，能够根据用户行为匹配得到对应的显示模式显示，无需用户对车载终端进行任何额外操作，即可实现应用界面的显示，在驾驶安全的前提下，方便用户对预设应用界面进行各种操作。例如，在检测到用户在预设应用界面的指定操作时，从第一显示模式切换至第二显示模式显示，其中，不同的显示模式中包括根据不同优先级排序而存在的界面显示要素。

在一种可能的实现方式中，用户行为数据是用于描述用户行为的各种标准数据，可选的，用户行为数据包括视觉位置坐标、目标手势数据、目标肢体数据或目标唇语数据中的任意种组合。

在步骤S101中，对实时采集的用户行为进行识别分析，得到用户行为数据，可以通过以下过程实现：利用眼球追踪技术，捕捉用户的视觉焦点在该车载终端的视觉位置坐标；识别用户的手势特征，将该手势特征映射为对应的目标手势数据；识别用户的肢体特征，将该肢体特征映射为对应的目标肢体数据；识别用户的唇语特征，将该唇语特征映射为对应的目标唇语数据。

可选的，本申请中通过机器视觉识别技术对实时采集的用户行为进行识别分析。

例如，识别目标手势数据时，对采集的手势特征，进行目标手势行为映射，从而将采集的手势特征映射为与其对应的目标手势数据，图2示例性的示出了7目标手势行为，例如，对采集的某一手势特征与图2中的目标手势行为进行对比，将差异度最小的目标手势行为作为识别的目标手势数据。与其相似，在识别目标肢体数据和目标唇语数据时，采用同样的识别原理，将采集的肢体特征映射为目标肢体数据，将采集的唇语特征映射为目标唇语数据，在此不做赘述。

一种可能的实施方式中，对实时采集的用户行为进行识别分析之前，还包括：获取车载终端的驾驶数据；利用驾驶数据，进行驾驶注意力判断，得到驾驶注意力判断结果；在驾驶注意力判断结果满足预设条件的情况下，实时采集用户行为。

本申请实施例中驾驶数据为用于描述车载终端的状态的相关数据，车载终端的状态包括车载终端所处的路况、档位、GPS定位和车速等信息。

具体实施时，获取该车载终端的驾驶数据时，利用车载传感器获取该载终端的道路数据、档位数据、GPS数据和车速数据得到该车载终端的驾驶数据。

具体的，利用驾驶数据，进行驾驶注意力判断，得到驾驶注意力判断结果，可以通过以下方式实现：将驾驶数据输入到预设的驾驶注意力判断模型进行驾驶注意力判断得到驾驶注意力判断结果。

可选的，本申请实施例中根据识别出的驾驶数据，利用驾驶注意力判断模型对驾驶员的注意力进行评分，其中，驾驶员的注意力得分用以表征驾驶员的注意力程度。具体来说，如果驾驶数据与驾驶员注意力不集中的特征相符，例如引擎为开启，速度为0的持续时间小于预设时长等，则注意力得分高，反之注意力得分低，注意力得分高表示注意力程度高。可选的，驾驶注意力判断模型对驾驶数据分别进行注意力评分，得到最终的注意力评分。

可选的，本申请实施例中需要预先构建注意力判断模型，针对各种驾驶场景，获取各种驾驶场景中涉及的驾驶数据，分析驾驶数据对驾驶安全的影响，并将各种驾驶数据对驾驶安全的影响程度进行等级划分。获取上述数据后，可以作为训练数据构建注意力判断模型。当注意力判断模型建立后，向注意力判断模型输入新的驾驶数据，能够自动输出对应的驾驶场景及对应该驾驶场景的注意力判断等级。

本申请实施例中，根据该驾驶注意力判断结果，控制预设应用界面在该车载终端的显示或隐藏，包括以下两种情形：

情形一，在该驾驶注意力判断结果满足预设条件的情况下，在该车载终端以第一显示模式显示预设应用界面。

可选的，在驾驶注意力较低时，车载终端以第一显示模式显示预设应用界面，这种情况下驾驶注意力可以分散到驾驶任务之外的次要任务，方便用户对预设应用界面进行进一步操作，例如，可以打开音乐功能的相关应用，提升用户体验。

情形二，在该驾驶注意力判断结果不满足该预设条件的情况下，在该车载终端隐藏该预设应用界面，并显示预设的先进驾驶辅助系统(Advanced Driver AssistantSystem，ADAS)界面。

可选的，在驾驶注意力较高时，说明驾驶环境复杂，驾驶难度较大，此时，车载终端隐藏应用界面，显示ADAS界面，这样能够显示的ADAS界面进行安全驾驶，避免驾驶注意力分散到影响驾驶安全的次要任务上，从而提升驾驶安全性。

可选的，根据驾驶注意力判断模型输出的注意力得分或注意力判断等级与预先设置的决策阈值之间的关系，采取对应的显示策略。具体来说，决策阈值可以分为不同的阶段或者级别，在安全范围内，则可以显示预设应用界面，在安全范围之外，则隐藏预设应用界面，此时显示预设的ADAS界面。

值得一提的是，本申请实施例中的预设应用界面是用于人机交互的应用操作界面。

请参阅图3，图3所示为示例性的预设应用界面的示意图。该预设应用界面由5个不同操作类型的显示区域组成，分别是入口类功能显示区域、操作类功能显示区域、状态类功能显示区域、流式类功能显示区域和搜索类功能显示区域，入口类功能显示区域位于界面的底部，用于提供重要车载子系统的控制功能，例如空调系统的控制功能，操作类功能显示区域能够对应用提供的服务进行选择，状态类功能显示区域用于显示应用提供的服务的当前状态其中不同类型的显示区域在加载和显示过程中的优先级不同，表1为不同类型的显示区域对应的不同的优先级，其中，P0优先级最高，P3优先级最低。

表1

ADAS，是利用安装于车上的各式各样的传感器(可侦测光、热、压力等变数)，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。

ADAS主要由GPS和CCD相机探测模块、通信模块和控制模块等组成。其中，GPS和CCD相机探测模块通过GPS接收机接收GPS卫星信号，求出该车的经纬度坐标、速度、时间等信息，利用安装在汽车前部和后部的CCD相机，实时观察道路两旁的状况；通信模块可以发送检测到的相关信息并在相互靠近的汽车之间实时地传输行驶信息；控制模块可以在即将出现事故的时候做出主动控制，从而避免事故的发生。

本申请的ADAS界面为能够显示车辆的姿态和行驶状况的界面。

具体的，控制该预设应用界面从该第一显示模式显示切换至第二显示模式显示，可以包括：控制该预设应用界面从该第一显示模式显示切换至显示面积与该第一显示模式不同的第二显示模式显示。

示例性的，本申请实施例中示出4种不同的显示模式，具体可参阅图4A-图4D所示。

显示模式A，在ADAS界面的导航栏中显示入口类功能显示区域。

其中，ADAS界面包括两部分，分别是主界面和位于主界面底部的导航栏。在显示模式一中，ADAS界面的主界面中不会显示预设应用界面的内容，继续显示原有的主界面内容，显示模式一用于完全显示预设的ADAS界面，具体可参阅图4A所示。

显示模式B，在该ADAS界面的导航栏中显示入口类功能显示区域，在第一子界面中显示操作类功能显示区域和状态类功能显示区域，该第一子界面占用该ADAS界面的部分主界面。

在显示模式二中仅显示预设应用界面的部分内容，第一子界面的显示位置可以根据用户的视觉习惯进行设置，也可以预先位置，例如，位于主界面的左下角，本申请对此不做具体限定，具体可参阅图4B所示。

显示模式C，在该ADAS界面的导航栏中显示入口类功能显示区域，在第二子界面中显示操作类功能显示区域、状态类功能显示区域和流式类功能显示区域，该第二子界面占用该ADAS界面的部分主界面，该第二子界面的显示面积大于该第一子界面。

在显示模式三中仅显示预设应用界面的部分内容，第一子界面的显示位置可以根据用户的视觉习惯进行设置，也可以预先位置，例如，位于主界面的左下角，与显示模式二相比，预设应用的显示内容和显示面积均优于显示模式二，具体可参阅图4C所示。

显示模式D，在该ADAS界面的导航栏中显示入口类功能显示区域，在该ADAS界面的全部主界面中显示操作类功能显示区域、状态类功能显示区域、流式类功能显示区域和编辑类功能显示区域，不显示该ADAS界面。

在显示模式四中，ADAS界面的全部主界面都用于显示预设应用界面，此时隐藏预设的ADAS界面，预设应用界面为全屏显示，具体可参阅图4D所示。

可选的，本申请的第一显示模式和该第二显示模式包括以上显示模式中的任意一种，且不相同。指定操作包括手动操作、语音操作、视觉操作中的任意一种。

请参阅图5所示，图5示例性示出了本申请实施例中预设应用界面在不同显示模式之间切换的示意图。通过图5可知，检测到用户在预设应用界面的指定操作，可以使预设应用界面的显示模式发生切换，例如，可以从显示模式A切换至显示模式B，只要显示模式不同即可。

需要说明的是，本申请实施例中，不同的显示模式对应不同优先级的应用显示界面，例如，根据用户行为数据，确定用户行为是眼球操作，此时人机交互方式眼球交互，对应显示的第一显示界面是优先级最高的应用显示界面，该第一显示界面是菜单较少的显示界面；又例如，根据用户行为数据，确定用户行为是触控操作，此时人机交互方式触控交互，对应显示的第二显示界面的优先级此致，第二显示界面可以是最多最全的显示界面；再例如，根据用户行为数据，确定用户行为是语音操控，此时人机交互方式是语音交互，对应显示的第三显示界面优先级最低的应用显示界面，此时在第三显示界面中把语音机器人显示在最表层。

需要说明的是，尽管以图3中预设应用界面作为示例介绍了驾驶注意力满足预设条件的显示界面，如上，但本领域技术人员能够理解，本申请应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定预设应用界面的显示区域，只要能够实现特定娱乐功能的显示即可。

综上所述，本申请实施例中，能够根据驾驶数据判断驾驶注意力，根据驾驶注意力的判断结果来决定是否显示预设应用界面，从而在保证驾驶安全的前提下，提升用户体验。

图6示出根据本申请一实施例的显示控制装置的结构框图。如图6所示，该装置可以包括：

识别模块601，用于对实时采集的用户行为进行识别分析，得到用户行为数据；

控制模块602，用于根据用户行为数据，控制预设应用界面以不同的显示模式显示。

在一种可能的实施方式中，不同的显示模式中包括根据不同优先级排序而存在的界面显示要素。

在一种可能的实施方式中，该装置还包括：

获取模块，用于对实时采集的用户行为进行识别分析之前，获取车载终端的驾驶数据；

判断模块，用于利用驾驶数据，进行驾驶注意力判断，得到驾驶注意力判断结果；在驾驶注意力判断结果满足预设条件的情况下，实时采集用户行为。

在一种可能的实施方式中，识别模块601具体用于：

利用眼球追踪技术，捕捉用户的视觉焦点在车载终端的视觉位置坐标，将视觉位置坐标作为用户行为数据；

识别用户的手势特征，将手势特征映射为对应的目标手势数据，将目标手势数据作为用户行为数据；

识别用户的肢体特征，将肢体特征映射为对应的目标肢体数据，将目标肢体数据作为用户行为数据；

识别用户的唇语特征，将唇语特征映射为对应的目标唇语数据，将目标唇语数据作为用户行为数据。

在一种可能的实施方式中，获取模块具体用于：

利用车载传感器获取载终端的道路数据、档位数据、GPS数据和车速数据中的至少一种得到车载终端的驾驶数据。

在一种可能的实施方式中，控制模块602还用于：

在驾驶注意力判断结果不满足预设条件的情况下，在车载终端隐藏预设应用界面，并显示预设的先进驾驶辅助系统ADAS界面。

在一种可能的实施方式中，控制模块602具体用于：

确定与用户行为数据匹配的第一显示模式；

按照第一显示模式显示预设应用界面。

在一种可能的实施方式中，第一显示模式包括以下显示模式中的任意一种：

显示模式为在ADAS界面的导航栏中显示入口类功能显示区域；

显示模式为在ADAS界面的导航栏中显示入口类功能显示区域，在第一子界面中显示操作类功能显示区域和状态类功能显示区域，第一子界面占用ADAS界面的部分主界面；

显示模式为在ADAS界面的导航栏中显示入口类功能显示区域，在第二子界面中显示操作类功能显示区域、状态类功能显示区域和流式类功能显示区域，第二子界面占用ADAS界面的部分主界面，第二子界面的显示面积大于第一子界面；

显示模式为在ADAS界面的导航栏中显示入口类功能显示区域，在ADAS界面的全部主界面中显示操作类功能显示区域、状态类功能显示区域、流式类功能显示区域和编辑类功能显示区域，不显示ADAS界面。

本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

图7示出根据本申请一实施例的电子设备的结构框图。如图7所示，该电子设备包括：存储器710和处理器720，存储器710内存储有可在处理器720上运行的指令。处理器720执行该指令时实现上述实施例中的用户界面的显示控制方法。存储器710和处理器720的数量可以为一个或多个。该电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

该电子设备还可以包括通信接口730，用于与外界设备进行通信，进行数据交互传输。各个设备利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器720可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器710、处理器720及通信接口730集成在一块芯片上，则存储器710、处理器720及通信接口730可以通过内部接口完成相互间的通信。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。

本申请实施例提供了一种计算机可读存储介质(如上述的存储器710)，其存储有计算机指令，该程序被处理器执行时实现本申请实施例中提供的方法。

可选的，存储器710可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图7的电子设备的使用所创建的数据等。此外，存储器710可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器710可选包括相对于处理器720远程设置的存储器，这些远程存储器可以通过网络连接至图7的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个(两个或两个以上)用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。