掌桥专利:专业的专利平台
掌桥专利
首页

距离确定方法、距离检测模型生成方法和距离确定系统

文献发布时间:2024-04-18 20:02:18


距离确定方法、距离检测模型生成方法和距离确定系统

技术领域

申请涉及终端技术领域,尤其涉及一种距离确定方法、距离检测模型生成方法和距离确定系统。

背景技术

随着技术的发展,手机、电脑等电子设备的功能越来越多,也越来越普及,这给用户的生活带来了极大的方便。但是,人们对电子设备使用的频率和时长的增加,对视力健康造成了不利的影响。在电子设备的日程使用过程中,使用距离(用户人脸与电子设备的显示屏之间的距离)过近是诱发用户出现视力问题的主要因素之一。所以,在用户使用电子设备时与电子设备的显示屏的距离过近的情况下,及时的对用户进行提醒,可以更好的保护用户的视力。

基于此,如何检测用户人脸与电子设备的显示屏之间的使用距离是一个亟需解决的问题。

发明内容

本申请实施例提供一种、距离检测模型生成方法和距离确定系统,能够以较低功耗确定出用户人脸与电子设备的显示屏之间的使用距离。

为了达到上述目的,本申请实施例采用如下技术方案:

第一方面,本申请实施例提供一种距离确定方法,应用于电子设备,该方法包括:电子设备通过常开AO相机拍摄第一AO图像;电子设备在第一AO图像中存在人脸图像的情况下,获取第一AO图像中的第一人脸特征;第一人脸特征用于反映第一AO图像中人脸图像的特征以及第一AO图像中人脸图像与背景图像之间相对位置关系;电子设备确定距离匹配库中与第一人脸特征匹配的至少一个待定使用距离;其中,距离匹配库中包括多种预设使用距离中,每种预设使用距离与至少一个人脸特征的对应关系;预设使用距离为用户人脸与拍摄包括用户人脸的AO图像的电子设备的显示屏之间的距离;电子设备基于至少一个待定使用距离,确定用户人脸与电子设备的显示屏之间的目标使用距离。

基于上述实施例提供的技术方案,在用户打开手机的测距功能使用电子设备时,电子设备可以通过AO相机拍摄包含人脸的AO图像(即第一AO图像)。之后,则结合该AO图像以及预先建立的距离匹配库,便可以准确的确定出用户人脸与电子设备的显示屏之间的目标使用距离。由于AO相机的功耗很低可以在用户使用电子设备时常开,所以该技术方案可以较低的功耗的确定出用户人脸与电子设备的显示屏之间的实时距离(即目标使用距离)。

进一步的,由于AO相机可以常开,所以本申请提供的技术方案在用户使用手机时可以连续的实施,从而连续的获取用户人脸与手机的显示屏之间的实时距离。这样一来,通过本申请提供的技术方案,手机在需要确定保护用户视力的护眼策略时,便可以获取到充足的距离数据(包括多个连续的时刻下,用户人脸与手机的显示屏之间的实时使用距离),从而得到更为准确的护眼策略,也就可以更好的保护使用手机的用户的视力,提高用户的使用体验。

在第一方面的一种可能的设计方式中,电子设备通过常开AO相机拍摄第一AO图像之前,方法还包括:电子设备响应于第一操作,开启测距功能;在电子设备开启测距功能后,电子设备具备基于距离匹配库和AO图像确定目标使用距离的能力。

由于实际中用户可能并不需要在任何情况下,令电子设备测量用户人脸与电子设备的显示屏之间的目标使用距离,所以基于上述设计方式提供的技术方案,可以使得用户在任意可能的情况下,根据自身需求开启电子设备的测距功能,提高了用户的使用体验。

在第一方面的一种可能的设计方式中,在电子设备首次接收到第一操作的情况下,电子设备响应于第一操作,开启测距功能,包括:电子设备响应于第一操作,显示第一界面;第一界面中包括录入区域、录入提示信息、当前感知距离和录入进度信息;录入区域用于显示电子设备的AO相机拍摄到的第二AO图像;录入提示信息用于指示用户录入多种预设使用距离下的包含用户人脸的AO图像;当前感知距离为当前用户人脸与电子设备的显示屏之间的距离;录入进度信息用于指示录入多种预设使用距离下的包含用户人脸的AO图像的进度;电子设备获取第一界面中显示的第二AO图像的第二人脸特征;第二人脸特征用于反映第二AO图像中人脸图像的特征以及第二AO图像中人脸图像与背景图像之间相对位置关系;电子设备在获取到多种预设使用距离中,每种预设使用距离对应的至少一个人脸特征的情况下,建立距离匹配库;电子设备开启测距功能。

基于上述设计方法提供的技术方案,电子设备便可以在首次开启测距功能时建立距离匹配库,进而顺利开启测距功能。之后,手机便可以基于距离匹配库,准确的确定出用户使用电子设备时用户人脸与手机显示屏之间的目标使用距离。

在第一方面的一种可能的设计方式中,电子设备在第一AO图像中存在人脸图像的情况下,获取第一AO图像中的第一人脸特征,包括:电子设备在第一AO图像中存在人脸图像的情况下,基于特征提取模型获取第一AO图像中的第一人脸特征;特征提取模型具备从包括人脸图像的AO图像中提取人脸特征的能力。

基于上述设计方式提供的技术方案,电子设备便可以通过特征提取模型顺利获取到第一AO图像中的第一人脸特征,从而使得后续可以结合距离匹配库确定出目标使用距离。

在第一方面的一种可能的设计方式中,特征提取模型包括距离检测模型,距离检测模型具备利用AO图像和AO图像中的人脸图像,确定AO图像中的人脸图像所属的用户人脸与拍摄AO图像的电子设备的显示屏之间的使用距离的能力;电子设备在第一AO图像中存在人脸图像的情况下,基于特征提取模型获取第一AO图像中的第一人脸特征,包括:电子设备获取第一AO图像中的第一人脸图像;电子设备将第一AO图像和第一人脸图像输入距离检测模型,以得到第一人脸特征。

基于上述设计方式提供的技术方案,电子设备便可以通过距离检测模型利用第一AO图像和第一AO图像中的第一人脸图像,顺利获取到第一AO图像中的第一人脸特征,从而使得后续可以结合距离匹配库确定出目标使用距离。

在第一方面的一种可能的设计方式中,电子设备基于至少一个待定使用距离,确定用户人脸与电子设备的显示屏之间的目标使用距离,包括:电子设备在至少一个待定使用距离中不同的待定使用距离之差均小于预设差值的情况下,将至少一个待定使用距离的平均值确定为目标使用距离。

实际中,由于用户使用手机姿态是存在多种可能性,用户使用手机的环境也是存在多种可能性的。基于此,手机从第一AO图像中获取的第一人脸特征,大概率不会与距离匹配库中的某个人脸特征完全相同,而是可能存在多个人脸特征(即至少一个第二人脸特征)都与第一人脸特征相似。在这种情况下,如果这多个人脸特征对应的预设使用距离(即至少一个待定使用距离)相差较大,则可以认为第一人脸特征可能是存在错误的,此时则无法确定用户人脸与手机显示屏的实时使用距离(即目标使用距离)。此时,则可以使用下一张AO图像来获取目标使用距离。如果这多个人脸特征对应的预设使用距离相差较小乃至相同,则可以认为第一人脸特征大概率是准确的。此时可以使用这多个人脸特征对应的预设使用距离来确定目标使用距离。

基于此,基于上述设计方式提供的技术方案,电子设备便可以获取到更为准确的目标使用距离。

在第一方面的一种可能的设计方式中,电子设备通过常开AO相机拍摄第一AO图像,包括:电子设备在处于亮光环境的情况下,通过常开AO相机拍摄第一AO图像;或者,电子设备在第一AO图像中存在人脸图像的情况下,获取第一AO图像中的第一人脸特征,包括:电子设备在第一AO图像中存在人脸图像,且电子处于亮光环境的情况下,获取第一AO图像中的第一人脸特征;其中,亮光环境下的环境光亮度大于预设亮度值。

基于上述设计方式提供的技术方案,由于亮光环境下AO相机可以拍摄到较为清晰的AO图像,所以在亮光环境下,电子设备才通过第一AO图像和距离匹配库结合来确定出目标使用距离,保证目标使用距离的准确性,提高了用户使用体验。

在第一方面的一种可能的设计方式中,方法还包括:电子设备在处于暗光环境的情况下,通过距离感知器件获取目标使用距离;距离感知器件具备测量用户人脸与电子设备的显示屏之间的使用距离的能力;其中,暗光环境下的环境光亮度小于预设亮度值;距离感知器件为以下任一项:TOF相机、麦克风和扬声器的组合、雷达。

基于上述设计方式提供的技术方案,电子设备便可以保证在暗光环境下,AO相机拍摄的AO图像清晰度下降乃至无法获取其中的人脸特征的情况下,使用距离感知器件获取目标使用距离。这样一来,无论电子设备处于亮光环境还是暗光环境,电子设备都可以顺利的获取到目标使用距离,进而可以基于该目标使用距离进行保护用户视力相关的操作或输出保护用户视力相关的提示,提高用户的使用体验。

第二方面,本申请实施例还提供一种距离检测模型生成方法,该方法应用于训练设备中,该方法包括:训练设备获取至少一组样本数据,以及每组样本数据对应的距离标签;每组样本数据包括样本AO图像和样本AO图像中的人脸图像,距离标签用于表征样本AO图像中的人脸图像对应的用户人脸,与拍摄样本AO图像的电子设备的显示屏之间的使用距离;训练设备以样本数据为训练数据,样本数据对应的距离标签作为监督信息,迭代训练初始模型,得到距离检测模型。

基于上述技术方案,通过监督学习的方式,便可以顺利得到能够基于AO图像以及AO图像中的人脸图像得到,相应用户人脸与手机显示屏之间的使用距离的距离检测模型。而这个距离检测模型在训练成功后,必然具备判定某个包含人脸图像的AO图像的人脸特征(能够用于反映AO图像中人脸图像的特征以及AO图像中人脸图像与背景图像之间相对位置关系的特征)的能力。也就可以为后续建立距离匹配库提供数据支持。这样一来,在建立了距离匹配库后,也就可以基于距离匹配库确定出用户使用手机时的目标使用距离。

在第二方面的一种可能的设计方式中,训练设备以样本数据为训练数据,样本数据对应的距离标签作为监督信息,迭代训练初始模型,得到距离检测模型之前,方法还包括:训练设备对至少一组样本数据进行预处理,以得到至少一组新样本数据;预处理包括对样本数据中样本AO图像和样本人物图像中的相同区域进行相同的裁剪,和/或加噪操作;新样本数据的距离标签为生成新样本数据的样本数据的距离标签;训练设备将至少一组新样本数据添加进至少一组样本数据中,以更新至少一组样本数据。

基于上述设计方式对应的技术方案,最终训练出的距离检测模型可以对更多场景中的AO图像进行处理,得到人脸特征,提高了距离检测模型的鲁棒性。进一步的,后续电子设备使用该距离检测模型确定目标使用距离时,由于利用该距离检测模型可以在AO图像中的人脸图像的信息不完整或者不清晰的情况下,也可以得到AO图像中的人脸特征,进而可以顺利完成目标使用距离的确定,提高用户的使用体验。

第三方面,本申请提供一种电子设备,该电子设备包括显示屏、存储器和一个或多个处理器;显示屏、存储器与处理器耦合;其中,存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行如第一方面及其任一种可能的设计方式提供的距离确定方法。

第四方面,本申请提供了一种训练设备,包括:处理器和存储器;该存储器用于存储可执行指令,该处理器被配置为执行该存储器存储的该可执行指令,以使该训练设备执行如上述第二方面提供的距离检测模型生成方法。

第五方面,本申请提供一种距离确定系统,包括第三方面提供的电子设备和第四方面提供的训练设备。

第六方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得电子设备执行如第一方面及其任一种可能的设计方式提供的距离确定方法。

第七方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在训练设备上运行时,使得训练设备执行如第二方面及其任一种可能的设计方式提供的距离检测模型生成方法。

第八方面,本申请提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如第一方面及其任一种可能的设计方式提供的距离确定方法。

第九方面,本申请提供一种计算机程序产品,当计算机程序产品在训练设备上运行时,使得训练设备执行如第二方面及其任一种可能的设计方式提供的距离检测模型生成方法。

可以理解地,上述提供的第三方面至第九方面提供的技术方案所能达到的有益效果,可参考第一方面或第二方面及其任一种可能的设计方式中的有益效果,此处不再赘述。

附图说明

图1为本申请实施例提供的一种距离确定方法的原理示意图;

图2为相关技术提供的一种距离确定系统的结构示意图;

图3为本申请实施例提供的一种电子设备的硬件架构示意图;

图4为本申请实施例提供的一种电子设备的软件架构示意图;

图5为本申请实施例提供的一种距离确定方法的流程示意图一;

图6为本申请实施例提供的一种测距功能打开的场景示意图;

图7为本申请实施例提供的一种距离确定方法的流程示意图二;

图8为本申请实施例提供的一种手机建立距离匹配库的界面示意图;

图9为本申请实施例提供的一种距离确定方法的流程示意图三;

图10为本申请实施例提供的一种AO图像和AO图像中人脸图像的示意图;

图11为本申请实施例提供的一种距离检测模型的结构示意图;

图12为本申请实施例提供的一种距离确定方法的流程示意图四;

图13为本申请实施例提供的一种距离确定方法的流程示意图五;

图14为本申请实施例提供的一种距离确定方法的流程示意图六。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。

在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。

本申请以下实施例中的术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。

首先,对本申请实施例中涉及名词进行如下说明:

常开相机(always on camera,AO camera):AO camera是指一直处于开启状态的摄像头。以手机为例,手机中的AO camera一般是指低功耗的灰度图像相机,该灰度图像相机可以获取到低分辨率的灰度图像。在一些实施例中,AO camera可以是电子设备中某个摄像头具备的功能。也就是说,电子设备中可以不具备独立的AO camera,而是将AO camera的功能集成在某个电子设备中的某个摄像头中,例如前置摄像头。

飞行时间相机(time of flight camera,TOF camera):TOF camera是一种利用飞行时间原理来测量距离的摄像头。它通过向目标物体发射光脉冲,并测量光脉冲从发射到被目标物体反射回来所需的时间,来计算目标物体与相机之间的距离。在一些可能的实现中,TOF camera可以通过发射红外光来测量距离。这种情况下,TOF camera则可以获取包含深度信息的红外(infrared,IR)图像。

目前,由于手机等电子设备的功能越来越多,人们对电子设备使用的频率和时长也越来越大。在这种情况下,对电子设备的不良使用习惯会对用户的视力健康造成很不利的影响。在诸多不良习惯中,近距离使用电子设备(即眼睛与电子设备的显示屏的距离)时,是导致近视这一视力问题的主要因素之一。在用户使用电子设备时,电子设备如果可以及时的确定出用户人脸与电子设备的距离-使用距离,并在该使用距离过近过近的情况下,及时的对用户进行提醒,便可以更好的保护用户的视力。而为了达到该目的,如何检测用户与电子设备之间的距离则是必须要解决的问题。

针对上述问题,相关技术中,可以直接采用特定的传感器或检测器件测量出用户使用电子设备时的使用距离。例如,常用的电子设备中,TOF相机可以直接获取用户使用电子设备时的使用距离;麦克风和扬声器等器件可以通过超声波测距的方式测量用户使用电子设备时的使用距离;高分辨率的相机可以通过特定的单目测距算法基于拍摄的图片测量用户使用电子设备时的使用距离。

但是TOF相机属于高功耗器件,成本高且不适合长时间开启。基于扬声器与麦克风的超声测距方案适用于测量屏幕与障碍物的相对位移,在相对静止场景下无法区分障碍物在显示屏的前方还是侧边,甚至背部,且超声功耗相对较大。而利用特定的单目测距算法基于拍摄的图片测量使用距离的方案,则高度依赖成像清晰度及眼部关键点识别的准确性,而成像越清晰功耗也就越大;此外,在光照较暗或者人脸部的局部遮挡的情况下无法准确确定使用距离。

综上,现有测量用户使用电子设备时的使用距离的方案,对功耗的要求较高,限制较大。而出于对用户视力的保护,用户使用电子设备时,使用距离是需要连续不断或者以较短周期进行周期性检测的,所以现有的测量方案并不适用于出于保护用户视力的目的检测使用距离的场景。也就是说,目前亟需一种方便实时检测用户使用电子设备时的使用距离的技术方案。

针对上述问题,本申请实施例提供一种距离确定方法,该方法可以应用于电子设备中。在该技术方案中,参照图1所示,电子设备可以预先建立用户人脸与使用距离的距离匹配库。其中,使用距离即为用户人脸与电子设备的显示屏之间的距离。距离匹配库中则可以包括多个使用距离中每个使用距离与至少一个人脸特征的关联关系。距离匹配库中的多个人脸特征可以是电子设备预先使用AO相机拍摄到的包含人脸图像的AO图像进行特征提取后得到,提取方式可以是使用预先训练好的特征提取模型(或可称为离线特征提取模型)进行提取。距离匹配库中人脸特征对应的使用距离,则是电子设备在使用AO相机拍摄到该人脸特征所属的AO图像时,使用TOF相机或其他可能的器件获取到的用户人脸与电子设备的显示屏之间的使用距离。每个使用距离对应的人脸特征可以包括该使用距离下,用户人脸不同角度的多个人脸特征。

在用户使用电子设备时,电子设备则可以通过AO相机获取AO图像,在AO图像中包括人脸图像的情况下,则利用特征提取模型提取该AO图像中的人脸特征。之后,则可以确定距离匹配库中与该人脸特征匹配的待定使用距离。最后,则可以基于与该人脸特征匹配的使用距离,确定用户人脸与电子设备的显示屏之间的目标使用距离。

可以看出,本申请提供的技术方案,在用户使用电子设备时,首先可以通过AO相机拍摄包含人脸的AO图像。之后,则结合该AO图像以及预先建立的距离匹配库,便可以准确的确定出用户人脸与电子设备的显示屏之间的目标使用距离。由于AO相机的功耗很低可以在用户使用电子设备时常开,所以该技术方案可以较低的功耗的确定出用户人脸与电子设备的显示屏之间的实时距离(即目标使用距离)。

进一步的,由于AO相机可以常开,所以本申请提供的技术方案在用户使用电子设备时可以连续的实施,从而连续的获取用户人脸与电子设备的显示屏之间的实时距离。这样一来,通过本申请提供的技术方案,电子设备在需要确定保护用户视力的护眼策略时,便可以获取到充足的距离数据(包括多个时刻下,用户人脸与电子设备的显示屏之间的实时距离),从而得到更为准确的护眼策略,也就可以更好的保护使用电子设备的用户的视力,提高用户的使用体验。

下面结合附图对本申请实施例提供的技术方案进行详细表述。

本申请提供的技术方案可以应用在如图2所示的距离确定系统中。参照图2所示,该距离确定系统中可以包括有训练设备01和电子设备02。训练设备01和电子设备02之间可以采用有线通讯或无线通讯的方式建立通信连接。

其中,训练设备01主要用于训练得到特征提取模型。具体的,训练设备01首先可以获取多个包含人脸图像的AO图像、以及AO图像对应的使用距离。其中,多个AO图像可以是电子设备02在室内、室外等各种可能的场景下,以不同的距离(例如10cm-60cm范围内的各种距离),通过AO相机对男、女、老、少等不同类型(不同性别、不同年龄段)的人物的人脸进行拍摄到的AO图像。

AO图像对应的使用距离则可以是电子设备通过任意可行的方式,在拍摄AO图像时,获取相应的用户人员与电子设备的显示屏之间的使用距离。例如,通过直尺测量、通过TOF相机测量、通过超声波测量、通过雷达测量等。

获取多个AO图像的电子设备02可以是包括一个或多个电子设备,本申请对此不做具体限制。其中,AO相机可以为电子设备的前置摄像头或前置摄像头中的部分。

之后,训练设备01可以基于多个AO图像,以及AO图像对应的使用距离,训练得到特征提取模型。该特征提取模型则可以具备利用AO图像和AO图像对应的人脸图像得到AO图像中人脸图像所属用户人脸与电子设备显示屏之间的使用距离的能力。该特征提取模型在被训练成功后,则必然具备提取特征的能力。也就是说,将某个AO图像输入该模型中后,该模型必然存在某一层可以得到能够表征该AO图像中人脸图像以及人脸图像和背景之间关系的人脸特征。一种可实现的方式中,这里的人脸特征可以是该模型在运行过程中得到的该AO图像的最高阶语义信息。

训练设备01在训练得到该特征提取模型后,便可以向电子设备02发送该特征提取模型,以供电子设备02使用。

电子设备02在得到该特征提取模型后,则可以在建立表征AO图像中人脸特征与使用距离关联关系的距离匹配库。电子设备02在建立了距离匹配库后,则可以在用户使用电子设备时,通过AO相机获取包含用户人脸的AO图像,并结合该距离匹配库和特征提取模型得到实时的使用距离。电子设备建立距离匹配库以及确定实时的使用距离的具体实现方式,在后续实施例中详细表述,此处对此不做赘述。

当然,在本申请实施例中,若电子设备02的计算资源和存储资源足够,上述训练设备01训练特征提取模型的过程也可以由电子设备02实施,本申请对此不做具体限制。

可以理解的,上述的电子设备02和训练设备01可以为两个分离的设备,也可以是同一个设备。本申请对此不做具体限制。

示例性的,以电子设备是手机为例,图3示出了本申请实施例提供的一种电子设备的结构示意图。

参照图3所示,电子设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,显示屏193,用户标识模块(subscriber identification module,SIM)卡接口194,以及摄像头195等。其中,传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。

处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。

控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。

处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。

在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。

充电管理模块140用于从供电设备(例如充电器、笔记本电能等)接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备的无线充电线圈接收无线充电输入。

充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。其中,电池142具体可以为多个电池串联组成。电源管理模块141用于连接电池142、充电管理模块140与处理器110。

电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏193,摄像头195,和无线通信模块160等供电。电源管理模块141还可以用于监测电池的电压、电流、电池循环次数、电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。

指示器192可以是指示灯,可以用于指示充电状态和电量变化,也可以用于指示消息、未接来电、和通知等。

按键190可以包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入, 产生与电子设备的用户设置以及功能控制有关的键信号输入。

外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。

内部存储器121可以包括一个或多个随机存取存储器(random access memory,RAM )和一个或多个非易失性存储器(non-volatile memory, NVM)。随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。

触摸传感器,也称“触控器件”。触摸传感器可以设置于显示屏193,由触摸传感器与显示屏193组成触摸屏,也称“触控屏”。触摸传感器用于监测作用于其上或附近的触摸操作。触摸传感器可以将监测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏193提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于电子设备的表面,与显示屏193所处的位置不同。

环境光传感器用于感知环境光的亮度(可以用光强表征或转换得出)。例如:环境光传感器可以测量环境光的四个通道的光强度。环境光传感器将测量到的环境光的四个通道的光强度输出给处理器110。处理器110可以对环境光传感器输出的环境光的四个通道的光强度进行处理(如,对环境光的四个通道的光强度积分),得到环境光的光强度或者亮度。在亮屏状态(包括解锁后的亮屏和锁屏下的亮屏)下,电子设备可以根据得到的环境光的光强度自适应调节显示屏亮度。

压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏193。压力传感器的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。当有触摸操作作用于显示屏193,电子设备根据压力传感器监测所述触摸操作强度。电子设备也可以根据压力传感器的监测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。

在一些实施例中,电子设备可以包括1个或N个摄像头195,N为大于1的正整数。在本申请实施例中,摄像头195的类型可以根据硬件配置以及物理位置进行区分。例如,设置在电子设备的显示屏193那一面的摄像头可以称为前置摄像头,设置在电子设备的后盖那一面的摄像头可以称为后置摄像头;又例如,焦距短、视越大的摄像头可以称为广角摄像头,焦距长、视角小的摄像头可以称为普通摄像头。其中,焦距的长短、视角的大小为相对概念,并无具体的参数限定,因此广角摄像头和普通摄像头也是一个相对概念,具体可以根据焦距、视角等物理参数进行区分。

在本申请实施例中,电子设备包括的多个摄像头中,可以存在AO camera和TOFcamera。AO camera和TOF camera的具体功能可以参照前述实施例中的术语解释,此处不再赘述。

电子设备通过GPU,显示屏193,以及应用处理器等实现显示功能。GPU为图像编辑的微处理器,连接显示屏193和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。

电子设备可以通过ISP,摄像头195,视频编解码器,GPU,显示屏193以及应用处理器等实现拍摄功能。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。本申请实施例中,每个图像帧的帧绘制过程中,都会使用的GPU的功能,以使得最终显示的画面获得更好的显示效果和性能表现。

ISP用于处理摄像头195反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头195中。摄像头195用于捕获静态图像或视频。

数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。

显示屏193用于显示图像,视频等。显示屏193包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏193,N为大于1的正整数。

电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。

在本申请实施例中,电子设备还可以通过扬声器以及麦克风实现测量物体和电子设备具体的目的。具体的,扬声器可以向物体发射声波(例如超声波),麦克风在接收到物体反射回来的声波后,可以根据发射时间和接收到的时间差确定出物体和电子设备之间的距离。

本申请实施例中,显示屏193可用于显示电子设备需要展示的页面,以及各类可能的信息(例如视力健康提醒信息等)。

电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。

移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏193显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或者其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bltooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。

SIM卡接口194用于连接SIM卡。SIM卡可以通过插入SIM卡接口194,或从SIM卡接口194拔出,实现和电子设备的接触和分离。电子设备可以支持一个或多个SIM卡接口。SIM卡接口194可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口194可以同时插入多张卡。SIM卡接口194也可以兼容外部存储卡。电子设备通过SIM卡和网络交互,实现通话以及数据通信等功能。一个SIM卡对应一个用户号码。

可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在本申请另一些实施例中,电子设备也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。

当然,可以理解的,上述图3所示仅仅为电子设备的形态为手机时的示例性说明。若电子设备是平板电脑,手持计算机,PC,PDA,可穿戴式设备(如:智能手表、智能手环)等其他设备形态时,电子设备的结构中可以包括比图3中所示更少的结构,也可以包括比图3中所示更多的结构,在此不作限制。

可以理解的是,一般而言,电子设备功能的实现除了需要硬件的支持外,还需要软件的配合。电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android®系统为例,示例性说明电子设备的软件结构。

图4为本申请实施例提供的电子设备的软件系统的分层架构示意图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口(例如API)通信。

在一些示例中,参照图4所示,在本申请实施例中,将电子设备的软件分为五层,从上至下分别为应用程序层,框架层(或称为应用程序框架层),系统库和安卓运行时(android runtime),HAL层(hardware abstraction layer,硬件抽象层)以及驱动层(或称为内核层)。其中,系统库和安卓运行时还可以称为本地框架层或者native层。

其中,应用程序层可以包括一系列的应用程序。如图3所示,应用程序层可以包括相机、图库、日历、地图、WLAN、蓝牙、音乐、视频、短信息、通话、导航、即时通讯、新闻、壁纸等应用程序(application,APP)。

框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数或服务。例如,应用程序框架层可以包括活动管理器、窗口管理器、内容提供器、音频服务、相机服务、视图系统、电话管理器、资源管理器、通知管理器、包管理器等,本申请实施例对此不做任何限制。

其中,活动管理服务,即为电子设备中的ActivityManagerService。活动管理服务可以用于获取前台活动(activity),即前台应用的活动。其中可以包括有前台应用的信息,这些信息包括但不限于:进程、应用名等信息。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。

内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。这些数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。

相机服务的主要作用是为应用程序提供统一的接口和功能,以访问和操作相机设备(即摄像头)。音频服务的主要作用是为应用程序提供统一的接口和功能,以访问和操作电子设备中的音频模块。

视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备的通信功能。例如,电话管理器可以管理通话应用的通话状态 (包括发起,接通,挂断等)。

资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。

包管理器在安卓®系统中是用于管理应用程序包的。它允许应用程序获取关于已安装应用和它们的服务、权限等的详细信息。包管理器还用于管理应用程序的安装、卸载和升级等事件。

在本申请实施例中,框架层中还可以包括有显示管理器。显示管理器可以在用户使用手机存在对视力健康不利的风险时,及时对显示屏的显示效果调整并对用户进行相关提示,以是用户健康用眼。

示例性的,参照图4所示, 显示管理器可以在硬件抽象层中的感知模块确定出用户使用电子设备时的使用距离,且确定该使用距离过小对视力健康不利时,可以进行视力健康提醒。

视力健康提醒可以包括健康距离提醒,健康距离提醒可以是提示用户保持与显示屏的健康距离。

当然,实际中上述显示管理器的功能也可以是由应用程序层中的某个应用实现,本申请对此不做具体限制。

系统库可以包括多个功能模块。例如:表面管理器(surface manager) ,媒体库(Media Libraries),OpenGL ES,SGL等。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。OpenGL ES用于实现三维图形绘图,图像渲染,合成,和图层处理等。SGL是2D绘图的绘图引擎。

安卓运行时(android runtime)包括核心库和ART虚拟机。android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在ART虚拟机中。ART虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。ART虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。

HAL层是位于操作系统内核与硬件电路之间的接口层,其目的在于将硬件抽象化。它隐藏了特定平台的硬件接口细节,为操作系统提供虚拟硬件平台,使其具有硬件无关性,可在多种平台上进行移植。HAL层提供标准界面,向更高级别的 Java API 框架(即框架层)显示设备硬件功能。HAL 层包含多个库模块,其中每个模块都为特定类型的硬件组件实现一个界面,例如:audio HAL音频模块,bluetooth HAL蓝牙模块,camera HAL相机模块(还可称为相机HAL或相机硬件抽象模块),sensors HAL传感器模块(或称为Isensor service,传感器服务),显示模块(还可称为显示HAL或显示硬件抽象模块)。

在本申请实施例中,HAL层中还可以感知模块。感知模块可以通过各类硬件获取AO图像、使用距离等参数,并基于这些参数建立距离匹配库或确定实时的使用距离。

具体的,在需要建立距离匹配库时,感知模块可以通过AO相机获取包含用户人脸的AO图像,并在获取每张AO图像时通过距离测量器件获取用户人脸与显示屏之间的使用距离。其中,距离测量器件可以为TOF相机、麦克风和扬声器的组合等器件。然后,感知模块则可以基于获取到的多张AO图像以及每张AO图像对应的使用距离建立距离匹配库。具体建立方式在后续实施例中详细阐述,此处对此不做赘述。

在需要确定实时的使用距离时,感知模块可以通过AO相机实时的获取包含用户人脸的AO图像,并结合距离匹配库来确定出用户使用电子设备时,实时的使用距离。

此外,在一些实施例中,因为暗光环境下AO相机可能无法获取到合适的AO图像,则需要使用距离测量器件来确定实时的使用距离。所以,感知模块还可以通过环境光传感器获取环境光亮度,进而在暗光环境(环境光亮度低于预设亮度值)下使用距离测量器件来确定实时的使用距离,在亮光环境(环境光亮度高于预设亮度值)下才使用AO相机获取AO图像后基于距离匹配库来确定实时的使用距离。

需要说明的是,感知模块从AO相机、麦克风和扬声器的组合、TOF相机、环境光传感器等硬件获取上述数据,具体可以是通过相应的驱动和硬件抽象层中的抽象模块获取的,例如对应相机(AO相机和TOF相机)的相机驱动和相机HAL,对应环境光传感器的传感器驱动和传感器HAL,对应麦克风和扬声器的组合的音频驱动和音频HAL等。

此外,在一些实施例中,感知模块还可以基于实时的使用距离,判断用户当前使用手机的场景是否为会对用户的视力造成不利影响的近距离场景。其中,近距离场景可以是实时的使用距离小于健康距离的场景。

内核层是硬件和软件之间的层。内核层至少包含显示驱动,相机驱动,音频驱动,传感器驱动、电池驱动等,本申请不做限定。其中,传感器驱动具体可以包括电子设备包含的每个传感器的驱动,例如环境光传感器驱动等。示例性的,环境光传感器驱动可以响应于HAL层的传感器模块获取检测数据的指示或指令,将环境光传感器的检测数据及时的发送给传感模块。

本申请实施例针对电子设备的软件架构虽然以Android系统为例进行说明,但是其基本原理同样适用于基于鸿蒙

本申请实施例中提供的技术方案均可以在具有上述硬件架构或者软件架构的电子设备中实现。

基于上述图3所示的硬件架构和图4所示的软件架构,以下结合图5所示,对本申请实施例提供的距离确定方法进行介绍。图5为本申请实施例提供的一种距离确定方法的流程示意图。参照图5所示,以电子设备为手机,该距离确定方法可以包括S501-S505:

S501、手机响应于用户的第一操作,开启测距功能。

其中,第一操作可以是能够开启手机的测距功能。例如,触摸操作、语音指令等。在手机开启了测距功能后,手机便可以在被用户使用时,获取AO图像,并结合距离匹配库,实时确定用户的使用距离(即目标使用距离)。也就是说,手机开启测距功能后,手机可以具备基于距离匹配库和AO图像确定所述目标使用距离的能力。

本申请实施例中,手机的下拉菜单、手机的设置菜单、手机中用于进行测距功能设置的相关弹窗中均可以包括有用于开启或关闭测距功能的相关控件或选项。上述第一操作可以是用户对该相关控件的点击操作。

示例性,以手机的设置菜单中包括测距功能的选项(即后续的“屏幕距离”选项)为例,第一操作可以为用户在手机的设置菜单中对屏幕距离选项的相关操作。

具体的,参照图6中(a)所示,手机的设置菜单中显示“屏幕距离”选项13,手机响应于用户对“屏幕距离”选项13的点击操作,可以显示如图6中(b)所示的屏幕距离设置界面14。参照图6中(b)所示,屏幕距离设置界面14中包括有“立即开启”字样对应的第一控件15。手机默认关闭测距功能,即如图6中(b)所示的第一控件15中的滑块处于左侧。

一种可行的实现方式中,手机响应于用户对第一控件15的点击操作,可以显示如图6中(c)所示的界面。该界面中,第一控件15中的滑块已移动至右侧,且第一控件15左侧区域为预定颜色(例如蓝色)。这种情况下,手机响应于用户对图6中(b)所示的第一控件15的点击操作,可以开启测距功能。

该实现方式中,第一操作具体可以包括前述对“屏幕距离”选项13的点击操作以及对第一控件15的点击操作。

在另一种可行的实现方式中,手机的设置菜单中还可以包括健康使用手机的选项,健康使用手机的设置界面中则可以包括屏幕距离的开启控件。此时,第一操作可以为用户在手机的设置菜单中对健康使用手机选项的触发操作(例如点击操作)以及对健康使用手机的设置界面中屏幕距离的开启控件的触发操作(例如点击操作)。

示例性,参照图6中(a)所示,手机的设置菜单中显示“健康使用手机”选项16,手机响应于用户对“健康使用手机”选项16的点击操作,可以显示如图6中(d)所示的健康使用手机的设置界面17。参照图6中(d)所示,健康使用手机的设置界面17中包括有“屏幕距离”字样对应的第二控件18。手机默认关闭测距功能,即如图6中(d)所示的第二控件18中的滑块均处于左侧。手机此时可以接收用户对第二控件18的点击操作,响应于该点击操作,手机可以将第二控件18中的滑块移动至右侧,并开启屏幕距离模式。

另外,需要说明的是,上述实现方式中,测距功能的开启相当于上一种实现方式中的手机响应于用户对第一控件15的点击操作开启的测距功能,这两种形式开启的测距功能会使手机一直开启测距功能,直至用户通过对第一控件或第二控件的再次触发关闭测距功能。当然,实际中,测距功能的开启时段也可以由用户操作设置,具体实现可以是任意可行方式,本申请对此不做具体限制。

在一些实施例中,用户通过实施第一操作开启手机的测距功能时,可能是该手机首次(或称为出厂后首次)响应于用户的第一操作并开启测距功能,此时手机中可能并未存储有距离匹配库。而由于手机开启测距功能后,是需要结合距离匹配库来确定用户使用电子设备的目标使用距离(即实时的使用距离)的。所以此时,手机在接收到第一操作后,响应于该开启操作,则首先应当指示用户配合建立距离匹配库,建立完距离匹配库后,再开启测距功能。基于此,在这种情况下,结合图5,参照图7所示,S501具体可以包括S5011-S5014:

S5011、手机响应于用户的第一操作,显示第一界面。

其中,第一界面包括录入区域,录入区域用于显示AO相机拍摄到的第二AO图像。示例性的,参照图8中(a)所示,该录入区域801用于显示AO相机拍摄到的第二AO图像。在本申请实施例中,AO相机可以是手机的显示屏一侧,能够拍摄显示屏正对方向的图像某个前置摄像头,或者某个前置摄像头的功能模块。

实际中,由于AO相机拍摄得到的图像一般为灰度图像,如果直接承载在录入区域会给用户造成不好的观感。基于此,在一些实施例中,为了使得用户在录入区域可以看到更为清晰的图像,录入区域中显示的图像可以是由AO相机拍摄的第二AO图像以及由正常的前置摄像头拍摄的RGB图像合成得到。

在一些实施例中,该第一界面中还显示有录入提示信息、当前感知距离以及录入进度信息。

其中,录入提示信息用于指示用户在建立距离匹配库时,如何录入不同距离下的包含用户人脸的AO图像。例如,参照图8中(a)所示,该录入提示信息802具体可以为:请将脸部置于上方圆形区域内,并于不同距离前后左右转动手机,以录入人脸信息。当然,实际中录入提示信息的具体内容可以为其他任意可能的内容,本申请对此不做具体限制。

当前感知距离则为手机使用任意可能的距离感知器件得到的当前用户人脸与手机显示屏之间的使用距离。距离感知器件具备测量用户人脸与手机显示屏之间的使用距离的能力。示例性的,距离感知器件可以为手机中TOF相机、麦克风和扬声器的组合以及雷达等多种器件中的任一个或任一组。示例性的,参照图9所示,手机在建立距离匹配库时,可以使用TOF相机来获取每个AO图像对应的用户人脸与手机显示屏之间的距离信息(即使用距离)。在一种可能的实现方式中,参照图8中(a)所示,当前感知距离803的具体示例可以为:“当前感知距离约为:45cm”。此外,需要说明的是,本申请中的使用距离具体可以是指用户人脸中两个人眼的中点连线的中点,与手机显示屏所在平面之间的距离。

录入进度信息则用于指示多种预设使用距离需要的所有人脸特征的获取进度。例如,参照图8中(a)所示,录入进度信息804可以使用任意可能的进度条8041表示当前哪些预设使用距离需要的人脸特征已被录入完成,以及哪些预设使用距离需要的人脸特征还未录入完成。进度条8041的特定区域(例如下方)则可以包括有用于表征进度条的不同位置对应的预设使用距离的值,例如15cm、30cm、45cm、60cm等。如图8中(a)所示,若已经获取到了15cm-45cm这个范围内的预设使用距离需要的人脸特征,则可以将进度条中对应15cm-45cm的部分以第一显示方式(例如高亮显示)显示。同时,可以将进度条中不对应15cm-45cm的部分以第二显示方式(例如低亮显示)显示。这样,便可以利用进度条中不同部分显示方式的区别提示用户哪些预设使用距离需要的人脸特征已录入结束,哪些预设使用距离需要的人脸特征还未录入。当然,上述提示方式仅为示例,实际中的具体提示方式可以采用任意可行的实现方式,本申请对此不做具体限制。

在一些实施例中,手机开始显示第一界面时,用户的人脸与手机显示屏之间的使用距离可能并不是待建立的距离匹配库中多种预设使用距离中最小的一个。例如,若待建立的距离匹配库中多种预设使用距离包括15cm-60cm这个范围内的多个预设使用距离,且手机开始显示第一界面时用户人脸与手机显示屏之间的使用距离为45cm,则进度条可以如图8中(b)所示。其中,进度条8041中代表45cm的部分可以以第一显示方式和第二显示方式两种显示方式交替显示(或称为闪烁),其余部分则以第二显示方式显示。这样,便可以利用进度条的变化来提示用户哪些预设使用距离需要的人脸特征已开始录入,哪些预设使用距离需要的人脸距离还未开始录入,哪些预设使用距离需要的人脸距离已经录入完成。当然,上述提示方式仅为示例,实际中的具体提示方式可以采用任意可行的实现方式,本申请对此不做具体限制。

此外,实际中,为了使得手机可以建立出更为完善的距离匹配库(即每种预设使用距离都有多种对应的人脸特征),在手机显示第一界面,且用户调整使用距离以及用户人脸的角度时,手机还可以有其他任意可行的提示信息。例如,在录入区域中AO图像包括的用户人脸存在较大缺失(即不为有效人脸)的情况下,可以提示用户调整距离或用户人脸的角度,以使得录入区域中的用户人脸更为完整。

图8(图8中(a)和图8中(b))所示的录入进度信息的具体实现仅为示例,实际中录入进度信息的具体实现可以为其他任意可能的形式,本申请对此不做具体限制。

在手机显示了第一界面后,用户便可以根据第一界面中的各种提示信息,调整用户人脸与手机显示屏之间的使用距离,并调整用户人脸的角度(或称为人脸朝向),以使得手机可以获取到多种不同预设使用距离下,多种包括不同角度(或称为不同人脸朝向)的用户人脸的AO图像。也就是说,手机在显示了第一界面后,通过用户的调整,手机通过AO相机和距离感知器件可以获取到多种预设使用距离中,每种预设使用距离对应的至少一个包括用户人脸的AO图像;对应同一预设使用距离的不同AO图像中人脸图像的人脸朝向可以不同。本申请中,预设使用距离可以为用户人脸与拍摄包括用户人脸(或称为用户人脸对应的人脸图像)的AO图像的电子设备(例如手机)的显示屏之间的距离。

示例性的,多种预设使用距离可以包括10cm、15cm、20cm、25cm、30cm、35cm、40cm、45cm、50cm、55cm和60cm。在本申请实施例中,人脸朝向可以是AO图像在获取到包括人脸图像的AO图像后,通过任意可行的人脸姿势估计方法对AO图像中的人脸图像进行处理后得到的。

例如,该人脸姿势估计方法中,首先可以通过关键点识别模型标定人脸图像中的关键点(例如眼睛、鼻子和嘴巴等关键位置的关键点),得到关键点的坐标。之后,可以基于人脸图像中关键点的坐标,对人脸姿势进行估计,从而得到人脸朝向。人脸朝向可以使用欧拉角(Euler Angles)表示,欧拉角可以包括俯仰角(pitch)、航向角(yaw)和横滚角(roll)。俯仰角用于表示人脸以左右方向为轴(可以认为是空间坐标系中的X轴)进行旋转的旋转角度,航向角用于表示人脸以上下方向为轴(可以认为是空间坐标系中的Z轴)进行旋转的旋转角度,横滚角用于表示人脸以前后方向为轴(可以认为是空间坐标系中的Y轴)进行旋转的旋转角度。

在获取到第二AO图像后,手机则可以进一步获取第二AO图像中人脸图像的人脸特征,即执行S5012。

S5012、手机利用特征提取模型提取第一界面中显示的第二AO图像中的第二人脸特征。

在手机显示了第一界面,AO相机可以是连续不断(或者采用短周期周期性的)的获取第二AO图像的,而由于用户调整用户人脸与手机显示屏之间的相对位置关系,使得完整的用户人脸位于第一界面中的录入区域中是需要一定过程的。在这个过程中,AO相机获取到的第二AO图像不一定存在较为完成的人脸图像(即不为有效人脸),所以为了减少计算资源的消耗,手机可以不对每个第二AO图像都进行人脸特征的提取。

具体的,手机在获取到了某个第二AO图像后,可以首先通过任意可行的人脸识别算法判断第二AO图像中是否存在有效人脸(或称为有效人脸图像)。即执行S5012前,需要先通过任意可行的人脸识别算法判断第二AO图像中是否存在有效人脸。

示例性的,人脸识别算法可以为基于特征的算法或者基于机器学习的算法等任意可能的算法。其中,基于特征的算法是利用人脸的内在特征,如眼睛、嘴巴、鼻子等部位的形状、大小、位置等信息,以及它们之间的相对位置关系等,来进行人脸的有效性判断。基于机器学习的算法则可以是通过训练得到的能够对有效人脸图像进行识别的模型。

在本申请实施例中,有效人脸图像可以指至少包括“T”型区域的预设百分比的信息的人脸。其中,“T”型区域是指包括有两个眼睛以及鼻子的区域。示例性的,预设百分比可以为80%。

在确定第二AO图像中不存在有效人脸的情况下,则不对该第二AO图像中用户人脸的第二人脸特征进行提取。在确定第二AO图像中存在有效人脸的情况下,则对该第二AO图像中用户人脸的第二人脸特征进行提取,即执行S5012。本申请中,第二人脸特征用于反映第二AO图像中人脸图像的特征以及第二AO图像中人脸图像与背景图像之间相对位置关系。

在一种可实现的方式中,手机可以是在每获取到一张存在有效人脸的第二AO图像后,执行S5012以通过特征提取模型,获取该第二AO图像中的第二人脸特征。在获取到足够多的包含有效人脸的AO图像后,手机也就可以通过多次S5012的执行,获取到每个第二AO图像中的第二人脸特征,从而得到多个第二人脸特征的特征向量集合。

在另一种可实现的方式中,参照图9所示,手机可以是在获取到足够的包括有效人脸的AO图像(可以称为有效人脸集合)后,执行S5012以通过特征提取模型,获取每个AO图像中的人脸特征,从而得到多个人脸特征的特征向量集合。

在本申请实施例中,特征提取模型可以是在实施本申请提供的距离确定方法之前,训练设备预先训练得到的,具备从包含用户人脸的AO图像中提取人脸特征的能力的模型。由于特征提取模型需要具备提取人脸特征的能力,所以其模型本身可以是专门提取人脸特征的模型,也可以是需要提取人脸特征并基于人脸特征做出特定处理的模型。而由于训练专门提取人脸特征的模型大概率是需要事先采用人工手段得到样本AO图像中的人脸特征,作为监督信息或者其他用于调整模型参数的信息。而这样的计算量是较大的。

基于此,在本申请实施例的一种可能的实现方式中,特征提取模型可以是需要提取人脸特征并基于人脸特征做出特定处理的模型,例如可以是具备利用包含用户人脸的AO图像,得到用户人脸与拍摄AO图像的手机的显示屏之间的使用距离的距离检测模型。在一些实施例中,将包含用户人脸的AO图像输入该距离检测模型中后,其全连接层的前一层或者最后一个卷积层的输出便可以是本申请所需要的人脸特征。

示例性的,以特征提取模型为距离检测模型为例,训练设备对该距离检测模型的训练过程可以包括S1和S2:

S1、训练设备获取至少一组样本数据,以及每组样本数据对应的距离标签。

其中,每组样本数据可以包括AO图像(或称为样本AO图像)和AO图像中的人脸图像(或称为样本人脸图像)。

一种可实现的方式中,至少一组样本数据中的多个包括人脸图像的AO图像,可以是使用手机的AO相机在横屏和竖屏两种情况下,在不同的使用距离下,对多个人物不同脸部朝向(或称为不同角度)的脸部进行拍摄得到的。其中,不同的使用距离可以10cm-60cm。多个人物则可以包括不同年龄、不同性别、不同体型(胖瘦,和/或,身高不同)的人物。在拍摄得到包含人脸图像的AO图像后,手机便可以使用特定的人脸检测截取模型或者预设的图像语义分割网络,从该AO图像中分割得到人脸图像。当然,具体如何从AO图像中得到人脸图像,本申请不做具体限制,以实际实现为准。

示例性的,包含人脸图像的AO图像可以如图10中(a)所示,该AO图像中可以既包括人脸图像又包括背景信息,以方便后续距离检测模型在训练过程中得到用户人脸与背景之间的相对位置关系。分割出的人脸图像可以如图10中(b)所示,该人脸图像中可以仅包括人脸图像,以方便后续距离检测模型在训练过程中得到用户人脸的具体特征。

在拍摄AO图像的同时,可以同时使用手机中的距离感知器件测量用户人脸与手机显示屏之间的距离,以将该距离作为该AO图像所属的一组样本数据对应的距离标签。也就是说说,距离标签用于表征样本AO图像中的人脸图像对应的用户人脸,与拍摄样本AO图像的电子设备的显示屏之间的使用距离。

示例性的,该距离感知器件可以为手机中TOF相机、麦克风和扬声器的组合以及雷达等多种器件中的任一个或任一组。

此外,实际中使用距离检测模型提取某个AO图像中的人脸特征时,AO图像中的人脸图像可能并不完整。为了使得该距离检测模型可以在AO图像中的人脸图像并不完整或并不清晰的情况下,也可以得到相应的人脸特征。在获取到至少一组样本数据后,还可以对每组样本数据中的AO图像和人脸图像的相同区域进行预处理,例如裁剪、加噪等。这样一来,一组样本数据通过预处理便可以得到更多组的新样本数据,其同一组样本数据得到的多组新样本数据中的人脸图像(包括AO图像中的人脸图像,以及从AO图像中分割出的人脸图像)可以不完整或不清晰。新样本数据的距离标签为生成新样本数据的样本数据的距离标签。之后,在训练距离检测模型时,则可以将通过预处理得到的新样本数据也作为至少一组样本数据中的样本数据进行距离检测模型的训练。

这样一来,最终训练出的距离检测模型可以对更多场景中的AO图像进行处理,得到人脸特征,提高了距离检测模型的鲁棒性。进一步的,后续手机使用该距离检测模型确定目标使用距离时,由于利用该距离检测模型可以在AO图像中的人脸图像的信息不完整或者不清晰的情况下,也可以得到AO图像中的人脸特征,进而可以顺利完成目标使用距离的确定,提高用户的使用体验。

S2、训练设备以样本数据作为训练数据,样本数据对应的距离标签作为监督信息,迭代训练初始模型,得到距离检测模型。

其中,初始模型可以是任意可行的神经网络模型。在一种可能的实现方式中,该初始模型可以是基于变换Transformer网络构建得到的神经网络模型。示例性,该初始模型架构可以如图11所示,该初始模型架构中可以包括两个Transformer网络,即Transformer网络1、Transformer网络2、特征拼接层、卷积层和全连接层。其中,Transformer网络1的输入为样本数据中的AO图像,Transformer网络2的输入为样本数据中的人脸图像,Transformer网络1和Transformer网络2的输出则作为特征拼接层的输入,特征拼接层输出则作为卷积层的输入,卷积层的输出则作为全连接层的输入,全连接层的输出则可以为初始模型的最终输出。

其中,Transformer网络1主要用于对AO图像中背景信息和人脸图像之间的相对位置的特征进行提取,Transformer网络2主要用于对人脸图像中的人脸的面部特征进行提取。特征拼接层则用于将Transformer网络1和Transformer网络2提取的特征进行拼接得到拼接特征。卷积层则用于对特征拼接层输出的拼接特征进行卷积运算,得到能够反映出AO图像中人脸图像的特征以及人脸图像与背景图像之间相对位置关系的人脸特征。全连接层则用于对卷积层得到的人脸特征进行处理,从而得到预测使用距离。

当然,实际中,初始模型的结构,还可以是其他任意可行的神经网络结构,本申请对此不做具体限制。

最终得到的距离检测模型和初始模型的结构相同,模型参数不同。最终训练得到的距离检测模型也就可以具备利用AO图像和AO图像中的人脸图像,得到AO图像中人脸特征的能力。

在一些实施例中,S2具体可以包括如下步骤:

S21、训练设备初始化初始模型。

其中,初始化初始模型具体可以是依据任意可行的初始化方法初始化该初始模型中的权值参数和偏置参数等参数。常用的初始化方法有四种,分别是高斯初始化、Xavier初始化、MSRA初始化和He初始化。一般都是把偏置参数初始化为0,对权值参数进行随机初始化。具体的初始化过程本申请不再详细介绍。

S22、训练设备将样本数据输入初始模型,得到预测距离。

S22步骤中的样本数据可以为至少一组样本拍摄图像中的任一组。

S23、训练设备根据预测距离和样本数据对应的距离标签,确定损失值。

其中,损失值可以是根据任意可行的损失函数得到的,本申请对此不做具体限制。

S24、训练设备根据损失值迭代更新初始模型,以得到距离检测模型。

具体的,该S24步骤可以是依据损失值对初始模型进行调参(调整权重参数和偏置参数等),每次调参后则重复执行S22-S24步骤,直至损失值小于预设失值的情况下,将当前的初始模型确定为距离检测模型。每次重复执行S22-S24步骤时,输入至初始模型的样本数据可以是不同的。预设损失值可以是根据经验得出的,可以认为在损失值小于预设损失值的情况下,该距离检测模型基于给AO图像和人脸图像预测得到的预测使用距离与实际的使用距离的误差属于可接受的范围。

在另一些实施例中,每组样本数据中也可以仅包括AO图像。使用该种样本数据训练距离检测模型的过程与上述S1和S2表述的过程类似。区别在于,初始模型的架构会略有区别,初始模型仅会存在一个输入,而不是如上述实施例中所提到的两个输入。

这两种训练距离检测模型的方式的区别在于,样本数据包括AO图像和人脸图像的训练方式中,模型可以更加专注的学习人脸的特征,减少背景图像和其他非关键信息的干扰,进而可以更准确的估计出用户人脸与手机显示屏之间的使用距离。而,样本数据仅包括AO图像的训练方式中,不需要预先从AO图像中分割出人脸图像,减少了预处理步骤,但是训练过程中,从AO图像中提取用户人脸相关的特征以及背景与用户人脸之间相对位置特征所需要的计算资源更多。具体选择哪种训练方式可以根据实际需求而定,本申请对此不做具体限制。

当然,实际中训练距离检测模型还可以采用其他任意可行的实现方式,本申请对此不做具体限制。

在训练设备训练好距离检测模型后,便可以将距离检测模型提供给手机使用,以供手机实现本申请提供的距离确定方法。

基于上述S1和S2对应的技术方案,通过监督学习的方式,便可以顺利得到能够基于AO图像以及AO图像中的人脸图像得到,相应用户人脸与手机显示屏之间的使用距离的距离检测模型。而这个距离检测模型在训练成功后,必然具备判定某个包含人脸图像的AO图像的人脸特征(能够用于反映AO图像中人脸图像的特征以及AO图像中人脸图像与背景图像之间相对位置关系的特征)的能力。也就可以为后续建立距离匹配库提供数据支持。这样一来,在建立了距离匹配库后,也就可以基于距离匹配库确定出用户使用手机时的目标使用距离。

需要说明的,上述S1和S2对应的技术方案仅以特征提取模型为距离检测模型为例,对特征提取模型的训练过程进行了示例性说明,实际中特征提取模型若为准备进行特征提取的模型,则实现方式可以为其他任意可行的方式,本申请对此不做具体限制。

S5013、手机在获取到多种预设使用距离中,每种预设使用距离对应的至少一个人脸特征的情况下,建立距离匹配库。

其中,对应同一预设使用距离的不同人脸特征所属的AO图像中人脸图像的人脸朝向不同。距离匹配库中包括多种预设使用距离中,每种预设使用距离与至少一个人脸特征的对应关系。

示例性的,参照图9所示,手机在获取到多种预设使用距离中,每种预设使用距离对应的至少一个人脸特征的情况下,即相当于手机获取到了所有预设使用距离对应的所有人脸特征组成的特征向量集合,并获取到了所有的预设使用距离组成的距离信息。此时,手机则可以基于距离信息和特征向量集合构建出距离匹配库。

S5014、手机不再显示第一界面,并开启测距功能。

在一些实施例中,为了对用户进行提示,手机开启了测距功能,还可以显示开启提示信息。该开启提示信息可以提示用户测距功能已开启。示例性的,如图8中(c)所示,该开启提示信息具体可以为:已开启屏幕距离提醒功能!该开启提示信息在显示预设时长(例如2s)后则会自动消失不再显示。

基于上述S5011-S5014对应的技术方案,手机便可以建立距离匹配库,进而顺利开启测距功能。之后,手机便可以基于距离匹配库,准确的确定出用户使用手机时用户人脸与手机显示屏之间的目标使用距离。

此外,实际中用户的人脸可能会随着时间产生不可预知的变化,所以为了能够更为准确的基于距离匹配库确定目标使用距离,需要周期性更新距离匹配库。例如,每隔三个月更新一次距离匹配库,该三个月即为更新距离匹配库的更新周期。更新距离匹配库时的具体过程可以参照上述S5011-S5014的相关表述。若用户某次关闭了测距功能后,长时间(超过更新周期)不主动实施第一操作开启测距功能,则手机可以在下一次用户实施第一操作时,实施上述S5011-S5014的技术方案,以更新距离匹配库。若用户开启了手机的测距功能后,长时间(超过更新周期)不关闭,则手机可以在下一次用户重新开启测距功能时实施上述S5011-S5014的技术方案,以更新距离匹配库。当然,更新距离匹配库的具体时机还可以是其他任意可行的时机,本申请对此不做具体限制。

在手机开启了测距功能后,AO相机便可以常开,并实时不间断的拍摄获取AO图像,即执行S502。

S502、手机通过AO相机拍摄第一AO图像。

在手机通过AO相机拍摄到第一AO图像的情况下,若确定第一AO图像中存在人脸图像,则可以提取出第一AO图像中的人脸特征后,结合距离匹配库得到用户人脸与手机显示屏之间的目标使用距离。即执行S503和S504。若确定AO图像中不存在人脸图像,则可以不获取该AO图像中的人脸特征,而是拍摄下一张AO图像后,再次确定新的AO图像中是否存在人脸图像。

S503、在第一AO图像中存在人脸图像的情况下,手机基于特征提取模型获取该第一AO图像中的第一人脸特征。

具体的,手机在获取到了某个AO图像后,利用任意可行的人脸检测算法,判断AO图像中是否存在人脸图像。示例性的,人脸检测算法可以为Viola-Jones算法、基于哈尔Haar特征的adaboost算法、基于局部二值模式(local binary pattern,LBP)特征的adaboost算法,以及其他具备识别人脸功能的深度学习模型等。本申请对此不做具体限制。

其中,特征提取模型具备获取AO图像中的人脸特征的能力。人脸特征则可以为用于反映AO图像中人脸图像的特征以及人脸图像与背景图像之间相对位置关系的特征。也就是说,本申请中,基于特征提取模型获取的第一人脸特征,用于反映第一AO图像中人脸图像的特征以及第一AO图像中人脸图像与背景图像之间相对位置关系。

在一种可能的实现方式中,特征提取模型可以为前述实施例中提到的使用包含AO图像和AO图像中的人脸图像的样本数据训练得到的距离检测模型,该距离检测模型则可以为具备利用AO图像和AO图像中人脸图像,得到AO图像中人脸图像所属的用户人脸与手机显示屏之间的使用距离的能力。

在该种可能的实现方式中,S503执行过程中,手机基于特征提取模型获取该第一AO图像中的人脸特征则可以包括:手机获取第一AO图像中的第一人脸图像;手机将第一AO图像和该第一人脸图像输入至该距离检测模型中,以得到第一AO图像中的第一人脸特征。

在另一种可能的实现方式中,特征提取模型可以为前述实施例中提到的使用仅包含AO图像的样本数据训练得到的距离检测模型,该距离检测模型则可以为具备利用AO图像,得到AO图像中人脸图像所属的用户人脸与手机显示屏之间的使用距离的能力。

在该种可能的实现方式中,S503执行过程中,手机基于特征提取模型获取该第一AO图像中的人脸特征则可以包括:手机将第一AO图像输入至该距离检测模型中,以得到第一AO图像中的第一人脸特征。

实际中,如果AO图像中的人脸图像的信息缺失过大,则有可能导致手机得出的第一人脸特征不够准确,后续利用距离匹配库得出的目标使用距离与实际距离则会相差较大。进而手机基于该目标使用距离做出的一些操作或输出的一些提示信息也会不准确,影响用户的使用体验。

基于此,在一些实施例中,为了更准确的得到用户人脸与手机显示屏之前的目标使用距离,手机可以仅在第一AO图像包括有效人脸图像(或称为有效人脸)的情况下,获取第一AO图像中的人脸特征,进而确定目标使用距离。其中,有效人脸图像定义可以参照前述实施例中S5012后的相关表述,此处不再赘述。手机对第一AO图像中是否存在有效人脸图像的判断,可以是通过任意可行的人脸识别算法实施的,具体可以参照前述实施例中S5012后的相关表述,此处不再赘述。

在该种实施例中,参照图9所示,在用户使用手机的过程中,手机在确定AO相机拍摄的AO图像中存在有效人脸的情况下,则可以使用特征提取模型获取AO图像中的人脸特征,即得到人脸特征对应的特征向量。

在手机得到第一AO图像中的第一人脸特征后,手机则可以使用预先建立的距离匹配库来确定目标使用距离,即执行S504。

S504、手机确定距离匹配库中与第一人脸特征匹配的至少一个待定使用距离。

其中,与第一人脸特征匹配的待定使用距离可以是指距离匹配库中的所有人脸特征中,与第一人脸特征的相似度大于预设阈值的至少一个第二人脸特征对应的预设使用距离。示例性的,预设阈值可以为70%等任意可行的值。

在获取到与第一人脸特征匹配的待定使用距离后,手机便可以基于待定使用距离来确定出用户人脸与手机显示屏的实时使用距离(即目标使用距离),即执行S505。

S505、手机基于至少一个待定使用距离确定目标使用距离。

示例性的,参照图9所示,在手机得到用户使用手机的使用过程中,表示AO图像中人脸特征的特征向量后,便可以结合预先建立的距离匹配库,确定出目标使用距离。

实际中,由于用户使用手机姿态是存在多种可能性,用户使用手机的环境也是存在多种可能性的。基于此,手机从第一AO图像中获取的第一人脸特征,大概率不会与距离匹配库中的某个人脸特征完全相同,而是可能存在多个人脸特征(即至少一个第二人脸特征)都与第一人脸特征相似。

在这种情况下,如果这多个人脸特征对应的预设使用距离(即至少一个待定使用距离)相差较大,则可以认为第一人脸特征可能是存在错误的,此时则无法确定用户人脸与手机显示屏的实时使用距离(即目标使用距离)。此时,则可以使用下一张AO图像来获取目标使用距离。如果这多个人脸特征对应的预设使用距离相差较小乃至相同,则可以认为第一人脸特征大概率是准确的。此时可以使用这多个人脸特征对应的预设使用距离来确定目标使用距离。

基于此,在一些实施例中,结合图5,参照图12所示,S505具体可以包括S505A:

S505A 、手机在至少一个待定使用距离中不同的待定使用距离之差均小于预设差值的情况下,将至少一个待定使用距离的平均值确定为目标使用距离。

示例性的,预设差值可以为5cm等任意可能的数值。当然,实际中,在至少一个待定使用距离中不同的待定使用距离之差均小于预设差值的情况下,手机还可以利用至少一个待定使用距离采用其他任意可能的方式,确定目标使用距离,例如将去除极值后的所有待定使用距离的平均值作为目标使用距离等。本申请对此不做具体限制。

这样一来,手机便可以得到更为准确的目标使用距离。

此外,需要说明的是,实际中其实也可以直接使用预先训练的作为特征提取模型的距离检测模型,来判断AO图像中人脸图像对应的用户人脸与手机显示屏之间的目标使用距离。但是,由于模型训练必然可能存在样本数据不能囊括所有场景的现象,所以直接使用距离检测模型得到的目标使用距离,有可能会存在较大的错误。而结合距离检测模型和距离匹配库确定目标使用距离时,由于是首先基于距离检测模型得到的第一人脸特征,从距离匹配库中得出的至少一个待定使用距离,而后基于至少一个待定使用距离确定最终的目标使用距离的。所以相比于仅使用距离检测模型得到一个无法和其他距离值对比修改的目标使用距离而言,上述实施例中提供的确定目标使用距离的方式,得到的目标使用距离会更为准确。进而手机基于该目标使用距离做出的一些操作或输出的提示信息也会更准确,提高了用户的使用体验。

基于上述S501-S505对应的技术方案,在用户打开手机的测距功能使用手机时,手机可以通过AO相机拍摄包含人脸的AO图像(即第一AO图像)。之后,则结合该AO图像以及预先建立的距离匹配库,便可以准确的确定出用户人脸与手机的显示屏之间的目标使用距离。由于AO相机的功耗很低可以在用户使用手机时常开,所以该技术方案可以较低的功耗的确定出用户人脸与手机的显示屏之间的实时距离(即目标使用距离)。

进一步的,由于AO相机可以常开,所以本申请提供的技术方案在用户使用手机时可以连续的实施,从而连续的获取用户人脸与手机的显示屏之间的实时距离。这样一来,通过本申请提供的技术方案,手机在需要确定保护用户视力的护眼策略时,便可以获取到充足的距离数据(包括多个连续的时刻下,用户人脸与手机的显示屏之间的实时使用距离),从而得到更为准确的护眼策略,也就可以更好的保护使用手机的用户的视力,提高用户的使用体验。

实际中,用户在使用手机时,可能处于明亮的亮光环境,也可能处于阴暗的暗光环境中。在处于亮光环境中,由于环境光亮度较高,AO相机可以获取到较为清晰的AO图像。此时,也就可以实施上述实施例中提供的距离确定方法。而在暗光环境中,由于环境光亮度较低,AO相机获取的AO图像不够清晰,即便包括人脸图像也无法获取到准确的人脸特征。此时,则需要手机通过自身配置的距离感知器件来获取用户人脸与手机显示屏的目标使用距离。

示例性的,以距离感知器件为TOF相机为例,参照图13所示,在手机响应于用户实施的第一操作,开启了测距功能后,手机可以在通过AO相机获取AO图像的同时,还通过环境光传感器获取环境光亮度。在环境光亮度大于预设亮度值的情况下,则可以认为手机处于亮光环境;在环境光亮度小于预设亮度值的情况下,则可以认为手机处于暗光环境。示例性的,以环境光亮度以照度表示为例,预设亮度值可以为15勒克斯lux。环境光亮度则可以是环境光传感器检测得到的。

在环境光亮度大于预设亮度值的情况下,手机可以在使用AO相机获取到包含人脸图像高的AO图像后,通过特征提取模型和距离匹配库,得到AO匹配距离,即目标使用距离。具体实现过程可以参照前述实施例中S502-S504的相关表述,此处不再赘述。

在环境光亮度小于预设亮度值的情况下,手机可以直接使用TOF相机获取用户人脸与手机显示屏之间的TOF观测距离,并将TOF观测距离作为目标使用距离。

基于此,在一些实施例中,结合图5,参照图14所示,本申请提供的距离确定方法,在S501之后,还包括S501A、S501B和S506:

S501A、手机获取环境光亮度。

在一种可能的实现方式中,手机可以通过环境光传感器获取手机当前所处环境的环境光亮度。

S501B、手机判断环境光亮度是否小于预设亮度值。

示例性的,预设亮度值可以为15lux等任意可能的数值,本申请对此不做具体限制。

在环境光亮度小于预设亮度值的情况下,手机可以认为当前处于暗光环境,此时AO相机获取的AO图像不够清晰,使用AO图像来确定目标使用距离是不准确的。所以,此时应当使用距离感知器件来获取目标使用距离,即执行S506。

在环境光亮度大于预设亮度值的情况下,手机可以认为当前处于亮光环境,此时AO相机获取的AO图像清晰度足够,使用AO图像来确定目标使用距离是准确且低功耗的。所以,此时应当基于AO图像来去确定目标使用距离,即执行S502。

当然,在一些实施例中S502可以在手机开启了测距功能后,不间断的实施,此时S501A和S501B可以是S502后实施。之后,在确定环境光亮度大于预设亮度值的情况下,执行S503;在确定环境光亮度小于预设亮度值的情况下,执行S506。

需要说明的是,环境光亮度等于预设亮度值的情况,可以归于环境光亮度大于预设亮度值的情况,也可以归于环境光亮度小于预设亮度值,图13和图14中仅以环境光亮度等于预设亮度值的情况归于环境光亮度大于预设亮度值的情况为例,进行了说明。实际中也可以将环境光亮度等于预设亮度值的情况归于环境光亮度小于预设亮度值的情况,本申请对此不做具体限制。

S506、手机通过距离感知器件获取目标使用距离。

示例性的,距离感器器件可以为手机中TOF相机、麦克风和扬声器的组合以及雷达等多种器件中的任一个或任一组。

此外,由于距离感知器件的功耗较高,为了降低功耗,参照图13所示,在手机处于暗光环境(即环境光亮度小于预设亮度值)的情况下,可以周期性的通过距离感知器件获取目标使用距离。例如,在暗光环境下,每隔预设时长获取一次目标使用距离。示例性的,预设时长可以为20s。当然,若暗光环境的持续时长未超过预设时长,则在暗光环境中,手机仅为通过距离感知器件获取一次目标使用距离。

基于上述S501A、S501B和S506对应的技术方案,手机便可以保证在暗光环境下,AO相机拍摄的AO图像清晰度下降乃至无法获取其中的人脸特征的情况下,使用距离感知器件获取目标使用距离。这样一来,无论手机处于亮光环境还是暗光环境,手机都可以顺利的获取到目标使用距离,进而可以基于该目标使用距离进行保护用户视力相关的操作或输出保护用户视力相关的提示,提高用户的使用体验。

可以理解的是,上述电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。

本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

本申请实施例还提供一种电子设备,该电子设备包括:显示屏、存储器和一个或多个处理器;显示屏、存储器与处理器耦合;其中,存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行如前述实施例提供的距离确定方法。该电子设备的具体结构可参照图3中所示的电子设备的结构。

本申请实施例还提供一种训练设备,该训练设备包括处理器和存储器;该存储器用于存储可执行指令,该处理器被配置为执行该存储器存储的该可执行指令,以使该训练设备执行如上述实施例中提供的距离检测模型生成方法。

本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如前述实施例提供的距离确定方法。

本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当计算机指令在训练设备上运行时,使得训练设备执行如前述实施例提供的距离检测模型生成方法。

本申请实施例还提供一种计算机程序产品,该计算机程序产品包含可执行指令,当该计算机程序产品在电子设备上运行时,使得电子设备执行如前述实施例提供的距离确定方法。

本申请实施例还提供一种计算机程序产品,该计算机程序产品包含可执行指令,当该计算机程序产品在训练设备上运行时,使得训练设备执行如前述实施例提供的距离检测模型生成方法。

通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置/设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

相关技术
  • 一种行程距离、物流服务行程时间确定方法、装置和系统
  • 确定激光加工头与工件距离的测量设备、激光加工系统和确定激光加工头与工件距离的方法
  • 确定激光加工头与工件距离的测量设备、激光加工系统和确定激光加工头与工件距离的方法
技术分类

06120116580872