掌桥专利:专业的专利平台
掌桥专利
首页

操作响应方法、装置、设备及存储介质

文献发布时间:2023-06-19 09:35:27


操作响应方法、装置、设备及存储介质

技术领域

本申请实施例涉及人机交互技术领域,特别涉及一种操作响应方法、装置、设备及存储介质。

背景技术

为了提高蓝牙耳机、增强现实(Augmented Reality,AR)眼镜、智能手表等可穿戴式设备的便捷性和美观性,其体积越来越小,通常未设置单独的控制设备或功能按键,因此开发商需要将可穿戴式设备相应的功能操作设置为简单的触发操作,使用户可以脱离控制设备或按键等直接对该类设备进行控制。

相关技术中,可穿戴式设备所能接收的操作主要包括触摸操作和敲击操作,对于敲击操作,可穿戴式设备中通常设置有加速度传感器,用于检测敲击操作导致的可穿戴式设备的震荡,同时为了提高敲击操作的识别率,防止对移动、触摸等误操作进行响应,可穿戴式设备中还设置有敲击门限,在设备震荡时,若设备的位移对应的斜率超过门限值,则可穿戴式设备确认接收到敲击操作,否则不进行响应。

然而,相关技术中,若敲击门限高,则会导致操作识别率下降,即可能屏蔽正常的敲击操作,若门限设置低,则容易对用户的误触操作产生响应,无法兼顾准确率与识别率。

发明内容

本申请实施例提供了一种操作响应方法、装置、设备及存储介质。所述技术方案如下:

一方面,本申请实施例提供了一种操作响应方法,所述方法包括:

响应于上报的硬件中断,获取目标传感器数据,所述目标传感器数据是所述硬件中断前可穿戴式设备中传感器采集到的传感器数据,所述硬件中断由所述传感器基于阈值条件识别出目标操作时上报;

将所述目标传感器数据输入操作识别模型,得到所述操作识别模型输出的操作识别结果,所述操作识别模型是基于深度学习训练得到的神经网络,所述操作识别结果用于指示所述目标操作是否为误操作;

响应于所述操作识别结果指示所述目标操作不是误操作,对所述目标操作进行响应。

一方面,本申请实施例提供了一种操作响应装置,所述装置包括:

获取模块,用于响应于上报的硬件中断,获取目标传感器数据,所述目标传感器数据是所述硬件中断前可穿戴式设备中传感器采集到的传感器数据,所述硬件中断由所述传感器基于阈值条件识别出目标操作时上报;

识别模块,用于将所述目标传感器数据输入操作识别模型,得到所述操作识别模型输出的操作识别结果,所述操作识别模型是基于深度学习训练得到的神经网络,所述操作识别结果用于指示所述目标操作是否为误操作;

第一响应模块,用于响应于所述操作识别结果指示所述目标操作不是误操作,对所述目标操作进行响应。

另一方面,本申请实施例提供了一种可穿戴式设备,所述可穿戴式设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的操作响应方法。

另一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的操作响应方法。

根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。可穿戴式设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该可穿戴式设备执行上述方面的各种可选实现方式中提供的操作响应方法。

本申请实施例提供的技术方案的有益效果至少包括:

本申请实施例中,通过操作识别模型对硬件中断前的目标传感器数据进行识别,判断导致硬件中断的操作是否为误操作,从而在确定目标操作不属于误操作时对目标操作进行响应,在利用阈值划分的基础上进一步利用深度学习神经网络对传感器数据进行识别,提高了操作响应的准确率,避免对误操作进行响应,并且无需采用相关技术中提高阈值的方式提高响应操作的准确率,在保证准确率的基础上扩大了目标操作的识别范围,避免将正常操作识别为误操作。

附图说明

图1是本申请一个示例性实施例提供的耳机的示意图;

图2是本申请一个示例性实施例提供的操作响应方法的流程图;

图3是本申请另一个示例性实施例提供的操作响应方法的流程图;

图4是本申请一个示例性实施例提供的敲击操作对应的斜率变化示意图;

图5是本申请一个示例性实施例提供的操作识别模型的网络结构示意图;

图6是本申请另一个示例性实施例提供的操作响应方法的流程图;

图7是本申请一个示例性实施例提供的操作响应装置的结构框图;

图8是本申请一个示例性实施例提供的可穿戴式设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

相关技术通常利用硬件识别用户操作,例如对于敲击操作,可穿戴式设备中设置有加速度传感器,用于采集可穿戴式设备的运动情况,当检测到符合目标操作对应的传感器数据时,上报硬件中断,使处理器执行目标操作对应的指令。为了提高识别目标操作的准确率,避免对误操作产生响应,可穿戴式设备中设置有阈值,当传感器数据达到阈值时,可穿戴式设备才会对传感器数据进行识别。

然而,相关技术中,若阈值设置过高高,则会导致目标操作识别率下降,即可能屏蔽正常的操作,若阈值设置过低,则容易对用户的误触操作产生响应,无法兼顾准确率与上报率。

为了解决相关技术中无法同时提高操作识别的准确率与操作上报率的问题,本申请实施例提供了一种操作识别方法,在获取到满足阈值条件的目标传感器数据后,利用操作识别模型对目标传感器数据进行识别,进一步判断目标操作是否为误操作,不需要上调阈值即可提高操作响应的准确率;并且由于操作识别模型识别目标操作的准确率较高,因此可以适当下调阈值,提高目标操作的上报率,避免将部分正常操作屏蔽。

以下实施例以操作响应方法用于耳机、智能手表、AR眼镜等可穿戴式设备为例进行说明。如图1所示,其示出了一种无线耳机100的示意图。无线耳机100的机身101和102中设置有传感器,用于采集传感器数据,用户对耳机所进行的操作会导致传感器数据产生规律性变化,例如敲击操作使无线耳机100产生震荡,加速度传感器所采集到的加速度也发生相应改变,耳机100在传感器数据满足阈值条件时上报硬件中断,利用操作识别模型对目标传感器数据进一步识别,判断目标操作是否为误操作,从而在目标操作不属于误操作时对目标操作进行响应。

图2示出了本申请一个示例性实施例提供的操作响应方法的流程图。本实施例以该方法用于可穿戴式设备为例进行说明,该方法包括如下步骤:

步骤201,响应于上报的硬件中断,获取目标传感器数据,目标传感器数据是硬件中断前可穿戴式设备中传感器采集到的传感器数据,硬件中断由传感器基于阈值条件识别出目标操作时上报。

中断是指计算机设备运行过程中,出现某些意外情况需主机干预时,设备能自动停止正在运行的程序并转入处理新情况的程序,包括软件中断和硬件中断。而其中硬件中断是一个异步信号,表明需要注意或需要改变当前执行的程序,由与系统相连的外接设备(比如网卡、硬盘、键盘等)产生。在人机交互领域中,硬件中断通常用于对触发操作的处理,当设备接收到触发操作时向处理器上报硬件中断,中央处理器(Central ProcessingUnit,CPU)对硬件中断做出响应,控制设备执行触发操作对应的指令。

在一种可能的实施方式中,可穿戴式设备(例如耳机、智能手表等)通过传感器数据判断是否接收到触控操作,可穿戴式设备中预先设置有硬件中断的阈值条件,当传感器数据满足阈值条件时,可穿戴式设备触发硬件中断并上报至处理器,处理器接收到硬件中断后,获取目标传感器数据,进一步对目标传感器数据进行识别。

其中,目标传感器数据为硬件中断前可穿戴式设备中传感器采集到的传感器数据。例如,可穿戴式设备通过压力传感器检测触摸操作、按压操作等;通过重力传感器检测摇晃操作、敲击操作等。获取到目标传感器数据后,可穿戴式设备进一步识别目标传感器数据是否为正常操作所产生的传感器数据。

步骤202,将目标传感器数据输入操作识别模型,得到操作识别模型输出的操作识别结果,操作识别模型是基于深度学习训练得到的神经网络,操作识别结果用于指示目标操作是否为误操作。

仅依靠阈值条件划分正常操作和误操作时,若为了屏蔽误操作使阈值过高,则可能导致正常操作也被屏蔽,操作识别率较低;若为了提高操作识别率而使阈值过低,则会导致可穿戴式设备对部分误操作产生响应,操作响应的准确率不高。因此,本申请实施例中,获取到目标传感器数据后,可穿戴式设备将目标传感器数据输入操作识别模型,利用机器学习对目标传感器数据进行识别,提高操作识别率以及操作响应的准确率。

可选的,可穿戴式设备中加载有操作识别模型,可穿戴式设备将获取到的目标传感器数据直接输入自身的操作识别模型中;或者,与可穿戴式设备相连的终端(例如智能手机、平板电脑、笔记本电脑等终端)中加载有操作识别模型,可穿戴式设备将目标传感器数据发送至相连的终端,终端利用操作识别模型对目标传感器数据进行识别后,将操作识别结果反馈至可穿戴式设备。本申请实施例对此不作限定。

示意性的,操作识别模型是基于深度学习训练得到的神经网络,例如卷积神经网络(Convolutional Neural Networks,CNN)、循环神经网络(Recurrent Neural Network,RNN)、支持向量机(Support Vector Machines,SVM)等。

步骤203,响应于操作识别结果指示目标操作不是误操作,对目标操作进行响应。

操作识别模型所输出的操作识别结果指示目标传感器数据对应的目标操作是否为误操作,若不是误操作,则对目标操作进行响应。

在一种可能的实施方式中,操作识别模型用于识别至少一种传感器的数据是否属于误操作所产生的传感器数据。例如,操作识别模型对重力传感器对应的目标传感器数据进行识别,判断目标操作是否为敲击操作;操作识别模型对压力传感器对应的目标传感器数据进行识别,判断目标操作是否为按压操作等。

综上所述,本申请实施例中,通过操作识别模型对硬件中断前的目标传感器数据进行识别,判断导致硬件中断的操作是否为误操作,从而在确定目标操作不属于误操作时对目标操作进行响应,在利用阈值划分的基础上进一步利用深度学习神经网络对传感器数据进行识别,提高了操作响应的准确率,避免对误操作进行响应,并且无需采用相关技术中提高阈值的方式提高响应操作的准确率,在保证准确率的基础上扩大了目标操作的识别范围,避免将正常操作识别为误操作。

图3示出了本申请另一个示例性实施例提供的操作响应方法的流程图。本实施例以该方法用于可穿戴式设备为例进行说明,该方法包括如下步骤:

步骤301,响应于上报的硬件中断,将硬件中断上报前连续采集到的n组传感器数据确定为目标传感器数据,n为大于等于2的正整数。

其中,传感器用于根据预设采样频率采集传感器数据。

由于采集到的传感器数据满足预置条件后才会触发并上报硬件中断,因此硬件中断上报之前所采集到的传感器数据是目标操作所产生的传感器数据,可穿戴式设备需要对硬件中断上报前采集到的传感器数据进行识别。并且,目标操作导致传感器数据发生变化,误操作也会导致传感器数据发生变化,但二者所导致的变化过程不同,所以可穿戴式设备需要对传感器数据的变化过程进行识别,判断传感器数据对应的变化是否为正常操作所导致的,因此需要对至少2组传感器数据进行识别,即可穿戴式设备将硬件中断上报前连续采集到的n组传感器数据确定为目标传感器数据。

在一种可能的实施方式中,传感器为加速度传感器,步骤301包括如下步骤:

步骤301a,将同一采集时刻下x轴的加速度斜率、y轴的加速度斜率以及z轴的加速度斜率确定为一组传感器数据,加速度斜率用于表征加速度的变化情况。

在一种可能的实施方式中,目标操作是与可穿戴式设备直接接触并且能够导致可穿戴式设备震荡的操作,可穿戴式设备通过加速度传感器采集在x轴、y轴和z轴方向上的加速度变化情况,即加速度斜率,从而判断可穿戴式设备是否产生正常操作所导致的震荡。因此可穿戴式设备将同一采集时刻下x轴的加速度斜率、y轴的加速度斜率以及z轴的加速度斜率确定为一组传感器数据。

步骤301b,将硬件中断上报前n个采集时刻对应的n组传感器数据确定为目标传感器数据。

为了判断导致硬件中断的目标操作是否为误操作,可穿戴式设备将硬件中断前的加速度斜率输入操作识别模型进行识别,即以同一采集时刻下x轴的加速度斜率、y轴的加速度斜率以及z轴的加速度斜率为一组传感器数据,将硬件中断上报前n个采集时刻对应的n组传感器数据确定为目标传感器数据。

在一种可能的实施方式中,目标操作为敲击操作,硬件中断在x轴、y轴和z轴中任一轴的加速度斜率大于斜率阈值,且在震荡周期内加速度斜率震荡变化,且在静止周期内各轴的加速度斜率小于斜率阈值时上报。

示意性的,如图4所示,其示出了一种敲击操作对应的某一坐标轴下加速度的变化规律。静止时加速度的值为0,可穿戴式设备接收到敲击操作后立即产生震荡,加速度沿敲击方向逐渐增大,且能够超过加速度阈值,某一时刻加速度值开始减小,并延反向增大,然后逐渐减小至0恢复静止。

可穿戴式设备内预设有震荡周期和静止周期,当加速度传感器采集到的加速度大于加速度阈值时,对后续震荡周期以及静止周期内采集到的的连续n组加速度进行计算,得到加速度的斜率,若震荡周期内加速度斜率震荡变化,且在静止周期内各轴的加速度斜率小于斜率阈值,则上报硬件中断。

示意性的,可穿戴式设备接收到敲击操作时的传感器数据如表1所示,可穿戴式设备接收到误操作(例如触摸操作、移动操作等)时的传感器数据如表2所示

表1

表2

可以看出,敲击操作与误操作所产生的加速度数据之间存在较大差距,敲击操作所产生的震荡幅度较大,加速度值较大,而误操作所产生的震荡幅度较小,加速度值也较小。本申请实施例利用操作识别模型对可穿戴式设备震荡的加速度变化情况进行分析,判断目标操作是否为误操作。

由于本申请实施例利用神经网络对目标操作进行识别,其识别的准确率较高,因此能够识别出较大加速度范围内的敲击操作,即对于敲击力度较小导致震荡幅度接近于误操作震荡幅度的敲击操作,可穿戴式设备仍然能够识别,在一种可能的实施方式中,在步骤301之前,本申请实施例还包括如下步骤:

下调斜率阈值,其中,下调斜率阈值后硬件中断的上报率高于下调斜率阈值前硬件中断的上报率。

可穿戴式设备(例如耳机)在出厂时本身设置有多个斜率阈值,开发人员需要根据可穿戴式设备对应的实际操作选择其中一个斜率阈值作为阈值条件。相关技术中,为了提高操作响应的准确率,尽可能屏蔽误操作,开发人员通常需要选择较高的斜率阈值作为敲击操作的判断条件,这种方式会导致部分敲击力度较小的敲击操作被屏蔽,对于使用习惯为敲击力度较小的用户,其使用可穿戴式设备的过程中可能经常出现进行敲击操作而可穿戴式设备不响应的情况。

本申请实施例利用神经网络对目标操作进行识别,其准确率较高,因此可以下调斜率阈值,使敲击力度较小的敲击操作仍然能够被识别,提高敲击操作的上报率,即下调斜率阈值后硬件中断的上报率高于下调斜率阈值前硬件中断的上报率。

可选的,开发人员选择可穿戴式设备出厂设置中最小的斜率阈值作为阈值条件;或者,开发人员根据实际需求设置更低的斜率阈值,使敲击操作的识别范围更大。

步骤302,根据采集时刻的先后顺序,将n组传感器数据输入操作识别模型,得到操作识别模型输出的操作识别结果。

操作识别模型需要识别传感器数据的变化情况,从而判断是否接受到敲击操作,因此可穿戴式设备按照采集时刻的先后顺序将n组传感器数据输入操作识别模型,以使操作识别模型能够基于相邻采集时刻之间加速度的关联关系识别可穿戴式设备震荡的过程,从而判断目标操作是否为误操作。

在一种可能的实施方式中,如图5所示,操作识别模型为CNN模型,操作识别模型包含输入层、卷积层、可分离卷积层和全连接层。步骤302包括如下步骤:

步骤302a,通过输入层获取输入的目标传感数据。

CNN的输入层用于待识别数据的输入,以及对输入数据进行预处理操作,例如归一化操作等。示意性的,如图5所示,操作识别模型一次接收13组传感器数据,其输入数据为3*13的特征向量,一组传感器数据为一个特征向量。

步骤302b,通过卷积层和可分离卷积层对目标传感器数据进行特征提取。

卷积层与可分离卷积层对数据输入进行局部感知,利用一定数量的卷积核对输入的数据进行特征提取和特征映射。

示意性的,如图5所示,CNN的卷积层中包含一层8个2*2的卷积核,可分离卷积层中包含1层16个2*2的卷积核。

步骤302c,通过全连接层对可分离卷积层输出的特征进行特征分类,输出操作识别结果。

全连接层是通常设置在CNN的尾部,用于对前面各层所提取到的局部特征进行重新拟合,减少特征信息的损失,并依据拟合得到的特征对输入数据进行分类,得到识别结果。

示意性的,如图5所示,CNN的全连接层中包含2层1*1*16的卷积核。

可选的,本申请实施例中的操作识别模型还可能包含有其他神经网络结构,例如隐藏层、池化层、激励层等,或者还可以采用其它神经网络模型,本申请实施例对此不作限定。

步骤303,响应于操作识别结果指示目标操作不是误操作,对目标操作进行响应。

步骤303的具体实施方式可以参考上述步骤203,本申请实施例在此不再赘述。

步骤304,响应于操作识别结果指示目标操作为误操作,不对硬件中断进行响应。

若操作识别结果指示目标操作为误操作,则确定用户并没有对可穿戴式设备进行预设的操作,可穿戴式设备不对硬件中断进行响应,继续执行硬件中断前的指令。

在一种可能的实施方式中,可穿戴式设备中设置有多种操作,分别用于触发不同的指令,可穿戴式设备需要根据预设时长内识别出的目标操作所对应的指令进行响应。例如,在对耳机的敲击操作中,单次敲击操作用于触发音乐的开始播放和暂停播放,双次敲击操作用于开启语音通话功能,且双次敲击操作中两次敲击的时间间隔不超过0.5s,耳机在识别出一次敲击操作后,识别0.5s内是否再次接收到敲击操作,并根据识别结果确定所需执行的指令。

本申请实施例中,通过对硬件中断上报前传感器连续采集到的多组传感器数据进行识别,利用操作识别模型识别传感器数据的变化规律,判断目标操作是否为误操作,提高了响应目标操作的准确率;并且,适当下调斜率阈值,扩大了目标操作识别的范围,提高了目标操作的上报率,避免传感器数据与误操作的传感器数据相似的目标操作被屏蔽。

上述实施例示出了利用操作识别模型对目标操作进行识别的过程,可穿戴式设备中所加载的操作识别模型为预先训练完成的神经网络模型,在操作识别模型对目标操作进行识别之前,需要对其进行训练,使操作识别结果的准确率达到预期值。在一种可能的实施方式中,操作识别模型根据正样本数据和负样本数据训练得到,正样本数据包括接收到目标操作时传感器采集到的传感器数据,负样本数据包括接收到目标操作对应误操作时传感器采集到的传感器数据。

开发人员预先采集多次目标操作下的传感器数据以及不同种类的误操作下的传感器数据,例如,对于敲击操作,预先采集不同敲击力度和敲击落点对应的敲击操作的传感器数据作为正样本数据,并采集触摸操作、可穿戴式设备移动操作以及用户佩戴可穿戴式设备进行运动时传感器采集到的传感器数据,作为负样本数据。开发人员为各组正样本数据和负样本数据添加目标操作或误操作的标签,利用计算机设备对操作识别模型进行多次训练,直至模型收敛,例如训练次数达到预设次数,或者操作识别模型输出的操作识别结果的准确率达到预设值,本申请实施例对此不作限定。

在一种可能的实施方式中,在图2的基础上,如图6所示,上述步骤203之后,本申请实施例提供的操作响应方法还包括步骤204:

步骤204,响应于接收到错误响应指示,将目标传感器数据确定为负样本数据,负样本数据用于更新训练操作识别模型。

其中,错误响应指示由用户触发生成,若可穿戴式设备在用户进行其它操作后执行了对目标操作的响应,或在用户未进行目标操作时可穿戴式设备自动执行对目标操作的响应,用户可以触发错误响应指示,可穿戴式设备在接收到错误响应指示后,将目标传感器数据确定为负样本数据,并返回至硬件中断上报前的任务,或提示用户再次进行正确的操作。

可选的,可穿戴式设备在响应目标操作后的预设时长内再次接收到硬件中断上报前所执行指令对应的操作,或接收到返回上一步操作的指令时,确定接收到错误响应指示;或者,可穿戴式设备在接收到用户对错误响应指示的触发操作,例如对错误响应控件的触发操作时确定接收到错误响应指示。

当可穿戴式设备接收到错误响应指示时,将目标传感器数据确定为负样本数据,在一种可能的实施方式中,可穿戴式设备获取一定数量的负样本数据后,将未接收到错误响应指示时的目标传感器数据作为正样本数据,对操作识别模型进行更新训练。可选的,可穿戴式设备直接对加载的操作识别模型进行更新训练,或者将采集到的正样本数据和负样本数据上传至云端服务器,云端服务器基于接收到的样本数据对当前的操作识别模型进行更新训练,并将更新训练后操作识别模型的各项参数反馈至对应的可穿戴式设备,可穿戴式设备接收云端服务器发送的模型参数后对操作识别模型进行更新,从而提高可穿戴式设备响应目标操作的准确率。

本申请实施例中,当接收到错误响应指示时,将目标传感器数据确定为负样本数据,并利用获取到的负样本数据对操作识别模型进行更新训练,使操作识别模型对目标操作和误操作的分类结果更加接近于用户的实际操作,可穿戴式设备根据用户的使用情况对操作识别模型进行个性化更新,提高了操作识别模型对不同用户的适用性。

图7是本申请一个示例性实施例提供的操作响应装置的结构框图,该装置包括:

获取模块701,用于响应于上报的硬件中断,获取目标传感器数据,所述目标传感器数据是所述硬件中断前可穿戴式设备中传感器采集到的传感器数据,所述硬件中断由所述传感器基于阈值条件识别出目标操作时上报;

识别模块702,用于将所述目标传感器数据输入操作识别模型,得到所述操作识别模型输出的操作识别结果,所述操作识别模型是基于深度学习训练得到的神经网络,所述操作识别结果用于指示所述目标操作是否为误操作;

第一响应模块703,用于响应于所述操作识别结果指示所述目标操作不是误操作,对所述目标操作进行响应。

可选的,所述传感器用于根据预设采样频率采集传感器数据;

所述获取模块701,包括:

确定单元,用于将所述硬件中断上报前连续采集到的n组传感器数据确定为所述目标传感器数据,n为大于等于2的正整数;

所述识别模块702,包括:

输入单元,用于根据采集时刻的先后顺序,将n组所述传感器数据输入所述操作识别模型,得到所述操作识别模型输出的所述操作识别结果。

可选的,所述传感器为加速度传感器;

所述确定单元,还用于:

将同一采集时刻下x轴的加速度斜率、y轴的加速度斜率以及z轴的加速度斜率确定为一组传感器数据,所述加速度斜率用于表征加速度的变化情况;

将所述硬件中断上报前n个采集时刻对应的n组所述传感器数据确定为所述目标传感器数据。

可选的,所述目标操作为敲击操作,所述硬件中断在x轴、y轴和z轴中任一轴的所述加速度斜率大于斜率阈值,且在震荡周期内所述加速度斜率震荡变化,且在静止周期内各轴的所述加速度斜率小于所述斜率阈值时上报。

可选的,所述装置还包括:

调整模块,用于下调所述斜率阈值,其中,下调所述斜率阈值后所述硬件中断的上报率高于下调所述斜率阈值前所述硬件中断的上报率。

可选的,所述操作识别模型为卷积神经网络模型,所述操作识别模型包含输入层、卷积层、可分离卷积层和全连接层;

所述识别模块702,包括:

获取单元,用于通过所述输入层获取输入的所述目标传感数据;

特征提取单元,用于通过所述卷积层和所述可分离卷积层对所述目标传感器数据进行特征提取;

分类单元,用于通过所述全连接层对所述可分离卷积层输出的特征进行特征分类,输出所述操作识别结果。

可选的,所述操作识别模型根据正样本数据和负样本数据训练得到,所述正样本数据包括接收到所述目标操作时所述传感器采集到的传感器数据,所述负样本数据包括接收到所述目标操作对应误操作时所述传感器采集到的传感器数据。

可选的,所述装置还包括:

确定模块,用于响应于接收到错误响应指示,将所述目标传感器数据确定为所述负样本数据,所述负样本数据用于更新训练所述操作识别模型。

可选的,所述装置还包括:

第二响应模块,用于响应于所述操作识别结果指示所述目标操作为误操作,不对所述硬件中断进行响应。

综上所述,本申请实施例中,通过操作识别模型对硬件中断前的目标传感器数据进行识别,判断导致硬件中断的操作是否为误操作,从而在确定目标操作不属于误操作时对目标操作进行响应,在利用阈值划分的基础上进一步利用深度学习神经网络对传感器数据进行识别,提高了操作响应的准确率,避免对误操作进行响应,并且无需采用相关技术中提高阈值的方式提高响应操作的准确率,在保证准确率的基础上扩大了目标操作的识别范围,避免将正常操作识别为误操作。

如图8所示,本申请实施例提供一种可穿戴式设备800,所述可穿戴式设备800可以包括以下一个或多个组件:处理器801,存储器802,电源组件803,音频组件804,输入/输出(Input/Output,I/O)接口805,传感器组件806以及通信组件807。

处理器801通常控制可穿戴式设备的整体操作,诸如与电话呼叫、数据通信、音频播放、数据记录以及操作识别相关联的操作。处理器801可以包括一个或者多个处理核心。处理器801利用各种接口和线路连接整个可穿戴式设备800内的各个部分,通过运行或执行存储在存储器802内的指令、程序、代码集或指令集,以及调用存储在存储器802内的数据,执行可穿戴式设备800的各种功能和处理数据。可选地,处理器801可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable GateArray,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器801可集成CPU和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器801中,单独通过一块通信芯片进行实现。

存储器802被配置为存储各种类型的数据以支持在可穿戴式设备的操作。这些数据的示例包括用于在可穿戴式设备上操作的任何应用程序或方法的指令、模型、联系人数据、电话簿数据、消息、音频等。存储器802可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory,ROM)。可选地,该存储器802包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器802可用于存储指令、程序、代码、代码集或指令集。存储器802可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能等)、用于实现上述各个方法实施例的指令等,该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储可穿戴式设备800在使用中所采集的数据(比如电话本、音频数据、传感器数据)等。

电源组件803为可穿戴式设备800的各种组件提供电力。电源组件803可以包括电源管理系统,一个或多个电源,及其他与为可穿戴式设备800生成、管理和分配电力相关联的组件。

音频组件804被配置为输出和/或输入音频信号。例如,音频组件804包括一个麦克风(Microphone,MIC),当可穿戴式设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或经由通信组件807发送。在一些实施例中,音频组件804还包括一个扬声器,用于输出音频信号。

I/O接口805为处理器801和外围接口模块之间提供接口,上述外围接口模块可以是点击轮、按钮、触控面板等。这些按钮可包括但不限于:音量按钮、启动按钮和锁定按钮。

传感器组件806包括一个或多个传感器,用于为可穿戴式设备800提供各个方面的状态评估。例如,传感器组件806可以检测到可穿戴式设备800的打开/关闭状态,组件的相对定位,传感器组件806还可以检测可穿戴式设备800或可穿戴式设备800的位置改变,用户与可穿戴式设备800接触的存在或不存在,可穿戴式设备800方位或加速/减速和可穿戴式设备800的温度变化。传感器组件806可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。在一些实施例中,该传感器组件806还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。例如,可穿戴式设备800通过压力传感器确定控制操作的操作类型,通过加速度传感器确定是否接收到敲击操作。

通信组件807被配置为便于可穿戴式设备800和其他设备(例如控制设备)之间有线或无线方式的通信。可穿戴式设备800可以接入基于通信标准的无线网络。在一个示例性实施例中,通信组件807经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件807还包括近场通信(Near FieldCommunication,NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RadioFrequency Identification,RFID)技术,红外数据协会(Infrared Data Association,IrDA)技术,超宽带(Ultra Wide Band,UWB)技术,蓝牙(Blue Tooth,BT)技术和其他技术来实现。可穿戴式设备800通过通信组件807同步接收控制设备发送的信息,例如控制设备所播放的音频文件。

除此之外,本领域技术人员可以理解,上述附图所示出的可穿戴式设备800的结构并不构成对可穿戴式设备800的限定,设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上各个实施例所述的操作响应方法。

根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。可穿戴式设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该可穿戴式设备执行上述方面的各种可选实现方式中提供的操作响应方法。

本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

相关技术
  • 用于终端设备的操作响应装置及操作响应方法
  • 用户操作响应方法、装置、计算机设备和存储介质
技术分类

06120112225029