掌桥专利:专业的专利平台
掌桥专利
首页

一种基于输入外设进行输入的方法及相关装置

文献发布时间:2023-06-19 09:27:35


一种基于输入外设进行输入的方法及相关装置

技术领域

本申请涉及计算机技术领域,特别是涉及一种基于输入外设进行输入的方法及相关装置。

背景技术

随着终端技术的飞速发展,终端设备例如智能手机、平板电脑等已经逐渐成为人们常用的电子消费品。输入设备是终端设备与用户进行交互的桥梁。

目前相关技术中,为了使得输入更加方便,越来越多的终端设备通过输入外设与用户进行交互。终端设备可以通过蓝牙连接输入外设,从而使得用户可以通过输入外设与终端设备进行交互。

然而,由于终端设备受到蓝牙连接数量的限制,终端设备无法连接较多的输入外设,导致输入方式单一,应用场景具有较大的局限性。

发明内容

为了解决上述技术问题,本申请提供了一种基于mesh组网的输入设备、输入方法及相关装置,通过mesh组网可以根据场景需求任意扩充设备节点的数量,避免设备节点受终端设备网络连接数量的限制,从而丰富了用户的输入方式,适应不同的场景需求。

本申请实施例公开了如下技术方案:

第一方面,本申请实施例提供一种基于输入外设进行输入的方法,所述输入外设包括多个设备节点,所述多个设备节点之间通过mesh组网方式连接,所述多个设备节点中包括作为主节点的设备节点,所述主节点与终端设备进行网络连接,所述终端设备上运行应用,所述多个设备节点与所述应用中的对象具有映射关系,所述方法包括:

在用户与应用进行交互的过程中,响应于所述用户在预设条件下通过所述目标设备节点执行的输入操作,采集状态变化数据;

对采集的所述状态变化数据进行处理,生成交互信息;

利用所述多个设备节点之间的数据传输功能,通过所述主节点接收与所述主节点连接的所述目标设备节点的交互信息;

利用所述主节点与所述终端设备之间的数据传输功能,将所述主节点上的所述交互信息上报至所述终端设备,以便所述终端设备根据所述交互信息和所述映射关系实现所述用户与所述应用中目标对象的交互。

第二方面,本申请实施例提供一种基于输入外设进行输入的装置,所述输入外设包括多个设备节点,所述多个设备节点之间通过mesh组网方式连接,所述多个设备节点中包括作为主节点的设备节点,所述主节点与终端设备进行网络连接,所述终端设备上运行应用,所述多个设备节点与所述应用中的对象具有映射关系,所述装置包括采集单元、生成单元、接收单元和上报单元:

所述采集单元,用于在用户与应用进行交互的过程中,响应于所述用户在预设条件下通过所述目标设备节点执行的输入操作,采集状态变化数据;

所述生成单元,用于分别对采集的所述状态变化数据进行处理,生成交互信息;

所述接收单元,用于利用所述多个设备节点之间的数据传输功能,通过所述主节点接收与所述主节点连接的所述目标设备节点的交互信息;

所述上报单元,用于利用所述主节点与所述终端设备之间的数据传输功能,将所述主节点上的所述交互信息上报至所述终端设备,以便所述终端设备根据所述交互信息和所述映射关系实现所述用户与所述应用中目标对象的交互。

第三方面,本申请实施例提供一种基于输入外设进行输入的系统,其特征在于,所述系统包括输入外设和终端设备,所述输入外设包括多个设备节点,所述多个设备节点之间通过mesh组网方式连接,所述多个设备节点中包括作为主节点的设备节点,所述主节点与终端设备进行网络连接,所述终端设备上运行应用,所述多个设备节点与所述应用中的对象具有映射关系:

所述输入外设用于在用户与应用进行交互的过程中,响应于所述用户在预设条件下通过所述目标设备节点执行的输入操作,采集状态变化数据;对采集的所述状态变化数据进行处理,生成交互信息;利用所述多个设备节点之间的数据传输功能,通过所述主节点接收与所述主节点连接的所述目标设备节点的交互信息;利用所述主节点与所述终端设备之间的数据传输功能,将所述主节点上的所述交互信息上报至所述终端设备;

所述终端设备用于接收所述主节点上报的交互信息;根据所述映射关系确定所述交互信息所针对的所述应用中的目标对象;根据所述交互信息和所述目标对象完成所述用户与所述应用的交互。

第四方面,本申请实施例提供一种基于输入外设进行输入的设备,所述设备包括处理器以及存储器:

所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;

所述处理器用于根据所述程序代码中的指令执行第一方面所述的方法。

第五方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行第一方面所述的方法。

由上述技术方案可以看出,本申请将mesh组网方式融合到设备节点,从而将多个设备节点构成输入外设以实现用户与终端设备上应用的交互。其中,输入外设包括多个设备节点,多个设备节点之间通过mesh组网方式连接,多个设备节点中包括作为主节点的设备节点,主节点与终端设备进行网络连接,主节点的个数可以是根据终端设备网络连接数量限制确定的。在用户与应用进行交互的过程中,输入外设响应于用户在预设条件下通过目标设备节点执行的输入操作,采集状态变化数据,对采集的状态变化数据进行处理,生成交互信息,从而赋予状态变化数据实际的操作含义,从而知晓需要与应用进行何种交互。由于所有设备节点形成mesh组网,多个设备节点之间和/或主节点与终端设备之间可以进行数据例如交互信息传输,便于其他设备节点例如目标设备节点向主节点发送交互信息,进而由主节点将所有交互信息发送至终端设备,以便终端设备可以根据交互信息和映射关系实现用户与应用中目标对象的交互。可见,本申请通过mesh组网可以根据场景需求任意扩充设备节点的数量,避免设备节点受终端设备网络连接数量的限制,从而丰富了用户的输入方式,适应不同的场景需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术成员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于输入外设进行输入的方法的系统架构示意图;

图2为本申请实施例提供的一种基于输入外设进行输入的方法的流程图;

图3为本申请实施例提供的一种设备节点的结构示意图;

图4为本申请实施例提供的一种钢琴类游戏场景的界面示意图;

图5为本申请实施例提供的一种指环形态的设备节点及佩戴指环的效果示意图;

图6为本申请实施例提供的一种钢琴类游戏场景下基于mesh组网的输入外设与终端设备组成的系统架构示意图;

图7为本申请实施例提供的一种基于输入外设进行输入的方法的流程图;

图8为本申请实施例提供的一种基于输入外设进行输入的装置的结构图;

图9为本申请实施例提供的一种终端设备的结构图。

具体实施方式

下面结合附图,对本申请的实施例进行描述。

终端设备可以通过蓝牙连接输入外设,从而使得用户可以通过输入外设与终端设备进行交互,使得输入更加方便。然而,由于终端设备受到蓝牙连接数量的限制,例如通常情况下终端设备只能连接1个或2个蓝牙设备作为输入外设备,使得用户通过这1个或2个蓝牙设备进行输入。从而导致输入方式单一,应用场景具有较大的局限性。

为了解决上述技术问题,本申请实施例提供一种基于mesh组网的输入设备,将mesh组网方式融合到设备节点作为终端设备的输入外设,mesh组网可以根据场景需求任意扩充设备节点的数量,避免设备节点受终端设备网络连接数量的限制,从而丰富了用户的输入方式,适应不同的场景需求。

参见图1,图1为本申请实施例提供的一种基于输入外设进行输入的方法的系统架构示意图。该系统架构中可以包括终端设备100和输入外设200,终端设备100可以是智能手机、平板电脑(portable android device,PAD)、笔记本电脑、台式计算机、智能手表等,但并不局限于此。

终端设备100上可以安装应用,例如游戏应用、视频应用、搜索应用、文字编辑应用等,用户可以通过输入外设200执行输入操作与应用进行交互。例如终端设备100上运行游戏应用,则用户可以通过输入外设的输入操作玩游戏,或通过输入外设的输入操作进行打字与队友聊天等。

输入外设200包括多个设备节点201,例如图1中设备节点1-6,多个设备节点201之间通过无线网格网络(mesh)组网方式连接,多个设备节点201构成的输入外设200可以参见图1中虚线矩形框所示。mesh组网也称为“多跳(multi-hop)”网络。在mesh组网中,所有的节点都互相连接,每个节点拥有多条连接通道,所有的节点之间形成一个整体的网络。

目前,mesh组网用来拓展无线网络的覆盖范围,通过多个设备节点的自组网特性可以较低成本实现较大范围的网络覆盖并可以实现健壮的网络链接。假设手机与无线路由器a距离50米远,但是无线路由a信号覆盖距离只有30米,手机无法直接连接到无线路由a。那么在无线路由a和手机中间加装一个支持mesh组网的无线路由b,无线路由b先通过无线网络连接到无线路由器a再发射信号由手机连接,从而扩展了无线网络覆盖的范围。

而本申请实施例为了丰富输入方式,使得用户可以通过多样的输入操作与终端设备100交互,本申请创造性地将mesh组网应用到构建包括多个设备节点201的输入外设200,通过传感器单元与终端设备100上的应用配合,丰富了输入方式。由于终端设备100的网络连接例如蓝牙连接数量受到限制,因此,多个设备节点201中包括作为主节点的设备节点201,通过主节点与终端设备100进行网络连接,主节点的数量是基于终端设备100被限制的网络连接数量确定的,这样其余设备节点201上的数据都可以传输至主节点,从而通过主节点传输至终端设备100,以便终端设备100可以响应于用户通过多个设备节点201执行的输入操作。

若终端设备100被限制的网络连接数量是一个,则可以将多个设备节点201中的一个设备节点201确定为主节点;若终端设备100被限制的网络连接数量是两个,则可以将多个设备节点201中的两个设备节点201确定为主节点。在图1中主节点可以是设备节点1和设备节点2。

其中,主节点可以是默认设置的,即输入外设200出厂时默认某个设备节点201为主节点。主节点也可以是根据用户选择确定的,例如,在将终端设备100与输入外设200连接时,向用户展示选择界面,以便根据用户选择设置某个设备节点201作为主节点。

为了节省终端设备的电量,可以采用低功耗传输技术实现网络连接,例如网络连接可以是蓝牙低能耗(Bluetooth Low Energy,BLE)连接。

终端设备100与输入外设200连接后,由于应用中对象可能包括多个,多个设备节点中每个设备节点控制的对象可能有所不同。为了可以准确的确定用户执行交互操作所需交互的目标对象,终端设备100可以预先通过应用建立多个设备节点与应用中对象的映射关系。例如映射关系可以是设备节点201的标识与对象之间的映射关系,交互信息中可以包括设备节点201的标识,从而表征生成该交互信息的状态变化数据来自哪个设备节点。

在不同的应用中对象可以有所不同,以游戏应用为例,例如在跳舞类游戏应用中,对象可以是身体的不同部位,例如手、脚、头部等;在钢琴类游戏应用中,对象可以是不同的音乐轨道等。这样,在用户与应用进行交互的过程中,当用户在输入外设200中的某个设备节点201例如目标设备节点上执行输入操作后,输入外设200可以采集状态变化数据。对采集的状态变化数据进行处理,生成交互信息,从而赋予状态变化数据实际的操作含义,从而知晓需要与应用进行何种交互。

由于所有设备节点200形成mesh组网,多个设备节点201之间和/或主节点与终端设备100之间可以进行数据例如交互信息传输,因此,利用多个设备节点201之间的数据传输功能,通过主节点接收与主节点连接的目标设备节点的交互信息,利用主节点与终端设备100之间的数据传输功能,将主节点上的交互信息上报至终端设备100。

终端设备100接收主节点上报的交互信息后,可以根据映射关系确定交互信息所针对的应用中的目标对象,进而根据交互信息和目标对象完成用户与应用的交互。

接下来,基于前述提供的系统架构图,主要以应用为游戏应用为例,结合附图对本申请实施例提供的一种基于输入外设进行输入的方法进行详细介绍。

参见图2,图2示出了一种基于输入外设进行输入的方法的流程图,所述方法包括:

S201、在用户与应用进行交互的过程中,响应于所述用户在预设条件下通过所述目标设备节点执行的输入操作,采集状态变化数据。

当用户需要通过输入操作与终端设备进行交互时,用户可以通过输入外设执行输入操作。输入操作可能引起状态变化,产生状态变化数据,故可以通过输入设备采集对应的状态变化数据。

以图1为例,用户通过设备节点4执行输入操作,则设备节点4可以采集到状态变化数据。

在本实施例中,为了保证用户通过每个设备节点201都可以执行输入操作,且多个设备节点201之间可以通过mesh组网方式连接,每个设备节点201的结构可以参见图3所示,包括电源模块2011、传感器单元2012、处理单元2013和mesh组网单元2014。

在本实施例中,电源模块2011可以用于为设备节点201提供电源并进行充电管理,其中,充电形式可以是无线充电或有线充电等方式。

在本实施例中,可以通过传感器单元2012采集状态变化数据,状态变化数据是根据用户在设备节点上的输入操作产生的。通常情况下,当用户希望通过输入外设200中某个设备节点201进行输入时,用户可以在该设备节点201上执行输入操作,输入操作可以引起状态变化,该状态变化可以体现出用户与终端设备100的交互意图,故可以通过传感器单元2012采集状态变化数据,以便后续可以根据状态数据变化确定终端设备100所需实现何种交互。

需要说明的是,在本实施例中,传感器单元2012可以包括压力传感器、加速度传感器、陀螺仪和心率传感器中一种或者多种组合。在一种可能的实现方式中,传感器单元2012可以应用场景的不同,而采用不同类型的传感器构成。

例如,在跳舞类游戏应用的场景下,传感器单元2012可以采集手、脚、头、整个身体等部位的动作产生的状态变化数据,其中,在跳舞过程中可能包括旋转动作、各种摆动、跳动等动作,旋转动作产生的状态变化数据可以通过陀螺仪采集,各种摆动、跳动等动作可能导致加速度发生变化,故可以通过加速度传感器采集状态变化数据,此时传感器单元2012可以包括陀螺仪和加速度传感器。

又如,在钢琴类游戏应用的场景下,参见图4所示的钢琴类游戏,当音乐块下落到击打位置时,用户需要在对应音乐轨道(1、2、3、4)中的击打位置点击终端设备100的触摸屏。由于终端设备100屏幕尺寸问题,手指头放上去会很拥挤,容易疲劳。为此,可以基于图1所示的系统架构进行钢琴类游戏。在这种情况下,用户的输入操作为点击动作,可能导致加速度或压力发生变化,故可以通过加速度传感器或压力传感器采集状态变化数据。此时传感器单元2012可以包括加速度传感器或压力传感器。

再如,在预测用户喜好以希望根据用户的喜好开发应用程序的场景下,由于通常情况下,用户遇到喜欢内容和用户遇到不喜欢内容的反映可能会有所不同,可能会导致心率发生变化。比如用户遇到喜欢内容可能会心跳加快,故可以通过心率传感器采集用户的心率,以便据此预测用户喜好,进而根据用户喜欢开发应用程序,开发更多好玩的内容,给用户更加轻松多样的体验。此时,传感器单元2012可以包括心率传感器。

在一些可能的实施例中,设备节点201还可以包括反馈单元2015,反馈单元2015,可以用于向用户提供振动或声音反馈。需要说明的是,在本实施例中,反馈单元2015可以用于在用户执行输入操作之前,向用户提供振动或声音反馈,从而提醒用户开始执行输入操作。例如在图4所示的钢琴类游戏中,反馈单元2015可以向用户提供振动或声音反馈,从而提醒用户执行点击操作,以便可以及时控制终端设备100中的击打位置被成功击打,使得用户可以及时、准确的执行点击操作,得到较高的游戏分数,提高用户游戏体验。

在这种情况下,预设条件可以是目标设备节点发出振动或声音反馈。

在一些情况下,用户也可以自己观察音乐块是否下落至击打位置,当用户观察到音乐块下落至击打位置,则执行点击操作,此时预设条件为音乐轨道上的音乐块下落至击打位置。

若多个设备节点分别佩戴在用户不同的手指上,输入操作为用户佩戴目标设备节点的手指的点击动作,目标设备节点为与音乐块下落至击打位置的音乐轨道具有映射关系的设备节点。

当然,反馈单元2015也可以用于在用户执行输入操作之后,向用户提供振动或声音反馈,从而提醒用户已经执行了输入操作,避免重复执行而导致的误操作,提高用户游戏体验。

S202、对采集的所述状态变化数据进行处理,生成交互信息。

采集到的状态变化数据是一种数值数据,故可以对采集的状态变化数据进行处理,生成交互信息。交互信息是具有实际意义的信息,可以体现用户输入操作的交互意图,以便指示终端设备100进行何种交互。

基于图3所示的设备节点201的结构,可以通过处理单元2013对采集的状态变化数据进行处理,生成交互信息。

需要说明的是,在不同应用场景下,处理单元2013生成的交互信息可能有所不同。若状态变化数据为心率,交互信息可以是根据心率预测的用户喜好信息;若状态变化数据为压力或加速度变化或陀螺仪采集的角度变化等,交互信息可以为动作指令。在很多场景下,终端设备100与用户之间的交互是指用户通过输入操作控制终端设备执行动作,此时,交互信息包括动作指令,动作指令用于指示终端设备针对目标对象执行与动作指令对应的动作。

S203、利用所述多个设备节点之间的数据传输功能,通过所述主节点接收与所述主节点连接的所述目标设备节点的交互信息。

S204、利用所述主节点与所述终端设备之间的数据传输功能,将所述主节点上的所述交互信息上传至所述终端设备。

在本实施例中,设备节点201的结构包括图3所示的mesh组网单元2014,mesh组网单元2014主要用于负责多个设备节点201之间的网络连接,使得多个设备节点之间通过mesh组网方式连接;以及用于多个设备节点201之间和/或主节点与终端设备100之间进行数据传输。其中,数据包括前述确定的交互信息。

在一些情况下,处理单元2013还可以接收mesh组网单元2014上报的数据,从而使得处理单元2013可以根据该数据知晓做何种处理。

基于mesh组网的特性,多个设备节点之间以及主节点与终端设备之间具有数据传输功能。由于终端设备的网络连接例如蓝牙连接数量受到限制,与终端设备连接的是作为主节点的设备节点,并非每个设备节点都可以直接将交互信息上报至终端设备。故除主节点外的其余设备节点可以将交互信息发送至主节点,再由主节点将交互信息发送至终端设备,以便终端设备根据该交互信息实现与用户的交互。

S205、终端设备根据所述映射关系确定所述交互信息所针对的所述应用中的目标对象。

S206、终端设备根据所述交互信息和所述目标对象完成所述用户与所述应用的交互。

当终端设备接收到交互信息后,终端设备可以通过应用对交互信息进行解析,交互信息中可以包括目标设备节点的标识,由于多个设备节点与应用中的对象具有映射关系,故可以根据映射关系确定交互信息所针对的应用中的目标对象,进而根据交互信息和目标对象完成用户与应用的交互。其中,目标对象可以为应用中可能对用户的输入操作做出反应的对象,例如在游戏应用中,目标对象可以是游戏人物的不同部位,也可以是不同音乐轨道等等,本实施例对目标对象不做限定。

若应用为游戏应用中的钢琴类游戏应用,映射关系为多个设备节点201分别与钢琴类游戏应用中不同的音乐轨道之间的映射关系,目标对象为目标音乐轨道,交互信息包括动作指令,此时根据交互信息和目标对象完成用户与应用的交互的实现方式可以是终端设备根据动作指令击打目标音乐轨道上的击打位置。

由上述技术方案可以看出,本申请将mesh组网方式融合到设备节点,从而将多个设备节点构成输入外设以实现用户与终端设备上应用的交互。其中,输入外设包括多个设备节点,多个设备节点之间通过mesh组网方式连接,多个设备节点中包括作为主节点的设备节点,主节点与终端设备进行网络连接,主节点的个数可以是根据终端设备网络连接数量限制确定的。在用户与应用进行交互的过程中,输入外设响应于用户在预设条件下通过目标设备节点执行的输入操作,采集状态变化数据,对采集的状态变化数据进行处理,生成交互信息,从而赋予状态变化数据实际的操作含义,从而知晓需要与应用进行何种交互。由于所有设备节点形成mesh组网,多个设备节点之间和/或主节点与终端设备之间可以进行数据例如交互信息传输,便于其他设备节点例如目标设备节点向主节点发送交互信息,进而由主节点将所有交互信息发送至终端设备,以便终端设备可以根据交互信息和映射关系实现用户与应用中目标对象的交互。可见,本申请通过mesh组网可以根据场景需求任意扩充设备节点的数量,避免设备节点受终端设备网络连接数量的限制,从而丰富了用户的输入方式,适应不同的场景需求。

可以理解的是,为了便于设备节点201采集状态变化数据,根据应用场景的不同,设备节点201可能采用不同的形态。在一种可能的实现方式中,设备节点201的外形可以为环状形态,以便用户可以佩戴多个设备节点201。当然,设备节点201也可以为触摸屏或鼓槌等形态,本实施例对此不做限定。

例如,在跳舞类游戏应用的场景下,用户可能需要做出各种摆动、跳动等动作,为了便于用户做动作且设备节点201可以实时、准确地采集动作产生的状态变化数据,此时设备节点201的外形可以为环状形态。该环状形态可以是手环形态(用于采集手的动作产生的状态变化数据),也可以是脚环形态(用于采集脚的动作产生的状态变化数据)。

又如,在图4所示的钢琴类游戏应用的场景下,用户可能通过不同的手指产生的点击动作控制不同音乐轨道的击打位置。此时,设备节点201的外形可以是指环形态,即环状形态为指环形态,设备节点可以参见图5所示,多个设备节点可以分别佩戴在用户不同的手指上,佩戴指环后的效果图可以参见图5中箭头右侧所示。此时,输入操作为所述用户佩戴所述目标设备节点的手指的点击动作,点击动作可以是对应手指敲击桌面(桌面可以是常用的家用桌面,也可是特殊开发的击打面),目标设备节点为与音乐块下落至击打位置的音乐轨道具有映射关系的设备节点。

需要说明的是,在这种场景下,设备节点201也可以是触摸屏,例如带有触摸屏的智能终端,用户手指点击不同的触摸屏,相当于点击不同音乐轨道的击打位置。

在一种可能的实现方式中,也可以将不同形态的设备节点融合,这种融合可以是一体式的,也可是组合式。例如指环也可以与鼓槌融合,将指环套在鼓槌上,利用鼓槌执行点击操作。

当设备节点的外形是环状形态时,设备节点201采用可伸缩材料制成,满足不同手指、手腕或脚腕等佩戴电子设备的人体部位或物体的直径。

以图4所示的钢琴类游戏应用的场景为例,若设备节点201的外形为指环形态,基于mesh组网的输入外设与终端设备组成的系统架构可以参见图6所示,用户通过佩戴指环1、2、3、4号完成mesh组网(如图6中右侧图所示),并选定其中一个为主节点与终端设备100(图6中左侧图为终端设备100上所展示的钢琴类游戏应用的游戏界面)通过BLE进行连接。将指环1、2、3、4分别与音乐轨道1、2、3、4进行以映射,建立映射关系。其中,映射过程可以通过终端设备100上的钢琴类游戏应用来实现。1号音乐轨道对应1号指环,2号音乐轨道对应2号指环,3号轨道对应3号指环,4号轨道对应4号指环。当用户看到某个音乐轨道例如3号音乐轨道上的音乐块下落到击打位置时,只需要对应手指(佩戴3号指环的手指)敲击桌面,此时该指环包括的加速度传感器能够检测到手指的点击动作所产生的加速度变化(即状态变化数据),可提供震动反馈给用户,同时将指环包括的处理单元生成的动作指令传递给作为主节点的指环,主节点将动作指令上报给终端设备100的钢琴类游戏应用,钢琴类游戏应用将接收到的动作指令映射回触控事件,即确定相当于点击哪个音乐轨道上的击打位置,由此完成整个控制交互。

接下来,将结合实际应用场景对本申请实施例提供的用户基于输入外设与终端设备进行交互的方法进行介绍。该应用场景为钢琴类游戏应用场景,当音乐块下落到击打位置时,用户需要在对应音乐轨道(1-4)的击打位置点击终端设备的触摸屏。由于智能终端屏幕尺寸问题,手指放上去会很拥挤,容易疲劳。为此希望通过输入外设实现对击打位置的点击操作。图4所示的钢琴类游戏应用中,存在4条音乐轨道,每条音乐轨道都可能随时有音乐块下落到击打位置,故需要4个手指分别控制一条音乐轨道,这就可能需要4个设备节点(例如指环)构成输入外设。由于终端设备可以连接的蓝牙设备有限,一般可能仅连接一个,最多不超过两个,为了保证可以通过4个设备节点过程的输入外设实现用户对音乐轨道的控制,本实施例可以基于mesh组网的方式连接4个指环构成输入外设。具体的,多个指环之间通过mesh组网方式连接,确定一个指环作为主节点,将主节点与终端设备进行网络连接。

基于该输入外设,参见图7,用户与终端设备进行交互的方法包括:

S701、用户佩戴指环并启动钢琴类游戏应用。

S702、用户选择开始游戏。

S703、用户根据指环震动执行点击操作。

S704、指环采集状态变化数据并根据该状态变化数据生成动作指令。

S705、指环将动作指令发送至作为主节点的指环。

S706、作为主节点的指环将动作指令发送至终端设备。

S707、终端设备根据动作指令和预先建立的映射关系确定对应的音乐轨道。

S708、对该音乐轨道上的击打位置执行击打操作,发出落至击打位置的音乐块的音节。

基于图2对应实施例提供的基于输入外设进行输入的方法,本申请实施例还提供一种基于输入外设进行输入的装置800,所述装置800包括采集单元801、生成单元802、接收单元803和上报单元804:

所述采集单元801,用于在用户与应用进行交互的过程中,响应于所述用户在预设条件下通过所述目标设备节点执行的输入操作,采集状态变化数据;

所述生成单元802,用于对采集的所述状态变化数据进行处理,生成交互信息;

所述接收单元803,用于利用所述多个设备节点之间的数据传输功能,通过所述主节点接收与所述主节点连接的所述目标设备节点的交互信息;

所述上报单元804,用于利用所述主节点与所述终端设备之间的数据传输功能,将所述主节点上的所述交互信息上报至所述终端设备,以便所述终端设备根据所述交互信息和所述映射关系实现所述用户与所述应用中目标对象的交互。

在一些实施例中,所述设备节点的外形为环状形态,所述用户佩戴所述多个设备节点。

在一些实施例中,所述设备节点采用可伸缩材料制成。

在一些实施例中,所述交互信息包括动作指令,所述动作指令用于指示所述终端设备针对所述目标对象执行与所述动作指令对应的动作。

在一些实施例中,所述应用为钢琴类游戏应用,所述映射关系为所述多个设备节点分别与所述钢琴类游戏应用中不同的音乐轨道之间的映射关系。

在一些实施例中,所述预设条件为音乐轨道上的音乐块下落至击打位置,或所述目标设备节点发出振动或声音反馈。

在一些实施例中,若所述多个设备节点分别佩戴在所述用户不同的手指上,所述输入操作为所述用户佩戴所述目标设备节点的手指的点击动作,所述目标设备节点为与音乐块下落至击打位置的音乐轨道具有映射关系的设备节点。

在一些实施例中,所述设备节点为触摸屏或鼓槌。

在一些实施例中,所述采集单元801,用于通过所述传感器单元采集所述状态变化数据。

在一些实施例中,所述传感器单元包括压力传感器、加速度传感器、陀螺仪和心率传感器中一种或者多种组合。

本申请实施例还提供了一种基于输入外设进行输入的设备。下面结合附图对该设备进行介绍。请参见图9所示,该设备可以是终端设备,以终端设备为智能手机为例:

图9示出的是与本申请实施例提供的终端设备相关的智能手机的部分结构的框图。参考图9,智能手机包括:射频(英文全称:Radio Frequency,英文缩写:RF)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(英文全称:wireless fidelity,英文缩写:WiFi)模块970、处理器980、以及电源990等部件。输入单元930可包括触控面板931以及其他输入设备932,显示单元940可包括显示面板941。本领域技术人员可以理解,图9中示出的智能手机结构并不构成对智能手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

存储器920可用于存储软件程序以及模块,处理器980通过运行存储在存储器920的软件程序以及模块,从而执行智能手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据智能手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器980是智能手机的控制中心,利用各种接口和线路连接整个智能手机的各个部分,通过运行或执行存储在存储器920内的软件程序和/或模块,以及调用存储在存储器920内的数据,执行智能手机的各种功能和处理数据,从而对智能手机进行整体监控。可选的,处理器980可包括一个或多个处理单元;优选的,处理器980可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器980中。

在本实施例中,所述终端设备中的处理器980可以执行以下步骤;

在用户与应用进行交互的过程中,响应于所述用户在预设条件下通过所述目标设备节点执行的输入操作,采集状态变化数据;

对采集的所述状态变化数据进行处理,生成交互信息;

利用所述多个设备节点之间的数据传输功能,通过所述主节点接收与所述主节点连接的所述目标设备节点的交互信息;

利用所述主节点与所述终端设备之间的数据传输功能,将所述主节点上的所述交互信息上报至所述终端设备,以便所述终端设备根据所述交互信息和所述映射关系实现所述用户与所述应用中目标对象的交互。

或,

接收所述主节点上报的交互信息;

根据所述映射关系确定所述交互信息所针对的所述应用中的目标对象;

根据所述交互信息和所述目标对象完成所述用户与所述应用的交互。

根据本申请的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行前述各个实施例所述的基于输入外设进行输入的方法。

根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例各种可选实现方式中提供的方法。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术成员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

技术分类

06120112175449