基于增强现实的输入法的实现方法及其应用和实现系统

技术领域

本发明属于虚拟键盘输入相关技术领域，更具体地，涉及一种基于增强现实的输入法的实现方法及其应用和实现系统。

背景技术

在目前的增强现实环境中，虚拟键盘输入作为一种文字输入方式，其允许用户通过虚拟环境生成的虚拟键盘输入文字，类似于传统的电脑或者手机输入方式。这种方式用户较为熟悉，容易上手，但同时虚拟键盘输入需要用户在虚拟场景中敲击虚拟键盘，由于缺乏固定的物理参照系以及实物键盘的敲击感，从而与现实中的敲击键盘体验差异较大，容易造成使用者的不适感。

当前虚拟键盘输入的准确性和稳定性受到多种因素影响，包括键盘的布局设计、反馈机制、环境光照、背景杂乱程度等，同时AR虚拟键盘需要一定的空间来投影虚拟键盘，可能会在狭小的环境中受到限制。在一些虚拟键盘实施例中，混合现实系统使用一个或多个全息图呈现混合现实环境，为了防止手指和虚拟按键之间的意外交互，需要在活动状态和非活动状态之间切换各个手指的输入状态。当手指的输入激活时，手指的输入映射为活动状态。相反，当手指处于非活动状态时，禁止向输入接收器的输入元件(虚拟按键)提供用户输入，而这可能导致输入延迟或误触。

虚拟手势输入是一种直观、自然、灵活的输入方式，可以非常准确地表达用户的意图，并且能够避免虚拟键盘等输入方式存在的不适感和操作难度。这种输入方式需要较高的手势识别精度支持，并且需要用户进行一定的训练和适应期，对操作人的专业化要求高，因此虚拟手势输入可能会存在误触等问题，需要进行一定的优化和改进。

因此亟需设计一种既可以有实物触感又可以实现虚拟输入的实现方式，进而提升用户体验和输入精度。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于增强现实的输入法的实现方法及其应用和实现系统，可以实现实体触感和虚拟键盘的结合，极大的提升了用户体验，提升了准确性。

为实现上述目的，按照本发明的一个方面，提供了一种基于增强现实的输入法的实现方法，包括：S1：实时拍摄包含用户手部的实景画面；S2：基于实景画面中采集到的用户手部关节数据构建虚拟手部模型，在AR应用内部利用关节运动数据驱动虚拟手部模型还原用户动作；S3：将所述虚拟键盘与所述实景画面中除大拇指外的手指叠加，采用大拇指触发虚拟键盘，获取触发过程中关节运动驱动虚拟手部模型，在虚拟模型中检测大拇指触发区域实现输入法指令输入。

优选地，将所述虚拟键盘与所述实景画面中手部除大拇指外的手指叠加具体为：识别虚拟手部模型，以除大拇指外手指的各个指节作为按键分区，实现虚拟键盘与手指的匹配。

优选地，识别虚拟手部模型还包括识别手指长度和手掌大小，虚拟键盘的大小与所述手指长度匹配，且虚拟键盘的位置，角度、颜色和透明度中的任一项或多项具备手动调节功能。

优选地，步骤S3将所述虚拟键盘与所述实景画面中除大拇指外的手指叠加具体为：以虚拟手部模型中的一固定位置为中心构建局部坐标系，获取手指关节在所述局部坐标系中的关节坐标，将所述虚拟键盘的中心与所述虚拟坐标系的中心重合，将虚拟键盘上按键坐标与手指关节的关节坐标对应匹配。

本申请第二方面提供了一种上述基于增强现实的输入法的实现方法的应用，将所述实现方法用于中文九宫格输入，将除大拇指外的手指与九宫格键盘对应。

优选的，将所述实现方法用于中文九宫格输入，将除大拇指外手指的指节与九宫格键盘对应，将除大拇指外手指的部分指根作为空格键，将除大拇指外的手指中的另一部分指根作为符号键。

优选的，将小指的指根作为符号键，将食指和/或中指和/或无名指的指根作为空格键。

本申请第三方面提供了一种基于增强现实的输入法的实现系统，包括：实景获取模块：用于实时拍摄包含用户手部的实景画面；手势映射模块：基于实景画面中采集到的用户手部关节数据构建虚拟手部模型，在AR应用内部利用关节运动数据驱动虚拟手部模型还原用户动作；匹配模块：用于将所述虚拟键盘与所述实景画面中除大拇指外的手指叠加，采用大拇指触发虚拟键盘，获取触发过程中关节运动驱动虚拟手部模型，在虚拟模型中检测大拇指触发区域实现输入法指令输入。

本申请第四方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实现方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的基于增强现实的输入法的实现方法及其应用和实现系统主要具有以下有益效果：

1.本发明基于AR技术实现基于人体固定部位生成虚拟键盘的功能，在实际使用时具有固定的物理参照系以及真实触感，相比现有虚拟键盘体验感大大增强。

2.本申请采用人体手部关节聚类回归技术，基于实景画面中的手部特征构建了虚拟手部模型，将人体关节与虚拟手部模型进行映射，提供了一套有效的AR场景的文字输入方法，该方式不用语音输入或者使用昂贵的动作捕捉设备，解决了现有技术在AR环境中文字输入的问题。

3.在识别敲击键位方面，本申请基于手部生成虚拟键盘，键位于指节之间的关系式绑定的，软件内部可以用虚拟手部模型复现用户的敲击动作，从而通过手部模型大拇指的触碰区域来确定用户的敲击键位，相比于现有的虚拟键盘直接在自由空间中生成的方式，本申请的定位精度极大提高。

4.本发明提供的实现方法中，智能终端拍摄到真实世界中的用户手掌，经安装在智能终端中的AR应用识别处理，开启手部虚拟键盘功能，将会在智能终端屏幕上看到虚拟的九宫格输入法键盘叠加在真实世界的手掌和手指上。用户移动手指时相应的键位也会跟着移动，通过大拇指指腹去碰触相应键位来模拟敲击虚拟键盘上的按键，最终通过捕获用户在手部虚拟键盘的敲击位置和敲击姿势识别出用户想要在虚拟键盘上输入的键值指令，处理后得到用户输入的字符，体验感更好，也更加精准。

附图说明

图1是本申请实施例基于增强现实的输入法的实现方法的步骤示意图；

图2是本申请实施例基于增强现实的输入法的实现方法的应用场景示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供的一种基于增强现实的输入法的实现方法，如图1所示，主要包括如下步骤S1～S3。

S1：实时拍摄包含用户手部的实景画面。

可以采用具有摄像功能的终端设备(如Kinect)来实时拍摄包含用户手部的实景画面。

S2：基于实景画面中采集到的用户手部关节数据构建虚拟手部模型，在AR应用内部利用关节运动数据驱动虚拟手部模型还原用户动作。

可以采用人体手部关节聚类回归技术基于实景画面中的用户手部特征构建虚拟手部模型。该技术基于聚类回归算法，从摄像头获取的深度图像推演出手部骨骼关节位置。

采用AR应用处理实景画面，获取到用户手部关节数据后在软件内部生成一个虚拟手部模型并同步用户手部的动作。

进而后续，终端设备在识别到手部手掌以及AR应用接收到需要输入的指令时，开启手部虚拟键盘功能，并在虚拟画面中呈现手部虚拟键盘。

S3：将所述虚拟键盘与所述实景画面中除大拇指外的手指叠加，采用大拇指触发虚拟键盘，获取触发过程中关节运动驱动虚拟手部模型，在虚拟模型中检测大拇指触发区域实现输入法指令输入。

所述虚拟键盘叠加在用户实景画面视野的手指上，目的是标记各个键位的键值，当用户发出敲击指令时，软件内部虚拟手进行动作同步，同时软件检测虚拟手的大拇指敲击触发的键值区域，并输出相应字符。

进一步优选的方案中，该步骤还包括AR应用根据用户手部特征构建虚拟手部模型。具体地，AR应用获取用户的手部骨骼和关节信息并在内部生成一个虚拟的手部模型，根据摄像头捕获的用户敲击画面通过聚类回归算法来驱动虚拟手部模型完成同步动作，最终识别出模型手敲击的按键区域作为用户敲击的键值指令。AR应用基于所识别到的键值指令从内置的输入法中查找对应的字符，并以汉语拼音或者英文单词的形式组合，在弹窗中显示候选词由用户选择确定后输出。

进而基于预先设定好的键位和手指指节的映射规则，将虚拟键盘的键位区域一一对应到手指指节。这样做的目的在于，将虚拟键盘的键位与手部骨骼和关节特征绑定在一起，系统根据用户的敲击动作在虚拟模型手上还原出用户的输入动作，于是最终输出的指令由虚拟手部模型的大拇指敲击区域准确地还原出来，能够使得智能终端更清晰地识别用户敲击的按键并输出相应的字符。

进一步优选的方案中，将所述虚拟键盘与所述实景画面中手部除大拇指外的四指叠加具体为：识别虚拟手部模型，以除大拇指外手指的各个指节作为按键分区，实现虚拟键盘与手指的匹配。

具体地，识别虚拟手部模型还包括识别手指长度和手掌大小，虚拟键盘的大小与所述手指长度匹配，且虚拟键盘的位置，角度、颜色和透明度中的任一项或多项具备手动调节功能。

具体地实现方法为：以虚拟手部模型中的一固定位置为中心构建局部坐标系，获取手指关节在所述局部坐标系中的关节坐标，将所述虚拟键盘的中心与所述虚拟坐标系的中心重合，将虚拟键盘上按键坐标与手指关节的关节坐标对应匹配。进而保证按键始终处于指节上固定位置，不会随着手指的运动而脱离或改变相对位置。

本申请另一方面提供了一种基于增强现实的输入法的实现方法的应用，如图2所示，将所述实现方法用于中文九宫格输入，将除大拇指外的手指与九宫格键盘对应。

将所述实现方法用于中文九宫格输入，将除大拇指外手指的指节与九宫格键盘对应可以将除大拇指外任意数量手指的指节与九宫格键盘对应，例如，可以将除大拇指外四指的指节与九宫格键盘一一对应，也可以将除大拇指外三指的指节与九宫格键盘对应，此时可以将某一手指的指节两侧分别与九宫格中的两列对应。

在进一步优选的方案中，将除大拇指外手指的部分指根作为空格键，将除大拇指外的手指中的另一部分指根作为符号键。

例如，可以将食指和/或中指和/无名指的指根作为空格键，将小指的指根作为符号键。根据摄像头识别的手掌信息，以除大拇指其他手指的各个指节作为按键分区，借鉴智能手机中文九键输入法的按键分布来设置各个按键位置，可以将大拇指的指腹区域作为点选识别区域，亦可在手掌其他区域增加虚拟按键，如食指靠近大拇指一侧以及手掌靠近四指部分。

应用过程中，用户基于手部的虚拟键盘和自身的手指动作，利用大拇指触碰其他手指指节上的虚拟按键区域来模拟敲击键盘动作，在敲击过程中AR应用获取用户的手部动作姿态，软件内部将用户实际动作还原到虚拟手部模型上，根据虚拟手部模型的大拇指敲击区域确定出用户敲击的键值指令；AR应用基于所识别到的键值指令从内置的输入法中查找对应的字符，并以汉语拼音或者英文单词的形式组合，在弹窗中显示候选词由用户选择确定后输出。

智能终端的摄像头能够实时捕捉到真实世界的画面，当识别到用户的手部时，AR软件得到生成虚拟键盘的指令，根据用户手部特征在指节处生成虚拟按键形成类似于手机上九键输入法的虚拟键盘，并将其叠加到真实世界的手掌和手指上。生成的键位有一种始终“贴合”在手指表面的效果，用户可以通过大拇指指腹去触碰相应的键位来模拟敲击过程，终端会实时捕获敲击位置和敲击姿势，以此来识别出用户相要在虚拟键盘上输入的键值指令，之后再根据AR应用中内置的输入法中查找键值指令对应的字符，并在虚拟画面中以弹窗的形式由用户选择确定后输出。

本申请另一方面提供了一种基于增强现实的输入法的实现系统，该系统包括实景获取模块，手势映射模块以及匹配模块，具体地：

实景获取模块：用于实时拍摄包含用户手部的实景画面；

手势映射模块：用于基于实景画面中采集到的用户手部关节数据构建虚拟手部模型，在AR应用内部利用关节运动数据驱动虚拟手部模型还原用户动作；

匹配模块：用于将所述虚拟键盘与所述实景画面中除大拇指外的手指叠加，采用大拇指触发虚拟键盘，获取触发过程中关节运动数据驱动虚拟手部模型，在虚拟模型中检测大拇指触发区域实现输入法指令输入。

本实施例再一方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述的方法的步骤。与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的网络测试方法的有益效果相同，在此不做赘述。

本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指导相关的硬件完成的，上述程序可以存储于计算机可读去存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而存储介质可以是ROM/RAM、磁碟、光盘、存储卡等。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。