分析手部震颤误触的输入纠错方法、计算装置和介质

技术领域

本发明总体地涉及计算机信息输入技术领域，特别是涉及一种在信息输入过程中编码纠错的方法与装置。

背景技术

对于使用英文、中文等语言在智能触摸屏设备上进行文本输入的用户，一般都需要通过输入法程序与智能终端进行交互：例如用户通过虚拟触摸键盘输入编码字符串，应用的输入法程序将根据其设置的语言、键盘、算法等标准将输入字符串映射变换成为相应语言的候选项，从而用户可以确认输入信息。

由于触摸屏上用户可触摸坐标点非离散的特性，用户输入的字符串与目标字符串常因为点击不精准而存在误差，因此与机械键盘不同的是，触摸屏虚拟键盘通常要求有按键坐标的模糊化，即通过自动纠正算法来修正用户点击的误差。QWERTY键盘在多种语言输入法中均有应用，例如中文拼音、英语，在智能设备触摸屏上的虚拟QWERTY键盘由于其按键密集，字符串纠正算法是输入法必不可少的组成部分。

更特殊的，对于手部出现震颤症状的人群，例如患有帕金森症的病人群体，由于手部的颤抖，用户进行触摸交互时的误差和多次触摸的误触率会有所增加，因此更具有针对性的、更准确的字符串纠正算法显得尤为关键。

在输入算法结合使用字符串错误纠正算法的情况下，在用户进行输入的同时输入法程序会根据设定的算法、纠正算法将输入的字符串映射至对应语言的候选项，从而用户可以确认输入的信息。

专利公开CN101276245A，披露了一种输入过程中编码纠错的提示方法和系统，该发明通过接收用户输入的编码字符串，转换得到相应候选项，判断候选项中是否存在通过易混淆编码等同方式而得到的候选项，若是，则提供编码纠错信息，以帮助用户在使用过程中主动提高编码字符串的输入准确度，从而降低用户对模糊音的依赖。此方法在应对手部震颤症状的重复点、多次点击问题时纠正效果将较弱。

专利公开CN106896931A披露了一种输入法纠错方法和装置，该发明通过传感震动参数对终端发生输入的编码字符进行纠错，即将纠错按键对应的编码字符与震动发生前和/或震动发生后输入的编码字符进行组合，得到纠错编码字符串，并将起置入候选词条。此方法在应对手部震颤症状的重复点、多次点击问题时纠正效果将较弱。

发明内容

针对现有技术的以上问题，本发明所要解决的技术问题之一是提供一种面向患有手部震颤症状人群的在其使用智能设备触摸屏进行文本输入过程中的编码纠正方法，能够根据用户可能存在错误的输入字符串获得纠正编码，以帮助用户在使用过程中提高容错率，减少需要删除输入字符的次数，提高输入速度。

根据本发明的一个实施例，提供了一种计算机执行的针对触摸屏输入的输入纠错方法，包括：获取用户与触摸屏交互动作的视频流；利用触摸屏上的触摸信息接收用户输入的编码字符串与各字符输入的坐标、时间；依据接收的交互视频流中的多个视频帧图像分析某次触摸交互为因手部震颤而误触的可能性；依据接收的字符串信息，分析相邻触摸交互的坐标与频率，分析某次触摸交互为因手部震颤而误触的可能性；依据通过视频流分析的误触可能性、通过相邻触摸交互坐标频率分析的误触可能性、与接受的编码字符串，转换得到相应的候选项。

可选的，输入纠错方法还可以包括：判断候选项在词库中是否有能够通过易混淆编码等同方式得到的额外候选项；若有，则添加额外候选项至候选项集合中。

可选的，获取用户与屏幕交互动作的视频流包括利用前置摄像头和镜面反射装置获取到用户手指或触摸笔与触摸屏交互的视频流。

可选的，依据接收的交互视频流中的多个视频帧图像分析某次触摸交互为因手部震颤而误触的可能性可以包括：当检测到用户进行屏幕触摸交互时，获取本次触摸屏幕交互的时间戳，在利用前置摄像头镜面反射装置获取到的用户手指或触摸笔与触摸屏交互的视频流中，截取相应时间戳前n秒的视频流，并对视频流中逐帧图像进行分析，n为正整数，如果视频流不足n则取最多的视频流，对视频流逐帧分析后获得与时间戳相关的指尖或触摸笔顶端与屏幕的距离；根据之前确定时间内的指尖或触摸笔顶端与屏幕的距离的波动幅度变化情况，确定某次触摸交互为因手部震颤而误触的可能性。

可选的，获得与时间戳相关的指尖或触摸笔顶端与屏幕的距离包括：根据摄像头反射装置安装位置判定手机屏幕平面区域；根据颜色、图像帧间像素差或其他要素进行图像区域分割获得用户手指或触摸笔轮廓；根据轮廓区域宽度和在图像中位置，估算指尖或触摸笔顶端与屏幕间距，采用如下公式：

δ＝l·d

其中δ为估算的屏幕与指尖或触摸笔顶端间距；l为前置相机与手指或触摸笔顶端距离。

可选的，前置相机与手指或触摸笔顶端距离l采用下述公式来计算：

l＝α·w+β

其中w为轮廓区域宽度，α为常数，要求用户使用前进行校准，校准过程要求用户触摸屏幕四角完成；d则为图像中指尖或触摸笔顶端与屏幕间间隔的像素值，此像素值反映指尖或触摸笔顶端与镜面反射装置连线与手机屏幕所成夹角的正切值。

可选的，所述根据之前确定时间内的指尖或触摸笔顶端与屏幕的距离的波动幅度变化情况，确定某次触摸交互为因手部震颤而误触的可能性包括：针对某次特定的触摸交互，若此次交互前指尖或触摸笔顶端与屏幕距离越近，即上述δ值的平均值越小，则此次触摸交互为误触的可能性越高；若此次交互前指尖或触摸笔顶端与屏幕距离表现出的下降沿的波动幅度越大，则此次触摸交互为误触的可能性越低。

可选的，依据接收的交互视频流中的多个视频帧图像分析某次触摸交互为因手部震颤而误触的可能性可以包括：结合视频流中分析得到的指尖或触摸笔顶端位置信息与软件得到的触摸点坐标信息进行判断两个位置之间的吻合程度，基于该吻合程度计算用户用非主要操作手指或触摸笔进行误触的可能性。

可选的，依据接收的字符串信息，分析相邻触摸交互的坐标与频率，分析某次触摸交互为因手部震颤而误触的可能性可以包括：根据记录获取本次交互前n次的交互信息，包括每次交互的触摸坐标和时间，其中n为大于等于2的整数；若本次交互与前几次的交互时间差满足震颤频率4-6Hz条件，即相邻交互时间差为约0.15-0.25秒，则相比于不满足此震颤频率的情况，本次交互为误触的可能性更高；以及在满足所述震颤频率条件的前提下，相邻交互的触摸坐标距离越近，则本次交互为误触的可能性越高。

可选的，分析某次触摸交互为因手部震颤而误触的可能性可以包括：采用SVM或人工神经网络训练生成二元分类器，在测试时候，获取的指尖或触摸笔顶端与屏幕接触的坐标、时间输入到所述二元分类器中，取其概率输出值作为数值判据，作为本次交互为误触的概率值。

根据本发明另一实施例，提供了一种计算装置，包括存储器和中央处理器，存储器上存储有计算机可执行指令，所述指令当被中央处理器执行时，执行上述方法。

根据本发明另一实施例，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令当被计算机执行时，执行上述方法。

根据本发明另一实施例，提供了一种计算机执行的输入纠错方法，包括：利用触摸屏上的触摸信息接收用户输入的编码字符串与各字符输入的坐标、时间；依据接收的字符串信息，分析相邻触摸交互的坐标与频率，分析某次触摸交互为因手部震颤而误触的可能性；通过相邻触摸交互坐标频率分析的误触可能性、与接受的编码字符串，转换得到相应的候选项。

可选的，所述依据接收的字符串信息，分析相邻触摸交互的坐标与频率，分析某次触摸交互为因手部震颤而误触的可能性可以包括：根据记录获取本次交互前n次的交互信息，包括每次交互的触摸坐标和时间，其中n为大于等于2的整数；若本次交互与前几次的交互时间差满足震颤频率4-6Hz条件，即相邻交互时间差为约0.15-0.25秒，则相比于不满足此震颤频率的情况，本次交互为误触的可能性更高；以及在满足所述震颤频率条件的前提下，相邻交互的触摸坐标距离越近，则本次交互为误触的可能性越高。

可选的，分析某次触摸交互为因手部震颤而误触的可能性可以包括：采用SVM或人工神经网络训练生成二元分类器，在测试时候，获取的指尖或触摸笔顶端与屏幕接触的坐标、时间输入到所述二元分类器中，取其概率输出值作为数值判据，作为本次交互为误触的概率值。

根据本发明实施例的基于触摸屏输入来预测误触并相应地纠正输入错误的方法，相比于常见的输入法字符串纠正方法，可以有效降低因震颤导致的误触对输入字符串的影响，包括震颤导致的触摸偏差大、多触问题；经过处理的候选项可以有效滤除用户的无效输入并矫正不准确输入，为用户提供更符合预期的字符串，以帮助用户在使用过程中提高容错率，减少需要删除输入字符的次数，提高输入速度。

附图说明

图1示出了本申请实施例的计算机执行的针对触摸屏输入的输入纠错方法的流程图。

图2示出了根据本发明另一实施例的同时利用触摸屏上的触摸信息以及利用视频流来针对触摸屏输入进行纠错的输入纠错方法的流程图。

图3示出了根据本发明实施例的利用前置摄像头和平面镜获得视频流技术的布置示意图。

图4示出了根据本发明实施例的估算指尖或触摸笔顶端与屏幕间距中使用的参数的示意图。

图5示出了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解本申请不受这里描述的示例实施例的限制。

图1示出了本申请实施例的计算机执行的针对触摸屏输入的输入纠错方法的流程图。

如图1所示，在步骤S110中，利用触摸屏上的触摸信息接收用户输入的编码字符串与各字符输入的坐标、时间。

用户的每次触摸，都有触摸的坐标、时间，以及对应的字符，将这些记录下来，就得到了用户输入的编码字符串与各字符输入的坐标、时间。

在步骤S120中，依据接收的字符串信息，分析相邻触摸交互的坐标与频率，分析某次触摸交互为因手部震颤而误触的可能性。

由于帕金森疾病引起的手部震颤频率多为4-6Hz，故可以通过相邻几次的交互信息估计本次交互为误触的概率。

根据记录获取本次交互前n次，包括每次交互的触摸坐标和时间，其中n为大于等于2的整数包括几次交互的触摸坐标和时间。在一个示例中， n取3，若不足3则取最多。

若本次交互与前几次的交互时间差满足震颤频率4-6Hz条件，即相邻交互时间差为约0.15-0.25秒，则相比于不满足此震颤频率的情况，本次交互为误触的可能性更高；以及在满足所述震颤频率条件的前提下，相邻交互的触摸坐标距离越近，则本次交互为误触的可能性越高。

在一个示例中，分析某次触摸交互为因手部震颤而误触的可能性包括：采用SVM或人工神经网络训练生成二元分类器，在测试时候，将获取的指尖或触摸笔顶端与屏幕接触的坐标、时间输入到所述二元分类器中，取其概率输出值作为数值判据，作为本次交互为误触的概率值。具体地SVM或人工神经网络训练时采用的数据集要求采集获得的原始输入信息与是否误触(误触则标记为1，非误触标记为0)一一对应，即可以保证应用时概率输出结果将落于闭区间[0,1]中。应用时需要设定阈值∈，若输出概率值大于阈值，则认为此次交互为误触。在一个示例中，∈取0.8。

在步骤S130中，依据通过相邻触摸交互坐标频率分析获得的误触可能性与接受的编码字符串，转换得到相应的候选项。

在一个示例中，依据通过相邻触摸交互坐标频率分析获得的误触可能性，获得接收的编码字符串中特定字符需要被删去的概率，结合接收的完整编码字符串，获取一组经自动删减的编码字符串，此步骤可有效滤除因误触造成的多余输入字符。将该组经自动删减的编码字符串与现有词库进行对比，依据相似度和词库中单词的词频，转换得到相应相似度高且词频相对高的候选项，以此达到矫正不正确输入并提供更符合预期的字符串的目的。

根据本发明实施例的基于触摸屏输入来预测误触并相应地纠正输入错误的方法，相比于常见的输入法字符串纠正方法，可以有效降低因震颤导致的误触对输入字符串的影响，包括震颤导致的触摸偏差大、多触问题；经过处理的候选项可以有效滤除用户的无效输入并矫正不准确输入，为用户提供更符合预期的字符串，以帮助用户在使用过程中提高容错率，减少需要删除输入字符的次数，提高输入速度。

图2示出了根据本发明另一实施例的同时利用触摸屏上的触摸信息以及利用视频流来针对触摸屏输入进行纠错的输入纠错方法的流程图。

在步骤S210中，获取用户与触摸屏交互动作的视频流。

图3示出了根据本发明实施例的利用前置摄像头和平面镜获得视频流技术的布置示意图。在该示例中，利用前置摄像头镜面反射装置获取到用户手指或触摸笔与触摸屏交互的视频流。其中，用户手指发出的光直接到达前置摄像头或者通过平面镜反射后进入前置摄像头，得到了相关视频流。

在步骤S220中，利用触摸屏上的触摸信息接收用户输入的编码字符串与各字符输入的坐标、时间。

此步骤的描述可以参考前面结合图1的步骤S110进行的描述。

在步骤S230中，依据接收的交互视频流中的多个视频帧图像分析某次触摸交互为因手部震颤而误触的可能性。

具体地，在一个示例中，当用户进行屏幕触摸交互时，获取本次触摸屏幕交互的时间戳，在利用前置摄像头镜面反射装置获取到的用户手指或触摸笔与触摸屏交互的视频流中，截取相应时间戳前n秒(在一个示例中，n 取2，若不足2则取最多)的视频流，并对视频流中逐帧图像进行分析。

分析内容可以包括：

(1)根据摄像头反射装置安装位置判定手机屏幕平面区域；

(2)根据颜色、图像帧间像素差或其他要素进行图像区域分割获得用户手指或触摸笔轮廓；

(3)根据轮廓区域宽度和在图像中位置，估算指尖或触摸笔顶端与屏幕间距，在一个示例中采用如下公式进行估算

δ＝l·d

其中δ为估算的屏幕与指尖或触摸笔顶端间距；l为前置相机与手指或触摸笔顶端距离，可由l＝α·w+β进行估算，其中w为轮廓区域宽度，α为常数要求用户实用前进行校准，校准过程可要求用户触摸屏幕四角完成；d则为图像中指尖或触摸笔顶端与屏幕间间隔的像素值，根据相机球面成像的特性，此像素距离将直接反映指尖或触摸笔顶端与镜面反射装置连线与手机屏幕所成夹角的正切值。图4示出了根据本发明实施例的估算指尖或触摸笔顶端与屏幕间距中使用的参数的示意图。

对视频流逐帧分析后可以获得与时间戳相关的指尖或触摸笔顶端与屏幕的距离。由于手部震颤患者的症状，此距离值通常会表现出一定幅度的规律波动，波动幅度则与用户手部震颤病情严重程度相关。对于某次特定的触摸交互，若此次交互前指尖或触摸笔顶端与屏幕距离近，即上述δ值的平均值小，则此次触摸交互为误触的可能性高；若此次交互前指尖或触摸笔顶端与屏幕距离表现出大于常规波动幅度的下降沿，则此次触摸交互为误触的可能低。另，存在用户用非主要操作手指或触摸笔进行误触的可能性，则需要结合视频流中分析得到的指尖或触摸笔顶端位置信息与触摸屏感测得到的触摸点坐标信息进行判断，若不吻合，则误触可能性高。

作为具体的一种可行量化方法的示例，可以采用支持向量机(SVM) 或机器学习算法生成二元分类器，将视频流分析获取的指尖或触摸笔顶端与屏幕间间隔距离与时间关系δ-t曲线作为输入，取其概率输出值作为数值判据作为本次交互为误触的概率值。

SVM或人工神经网络训练时采用的数据集要求采集获得的已知视频流进行分析后得到的δ-t曲线与人工标定的是否误触(误触标记为1，非误触标记为0)一一对应，即可以保证应用时概率输出结果将落于闭区间[0,1] 中。应用时需要设定阈值∈(例如本方案中∈取0.8)，若输出概率值大于阈值，则认为此次交互为误触。

在步骤S240中，依据接收的字符串信息，分析相邻触摸交互的坐标与频率，分析某次触摸交互为因手部震颤而误触的可能性。

关于步骤S240的实现，可以参考前面结合图1中的步骤S120进行的描述。

在步骤S250中，依据通过视频流分析的误触可能性、通过相邻触摸交互坐标频率分析的误触可能性、与接受的编码字符串，转换得到相应的候选项。

具体地，可以依据通过视频流分析获得的误触可能性、通过相邻触摸交互坐标频率分析获得的误触可能性，获得接收的编码字符串中特定字符需要被删去的概率，结合接收的完整编码字符串，获取一组经自动删减的编码字符串，此步骤可有效滤除因误触造成的多余输入字符。将该组经自动删减的编码字符串与现有词库进行对比，依据相似度和词库中单词的词频，转换得到相应相似度高且词频相对高的候选项，以此达到矫正不正确输入并提供更符合预期的字符串的目的。

在一个示例中，输入纠错方法还包括：判断候选项在词库中是否有能够通过易混淆编码等同方式得到的额外候选项；若有，则添加额外候选项至候选项集合中。若词库中有多个满足项，则根据词库统计中各字符串的出现频率由高至低进行排序并显示。

本发明实施例的输入纠正方法相比常见的输入法字符串纠正方法可以有效降低因震颤导致的误触对输入字符串的影响，包括震颤导致的触摸偏差大、多触问题。经过处理的候选项可以有效滤除用户的无效输入并矫正不准确输入，为用户提供更符合预期的字符串，以帮助用户在使用过程中提高容错率，减少需要删除输入字符的次数，提高输入速度。

下面，参考图5来描述根据本申请实施例的电子设备。

图5图示了根据本申请实施例的电子设备的框图。

如图5所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的数据存储方法和数据恢复方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如数据块、数据桶等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置13可以是例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括存储结果和恢复结果等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的数据存储方法和数据恢复方法的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。