一种基于手势的文本处理方法及系统

技术领域

本发明涉及文本处理技术领域，具体涉及一种基于手势的文本处理方法及系统。

背景技术

随着互联网的发展，智能手机和平板电脑等电子产品在人们的日常生活中占据重要部分，为使互联网更好的惠及视障群体，需要辅助视障者操作电子产品。

视障者在操作电子产品时完全依赖读屏功能，视障者开启读屏软件后，当手指触摸屏幕时读屏软件会朗读屏幕相应位置的文字或控件信息，视障者用户根据声音反馈操作电子产品。但是，在操作电子产品时通常会涉及多种操作，仅提供朗读功能无法满足视障者操作电子产品的实际需求，现有辅助视障者操作电子产品的方式功能较为单一，用户体验较差。

发明内容

有鉴于此，本发明实施例提供一种基于手势的文本处理方法及系统，以解决现有读屏软件存在的功能单一和用户体验较差等问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开一种基于手势的文本处理方法，所述方法包括：

识别用于处理目标文本的目标手势，所述目标手势由用户通过至少一根手指操作屏幕的手指动作所构成，所述手指动作为手指滑动、手指点击和手指停顿中的一种或组合；

确定构成所述目标手势的手指数量和手指动作；

利用构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，所述操作对象为所述目标文本中的字、词、句子、段、全文或光标；

若所述目标手势存在与之对应的操作对象，响应所述目标手势，基于所述目标手势对应的操作对象和操作方式，对所述目标文本进行处理；

若所述目标手势不存在与之对应的操作对象，响应所述目标手势，基于所述目标手势对应的操作方式，对所述目标文本进行处理。

优选的，所述利用构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，包括：

利用预设的手势操作表，结合构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，所述手势操作表包括：不同的手指数量与不同的手指动作之间的组合与操作对象的对应关系，及不同的手指数量与不同的手指动作之间的组合与操作方式的对应关系。

优选的，所述利用构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，包括：

若构成所述目标手势的手指数量为N，且若手指动作为向第一指定方向滑动，确定所述目标手势对应的操作对象为所述目标文本中的字、词、句子或段，及确定所述目标手势对应的操作方式为：朗读所述目标手势对应的操作对象的上一个对象，N为大于等于1小于等于4的整数，所述目标手势对应的操作对象与N的取值相关；

若构成所述目标手势的手指数量为N，且若手指动作为向第二指定方向滑动，确定所述目标手势对应的操作对象为所述目标文本中的字、词、句子或段，及确定所述目标手势对应的操作方式为：朗读所述目标手势对应的操作对象；

若构成所述目标手势的手指数量为N，且若手指动作为向第三指定方向滑动，确定所述目标手势对应的操作对象为所述目标文本中的字、词、句子或段，及确定所述目标手势对应的操作方式为：朗读所述目标手势对应的操作对象的下一个对象；

若构成所述目标手势的手指数量为1，且若手指动作为向第四指定方向滑动后停顿，确定所述目标手势对应的操作对象为所述目标文本中的全文，及确定所述目标手势对应的操作方式为：朗读所述目标文本中的全文；

若构成所述目标手势的手指数量为1，且若手指动作为单指单击，确定所述目标手势不存在对应的操作对象，及确定所述目标手势对应的操作方式为：朗读当前光标所在的句子及其之后的全部内容。

优选的，所述利用构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，包括：

若构成所述目标手势的手指数量为N，且若手指动作为向第五指定方向滑动，确定所述目标手势对应的操作对象为所述目标文本中的字、词、句子或段，及确定所述目标手势对应的操作方式为：删除所述目标手势对应的操作对象并语音反馈删除结果，N为大于等于1小于等于4的整数，所述目标手势对应的操作对象与N的取值相关；

若构成所述目标手势的手指数量为1，且若手指动作为向第六指定方向滑动后停顿，确定所述目标手势对应的操作对象为所述目标文本中的全文，及确定所述目标手势对应的操作方式为：删除所述目标文本中的全文并语音反馈删除结果。

优选的，所述利用构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，包括：

若构成所述目标手势的手指数量为1，且若手指动作为单指双击，确定所述目标手势对应的操作对象为所述目标文本中的句子，及确定所述目标手势对应的操作方式为：在所述目标文本的当前光标处插入用户的语音输入内容；

若构成所述目标手势的手指数量为1，且若手指动作为向第七指定方向滑动，确定所述目标手势对应的操作对象为所述目标文本中的字，及确定所述目标手势对应的操作方式为：在所述目标文本的当前光标处插入换行符；

若构成所述目标手势的手指数量为1，且若手指动作为向第八指定方向滑动，确定所述目标手势对应的操作对象为所述目标文本中的字，及确定所述目标手势对应的操作方式为：在所述目标文本的当前光标处插入逗号；

若构成所述目标手势的手指数量为1，且若手指动作为向第九指定方向滑动，确定所述目标手势对应的操作对象为所述目标文本中的字，及确定所述目标手势对应的操作方式为：在所述目标文本的当前光标处插入句号。

优选的，所述利用构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，包括：

若构成所述目标手势的手指数量为1，且若手指动作为向第十指定方向滑动，确定所述目标手势对应的操作对象为所述目标文本中的字、词、句子或段，及确定所述目标手势对应的操作方式为：执行撤销指令，撤销上一次用于处理所述目标文本的手势；

若构成所述目标手势的手指数量为1，且若手指动作为向第十一指定方向滑动，确定所述目标手势对应的操作对象为所述目标文本中的字、词、句子或段，及确定所述目标手势对应的操作方式为：恢复上一次执行撤销指令所撤销的内容。

优选的，所述利用构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，包括：

若构成所述目标手势的手指数量为1，且若手指动作为向第十二指定方向滑动后停顿，确定所述目标手势对应的操作对象为所述目标文本中的光标，及确定所述目标手势对应的操作方式为：将光标移动至所述目标文本中的开头部位；

若构成所述目标手势的手指数量为1，且若手指动作为向第十三指定方向滑动后停顿，确定所述目标手势对应的操作对象为所述目标文本中的光标，及确定所述目标手势对应的操作方式为：将光标移动至所述目标文本中的结尾部位。

优选的，所述利用构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，包括：

若构成所述目标手势的手指数量为2，且若手指动作为向第十四指定方向滑动，确定所述目标手势不存在对应的操作对象，及确定所述目标手势对应的操作方式为：切换至帮助状态；

若构成所述目标手势的手指数量为2，且若手指动作为向第十五指定方向滑动，确定所述目标手势不存在对应的操作对象，及确定所述目标手势对应的操作方式为：退出所述帮助状态。

优选的，所述利用构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，包括：

若构成所述目标手势的手指数量为2，且若手指动作为双指长按，确定所述目标手势的操作对象为：上一次朗读的所述目标文本中的内容或所选择的所述目标文本中的内容，及确定所述目标手势对应的操作方式为：复制所述操作对象；

若构成所述目标手势的手指数量为2，且若手指动作为双指双击，确定所述目标手势的操作对象为：所复制的所述目标文本中的内容，及确定所述目标手势对应的操作方式为：将所述操作对象粘贴至当前光标所在位置。

本发明实施例第二方面公开一种基于手势的文本处理系统，所述系统包括：

识别单元，用于识别用于处理目标文本的目标手势，所述目标手势由用户通过至少一根手指操作屏幕的手指动作所构成，所述手指动作为手指滑动、手指点击和手指停顿中的一种或组合；

第一确定单元，用于确定构成所述目标手势的手指数量和手指动作；

第二确定单元，用于利用构成所述目标手势的手指数量和手指动作，确定所述目标手势对应的操作对象和操作方式，所述操作对象为所述目标文本中的字、词、句子、段、全文或光标；

第一处理单元，用于若所述目标手势存在与之对应的操作对象，响应所述目标手势，基于所述目标手势对应的操作对象和操作方式，对所述目标文本进行处理；

第二处理单元，用于若所述目标手势不存在与之对应的操作对象，响应所述目标手势，基于所述目标手势对应的操作方式，对所述目标文本进行处理。

基于上述本发明实施例提供的一种基于手势的文本处理方法及系统，该方法为：识别用于处理目标文本的目标手势；确定构成目标手势的手指数量和手指动作；利用构成目标手势的手指数量和手指动作，确定目标手势对应的操作对象和操作方式，操作对象为目标文本中的字、词、句子、段、全文或光标；若目标手势存在与之对应的操作对象，响应目标手势，基于目标手势对应的操作对象和操作方式，对目标文本进行处理；若目标手势不存在与之对应的操作对象，响应目标手势，基于目标手势对应的操作方式，对目标文本进行处理。本方案中，针对不同的手指数量和手指动作，设置不同的操作方式和不同粒度的操作对象。根据构成目标手势的手指数量和手指动作，确定目标手势对应的操作对象和操作方式，并响应目标手势对目标文本进行处理，为视障者提供更丰富的操作方式和更细粒度的操作对象，满足视障者的实际操作需求，提高用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种基于手势的文本处理方法的流程图；

图2(a)为单指左滑的示意图；图2(b)为双指左滑的示意图；图2(c)为三指左滑的示意图；图2(d)为四指左滑的示意图；

图3(a)为单指下滑的示意图；图3(b)为双指下滑的示意图；图3(c)为三指下滑的示意图；图3(d)为四指下滑的示意图；

图4(a)为单指右滑的示意图；图4(b)为双指右滑的示意图；图4(c)为三指右滑的示意图；图4(d)为四指右滑的示意图；

图5(a)为单指下滑后停顿的示意图；图5(b)为单指单击的示意图；

图6(a)为单指上滑的示意图；图6(b)为双指上滑的示意图；图6(c)为三指上滑的示意图；图6(d)为四指上滑的示意图，图6(e)为单指上滑停顿的示意图；

图7(a)为单指双击的示意图；图7(b)为单指右滑后下滑的示意图；

图7(c)为单指下滑后左滑的示意图；图7(d)为单指下滑后右滑的示意图；

图8(a)为单指上滑后下滑的示意图；图8(b)为指下滑后上滑的示意图；

图9(a)为单指左滑后停顿的示意图；图9(b)为单指右滑后停顿的示意图；

图10(a)为双指远离的示意图；图10(b)为双指靠近的示意图；

图11(a)为双指长按的示意图；图11(b)为双指双击的示意图；

图12为本发明实施例提供的一种基于手势的文本处理系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句子“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由背景技术可知，视障者在使用电子产品时完全依赖读屏功能，而目前的读屏软件仅提供朗读功能，即视障者用手指触摸屏幕时读屏软件会朗读屏幕相应位置的文字或控件信息。但是由于操作电子产品时通常会涉及多种操作，仅提供朗读功能无法满足视障者操作电子产品的实际需求，现有辅助视障者操作电子产品的方式功能较为单一，用户体验较差。

因此，本发明实施例提供一种基于手势的文本处理方法及系统，针对不同的手指数量和手指动作，设置不同的操作方式和不同粒度的操作对象。根据构成目标手势的手指数量和手指动作，确定目标手势对应的操作对象和操作方式，并响应目标手势对目标文本进行处理，为视障者提供更丰富的操作方式和更细粒度的操作对象，以满足视障者的实际操作需求，进而提高用户体验。

需要说明的是，本发明实施例提供的基于手势的文本处理方法及系统，适用于智能手机和平板电脑等具有触摸屏的电子产品，在此对于电子产品的具体类型不做限定。

参见图1，示出了本发明实施例提供的一种基于手势的文本处理方法的流程图，该文本处理方法包括：

步骤S101：识别用于处理目标文本的目标手势。

需要说明的是，目标手势由用户通过至少一根手指操作屏幕的手指动作所构成，手指动作为手指滑动、手指点击和手指停顿中的一种或组合。

在具体实现步骤S101的过程中，当用户通过至少一根手指结合相应的手指动作在电子产品的屏幕(触摸屏)上操作时，识别用户处理目标文本的目标手势，与此同时，识别目标手势后可获取构成目标手势的手指数量和手指动作。

也就是说，用户在操作屏幕时，所使用的手指数量和手指动作可构成用于处理目标文本的目标手势。

步骤S102：确定构成目标手势的手指数量和手指动作。

在具体实现步骤S102的过程中，识别得到目标手势后，确定构成该目标手势的手指数量和手指动作。

步骤S103：利用构成目标手势的手指数量和手指动作，确定目标手势对应的操作对象和操作方式。

需要说明的是，操作对象为目标文本中的字、词、句子、段、全文或光标。

进一步需要说明的是，目标文本(即需要处理的文本)的基本单位可划分为字(其中也包括了标点符号)、词、句子、段和全文，字的区分方式为代码中的字符基本数据类型，词的区分方式为自然语言处理包(例如HanLP)中默认的分词结果，句子的区分方式为标点符号，段的区分方式为换行符，全文即为目标文本的全部文本内容。

在具体实现步骤S102的过程中，预先设置手势操作表，该手势操作表包括：不同的手指数量与不同的手指动作之间的组合与操作对象的对应关系，及不同的手指数量与不同的手指动作之间的组合与操作方式的对应关系。

也就是说，当确定构成目标手势的手指数量和手指动作后，利用构成目标手势的手指数量和手指动作，查询手势操作表，即可确定与该目标手势对应的操作对象和操作方式。

可以理解的是，可通过手指数量和手指动作来确定不同的操作对象，例如：单指滑动表示操作对象为字，双指滑动表示操作对象为词，三指滑动表示操作对象为句子，四指滑动表示操作对象为段，单指滑动后停顿表示操作对象为全文。

操作对象为当前需要操作的目标文本中的当前单位(字、词、句子、段、全文或光标)，当操作对象为字、词、句子或段时，可通过光标所在位置确定当前单位。

在具体实现中，当操作对象为字时，光标之前的字即为当前单位，例如：对于句子“今天星期五”，光标在“天”和“星”之间，则“天”为当前单位(即操作对象)。

当操作对象为词时，光标在某个词中间或后面时，该词即为当前单位；当操作对象为句子时，光标在某个句子中间或后面时，该句子即为当前单位；当操作对象为段时，光标在某段中间或后面时，该段即为当前单位；

在确定操作对象后，结合不同的手指数量和不同的手指动作之间的组合，确定目标手势的操作方式，根据操作方式和操作对象，对目标文本进行诸如朗读、删除和输入等处理。

也就是说，不同的手指数量和不同的手指动作之间的组合，对应不同的操作对象和操作方式，具体如何确定操作方式和操作对象的过程，详见以下说明。

在一些具体实施例中，若构成目标手势的手指数量为N，且若手指动作为向第一指定方向滑动(例如向左滑动)，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：朗读目标手势对应的操作对象的上一个对象，N为大于等于1小于等于4的整数，此时光标移动至操作对象的上一个对象后面。

需要说明的是，目标手势对应的操作对象与N的取值相关，如上述所提及的：单指(N＝1)滑动表示操作对象为字，双指(N＝2)滑动表示操作对象为词，三指(N＝3)滑动表示操作对象为句子，四指(N＝4)滑动表示操作对象为段。

由上述内容可知，字、词、句子和段分别对应不同的手指数量，当手指动作为单指(N＝1)向第一指定方向滑动(例如单指左滑)时，操作对象为字，操作方式为朗读操作对象的上一个字；当手指动作为双指(N＝2)向第一指定方向滑动(例如双指左滑)时，操作对象为词，操作方式为朗读操作对象的上一个词；当手指动作为三指(N＝3)向第一指定方向滑动(例如三指左滑)时，操作对象为句子，操作方式为朗读操作对象的上一个句子；当手指动作为四指(N＝4)向第一指定方向滑动(例如四指左滑)时，操作对象为段，操作方式为朗读操作对象的上一段。

其中，单指左滑的具体操作方式参见图2(a)提供的单指左滑的示意图，双指左滑的具体操作方式参见图2(b)提供的双指左滑的示意图，三指左滑的具体操作方式参见图2(c)提供的三指左滑的示意图，四指左滑的具体操作方式参见图2(d)提供的四指左滑的示意图。

在一些具体实施例中，若构成目标手势的手指数量为N，且若手指动作为向第二指定方向滑动(例如向下滑动)，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：朗读目标手势对应的操作对象，此时光标移动至操作对象的后面。

当手指动作为单指(N＝1)向第二指定方向滑动(例如单指下滑)时，操作对象为字，操作方式为朗读操作对象(即朗读当前字)；当手指动作为双指(N＝2)向第二指定方向滑动(例如双指下滑)时，操作对象为词，操作方式为朗读操作对象(即朗读当前词)；当手指动作为三指(N＝3)向第二指定方向滑动(例如三指下滑)时，操作对象为句子，操作方式为朗读操作对象(即朗读当前句子)；当手指动作为四指(N＝4)向第二指定方向滑动(例如四指下滑)时，操作对象为段，操作方式为朗读操作对象(即朗读当前段)。

其中，单指下滑的具体操作方式参见图3(a)提供的单指下滑的示意图，双指下滑的具体操作方式参见图3(b)提供的双指下滑的示意图，三指下滑的具体操作方式参见图3(c)提供的三指下滑的示意图，四指下滑的具体操作方式参见图3(d)提供的四指下滑的示意图。

在一些具体实施例中，若构成目标手势的手指数量为N，且若手指动作为向第三指定方向滑动(例如向右滑动)，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：朗读目标手势对应的操作对象的下一个对象，此时光标移动至操作对象的下一个对象后面。

当手指动作为单指(N＝1)向第三指定方向滑动(例如单指右滑)时，操作对象为字，操作方式为朗读操作对象的下一个字；当手指动作为双指(N＝2)向第三指定方向滑动(例如双指右滑)时，操作对象为词，操作方式为朗读操作对象的下一个词；当手指动作为三指(N＝3)向第三指定方向滑动(例如三指右滑)时，操作对象为句子，操作方式为朗读操作对象的下一个句子；当手指动作为四指(N＝4)向第三指定方向滑动(例如四指右滑)时，操作对象为段，操作方式为朗读操作对象的下一段。

其中，单指右滑的具体操作方式参见图4(a)提供的单指右滑的示意图，双指右滑的具体操作方式参见图4(b)提供的双指右滑的示意图，三指右滑的具体操作方式参见图4(c)提供的三指右滑的示意图，四指右滑的具体操作方式参见图4(d)提供的四指右滑的示意图。

在一些具体实施中，若构成目标手势的手指数量为1，且若手指动作为向第四指定方向滑动后停顿(例如单指下滑后停顿)，确定目标手势对应的操作对象为目标文本中的全文，及确定目标手势对应的操作方式为：朗读目标文本中的全文，此时光标以句子为单位移动，最终停留在目标文本中的末尾。

其中，单指下滑后停顿的具体操作方式参见图5(a)提供的单指下滑后停顿的示意图。

在一些具体实施例中，若构成目标手势的手指数量为1，且若手指动作为单指单击，确定目标手势不存在对应的操作对象，及确定目标手势对应的操作方式为：朗读当前光标所在的句子及其之后的全部内容。

也就是说，当手指动作为单指单击，朗读当前光标所在的句子至目标文本的结尾内容，在朗读过程中光标以句子为单位移动，最终停留在目标文本中的末尾。

其中，单指单击的具体操作方式参见图5(b)提供的单指单击的示意图。

可以理解的是，上述几个具体实施例为朗读相关内容，在朗读过程中，可通过单指单击的方式停止朗读，此时光标移动至当前朗读的句子后面。

在一些具体实施例中，若构成目标手势的手指数量为N，且若手指动作为向第五指定方向滑动(例如向上滑动)，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：删除目标手势对应的操作对象并语音反馈删除结果(语音反馈所删除的内容)，N为大于等于1小于等于4的整数，此时光标移动至被删除的操作对象的后面。

当手指动作为单指(N＝1)向第五指定方向滑动(例如单指上滑)时，操作对象为字，操作方式为删除操作对象(即删除当前字)并语音反馈已删除的内容；当手指动作为双指(N＝2)向第五指定方向滑动(例如双指上滑)时，操作对象为词，操作方式为删除操作对象(即删除当前词)并语音反馈已删除的内容；当手指动作为三指(N＝3)向第五指定方向滑动(例如三指上滑)时，操作对象为句子，操作方式为删除操作对象(即删除当前句子)并语音反馈已删除的内容；当手指动作为四指(N＝4)向第五指定方向滑动(例如四指上滑)时，操作对象为段，操作方式为删除操作对象(即删除当前段)并语音反馈已删除的内容。

可以理解的是，在删除当前字时，若当前字为标点符号，删除标点符号后，则需要对目标文本重新进行句子划分；若当前字不是标点符号，删除当前字后，则需要对目标文本重新进行分词；若当前光标位于目标文本的开头处，则语音提示“已到文本开头”。

在删除当前词时，若某个句子的所有词均被删除完，则该句子尾部的标点符号也删除。

在删除当前句子时，也删除该句子的尾部的标点符号，但换行符不删除。

其中，单指上滑的具体操作方式参见图6(a)提供的单指上滑的示意图，双指上滑的具体操作方式参见图6(b)提供的双指上滑的示意图，三指上滑的具体操作方式参见图6(c)提供的三指上滑的示意图，四指上滑的具体操作方式参见图6(d)提供的四指上滑的示意图。

在一些具体实施例中，若构成目标手势的手指数量为1，且若手指动作为向第六指定方向滑动后停顿(例如向上滑后停顿)，确定目标手势对应的操作对象为目标文本中的全文，及确定目标手势对应的操作方式为：删除目标文本中的全文并语音反馈删除结果。

也就是说，当目标手势为单指上滑后停顿，该目标手势对应的操作对象为目标文本中的全文，目标手势对应的操作方式为：删除目标文本中的全文并语音反馈删除结果。

其中，单指上滑后停顿的具体操作方式参见图6(e)提供的单指上滑后停顿的示意图。

在一些具体实施例中，若构成目标手势的手指数量为1，且若手指动作为单指双击，确定目标手势对应的操作对象为目标文本中的句子，及确定目标手势对应的操作方式为：在目标文本的当前光标处插入用户的语音输入内容。

也就是说，当目标手势为单指双击，在目标文本的当前光标处插入用户的语音输入内容，此时光标移动至语音输入内容后面。

其中，单指双击的具体操作方式参见图7(a)提供的单指双击的示意图。

在一些具体实施例中，若构成目标手势的手指数量为1，且若手指动作为向第七指定方向滑动(例如右滑后下滑)，确定目标手势对应的操作对象为目标文本中的字，及确定目标手势对应的操作方式为：在目标文本的当前光标处插入换行符。

也就是说，当目标手势为单指右滑后下滑，在目标文本的当前光标处插入换行符，此时光标移动至所插入的换行符后面。

其中，单指右滑后下滑的具体操作方式参见图7(b)提供的单指右滑后下滑的示意图。

在一些具体实施例中，若构成目标手势的手指数量为1，且若手指动作为向第八指定方向滑动(例如下滑后左滑)，确定目标手势对应的操作对象为目标文本中的字，及确定目标手势对应的操作方式为：在目标文本的当前光标处插入逗号。

也就是说，当目标手势为单指下滑后左滑，在目标文本的当前光标处插入逗号，此时光标移动至所插入的逗号后面。

其中，单指下滑后左滑的具体操作方式参见图7(c)提供的单指下滑后左滑的示意图。

在一些具体实施例中，若构成目标手势的手指数量为1，且若手指动作为向第九指定方向滑动(例如下滑后右滑)，确定目标手势对应的操作对象为目标文本中的字，及确定目标手势对应的操作方式为：在目标文本的当前光标处插入句号。

也就是说，当目标手势为单指下滑后右滑，在目标文本的当前光标处插入句号，此时光标移动至所插入的句号后面。

其中，单指下滑后右滑的具体操作方式参见图7(d)提供的单指下滑后右滑的示意图。

在一些具体实施例中，若构成目标手势的手指数量为1，且若手指动作为向第十指定方向滑动(例如上滑后下滑)，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：执行撤销指令，撤销上一次用于处理目标文本的手势。

也就是说，当目标手势为单指上滑后下滑，执行撤销指令，撤销上一次用于处理目标文本的手势(即撤销上一操作)，若无可撤销的内容时则语音提示“无法继续撤销”；也可设置撤销指令的执行上限次数(例如上限为20次)，当执行撤销指令的次数超过20次后则语音提示“已达撤销次数上限”。

其中，单指上滑后下滑的操作方式参见图8(a)提供的单指上滑后下滑的示意图。

在一些具体实施例中，若构成目标手势的手指数量为1，且若手指动作为向第十一指定方向滑动(例如下滑后上滑)，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：恢复上一次执行撤销指令所撤销的内容。

也就是说，当目标手势为单指下滑后上滑，恢复上一次执行撤销指令所撤销的内容，此时若无可恢复的内容则语音提示“无法继续恢复”。

其中，单指下滑后上滑的操作方式参见图8(b)提供的单指下滑后上滑的示意图。

在一些具体实施例中，若构成目标手势的手指数量为1，且若手指动作为向第十二指定方向滑动后停顿(例如左滑后停顿)，确定目标手势对应的操作对象为目标文本中的光标，及确定目标手势对应的操作方式为：将光标移动至目标文本中的开头部位。

也就是说，当目标手势为单指左滑后停顿，将光标移动至目标文本中的开头部位。

其中，单指左滑后停顿的操作方式参见图9(a)示出的单指左滑后停顿的示意图。

在一些具体实施例中，若构成目标手势的手指数量为1，且若手指动作为向第十三指定方向滑动后停顿(例如右滑后停顿)，确定目标手势对应的操作对象为目标文本中的光标，及确定目标手势对应的操作方式为：将光标移动至目标文本中的结尾部位。

也就是说，当目标手势为单指右滑后停顿，将光标移动至目标文本中的结尾部位。

其中，单指右滑后停顿的操作方式参见图9(b)示出的单指右滑后停顿的示意图。

在一些具体实施例中，若构成目标手势的手指数量为2，且若手指动作为向第十四指定方向滑动(例如双指远离)，确定目标手势不存在对应的操作对象，及确定目标手势对应的操作方式为：切换至帮助状态。

也就是说，当目标手势为双指远离，则切换至帮助状态，通过语音引导用户学习电子产品的操作手势，可以理解的是，在帮助状态下只接受“退出帮助状态”的手势，其它手势不做处理。

其中，双指远离的具体操作方式参见图10(a)提供的双指远离的示意图。

在一些具体实施例中，若构成目标手势的手指数量为2，且若手指动作为向第十五指定方向滑动(例如双指靠近)，确定目标手势不存在对应的操作对象，及确定目标手势对应的操作方式为：退出帮助状态。

也就是说，当目标手势为双指靠近，则退出帮助状态。

其中，双指靠近的具体操作方式参见图10(b)提供的双指靠近的示意图。

在一些具体实施例中，若构成目标手势的手指数量为2，且若手指动作为双指长按，确定目标手势的操作对象为：上一次朗读的目标文本中的内容或所选择的目标文本中的内容，及确定目标手势对应的操作方式为：复制操作对象。

也就是说，当目标手势为双指长按，则复制上一次朗读的目标文本中的内容，此时若上一次的手势不是用于朗读的手势，则语音提示“请选择复制内容”，复制所选择的目标文本中的内容。

其中，双指长按的操作方式参见图11(a)提供的双指长按的示意图。

在一些具体实施例中，若构成目标手势的手指数量为2，且若手指动作为双指双击，确定目标手势的操作对象为：所复制的目标文本中的内容，及确定目标手势对应的操作方式为：将操作对象粘贴至当前光标所在位置。

也就是说，当目标手势为双指双击，将所复制的内容粘贴至当前光标所在位置，此时光标移动至所粘贴的内容后面，如果没有可粘贴的内容，语音提示“没有可粘贴内容”。

其中，双指双击的操作方式参见图11(b)提供的双指双击的示意图。

步骤S104：若目标手势存在与之对应的操作对象，响应目标手势，基于目标手势对应的操作对象和操作方式，对目标文本进行处理。

在具体实现步骤S104的过程中，若目标手势存在对应的操作对象，响应该目标手势，通过上述步骤所确定的该目标手势的操作对象和操作方式，对目标文本进行处理，具体处理方式可参见上述步骤S103中所示出的各个操作方式的具体内容，在此不再赘述。

步骤S105：若目标手势不存在与之对应的操作对象，响应目标手势，基于目标手势对应的操作方式，对目标文本进行处理。

在具体实现步骤S105的过程中，若目标手势不存在对应的操作对象，响应该目标手势，通过上述步骤所确定的该目标手势的操作方式，对目标文本进行处理，具体处理方式可参见上述步骤S103中所示出的各个操作方式的具体内容，在此不再赘述。

通过上述步骤S103的内容可知，通过设置多种手势对应的操作对象和操作方式，向视障者提供多种操作功能，例如：撤销功能、恢复功能和光标移动功能。

可以理解的是，视障者在实际操作电子产品的过程中，出现误操作是较为常见的事情，因此通过提供撤销和恢复功能，使视障者在出现误操作时不需要清空全部内容后重新输入，而是通过撤销或恢复功能即可使视障者在不需要清空全部内容的情况下继续处理文本，提高对视障者操作电子产品的容错性。

同理，当视障者需要将光标移动至目标文本的开头或结尾处，只需要简单的手势即可直接将光标移动至目标文本的开头或结尾处，也可通过手势直接控制光标，简化交互逻辑，提高用户的体验。

在处理操作对象时，将操作对象的粒度划分为字、词、句子、段、全文和光标，提供更细致化的操作对象划分，使视障者可根据实际需求选择需要处理的操作对象，丰富视障者与电子产品之间的交互功能。

综上，视障者可通过多个目标手势，在电子产品的屏幕上操作，从而对目标文本进行相应处理(例如文本编辑和朗读等处理)。

在本发明实施例中，针对不同的手指数量和手指动作，设置不同的操作方式和不同粒度的操作对象。根据构成目标手势的手指数量和手指动作，确定目标手势对应的操作对象和操作方式，并响应目标手势对目标文本进行处理，为视障者提供更丰富的操作方式和更细粒度的操作对象，满足视障者的实际操作需求，进而提高用户体验。

需要说明的是，通过上述步骤S103中示出的各个具体实施例可知，存在多种操作方式，可将不同的操作方式进行归类划分，将不同的操作方式划分为：朗读类操作方式、删除类操作方式、输入类操作方式、辅助类操作方式和帮助类操作方式，其中，各个类别的操作方式还存在相应的备注事项，下面分别通过多个表格对各个类别的操作方式进行解释说明。

朗读类操作方式的功能为：按照字、词、句子和段四种粒度分别朗读上一单位、朗读当前单位和朗读下一单位，朗读全文，从当前句子处开始向后朗读，具体的功能及其说明参见表1所示出的朗读类操作方式的具体内容。

表1：

可以理解的是，上述在朗读字时，以组词的方式朗读字具体是指：在朗读某个字时，将该字对应的词朗读出来，辅助视障者了解该字具体是哪个字，例如：当朗读“音”这个字时，会以“音，音乐”的形式朗读出来，使视障者了解所朗读的字为“音”。

删除类操作方式的功能为：按照字、词、句子和段四种粒度分别删除当前单位，及删除全文，具体的功能及其说明参见表2所示出的删除类操作方式的具体内容。

表2：

输入类操作方式的功能为：语音交互的触发和结束，空格、换行符、逗号和句号的输入，具体的功能及其说明参见表3所示出的输入类操作方式的具体内容。

表3：

辅助类操作方式的功能为：复制、粘贴、撤销、恢复、光标移至开头处和光标移至结尾处，具体的功能及其说明参见表4所示出的辅助类操作方式的具体内容。

表4：

帮助类操作方式的功能为：进入帮助状态和退出帮助状态，具体的功能及其说明参见表5所示出的帮助类操作方式的具体内容。

表5：

与上述本发明实施例提供的一种基于手势的文本处理方法相对应，参见图12，本发明实施例还提供了一种基于手势的文本处理系统的结构框图，该文本处理系统包括：识别单元121、第一确定单元122、第二确定单元123、第一处理单元124和第二处理单元125；

识别单元121，用于识别用于处理目标文本的目标手势，目标手势由用户通过至少一根手指操作屏幕的手指动作所构成，手指动作为手指滑动、手指点击和手指停顿中的一种或组合。

第一确定单元122，用于确定构成目标手势的手指数量和手指动作。

第二确定单元123，用于利用构成目标手势的手指数量和手指动作，确定目标手势对应的操作对象和操作方式，操作对象为目标文本中的字、词、句子、段、全文或光标。

在具体实现中，第二确定单元123具体用于：利用预设的手势操作表，结合构成目标手势的手指数量和手指动作，确定目标手势对应的操作对象和操作方式，手势操作表包括：不同的手指数量与不同的手指动作之间的组合与操作对象的对应关系，及不同的手指数量与不同的手指动作之间的组合与操作方式的对应关系。

在一些具体实施例，第二确定单元123具体用于：若构成目标手势的手指数量为N，且若手指动作为向第一指定方向滑动，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：朗读目标手势对应的操作对象的上一个对象，N为大于等于1小于等于4的整数，目标手势对应的操作对象与N的取值相关；若构成目标手势的手指数量为N，且若手指动作为向第二指定方向滑动，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：朗读目标手势对应的操作对象；若构成目标手势的手指数量为N，且若手指动作为向第三指定方向滑动，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：朗读目标手势对应的操作对象的下一个对象；若构成目标手势的手指数量为1，且若手指动作为向第四指定方向滑动后停顿，确定目标手势对应的操作对象为目标文本中的全文，及确定目标手势对应的操作方式为：朗读目标文本中的全文；若构成目标手势的手指数量为1，且若手指动作为单指单击，确定目标手势不存在对应的操作对象，及确定目标手势对应的操作方式为：朗读当前光标所在的句子及其之后的全部内容。

在一些具体实施例，第二确定单元123具体用于：若构成目标手势的手指数量为N，且若手指动作为向第五指定方向滑动，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：删除目标手势对应的操作对象并语音反馈删除结果，N为大于等于1小于等于4的整数，目标手势对应的操作对象与N的取值相关；若构成目标手势的手指数量为1，且若手指动作为向第六指定方向滑动后停顿，确定目标手势对应的操作对象为目标文本中的全文，及确定目标手势对应的操作方式为：删除目标文本中的全文并语音反馈删除结果。

在一些具体实施例，第二确定单元123具体用于：若构成目标手势的手指数量为1，且若手指动作为单指双击，确定目标手势对应的操作对象为目标文本中的句子，及确定目标手势对应的操作方式为：在目标文本的当前光标处插入用户的语音输入内容；若构成目标手势的手指数量为1，且若手指动作为向第七指定方向滑动，确定目标手势对应的操作对象为目标文本中的字，及确定目标手势对应的操作方式为：在目标文本的当前光标处插入换行符；若构成目标手势的手指数量为1，且若手指动作为向第八指定方向滑动，确定目标手势对应的操作对象为目标文本中的字，及确定目标手势对应的操作方式为：在目标文本的当前光标处插入逗号；若构成目标手势的手指数量为1，且若手指动作为向第九指定方向滑动，确定目标手势对应的操作对象为目标文本中的字，及确定目标手势对应的操作方式为：在目标文本的当前光标处插入句号。

在一些具体实施例，第二确定单元123具体用于：若构成目标手势的手指数量为1，且若手指动作为向第十指定方向滑动，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：执行撤销指令，撤销上一次用于处理目标文本的手势；若构成目标手势的手指数量为1，且若手指动作为向第十一指定方向滑动，确定目标手势对应的操作对象为目标文本中的字、词、句子或段，及确定目标手势对应的操作方式为：恢复上一次执行撤销指令所撤销的内容。

在一些具体实施例，第二确定单元123具体用于：若构成目标手势的手指数量为1，且若手指动作为向第十二指定方向滑动后停顿，确定目标手势对应的操作对象为目标文本中的光标，及确定目标手势对应的操作方式为：将光标移动至目标文本中的开头部位；若构成目标手势的手指数量为1，且若手指动作为向第十三指定方向滑动后停顿，确定目标手势对应的操作对象为目标文本中的光标，及确定目标手势对应的操作方式为：将光标移动至目标文本中的结尾部位。

在一些具体实施例，第二确定单元123具体用于：若构成目标手势的手指数量为2，且若手指动作为向第十四指定方向滑动，确定目标手势不存在对应的操作对象，及确定目标手势对应的操作方式为：切换至帮助状态；若构成目标手势的手指数量为2，且若手指动作为向第十五指定方向滑动，确定目标手势不存在对应的操作对象，及确定目标手势对应的操作方式为：退出帮助状态。

在一些具体实施例，第二确定单元123具体用于：若构成目标手势的手指数量为2，且若手指动作为双指长按，确定目标手势的操作对象为：上一次朗读的目标文本中的内容或所选择的目标文本中的内容，及确定目标手势对应的操作方式为：复制操作对象；若构成目标手势的手指数量为2，且若手指动作为双指双击，确定目标手势的操作对象为：所复制的目标文本中的内容，及确定目标手势对应的操作方式为：将操作对象粘贴至当前光标所在位置。

第一处理单元124，用于若目标手势存在与之对应的操作对象，响应目标手势，基于目标手势对应的操作对象和操作方式，对目标文本进行处理。

第二处理单元125，用于若目标手势不存在与之对应的操作对象，响应目标手势，基于目标手势对应的操作方式，对目标文本进行处理。

在本发明实施例中，针对不同的手指数量和手指动作，设置不同的操作方式和不同粒度的操作对象。根据构成目标手势的手指数量和手指动作，确定目标手势对应的操作对象和操作方式，并响应目标手势对目标文本进行处理，为视障者提供更丰富的操作方式和更细粒度的操作对象，满足视障者的实际操作需求，进而提高用户体验。

综上所述，本发明实施例提供一种基于手势的文本处理方法及系统，针对不同的手指数量和手指动作，设置不同的操作方式和不同粒度的操作对象。根据构成目标手势的手指数量和手指动作，确定目标手势对应的操作对象和操作方式，并响应目标手势对目标文本进行处理，为视障者提供更丰富的操作方式和更细粒度的操作对象，满足视障者的实际操作需求，提高用户体验。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。