类数字笔设备和相应类数字笔设备的手势识别系统和方法

本申请要求于2019年7月31日提交的意大利专利申请No.102019000013440的权益，该申请通过引用并入本文。

技术领域

本解决方案涉及一种用于类数字笔装置的手势识别系统和方法以及相应的类数字笔装置。

背景技术

众所周知，数字(或智能)笔(或笔状物或手写笔)是便携式类数字笔的手持装置，其被设计为与充当主机设备的电子设备(例如平板电脑、平板手机、智能手机、笔记本电脑、智能电视、监视器等)耦合，并且还可以具有除做笔记和绘图之外的多种功能。

这些附加功能可以包括例如指向功能，类数字笔装置在这种情况下充当“空中指针(air pointer)”，被设计成实现HID(人机接口设备)指针(或鼠标)接口、或协议，用于在相同的主机设备的屏幕框架中的坐标方面产生位移数据(特别是与相同的类数字笔装置的当前位置和先前位置之间的位移相关的信息)并将位移数据发送到主机设备。主机设备的控制器因此能够基于接收到的位移信息在对应的显示器的屏幕框架上移动所显示的对象(例如，光标或类似元素)。

类数字笔装置还可以具有附加功能，以使用户能够进行高级操作，例如幻灯片交互，或者通常是数字媒体内容交互、游戏操作等。

类数字笔装置通常包含耦合到PCB(印刷电路板)的内部电子器件，并具有诸如触摸灵敏的特性、输入按钮、用于存储数据的存储器和数据传输性能。

众所周知，新一代装置要求具有非常小的设计(所谓的超薄设计)，因此在电池方面性能有限(因此需要非常低的功耗)并且在PCB设计中尺寸限制严格。

由于这些尺寸限制，物理或机械按钮或触摸表面或元件的使用受限，这是因为在类数字笔装置的外壳中和内部PCB中的可用空间不足，PCB必须在相同的按钮(或触摸表面或元件)与处理控制器之间提供电连接，以管理相同的类数字笔装置的一般操作。

例如，已知的解决方案提出了有限数量的按钮(通常是一个或两个)。因此，用户交互非常有限；PCB设计无论如何都是复杂的；机械按钮和与控制器的相应连接减少了用于电池的区域，从而导致装置使用寿命缩短。此外，控制器通常只有一个唤醒中断引脚，因此相同的控制器必须始终处于唤醒状态(消耗大量电流)，以便监视所有的按钮激活。

其他已知的解决方案提出了用于用户输入的触摸表面。但是，在这种情况下，由于需要通过控制器处理输入数据，因此需要高功耗；使用超小型设备通常不适合、甚至很难实现用户交互；此外，这种解决方案导致高成本。

发明内容

在一个实施例中，一种用于类数字笔装置的手势识别系统包括：运动传感器，被配置为提供指示该类数字笔装置的运动的运动信号；手势识别信号处理器，耦合到运动传感器，并被配置为处理运动信号并基于运动信号来实现多个手势识别算法，其中每个手势识别算法均被配置为识别由用户使用类数字笔装置执行的对应的特定手势。该系统包括控制器，该控制器耦合到手势识别信号处理器，并且被配置为向与类数字笔装置相关联的主机设备发送指示识别出的手势的手势识别数据。

在一个实施例中，一种电子系统包括类数字笔装置，该类数字笔装置包括运动传感器，该运动传感器被配置为提供指示该类数字笔装置的运动的运动信号。类数字笔装置包括手势识别信号处理器，该手势识别信号处理器耦合到运动传感器，并且被配置为处理运动信号并基于该运动信号来实现多个手势识别算法，其中每个手势识别算法被配置为识别用户使用类数字笔装置执行的对应的特定手势。该类数字笔装置包括控制器，该控制器耦合到手势识别信号处理器，并且被配置为向与该类数字笔装置相关联的主机设备发送指示识别出的手势的手势识别数据。

在一个实施例中，一种用于类数字笔装置的手势识别方法包括：产生指示该类数字笔装置的运动的运动信号；以及处理该运动信号以实现基于运动信号实现多个手势识别算法。每个手势识别算法均被配置为识别用户使用类数字笔装置执行的对应的特定手势。该方法还包括向与类数字笔装置相关联的主机设备发送指示识别出的手势的手势识别数据。

附图说明

为了更好地理解本发明，现在仅仅通过非限制性示例并参考附图来描述其优选实施例，其中：

图1示出根据本解决方案的实施例的类数字笔装置的示意性框图；

图2是根据在图1的类数字笔装置中实现的通用手势识别算法执行的操作的示意性流程图；

图3A是根据在图1的类数字笔装置中的第一特定手势识别算法执行的操作的示意性流程图；

图3B是类数字笔装置的示意性描述，其示出了相关联的参考系和根据要由第一特定手势识别算法识别的手势的运动；

图4是与第一个特定手势识别算法有关的数量图表；

图5A是根据在图1的类数字笔装置中的第二特定手势识别算法执行的操作的示意性流程图；

图5B是类数字笔装置的示意性描述，其示出了相关联的参考系和根据要由第二特定手势识别算法识别的手势的运动；

图6示出与第二种特定手势识别算法有关的数量图表；

图7A是根据在图1的类数字笔装置中的第三特定手势识别算法执行的操作的示意性流程图；

图7B是类数字笔装置的示意性描述，其示出了相关联的参考系和根据要由第三特定手势识别算法识别的手势的运动；

图8示出与第三种特定手势识别算法有关的数量图表；和

图9是包括图1的类数字笔装置和相关联的主机设备的系统的示意性框图。

具体实施方式

在该技术领域中对具有改进的用户交互性的类数字笔装置的需求是：克服具有较少按钮或触摸表面或元件的局限性；更简单的PCB设计用于降低成本并为增加电池尺寸留出空间；并且低功耗，以最大限度地延长电池寿命。

本解决方案的目的是至少部分地满足上述需求。

如以下将详细讨论地，本解决方案的一个方面提出，使用运动传感器数据作为一组手势识别算法模块的输入，以检测类数字笔装置上的用户手势，例如(仅作为示例)：摇摆(左右)；检查签名；画圈(顺时针和逆时针)。然后将检测到的手势用于触发主机电子设备中的动作(从而替换机械按钮或类似元素)。

有利地，类数字笔装置的控制器保持在睡眠模式(具有非常低的功耗)；当检测到手势时，唤醒控制器，并向主机设备发送指示识别出的手势的数据包，以触发相应的动作。

图1示出了根据本解决方案的实施例的类数字笔装置1，其为手持式或便携式类型，类数字笔装置在其外壳或壳体1'内包括：至少一个运动传感器2，例如加速度计传感器，特别是MEMS(微机电系统)；三轴传感器，提供指示类数字笔装置1的运动的运动信号S

如示意性所示，类数字笔装置1的上述组件，即运动传感器2、(可选的)预处理模块4、手势识别信号处理器6和控制器8被耦合至相同的电路板(例如，PCB-印刷电路板)11，并被容置在类数字笔装置1的外壳1'内。

要强调的是，类数字笔装置1还可以包括另外的运动传感器，例如陀螺仪传感器，特别是提供陀螺仪信号Gyro[x，y，z]的MEMS三轴陀螺仪，该陀螺仪信号指示围绕相同的类数字笔装置1相关联的3D空间惯性参考系的三个轴X，Y，Z的角速度，作为另一运动信号S

根据本解决方案的一方面，如相同的图1所示，手势识别信号处理器6被实现为硬件单元，包括例如数字信号处理器，其实现FSM(有限状态机)处理资源12(特别是对于每个要识别手势的专用FSM处理资源12，在示例中表示为“手势1”、例如摇摆手势，“手势2”、例如检查签名手势，和“手势3”、例如画圈手势)、在ASIC或FPGA硬件或软件中实现的前述FSM、或任何其他种类的计算资源。

所示实施例中的手势识别信号处理器6进一步包括一个或多个数据寄存器14，其耦合到FSM处理资源12，被配置为存储指示已检测到的特定手势的手势识别数据。

在该实施例中，单个耦合线15将手势识别信号处理器6耦合到控制器8的中断输入。

相同的控制器8通常保持在睡眠模式；当经由耦合线15从手势识别信号处理器6接收到中断信号时，在相同的手势识别信号处理器6检测到手势时，控制器8唤醒并执行读取存储在数据寄存器14中的数据，用于读取指示已识别出的特定手势的手势识别数据。

在替代实施例中，可以通过软件应用程序来实现手势识别信号处理器6；在那种情况下，相同的手势识别信号处理器6可以包括计算单元和合适的非易失性存储器，该非易失性存储器存储计算指令以基于输入的运动数据来实现手势识别算法。

图2示出了由手势识别信号处理器6基于至少一个运动信号S

如步骤20所示，首先沿着与类数字笔装置1相关联的3D空间惯性参考系的三个轴X，Y，Z将运动信号S

然后，在步骤21处，基于运动信号分量S

例如，初步条件的检查可以包括将运动信号分量与某一阈值进行比较。

如在步骤22处所示，响应于已验证的初步条件，然后在给定的时间间隔内执行一系列进一步检查，每个检查都基于运动信号分量S

例如，每个进一步检查可以再次包括将运动信号分量与某一阈值进行比较。

响应于已经验证的检查系列，如在步骤23处所示，再次基于运动信号分量S

例如，最终检查可以再次包括将运动信号分量与某一阈值进行比较。

现在将更详细地讨论由手势识别信号处理器6实现的示例性手势识别算法；在示例中，这些算法仅基于使用加速度传感器和加速度计信号Acc[x，y，z]作为运动信号S

特别地，图3A示出了执行用于识别由用户使用类数字笔装置1执行的摇摆手势的操作的流程图，该摇摆手势沿着与类数字笔装置1相关联的3D空间惯性参考系的X轴向左或者向右进行(类数字笔装置在图3B中被示意性描绘，同时被示出的还有根据上面定义的“ENU”定向的相同的3D空间惯性参考系的X，Y，Z轴以及表示根据上述摇摆手势的移动的虚线箭头)。

此外，图4示出了在手势要被识别期间沿X，Y，Z轴的加速度计信号Acc[x，y，z]的分量图，此外还显示了相同的加速度计信号Acc和手势识别信号S

在步骤30，检查初步条件，在这种情况下，检查类数字笔装置1在给定的时间间隔内保持静止状态(贯穿该时间间隔，加速度计信号Acc的范数约为1g)。注意，在这种情况下，对初步条件的检查共同涉及运动信号S

在步骤31，然后将沿X轴的加速度计分量Acc[x]的绝对值与第一阈值Th

如果检测到跨越第一阈值Th

如果条件Acc[x]<0得到验证(指示向左摇摆)，则如在步骤33所示，将沿X轴的相同的加速度计分量Acc[x]的值与第二阈值Th

如在步骤34所示，该算法然后设想适当持续时间的等待时间。

之后，如在步骤35所示，执行进一步检查以验证类数字笔装置1是不动的或是静止且平坦的，即在水平面(即由3D参考系的X和Y轴定义的平面)内。

特别地，将沿Y轴的加速度计分量Acc[y]的绝对值与第三阈值Th

如果相反，在步骤32验证了条件Acc[x]>0(指示向右摇摆)，则如在步骤36所示，然后将沿X轴的加速度计分量Acc[x]的值与第四阈值-Th

如在步骤37所示，该算法然后设想适当持续时间的等待时间。

之后，如在步骤38所示，执行进一步(或最终)检查以验证类数字笔装置1在水平面中是否不动或静止。

特别地，将沿Y轴的加速度计分量Acc[y]的绝对值与第三阈值Th

图5A示出了执行用于识别由用户使用类数字笔装置1执行的校验符号手势的操作的流程图(类数字笔装置在图5B中被示意性描绘，同时被示出的还有根据上面定义的“ENU”定向的相同的3D空间惯性参考系的X，Y，Z轴以及以虚线箭头表示的上述校验符号手势)。

此外，图6示出在要识别手势期间沿X，Y，Z轴的加速度计信号Acc[x，y，z]的分量图，并且还示出相同的加速度计信号Acc和所生成的手势识别信号S

详细地，如在步骤40所示，在这种情况下，正在检查的初步条件是检查类数字笔装置1处于水平面中还是指向上方；特别是，将沿Y轴的加速度计分量Acc[y]与初始阈值Th

如果上述条件得到验证，如在步骤41所示，则检查沿Y轴的相同的加速度计分量Acc[y]的负过零点。

如果负过零点得到验证，则随后在步骤42中检查沿Y轴的加速度计分量Acc[y]的负峰值，将相同的加速度计分量Acc[y]与负阈值Th

之后，如在步骤43所示，检查沿Y轴的相同的加速度计分量Acc[y]的正过零点。

如果正过零点得到验证，则在步骤44检查沿Y轴的加速度计分量Acc[y]的正峰值，将相同的加速度计分量Acc[y]与正阈值Th

之后，如在步骤45所示，执行最终检查以验证类数字笔装置1在给定的时间间隔内保持在所到达的位置(或相同位置附近)。

特别地，将沿Y轴的加速度计分量Acc[y]的值与另一个正阈值Th

如果该条件得到验证，则完成识别手势(特别是校验符号手势)的，并断言手势识别信号S

图7A示出了执行用于识别由用户利用类数字笔装置1执行的画圈手势的操作的流程图(类数字笔装置在图7B中被示意性描绘，同时被示出的还有根据上面定义的“ENU”定向的相同的3D空间惯性参考系的X，Y，Z轴以及以虚线箭头表示的画圈手势)。

此外，图8示出在要识别手势期间沿X，Y，Z轴的加速度计信号Acc[x，y，z]的分量图，并且还示出相同的加速度计信号Acc和手势识别信号S

详细地，如在步骤50所示，在这种情况下，初步条件设想检查沿Z轴的加速度计分量Acc[z]的正峰值，将相同的加速度计分量Acc[z]与正阈值Th

在步骤51，然后检查沿X轴的加速度计分量Acc[x]的绝对值中的峰值，将相同的绝对值与阈值Th

在步骤52，检查沿X轴的加速度计分量Acc[x]的符号允许在顺时针(Acc[x]>0)或逆时针(Acc[x]<0)画圈手势之间进行区分。

在顺时针画圈手势的情况下，然后在步骤53中检查沿X轴的相同的加速度计分量Acc[x]的负过零点。

之后，首先在步骤54检查沿X轴的加速度计分量Acc[x]的负峰，将相同的加速度计分量Acc[x]与负阈值-Th

然后在步骤56进行最终检查，以验证完成画圈手势并避免错误检测，尤其是：检查沿X轴的加速度计分量Acc[x]的绝对值低于阈值Th

如果该条件被验证(可能在给定的时间间隔内)，则完成识别手势(特别是顺时针方向的画圈手势)，并断言手势识别信号S

以相应的方式，在逆时针(或反时针)画圈手势的情况下(如在以上讨论的步骤52所验证的)，在步骤63中，首先检查沿着X的加速度计分量Acc[x]的正过零点。

然后，在步骤64，检查沿X轴的加速度计分量Acc[x]的正峰值，将相同的加速度计分量Acc[x]与正阈值Th

然后在步骤66执行最终检查，以验证完成画圈手势并避免错误检测，尤其是：检查沿X轴的加速度计分量Acc[x]的绝对值低于阈值Th

如果该条件得到验证，则完成识别手势(特别是逆时针画圈手势)，并断言手势识别信号S

从上述示例中可以清楚地看到，并且如前所述，由手势识别信号处理器6实现的每个手势识别算法都提出特别地检查被分解的运动信号S

图9示意性地示出了类数字笔装置1，该类数字笔装置通信地耦合到相关联的主机设备10，例如智能电话、平板手机或平板电脑。

主机设备10可以包括：相应的通信接口74，以与例如类数字笔装置1(见图1)的数据传输模块8a进行通信，例如通过蓝牙低功耗数据通信来实现；主控制器76，例如微处理器单元；和显示器78，其定义屏幕框架，主控制器76控制光标或其他类似显示元素在显示器上的移动。

类数字笔装置1可以向主机设备10的主控制器76提供位移信息，该主机控制器被配置为根据相同的位移信息来控制光标或显示器78上的其他类似显示元素的移动(实现“空中指针”的类数字笔装置1)。

此外，主机设备10的相同的主控制器76被配置为接收指示由类数字笔装置1提供的手势识别的数据包，并响应于此在相同的主机设备10中触发适当动作，例如控制幻灯片或其他多媒体内容的复制等(类数字笔装置1从而允许进一步的高级用户交互)。

所提出的解决方案的优点从前面的描述中是显而易见的。

在任何情况下，再次强调指出的是，提出的解决方案允许实现类数字笔装置1的电路板(例如，PCB印刷电路板)11的简化布局和设计，这基于以下事实：不需要按钮和/或触摸表面或类似元件来实现高级用户界面的(在这种情况下，使用相同的数字笔装置1执行的用户手势可触发相应主机设备10中的动作)。

PCB布局的简化允许减小类数字笔装置1的整体尺寸(允许实现期望的超薄设计)，或者增大数字笔装置1的电池单元9的尺寸，从而增加了其寿命和持续时间。

相对于标准解决方案，类数字笔装置1的电流消耗也大大降低，仅为大约几微安(例如，在手势识别信号处理器6的硬件实现的情况下约为10-15微安，包括相同的识别模块6和运动传感器2的电流消耗)，这导致电池寿命进一步延长。

所提出的解决方案还可以降低制造成本。

此外，由于利用了自然的用户手势而不是机械按钮或触摸表面，因此增强了用户体验。

申请人已经在多名用户中测试了该解决方案，经过几次尝试理解相同用户的手势后，手势识别的准确率超过95％。

此外，所提出的解决方案提供了增强的可配置性，从而允许识别多个用户手势(相反，使用机械按钮或触摸表面允许触发有限数量的相应动作)。

此外要强调的是，由类数字笔装置1的手势识别信号处理器6实现的算法的数量和类型甚至可以在相同的类数字笔装置1的寿命期间重新配置和重新编程，例如通过软件(固件)更新，从而在装置的使用寿命期间也允许甚至更高的可配置性。

最后，很明显，在不脱离所附权利要求书所限定的本发明范围的前提下，可以对这里已经描述和示出的内容进行修改和变化。

特别地再次强调，相对于通过示例详细讨论的那些手势识别算法，手势识别信号处理器6可以被配置为实现不同的和/或其他的手势识别算法。例如，可以设想其他算法来识别其他用户手势，例如正方形或三角形手势、插推手势等。

此外，可以设想不同的和/或其他的运动传感器以提供运动信号S

耦合到运动传感器2的预处理模块4还可以包括多个滤波器块，例如低通滤波器块、高通滤波器块等；在这种情况下，手势识别信号处理器6可以在其输入端接收相应数量的预处理运动信号，这些信号可以在不同的条件下使用(例如，可以基于高通滤波后的运动信号S

此外，再次强调，本解决方案可以有利地应用于数字笔(笔状物)装置、智能笔(笔状物)装置、指示装置或具有电子笔(笔状物)功能、指针功能和/或允许增加用户界面体验并简化使用的其他功能的任何类似的手持装置。