姿势识别系统

技术领域

本发明涉及姿势识别系统，并且具体涉及可操作为感测不同用户姿势以便控制计算设备的操作的姿势识别系统。

背景技术

对于游戏系统、VR(虚拟现实)系统等而言，提供允许用户控制交互的控制器是已知的。简单控制器包括一个或多个用户可致动输入，并且可操作为将指示输入的用户致动的信号传送到所链接的系统。

最近，一些控制器已经包含运动感测，该运动感测通常为将3轴线加速度计与3轴线陀螺仪组合的6轴线运动传感器的形式。在这种控制器中，控制器的运动可以向所链接的系统提供控制输入，该控制器的运动表示保持该控制器的用户的运动或由保持该控制器的用户执行的姿势。使用控制器执行特定的预设姿势使得能够激活(或其他控制)所链接的系统内的特征。这可以为用户提供所链接的系统的令人愉悦和直观的控制。然而，这种预设控制可能限制用户，或者如果用户发现难以执行特定姿势，则这种预设控制可能产生问题。

通常，运动传感器输出的一些处理由控制器执行。因此，这需要提供处理单元。这可以增加控制器的成本和复杂度。另外，提供处理单元可以增加控制器中的功耗，从而需要更高容量的电源，进一步增加控制器的成本、复杂度和潜在的大小。

另一个问题是这种控制器的校准可能随时间漂移，或者用户可能对控制器取向感到困惑。因此，许多现有控制器通过使用外部参考点和/或通过诸如光学感测的替代感测系统来提供校准。虽然这可以改善控制器的校准，但是它确实需要运动传感器之外的附加设施，因此增加了控制器的成本和复杂度。这也不是特别快捷方便。

因此，本发明的目的是提供一种至少部分地克服或缓解上述问题的姿势识别系统。

发明内容

根据本发明的第一方面，提供了一种姿势识别系统，所述姿势识别系统包括姿势控制器和计算设备：所述姿势控制器包括：运动传感器，所述运动传感器可操作为感测所述控制器的运动并输出指示所述控制器的运动的信号；用户可致动姿势模式输入装置；以及通信单元，所述通信单元可操作为将所述运动传感器和所述姿势模式输入装置的输出传送到所述计算设备；所述计算设备包括：通信单元，所述通信单元可操作为从所述姿势控制器的所述通信单元接收所述运动传感器和所述姿势模式输入装置的所述输出；处理单元，所述处理单元可操作为处理所述运动传感器和所述姿势模式输入装置的所述输出；以及显示单元，所述显示单元可操作为响应于处理器以提供与所述运动传感器的所述输出相关的视觉反馈，所述视觉反馈包括所述显示单元上的光标，并且其中所述光标能够响应于所述姿势模式输入装置的所述输出而被重置到原点位置。

因此，上述系统使得能够将姿势备用作控制输入。它还使得用户能够通过使用姿势模式输入装置容易地将控制器的当前位置重新定义为原点位置。因此，用户不需要进行复杂的重新校准。结果，无论在第一次拾取时控制器相对于计算设备的取向如何，用户都可以容易地确保可识别地执行姿势。此外，在计算设备上提供处理单元能够使得姿势控制器的构造相对简单、便宜并且降低了控制器的功耗。

除了将光标重置到原点位置之外，当光标静止时控制器的取向可以被定义为原点取向。在一些实施例中，所述控制器沿一个轴线相对于所述原点位置的运动不在所述显示单元上产生对应的光标运动。在其他实施例中，所述控制器沿一个轴线相对于所述原点位置的运动对应于所显示的光标的大小的变化。

姿势控制器和计算设备的通信单元可以可操作为通过任何合适的有线或无线通信链路传送数据。在优选实施例中，通信链路是无线通信链路。这具有确保与通信链路相关联的导线不抑制姿势性能的益处。无线通信链路可以根据任何合适的标准操作，包括但不限于蓝牙、蓝牙低功耗、Wi-Fi等。

除了与姿势控制器传输数据之外，所述计算设备的所述通信单元可以可操作为与一个或多个外部设备通信。所传送的数据可以包括控制信号。这可以使得姿势控制器的运动能够用于控制链接到计算设备的一个或多个设备。

该计算设备可以包括姿势引擎。姿势引擎可以集成到处理单元中或连接到处理单元。姿势引擎可以包括姿势库或连接到姿势库。所述姿势引擎可以可操作为响应于所述姿势输入装置的致动以：记录所述运动传感器的输出并将所述输出作为控制姿势存储在所述姿势库中；或者将所述运动传感器的输出与所述姿势库中先前存储的控制姿势进行比较，并且当所述运动传感器的所述输出与所存储的输出匹配时输出指示。

本领域技术人员将理解，在一些可选实施例中，可以在控制器上提供处理单元以执行对运动传感器或用户可致动姿势模式输入装置的输出的处理或预处理。然而，这将导致控制器的成本、复杂度和功耗的增加。

因此，以上控制器使得用户能够创建、存储和使用他们自己的个性化控制姿势。这可以为用户提供更高的满意度。另外，这可以允许用户补偿执行预设姿势中的困难。这种个性化还抑制了其他人使用具有所存储的个性化姿势的控制器的能力。这可以向用户提供安全感和或为其他人提供乐趣挑战以试图学习如何实现用户的个性化控制姿势。

用户可致动姿势模式输入装置可以包括任何合适的输入装置，包括但不限于推动按钮、开关、触摸传感器、压力传感器、光学传感器等。在一些实施例中，用户可致动姿势模式输入装置包括一个或多个推动按钮。在特定实施例中，用户可致动姿势模式输入装置包括单个推动按钮。

该用户可致动姿势模式输入装置可以可操作为在一个或多个模式之间切换该系统。具体地，用户致动姿势模式输入装置可以可操作为将系统切换成姿势记录模式或从姿势记录模式切换出，在姿势记录模式中，姿势引擎可操作为记录运动传感器的输出并将所述输出作为控制姿势存储在姿势库中。另外，用户可致动姿势模式输入装置可操作为将系统切换成姿势识别模式或从姿势识别模式切换出，在姿势识别模式中，姿势引擎可操作为将运动传感器的输出与姿势库中先前存储的控制姿势进行比较，并当运动传感器的输出与所存储的输出匹配时输出指示。

在用户可致动姿势模式输入装置包括多个不同的输入装置或可操作为检测多个不同输入的输入装置的情况下，可以利用不同的输入来选择不同的模式。在用户可致动姿势模式输入装置包括单个输入的情况下，输入装置的连续致动可以在不同模式之间转换系统。附加地或替代地，用户可致动姿势模式输入装置的致动可以针对不同时间间隔或针对不同时间间隔的样式在不同模式之间切换系统。在这种实施例中，处理单元可以可操作为区分姿势模式输入装置的短暂致动和姿势模式输入装置的延长致动。特别地，延长致动可以被定义为超过阈值时间间隔的致动。选择阈值时间间隔，以使系统能够区分短暂的用户输入(例如按钮按压)和延长的用户输入(例如保持按钮)。在一个实施例中，姿势模式输入装置的短暂致动可以重置光标位置，且姿势模式输入装置的延长致动可以选择姿势记录模式和/或识别模式。

在另一实施例中，可用于用户可致动姿势模式输入装置选择的模式可由主模式设置来确定。主模式设置可以具有常规模式和配置模式。可以通过使用用户可致动输入装置来选择主模式设置，或者可以经由计算设备的用户输入装置响应于进行的控制输入来选择主模式设置。

在常规模式中，用户可致动姿势模式输入装置的致动可以将系统切换成姿势识别模式。在常规模式中，一旦用户可致动姿势模式输入装置的致动停止，就可以关闭姿势识别模式。以这种方式，仅将用户致动用户可致动姿势模式输入装置的姿势与所存储的控制姿势进行比较。这防止了用户的无意控制输入。

在配置模式中，用户可致动姿势模式输入装置的致动可以将系统切换成姿势记录模式。在配置模式中，一旦用户可致动姿势模式输入装置的致动停止，就可以关闭姿势记录模式。以这种方式，仅存储用户致动用户可致动姿势模式输入装置的姿势。这防止了在记录姿势时用户的无意存储控制输入。

在记录多个控制姿势的情况下，可以分配每个姿势以控制所链接的外部设备的不同功能。

该控制器可以包括可操作为协调该控制器的操作的控制单元。

该控制器可以包含反馈装置。该反馈装置可以包括触觉、视觉或听觉反馈装置中的任何一个或多个。在触觉反馈装置的情况下，触觉反馈装置可以包括振动马达。在视觉反馈装置的情况下，视觉反馈装置可以包括显示单元和/或一个或多个照明装置。该照明装置可以包括一个或多个LED。在音频反馈装置的情况下，音频反馈装置可以包括蜂鸣器、扬声器等。

所述反馈装置可以可响应于所述用户可致动姿势模式输入装置而操作。以此方式，反馈装置可以使用用户可致动姿势模式输入装置来确认对操作模式的选择。所述反馈装置可以可响应于所述姿势引擎而操作。以这种方式，反馈装置可以提供已经执行了控制姿势的确认。由反馈装置提供的反馈可以根据所执行的特定控制姿势而变化。

该运动传感器可以包括6轴线运动传感器。这种运动传感器可以包括3轴线加速度计以及3轴线陀螺仪。在一些实施例中，运动传感器可以包括9轴线运动传感器。这种运动传感器可以包括3轴线加速度计、3轴线陀螺仪和3轴线磁力计。有利地，提供磁力计使得运动传感器能够补偿加速度计和陀螺仪的精度随时间的小的漂移。

该控制器可以包含电源。通常，电源包括电池。该电池可以是可再充电电池。在一些实施例中，电源可以包括能量收集装置。合适的能量清除装置包括但不限于压电、热电和光电元件。

该控制器可以被提供成纵长的形式。纵长的形式可以被适配成类似于魔法棒。控制器的纵长轴线可以对应于一轴线，沿着该轴线的运动不对应于光标运动，和/或，在该轴线处的运动对应于光标大小的变化。

计算设备可以包括任何合适的设备，包括但不限于个人计算机、膝上型计算机、平板计算机或其他计算机系统、游戏控制台或其他游戏系统、媒体播放器、智能电话等。计算设备的用户可致动输入装置可以包括任何合适的输入装置，包括但不限于推动按钮、开关、触摸传感器、压力传感器、光学传感器等。该计算设备可以另外包括音频输出装置。在这种实施例中，音频输出装置可以包括集成的扬声器和/或到外部扬声器的数据连接。

根据本发明的第二方面，提供了一种操作姿势识别系统的方法，所述姿势识别系统包括姿势控制器和计算设备，所述方法包括以下步骤：使用所述计算设备监视运动传感器的输出，所述运动传感器可操作为感测所述控制器的运动；使用计算设备监视在所述控制器上提供的用户可致动姿势模式输入装置的所述输出；在所述计算设备的显示单元上提供与所述运动传感器的所述输出相关的视觉反馈，所述视觉反馈包括所述显示单元上的光标；以及响应于所述姿势模式输入装置的所述输出将所述光标重置到原点位置。

根据需要或要求，本发明的第二方面的方法可以包含本发明的第一方面的任何或所有特征。

具体实施方式

为了可以更清楚地理解本发明，现在将仅以举例的方式参考附图描述本发明的一个或多个实施例，其中：

图1是根据本发明的姿势识别系统的实施例的示意性框图；

图2是根据本发明的姿势识别系统的一个可能的姿势控制器的外部形式的图示；并且

图3是根据本发明的姿势识别系统的计算设备的显示布局的示意图。

现在转向图1，姿势识别系统1包括姿势控制器10和计算设备20。控制器10被设计为由用户保持，使得用户对控制器10的运动使得能够对计算设备20进行姿势控制输入。响应于对应于特定控制姿势的运动，可以改变计算设备20或链接到计算设备20的附加设备的操作。

现在转向控制器10，该控制器包括运动传感器14、用户可致动姿势模式输入装置15和通信单元16。可选地，如图1中所示，控制器10的部件的操作可以由控制单元11协调。控制器的附加可选部件包括触觉反馈装置17和视觉反馈装置18。在图2，示出了纵长的棒的形式的控制器10的示例性实施例，其具有推动开关的形式的用户可致动姿势模式输入装置15。

通常，用户可致动姿势模式输入装置15包括推动开关等。合适的运动传感器15是包括3轴线加速度计、3轴线陀螺仪和3轴线磁力计的9轴线运动传感器。在提供它们的实施例中，触觉控制装置可以包括振动性马达，并且视觉反馈装置可以包括一个或多个LED。

现在转向计算设备20，该计算设备包括可操作为与控制器10的通信单元16传送数据的通信单元26。设备20还包括处理单元21、姿势引擎22、姿势库23、用户输入装置25、加上显示单元28以及可选的音频输出装置29。在一些实施例中，姿势引擎和姿势库可以集成到处理单元21中。.

通信单元16、26通常可操作为经由标准无线通信链路(例如蓝牙低能量)进行通信。通信单元16、26可操作为使得运动传感器14和姿势模式输入装置15的输出能够被传送到处理单元21。

在使用中，运动传感器14可操作为感测控制器10的运动并响应于该运动输出信号。运动传感器14的输出经由通信单元16、26被传递到处理单元21。然后由处理单元21、姿势引擎22和姿势库23处理运动传感器14的输出。在姿势记录模式中，姿势引擎22可操作为记录运动传感器的输出并将所述输出作为控制姿势存储在姿势库23中。在姿势识别模式中，姿势引擎22可操作为将运动传感器14的输出与姿势库23中先前存储的控制姿势进行比较，并且当运动传感器14的输出与所存储的输出匹配时输出指示。

姿势引擎22的模式的切换由用户可致动姿势模式输入装置15结合计算设备来控制。特别地，姿势模式输入装置15的输出经由通信单元16、26被传递到处理单元21。然后由处理单元21处理姿势模式输入装置15的输出以确定系统的操作模式。通常，如图2中所示，姿势模式输入装置15是单个推动开关。在这种实施例中，处理单元可以可操作为区分姿势模式输入装置15的短暂致动和姿势模式输入装置的延长致动。在此上下文中，延长致动可以被定义为超过阈值时间间隔的致动。设定所述阈值时间间隔，以区分用户按压一次推动开关与用户保持推动开关的情况。

在运动传感器14的输出与所存储的控制姿势匹配的情况下，姿势引擎22可以经由处理单元21输出指示控制姿势的信号。这可以控制计算设备20或链接到计算设备20的其他设备的操作。可选地，姿势引擎22的输出可以触发触觉和视觉反馈装置17、18的激活。

在一个实施例中，控制器10具有主模式设置，其转而控制用户可致动姿势模式输入装置15的操作。主模式设置可以包括配置模式和常规模式。可以使用所链接的设备20的用户输入25来控制主模式设置。

在配置模式中，用户可致动姿势模式输入装置15的延长致动将系统1切换成姿势记录模式。一旦用户可致动姿势模式输入装置15的致动停止，则关闭姿势记录模式。在用户可致动姿势模式输入装置15是推动开关的情况下，用户因此可以通过按压或释放推动开关15来控制控制姿势的记录的开始和结束。用户可以根据需要记录尽可能多或尽可能少的姿势。通过结合显示屏28使用输入装置25，可以将所记录的姿势分派给设备20的特定动作。

一旦存储了足够的控制姿势，控制器10就可以从配置模式切换到常规模式。这可以使用所链接的设备20的用户输入25来实现。

在常规模式下，用户可致动姿势模式输入装置15的延长致动将系统1切换成姿势识别模式。然后，一旦用户可致动姿势模式输入装置15的致动停止，就关闭姿势识别模式。在用户可致动姿势模式输入装置15是推动开关的情况下，用户可因此通过按压或释放推动开关15来控制控制姿势的开始和结束。这样，只识别按压推动开关15的姿势，防止由于控制器10的其他运动而引起的事故控制输入。

在使用中，显示单元28可响应于处理单元21而操作以针对运动传感器14输出提供可视反馈。该反馈是以光标31的形式。通常，如图3的屏幕布局30中所示，可以在显示单元28上的姿势面板32内显示光标。光标31在姿势面板32内的移动响应于运动传感器14的输出。

初始光标31位置在原点33。运动传感器14的后续输出导致光标31在姿势面板32内的相应移动。在这种情况下，当光标处于原点33时控制器10的取向被定义为原点取向。以这种方式，用户可以容易地将控制器10的运动与光标31的运动相关联。由于姿势面板是二维空间，因此在一些实施例中，相对于光标运动，控制器10沿一个轴线的运动被忽略。在其他实施例中，控制器10沿一个轴线的运动导致光标31的大小增大或减小。典型地，在诸如图中2所示的纵长实施例中，忽略的或比例变化的尺寸对应于控制器10的纵长轴线。

在延长的时间段内使用控制器10或者在放下或释放控制器10之后重新开始使用可以导致用户不确定光标31的位置和/或不能用他们的姿势来协调光标31在窗口内的运动。这样，在本发明中，系统可操作为使得光标31的位置能够响应于经由姿势输入装置15的重置输入而被重置到原点33。除了重置光标31的位置之外，系统可以将控制器10的当前取向定义为新的原点取向。这确保用户的后续姿势容易地映射到姿势面板32上的光标运动。

响应于用户可致动姿势模式输入装置15的延长致动，显示单元可以可操作为显示光标轨迹34以及光标31。光标轨迹34对应于在延长致动的时间段期间光标31的位置。以此方式，向用户提供光标运动(以及因此在姿势输入/姿势记录期间的对应控制器10的运动)的视觉反馈。以此方式，用户可以在执行姿势期间或在执行姿势期之后立即经由显示单元28评估姿势的准确度。

在一个特定实现中，计算设备20具有编码应用。编码应用程序可以可操作为使得用户能够产生控制脚本以控制计算设备20或链接到计算设备的其他设备的操作。该控制脚本可以任选地沿着姿势面板32的边显示在编码面板35上。可以仅以文本形式或以文本和图标的组合来显示控制脚本。图标可以对应于姿势库23中的特定姿势。通常，图标包括对应姿势运动的视觉表示。这可以容易地使用户能够将所存储的姿势分配给用于计算设备20或任何其他所链接的设备的特定控制输入。

控制脚本可以使用输入装置25来编写。一旦编写了控制脚本，用户就可以将棒10切换到配置模式并激活姿势识别模式以记录控制姿势。视觉和/或触觉反馈装置17、18可以在记录期间或之后被激活以根据需要确认操作。然后可以使用用户输入25和显示屏28将所记录的控制姿势分配给控制脚本。

一旦记录并分配了足够的控制姿势，用户可以将棒10切换回到常规模式。根据需要，用户可以使用开关15激活姿势识别模式并执行控制姿势。作为响应，姿势引擎22将该姿势与所存储的控制姿势匹配。另外，触觉反馈装置17可以被激活以提供识别该姿势的触觉反馈。视觉反馈装置18也可以被激活以确认识别。

处理单元21将随后可操作为在计算设备20上运行所分配的控制脚本。因此，用户姿势可以控制计算设备20和任何所链接的设备的操作。

在一种实现中，系统可以提供教育工具。在这种实现中，控制器10可以是棒的形式(如在图2中)。用户可以将姿势分配给特定显示输出，诸如移动在姿势面板32内显示的对象或引起在姿势面板32内显示的对象的显示/删除。因此，用户可以给出在设备20上执行魔法拼写的印象。因为姿势由用户自己记录，所以他们可以确信他们能够执行该姿势。另外，其然后可以对其他用户提供复制相同的控制姿势并由此执行魔法拼写的挑战。

在其他实现中，计算设备20连接到诸如一个或多个照明单元、HVAC(加热、通风和冷却)单元、音频系统等的其他设备。因此，由计算设备20识别的姿势可以控制外部设备。因此，用户可以在保持控制器10时通过姿势容易地改变照明、环境条件或外部音频(例如音乐)。

在一些实现方式中，当姿势引擎22没有将姿势识别模式中的控制姿势与姿势库23中任何存储的控制姿势匹配时，触觉反馈装置17可以被激活以提供该姿势未被识别的触觉反馈，并且视觉反馈装置18也可以被激活以确认识别失败。通常，触觉反馈装置17可以响应于控制姿势的识别/不识别而将不同的振动模式应用于控制器，并且视觉反馈装置18可以响应于控制姿势的识别/不识别而以不同的颜色或以不同的脉冲样式进行照明。

仅通过示例的方式描述了以上实施例。在不脱离如所附权利要求中所限定的本发明的范围的情况下，许多变化是可能的。