基于认知、音乐和运动的益智训练系统及训练方法

技术领域

本公开大体涉及一种基于认知、音乐和运动的益智训练系统及训练方法。

背景技术

随着人口老龄化日益严重，老年人口的健康问题逐渐成为社会问题。其中，认知功能的衰退严重影响着老年人的生活。认知功能衰退常常表现为记忆力和注意力下降、失语或视空间功能受损等，而且认知功能衰退还可能导致运动功能下降。目前通过认知训练可以锻炼大脑，提高老年人的生活自理能力并延缓老年人的认知功能衰退。

在现有的认知训练方式中，可以通过专业的认知训练人员对训练者进行训练并评估训练结果，还可以借助认知训练系统进行训练，例如可以通过让训练者完成在训练系统中预先设定好的训练项目以进行训练。例如专利文献(CN109545330A)公开了一种通过让训练者操作执行功能训练项目例如蔬果大战、勇往直前或凌云壮志以完成认知训练的训练系统。又例如专利文献(CN207429496U)公开了一种身心交互式老年脑功能训练仪，包括躯体运动装置、音乐播放器和认知训练装置，该训练仪的工作过程为开启电源，躯体运动的同时播放音乐，运动自动停止时，躯体运动装置自动切换至舒缓运动，同时认知训练开始，循环交替进行身体和心理的锻炼，直至锻炼者锻炼结束。

然而，在专利文献(CN109545330A)公开的训练过程中，训练者往往比较紧张且未包括运动训练，而研究表明，老年人增加体力活动有助延缓老年人的认知功能衰退。专利文献(CN207429496U)公开的训练系统虽然包括运动训练，但只是简单地将运动和认知训练进行叠加。

发明内容

本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够融合认知、音乐和运动且舒缓用户情绪的基于认知、音乐和运动的益智训练系统及训练方法。

为此，本公开第一方面提供了一种基于认知、音乐和运动的益智训练系统，包括：音乐库、运动项目库、训练模块、记录模块、识别模块和评分模块；所述音乐库用于存储多种不同风格的音乐，每种风格的音乐包括至少一首音乐，所述运动项目库用于存储运动项目的教程，所述运动项目包括热身运动、手指精细运动、双手配合练习运动、上肢空间探索运动、身体部位识别运动、节奏练习运动和呼吸放松运动中的至少一种，所述运动项目的教程包括多个用于反映多个认知能力的标准动作和各个所述标准动作的执行时间点，所述认知能力包括注意力、工作记忆、执行功能、感知运动功能、反应速度、精细知觉、反应灵活性、视空间能力、运用能力、视空间感知、上下肢协调能力和识别节拍能力中的至少一种，所述训练模块基于用户的个人情况从所述运动项目库中筛选至少一种教程并从所述音乐库中筛选至少一种风格的音乐，形成训练教程，并引导用户基于所述训练教程进行训练，所述记录模块用于记录用户动作以生成用户动作序列，所述用户动作是用户根据所述训练教程的标准动作完成的动作，所述用户动作序列包括至少一个项目动作序列，每个所述项目动作序列具有一种所述运动项目，所述识别模块用于获取所述项目动作序列的多个关键动作和各个所述关键动作的执行时间点，以及所述评分模块用于基于多个所述标准动作和相应的多个所述关键动作以获得多个动作评分，以及基于多个所述标准动作的执行时间点和相应的多个所述关键动作的执行时间点获取多个节奏感评分，并基于包括多个所述动作评分和多个所述节奏感评分获取用户的认知能力总评分。在本公开中，训练教程是基于用户的个人情况由多个运动项目的教程和相应的音乐生成的，各个运动项目的教程包括多个反映多个认知能力的标准动作。通过分析标准动作与用户完成的关键动作间的差距以获取动作评分和节奏感评分，进而基于动作评分和节奏感评分可以获取用户的认知能力总评分。在这种情况下，能够将认知、音乐和运动进行融合。由此，能够使用户在心情舒缓的情况下进行运动且能够在运动中训练和评估用户的认知能力。

另外，在本公开第一方面所涉及的益智训练系统中，可选地，所述评分模块包括动作评分模块，所述动作评分模块用于判断每个所述标准动作和相应的所述关键动作间的差距以获得各个所述动作评分，以及判断每个所述标准动作的执行时间点和相应的所述关键动作的执行时间点的时间差以获得各个所述节奏感评分。由此，能够获取动作评分和节奏感评分。

另外，在本公开第一方面所涉及的益智训练系统中，可选地，所述评分模块包括项目评分模块，所述项目评分模块基于多个所述动作评分和多个所述节奏感评分以获得各个所述项目动作序列的项目评分，所述项目评分为多个项目认知能力评分，所述评分模块基于至少一个所述项目动作序列的项目评分获得用户的多个认知能力评分，基于用户的多个认知能力评分获得用户的所述认知能力总评分。在这种情况下，基于动作评分和节奏感评分可以获得各个项目动作序列的项目评分。由此，能够基于项目评分获得用户的多个认知能力评分和认知能力总评分。

另外，在本公开第一方面所涉及的益智训练系统中，可选地，所述识别模块还用于获取用户在完成每个所述关键动作时的面部表情，所述动作评分模块还用于基于用户在完成每个所述关键动作时的面部表情以获得各个表情评分，所述项目评分模块还基于多个所述动作评分、多个所述节奏感评分和多个所述表情评分以获得各个所述项目动作序列的项目评分。由此，能够基于表情评分获得各个项目动作序列的项目评分。

另外，在本公开第一方面所涉及的益智训练系统中，可选地，通过识别用户在完成所述关键动作对应帧的人脸图像，并将所述人脸图像输入面部表情识别模型以识别用户在完成所述关键动作时的面部表情，所述面部表情包括高兴、痛苦、害怕、害羞、生气中的一种。由此，能够获取用户在完成关键动作时的面部表情。

另外，在本公开第一方面所涉及的益智训练系统中，可选地，所述运动项目的教程由真人录制或利用建模人物演示，若所述运动项目为热身运动，所述建模人物演示的所述标准动作包括低头动作、抬头动作、向左转动作、向右转动作、提肩动作、双臂前伸动作、弯手肘动作、内曲腕动作、外曲腕动作、抬右膝盖动作、抬左膝盖动作、抬右小腿动作、抬左小腿动作、抬右脚尖动作和抬左脚尖动作，若所述运动项目为手指精细运动，所述建模人物演示的所述标准动作包括双手攥拳动作、双手张开拳动作、收手指动作、还原手指动作、手掌相对动作、手指相对动作和手指对捏动作，若所述运动项目为双手配合练习运动，所述建模人物演示的所述标准动作包括双手握沙锤动作、晃沙锤动作和碰撞沙锤动作，若所述运动项目为上肢空间探索运动，所述建模人物演示的所述标准动作包括身体两侧空间探索动作、身体前侧空间探索动作、身体前侧交叉空间探索动作和双侧肩部水平面空间探索动作，若所述运动项目为身体部位识别，所述建模人物演示的所述标准动作包括传递沙蛋动作，若所述运动项目为节奏练习，所述建模人物演示的所述标准动作包括胸前拍手动作、双手拍大腿动作、跺脚动作和拍肩动作，若所述运动项目为呼吸放松，所述建模人物演示的所述标准动作包括吸气动作和吐气动作。由此，能够将各个运动项目分成多个标准动作。

另外，在本公开第一方面所涉及的益智训练系统中，可选地，若所述项目动作序列为热身运动，则能够获得用户的包括注意力、工作记忆、执行功能和感知运动功能的四个项目认知能力评分；若所述项目动作序列为手指精细运动，则能够获得用户的包括注意力、工作记忆、执行功能、反应速度和精细知觉的五个项目认知能力评分；若所述项目动作序列为双手配合练习运动，则能够获得用户的包括注意力、工作记忆、执行功能和反应灵活性的四个项目认知能力评分；若所述项目动作序列为上肢空间探索运动，则能够获得用户的包括注意力、工作记忆、执行功能、视空间能力和运用能力的五个项目认知能力评分；若所述项目动作序列为身体部位识别运动，则能够获得用户的包括注意力、工作记忆、执行功能和视空间感知的四个项目认知能力评分；若所述项目动作序列为节奏练习运动，则能够获得用户的包括注意力、工作记忆、执行功能、上下肢协调能力和识别节拍能力的五个项目认知能力评分；若所述项目动作序列为呼吸放松运动，则能够获得用户的包括注意力、工作记忆和执行功能的三个项目认知能力评分。由此，基于各个项目动作序列能够获得相应的项目认知能力评分。

另外，在本公开第一方面所涉及的益智训练系统中，可选地，所述益智训练系统还包括个性化推荐模块，所述个性化推荐模块基于针对简单动作的测试结果推荐个性化的所述训练教程。由此，能够推荐个性化的训练教程。

另外，在本公开第一方面所涉及的益智训练系统中，可选地，所述训练模块针对活动不便的用户筛选所述运动项目中的至少一种合适的教程以生成专用训练教程。由此，能够生成专用训练教程。

本公开第二方面提供了一种基于认知、音乐和运动的训练方法，包括：基于用户的个人情况从运动项目库中筛选至少一种教程并从音乐库中筛选至少一种风格的音乐，形成训练教程，所述音乐库用于存储多种不同风格的音乐，每种风格的音乐包括至少一首音乐，所述运动项目库用于存储运动项目的教程，所述运动项目包括热身运动、手指精细运动、双手配合练习运动、上肢空间探索运动、身体部位识别运动、节奏练习运动和呼吸放松运动中的至少一种，所述运动项目的教程包括多个用于反映多个认知能力的标准动作和各个所述标准动作的执行时间点，所述认知能力包括注意力、工作记忆、执行功能、感知运动功能、反应速度、精细知觉、反应灵活性、视空间能力、运用能力、视空间感知、上下肢协调能力和识别节拍能力中的至少一种；用户基于所述训练教程进行训练；记录用户动作以生成用户动作序列，所述用户动作是用户根据所述训练教程的标准动作完成的动作，所述用户动作序列包括至少一个项目动作序列，每个所述项目动作序列具有一种所述运动项目；获取所述项目动作序列的多个关键动作和各个所述关键动作的执行时间点；并且基于多个所述标准动作和相应的多个所述关键动作以获得多个动作评分，以及基于多个所述标准动作的执行时间点和相应的多个所述关键动作的执行时间点获取多个节奏感评分，并基于包括多个所述动作评分和多个所述节奏感评分获取用户的认知能力总评分。在本公开中，训练教程是基于用户的个人情况由多个运动项目的教程和相应的音乐生成的，各个运动项目的教程包括多个反映多个认知能力的标准动作。通过分析标准动作与用户完成的关键动作间的差距以获取动作评分和节奏感评分，进而基于动作评分和节奏感评分能够获取用户的认知能力总评分。在这种情况下，能够将认知、音乐和运动进行融合。由此，能够使用户在心情舒缓的情况下进行运动且能够在运动中训练和评估用户的认知能力。

根据本公开，能够提供一种能够融合认知、音乐和运动且舒缓用户情绪的基于认知、音乐和运动的益智训练系统及训练方法。

附图说明

现在将仅通过参考附图的例子进一步详细地解释本公开，其中：

图1是示出了本公开示例所涉及的基于认知、音乐和运动的益智训练系统的应用场景的示意图。

图2是示出了本公开示例所涉及的基于认知、音乐和运动的益智训练系统的框图。

图3是示出了本公开示例所涉及的建模人物的建模动作的示意图。

图4是示出了本公开示例所涉及的训练教程的示意图。

图5是示出了本公开示例所涉及的人体的关键点的示意图。

图6是示出了本公开示例所涉及的基于认知、音乐和运动的益智训练系统的框图。

图7是示出了本公开示例所涉及的标准动作和关键动作对比的示意图。

图8是示出了本公开示例所涉及的获取标准动作和关键动作之间的差距的流程图。

图9是示出了本公开示例所涉及的关键点连线的夹角的示意图。

图10是示出了本公开示例所涉及的基于认知、音乐和运动的训练方法的流程图。

主要标号说明：

100…应用场景，110…用户，120…体感设备，130…终端，140…真人或建模人物，200…训练系统，210…音乐库，220…运动项目库， 230…训练模块，240…记录模块，250…识别模块，260…评分模块， 261…动作评分模块，262…项目评分模块，270…个性化推荐模块，A…标准动作，B…建模动作，C…关键动作，D1…关键点，D2…关键点，D3…关键点，E…区别关键点，L1…第一距离，L2…第二距离，L3…第三距离。

具体实施方式

以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。

需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是示出了本公开示例所涉及的基于认知、音乐和运动的益智训练系统的应用场景的示意图。

在一些示例中，本公开所涉及的基于认知、音乐和运动的益智训练系统200(有时也可以简称为益智训练系统)，可以应用于如图1所示的应用场景100中。在应用场景100中，用户110可以置于体感设备120的视野范围内，并跟随着终端130上由真人或建模人物140演示的训练教程进行训练，体感设备120可以记录用户110的动作。在一些示例中，训练完成后，可以获取用户110的认知能力总评分。

在一些示例中，用户110可以包括但不限于是活动正常的用户或活动不便的用户。在一些示例中，体感设备120可以包括但不限于是 Kinect体感设备、Leap motion体感设备等。在一些示例中，体感设备 120的数量可以是多个。在一些示例中，多个体感设备120可以是多种体感设备。在一些示例中，终端130可以包括但不限于是电视机、笔记本电脑、平板电脑或台式机等。在一些示例中，终端130可以是包括处理器、存储器、显示屏和体感设备120的关于益智训练系统200 的专用设备。

在一些示例中，益智训练系统200可以以计算机程序指令的形式存储在终端130并由终端130执行。在另一些示例中，终端130可以将用户110的动作通过网络例如计算机网络提交到服务器，并通过服务器中存储的益智训练系统200获取用户的认知能力总评分。

以下结合附图，详细说明本公开所涉及的益智训练系统200，图2 是示出了本公开示例所涉及的基于认知、音乐和运动的益智训练系统的框图。

在一些示例中，如图2所示，益智训练系统200可以包括音乐库 210、运动项目库220、训练模块230、记录模块240、识别模块250 和评分模块260。

在一些示例中，音乐库210可以用于存储音乐。运动项目库220 可以用于存储运动项目的教程。训练模块230可以用于形成训练教程并引导用户进行训练。记录模块240可以用于记录用户动作以生成包括项目动作序列的用户动作序列。识别模块250可以用于获取关键动作和该关键动作的执行时间点。评分模块260可以用于获取用户的认知能力总评分。在这种情况下，能够将认知、音乐和运动进行融合。由此，能够使用户在心情舒缓的情况下进行运动且能够在运动中训练和评估用户的认知能力。

如上所述，在一些示例中，益智训练系统200可以包括音乐库210 (参见图2)。音乐库210可以用于存储音乐。在一些示例中，音乐的风格可以有多种。在一些示例中，音乐的风格可以包括但不限于轻松、运动、安静、轻快等。在一些示例中，每种风格的音乐可以包括至少一首音乐。例如轻松风格的音乐可以包括1首、5首或10首音乐。在一些示例中，用户可以根据个人喜好选择相应风格的音乐。

在一些示例中，益智训练系统200可以包括运动项目库220(参见图2)。运动项目库220可以用于存储运动项目的教程。在一些示例中，运动项目可以包括热身运动、手指精细运动、双手配合练习运动、上肢空间探索运动、身体部位识别运动、节奏练习运动和呼吸放松运动中的至少一种。

图3是示出了本公开示例所涉及的建模人物的建模动作的示意图。

在一些示例中，运动项目的教程可以由真人录制或利用建模人物演示。在一些示例中，用户可以切换运动项目的教程演示方式例如真人演示或者建模人物演示。在一些示例中，用户可以自己选择喜欢的建模人物。作为建模人物的建模动作的示例，图3示出了建模人物的的建模动作B。在一些示例中，建模动作B可以对应标准动作A(稍后描述)。

在一些示例中，运动项目的教程可以包括多个标准动作。由此，能够将各个运动项目分成多个标准动作。

在一些示例中，若运动项目为热身运动，建模人物演示的标准动作可以包括低头动作、抬头动作、向左转动作、向右转动作、提肩动作、双臂前伸动作、弯手肘动作、内曲腕动作、外曲腕动作、抬右膝盖动作、抬左膝盖动作、抬右小腿动作、抬左小腿动作、抬右脚尖动作和抬左脚尖动作。

具体地，在一些示例中，低头动作可以为下巴贴近身体，鼻子和额头与地面平行。抬头动作可以为下巴和鼻尖朝上(例如天花板或天空)。向左转动作可以为眉心、鼻尖和下巴同时转向身体左侧，头部不要倾斜。向右转动作可以为眉心、鼻尖和下巴同时转向身体右侧，头部不要倾斜。提肩动作可以为双肩向上提，双臂和双手自然下垂。双臂前伸动作可以为双臂伸向身体前方，掌心向上。弯手肘动作可以为弯曲手肘，指尖搭在肩膀上。内曲腕动作可以为屈曲腕关节，手心向手臂内侧弯曲。外曲腕动作可以为手背向手臂外侧延展。抬右膝盖动作可以为抬起右腿膝盖，使右脚离开地面，右侧大腿和膝盖贴近身体，后背保持直立。抬左膝盖动作可以为抬起左腿膝盖，使左脚离开地面，左侧大腿和膝盖贴近身体，后背保持直立。抬右小腿动作可以为抬起右侧小腿，使右腿伸直，后背保持直立。抬左小腿动作可以为抬起左侧小腿，使左腿伸直，后背保持直立。抬右脚尖动作为抬起右脚脚尖，使脚尖离开地面。抬左脚尖动作可以为抬起左脚脚尖，使脚尖离开地面。

在一些示例中，若运动项目为手指精细运动，建模人物演示的标准动作可以包括双手攥拳动作、双手张开拳动作、收手指动作、还原手指动作、手掌相对动作、手指相对动作和手指对捏动作。

具体地，在一些示例中，双手攥拳动作可以为双手攥拳。双手张开拳动作可以为双手张开手掌。收手指动作可以包括大拇指、食指、中指、无名指和小拇指等5个手指的收手指动作，具体地，在手指张开情况下，从大拇指开始依次收回手指至攥拳。还原手指动作可以包括大拇指、食指、中指、无名指和小拇指等5个手指的还原手指动作，具体地，在攥拳情况下，从小拇指开始依次伸直每根手指。手掌相对动作可以为双手手指张开，手掌相对，双手掌心相距一拳距离的动作。手指相对动作可以包括大拇指、食指、中指、无名指和小拇指5个手指的手指相对动作，具体地，依次将两手大拇指、食指、中指、无名指和小拇指相对，每组手指相对后要分开还原，再做下一组手指。手指对捏动作可以包括大拇指依次与食指、中指、无名指和小拇指等4 个手指对捏的手指对捏动作。

在一些示例中，若运动项目为双手配合练习运动，建模人物演示的标准动作包括双手握沙锤动作、晃沙锤动作、碰撞沙锤动作。

具体地，在一些示例中，双手握沙锤动作可以包括竖握沙锤动作和横握沙锤动作。晃沙锤可以包括双手竖握沙锤放至身前且与肩同高的上晃沙锤和下晃沙锤的动作。晃沙锤可以包括右手在上放至胸前且左手在下放至小腹前的晃动沙锤的动作和左手在上放至胸前且右手在下放至小腹前的晃动沙锤的动作。晃沙锤可以包括双臂向身体两侧对角线伸展，右手在上且左手在下的晃动沙锤的动作和双臂向身体两侧对角线伸展，左手在上且右手在下的晃动沙锤的动作。晃沙锤可以包括张开双臂与肩同高的晃动沙锤的动作。碰撞沙锤动作包括沙锤横向胸前碰撞的动作。

在一些示例中，若运动项目为上肢空间探索运动，建模人物演示的标准动作包括身体两侧空间探索动作、身体前侧空间探索动作、身体前侧交叉空间探索动作和双侧肩部水平面空间探索动作。

具体地，在一些示例中，身体两侧空间探索动作可以包括右手伸向身体右下方且同时眼睛看向右手指尖的动作、左手伸向身体左下方的动作且眼睛看向左手指尖的动作、右手伸向身体正右方且眼睛看向右手指尖的动作、左手伸向身体正左方且眼睛看向左手指尖的动作、右手伸向身体右上方且眼睛看向右手指尖的动作和左手伸向身体左上方且眼睛看向左手指尖的动作。

另外，在一些示例中，身体前侧空间探索动作可以包括右手伸向身体前下方且眼睛看向右手指尖的动作、左手伸向身体前下方且眼睛看向左手指尖的动作、右手伸向身体正前方且眼睛看向右手指尖的动作、左手伸向身体正前方且眼睛看向左手指尖的动作、右手伸向身体前上方且同时眼睛看向右手指尖的动作和左手伸向身体前上方且眼睛看向左手指尖的动作。

另外，在一些示例中，身体前侧交叉空间探索动作可以包括右手伸向身体左侧下方且眼睛看向右手指尖方向的动作、左手经过右手上方交叉伸向身体右侧下方且眼睛看向左手指尖方向的动作、右手经过左手上方交叉伸向身体左前方且眼睛看向右手指尖方向的动作、左手经过右手上方交叉伸向身体右前方且眼睛看向左手指尖方向的动作、右手经过左手上方交叉伸向身体左上方且眼睛看向右手指尖方向的动作和左手经过右手上方交叉伸向身体右上方且眼睛看向左手指尖方向的动作。

另外，在一些示例中，双侧肩部水平面空间探索动作可以包括右手伸向身体正右方且眼睛看向右手指尖方向的动作、左手伸向身体正左方且眼睛看向左手指尖方向的动作、右手伸向身体正前方且眼睛看向右手指尖方向的动作、左手伸向身体正前方且眼睛看向左手指尖方向的动作、右手伸向身体正右方且眼睛看向右手指尖方向的动作和左手伸向身体正左方且眼睛看向左手指尖方向的动作。

在一些示例中，若运动项目为身体部位识别，建模人物演示的标准动作包括传递沙蛋动作。

具体地，在一些示例中，传递沙蛋动作可以包括右手持沙蛋动作和左手持沙蛋动作。传递沙蛋动作可以包括在面部的上下左右四个位置的手持沙蛋动作以实现双手交替传递沙蛋，围绕面部画立圆。传递沙蛋动作可以包括在颈部的上下左右四个位置的手持沙蛋动作以实现双手交替传递沙蛋，围绕颈部画立圆。传递沙蛋动作可以包括在腹部的上下左右四个位置的手持沙蛋动作以实现双手交替传递沙蛋，围绕腹部画立圆。传递沙蛋动作可以包括在腰部的上下左右四个位置的手持沙蛋动作以实现双手交替传递沙蛋，围绕腰部画立圆。传递沙蛋动作可以包括在右侧大腿的上下左右四个位置的手持沙蛋动作以实现双手交替传递沙蛋，围绕右侧大腿画立圆。传递沙蛋动作可以包括在左侧大腿的上下左右四个位置的手持沙蛋动作以实现双手交替传递沙蛋，围绕左侧大腿画立圆。

在一些示例中，若运动项目为节奏练习，建模人物演示的标准动作可以包括胸前拍手动作、双手拍大腿动作、跺脚动作和拍肩动作。

具体地，在一些示例中，跺脚动作可以包括跺左脚动作和跺右脚动作。拍肩动作可以为双手在身前交叉拍肩的动作。

在一些示例中，若运动项目为呼吸放松，建模人物演示的标准动作可以包括吸气动作和吐气动作。

具体地，在一些示例中，吸气动作可以为吸气并双手举过头顶，眼睛看向指尖方向的动作。在一些示例中，吐气动作可以为吐气并双手落下的动作。

在一些示例中，标准动作后可以包括还原动作，还原动作可以为还原回准备开始的初始姿势。

在一些示例中，若干个标准动作可以形成一组动作。每组动作中的标准动作可以基于节拍进行重复，例如可以将低头动作、抬头动作和还原动作作为一组动作，每6拍做一个标准动作，每组动作重复2 次。在一些示例中，运动项目的教程可以包括至少一组动作。

另外，在一些示例中，运动项目的教程可以包括各个标准动作的执行时间点。具体地，手指精细运动的教程时长例如可以为1分12秒，假设用户需要在该教程的第5秒开始执行双手攥拳动作，则双手攥拳动作的执行时间点可以为5秒。

另外，在一些示例中，多个标准动作可以用于反映多个认知能力。在一些示例中，认知能力可以包括注意力、工作记忆、执行功能、感知运动功能、反应速度、精细知觉、反应灵活性、视空间能力、运用能力、视空间感知、上下肢协调能力和识别节拍能力中的至少一种。例如手指相对动作或手指对捏动作可以反映精细知觉。如上所述，运动项目的教程可以包括多个标准动作。在这种情况下，运动项目的教程可以用于反映多个认知能力。

在一些示例中，如上所述，益智训练系统200可以包括训练模块 230(参见图2)。训练模块230可以用于形成训练教程并引导用户进行训练。

图4是示出了本公开示例所涉及的训练教程的示意图。

在一些示例中，训练模块230可以从运动项目库中筛选至少一种教程，并从音乐库中筛选至少一种风格的音乐。在一些示例中，可以将经由筛选获得的教程和音乐进行合并以形成训练教程。在一些示例中，可以通过计算机程序自动将筛选获得的多个教程进行拼接，并可以以筛选获得的音乐作为各个教程的背景音乐。在一些示例中，每个教程可以搭配多首音乐。

在一些示例中，训练教程可以包括一个运动项目的教程。

在一些示例中，训练教程可以包括多个运动项目的教程。如图4 所示，多个运动项目的教程可以为n个，具体地，多个运动项目的教程可以包括运动项目的教程1、运动项目的教程2、……、运动项目的教程n。每个运动项目的教程可以具有相应的音乐作为背景音乐。每个运动项目的教程可以包括多个标准动作，多个标准动作可以为m个，具体地，多个标准动作可以包括标准动作1、标准动作2、……、标准动作m。每个标准动作可以用于反馈多个认知能力，多个认知能力可以为k个，具体地，多个认知能力可以包括认知能力1、认知能力2、……、认知能力k。由此，能够将认知、音乐和运动进行融合。

在一些示例中，可以基于用户个人的情况筛选相应的音乐。例如可以根据用户喜欢的音乐的风格筛选相应的音乐。在另一些示例中，每个教程对应的音乐可以是设置默认的。在一些示例中，可以基于用户个人的情况筛选相应的运动项目的教程。用户个人的情况例如可以是用户的运动喜好。相应的运动项目的教程例如可以是上肢运动类教程、下肢运动类教程或其他教程。

在一些示例中，在教程之间可以加入休息片段以使用户可以在比较轻松的氛围下完成训练。

在一些示例中，训练模块230可以针对活动不便的用户筛选运动项目中的至少一种合适的教程以生成专用训练教程。由此，能够生成专用训练教程。

另外，在一些示例中，训练模块230可以用于引导用户基于训练教程进行训练。在一些示例中，引导的方式可以包括训练准备、开始训练、姿势调整、鼓励用户、休息、结束训练中的至少一种方式。

在一些示例中，如上所述，益智训练系统200可以包括记录模块 240(参见图2)。记录模块240可以用于记录用户动作以生成用户动作序列。在一些示例中，用户动作是用户根据训练教程的标准动作完成的动作。

图5是示出了本公开示例所涉及的人体的关键点的示意图。

在一些示例中，可以利用体感设备120记录用户动作。如上所述，体感设备120可以是kinect体感设备。在一些示例中，体感设备120 可以记录用户动作包含的人体的关键点信息。例如kinect体感设备的骨骼追踪引擎可以记录人体的20个关键点信息。在一些示例中，关键点可以包括关节点。作为示例，图5示出了由kinect体感设备记录的人体的20个关键点。20个关键点可以包括表示右手、左手、右手腕、左手腕、右肘、左肘、右肩、左肩、肩中心、头、脊柱、髋关节中心、右臀部、左臀部、右膝盖、左膝盖、右脚踝、左脚踝、右脚和左脚等位置的点。

另外，在一些示例中，用户动作序列可以包括至少一个项目动作序列。每个项目动作序列可以具有一种运动项目。也即每个项目动作序列对应一种运动项目。在一些示例中，可以基于每个运动项目的教程的合并顺序、时长和运动项目的特点对用户动作序列进行分段以生成多个项目动作序列。

在一些示例中，如上所述，益智训练系统200可以包括识别模块 250(参见图2)。识别模块250可以用于获取关键动作和该关键动作的执行时间点。

在一些示例中，识别模块250可以获取项目动作序列中的关键动作。如上所述，记录模块240可以用于记录用户动作以生成用户动作序列，用户动作序列可以分成多个项目动作序列。在一些示例中，可以计算项目动作序列中每个用户动作p的删除代价D(p)，并删除代价D(p)最小的用户动作进行删除。

具体地，对每个用户动作p的前一个动作和下一个动作的关键点位置进行线性插值操作以获得插值动作p'。获取用户动作p和插值动作p'差距作为删除代价D(p)。删除删除代价D(p)最小的动作并重新计算剩余动作的删除代价D(p)，直到剩余预设数量的用户动作。并将剩余的用户动作作为关键动作。但本公开的示例不限于此，在另一些示例中，也可以用其他方式获取关键动作。

另外，在一些示例中，识别模块250可以获取各个关键动作的执行时间点。具体地，手指精细运动的教程时长例如可以为1分12秒，假设用户在完成双手攥拳动作的时间点为第5秒，则该时间点可以为双手攥拳动作的执行时间点。

另外，在一些示例中，识别模块250可以获取用户在完成每个关键动作时的面部表情。具体地，在一些示例中，可以通过识别用户在完成关键动作对应帧的人脸图像，并将人脸图像输入面部表情识别模型以识别用户在完成关键动作时的面部表情。在一些示例中，面部表情识别模型可以是基于深度学习的模型。在一些示例中，面部表情可以包括高兴、痛苦、害怕、害羞、生气中的一种。由此，能够获取用户在完成关键动作时的面部表情。

在一些示例中，如上所述，益智训练系统200可以包括评分模块 260(参见图2)。评分模块260可以用于获取用户的认知能力总评分。在一些示例中，评分模块260可以用于基于多个标准动作和相应的多个关键动作以获得多个动作评分。在一些示例中，评分模块260可以用于基于多个标准动作的执行时间点和相应的多个关键动作的执行时间点获取多个节奏感评分。

图6是示出了本公开示例所涉及的基于认知、音乐和运动的益智训练系统的框图。图7是示出了本公开示例所涉及的标准动作和关键动作对比的示意图。

如图6所示，在一些示例中，评分模块可以包括动作评分模块261。在一些示例中，动作评分模块261可以用于基于每个标准动作和相应的关键动作间的差距以获得各个动作评分。作为示例，图7示出了上肢空间探索运动中身体前侧交叉空间探索动作包含的多个标准动作A 和相应的多个关键动作C的对比的示意图，其中，区别关键点E为图 7中第一个标准动作与第一个关键动作进行对比后具有区别的关键点。在一些示例中，可以将标准动作与关键动作的对比结果作为训练报告输出。

在一些示例中，可以通过计算标准动作和关键动作之间的差距以获得各个动作评分。以下结合附图描述获取标准动作和关键动作间的差距的流程。图8是示出了本公开示例所涉及的获取标准动作和关键动作之间的差距的流程图。图9是示出了本公开示例所涉及的关键点连线的夹角的示意图。

如图8所示，在一些示例中，计算标准动作和关键动作之间的差距方法可以包括获取每个关键动作的关键点信息(步骤S110)。在一些示例中，可以利用体感设备120提供的开发工具例如Kinect SDK获取关键点信息。

在一些示例中，计算标准动作和关键动作之间的差距方法可以包括基于关键点信息计算各个关节之间的距离(步骤S120)。其中，关键点信息可以由步骤S110获取。在一些示例中，关键动作包括多个关键点，可以利用某个关键点的相邻的关键点来计算该关键点的角度，因此用于计算角度的各个关键点可以包括该关键点和与该关键点相邻的关键点。

在一些示例中，如图9所示，关键点D2的相邻关键点位可以为关键点D1和关键点D3。在这种情况下，可以计算关键点D1和关键点 D2之间的第一距离L1、关键点D2和关键点D3之间的第二距离L2 以及关键点D3和关键点D1之间的第三距离L3。在一些示例中，关键点之间的距离可以是欧氏距离。

在一些示例中，计算标准动作和关键动作之间的差距方法可以包括计算关键点连线之间的角度(步骤S130)。其中，各个关键点之间的距离可以由步骤S120获取。在一些示例中，基于三个关键点之间的距离并利用余弦定理可以求出关键点连线之间的角度大小。如图9所示，基于第一距离L1、第二距离L2和第三距离L3可以求出角度α的大小。

在一些示例中，计算标准动作和关键动作之间的差距方法可以包括基于关键动作和标准动作的关键点连线之间的角度获取差距(步骤 S140)。在一些示例中，多个关键点对应多个角度，可以计算每个角度的差距。在一些示例中，可以设置权重以突出某个关键点的重要性。

在一些示例中，可以基于角度的差距获取动作评分。例如可以令各个关键点的角度的差距小于等于5度时动作评分为100分，令各个关键点的角度的差距大于5且小于等于15度时动作评分为80分。但本公开的示例不限于此，在另一些示例中，可以基于关键动作和标准动作的匹配程度获取动作评分。

另外，在一些示例中，对于比较精细的运动例如手指相关的运动，可以建立基于深度学习的识别模型以获取关键动作属于标准动作的概率。例如，对于手指相关的运动，可以获取关键动作对应的帧的图像并分割出手部区域图像，将手部区域图像输入预先训练好的手部动作识别模型以获取关键动作属于标准动作的概率。在一些示例中，可以基于关键动作属于标准动作的概率获取动作评分。

在一些示例中，如上所述，评分模块260可以获取多个节奏感评分。具体地，评分模块260可以判断每个标准动作的执行时间点和相应的关键动作的执行时间点的时间差以获得各个节奏感评分。例如可以令时间差的绝对值小于等于30秒时节奏感评分为100分，令时间差的绝对值大于30秒且小于等于60秒时节奏感评分为80分。

在一些示例中，动作评分模块261还可以用于基于用户在完成每个关键动作时的面部表情以获得各个表情评分。例如可以令面部表情为高兴的表情评分为100分。由此，能够基于表情评分获得各个项目动作序列的项目评分。

在一些示例中，评分模块260可以包括项目评分模块262(参见图 6)。在一些示例中，项目评分模块262可以基于多个动作评分和多个节奏感评分以获得各个项目动作序列的项目评分。在一些示例中，项目评分为多个项目认知能力评分。

具体地，如上所述，在一些示例中，动作评分模块261可以获得多个动作评分和多个节奏感评分。由于项目动作序列可以包含多个标准动作对应的关键动作，每个标准动作可以用于反映多个认知能力。因此，可以通过分别对每个标准动作和评分项(例如动作评分或节奏感评分)设置权重，基于评分项和权重计算各个认知能力的项目评分。例如，假设运动项目包含的三个标准动作p1、p2和p3的完成情况可以反映注意力，标准动作p1的权重、动作评分和节奏感评分分别为 w1、sa1和sr1，标准动作p2的权重、动作评分和节奏感评分分别为 w2、sa2和sr2，标准动作p3的权重、动作评分和节奏感评分分别为w3、sa3和sr3，动作评分和节奏感评分的权重分别为q1和q2。则注意力的项目认知能力评分可以为(w1×sa1+w2×sa2+w3×sa3)×q1+ (w1×sr1+w2×sr2+w3×sr3)×q2。在这种情况下，基于动作评分和节奏感评分可以获得各个项目动作序列的项目评分。

在一些示例中，项目评分模块还可以基于多个动作评分、多个节奏感评分和多个表情评分以获得各个项目动作序列的项目评分。

在一些示例中，若项目动作序列为热身运动，则可以获得用户的包括注意力、工作记忆、执行功能和感知运动功能的四个项目认知能力评分。另外，在一些示例中，若项目动作序列为手指精细运动，则可以获得用户的包括注意力、工作记忆、执行功能、反应速度和精细知觉的五个项目认知能力评分。另外，在一些示例中，若项目动作序列为双手配合练习运动，则可以获得用户的包括注意力、工作记忆、执行功能和反应灵活性的四个项目认知能力评分。另外，在一些示例中，若项目动作序列为上肢空间探索运动，则可以获得用户的包括注意力、工作记忆、执行功能、视空间能力和运用能力的五个项目认知能力评分。另外，在一些示例中，若项目动作序列为身体部位识别运动，则可以获得用户的包括注意力、工作记忆、执行功能和视空间感知的四个项目认知能力评分。另外，在一些示例中，若项目动作序列为节奏练习运动，则可以获得用户的包括注意力、工作记忆、执行功能、上下肢协调能力和识别节拍能力的五个项目认知能力评分。另外，在一些示例中，若项目动作序列为呼吸放松运动，则可以获得用户的包括注意力、工作记忆和执行功能的三个项目认知能力评分。由此，基于各个项目动作序列能够获得相应的项目认知能力评分。

在一些示例中，评分模块260可以基于项目动作序列的项目评分获得用户的多个认知能力评分。项目动作序列的数量可以是至少一个。在一些示例中，计算用户单个认知能力评分时，可以对能够获得该认知能力的项目认知能力评分的各个项目动作序列设置权重，并基于权重和项目认知能力评分计算用户的该单个认知能力评分。例如，假设能够获得用户的注意力的项目认知能力评分的项目动作序列包括项目动作序列x1和项目动作序列x2，项目动作序列x1和项目动作序列x2 的权重分别为v1和v2，项目动作序列x1和项目动作序列x2的注意力的项目认知能力评分分别为s1和s2，则用户的注意力的认知能力评分为s1×v1+s2×v2。由此，能够基于项目评分获得用户的多个认知能力评分。

在一些示例中，评分模块260可以基于用户的多个认知能力评分获得用户的认知能力总评分。在一些示例中，可以对用户的多个认知能力评分设置权重，并基于权重和用户的多个认知能力评分计算用户的认知能力总评分。在这种情况下，评分模块260可以基于包括多个动作评分和多个节奏感评分获取用户的认知能力总评分。

如图6所示，在一些示例中，益智训练系统200还包括个性化推荐模块270。个性化推荐模块可以基于针对简单动作的测试结果推荐个性化的训练教程。例如可以让用户在训练之前先做若干个简单动作，根据用户完成各个简单动作的测试结果例如标准、较标准或不标准，从运动项目库220和音乐库210中筛选相应的运动项目的教程和音乐合成训练教程，并推荐给用户。由此，能够推荐个性化的训练教程。

以下，结合图10详细描述本公开的基于认知、音乐和运动的训练方法。本公开涉及的基于认知、音乐和运动的训练方法有时可以简称为训练方法。本公开涉及的训练方法可以应用于上述的益智训练系统 200中。图10是示出了本公开示例所涉及的基于认知、音乐和运动的训练方法的流程图。

在一些示例中，训练方法的步骤可以包括形成训练教程(步骤 S210)，基于训练教程进行训练(步骤S220)，记录用户动作(步骤S230)，获取关键动作和关键动作的执行时间点(步骤S240)，获取用户的认知能力总评分(步骤S250)。在这种情况下，能够将认知、音乐和运动进行融合。由此，能够使用户在心情舒缓的情况下进行运动且能够在运动中训练和评估用户的认知能力。

在一些示例中，在步骤S210中，可以形成训练教程。在一些示例中，可以基于用户的个人情况从运动项目库中筛选至少一种教程并从音乐库中筛选至少一种风格的音乐，形成训练教程。具体描述可以参见训练模块230的相关描述，此处不再赘述。

在一些示例中，在步骤S210中，音乐库可以用于存储多种不同风格的音乐，每种风格的音乐包括至少一首音乐。具体描述可以参见音乐库210的相关描述，此处不再赘述。

在一些示例中，在步骤S210中，运动项目库可以用于存储运动项目的教程。在一些示例中，运动项目可以包括热身运动、手指精细运动、双手配合练习运动、上肢空间探索运动、身体部位识别运动、节奏练习运动和呼吸放松运动中的至少一种。在一些示例中，运动项目的教程可以包括多个用于反映多个认知能力的标准动作和各个标准动作的执行时间点。在一些示例中，认知能力可以包括注意力、工作记忆、执行功能、感知运动功能、反应速度、精细知觉、反应灵活性、视空间能力、运用能力、视空间感知、上下肢协调能力和识别节拍能力中的至少一种。具体描述可以参见运动项目库220的相关描述，此处不再赘述。

在一些示例中，在步骤S220中，用户可以基于训练教程进行训练。具体描述可以参见训练模块230的相关描述，此处不再赘述。

在一些示例中，在步骤S230中，可以记录用户动作。在一些示例中，可以记录用户动作以生成用户动作序列。在一些示例中，用户动作可以是用户根据训练教程的标准动作完成的动作。在一些示例中，用户动作序列可以包括至少一个项目动作序列。每个项目动作序列可以具有一种运动项目。也即每个项目动作序列对应一种运动项目。具体描述可以参见记录模块240的相关描述，此处不再赘述。

在一些示例中，在步骤S240中，可以获取关键动作和关键动作的执行时间点。在一些示例中，可以获取项目动作序列的多个关键动作和各个关键动作的执行时间点。具体描述可以参见识别模块250的相关描述，此处不再赘述。

在一些示例中，在步骤S250中，可以获取用户的认知能力总评分。在一些示例中，可以基于多个标准动作和相应的多个关键动作以获得多个动作评分。在一些示例中，可以基于多个标准动作的执行时间点和相应的多个关键动作的执行时间点获取多个节奏感评分。在一些示例中，可以基于包括多个动作评分和多个节奏感评分获取用户的认知能力总评分。具体描述可以参见评分模块260的相关描述，此处不再赘述。

虽然以上结合附图和实施例对本发明进行了具体说明，但是可以理解，上述说明不以任何形式限制本发明。本领域技术人员在不偏离本发明的实质精神和范围的情况下可以根据需要对本发明进行变形和变化，这些变形和变化均落入本发明的范围内。