一种互动量化式线上体育和舞蹈教学方法与装置

技术领域

本申请涉及采用三维激光雷达扫描技术获得人体的关节空间位置和速度，并通过光纤通讯实现远程线上传输，能够实现教师的教和学生的学的互动和对教和学的动作的量化评价，目的是开发一种体育类和舞蹈类课程的线上教学新模式。

背景技术

在疫情期间，线上教学得到了广泛应用，通过视频和PPT的演示，教师可以讲解知识，学生可以听课、提问和回答问题等，但目前的线上教学适合于书面和语言类知识的教授和学习，而对于体育类和舞蹈类涉及到身体动作的教学，则效果不佳。体育和舞蹈需要对身体动作进行教和学，仅通过视频教学方式，学生看到的是平面图像，很难获得动作的深度信息，因此学生很难把教师的动作看全面，并准确捕捉动作的细节；另外，教师也很难对学生的动作获得准确的观察和评判，难以确定学生是否已经准确无误的重复了教师的动作。因此，有必要开发一种能实现互动和动作量化的线上教学新模式，适合于体育类和舞蹈类课程的网上教学。目前可获得人体动作的方法中，三维激光雷达具有实时和精准的优势，实现对教师和学生的身体动作进行实时扫描和捕捉，继而通过远程通讯和数据处理，实现教和学的动作对比，从而可对学生的动作学习效果进行自动量化和评价。

发明内容

现有线上教学方法仅通过视频进行交流，没法对教和学的身体动作进行量化和互动评价，仅适合于一些书面和语言类的课程教学，但不适合于体育类和舞蹈类需进行动作指导的课程教学。因此，对于体育类和舞蹈类课程的网上教学，一方面要能够实现教师和学员的互动，能看到彼此的动作；另一方面能够实现对教师教的动作和学生学的动作的量化和比较，从而可以准确评价学生的动作准确性，达到与线下教学相媲美的教学效果。因此，需要找到合适方法，能实时捕捉教师端和学员端的身体动作，另外能够对教师和学员的动作进行量化比较。

基于上述要求，本申请提出的一种互动量化式线上体育和舞蹈教学装置，其特征在于，包括学员三维激光雷达系统（2），学员点云处理与关节空间点提取装置（3），学员本地计算机（4），学员摄像头（5），教师三维激光雷达系统（7），教师点云处理与关节空间点提取装置（8），教师摄像头（9），教师本地计算机（10）。学员（1）和教师（6）通过远程网络通讯传输进行体育和舞蹈动作的线上互动教和学。学员（1）的身体动作可由所述学员三维激光雷达系统（2）进行扫描，获得学员（1）的人体激光扫描点云，然后送入所述学员点云处理与关节空间点提取装置（3），提取出学员（1）的身体各个关节的空间位置和运动速度，通过本地USB传输给所述学员本地计算机（4）；由所述学员摄像头（5）将学员（1）的动作视频通过本地USB传输给所述学员本地计算机（4）；教师（6）的身体动作由所述教师三维激光雷达系统（7）进行扫描获得人体激光扫描点云，然后送入所述教师点云处理与关节空间点提取装置（8），提取出教师（6）的身体各个关节的空间位置和运动速度，通过本地USB传输给所述教师本地计算机（10）；由所述教师摄像头（9）将教师（6）的动作视频通过本地USB传输给所述教师本地计算机（10）中；所述教师本地计算机（10）将教师动作视频及身体各个关节的空间位置和运动速度通过远程光纤通讯传输到所述学员本地计算机（4）中；同时，所述学员本地计算机（4）将学员动作视频和身体各个关节的空间位置和运动速度也通过远程光纤通讯传输到所述教师本地计算机（10）中。在所述学员本地计算机（4）的应用程序中，可以将学员（1）和教师（6）的视频实时显示，并对两人的身体各个对应关节的空间位置和运动速度进行比例归一化和量化比较，得出学员的动作与教师的动作的差异之处和需改进的评价。在所述教师本地计算机（10）中有与所述学员本地计算机（4）中相同的应用程序，教师可观看自己和学员的动作视频，以及自己与学员身体各个对应关节的空间位置和运动速度，对学员的动作学习过程进行监督和评价，实现动作教和学的互动量化式线上教学新模式，适合于体育类和舞蹈类需要进行身体动作进行教和学的课程，达到与线下教学一样的教学效果。同时，在教师端和学员端的计算机均会自动给出教师和学员的动作差异的量化值，给出评价指标，从而可使教师不会遗漏掉学员的错误动作及动作不到位的情况。

其中，在所述学员本地计算机（4）中，主要包括学员本地线上教学APP软件（41）和学员本地输出显示装置（42）。在所述学员本地计算机（4）中打开所述学员本地线上教学APP软件（41），可以通过光纤远程网络通讯接收教师的体育舞蹈动作视频，以及教师的身体各个关节的空间位置和运动速度信息，其中教师的身体各个关节的空间位置和速度信息由三维激光雷达采集身体形态的点云，然后送入所述教师点云处理与关节空间点提取装置（8）来提取出教师身体的各个关节的空间位置和速度信息。另外，所述学员本地线上教学APP软件（41）还通过本地USB传输接收学员的体育舞蹈动作视频，以及学员的身体各个关节的空间位置和速度信息，其中学员的身体各个关节的空间位置和速度信息由三维激光雷达采集身体形态的点云，然后送入所述学员点云处理与关节空间点提取装置（3）来提取出学员身体的各个关节的空间位置和速度信息。所述学员本地线上教学APP软件（41）对教师和学员的身体各个关节的空间位置和速度进行对应比较，获得差异数据并给出评价和改进意见。在所述学员本地输出显示装置（42）中，一方面学员可以同时看到教师和学员的体育舞蹈动作视频，另一方面，可以显示出教师和学员的身体各个对应关节的空间位置和速度信息及量化对比数据，以及显示对学员的动作准确性的量化评价，并可实现数据的记录和历史信息的回溯工作。

其中，用四个三维激光雷达对人体动作进行测量，四个三维激光雷达围绕人体四周分布，固定在同一水平高度上，均匀分布在半径为2米左右的水平圆圈上，间隔90°夹角分布，可无死角的获得在中心区的教师（6）或学员（1）的身体各个部位的动作。四个三维激光雷达分布圆圈的半径大小与三维激光雷达的水平和垂直扫描区域有关，也与人体的动作范围有关，可根据实际情况进行调整。每一个三维激光雷达由一个水平扫描角和一个垂直扫描角形成一个空间四棱锥形扫描区域，要保证扫描高度大于人体动作的最大高度，而扫描宽度大于人体动作的最大宽度，从而将人体动作区域完全覆盖扫描；四个三维激光雷达的空间位置事先固定并测量记录，用于后续的点云拼接配准处理。在每一个三维激光雷达上，均安装了一个摄像头，共有四个摄像头，可获得学员（1）和教师（6）从四个方向拍摄的动作视频。学员（1）和教师（6）进行演示动作时，眼睛正对着电脑显示屏，可以相互观看动作视频情况，教师（6）的动作通过远程通讯传输到学员（1）的本地电脑中，学员（1）可以观看动作，并学习和模仿。在视频中，教师（6）讲解动作要领，指导学员（1）做出正确的动作。而学员（1）动作正确与否，教师（6）和学员（1）都可以通过视频观察分析，另一方面，也都可以由软件直接获得学员（1）和教师（6）的动作关节的位置和速度信息，从而获得学员（1）与教师（6）的动作差异和需要改进的地方。

其中，由四个相隔90°圆周放置的三维激光雷达，分别获得学员（1）身体的局部扫描点云；由于已知四个三维激光雷达的空间安装位置，同时以学员（1）的身体站立的中心位置作为激光雷达分布圆的圆心并建立一个当地水平参考坐标系。将四个三维激光雷达扫描的人体局部点云通过空间旋转和位移，统一到设定的当地水平参考坐标系中，实现四个局部点云的配准和坐标统一，从而可获得学员（1）人体的完整身体形态扫描点云；对完整身体形态点云进行预处理，消除粗大误差，然后进行网格化三维建模；将三维建模与事先测量的学员（1）人体结构尺寸进行比较，可以获得学员（1）扫描点云中各个关节的空间位置，进而通过对比两相邻帧点云的身体各个关节的空间位置变化，可获得学员（1）身体各个关节的空间运动速度信息。教师的人体形态扫描点云也同样获得，并提取出教师身体关节的空间位置和运动速度是。对比教师和学员的身体各个对应关节的尺寸比例，进行归一化处理，消除学员身体尺寸与教师身体尺寸不同而造成的对应关节的空间位置和运动速度差异的干扰，用于教师动作和学员动作的比较，找出差异，从而判断学员的动作是否与教师的动作相符合。

其中，在学员本地输出显示装置（42）中，主要有5个显示框，其中，教师视频框（421）用于显示教师的动作视频，学员视频框（422）用于显示学员的动作视频，教师形体关节三维图框（423）显示教师的动作关节空间分布图，学员形体关节三维图框（424）显示学员的动作关节空间分布图，形体关节空间位置和速度差异评价框（425）用于显示学员和教师动作关节的空间位置和速度差异。另外，由于教师（6）和学员（1）有身高和肢体尺寸的不同，需要将学员的肢体尺寸与教师的肢体尺寸进行比例换算实现归一化处理，然后再进行教师（6）和学员（1）身体对应关节的空间位置和速度的比较，获得差异值后，可以输出量化指标和评价意见。

附图说明

图1是一种互动量化式线上体育和舞蹈教学方法实现结构图。

图2是线上教学软件及其输出功能示意图。

图3是基于空间分布三维激光雷达的身体动作测量原理图。

图4是基于激光点云的学员人体动作捕捉工作流程图。

图5是学员本地输出显示装置功能示意图。

具体实施方式

以下结合附图对本申请专利实施例作进一步详细描述。

图1是一种互动量化式线上体育和舞蹈教学方法实现结构图。本申请提出的一种互动量化式线上体育和舞蹈教学装置，其特征在于，包括学员三维激光雷达系统（2），学员点云处理与关节空间点提取装置（3），学员本地计算机（4），学员摄像头（5），教师三维激光雷达系统（7），教师点云处理与关节空间点提取装置（8），教师摄像头（9），教师本地计算机（10）。学员（1）和教师（6）通过远程网络通讯传输进行体育和舞蹈动作的线上互动教和学。学员（1）的身体动作可由所述学员三维激光雷达系统（2）进行扫描，获得学员（1）的人体激光扫描点云，然后送入所述学员点云处理与关节空间点提取装置（3），提取出学员（1）的身体各个关节的空间位置和运动速度，通过本地USB传输给所述学员本地计算机（4）；由所述学员摄像头（5）将学员（1）的动作视频通过本地USB传输给所述学员本地计算机（4）；教师（6）的身体动作由所述教师三维激光雷达系统（7）进行扫描获得人体激光扫描点云，然后送入所述教师点云处理与关节空间点提取装置（8），提取出教师（6）的身体各个关节的空间位置和运动速度，通过本地USB传输给所述教师本地计算机（10）；由所述教师摄像头（9）将教师（6）的动作视频通过本地USB传输给所述教师本地计算机（10）中；所述教师本地计算机（10）将教师动作视频及身体各个关节的空间位置和运动速度通过远程光纤通讯传输到所述学员本地计算机（4）中；同时，所述学员本地计算机（4）将学员动作视频和身体各个关节的空间位置和运动速度也通过远程光纤通讯传输到所述教师本地计算机（10）中。在所述学员本地计算机（4）的应用程序中，可以将学员（1）和教师（6）的视频实时显示，并对两人的身体各个对应关节的空间位置和运动速度进行比例归一化和量化比较，得出学员的动作与教师的动作的差异之处和需改进的评价。在所述教师本地计算机（10）中有与所述学员本地计算机（4）中相同的应用程序，教师可观看自己和学员的动作视频，以及自己与学员身体各个对应关节的空间位置和运动速度，对学员的动作学习过程进行监督和评价，实现动作教和学的互动量化式线上教学新模式，适合于体育类和舞蹈类需要进行身体动作进行教和学的课程，达到与线下教学一样的教学效果。同时，在教师端和学员端的计算机均会自动给出教师和学员的动作差异的量化值，给出评价指标，从而可使教师不会遗漏掉学员的错误动作及动作不到位的情况。

图2是线上教学软件及其输出功能示意图。在所述学员本地计算机（4）中，主要包括学员本地线上教学APP软件（41）和学员本地输出显示装置（42）。在所述学员本地计算机（4）中打开所述学员本地线上教学APP软件（41），可以通过光纤远程网络通讯接收教师的体育舞蹈动作视频，以及教师的身体各个关节的空间位置和运动速度信息，其中教师的身体各个关节的空间位置和速度信息由三维激光雷达采集身体形态的点云，然后送入所述教师点云处理与关节空间点提取装置（8）来提取出教师身体的各个关节的空间位置和速度信息。另外，所述学员本地线上教学APP软件（41）还通过本地USB传输接收学员的体育舞蹈动作视频，以及学员的身体各个关节的空间位置和速度信息，其中学员的身体各个关节的空间位置和速度信息由三维激光雷达采集身体形态的点云，然后送入所述学员点云处理与关节空间点提取装置（3）来提取出学员身体的各个关节的空间位置和速度信息。所述学员本地线上教学APP软件（41）对教师和学员的身体各个关节的空间位置和速度进行对应比较，获得差异数据并给出评价和改进意见。在所述学员本地输出显示装置（42）中，一方面学员可以同时看到教师和学员的体育舞蹈动作视频，另一方面，可以显示出教师和学员的身体各个对应关节的空间位置和速度信息及量化对比数据，以及显示对学员的动作准确性的量化评价，并可实现数据的记录和历史信息的回溯工作。

图3是基于空间分布三维激光雷达的身体动作测量原理图。用四个三维激光雷达对人体动作进行测量，四个三维激光雷达围绕人体四周分布，固定在同一水平高度上，均匀分布在半径为2米左右的水平圆圈上，间隔90°夹角分布，可无死角的获得在中心区的教师（6）或学员（1）的身体各个部位的动作。四个三维激光雷达分布圆圈的半径大小与三维激光雷达的水平和垂直扫描区域有关，也与人体的动作范围有关，可根据实际情况进行调整。每一个三维激光雷达由一个水平扫描角和一个垂直扫描角形成一个空间四棱锥形扫描区域，要保证扫描高度大于人体动作的最大高度，而扫描宽度大于人体动作的最大宽度，从而将人体动作区域完全覆盖扫描；四个三维激光雷达的空间位置事先固定并测量记录，用于后续的点云拼接配准处理。在每一个三维激光雷达上，均安装了一个摄像头，共有四个摄像头，可获得学员（1）和教师（6）从四个方向拍摄的动作视频。学员（1）和教师（6）进行演示动作时，眼睛正对着电脑显示屏，可以相互观看动作视频情况，教师（6）的动作通过远程通讯传输到学员（1）的本地电脑中，学员（1）可以观看动作，并学习和模仿。在视频中，教师（6）讲解动作要领，指导学员（1）做出正确的动作。而学员（1）动作正确与否，教师（6）和学员（1）都可以通过视频观察分析，另一方面，也都可以由软件直接获得学员（1）和教师（6）的动作关节的位置和速度信息，从而获得学员（1）与教师（6）的动作差异和需要改进的地方。

图4是基于激光点云的学员人体动作捕捉工作流程图。由四个相隔90°圆周放置的三维激光雷达，分别获得学员（1）身体的局部扫描点云；由于已知四个三维激光雷达的空间安装位置，同时以学员（1）的身体站立的中心位置作为激光雷达分布圆的圆心并建立一个当地水平参考坐标系。将四个三维激光雷达扫描的人体局部点云通过空间旋转和位移，统一到设定的当地水平参考坐标系中，实现四个局部点云的配准和坐标统一，从而可获得学员（1）人体的完整身体形态扫描点云；对完整身体形态点云进行预处理，消除粗大误差，然后进行网格化三维建模；将三维建模与事先测量的学员（1）人体结构尺寸进行比较，可以获得学员（1）扫描点云中各个关节的空间位置，进而通过对比两相邻帧点云的身体各个关节的空间位置变化，可获得学员（1）身体各个关节的空间运动速度信息。教师的人体形态扫描点云也同样获得，并提取出教师身体关节的空间位置和运动速度是。对比教师和学员的身体各个对应关节的尺寸比例，进行归一化处理，消除学员身体尺寸与教师身体尺寸不同而造成的对应关节的空间位置和运动速度差异的干扰，用于教师动作和学员动作的比较，找出差异，从而判断学员的动作是否与教师的动作相符合。

图5是学员本地输出显示装置功能示意图。在学员本地输出显示装置（42）中，主要有5个显示框，其中，教师视频框（421）用于显示教师的动作视频，学员视频框（422）用于显示学员的动作视频，教师形体关节三维图框（423）显示教师的动作关节空间分布图，学员形体关节三维图框（424）显示学员的动作关节空间分布图，形体关节空间位置和速度差异评价框（425）用于显示学员和教师动作关节的空间位置和速度差异。另外，由于教师（6）和学员（1）有身高和肢体尺寸的不同，需要将学员的肢体尺寸与教师的肢体尺寸进行比例换算实现归一化处理，然后再进行教师（6）和学员（1）身体对应关节的空间位置和速度的比较，获得差异值后，可以输出量化指标和评价意见。

以上对本申请及其具体实施方式的描述，并不局限于此，附图中所示仅是本申请的实施方式之一。在不脱离本申请创造宗旨的情况下，不经创造地设计出与该技术方案类似的结构或实施例，均属本申请保护范围。