基于混合现实的装备类交互式教学方法及教学系统

技术领域

本发明属于装备教学系统技术领域，涉及基于混合现实的装备类交互式教学方法及教学系统。

背景技术

武装教学是兵器科学与技术领域的重要一环，作为注重工程实践能力的训练，是人才知识结构中的重要组成部分，随着互联网的逐步发展和智能化技术的更新，将智能化技术与武装教学结合可以有效提高教学效率和质量。如公开号为CN109612326A的发明专利，公开了一种基于物联网的轻武器射击智能辅助教学系统，通过物联网技术采集士兵射击时的身体数据和瞄准情况，帮助教官发现和纠正士兵在训练中存在的问题。

然而，真实的武装教学具有应用环境的特殊性、使用的危险性等特点，在实验教学环节存在“三高两难”问题，即“高危险、高难度、高成本、难实施、难再现”的问题。“高危险”主要表现在火工品实验具有较高的危险性，不适合学员动手实践训练；“高难度”主要是武器系统作用机理、故障维修训练等过程复杂，细节展现难度大；“高成本”主要体现在完成相关教学实验需要较高的材料、设备成本；“难实施”是指由于实训场地空间、装备的限制，教学活动难以展开多人、多武装教学；“难再现”是指武装装备的工作过程具有瞬时性和随机性，在实施过程中遇到随机变化问题产生的实际现象很难再现。

针对上述问题，将相关技术设备与智能化技术结合应用到武装教学上，以人工智能、机器视觉等新兴技术手段实现交互式的智能教学系统，通过虚拟现实设备、混合现实设备以及可穿戴设备实现真实场景与虚拟场景交互的沉浸式武器装备教学，有利于武器装备教学的开展。然而，现有的武器装备智能化教学功能单一，难以实现武器装备的交互式智能化教学。

发明内容

本发明用于解决传统装备教学的教学成本高、教学效率低及具有危险性的问题。

本发明是通过以下技术方案解决上述技术问题的：

一种基于混合现实的装备类交互式教学方法，所述方法包括：

S1、采集多类别图像数据，通过数据增强和增加多类型负样本数据的手段扩充图像数据集；

S2、标注数据信息，根据需要训练的目标数据类型确定标注范围；

S3、按比例对样本数据集划分训练数据、测试数据和验证数据；

S4、搭建并训练yolov5模型，包括：

S41、将图像和对应的标注信息配置在正确的目录结构；

S42、加载预训练权重用于yolov5模型的训练；

S43、设置yolov5模型中配置文件的参数；

S44、输入图像数据集数量和工作核心数，根据配置参数进行yolov5模型的训练迭代；

S5、提取训练权重文件并转换为onnx格式文件，将训练后的yolov5模型转换成可用于端侧部署的网络模型；

S6、将转换后的网络模型部署到教学设备上，经验证后用户使用教学设备进行交互式学习。

进一步地，步骤S1中所述采集多类别图像数据的方法包括：通过python技术从公开数据集和网页中获取多类别图像、通过无人机平台搭载光学摄像机对真实场景拍摄获取多类别图像、通过Unity3D、Maya图形工具构建多类别图像。

进一步地，步骤S1中所述数据增强的方法包括：通过翻转图像、旋转图像、缩放图像、裁剪图像、遮挡图像、改变图像亮度及改变图像对比度的手段获取多种场景下的图像。

进一步地，步骤S3中所述按比例对样本数据集划分训练数据、测试数据和验证数据的比例为7：2：1。

进一步地，步骤S43中所述设置yolov5模型中配置文件的参数包括：数据集路径、识别类别、模型名称、训练权重文件路径。

进一步地，步骤S5中所述将训练后的yolov5模型转换为onnx格式的网络模型的方法包括：安装onnx依赖库，将权重文件转换为onnx格式，将onnx格式的权重文件与yololv5模型结合后形成完整的onnx模型。

进一步地，步骤S5中所述将训练后的yolov5模型转换成可用于端侧部署的网络模型的方法包括：使用模型修剪工具将模型冗余节点删除，将网络模型转换成ncnn或者mnn格式的可用于端侧部署的网络模型。

进一步地，步骤S6中所述经验证后用户使用教学设备进行交互式学习的方法为：设置教学设备的局域网内ip地址，通过验证后，教学设备采集用户手势或语音信息调用装备数据进行学习。

本发明还提供一种基于混合现实的装备类交互式教学系统，包括：数据采集模块、数据选取模块、模型构建模块、模型评价模块、敏感性分析模块；

所述图像采集模块，用于采集多类别图像数据，通过数据增强和增加多类型负样本数据的手段扩充图像数据集；

所述信息标注模块，用于标注数据信息，根据需要训练的目标数据类型确定标注范围；

所述数据分类模块，用于按比例对样本数据集划分训练数据、测试数据和验证数据；

所述模型搭建模块，用于搭建并训练yolov5模型，包括：

将图像和对应的标注信息配置在正确的目录结构；

加载预训练权重用于yolov5模型的训练；

设置yolov5模型中配置文件的参数；

输入图像数据集数量和工作核心数，根据配置参数进行yolov5模型的训练迭代；

所述格式转换模块，用于提取训练权重文件并转换为onnx格式文件，将训练后的yolov5模型转换成可用于端侧部署的网络模型；

所述模型部署模块，用于将转换后的网络模型部署到教学设备上，经验证后用户使用教学设备进行交互式学习。

进一步地，所述数据分类模块中按比例对样本数据集划分训练数据、测试数据和验证数据的比例为7：2：1。

本发明的优点在于：将武器装备类教学素材通过深度学习模型进行训练，并将训练后的模型部署到混合现实设备上，学生通过可穿戴设备实现真实场景与虚拟场景交互的交互式智能化学习，在保障学生训练安全的情况下，节约教学成本，有效提升教学质量和教学效率，解决了装备教学面临“三高两难”的问题。

附图说明

图1为本发明实施例的基于混合现实的装备类交互式教学方法及教学系统的流程图；

图2为本发明实施例的基于混合现实的装备类交互式教学方法及教学系统的数据增强的效果图；

图3为本发明实施例的基于混合现实的装备类交互式教学方法及教学系统的模型训练后的效果图；

图4为本发明实施例的基于混合现实的装备类交互式教学方法及教学系统的模型修剪后的效果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：

实施例一

如图1所示，具体的，本实施例公开了一种基于混合现实的装备类交互式教学方法，包括，

S1、采集多类别图像数据，通过数据增强和增加多类型负样本数据的手段扩充图像数据集；

本实施例采用深度学习模型训练装备类教学素材，需要足够的数据支撑才能在训练阶段获得较为准确的权重数据，降低卷积层数过多造成的过拟合现象，因此采用多种技术手段扩充战场目标样本库；本实施例通过python技术从公开数据集和网页中获取多类别图像，多类别图像包括多类型场景图像及多类型装备模型图像。

传统装备教学通常应用在不同的作战环境中，因此本实施例通过无人机平台搭载光学摄像机对真实场景拍摄获取多类别图像，拍摄场景包括真实场景及实景沙盘场景，且根据教学要求改变无人机飞行高度、俯视角度、场景光照信息以及目标种类等用于获取更多的图像数据，扩充图像数据集。

由于装备型号较多，结构复杂，内部结构及工作原理难以呈现，本实施例中通过Unity3D、Maya图形工具构建多类别的虚拟模型图像，对装备模型进行细粒度重建，完善装备模型素材库，呈现实体模型的外观及关键部位的模型图像，包括：装甲车、导弹车、弹药等多类模型。

本实施例中，对于通过python技术从公开数据集和网页中获取多类别图像及通过无人机平台搭载光学摄像机对真实场景拍摄获取多类别图像需要对图像数据进行数据清洗，剔除掉不合理的目标图像。

图2所示，根据上述手段采集图像数据后，通过数据增强的手段，如通过翻转图像、旋转图像、缩放图像、裁剪图像、遮挡图像、改变图像亮度及改变图像对比度的手段获取多种场景下的图像，对图像数据集进行扩充。

通过在数据集中增加多种负样本数据，例如民用车辆、民房等数据，可以增加模型训练权重结果的可靠性，本实例通过上述不同方法对战场目标数据集进行扩充，保证各类别图像数据不少于2000张图片。

S2、标注数据信息，根据需要训练的目标数据类型确定标注范围；

本实例中通过Labelimg图片标注工具对图像中的目标数据进行标注和命名，将图像与标注数据一一对应，可根据要训练的目标数据类型确定标注范围。

S3、按比例对样本数据集划分训练数据、测试数据和验证数据；

深度学习模型在训练过程中训练误差会不断降低，容易出现过拟合现象，而测试数据的测试误差则不会出现这种现象，在模型数据库的基础上，按照训练数据、测试数据和验证数据7：2：1的比例关系进行划分，并且保证每类数据集中各类目标的比例合适。

S4、搭建并训练yolov5模型，包括：

S41、将图像和对应的标注信息配置在正确的目录结构；

yolov5模型是一种高效、准确的目标检测模型，可以实时地识别和定位图像中的多个目标对象，本实施例基于yolov5模型对图像素材进行训练，部署在智能教学设备上，实现基于混合现实的装备交互式教学效果；

将获取的适用于目标检测任务的图像数据集放置在正确的目录结构中，图像数据集内容包括图像和对应的标注信息。

S42、加载预训练权重用于yolov5模型的训练；

为了缩短模型的训练时间并达到更高精度，通过加载预训练权重进行网络的训练，本实施例中选用yolov5s.pt预训练权重。

S43、设置yolov5模型中配置文件的参数；

在yolov5模型中，yaml文件作为一种配置文件用于定义模型的超参数、数据加载和训练等设置，通过调整配置文件内的参数，使用户能够根据需求对模型进行调整和训练；本实施例中，所述设置yolov5模型中配置文件的参数包括：数据集路径val、识别类别nc、模型名称name、训练权重文件weights的路径、yolov5s_hat.yaml文件路径、hat.yaml文件路径。

S44、输入图像数据集数量和工作核心数，根据配置参数进行yolov5模型的训练迭代；本实施例中，根据设置好的配置文件以及步骤S3中划分好的样本数据集进行深度学习模型训练，图3为训练100轮后的模型训练结果数据。

S5、提取训练权重文件并转换为onnx格式文件，将训练后的yolov5模型转换成可用于端侧部署的网络模型；onnx是一种开放的、跨平台的深度学习模型表示格式，被广泛用于实现模型的跨框架和跨平台部署，具有良好的兼容性，可以在多个框架和设备上进行推理。

S5中所述将训练后的yolov5模型转换为onnx格式的网络模型的方法包括：安装onnx依赖库，在本实施例中，选择并提取最优的权重文件，将权重文件转换为onnx格式，将onnx格式的权重文件与yololv5模型结合后形成完整的onnx模型。

S5中所述将训练后的yolov5模型转换成可用于端侧部署的网络模型的方法包括：使用模型修剪工具将模型冗余节点删除，将网络模型转换成ncnn或者mnn格式的可用于端侧部署的网络模型；将网络模型转换成可以部署在智能教学设备上的深度学习模型，其中ncnn使用自定义的二进制模型格式，可以结合相应的运行时库，在移动设备上实现高性能推理；mnn支持多种硬件平台和操作系统，提供了用于解析和执行模型的库和工具，以实现高性能和低延迟的推理，图4为本实施例中对使用模型修剪工具将模型冗余节点删除的效果图。

S6、将转换后的网络模型部署到教学设备上，经验证后用户使用教学设备进行交互式学习；本实例通过设置教学设备的局域网内ip地址，在通过身份验证后，教学设备可采集用户手势或语音信息调用装备数据进行学习。

在本实施例中，以Hololens2混合现实眼镜为物理媒介，通过深度学习模型训练后配置丰富的装备模型素材库，完成装备教学方法和系统设计，在本实施例中，装备交互式教学内容包括武器装备识别、武器装备模型展示、工作原理讲解和交互式操作等功能，涵盖多类型装备模型库，如火炮、弹药、装甲车等向下细分更具体的装备型号，学生可根据自己学习需求，自主选择要了解掌握的装备类型，有目的地进行学习。

本实施例将武器装备类教学素材通过深度学习模型进行训练，并将训练后的模型部署到混合现实设备上，学生通过可穿戴设备实现真实场景与虚拟场景交互的交互式智能化学习，在保障学生训练安全的情况下，节约教学成本，有效提升教学质量和教学效率，解决了装备教学面临“三高两难”的问题。

实施例二

本实施例公开了一种基于混合现实的装备类交互式教学系统，包括：图像采集模块、信息标注模块、数据分类模块、模型搭建模块、格式转换模块、模型部署模块；

所述图像采集模块，用于采集多类别图像数据，通过数据增强和增加多类型负样本数据的手段扩充图像数据集；

本实施例采用深度学习模型训练装备类教学素材，需要足够的数据支撑才能在训练阶段获得较为准确的权重数据，降低卷积层数过多造成的过拟合现象，因此采用多种技术手段扩充战场目标样本库；本实施例通过python技术从公开数据集和网页中获取多类别图像，多类别图像包括多类型场景图像及多类型装备模型图像。

传统装备教学通常应用在不同的作战环境中，因此本实施例通过无人机平台搭载光学摄像机对真实场景拍摄获取多类别图像，拍摄场景包括真实场景及实景沙盘场景，且根据教学要求改变无人机飞行高度、俯视角度、场景光照信息以及目标种类等用于获取更多的图像数据，扩充图像数据集。

由于装备型号较多，结构复杂，内部结构及工作原理难以呈现，本实施例中通过Unity3D、Maya图形工具构建多类别的虚拟模型图像，对装备模型进行细粒度重建，完善装备模型素材库，呈现实体模型的外观及关键部位的模型图像，包括：装甲车、导弹车、弹药等多类模型。

本实施例中，对于通过python技术从公开数据集和网页中获取多类别图像及通过无人机平台搭载光学摄像机对真实场景拍摄获取多类别图像需要对图像数据进行数据清洗，剔除掉不合理的目标图像。

图2所示，根据上述手段采集图像数据后，通过数据增强的手段，如通过翻转图像、旋转图像、缩放图像、裁剪图像、遮挡图像、改变图像亮度及改变图像对比度的手段获取多种场景下的图像，对图像数据集进行扩充。

通过在数据集中增加多种负样本数据，例如民用车辆、民房等数据，可以增加模型训练权重结果的可靠性，本实例通过上述不同方法对战场目标数据集进行扩充，保证各类别图像数据不少于2000张图片。

所述信息标注模块，用于标注数据信息，根据需要训练的目标数据类型确定标注范围；

本实例中通过Labelimg图片标注工具对图像中的目标数据进行标注和命名，将图像与标注数据一一对应，可根据要训练的目标数据类型确定标注范围。

所述数据分类模块，用于按比例对样本数据集划分训练数据、测试数据和验证数据；

深度学习模型在训练过程中训练误差会不断降低，容易出现过拟合现象，而测试数据的测试误差则不会出现这种现象，在模型数据库的基础上，按照训练数据、测试数据和验证数据7：2：1的比例关系进行划分，并且保证每类数据集中各类目标的比例合适。

所述模型搭建模块，用于搭建并训练yolov5模型，包括：

将图像和对应的标注信息配置在正确的目录结构；

yolov5模型是一种高效、准确的目标检测模型，可以实时地识别和定位图像中的多个目标对象，本实施例基于yolov5模型对图像素材进行训练，部署在智能教学设备上，实现基于混合现实的装备交互式教学效果；

将获取的适用于目标检测任务的图像数据集放置在正确的目录结构中，图像数据集内容包括图像和对应的标注信息。

加载预训练权重用于yolov5模型的训练；

为了缩短模型的训练时间并达到更高精度，通过加载预训练权重进行网络的训练，本实施例中选用yolov5s.pt预训练权重。

设置yolov5模型中配置文件的参数；

在yolov5模型中，yaml文件作为一种配置文件用于定义模型的超参数、数据加载和训练等设置，通过调整配置文件内的参数，使用户能够根据需求对模型进行调整和训练；本实施例中，所述设置yolov5模型中配置文件的参数包括：数据集路径val、识别类别nc、模型名称name、训练权重文件weights的路径、yolov5s_hat.yaml文件路径、hat.yaml文件路径。

输入图像数据集数量和工作核心数，根据配置参数进行yolov5模型的训练迭代；

本实施例中，根据设置好的配置文件以及步骤S3中划分好的样本数据集进行深度学习模型训练，图3为训练100轮后的模型训练结果数据。

所述格式转换模块，用于提取训练权重文件并转换为onnx格式文件，将训练后的yolov5模型转换成可用于端侧部署的网络模型；onnx是一种开放的、跨平台的深度学习模型表示格式，被广泛用于实现模型的跨框架和跨平台部署，具有良好的兼容性，可以在多个框架和设备上进行推理。

所述格式转换模块中将训练后的yolov5模型转换为onnx格式的网络模型的方法包括：安装onnx依赖库，在本实施例中，选择并提取最优的权重文件，将权重文件转换为onnx格式，将onnx格式的权重文件与yololv5模型结合后形成完整的onnx模型。

所述格式转换模块中将训练后的yolov5模型转换成可用于端侧部署的网络模型的方法包括：使用模型修剪工具将模型冗余节点删除，将网络模型转换成ncnn或者mnn格式的可用于端侧部署的网络模型；将网络模型转换成可以部署在智能教学设备上的深度学习模型，其中ncnn使用自定义的二进制模型格式，可以结合相应的运行时库，在移动设备上实现高性能推理；mnn支持多种硬件平台和操作系统，提供了用于解析和执行模型的库和工具，以实现高性能和低延迟的推理，图4为本实施例中对使用模型修剪工具将模型冗余节点删除的效果图。

所述模型部署模块，用于将转换后的网络模型部署到教学设备上，经验证后用户使用教学设备进行交互式学习。

本实例通过设置教学设备的局域网内ip地址，在通过身份验证后，教学设备可采集用户手势或语音信息调用装备数据进行学习。

在本实施例中，以Hololens2混合现实眼镜为物理媒介，通过深度学习模型训练后配置丰富的装备模型素材库，完成装备教学方法和系统设计，在本实施例中，装备交互式教学内容包括武器装备识别、武器装备模型展示、工作原理讲解和交互式操作等功能，涵盖多类型装备模型库，如火炮、弹药、装甲车等向下细分更具体的装备型号，学生可根据自己学习需求，自主选择要了解掌握的装备类型，有目的地进行学习。

本实施例将武器装备类教学素材通过深度学习模型进行训练，并将训练后的模型部署到混合现实设备上，学生通过可穿戴设备实现真实场景与虚拟场景交互的交互式智能化学习，在保障学生训练安全的情况下，节约教学成本，有效提升教学质量和教学效率，解决了装备教学面临“三高两难”的问题。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。