基于协同的融合教育注意力训练方法、系统、设备及介质

技术领域

本公开涉及信息化建设与智能化升级的技术领域，具体涉及一种基于五域协同的融合教育注意力训练方法、系统、设备及介质。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着信息化与智能化技术的高速发展，人工智能技术与教育领域的深度融合已经成为重要的趋势，但是应用于特殊教育或者融合教育的信息化与智能化系统却欠缺实用性与普及性。目前已有一些人工智能技术开始应用于特殊教育与融合教育，并产生一些服务于特殊教师的训练类的智能化教具以及为特需群体提供生活便利的辅具。然而，特殊教育领域兴业人员以及特殊教育领域专家的需求反馈目前的信息化智能化解决方案难以解决实际需求，特别是在融合教育的背景下，现有的信息化智能化平台还存在以下问题：

(1)传统教辅具或者部分智能教辅具无法进行训练过程的评估与数据统计；(2)教辅具的交互过程比较单一，自制教具往往采用操作演示，信息化教具往往进行屏幕触控，需要有更加丰富的交互形式丰富特殊教育课程；(3)学生残障类型与程度不一，个性化教学需要加强，教辅具不具有个性化；(4)特教师资队伍相对薄弱，特别是在融合教育背景下，普通学校教师专业化水平亟待加强；(5)特殊教育与融合教育的教材、教具以及教学经验缺乏共享平台。并且缺乏将服务平台建设、智能教辅具终端开发、人工智能算法、以及特殊教育与融合教育领域的知识图谱建设多项技术项目耦合的技术方案，无法实现多技术的协同。

发明内容

本公开为了解决上述问题，提出了基于五域协同的融合教育注意力训练方法、系统、设备及介质，提出一种基于“五域”协同的智慧化系统建设方法来构建融合教育智慧化系统，其中，“五域”分别为“专业域”、“设备域”、“数据域”、“模型域”以及“知识域”，来解决智能教辅具交互形式单一以及训练过程缺乏评估的问题。

根据一些实施例，本公开采用如下技术方案：

基于五域协同的融合教育注意力训练方法，包括：

建立智能化教辅具以及信息化数据平台状态下的注意力训练课程以及注意力训练课程流程；

将所述建立的注意力训练课程流程转化为信息化与智能化的操作形式，设计交互场景，并按照注意力训练课程流程对学生进行注意力训练，通过智能感知算法对学生注意力训练过程中的肢体动作进行识别以及对注意力训练过程中的数据进进行分析，使用知识图谱关联不同模态的注意力训练数据；

利用训练后的数据对注意力训练过程进行评分，并最终采用图数据的方式对注意力训练数据进行数据存储。

根据一些实施例，本公开采用如下技术方案：

基于五域协同的融合教育注意力训练系统，包括：

训练初始化模块，用于建立智能化教辅具以及信息化数据平台状态下的注意力训练课程以及注意力训练课程流程；

训练模块，用于将所述建立的注意力训练课程流程转化为信息化与智能化的操作形式，设计交互场景，并按照注意力训练课程流程对学生进行注意力训练，通过智能感知算法对学生注意力训练过程中的肢体动作进行识别以及对注意力训练过程中的数据进进行分析，使用知识图谱关联不同模态的注意力训练数据；

评价模块，用于利用训练后的数据对注意力训练过程进行评分，并最终采用图数据的方式对注意力训练数据进行数据存储。

根据一些实施例，本公开采用如下技术方案：

一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于五域协同的融合教育注意力训练方法。

根据一些实施例，本公开采用如下技术方案：

一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于五域协同的融合教育注意力训练方法。

与现有技术相比，本公开的有益效果为：

本公开从特殊教育与融合教育的实际需求出发，构建一个智慧化服务系统，这其中既包括了服务平台建设、又包括了智能教辅具终端开发、人工智能算法、以及特殊教育与融合教育领域的知识图谱建设。实际需求与多项技术项目耦合，实现协同组合并构建出符合实际需求的智能化系统。

本公开的“五域”分别是指“专业域”、“设备域”、“数据域”、“模型域”以及“知识域”，将多领域协同能够提供融合教育系统的实际需求并根据特殊教育的专业知识提供研发指导，确保融合教育的智慧化系统符合使用需求与使用习惯；实现与智能教辅具之间以及智能教辅具与数据平台的互联互通；解决融合教育与特殊教育领域的资源、课程的共享需求；引入深度学习算法，解决智能教辅具交互形式单一以及训练过程缺乏评估的问题；构建融合教育的知识图谱，既包括特殊教育的教学资源、教学数据、理论知识又包括智能教辅产生的评估数据，通过知识图谱识别特殊儿童的身心发展特征，实现个性化教学。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例的注意力训练系统流程图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本公开中的“五域”分别为“专业域”、“设备域”、“数据域”、“模型域”以及“知识域”。“专业域”是有特殊教育一线工作人员以及特殊教育领域专家主导，主要提供融合教育系统的实际需求并根据特殊教育的专业知识提供研发指导，确保融合教育的智慧化系统符合使用需求与使用习惯；“设备域”主要涉及智能教辅具的实现与智能教辅具之间以及智能教辅具与数据平台的互联互通；“数据域”主要涉及智能教辅具数据的收集、存储与分析，并且解决融合教育与特殊教育领域的资源、课程的共享需求；“模型域”是指引入深度学习算法，解决智能教辅具交互形式单一以及训练过程缺乏评估的问题；“知识域”是指构建融合教育的知识图谱，既包括特殊教育的教学资源、教学数据、理论知识又包括智能教辅产生的评估数据，通过知识图谱识别特殊儿童的身心发展特征，实现个性化教学。

按照“五域”协同的构建思路，本公开通过以下技术方案实现智慧化融合教育系统。

实施例1

本公开的一种实施例中提供了一种基于五域协同的融合教育注意力训练方法，包括：

步骤一：建立智能化教辅具以及信息化数据平台状态下的注意力训练课程以及注意力训练课程流程；

步骤二：将所述建立的注意力训练课程流程转化为信息化与智能化的操作形式，设计交互场景，并按照注意力训练课程流程对学生进行注意力训练，通过智能感知算法对学生注意力训练过程中的肢体动作进行识别以及对注意力训练过程中的数据进进行分析，使用知识图谱关联不同模态的注意力训练数据；

步骤三：利用训练后的数据对注意力训练过程进行评分，并最终采用图数据的方式对注意力训练数据进行数据存储。

作为一种实施例，按照“五域”协同的构建思路，实现基于五域协同的融合教育注意力训练方法，其中，对“五域”的实现内容主要包括：

第一方面，“专业域”的流程梳理与分解，在“专业域”通过特殊教育专业知识提出一个特殊教育课程的设计过程或者学生个别化教育计划的制定过程。将该过程整理成为流程图，描述一节特殊教育课程每个环节的教育内容与教育目的，将流程图中涉及的各个过程转化成为采用信息化与智能化手段进行辅助教学的形式，对信息化与智能化过程要达到的相关效果提出具体技术要求，并根据技术要求将流程图细化为技术要点并关联到“数据域”、“设备域”、“模型域”与“知识域”。

第二方面，“数据域”根据第一方面中提出的技术要求，构建合适的数据存储结构与通信接口，支撑融合教育数据平台的建设。

进一步的，考虑平台的访问范围，如局域网访问还是公网访问，确定数据的存放位置与网络通路。

进一步的，确定数据存储类型，如确定是否为结构化数据存储、或者为对象存储以及图数据存储。

进一步的，设计数据结构，并设计数据的增删改查接口，支持特殊教育与融合教育课程的数据存储。

第三方面，“设备域”根据第一方面提出的教辅学具交互要求，构建满足交互要求的智能化终端设备，并实现智能化终端设备产生的数据与“数据域”打通，实现数据的互通与存储。

进一步的，确定智能化终端设备的选型，如采用android设备、windows曹操作系统设备、或者linux操作系统设备。

进一步的，根据智能化终端设备选型进行开发工具的选择，如编程工具采用Java、C++、或python，界面开发采用安卓原生、Qt或Web界面等，并将开发工具类型与“模型域”进行同步，实现与模型部署阶段的适配。

进一步的，设计交互场景，包括交互原型的设计与交互UI设计，内容设计完成后进行素材切图。

进一步的，进行场景实现、交互控制逻辑的实现并引入“模型域”中部署的算法

进一步的，设计融合教育教辅具需要存储的数据结构，如各个场景的训练时长、训练评分、训练过程的总评分等。

进一步的，接入“数据域”，设计合适的网络通信协议，如采用http、tcp、udp、websocket或者mqtt等，同时调用数据传输接口实现数据在数据域中的增删改查操作。

第四方面，“模型域”根据第一方面中提出的技术要求，选择需要使用机器学习或者深度学习进行解决的问题，研发相关模型支撑智能感知与交互过程以及智能评估过程。

进一步的，在模型功能方面考虑待解决的问题的所属领域，如计算机视觉、自然语言处理还是、数据分析领域。

进一步的，确定模型的所属领域后，选择适合当前识别或检测任务的的算法与对象的模型权重，如确定算法领域属于计算机视觉，其检测任务为肢体检测，则选择BlazePose神经网络结构并使用其对应权重。

进一步的，若没有解决该问题的相关神经网络结构或模型权重，则进行数据采集、标注、算法设计并迭代训练制定任务的模型。

进一步的，进行模型部署，对模型进行转化与导出，根据“模备域”的硬件选型与开发工具选型，进行模型的适配与部署。

进一步的，结合业务要求，将算法模型进行组合并调整合适的后处理策略，实现业务需求。

第五方面，“知识域”形成特殊教育与融合教育的知识图谱，并根据第一方面提出的技术要求构建知识图谱的应用算法。

进一步的，构建特殊教育与融合教育的知识图谱架构，如融合教育中的、文本教材、音频素材、视频素材、教案素材、IEP方案、教师评语等多模态信息。

进一步的，构建特殊教育与融合教育知识图谱的关联匹配，实现跨模态的资源域信息匹配。

进一步的，将“数据域”中的数据库作为信息输入，进行训练数据与评语、教学技术、教辅具的关联。

进一步的，根据第一方面从“专业域”提出的技术要求生成知识图谱的应用算法。

作为一种实施例，使用“五域”协同方法构注意力训练课程的智慧化系统，将各个流程环节划分到“专业域”、“数据域”、“设备域”、“模型域”、“知识域”，如图1所示，整体流程的划分包括：

“专业域”对注意力训练课程的过程进行梳理，然后建立使用智能化教辅具以及信息化数据平台状态下的注意力训练课程流程，然后将各个流程环节划分到“数据域”、“设备域”、“模型域”、“知识域”；

“专业域”对注意力训练课程的过程进行梳理，主要包括了：(1)学生注意力训练计划制定、(2)训练学生的颜色、形状注意能力、(3)训练顺序记忆、(4)训练肢体动作、(5)训练舒尔特方格。

各个流程对应的教学目的分别是：(1)形成以儿童个体为核心的个别化教育计划、(2)提升学生排除颜色与形状的干扰项的能力，如引导学生关注颜色时排除形状带来的干扰、(3)注意力缺陷的重要原因是短期记忆与顺序记忆的缺陷，因此进行专项提升、(4)训练肢体动作的模仿的响应速度提升专注力、(5)训练舒尔特方格可以快速提升视觉搜索的能力。

将课程的流程进一步转化为信息化与智能化系统的操作形式，具体包括了在数据平台进行课程设计、将课程方案下发到智能教辅具终端实现以上课程内容，最终的训练过程数据域评估结果可以收集到数据平台。将以上的操作过程转化为具体的技术要求，并将技术要求关联到“数据域”、“设备域”、“模型域”和“知识域”。

“数据域”提出以下要求：(1)信息化平台需要具有登录功能、(2)需要进行儿童课程方案的设计、(3)需要支持方案下发、(4)需要支持方案接收、(5)需要进行训练结果的展示；

为“设备域”提出以下要求：(1)实现颜色区分训练场景、(2)实现形状区分训练场景、(3)实现顺序记忆训练场景、(4)实现肢体运动训练场景、(5)实现舒尔特方格训练场景；

为“模型域”提出以下要求：(1)通过智能感知的算法实现肢体工作识别、(2)对训练过程的数据进行分析并给出评分；为“知识域”提出以下要求：(1)实现个性化训练方案推荐、(2)实现个性化资源推荐。

“数据域”从何数据服务平台建设的角度，结合技术要求进行网络通信的架构设计、数据库设计、数据访问接口设计。

考虑平台的访问范围，本实施案例中，需要进行数据平台与终端设备的互联互通，智能教辅具终端会产生训练的数据记录，对于网络带宽有一定需求，并且数据管理平台的适用范围仅限特殊教育课程的教室中，因此确定为局域网方案。

确定数据的存储类型，因为训练数据主要包括训练场景名称、训练过程统计数据、训练场景评分、综合场景评分等数据，因此选择结构化数据库存储。同时考虑到“知识域”需要进行融合教育个性化教学资源的推荐，需要使用知识图谱关联不同模态数据，因此同时采用图数据的进行数据存储。

设计数据库表，并设计数据的增删改查接口。本实施案例中设计的接口主要有：(1)获取课程排序接口、(2)修改课程排序接口、(3)获取训练结果信息、(4)新增训练结果、(5)修改训练结果、(6)删除训练结果、(7)获取训练结果列表。

“设备域”根据“专业域”的技术要求，构建满足交互要求的智能化终端设备，并实现智能化终端设备产生的数据与“数据域”打通，实现数据的互通与存储。

根据上述技术要求，进行终端设备的选型，考虑到课堂的交互训练需求，要求灵活便捷，因此选用android设备作为注意力训练智能教具终端的载体。

根据智能化终端设备选型进行开发工具的选择，因为终端的硬件载体选择android，因此编程工具采用Java，使用gradle进行工程组织。同时考虑“模型域”有计算机视觉算法接入并在终端运行，因此同步要求使用C++作为神经网络模型部署的开发工具，并编写JNI接口供Java层进行调用，并使用CMake进行工程组织，以便快速将相关算法功能接入。

设计交互场景，进行交互原型的设计与交互UI设计，将训练任务以场景画的形式表现出来，是特需儿童更容易接受课程内容。

进行在肢体运动训练场景实现的过程中，肢体运动场景需要“模型域”实现算法接口，达到读取学生实时录像，反馈学生的肢体运动状态，通过BlazePose目标检测算法对实时运动状态的反馈实现该场景的实时交互。同时，所有注意力训练场景完成后，需要调用“模型域”实现的评分算法接口实现注意力训练结果的评分。

根据“专业域”的技术要求，该系统需要存储并反馈训练数据，并且需要在数据平台进行展示，训练数据同样会作为知识域的算法数据输入，因此需要设计需要保存的数据结构，本实施案例设计的相关数据内容主要包括训练场景名称、训练时长、训练评分、训练过程的总评分。

其中，所提到的训练评分与训练过程的总评分是由规则化计算公式实现的，正确性规则其计算方式为

设备产生的数据接入“数据域”，本实施案例采用http网络通信协议，数据上传过程通过调用“数据域”建立的数据传输接口实现。

“模型域”根据“专业域”提出的技术要求，在本实施案例中主要解决两个问题：(1)基于计算机视觉的肢体运动状态识别、(2)训练场景数据分析计算客观的注意力训练过程评分。针对选择需要使用机器学习或者深度学习进行解决的问题，研发相关模型支撑智能感知与交互过程以及智能评估过程。

在模型功能方面考虑待解决的问题的所属领域，肢体动作识别算法属于计算机视觉领域；由训练场景过程数据计算评分结果属于数据分析领域。

本实施案例，其检测任务为肢体检测，选择BlazePose神经网络结构并使用其对应权重，检测人体的关键点。

注意力训练课程的评估结果算法属于回归问题，将训练的过程数据作为输入，评分结果作为输出，训练一个回归机器学习模型即可。本实施案例通过采集近200条训练数据，采用支持向量回归机进行模型训练，获得了评分模型。

为了实现儿童动作模仿的评估，需要对人体的关键点进行进一步处理，因为模仿动作设计双臂的展开角度、双腿的抬起角度，因此采用人体关键点的后处理计算获取人体的四肢角度的数值，通过数值区间驱动儿童动作状态的虚拟形象。

“知识域”是针对于特殊教育与融合教育的知识图谱，根据“专业域”提出的个性化训练方案推荐以及个性化资源推荐的技术要求，建立基于知识图谱的智能推荐服务。

构建特殊教育与融合教育的知识图谱架构，可以支持添加：结构化训练评估数据、文本教材、音频素材、视频素材、教案素材、IEP方案、教师评语等多模态信息。

构建特殊教育与融合教育知识图谱的关联匹配，实现跨模态的资源域信息匹配。在本实施案例中，新增的数据包括注意力训练的过程数据域评分结果数据，该数据入库后可以与注意力相关资源相匹配，当训练过程反应注意力缺陷的因素后，可以自动匹配后续的训练计划与教学资源。

将训练过程数据作为信息输入，进行训练数据与评语、教学技术、教辅具的关联。

生成个性化训练课程的推荐与智能化教辅具推荐建议信息，在本实施例中个性化推荐的实现方法采用图数据库的查找实现，首先建立儿童的行为特点与智能教辅具设备的关联，如“注意力缺陷，无法完成两阶段的指令”与“注意力训练智能化教辅具”建立关联。调用“数据域”的新增推荐方案接口，将适合该儿童的训练课程以及教材资源推送到数据管理平台，在下次课程设计与教辅具选择的过程中可以直接显示智能化推荐方案。

实施例2

本公开的一种实施例中提供了一种基于五域协同的融合教育注意力训练系统，包括：

训练初始化模块，用于建立智能化教辅具以及信息化数据平台状态下的注意力训练课程以及注意力训练课程流程；

训练模块，用于将所述建立的注意力训练课程流程转化为信息化与智能化的操作形式，设计交互场景，并按照注意力训练课程流程对学生进行注意力训练，通过智能感知算法对学生注意力训练过程中的肢体动作进行识别以及对注意力训练过程中的数据进进行分析，使用知识图谱关联不同模态的注意力训练数据；

评价模块，用于利用训练后的数据对注意力训练过程进行评分，并最终采用图数据的方式对注意力训练数据进行数据存储。

作为一种实施例，基于五域协同的融合教育注意力训练系统为一种数据管理平台在云端的融合教育智慧化系统，其上存储实施例1所属的注意力训练过程数据，该系统在构建时采用了实施例1所述的“五域”协同的智能智慧化系统设计方法的步骤，其区别在于“数据域”部署在云服务器，数据服务平台拥有公网IP以及可以被互联网所访问的域名。

实施例3

本公开的一种实施例中提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如实施例1所述的基于五域协同的融合教育注意力训练方法。

实施例4

本公开的一种实施例中提供了一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如实施例1所述的基于五域协同的融合教育注意力训练方法。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。