智慧教育AIOT AI智慧大脑分析平台及装置

技术领域

本发明涉及区块链的智慧教育领域，具体涉及一种智慧教育AIOT AI智慧 大脑分析平台及装置。

背景技术

随着IOT技术(传感器、移动网络、通讯标准、技术平台)和AI(芯片、 算法)的发展，借助AIOT发展智慧教育已经成为必然趋势。

课堂情绪与学生的学习效果、心理状态关系密切。在传统课堂，教师只能 凭借主观观察和教学经验判断学生的情绪变化，无法获取精确的数据反馈；利 用AI技术，通过学生课堂情绪分析数据，将抽象的情绪进行量化，能够辅助教 师了解学生的心理状态及课堂表现，在此基础上改进教学设计，提升教学效果。

课堂知识点的梳理和提炼，是学生课后复习的重要依据。但是，传统课堂 的知识点提炼无法自动化，且难以建立体系和逻辑，对学生的帮助有限；在AI 技术的加持下，课前可以帮助老师准备授课内容中的知识点，课中可以分析课 堂教学内容的思路与关联关系，对教学内容进行评估，课后可以为学生生成所 讲授知识点的知识卡片，方便学生进行复习。

学生活跃状态可以反映出学生的课堂参与情况，在传统课堂，教师无法获 得及时有效的活跃状态反馈，只能借助于课堂观察；通过AI技术，教师可以在 课后快速了解班级活跃状态，并将活跃状态与教学设计进行联系，辅助教师进 行教学设计的优化和改进。

课堂板书记录了课堂的知识要点与脉络、解题过程与思路，传统课堂的板 书，虽然教师花费了大量的时间和精力，但课后就会被擦掉，没有得到充分有 效的利用，有些学生为了记笔记，还会耽误听课，得不偿失；利用AI技术，将 课堂板书保存为图片，教师可以存储用于课后教学研究，可以分享给同事进行 教学交流，也可以分享给家长帮助学生课后复习，也可以作为学校教学资源的 积累。

专注力可以反映出学生是否进入学习状态，传统课堂，老师通过提高音量、 增加互动、改进内容等方式提高学生的专注力，但由于教学任务重、班级人数 多、精力有限，老师无法细致地了解每位学生每堂课的专注力情况；在AI技术 的加持下，可视化为老师呈现每堂课或者每位学生的专注力变化，老师可以利 用数据调整教学设计，并测试改进效果，提升课堂教学质量。

校园安防以监控体系为主，传统的监控体系需要依靠人力进行视频的检索， 无法在事故发生的第一时间进行预警，而多用于事后取证，是一种被动且滞后 的防御系统；在AI技术的帮助下，计算机将替代安保人员，时刻盯住并分析监 控画面，检测校园里正在发生的各类危险行为，并及时主动向安保人员发出警 报，最大程度地降低对学生、教职员工和学校设施的风险。

发明内容

本发明的目的是提供智慧教育AIOT AI智慧大脑分析平台及装置，将AI学 生课堂情绪功能、AI知识点功能、AI学生活跃状态功能、AI课堂板书功能、 AI学生专注力功能、AI校园安防功能融合在同一平台实现。

为了达到上述目的，本发明所采用的技术方案是：本发明提供了一种智慧 教育AIOT AI智慧大脑分析平台，包括智能处理中心、情感计算模块、语音分 析模块、自然语言理解模块、热力分析模块、图像增强处理模块、专注力分析 模块以及行为识别模块；所述智能处理中心分别与所述情感计算模块、所述语 音分析模块、所述自然语言理解模块、所述热力分析模块、所述图像增强处理 模块、所述专注力分析模块以及所述行为识别模块相连；所述智能处理中心通 过对接收到的所述情感计算模块、所述语音分析模块、所述自然语言理解模块、 所述热力分析模块、所述图像增强处理模块、所述专注力分析模块以及所述行 为识别模块的分析结果进行综合处理分析，实现AI学生课堂情绪功能、AI知识 点功能、AI学生活跃状态功能、AI课堂板书功能、AI学生专注力功能、AI校 园安防功能；

所述情感计算模块用于检测及分析学生情感变化，以实现所述AI学生课堂 情绪功能，包括人脸检测模块和微表情分析模块，所述人脸检测模块通过定义 人脸面部的关键区域位置以实现人脸检测，所述微表情分析模块用于根据实现 情绪及情绪变化状态的检测分析；

所述语音分析模块用于检测师生发言互动，所述自然语言理解模块用于知 识点提取，以实现所述AI知识点功能，所述语音分析模块包括语音活动检测模 块和说话人识别模块，所述自然语言理解模块包括关键词提取模块、实体链接 模块，所述语音活动检测模块用于检测语音，所述说话人识别模块用于识别说 话人，所述关键词提取模块用于从语音中提取课堂教学的关键词，所述实体链 接模块用于检测知识点之间的相关联系；

所述热力分析模块用于检测学生活跃状态，以实现AI学生活跃状态功能， 包括图像背景分离模块、前景像素变化分析模块，所述图像背景分离模块用于 通过热力值分析技术从视频中分离出背景图像，所述前景像素变化分析模块通 过基于深度学习算法对前景内像素点的变化进行记录与分析，将所述背景图像 进一步渲染生成动作热力图；

所述图像增强处理模块用于课堂板书提取，以实现AI课堂板书功能，包括 滤波运算模块和二值化算法模块，所述二值化算法模块采用自适应阈值的二值 化算法，将转换板书图片为白纸黑字效果，所述滤波运算模块采用形态学滤波 运算消除噪声内容并圆滑笔迹，采用边缘提取算法精确提取字体轮廓；

所述专注力分析模块用于检测专注力，以实现AI学生专注力功能，包括头 部姿态估计模块、视线方向追踪模块，所述头部姿态估计模块采用头部姿态估 计技术，建立头部三维空间姿态模型，通过头部姿态在不同坐标系之间的相互 转换，以判断头部具体朝向，所述视线方向追踪模块采用视线方向追踪技术， 计算人眼的视线方向，再对汇总数据进行二次分析，通过视线方向以识别行为；

所述行为识别模块用于检测课堂师生行为和校园危险行为，以实现AI校园 安防功能，包括骨骼关键点检测模块、人体姿态估计模块，所述骨骼关键点检 测模块通过骨骼关键点检测可以精确定位人体的位置，所述人体姿态估计模块 通过人体姿态估计技术识别，识别校园里追逐打闹、离开岗位、聚众、可疑停 留的危险行为。

进一步地，所述AI学生课堂情绪功能通过将抽象的情绪进行量化，根据所 述情感计算模块传送的数据，采用人脸对齐、人脸数据增强、人脸归一化及情 感特征提取算法，实现高兴、惊喜、中性、伤心、生气、害怕的情绪识别，正 面情绪、中性情绪、负面情绪的占比分析，以及正面情绪变化状态、负面情绪 变化状态分析，从而辅助教师了解学生的心理状态及课堂表现，在此基础上改 进教学设计，提升教学效果。

进一步地，所述AI知识点功能根据所述语音分析模块传送的数据，将提取 到的关键词与基础教育知识图谱中的实体做关联分析，统计老师授课知识点的 分布，以及知识点之间的相关联系，从而课前帮助老师准备授课内容中的知识 点，课中分析课堂教学内容的思路与关联关系，对教学内容进行评估，课后生 成所讲授知识点的知识卡片以方便学生进行复习。

进一步地，所述AI学生活跃状态功能根据所述热力分析模块传送的数据， 生成教室热力值分析结果，使得教师能够在课后快速了解班级活跃状态，并将 活跃状态与教学设计进行联系，辅助教师进行教学设计的优化和改进。

进一步地，所述AI课堂板书功能根据所述图像增强处理模块传送的数据， 将提取的板书保存为图片，用于教师课后教学研究、教师之间分享进行教学交 流、分享给家长帮助学生课后复习以及作为学校教学资源的积累。

进一步地，所述AI学生专注力功能根据所述专注力分析模块传送的数据， 将头部具体朝向和人眼视线方向综合分析，精准识别学生行为，可视化为教师 呈现每堂课每位学生的专注力变化，使得教师能够及时调整教学设计，并测试 改进效果，提升课堂教学质量。

进一步地，所述AI校园安防功能用于替代安保人员，时刻盯住并分析监控 画面，根据所述行为识别模块传送的数据检测在校园里面正在发生的危险行为， 在指定时间内向安保人员发出警报，以最大程度地降低对学生、教职员工和学 校设施的风险。

进一步地，所述行为识别模块还可以用于实现AI视力疲劳提醒功能，所述 AI视力疲劳提醒功能通过对所述行为识别模块传送的骨骼关键点检测数据和人 体姿态估计数据进行综合分析，将分析得出的学生眼睛与书本的垂直距离、睁 眼大小和眨眼次数进行有针对性的采集和归纳，进一步得出视力疲劳程度，最 终分析得出近视风险等级，并将所述近视风险等级以可视化报告的形式呈现给 教师与家长，辅助教师和家长判断学生的视力状况，从而实现对近视进行有效 预防。

进一步地，所述行为识别模块还可以用于实现AI不良坐姿预防功能，所述 AI不良坐姿预防功能通过所述行为识别模块传送的骨骼关键点检测数据和人体 姿态估计数据对不良坐姿模型进行训练。

本发明还提供了一种装置，包括存储器、处理器以及存储在所述存储器中 并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计 算机程序以实现如上所述的智慧教育AIOT AI智慧大脑分析平台。

与现有技术相比，本发明的有益效果在于，本发明提供的智慧教育AIOT AI 智慧大脑分析平台，包括智能处理中心、情感计算模块、语音分析模块、自然 语言理解模块、热力分析模块、图像增强处理模块、专注力分析模块以及行为 识别模块，将AI学生课堂情绪功能、AI知识点功能、AI学生活跃状态功能、 AI课堂板书功能、AI学生专注力功能、AI校园安防功能融合在同一平台实现； 本发明还提供了一种装置，以实现该智慧教育AIOT AI智慧大脑分析平台。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其他的附图。

图1是本发明实施例提供的智慧教育AIOT AI智慧大脑分析平台及装置的 智慧教育AIOT AI智慧大脑分析平台系统结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。

本实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的 描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置 关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述， 而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造 和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本 专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术 语的具体含义。

以下结合附图与具体实施例，对本发明的技术方案做详细的说明。

参照图1，本发明提供的智慧教育AIOT AI智慧大脑分析平台，包括智能处 理中心、情感计算模块、语音分析模块、自然语言理解模块、热力分析模块、 图像增强处理模块、专注力分析模块以及行为识别模块；所述智能处理中心分 别与所述情感计算模块、所述语音分析模块、所述自然语言理解模块、所述热 力分析模块、所述图像增强处理模块、所述专注力分析模块以及所述行为识别 模块相连；所述智能处理中心通过对接收到的所述情感计算模块、所述语音分 析模块、所述自然语言理解模块、所述热力分析模块、所述图像增强处理模块、 所述专注力分析模块以及所述行为识别模块的分析结果进行综合处理分析，实现AI学生课堂情绪功能、AI知识点功能、AI学生活跃状态功能、AI课堂板书 功能、AI学生专注力功能、AI校园安防功能；

所述情感计算模块用于检测及分析学生情感变化，以实现所述AI学生课堂 情绪功能，包括人脸检测模块和微表情分析模块，所述人脸检测模块通过定义 人脸面部的关键区域位置以实现人脸检测，所述微表情分析模块用于根据实现 情绪及情绪变化状态的检测分析；

所述语音分析模块用于检测师生发言互动，所述自然语言理解模块用于知 识点提取，以实现所述AI知识点功能，所述语音分析模块包括语音活动检测模 块和说话人识别模块，所述自然语言理解模块包括关键词提取模块、实体链接 模块，所述语音活动检测模块用于检测语音，所述说话人识别模块用于识别说 话人，所述关键词提取模块用于从语音中提取课堂教学的关键词，所述实体链 接模块用于检测知识点之间的相关联系；

所述热力分析模块用于检测学生活跃状态，以实现AI学生活跃状态功能， 包括图像背景分离模块、前景像素变化分析模块，所述图像背景分离模块用于 通过热力值分析技术从视频中分离出背景图像，所述前景像素变化分析模块通 过基于深度学习算法对前景内像素点的变化进行记录与分析，将所述背景图像 进一步渲染生成动作热力图；

所述图像增强处理模块用于课堂板书提取，以实现AI课堂板书功能，包括 滤波运算模块和二值化算法模块，所述二值化算法模块采用自适应阈值的二值 化算法，将转换板书图片为白纸黑字效果，所述滤波运算模块采用形态学滤波 运算消除噪声内容并圆滑笔迹，采用边缘提取算法精确提取字体轮廓；

所述专注力分析模块用于检测专注力，以实现AI学生专注力功能，包括头 部姿态估计模块、视线方向追踪模块，所述头部姿态估计模块采用头部姿态估 计技术，建立头部三维空间姿态模型，通过头部姿态在不同坐标系之间的相互 转换，以判断头部具体朝向，所述视线方向追踪模块采用视线方向追踪技术， 计算人眼的视线方向，再对汇总数据进行二次分析，通过视线方向以识别行为；

所述行为识别模块用于检测课堂师生行为和校园危险行为，以实现AI校园 安防功能，包括骨骼关键点检测模块、人体姿态估计模块，所述骨骼关键点检 测模块通过骨骼关键点检测可以精确定位人体的位置，所述人体姿态估计模块 通过人体姿态估计技术识别，识别校园里追逐打闹、离开岗位、聚众、可疑停 留的危险行为。

上述技术方案提供的智慧教育AIOT AI智慧大脑分析平台及装置，包括智 能处理中心、情感计算模块、语音分析模块、自然语言理解模块、热力分析模 块、图像增强处理模块、专注力分析模块以及行为识别模块，将AI学生课堂情 绪功能、AI知识点功能、AI学生活跃状态功能、AI课堂板书功能、AI学生专 注力功能、AI校园安防功能融合在同一平台实现。

具体地，所述AI学生课堂情绪功能通过将抽象的情绪进行量化，根据所述 情感计算模块传送的数据，采用人脸对齐、人脸数据增强、人脸归一化及情感 特征提取算法，实现高兴、惊喜、中性、伤心、生气、害怕的情绪识别，正面 情绪、中性情绪、负面情绪的占比分析，以及正面情绪变化状态、负面情绪变 化状态分析，从而辅助教师了解学生的心理状态及课堂表现，在此基础上改进 教学设计，提升教学效果。

具体地，所述AI知识点功能根据所述语音分析模块传送的数据，将提取到 的关键词与基础教育知识图谱中的实体做关联分析，统计老师授课知识点的分 布，以及知识点之间的相关联系，从而课前帮助老师准备授课内容中的知识点， 课中分析课堂教学内容的思路与关联关系，对教学内容进行评估，课后生成所 讲授知识点的知识卡片以方便学生进行复习。

具体地，所述AI学生活跃状态功能根据所述热力分析模块传送的数据，生 成教室热力值分析结果，使得教师能够在课后快速了解班级活跃状态，并将活 跃状态与教学设计进行联系，辅助教师进行教学设计的优化和改进。

具体地，所述AI课堂板书功能根据所述图像增强处理模块传送的数据，将 提取的板书保存为图片，用于教师课后教学研究、教师之间分享进行教学交流、 分享给家长帮助学生课后复习以及作为学校教学资源的积累。

具体地，所述AI学生专注力功能根据所述专注力分析模块传送的数据，将 头部具体朝向和人眼视线方向综合分析，精准识别学生行为，可视化为教师呈 现每堂课每位学生的专注力变化，使得教师能够及时调整教学设计，并测试改 进效果，提升课堂教学质量。

具体地，所述AI校园安防功能用于替代安保人员，时刻盯住并分析监控画 面，根据所述行为识别模块传送的数据检测在校园里面正在发生的危险行为， 在指定时间内向安保人员发出警报，以最大程度地降低对学生、教职员工和学 校设施的风险。

优选地，所述行为识别模块还可以用于实现AI视力疲劳提醒功能，所述AI 视力疲劳提醒功能通过对所述行为识别模块传送的骨骼关键点检测数据和人体 姿态估计数据进行综合分析，将分析得出的学生眼睛与书本的垂直距离、睁眼 大小和眨眼次数进行有针对性的采集和归纳，进一步得出视力疲劳程度，最终 分析得出近视风险等级，并将所述近视风险等级以可视化报告的形式呈现给教 师与家长，辅助教师和家长判断学生的视力状况，从而实现对近视进行有效预 防。

优选地，所述行为识别模块还可以用于实现AI不良坐姿预防功能，所述 AI不良坐姿预防功能通过所述行为识别模块传送的骨骼关键点检测数据和人体 姿态估计数据对不良坐姿模型进行训练。

本发明还提供了一种装置，包括存储器、处理器以及存储在所述存储器中 并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计 算机程序以实现如上所述的智慧教育AIOT AI智慧大脑分析平台。

优选地，本发明所述涉及的所有模块的功能，均采用已有的、公开的功能 描述；本发明所述涉及的所有模块的架构方式，均采用已有的、公开的架构方 式；本发明所述涉及的所有模块的实现方式均采用公开的、成熟的、开源的程 序架构及程序代码，本领域的技术人员根据本技术方案描述的功能可以轻易采 用已有的、公开的程序架构及程序代码实现。

以上对本发明的实施例进行了详细的说明，但本发明的创造并不限于本实 施例，熟悉本领域的技术人员在不违背本发明精神的前提下，还可以做出许多 同等变型或替换，这些同等变型或替换均包含在本申请的权利要求所限定的保 护范围内。