一种基于人工智能的智慧课堂行为分析方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于人工智能的智慧课堂行为分析方法及系统。

背景技术

智慧课堂，是以建构主义学习理论为依据，以“互联网+”的思维方式和大数据、云计算等新一代信息技术打造的智能、高效的课堂。采用现代化的分析工具和分析方法对数据进行加工、挖掘和分析，据此进行教学决策，依靠数据精准地掌握学情和调整教学策略。

现有技术当中，通过对课堂进行监控，然后基于图像的分析对学生的行为进行检测识别，是主要的教学质量检测手段，但由于教室场景的复杂性，图像处理时需要针对每个学生进行目标识别，数据处理量大，检测效率较低，仅适用于课后的检测分析的场景，不利于课堂实时监测。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于人工智能的智慧课堂行为分析方法及系统，旨在解决现有技术中，检测效率较低的技术问题。

为了实现上述目的，本发明是通过如下技术方案来实现的：一种基于人工智能的智慧课堂行为分析方法，包括以下步骤：

分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像；其中，分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像的步骤具体包括：基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像；对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；判断所述视野范围数据是否处于预设范围内；若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像；

将所述第一目标图像与所述第二目标图像进行关联，并基于所述视野范围数据对所述第二目标图像进行区域划分，以得到与所述教师视野范围外对应的部分目标图像；

对所述部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。

根据上述技术方案的一方面，将所述第一目标图像与所述第二目标图像进行关联的步骤具体包括：

将所述第一目标图像与所述第二目标图像进行对齐，并基于所述第二目标图像生成包括与教师位置对应的投影坐标点的第三目标图像。

根据上述技术方案的一方面，对所述第一目标图像进行姿态识别的步骤具体包括：

对所述第一目标图像进行关键点分析，以获取所述教师的左、右肩关键点坐标，并基于以下计算表达式得到第一斜率，以判断教师的侧身角度：

；

式中，（

根据上述技术方案的一方面，基于所述视野范围数据对所述第二目标图像进行区域划分的步骤之前，所述方法还包括：

基于所述投影坐标点在所述第三目标图像上生成标准视野区域，并根据所述侧身角度对所述标准视野区域进行调节，以得到视野范围数据。

根据上述技术方案的一方面，对所述部分目标图像中的学生进行面部姿态识别的步骤具体包括：

对所述部分目标图像进行关键点分析，以获取所述学生的耳朵及眼睛的关键点坐标，并基于以下计算表达式得到第二斜率，以判断是否存在低头行为：

；

式中，（

根据上述技术方案的一方面，所述方法还包括：基于第二监控设备实时获取教室内的第二目标视频，基于第二抽帧频率对所述第二目标视频进行关键帧提取，以获取与各学生对应的第二目标图像。

另一方面，本发明还提供了一种基于人工智能的智慧课堂行为分析系统，包括：

第一获取模块，用于分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像，所述第一获取模块具体用于：基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像；对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；判断所述视野范围数据是否处于预设范围内；若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像；

处理模块，用于将所述第一目标图像与所述第二目标图像进行关联，并基于所述视野范围数据对所述第二目标图像进行区域划分，以得到与所述教师视野范围外对应的部分目标图像；

第二识别模块，用于对所述部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。

根据上述技术方案的一方面，所述处理模块具体用于：

将所述第一目标图像与所述第二目标图像进行对齐，并基于所述第二目标图像生成包括与教师位置对应的投影坐标点的第三目标图像。

根据上述技术方案的一方面，所述第一识别模块具体用于：

对所述第一目标图像进行关键点分析，以获取所述教师的左、右肩关键点坐标，并基于以下计算表达式得到第一斜率，以判断教师的侧身角度：

；

式中，（

根据上述技术方案的一方面，所述处理模块还用于：基于所述投影坐标点在所述第三目标图像上生成标准视野区域，并根据所述侧身角度对所述标准视野区域进行调节，以得到视野范围数据。

根据上述技术方案的一方面，所述第二识别模块具体用于：对所述部分目标图像进行关键点分析，以获取所述学生的耳朵及眼睛的关键点坐标，并基于以下计算表达式得到第二斜率，以判断是否存在低头行为：

；

式中，（

根据上述技术方案的一方面，所述第一获取模块具体用于：基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像；

对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；

判断所述视野范围数据是否处于预设范围内；

若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像。

根据上述技术方案的一方面，所述系统还包括：

第二获取模块，用于基于第二监控设备实时获取教室内的第二目标视频，基于第二抽帧频率对所述第二目标视频进行关键帧提取，以获取与各学生对应的第二目标图像。

与现有技术相比，本发明的有益效果在于：通过分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像，并基于第一目标图像对教师的姿态进行识别，进而基于教师的视野范围数据对第二目标图像进行处理，得到于教师视野范围外对应的部分目标图像，最后通过对部分目标图像进行识别分析，相对于现有技术中对全部学生目标进行检测识别，相对减少了教师可以实时观察到的学生图像的数据处理量，提高了检测效率，便于实时判断当前视野外的学生是否存在异常行为，利于课堂实时监测的应用场景。

附图说明

本发明的上述与/或附加的方面与优点从结合下面附图对实施例的描述中将变得明显与容易理解，其中：

图1为本发明第一实施例中基于人工智能的智慧课堂行为分析方法的流程图；

图2为本发明第二实施例中基于人工智能的智慧课堂行为分析系统的结构框图；

主要元件符号说明：

第一获取模块100、第一识别模块200、处理模块300、第二识别模块400；

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的多个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，所示为本发明第一实施例中的基于人工智能的智慧课堂行为分析方法，包括以下步骤：

步骤S100，分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像。具体来说，在本实施例的一些应用场景中，上述第一监控设备设置于教室的相对远离讲台的一侧，仅用于对教师的姿态进行检测；上述第二监控设备用于获取学生的面部图像，设置于靠近讲台的一侧，可以理解地，为保证图像的清晰度以及能够获取全部学生的图像数据，上述“第二监控设备”可以为一个或多个摄像头，即上述第二目标图像可以为基于一个摄像头获取到的图像，或者为基于多个摄像头获取到的由多种图像的拼接形成的图像。

步骤S200，对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据。在本实施例中，上述姿态识别主要目的是基于教师的侧身角度来得到一个大概的视野范围；

具体来说：对所述第一目标图像进行姿态识别的步骤具体包括：

步骤S201，对所述第一目标图像进行关键点分析，以获取所述教师的左、右肩关键点坐标，并基于以下计算表达式得到第一斜率，以判断教师的侧身角度：

；

式中，（

优选地，上述关键点分析可以采用OpenPose等算法进行识别。具体来说，在本实施例中，预设的标准侧身角度为教师正对讲台下方，预设的标准视野范围的取值为90-120°，通过计算上述两肩关键点连线之间的斜率，对标准侧身角度进行调整，然后基于预设的视野范围得到上述视野范围数据。

步骤S300，将所述第一目标图像与所述第二目标图像进行关联，并基于所述视野范围数据对所述第二目标图像进行区域划分，以得到与所述教师视野范围外对应的部分目标图像。

具体来说，在本步骤中，上述将所述第一目标图像与所述第二目标图像进行关联的步骤具体包括：

步骤S301，将所述第一目标图像与所述第二目标图像进行对齐，并基于所述第二目标图像生成包括与教师位置对应的投影坐标点的第三目标图像。在本实施例的一些应用场景中，上述第三目标图像即在上述第二目标图像的基础上生成一个与教师对应的投影坐标点，在实际应用中，通过建立教室模型，上述第一目标图像和第二目标图像各像素点均与教室模型的地面投影点对应，通过对第一目标图像进行姿态识别，并得到教师的坐标点后，将第一目标图像与所述第二目标图像进行对齐，则可以在第二目标图像上或第二目标图像的一侧生成上述投影坐标点。

更进一步地，在本实施例中，基于所述视野范围数据对所述第二目标图像进行区域划分的步骤之前，所述方法还包括：

步骤S302，基于所述投影坐标点在所述第三目标图像上生成标准视野区域，并根据所述侧身角度对所述标准视野区域进行调节，以得到视野范围数据。在本实施例中，上述标准视野区域包括上述标准侧身角度，及标准视野范围，通过调节得到上述视野范围数据，基于上述视野范围数据可以对上述第二目标图像进行区域划分，从而得到与所述教师视野范围外对应的部分目标图像。

步骤S400，对所述部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。

优选地，在本实施例中，首先基于RCNN算法对部分目标图像进行候选框识别，以对部分目标图像中的每个学生进行单独检测，然后通过OpenPose算法对部分目标图像进行关键点分析。

具体来说，对所述部分目标图像中的学生进行面部姿态识别的步骤具体包括：

步骤S401，对所述部分目标图像进行关键点分析，以获取所述学生的耳朵及眼睛的关键点坐标，并基于以下计算表达式得到第二斜率，以判断是否存在低头行为：

；

式中，（

具体来说，在本实施例中，主要通过判断学生耳朵关键点坐标与眼睛关键点坐标的连线斜率来判断是否存在低头行为，正常平视情况下，耳朵关键点坐标与眼睛关键点坐标的连线处于相对水平状态，当连线与标准水平线的偏差角度大于30°时，则判断学生处于低头状态。

优选地，在本实施例中，上述面部姿态识别还包括对学生的侧身角度进行识别等，计算方式可以参考上述步骤S201。可以理解地，在本实施例的其他应用场景中，通过对增加关键点的特征识别，可以提高行为的识别准确度，同时可以针对除低头外的其他行为进行检测。

优选地，在本实施例中，上述步骤S100具体包括：

步骤S101，基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像。

步骤S102，对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据。

步骤S103，判断所述视野范围数据是否处于预设范围内。

步骤S104，若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像。

现有技术中，通常采用定时对学生图像的监控视频进行关键帧提取，对关键帧图像进行全面分析，以得到相关分析数据。具体来说，在本实施例的一些应用场景中，针对小规模的教师，通常教师处于正对讲台下方时，视野基本可以覆盖教师中的全部目标学生，为减少数据处理量，本方案采用对教师进行状态监测，当教师处于板书或转身，即视野脱离部分或全部学生时，同步提取第二目标图像，并对第二目标图像进行处理分析，进一步减少了数据处理量，提高检测效率。

优选地，在其中一些实施例中，上述方法还包括：

步骤S500，基于第二监控设备实时获取教室内的第二目标视频，基于第二抽帧频率对所述第二目标视频进行关键帧提取，以获取与各学生对应的第二目标图像。具体来说，上述第二抽帧频率小于所述第一抽帧频率，在上述步骤S101-步骤S104的基础上，通过基于第二抽帧频率获取第二目标图像，并进行识别分析，保证最低采样频率，提高课堂数据分析的准确性。

综上，本发明上述实施例当中的基于人工智能的智慧课堂行为分析方法，通过分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像，并基于第一目标图像对教师的姿态进行识别，进而基于教师的视野范围数据对第二目标图像进行处理，得到于教师视野范围外对应的部分目标图像，最后通过对部分目标图像进行识别分析，相对于现有技术中对全部学生目标进行检测识别，相对减少了教师可以实时观察到的学生图像的数据处理量，提高了检测效率，便于实时判断当前视野外的学生是否存在异常行为，利于课堂实时监测的应用场景。

本发明的第二实施例提供了一种基于人工智能的智慧课堂行为分析系统，包括：

第一获取模块100，用于分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像；

第一识别模块200，用于对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；

处理模块300，用于将所述第一目标图像与所述第二目标图像进行关联，并基于所述视野范围数据对所述第二目标图像进行区域划分，以得到与所述教师视野范围外对应的部分目标图像；

第二识别模块400，用于对所述部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。

优选地，在本实施例中，所述处理模块300具体用于：

将所述第一目标图像与所述第二目标图像进行对齐，并基于所述第二目标图像生成包括与教师位置对应的投影坐标点的第三目标图像。

优选地，在本实施例中，所述第一识别模块200具体用于：

对所述第一目标图像进行关键点分析，以获取所述教师的左、右肩关键点坐标，并基于以下计算表达式得到第一斜率，以判断教师的侧身角度：

；

式中，（

优选地，在本实施例中，所述处理模块300还用于：基于所述投影坐标点在所述第三目标图像上生成标准视野区域，并根据所述侧身角度对所述标准视野区域进行调节，以得到视野范围数据。

优选地，在本实施例中，所述第二识别模块400具体用于：对所述部分目标图像进行关键点分析，以获取所述学生的耳朵及眼睛的关键点坐标，并基于以下计算表达式得到第二斜率，以判断是否存在低头行为：

；

式中，（

优选地，在本实施例中，所述第一获取模块100具体用于：基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像；

对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；

判断所述视野范围数据是否处于预设范围内；

若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像。

优选地，在本实施例中，所述系统还包括：

第二获取模块，用于基于第二监控设备实时获取教室内的第二目标视频，基于第二抽帧频率对所述第二目标视频进行关键帧提取，以获取与各学生对应的第二目标图像。

综上，本发明上述实施例当中的基于人工智能的智慧课堂行为分析系统，通过获取模块分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像，并通过第一识别模块200基于第一目标图像对教师的姿态进行识别，进而通过处理模块300以基于教师的视野范围数据对第二目标图像进行处理，得到于教师视野范围外对应的部分目标图像，最后通过对部分目标图像进行识别分析，相对于现有技术中对全部学生目标进行检测识别，相对减少了教师可以实时观察到的学生图像的数据处理量，提高了检测效率，便于实时判断当前视野外的学生是否存在异常行为，利于课堂实时监测的应用场景。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出多种变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。