一种课堂行为的反馈方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能及教育应用技术领域，具体涉及一种课堂行为的反馈方法、装置、电子设备及存储介质。

背景技术

目前，对于课堂上的学生举手、自学、睡觉、交头接耳等行为的反馈通常是由教师根据教室现场情况自主判断的。然而，当教师背对学生进行课程讲授时，难以同时兼顾学生行为与课堂纪律的实时反馈或引导。例如，某个学生没有跟上教师的节奏，举手提问，但是教师因为正在书写板书而没有看到；又或者某些学生没有认真听讲而教师没有关注到。针对上述情况，近年来出现一些基于人工智能、音视频分析技术的学生行为分析系统应用于课堂，以使学生能够接收到更广泛的关注和重视。但是这些学生行为分析系统通常是在一段时间后，对课堂状况或学生状态进行统计，出具学生行为报告，并不能对学生的学习状态进行实时纠正，从而难以实时帮助教师教学。

发明内容

有鉴于此，本发明实施例提供了一种课堂行为的反馈方法、装置、电子设备及存储介质，以解决不能对学生的学习状态进行实时纠正，从而难以实时帮助教师教学的问题。

根据第一方面，本发明实施例提供了一种课堂行为的反馈方法，包括如下步骤：获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据；解析所述第一音视频数据和所述第二视频数据，得到与所述第一音视频数据对应的第一行为特性信息以及与所述第二视频数据对应的第二行为特性信息，确定与所述第一行为特性信息对应的第一行为信息以及与所述第二行为特性信息对应的第二行为信息；基于所述第一行为信息和所述第二行为信息，确定与所述第二目标主体对应的反馈信息，所述反馈信息用于提醒所述第一目标主体关注所述第二目标主体的所述第二行为信息。

本发明实施例提供的课堂行为的反馈方法，通过获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据，解析第一音视频数据确定其包含的第一行为特性信息，进而确定与第一目标主体对应的第一行为信息，同时解析第二视频数据确定其包含的第二行为特性信息，进而确定与第二目标主体对应的第二行为信息，并基于第一行为信息和第二行为信息，确定与第二目标主体对应的反馈信息。该方法基于第一行为信息和第二行为信息确定第二目标主体的反馈信息，实现了第二目标主体的学习状态的实时反馈，以便第一目标主体在教学过程中能够根据反馈信息对第二目标主体的学习状态进行实时纠正，为第一目标主体的当前授课过程提供一定的教学帮助。

结合第一方面，在第一方面的第一实施方式中，所述基于所述第一行为信息和所述第二行为信息，确定与所述第二目标主体对应的反馈信息，包括：基于所述第一行为信息，确定与所述第一行为信息对应的行为类别，所述行为类别包括讲授、互动、问答和板书；基于所述第二行为信息和所述行为类别，生成反馈指令；基于所述反馈指令，确定与所述第二目标主体对应的反馈信息。

本发明实施例提供的课堂行为的反馈方法，基于第一行为信息对应的行为类别以及第二行为信息，生成反馈指令，基于反馈指令确定与第二目标主体对应的反馈信息。该方法根据第一行为信息确定行为类别，再根据行为类别转变第二目标主体对应的反馈方式，即根据第一行为信息确定当前的教学环节，根据教学环节转变第二行为信息的反馈方式，以便第一目标主体能够实时了解授课过程的第二目标主体的学习状态。

结合第一方面第一实施方式，在第一方面的第二实施方式中，所述基于所述第二行为信息和所述行为类别，生成反馈指令，包括：判断所述第二行为信息是否包含预设行为；当所述第二行为信息包含所述预设行为时，截取所述第二行为信息以及与所述第二行为信息对应的所述第二目标主体的目标视频画面；计算与所述目标视频画面对应的最小目标外接框，并获取所述最小目标外接框的坐标信息；基于所述第二行为信息、所述目标视频画面以及所述坐标信息，生成目标发送信息，并将所述目标发送信息保存至待发信息表；判断所述待发信息表中的第二目标主体与已发信息表中的已发目标主体是否为同一目标；当所述待发信息表中的第二目标主体与已发信息表中的已发目标主体并非为同一目标时，则将所述待发信息表中的第二目标主体以及所述第二目标主体对应的目标发送信息存储至即发信息表；基于所述即发信息表中的目标发送信息以及所述行为类别，生成反馈指令。

结合第一方面第二实施方式，在第一方面的第三实施方式中，所述判断所述待发信息表中的第二目标主体与已发信息表中的已发目标主体是否为同一目标，包括：获取所述待发信息表中与所述第二目标主体对应的所述最小目标外接框的第一面积以及所述已发信息表中与已发目标主体对应的最小外接框的第二面积；计算所述最小目标外接框与所述最小外接框的重合面积；基于所述第一面积、所述第二面积和所述重合面积，确定重合度；当所述重合度大于预设重合阈值时，判定所述待发信息表中的第二目标主体与已发信息表中的已发目标主体为同一目标。

结合第一方面第二实施方式，在第一方面的第四实施方式中，所述方法还包括：获取所述即发信息表中目标发送信息对应的时间戳，将所述目标发送信息与所述目标发送信息对应的时间戳保存至已发送信息表；获取当前时间与所述时间戳的差值；判断所述差值是否大于预设时间阈值；当所述差值大于所述预设时间阈值时，删除所述已发送信息表中的所述目标发送信息。

本发明实施例提供的课堂行为的反馈方法，基于第二目标主体的第二行为信息生成相应的目标发送信息，并将目标发送信息存储至待发信息表，结合已发信息表中的已发送目标主体确定目标发送信息是否为重复发送的信息，将重复发送的信息进行删除。同时将完成发送的目标发送信息存储至已发送信息表，并根据已发送信息表中存储的目标发送信息的时间戳确定是否对其中的目标发送信息进行删除。由此保证了第二目标主体的反馈信息的准确度，从而保证了第一目标主体够实时准确的了解到第二目标主体的行为信息。

结合第一方面第一实施方式，在第一方面的第五实施方式中，所述第一音视频数据包括第一音频数据和第一视频数据；解析所述第一音视频数据，确定与第一目标主体对应的第一行为信息，包括：解析所述第一视频数据，判断所述第一视频数据中是否包含所述第一目标主体对应的目标主体信息；当所述第一视频数据中包含所述第一目标主体对应的目标主体信息时，判断所述第一目标主体是否面向所述第二目标主体；当所述第一目标主体面向所述第二目标主体时，识别所述第一音频数据，判断所述第一音频数据中是否包含预设语音指令；当所述第一音频数据中不包含所述预设语音指令时，确定与第一目标主体对应的第一行为信息为讲授行为。

结合第一方面第五实施方式，在第一方面的第六实施方式中，解析所述第一音视频数据，确定与第一目标主体对应的第一行为信息，还包括：当所述第一音频数据中包含所述预设语音指令时，确定与第一目标主体对应的第一行为信息为问答行为；当所述第一目标主体背向所述第二目标主体时，确定与第一目标主体对应的第一行为信息为板书操作行为；当所述第一视频数据中不包含所述第一目标主体对应的目标主体信息时，确定与第一目标主体对应的第一行为信息为互动行为。

本发明实施例提供的课堂行为的反馈方法，分别对第一目标主体对应的第一音频数据和第一视频数据进行解析，以确定第一目标主体对应的第一行为信息，从而确定第一行为信息对应的教学环节。由此实现对第一目标主体的教学环节的准确判定，从而保证了根据第一行为信息所确定的反馈信息的准确性。

结合第一方面，在第一方面的第七实施方式中，解析所述第二视频数据，确定与所述第二目标主体对应的第二行为信息，包括：解析所述第二视频数据，获取所述第二视频数据中的人体关键点信息以及人脸特征信息；基于所述人体关键点信息以及所述人脸特征信息，确定与所述第二目标主体对应的第二行为信息。

本发明实施例提供的课堂行为的反馈方法，通过解析第二目标主体的第二视频数据以确定第二目标主体对应的第二行为信息，从而确定第二行为信息对应的学习状态，由此实现了对第二目标主体的第二学习状态的准确反馈。

根据第二方面，本发明实施例提供了一种课堂行为的反馈装置，包括：采集单元，用于获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据；分析单元，用于解析所述第一音视频数据和所述第二视频数据，得到与所述第一音视频数据对应的第一行为特性信息以及与所述第二视频数据对应的第二行为特性信息，确定与所述第一行为特性信息对应的第一行为信息以及与所述第二行为特性信息对应的第二行为信息；反馈单元，用于基于所述第一行为信息和所述第二行为信息，确定与所述第二目标主体对应的反馈信息，所述反馈信息用于提醒所述第一目标主体关注所述第二目标主体的所述第二行为信息。

本发明实施例提供的课堂行为的反馈装置，基于第一行为信息和第二行为信息确定第二目标主体的反馈信息，实现了第二目标主体的学习状态的实时反馈，以便第一目标主体在教学过程中能够根据反馈信息对第二目标主体的学习状态进行实时纠正，为第一目标主体的当前授课过程提供一定的教学帮助。

结合第二方面，在第二方面的第一实施方式中，所述反馈单元，包括：第一解析子单元，用于基于所述第一行为信息，确定与所述第一行为信息对应的行为类别，所述行为类别包括讲授、互动、问答和板书；生成子单元，用于基于所述第二行为信息和所述行为类别，生成反馈指令；反馈子单元，用于基于所述反馈指令，确定与所述第二目标主体对应的反馈信息。

本发明实施例提供的课堂行为的反馈装置，根据第一行为信息确定行为类别，再根据行为类别转变第二目标主体对应的反馈方式，即根据第一行为信息确定当前的教学环节，根据教学环节转变第二行为信息的反馈方式，以便第一目标主体能够实时了解授课过程的第二目标主体的学习状态。

结合第二方面第一实施方式，在第二方面的第二实施方式中，所述反馈子单元，包括：第一判断模块，用于判断所述第二行为信息是否包含预设行为；截取模块，用于当所述第二行为信息包含所述预设行为时，截取所述第二行为信息以及与所述第二行为信息对应的所述第二目标主体的目标视频画面；计算模块，用于计算与所述目标视频画面对应的最小目标外接框，并获取所述最小目标外接框的坐标信息；第一生成模块，用于基于所述第二行为信息、所述目标视频画面以及所述坐标信息，生成目标发送信息，并将所述目标发送信息保存至待发信息表；第二判断模块，用于判断所述待发信息表中的第二目标主体与已发信息表中的已发目标主体是否为同一目标；发送模块，用于当所述待发信息表中的第二目标主体与已发信息表中的已发目标主体为同一目标时，则将所述待发信息表中的第二目标主体以及所述第二目标主体对应的目标发送信息存储至即发信息表；第二生成模块，用于基于所述即发信息表中的目标发送信息以及所述行为类别，生成反馈指令。

结合第二方面第二实施方式，在第二方面的第三实施方式中，所述第二判断模块，包括：第一获取子模块，用于获取所述待发信息表中与所述第二目标主体对应的所述最小目标外接框的第一面积以及所述已发信息表中与已发目标主体对应的最小外接框的第二面积；第一计算子模块，用于计算所述最小目标外接框与所述最小外接框的重合面积；第二计算子模块，用于基于所述第一面积、所述第二面积和所述重合面积，确定重合度；判定子模块，用于当所述重合度大于预设重合阈值时，判定所述待发信息表中的第二目标主体与已发信息表中的已发目标主体为同一目标。

结合第二方面第二实施方式，在第二方面的第四实施方式中，所述装置还包括：第二获取子模块，用于获取所述即发信息表中目标发送信息对应的时间戳，将所述目标发送信息与所述目标发送信息对应的时间戳保存至已发送信息表；第三获取子模块，用于获取当前时间与所述时间戳的差值；判断子模块，用于判断所述差值是否大于预设时间阈值；删除子模块，用于当所述差值大于所述预设时间阈值时，删除所述已发送信息表中的所述目标发送信息。

本发明实施例提供的课堂行为的反馈装置，基于第二目标主体的第二行为信息生成相应的目标发送信息，并将目标发送信息存储至待发信息表，结合已发信息表中的已发送目标主体确定目标发送信息是否为重复发送的信息，将重复发送的信息进行删除。同时将完成发送的目标发送信息存储至已发送信息表，并根据已发送信息表中存储的目标发送信息的时间戳确定是否对其中的目标发送信息进行删除。由此，该装置保证了第二目标主体的反馈信息的准确度，从而保证了第一目标主体够实时准确的了解到第二目标主体的行为信息。

结合第二方面第一实施方式，在第二方面的第五实施方式中，所述第一音视频数据包括第一音频数据和第一视频数据；所述分析单元，包括：第一解析子单元，用于解析所述第一视频数据，判断所述第一视频数据中是否包含所述第一目标主体对应的目标主体信息；第一判断子单元，用于当所述第一视频数据中包含所述第一目标主体对应的目标主体信息时，判断所述第一目标主体是否面向所述第二目标主体；第一识别子单元，用于当所述第一目标主体面向所述第二目标主体时，识别所述第一音频数据，判断所述第一音频数据中是否包含预设语音指令；第一确定子单元，用于当所述第一音频数据中不包含所述预设语音指令时，确定与第一目标主体对应的第一行为信息为讲授行为。

结合第二方面第五实施方式，在第二方面的第六实施方式中，所述分析单元，还包括：第二确定子单元，用于当所述第一音频数据中包含所述预设语音指令时，确定与第一目标主体对应的第一行为信息为问答行为；第三确定子单元，用于当所述第一目标主体背向所述第二目标主体时，确定与第一目标主体对应的第一行为信息为板书操作行为；第四确定子单元，用于当所述第一视频数据中不包含所述第一目标主体对应的目标主体信息时，确定与第一目标主体对应的第一行为信息为互动行为。

本发明实施例提供的课堂行为的反馈装置，分别对第一目标主体对应的第一音频数据和第一视频数据进行解析，以确定第一目标主体对应的第一行为信息，从而确定第一行为信息对应的教学环节。由此，该装置实现了对第一目标主体的教学环节的准确判定，保证了根据第一行为信息所确定的反馈信息的准确性。

结合第二方面，在第二方面的第七实施方式中，所述分析单元，还包括：第二解析子单元，用于解析所述第二视频数据，获取所述第二视频数据中的人体关键点信息以及人脸特征信息；第五确定子单元，用于基于所述人体关键点信息以及所述人脸特征信息，确定与所述第二目标主体对应的第二行为信息。

本发明实施例提供的课堂行为的反馈装置，通过解析第二目标主体的第二视频数据以确定第二目标主体对应的第二行为信息，从而确定第二行为信息对应的学习状态，由此实现了对第二目标主体的第二学习状态的准确反馈。

根据第三方面，本发明实施例提供了一种电子设备，包括：音/视频采集装置、显示装置、存储器和处理器，所述音/视频采集装置、所述显示装置、所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或第一方面任一实施方式所述的课堂行为的反馈方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行第一方面或第一方面任一实施方式所述的课堂行为的反馈方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中课堂行为反馈系统的结构示意图；

图2是根据本发明实施例的课堂行为的反馈方法的流程图；

图3是根据本发明实施例的课堂行为的反馈方法的流程图；

图4是根据本发明实施例的课堂行为的反馈方法的流程图；

图5是根据本发明实施例的教师行为分析的流程示意图；

图6是根据本发明实施例的学生行为分析的流程示意图；

图7是根据本发明实施例的课堂行为的反馈装置的结构框图；

图8是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对教师背对学生进行课程讲授时，难以同时兼顾学生行为与课堂纪律的实时反馈或引导的问题，近年来出现一些基于人工智能、音视频分析技术的学生行为分析系统应用于课堂，以使学生能够接收到更广泛的关注和重视。但是这些学生行为分析系统通常是在一段时间后，对课堂状况或学生状态进行统计，出具学生行为报告，并不能对学生的学习状态进行实时纠正，从而难以实时帮助教师教学。

基于此，本发明技术方案结合教师的第一行为信息和学生的第二行为信息生成反馈信息，以实现教师对学生的学习状态的实时纠正，同时实现了对教师教学进行实时帮助。

根据本发明实施例，提供了一种课堂行为的反馈方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种课堂行为的反馈方法，可用于电子设备构成的课堂行为反馈系统，该系统如1所示，包括音视频采集单元、行为分析单元、行为反馈单元以及显示单元，其中音视频采集单元可以包括教师音视频采集单元和学生音视频采集单元，行为分析单元可以包括教师行为分析和学生行为分析，显示单元可以为智能黑板屏幕。行为反馈单元可以结合教师行为和学生行为生成反馈信息，并将该反馈信息发送至显示单元进行显示，以便教师能够实时了解学生的学习状态。图2是根据本发明实施例的课堂行为的反馈方法的流程图，如图2所示，该流程包括如下步骤：

S11，获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据。

第一目标主体授课教师，第二目标主体为至少一个听课学生。第一音视频数据为授课教师在授课过程中的授课音频和授课视频。其中，授课视频可以通过设置在教室中的朝向讲台方向的摄像头进行采集，具体地，授课教师的授课视频可以是通过一台安装在教室后端，朝向讲台方向的摄像机采集的，摄像机可以采用固定景位，以对讲台上授课教师的活动区域进行全部拍摄。为便于单独拾取授课教师的授课音频，此处可以通过领夹式麦克风对授课音频进行采集。第二视频数据可以通过设置教室中的至少一个位置的摄像头进行采集。本申请对第一音视频数据和第二视频数据的采集方式不作具体限定，本领域技术人员可以根据实际需要确定，只要能够采集到授课教师的音/视频数据以及听课学生的视频数据即可。

S12，解析第一音视频数据和第二视频数据，得到与第一音视频数据对应的第一行为特性信息以及与第二视频数据对应的第二行为特性信息，确定与第一行为特性信息对应的第一行为信息以及与第二行为特性信息对应的第二行为信息。

第一行为特征信息为第一音视频数据中对应于授课教师在授课过程中的行为特性，以便确定授课教师在授课过程中的教学状态。第一行为信息则为授课教师在授课过程中的教学行为，例如互动行为、问答行为等。第一行为特征信息为第二视频数据中对应于听课学生在听课过程中的行为特性，以便确定听课学生在听课过程中的学习状态。第二行为信息为至少一个听课学生在听课过程中的学习行为，例如举手提问、瞌睡等。基于深度学习算法对第一音视频数据进行解析以确定授课教师的教学行为，对第二视频数据中的人体关键点以及人脸特征信息进行解析以确定至少一个听课学生的当前学习状态。

S13，基于第一行为信息和第二行为信息，确定与第二目标主体对应的反馈信息，反馈信息用于提醒第一目标主体关注第二目标主体的所述第二行为信息。

结合授课教师的第一行为信息以及至少一个听课学生的第二行为信息，确定第二行为信息的反馈方式，以确定与第二目标主体对应的反馈信息。通过该反馈信息以提醒第一目标主体及时关注第二目标主体在听课过程中的学习行为。例如，当授课教师背对听课学生，听课学生的行为信息，若此时学生举手提问可能会被授课教师所忽略，因此，可以生成提示性的反馈信息，并展示在课题行为反馈系统的显示单元上，以便授课教师能够及时回应听课学生的提问。

本实施例提供的课堂行为的反馈方法，基于第一行为信息和第二行为信息确定第二目标主体的反馈信息，实现了第二目标主体的学习状态的实时反馈，以便第一目标主体在教学过程中能够根据反馈信息对第二目标主体的学习状态进行实时纠正，为第一目标主体的当前授课过程提供一定的教学帮助。

在本实施例中提供了一种课堂行为的反馈方法，可用于如图1所示的课堂行为反馈系统，图3是根据本发明实施例的课堂行为的反馈方法的流程图，如图3所示，该流程包括如下步骤：

S21，获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据。详细内容参见上述实施例对应步骤S11的相关描述，此处不再赘述。

S22，解析第一音视频数据和第二视频数据，得到与第一音视频数据对应的第一行为特性信息以及与第二视频数据对应的第二行为特性信息，确定与第一行为特性信息对应的第一行为信息以及与第二行为特性信息对应的第二行为信息。

具体地，第一音视频数据包括第一音频数据和第一视频数据，上述步骤S22包括：

S221，解析第一视频数据，判断第一视频数据中是否包含第一目标主体对应的目标主体信息。

利用深度学习技术对授课教师对应的第一视频进行解析，对授课视频中的人体目标进行检测，判断第一视频中是否包含对应于授课教师的目标主体信息。当检测到第一视频数据中包含第一目标主体对应的目标主体信息时，执行步骤S222，否则执行步骤S227。

S222，判断第一目标主体是否面向第二目标主体。

当第一视频数据中包含第一目标主体对应的目标主体信息时，表征授课教师当前站在讲台的范围内进行授课，此时可以继续判断授课教师是面对听课学生还是背对听课学生。具体地，可以利用深度学习算法对第一视频信息中的人脸信息进行检测，通过检测到的人脸信息确定是否为正面人脸，从而确定授课教师是否面向听课学生；还可以采用深度学习算法对人体的正面信息或背面进行识别模型训练，将采集到的第一视频信息输入到识别模型中以对授课教师是否面向听课学生进行直接判断。当然也可以采用其他方式对授课教师是否面向听课学生进行判断，此处不作具体限定，本领域技术人员可以根据实际需要确定。当确定授课教师是否面向听课学生时，执行步骤S223，否则执行步骤S226。

S223，识别第一音频数据，判断第一音频数据中是否包含预设语音指令。

预设语音指令为设定的提问式指令。当第一目标主体面向第二目标主体时，即授课教师面向听课学生时，继续对授课教师的第一音频数据进行识别，判断第一音频数据中是否包含预设语音指令。具体地，当检测到授课教师面对听课学生时，可以识别第一音频数据中是否包含提问词“请回答”；也可以采用深度学习RNN算法对授课教师的语言内容进行训练，以确定第一音频数据是否包含预设语音指令。当然也可以采用其他方式进行判断，此处不作具体限定。当第一音频数据中不包含预设语音指令时，执行步骤S224，否则执行步骤S225。

S224，确定与第一目标主体对应的第一行为信息为讲授行为。

当第一音频数据中不包含预设语音指令时，表示当前的授课过程为授课教师面向听课学生的正常授课环节，此时可以将授课教师对应的第一行为信息作为讲授行为。

S225，确定与第一目标主体对应的第一行为信息为问答行为。

当第一音频数据中包含预设语音指令时，表示授课教师在对听课学生进行提问，即当前的授课过程为授课教师对听课学生的提问环节，此时可以确定授课教师对应的第一行为信息为问答行为。

S226，确定与第一目标主体对应的第一行为信息为板书操作行为。

当第一目标主体背向第二目标主体时，表示当前授课教师背对听课学生进行授课，为授课教师的操作环节，此时可以确定授课教师对应的第一行为信息为板书操作行为。

S227，确定与第一目标主体对应的第一行为信息为互动行为。

当第一视频数据中不包含第一目标主体对应的目标主体信息时，表示授课教师当前并未站在讲台的范围内进行授课，即当前的授课过程为授课教师与听课学生的近距离互动环节，此时可以确定授课教师对应的第一行为信息为互动行为。

同时，上述步骤S22还可以包括：

S228，解析第二视频数据，获取第二视频数据中的人体关键点信息以及人脸特征信息。

人体关键点信息为听课学生对应的人体关键点，例如头部、胳膊以及手指等。人脸特征信息为听课学生表达在脸上的状态信息，例如脸部表情以及仰角特征等。利用深度学习算法对抓取到的第二目标主体的视频图像进行检测，以对视频图像中的人体关键点以及人脸特征信息进行检测。例如，可以采用openpose算法获取第二视频数据中的人体关键点信息，同时利用CNN算法获取脸部表情等人脸特征信息。

S229，基于人体关键点信息以及人脸特征信息，确定与第二目标主体对应的第二行为信息。

对人体关键点信息以及人脸特征信息进行训练可以得到与其相应的行为识别模型，将解析第二视频信息得到的人体关键点信息以及人脸特征信息输入到行为识别模型中可以得到与听课学生对应的第二行为信息，例如，举手、起立、表情沮丧等第二行为信息。具体地，解析第二视频中的每个听课学生对应的人体关键点信息以及人脸特征信息，将解析得到的每个听课学生对应的人体关键点信息以及人脸特征信息输入至行为识别模型，判定每个听课学生对应的行为信息。本申请对判定听课学生对应的行为信息的方式不作具体限定，本领域技术人员可以根据实际需要确定。

S23，基于第一行为信息和第二行为信息，确定与第二目标主体对应的反馈信息，其中，反馈信息用于提醒第一目标主体关注第二目标主体的第二行为信息。

具体地，上述步骤S23包括如下步骤：

S231，基于第一行为信息，确定与第一行为信息对应的行为类别。

行为类别包括讲授、互动、问答和板书。对于确定第一行为信息为讲授行为或互动行为或问答行为和板书操作行为的详细说明参见上述对应的相关描述，此处不再赘述。

S232，基于第二行为信息和行为类别，生成反馈指令。

反馈指令为听课学生的学习状态的反馈命令。课堂行为反馈系统中的行为反馈单元可以将解析得到的第二行为信息结合授课过程中对应于第一行为信息的行为类别生成相应的反馈指令，并将该反馈指令发送至显示单元。

具体地，上述步骤S232可以包括如下步骤：

(1)判断第二行为信息是否包含预设行为。

预设行为是用于生成反馈指令的设定行为信息。对第二视频数据中解析到至少一个听课学生对应的第二行为信息与预设行为进行对比，判断至少一个听课学生对应的第二行为信息是否包含预设行为。

(2)截取第二行为信息以及与第二行为信息对应的第二目标主体的目标视频画面。

当第二行为信息包含预设行为时，判定听课学生有预设行为，此时可以对发出预设行为的听课学生的视频画面进行截取，获取与该预设行为对应的听课学生的目标视频画面。例如，某位听课学生举手时，可以截取包含该举手的听课学生的视频画面，得到与该举手的听课学生对应的目标视频画面。

(3)计算与目标视频画面对应的最小目标外接框，并获取最小目标外接框的坐标信息。

最小目标外接框为与目标视频画面相交的最小外接框，例如，最下外接矩形或最小外接圆。在截取到包含预设行为的听课学生的目标视频画面后，可以计算与该目标视频画面对应的最小目标外接框，并获取对于该最小目标外接框的各个点顶点的坐标信息。例如，在截取到包含预设行为的听课学生的目标视频画面后，可以计算与该目标视频画面对应的最小目标外接矩形，并获取该目标最小外接矩形坐标信息。

(4)基于第二行为信息、目标视频画面以及坐标信息，生成目标发送信息，并将目标发送信息保存至待发信息表。

待发信息表用于保存对应于各个听课学生的待反馈行为信息。当检测到听课学生发出某种预设行为时，截取包含该预设行为的听课学生的目标视频画面，将该预设行为、目标视频画面以及最小目标外接框的坐标信息组合为一条目标发送信息，将其保存至待发信息列表。

(5)判断待发信息表中的第二目标主体与已发信息表中的已发目标主体是否为同一目标。

已发信息表用于保存在一定时间段内已经反馈过的目标行为信息。将待发信息表中的目标发送信息对应的第二目标主体与已发信息表中的已发目标行为信息对应的已发目标主体是否为同一目标。当待发信息表中的第二目标主体与已发信息表中的已发目标主体并非同一目标时，执行步骤(6)，否则不作处理。

具体地，上述步骤(5)可以包括如下步骤：

(51)获取待发信息表中与第二目标主体对应的最小目标外接框的第一面积以及已发信息表中与已发目标主体对应的最小外接框的第二面积。

最小外接框为存储于已发信息表中的发出预设行为的听课学生的目标视频画面对应的目标外接框。第一面积可以根据最小目标外接框的坐标信息计算得到，第二面积可以根据已发信息表中保存的最小外接框的坐标信息计算得到。

(52)计算最小目标外接框与最小外接框的重合面积。

重合面积可以通过最小目标外接框的坐标信息与最小外接框的坐标信息确定。具体地，根据最小目标外接框的坐标信息以及最小外接框的坐标信息可以确定两者的重合坐标信息，根据重合坐标信息可以计算得到最小目标外接框与最小外接框的重合面积。

(53)基于第一面积、第二面积和重合面积，确定重合度。

重合度用于表征待发信息表中的第二目标主体与已发信息表中的已发目标主体的相似度。若第一面积为C、第二面积为D、重合面积为A，则重合度S＝A/((C+D)/2)。

(54)当重合度大于预设重合阈值时，判定待发信息表中的第二目标主体与已发信息表中的已发目标主体为同一目标。

预设重合阈值为表征待发信息表中的第二目标主体与已发信息表中的已发目标主体为同一目标的最小设定值，预设重合阈值根据经验值可以设定为0.6，当然也可以设定为其他值，例如0.7，本申请对此不作限定。将计算得到的重合度与预设重合阈值进行比较，判断重合度与预设重合阈值之间的关系。当重合度大于预设重合阈值时，可以判定待发信息表中的第二目标主体与已发信息表中的已发目标主体为同一目标。

(6)将待发信息表中的第二目标主体以及第二目标主体对应的目标发送信息存储至即发信息表。

即发信息表用于保存对应于各个听课学生的需立即发送的目标行为信息。当待发信息表中的第二目标主体与已发信息表中的已发目标主体并非为同一目标时，表示第二目标主体对应的目标发送信息并未反馈过，此时可以将其存储至即发信息表以及时反馈至授课教师。

(7)基于即发信息表中的目标发送信息以及行为类别，生成反馈指令。

基于即发信息表存储的目标行为信息以及第一行为信息对应的行为类别，生成对应与目标发送信息的反馈指令。例如，对于互动行为和问答行为：将即发信息表中的举手行为和起立行为标记为居中反馈指令；对于教师板书操作行为：由于授课教师背对听课学生，授课教师可能会忽略听课学生的行为信息，此时将即发信息表中的举手行为和起立行为标记为提示反馈指令；对于讲授行为：由于授课教师面对听课学生，此时可以忽略即发信息表中的信息，不生成任何反馈指令。

S233，基于反馈指令，确定与第二目标主体对应的反馈信息。

反馈信息为反馈给授课教师的对应于听课学生的行为信息。反馈信息可以显示在显示单元上以帮助授课教师及时了解课堂行为及听课学生的学习状态。具体地，对于互动行为和问答行为：将居中反馈指令发送至显示单元进行显示，以帮助授课教师激发学生互动热情，增加教室积极氛围；对于教师板书操作行为将提示反馈指令发送至显示单元，以提示的方式展示在显示单元上，以帮助授课教师时刻及时回应学生的提问或纠正课题纪律等；对于讲授行为不发送任何反馈指令至显示单元以避免反馈指令分散学生的注意力。当然上述反馈指令对应的反馈信息可以根据实际需求确定，此处不作限定。

可选地，如图4所示，上述步骤S23还可以包括：

S234，获取即发信息表中目标发送信息对应的时间戳，将目标发送信息与目标发送信息对应的时间戳保存至已发送信息表。

时间戳为目标发送信息对应的生成时间，在存储于即发信息表中的目标发送信息中添加与其对应的时间戳，并将即发信息表中已进行过信息反馈的目标发送信息及其对应的时间戳一并保存至已发信息表中以避免目标发送信息的重复反馈。

S235，获取当前时间与时间戳的差值。

对已发送信息表中存储的目标发送信息进行更新时，遍历已发送信息表，分别获取当前时间与各个目标发送信息对应的时间戳，分别计算当前时间与各个时间戳之间的差值。

S236，判断差值是否大于预设时间阈值。

预设时间阈值为删除目标发送信息对应的设定时间，预设时间阈值可以根据经验值进行设定，例如5秒。将计算得到的差值与预设时间阈值进行比较，确定差值与预设时间阈值之间的大小关系，当该差值大于预设时间阈值时，执行步骤S237，否则继续判断。

S237，删除已发送信息表中的目标发送信息。

当差值大于预设时间阈值时，表示该目标发送信息已经完成反馈，且与该目标发送信息对应的听课学生并未做出其他预设行为，此时可以该目标发送信息进行删除，以实时更新已发送信息表，保证已发送信息表能够实时反映听课学生的行为状态。

本实施例提供的课堂行为的反馈方法，分别对第一目标主体对应的第一音频数据和第一视频数据进行解析，以确定第一目标主体对应的第一行为信息，从而确定第一行为信息对应的教学环节。由此实现对第一目标主体的教学环节的准确判定，从而保证了根据第一行为信息所确定的反馈信息的准确性；通过解析第二目标主体的第二视频数据以确定第二目标主体对应的第二行为信息，从而确定第二行为信息对应的学习状态，由此实现了对第二目标主体的第二学习状态的准确反馈；根据第一行为信息确定行为类别，再根据行为类别转变第二目标主体对应的反馈方式，即根据第一行为信息确定当前的教学环节，根据教学环节转变第二行为信息的反馈方式，以便第一目标主体能够实时了解授课过程的第二目标主体的学习状态；基于第二目标主体的第二行为信息生成相应的目标发送信息，并将目标发送信息存储至待发信息表，结合已发信息表中的已发送目标主体确定目标发送信息是否为重复发送的信息，将重复发送的信息进行删除。同时将完成发送的目标发送信息存储至已发送信息表，并根据已发送信息表中存储的目标发送信息的时间戳确定是否对其中的目标发送信息进行删除。由此保证了第二目标主体的反馈信息的准确度，从而保证了第一目标主体够实时准确的了解到第二目标主体的行为信息。

结合上述课堂行为的反馈方法进行具体示例说明如下：课堂行为反馈系统的显示单元可以为大屏显示器器、行为分析单元可以为AI教学行为分析单元、行为反馈单元可以为智能行为反馈策略单元。通过教师音视频采集单元和学生音视频采集单元分别采集教师和学生的音视频数据；由AI教学行为分析单元实时采集摄像头画面，利用人工智能技术，检测画面中的举手、睡觉、玩手机等特殊行为。同时结合教师的音视频信息分析判断当前所处的教学环节。当发现特殊行为，将该行为消息和所处教学环节信息一并发送到智能行为反馈策略单元；智能行为反馈策略单元在接受到数据后，依据行为数据和教学环节信息，确定反馈指令，并发送至大屏显示器；大屏显示器依照反馈指令确定其对应的反馈信息，并在在大屏显示器上显示信息，以帮助教师实现教学任务，同时给予学生更生动、积极的互动反馈。

以下是AI教学行为分析单元的算法过程，AI教学行为分析单元可以分为学生行为分析部分和教师行为分析部分。音视频采集单元包括教师音视频采集模块和学生音视频采集模块。

教师行为分析部分主要是为了确定当前的教学环节，如图5所示，基本步骤如下：

1)通过教师音视频采集模块，采集教师的视频画面和音频信号。教师视频画面通过一台安装在教室后端，朝向讲台方向的摄像机采集，摄像机可以采用固定景位，对讲台上教师的活动区域进行全部拍摄。音频信号则可以采用领夹式mic，单独拾取教师说话音频。

2)利用深度学习技术对视频画面进行人体目标检测。如果画面中没有人体目标，则认为教师当前在除讲台外的学生区域巡视或是与学生近距离互动。如果画面中有人体目标，则进一步判断视频画面中的人体目标是面向学生或是背向学生。判断方式是利用深度学习技术对人体目标的视频画面进行人脸检测，如果检测到正面人脸，则表示该人体目标面向学生；否则表示该人体目标背向学生。

3)对教师音频信号进行语音识别处理，得到当前教师的语音内容，并对判断是否为提问句式。该判断算法可以采用深度学习RNN算法对教师语言内容进行训练，或者人为设置提问词，教师在提问时可以加入提问词。例如：设置“请回答”为提问词，教师如果要提问，则在提问时加入该提问词。

4)根据步骤2)和步骤3)的结果，综合判断当前教学环节。如果没有检测到当前讲台上的人体目标，则判定为师生互动环节；如果检测到当前讲台上有人体目标，但是背向学生，则判定为教师板书操作环节；如果检测到当前讲台上有人体目标，且该人体目标面向学生，并且步骤3)判定当前教师语音中出现提问词，则判定为师生问答环节，否则判定为教师讲授环节。

学生行为分析部分主要是为了确定当前学生的行为信息，如图6所示，基本步骤如下：

1)初始化已发送信息表OL为空。已发送信息表OL中的目标为在一定时间段内已经确定过的目标行为信息。保存该已发送信息表OL以避免重复发送信息。

2)AI行为分析单元从摄像机中抓取学生图像，利用人体关键点检测算法openpose检测学生图像中的人体关键点信息，同时利用深度学习算法检测人脸表情、仰角等人脸特征信息。

3)利用步骤2)得到的人体关键点信息和人脸特征信息，结合课堂行为反馈系统中配置的感兴趣行为(例如，举手、起立、表情沮丧等)，对每个目标进行相应的行为信息判定。如果判定某个目标有某种感兴趣行为时，则将对应该目标的图像画面进行区域截取，并与其行为信息、目标最小外接矩形坐标结合成为一条目标发送信息，并保存至待发信息表SL。

4)将待发信息表SL中的目标与已发送信息表OL逐个比对，通过目标最小外接矩形坐标判断目标是否已经存在于已发送信息表OL中，如果目标并不存在于已发送信息表OL中，则将其存入即发信息表L中。通过目标最小外接矩形坐标判断两目标是否为同一目标的算法为：计算待发信息表SL中的目标最小外接矩形与已发送信息表OL中目标最小外接矩形两者之间的重合面积，记为A；若待发信息表SL中的目标最小外接矩形与已发送信息表OL中目标最小外接矩形面积分别为C，D，则计算重合度S＝A/((C+D)/2)。S大于0.6则认为待发信息表SL中的目标与已发送信息表OL的目标为同一目标。

5)将即发信息表L中的目标结合当前时间戳，保存到已发送信息表OL。获取当前时间T。遍历已发送信息表OL，用当前时间T减去已发送信息表OL中每个目标对应的时间戳，如果差值大于5秒，则从已发送信息表OL中删除对应目标。

智能反馈策略单元在获得教学行为分析单元的结果后，结合教学环节和即发行为信息表L，生成适当的反馈指令，并将反馈指令发送至大屏显示器。其中，反馈指令的生成规则可以为：

师生互动环节和师生问答环节：将即发行为信息表L中的举手或起立行为信息标记为居中展示，发送至大屏显示器，以帮助教师激发学生互动热情，增加教室积极氛围。

教师板书操作环节：将即发行为信息表L中的举手或起立行为信息标记为提示展示，发送至大屏显示器。在教师板书操作环节，由于教师背对学生，教师可能会忽略学生的行为，此时以提示的方式展示在大屏显示器上，帮助教师时刻纠正纪律，回应学生的提问等。

教师讲授环节：忽略即发行为信息表L中的行为，不向大屏显示器发送任何反馈指令。在教师面向学生的讲授环节，此时的即发行为信息表L将被忽略，不做展示，避免反馈指令分散学生的注意力。

上述反馈指令的规则可以根据教师的需求进行配置更改，智能反馈策略单元可以与大屏显示器处在同一物理设备上，以方便教师操作，修改配置等。

最后，大屏显示器收到智能反馈策略单元的反馈指令后，将反馈指令对应的反馈信息显示在大屏显示器上，由此完成整个课堂行为的反馈过程。

在本实施例中还提供了一种课堂行为的反馈装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种课堂行为的反馈装置，如图7所示，包括：

采集单元31，用于获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

分析单元32，用于解析第一音视频数据和第二视频数据，得到与第一音视频数据对应的第一行为特性信息以及与第二视频数据对应的第二行为特性信息，确定与第一行为特性信息对应的第一行为信息以及与第二行为特性信息对应的第二行为信息。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

反馈单元33，用于基于第一行为信息和第二行为信息，确定与第二目标主体对应的反馈信息，反馈信息用于提醒第一目标主体关注第二目标主体的第二行为信息。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

本实施例提供的课堂行为的反馈装置，基于第一行为信息和第二行为信息确定第二目标主体的反馈信息，实现了第二目标主体的学习状态的实时反馈，以便第一目标主体在教学过程中能够根据反馈信息对第二目标主体的学习状态进行实时纠正，为第一目标主体的当前授课过程提供一定的教学帮助。

本实施例中的课堂行为的反馈装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

可选地，上述反馈单元33，包括：

第一解析子单元，用于基于所述第一行为信息，确定与第一行为信息对应的行为类别，其中，行为类别包括讲授、互动、问答和板书。

生成子单元，用于基于第二行为信息和行为类别，生成反馈指令。

反馈子单元，用于基于反馈指令，确定与第二目标主体对应的反馈信息。

本实施例提供的课堂行为的反馈装置，根据第一行为信息确定行为类别，再根据行为类别转变第二目标主体对应的反馈方式，即根据第一行为信息确定当前的教学环节，根据教学环节转变第二行为信息的反馈方式，以便第一目标主体能够实时了解授课过程的第二目标主体的学习状态。

可选地，上述反馈子单元，包括：

第一判断模块，用于判断第二行为信息是否包含预设行为。

截取模块，用于当第二行为信息包含预设行为时，截取第二行为信息以及与第二行为信息对应的第二目标主体的目标视频画面。

计算模块，用于计算与目标视频画面对应的最小目标外接框，并获取最小目标外接框的坐标信息。

第一生成模块，用于基于第二行为信息、目标视频画面以及坐标信息，生成目标发送信息，并将目标发送信息保存至待发信息表。

第二判断模块，用于判断待发信息表中的第二目标主体与已发信息表中的已发目标主体是否为同一目标。

发送模块，用于当待发信息表中的第二目标主体与已发信息表中的已发目标主体为同一目标时，则将待发信息表中的第二目标主体以及第二目标主体对应的目标发送信息存储至即发信息表。

第二生成模块，用于基于即发信息表中的目标发送信息以及行为类别，生成反馈指令。

可选地，上述第二判断模块，包括：

第一获取子模块，用于获取待发信息表中与第二目标主体对应的最小目标外接框的第一面积以及已发信息表中与已发目标主体对应的最小外接框的第二面积。

第一计算子模块，用于计算最小目标外接框与最小外接框的重合面积。

第二计算子模块，用于基于第一面积、第二面积和重合面积，确定重合度。

判定子模块，用于当重合度大于预设重合阈值时，判定待发信息表中的第二目标主体与已发信息表中的已发目标主体为同一目标。

可选地，上述第二判断模块还包括：

第二获取子模块，用于获取即发信息表中目标发送信息对应的时间戳，将目标发送信息与目标发送信息对应的时间戳保存至已发送信息表。

第三获取子模块，用于获取当前时间与时间戳的差值。

判断子模块，用于判断差值是否大于预设时间阈值。

删除子模块，用于当差值大于预设时间阈值时，删除已发送信息表中的目标发送信息。

本实施例提供的课堂行为的反馈装置，基于第二目标主体的第二行为信息生成相应的目标发送信息，并将目标发送信息存储至待发信息表，结合已发信息表中的已发送目标主体确定目标发送信息是否为重复发送的信息，将重复发送的信息进行删除。同时将完成发送的目标发送信息存储至已发送信息表，并根据已发送信息表中存储的目标发送信息的时间戳确定是否对其中的目标发送信息进行删除。由此，该装置保证了第二目标主体的反馈信息的准确度，从而保证了第一目标主体够实时准确的了解到第二目标主体的行为信息。

可选地，第一音视频数据包括第一音频数据和第一视频数据；上述分析单元，包括：

第一解析子单元，用于解析第一视频数据，判断第一视频数据中是否包含所述第一目标主体对应的目标主体信息。

第一判断子单元，用于当第一视频数据中包含第一目标主体对应的目标主体信息时，判断第一目标主体是否面向第二目标主体。

第一识别子单元，用于当第一目标主体面向第二目标主体时，识别第一音频数据，判断第一音频数据中是否包含预设语音指令。

第一确定子单元，用于当第一音频数据中不包含预设语音指令时，确定与第一目标主体对应的第一行为信息为讲授行为。

可选地，上述分析单元，还包括：

第二确定子单元，用于当第一音频数据中包含预设语音指令时，确定与第一目标主体对应的第一行为信息为问答行为；

第三确定子单元，用于当第一目标主体背向第二目标主体时，确定与第一目标主体对应的第一行为信息为板书操作行为；

第四确定子单元，用于当第一视频数据中不包含第一目标主体对应的目标主体信息时，确定与第一目标主体对应的第一行为信息为互动行为。

本实施例提供的课堂行为的反馈装置，分别对第一目标主体对应的第一音频数据和第一视频数据进行解析，以确定第一目标主体对应的第一行为信息，从而确定第一行为信息对应的教学环节。由此，该装置实现了对第一目标主体的教学环节的准确判定，保证了根据第一行为信息所确定的反馈信息的准确性。

可选地，上述分析单元，还包括：

第二解析子单元，用于解析第二视频数据，获取第二视频数据中的人体关键点信息以及人脸特征信息。

第五确定子单元，用于基于人体关键点信息以及人脸特征信息，确定与第二目标主体对应的第二行为信息。

本实施例提供的课堂行为的反馈装置，通过解析第二目标主体的第二视频数据以确定第二目标主体对应的第二行为信息，从而确定第二行为信息对应的学习状态，由此实现了对第二目标主体的第二学习状态的准确反馈。

上述各个模块/单元的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种电子设备，具有上述图7所示的课堂行为的反馈装置。

请参阅图8，图8是本发明可选实施例提供的一种电子设备的结构示意图，如图8所示，该电子设备可以包括：至少一个音/视频采集装置405，例如麦克风/摄像机，显示装置406，至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(RandomAccess Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以结合图7所描述的装置，存储器404中存储应用程序，且处理器401调用存储器404中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器组合。

其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请图2至图6实施例中所示的课题行为的反馈方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的课题行为的反馈方法的处理方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。