课堂录播方法、装置、设备以及存储介质

技术领域

本申请涉及现代化教学系统的技术领域，尤其是涉及一种课堂录播方法、装置、设备以及存储介质。

背景技术

目前课堂录播已广泛应用于现代教学系统当中，课堂录播已成为评估教师教学水平、强化学生学习内容的必备设备。为了实现多角度全方位监控和记录教学活动，传统的课堂录播系统多采用多机位拍摄，单个教室通常就需配置教师全景、教师特写、学生全景、学生特写等多个摄像机，然后通过录播机对摄像机拍摄的视频进行录制，导致录播教室内设备众多，布线繁杂，成本居高不下。

发明内容

为了低成本的满足录播设备一体化的功能需求，本申请提供一种课堂录播方法、装置、设备以及存储介质。

第一方面，本申请提供一种课堂录播方法，采用如下的技术方案：

一种课堂录播方法，包括：

获取教师区全景视频和学生区全景视频；

根据所述教师区全景视频中的运动目标，对所述教师区全景视频进行抠图，得到教师区特写视频；

根据所述学生区全景视频中的运动目标，对所述学生区全景视频进行抠图，得到学生区特写视频；

根据预设的切换策略，对所述教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频进行切换录制，得到课堂视频。

通过采用上述技术方案，教师区全景视频需要由一台摄像设备来拍摄，学生区全景视频也要由一台摄像设备来拍摄；教师区特写视频由教师区全景视频抠图获取，学生区特写视频由学生区全景视频抠图获取，因此，无需增设教师特写的拍摄设备和学生特写的拍摄设备；课堂视频由教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频切换录制而来，切换录制的设备只需录播机即可；综上所述，本申请只需两台摄像设备和一个录播机就能完成教师区全景视频、教师区特写视频、学生区全景视频、学生区特写视频和课堂视频的录制，不仅减少教室内的布线繁杂度，还大大降低课堂录播的成本，满足了课堂录播的设备一体化的功能需求。

优选的，所述根据所述教师区全景视频中的运动目标，对所述教师区全景视频进行抠图，得到教师区特写视频，包括：

判断教师区图像中是否存在运动目标；其中，所述教师区图像为所述教师区全景视频中的图像帧；

若是，则通过第一方法对所述教师区图像进行抠图，得到第一图像；

若否，则通过第二方法对所述教师区图像进行抠图，得到第二图像；

按照所述教师区全景视频的时序，将所述第一图像和第二图像融合为教师区特写视频。

通过采用上述技术方案，有运动目标时，对采用第一方法进行抠图，没有运动目标时，对采用第二方法进行抠图，将抠图得到的第一图像和第二图像融合为教师区特写视频，使得教师区特写视频的总时长和教师区全景视频的总时长一致，并且二者的总时长均为一节课的时长；若一些用户只想看教师授课的场景，则可以仅观看教师区特写视频；除此之外，教师区特写视频还为后续课堂视频的录制提供视频资源。

优选的，所述根据所述学生区全景视频中的运动目标，对所述学生区全景视频进行抠图，得到学生区特写视频，包括：

判断学生区图像中是否存在运动目标；其中，所述学生区图像为所述学生区全景视频中的图像帧；

若是，则通过第三方法对所述学生区图像进行抠图，得到第三图像；

若否，则通过第四方法对所述学生区图像进行抠图，得到第四图像；

按照所述学生区全景视频的时序，将所述第三图像和第四图像融合为教师区特写视频。

通过采用上述技术方案，有运动目标时，采用第三方法进行抠图，没有运动目标时，采用第四方法进行抠图，将抠图得到的第三图像和第四图像融合为学生区特写视频，使得学生区特写视频的总时长和学生区全景视频的总时长一致，并且二者的总时长均为一节课的时长；若一些用户只想看学生听讲的场景，则可以仅观看学生区特写视频；除此之外，学生区特写视频还为后续课堂视频的录制提供视频资源。

优选的，所述预设的切换策略，包括：

根据运动目标出现位置，设置切换策略。

优选的，所述根据运动目标出现位置，设置切换策略，包括：

判断所述教师区全景视频和学生区全景视频中是否同时出现运动目标；

若是，则切换至所述学生区特写视频，录制第一时长的学生区特写视频；

若否，则判断所述教师区全景视频中是否出现运动目标；

若是，则切换至所述教师区特写视频，录制第二时长的教师区特写视频；

若否，则判断所述学生区全景视频中是否出现运动目标；

若是，则切换至所述学生区特写视频，录制第三时长的学生区特写视频；

若否，则切换至所述教师区全景视频，录制第四时长的教师区全景视频，录制完毕之后，切换至所述学生区全景视频，录制第五时长的学生区全景视频。

第二方面，本申请提供一种课堂录播装置，采用如下的技术方案：

一种课堂录播装置，包括，

获取模块，用于获取教师区全景视频和学生区全景视频；

第一抠图模块，用于根据所述教师区全景视频中的运动目标，对所述教师区全景视频进行抠图，得到教师区特写视频；

第二抠图模块，用于根据所述学生区全景视频中的运动目标，对所述学生区全景视频进行抠图，得到学生区特写视频；以及，

切换录制模块，用于根据预设的切换策略，对所述教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频进行切换录制，得到课堂视频。

第三方面，本申请提供一种计算机设备，采用如下的技术方案：

一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行第一方面任一项所述的课堂录播方法的计算机程序。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面任一项所述的课堂录播方法的计算机程序。

附图说明

图1是本申请实施例提供的课堂录播方法的流程示意图。

图2是本申请实施例提供的第一探测区域和第一探测屏蔽区域的示意图。

图3是本申请实施例提供的第二探测区域和第二探测区域的示意图。

图4是本申请实施例提供的现有的课堂录播系统的示意图。

图5是本申请实施例提供的课堂录播系统的示意图。

图6是本申请实施例提供的课堂录播装置的结构框图。

图7是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本实施例提供一种课堂录播方法，如图1所示，该方法的主要流程描述如下（步骤S101～S104）：

步骤S101：获取教师区全景视频和学生区全景视频。

其中，教师区全景视频由教师机拍摄而来，教师机一般安装于教室后方，镜头对准教师讲台区域；学生区全景视频由学生机拍摄而来，学生机为拍摄学生区全景视频的摄像机，学生机一般安装于教室前方黑板一侧，镜头对准教室内的学生区域。

步骤S102：根据教师区全景视频中的运动目标，对教师区全景视频进行抠图，得到教师区特写视频。

本实施例中，采用海思的VDA算法中的帧差法，判断学生区图像中是否存在运动目标；其中，学生区图像为学生区全景视频中的图像帧；若是，则通过第三方法对学生区图像进行抠图，得到第三图像；若否，则通过第四方法对学生区图像进行抠图，得到第四图像；按照学生区全景视频的时序，将第三图像和第四图像融合为教师区特写视频。

其中，采用海思的VDA算法中的帧差法，判断学生区图像中是否存在运动目标，包括：

获取教师区全景视频的第一坐标组和第二坐标组，基于第一坐标组在教师区全景视频中划分出第一探测区域，基于第二坐标组在教师区全景视频中划分出第一探测屏蔽区域，则教师区图像中均设置有第一探测区域和第一探测屏蔽区域。采用海思的VDA算法中的帧差法，对教师区图像中第一非重合区域和第二非重合区域进行运动侦测。

例如，参照图2，第一探测区域和第一探测屏蔽区域均为矩形，则第一坐标组和第二坐标组均由四个角坐标组成；其中，第一坐标组和第二坐标组均的四个角坐标由人工设置。教师通常处于教师讲台区域的中间位置，若教师走动，则移动状态基本体现在图2中的第一探测区域，而在对第一探测区域进行运动侦测时，也常常会遇到需屏蔽探测某区域的情况，比如教师机拍摄的画面内如果有幻灯片放映，幻灯片变化会干扰对运动目标的检测和后续中对第一中心坐标的计算，因此划定第一探测屏蔽区域，减少干扰；其中，第一中心坐标为教师区图像中运动目标的中心坐标。

其中，通过第一方法对教师区图像进行抠图，得到第一图像，包括：

通过对教师区图像进行运动侦测，根据运动目标的位置，对教师区图像进行抠图。具体的，获取教师区图像中运动目标的第一数量值，基于第一数量值确定对教师区图像进行抠图的第一范围；获取教师区图像中每一个运动目标的第一中心坐标，基于第一数量值和第一中心坐标确定对教师区图像进行抠图的第一中心点；其中，第一中心点为教师区图像中所有运动目标的中心坐标的平局值；根据第一中心点和第一范围对教师区图像进行抠图，获取抠图得到的第一图像。

进一步地，基于第一数量值确定对教师区图像进行抠图的第一范围的方法为：第一数量值越大，则第一范围越大。例如，第一数量值为1，则第一范围为教师区图像范围的四分之一；第一数量值为2，则第一范围为教师区图像范围的三分之一；第一数量值为3或3以上，则第一范围为教师区图像范围的二分之一。

其中，通过第二方法对教师区图像进行抠图，得到第二图像，包括：

在课堂录制开始时，若教师区全景视频中没有运动目标，则对教师区图像中的第一预设区域进行抠图；若教师区全景视频中出现运动目标，运动目标又消失时，抠图位置保持运动目标消失时的抠图位置不变，等到出现新的运动目标时，抠图位置根据新的运动目标的坐标发生变化。

进一步地，为保证录制的教师区特写视频的分辨率一致，将第一图像和第二图像的分辨率统一为固定分辨率。例如，固定分辨率为1080P，教师机的拍摄分辨率为4K，则教师区图像的分辨率也为4K，第一预设区域的范围为教师区图像范围的四分之一，则第二图像的分辨率为1080P，无需缩放处理；若第一范围为教师区图像范围的四分之一，则第一图像的分辨率为1080P，无需缩放处理；若第一范围大于教师区图像范围的四分之一，则将第一图像进行缩放处理，使得第一图像的分辨率降低为固定分辨率。

步骤S103：根据学生区全景视频中的运动目标，对学生区全景视频进行抠图，得到学生区特写视频。

本实施例中，采用海思的VDA算法中的帧差法，判断学生区图像中是否存在运动目标；其中，学生区图像为学生区全景视频中的图像帧；若是，则通过第三方法对学生区图像进行抠图，得到第三图像；若否，则通过第四方法对学生区图像进行抠图，得到第四图像；按照学生区全景视频的时序，将第三图像和第四图像融合为教师区特写视频。

参照图3，和上述中设置第一探测区域与第一探测屏蔽区域的方法同理，学生通常还会起立回答问题，在学生起立过程中，会被判定为运动目标，为了排除坐着的学生的运动干扰，获取学生区全景视频的第三坐标组，基于第三坐标组在学生区全景视频中划分出第二探测区域；对第二探测区域进行运动侦测时，也常常会遇到需屏蔽探测某区域的情况，例如吊灯的灯光干扰，因此获取学生区全景视频的第四坐标组，基于第四坐标组在学生区全景视频中划分出第二探测屏蔽区域，减少吊灯灯光等干扰。

其中，通过第三方法对学生区图像进行抠图，得到第三图像，包括：

通过对学生区图像进行运动侦测，获取学生区图像中运动目标的第二数量值，基于第二数量值确定对学生区图像进行抠图的第二范围；获取学生区图像中每一个运动目标的第二中心坐标，基于第二数量值和第二中心坐标确定对学生区全景视频学生区图像进行抠图的第二中心点；其中，第二中心点为学生区图像中所有运动目标的中心坐标的平局值；根据第二中心点和第二范围对学生区图像进行抠图，获取抠图得到的第三图像。

确定第二范围的方法原理和步骤S102中确定第一范围的方法原理一致，通过第四方法对学生区图像进行抠图得到第四图像的原理和通过第二方法对教师区图像进行抠图得到第二图像的原理一致，在此不再赘述。

进一步地，同理步骤S102，为保证录制的学生区特写视频的分辨率一致，将第三图像和第四图像的分辨率统一为固定分辨率。

值得注意的是，若教师移动至学生区，则将教师拍摄进学生区全景视频中进行运动侦测，同理，若学生移动至教师区，则将学生拍摄进教师区全景视频中进行运动侦测。

步骤S104：根据预设的切换策略，对教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频进行切换录制，得到课堂视频。

本实施例中，根据运动目标出现位置，设置切换策略。

具体的，在录制开始时即课堂开始时，判断教师区全景视频和学生区全景视频中是否同时出现运动目标；若是，则切换至学生区特写视频，录制第一时长的学生区特写视频；若否，则判断教师区全景视频中是否出现运动目标；若是，则切换至教师区特写视频，录制第二时长的教师区特写视频；若否，则判断学生区全景视频中是否出现运动目标；若是，则切换至学生区特写视频，录制第三时长的学生区特写视频；若否，则切换至教师区全景视频，录制第四时长的教师区全景视频，录制完毕之后，切换至学生区全景视频，录制第五时长的学生区全景视频。

其中，录制第一时长的学生区特写视频，包括：在教师区全景视频和学生区全景视频中同时出现运动目标时，学生区的优先级更高，因此，录制学生区特写视频；在学生区特写视频录制开始时进行计时，得到第一计时时长；判断是否第一计时时长大于第一预设值或者运动目标消失；若是，则停止对学生区特写视频的录制，此时，第一计时时长等于第一时长。

其中，录制第二时长的教师区特写视频，包括：在教师区特写视频录制开始时进行计时，得到第二计时时长；判断是否第二计时时长大于第二预设值或者运动目标消失；若是，则停止对教师区特写视频的录制，此时，第二计时时长等于第二时长；在停止对教师区特写视频的录制之后，切换至学生区全景视频，录制第六时长的学生区全景视频，使得用户不总是单一的观看教师区情况，还能在查看到教师区情况之后，查看学生区情况。

其中，录制第三时长的学生区特写视频，包括：在学生区特写视频录制开始时进行计时，得到第三计时时长；判断是否第三计时时长大于第三预设值或者运动目标消失；若是，则停止对学生区特写视频的录制，此时，第三计时时长等于第三时长；在停止对学生区特写视频的录制之后，切换至教师区全景视频，录制第七时长的教师区全景视频，使得用户不总是单一的观看学生区情况，还能在查看到学生区情况之后，查看教师区情况。

其中，录制第四时长的教师区全景视频，录制完毕之后，切换至学生区全景视频，录制第五时长的学生区全景视频，包括：在教师区全景视频和学生区全景视频中不同时出现运动目标时，教师区的优先级更高，因此，先录制教师区全景视频，后录制学生区全景视频。具体的，在教师区全景视频录制开始时进行计时，得到第四计时时长；判断第四计时时长是否大于第四预设值；若是，则停止对教师区全景视频的录制，此时，第四计时时长等于第四时长；在停止对教师区全景视频的录制之后，切换至学生区全景视频，对学生区全景视频进行录制，录制开始的同时进行计时，得到第五计时时长；判断第五计时时长是否大于第五预设值；若是，则停止对学生区全景视频的录制，此时，第五计时时长等于第五时长。

进一步地，在学生区全景视频中，若在上一次运动目标消失时，紧接着出现另一运动目标，则在对学生区特写视频的两次切换中，插入第八时长的学生区全景视频。

例如，在第8分钟时，在教室左后方出现一个运动目标，在第10分钟时，位于教室左后方的运动目标消失即停止运动，紧接着在教室右前方出现另一运动目标，则在第8分钟时，切换至学生区特写视频，对学生区特写视频进行录制并作为课堂视频的一部分；在第10分钟时，切换至学生区全景视频，录制第八时长的学生区全景视频并将第八时长的学生区全景视频作为课堂视频的一部分，录制完毕之后，再切换至学生区全景视频，录制另一运动目标。学生一般人数较多，所处位置不同，若先录制学生区一个位置的运动目标，紧接着录制学生区另一位置的运动目标，则画面移动角度过大，导致录制出来的课堂视频画面不稳定，因此，插入一定时长的学生区全景视频作为缓冲，使得录制出来的课堂视频画面更加稳定。

在录制结束时即课堂结束时，结束对教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频的切换录制，得到课堂视频。

值得注意的是，同理步骤S102，为保证录制的各种视频的分辨率一致，将教师区全景视频和学生区全景视频的分辨率统一为固定分辨率，使得最终获取的教师区全景视频、教师区特写视频、学生区全景视频、学生区特写视频和课堂视频均为同一分辨率。

参照图4，目前很多的课堂录播系统除了采用多机位拍摄，还要求有自动跟踪功能，需配置探测机对教室内运动目标进行位置探测，跟踪机对运动目标进行特写跟踪，导致配置成本增加。参照图5，本申请中直接对教师区全景视频和学生区全景视频进行运动侦测，探测运动目标的位置，对运动目标进行抠图追踪，只需教师机和学生机即可完成对运动目标的位置探测和特写跟踪，课堂视频只需在录播机进行录制即可，成本大大降低。

目前，还有仅用一个教室全景摄像头来完成教室全景视频的拍摄，但是若教室全景摄像头设置在教室前方，则只能拍摄到教师背影，同理，若教室全景摄像头设置在教室后方，则只能拍摄到学生背影，因此，仅由一个教室全景摄像头来完成拍摄，无法看到所有师生的正脸，影响用户观看体验；而本申请不仅能得到教师区全景视频、教师区特写视频、学生区全景视频、学生区特写视频和课堂视频这5路视频，还能完成对师生的正脸拍摄，用户观看体验良好。

为了更好地实施以上方法，本申请实施例还提供了一种课堂录播装置，该装置具体可以集成在计算机设备中，例如终端或服务器等设备中，该终端可以包括但不限于手机、平板电脑或台式电脑等设备。

为了更好地实施以上方法，本申请实施例还提供了一种课堂录播装置，该装置具体可以集成在计算机设备中，例如终端或服务器等设备中，该终端可以包括但不限于手机、平板电脑或台式电脑等设备。

图6为本申请实施例提供的一种课堂录播装置的结构框图，如图6所示，该装置主要包括：

获取模块201，用于获取教师区全景视频和学生区全景视频；

第一抠图模块202，用于根据教师区全景视频中的运动目标，对教师区全景视频进行抠图，得到教师区特写视频；

第二抠图模块203，用于根据学生区全景视频中的运动目标，对学生区全景视频进行抠图，得到学生区特写视频；以及，

切换录制模块204，用于根据预设的切换策略，对教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频进行切换录制，得到课堂视频。

上述实施例提供的方法中的各种变化方式和具体实例同样适用于本实施例的课堂录播装置，通过前述对课堂录播方法的详细描述，本领域技术人员可以清楚的知道本实施例中的课堂录播装置的实施方法，为了说明书的简洁，在此不再详述。

为了更好地执行上述方法的程序，本申请实施例还提供一种计算机设备，如图7所示，计算机设备300包括存储器301和处理器302。

计算机设备300可以以各种形式来实施，包括手机、平板电脑、掌上电脑、笔记本电脑和台式计算机等设备。

其中，存储器301可用于存储指令、程序、代码、代码集或指令集。存储器301可以包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如对教师区全景视频和学生区全景视频进行运动侦测等)以及用于实现上述实施例提供的课堂录播方法的指令等；存储数据区可存储上述实施例提供的课堂录播方法中涉及到的数据等。

处理器302可以包括一个或者多个处理核心。处理器302通过运行或执行存储在存储器301内的指令、程序、代码集或指令集，调用存储在存储器301内的数据，执行本申请的各种功能和处理数据。处理器302可以为特定用途集成电路(Application SpecificIntegrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器302功能的电子器件还可以为其它，本申请实施例不作具体限定。

本申请实施例提供一种计算机可读存储介质，例如包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述实施例的课堂录播方法的计算机程序。

本申请具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。