基于机器视觉自动录屏方法及智慧屏、存储介质

技术领域

本说明书涉及通信技术领域，尤其涉及基于机器视觉自动录屏方法及智慧屏、存储介质。

背景技术

随着计算机视觉技术和互联网技术的不断发展，相比传统的粉笔课堂互动教学模式，实时互动的智慧课堂录制模式开始兴起，让老师和学生们有一个全新的教学互动体验。现有的教室课堂录播共享系统，只能看到录制的屏幕内容，不能够同时观察到老师上课指着屏幕的内容以及表情动作的变化，或者只能观察看到实时老师上课的监控内容，却不能看清楚屏幕上的内容。

发明人通过检索，检索到现有技术《基于多摄像机自动跟踪联动的录播互动系统及方法》(申请人：弓明明、祁晓新、马玉冰等)。该专利主要设计了多摄像头机的教室课堂录播互动系统，包含行为分析跟踪切换模块、互动录播模块、导播控制模块等。但是该方案只是通过多个摄像头从不同角度录制了教师课堂的上课内容，需要通过多个视频流去观看现场老师上课的情况，且录播背景要求严格。

发明内容

为克服相关技术中存在的问题，本说明书提供了基于机器视觉自动录屏方法及智慧屏、存储介质。

根据本说明书实施例的第一方面基于机器视觉自动录屏方法，包括：

获取带有主讲和智慧屏讲解内容的视频流；

通过智慧屏同时对讲解内容进行录制；

通过屏幕检测算法检测视频流中的屏幕边框区域；

通过人形检测算法检测视频流中的人形区域；

对相同时刻视频帧图像屏幕边框区域以及人形区域取交集，视频帧中取交集出现相同的人形区域次数最多的确定为主讲；

对视频流中主讲数据处理后进行人形轮廓抠图；

对相同时刻主讲轮廓抠图与录制的讲解内容进行视频融合。

优选的，通过屏幕检测算法检测视频流中的屏幕边框区域包括：

通过标记软件对带有主讲和智慧屏讲解内容的视频流中每帧图片中带有屏幕边框位置进行标记；

在样本达到设定数量后对带有屏幕边框位置标记的样本进行屏幕检测模型训练；

通过屏幕检测模型获取视频流中屏幕边框区域。

优选的，对视频流中主讲数据处理后进行人形轮廓抠图方法包括：

对视频流中获取的人形区域依次序进行缓存；

将取交集后有完整主讲人形轮廓和屏幕边框区域的视频帧图像进行图像参数修改，缩小图片存储容量，并对修改后的视频帧图像通过人形抠图算法进行抠图；

将获取的屏幕区域内无主讲或只有部分人形轮廓的主讲的视频帧图片与缓存的人形区域对应视频帧图片进行比较，进行图像矫正；

对矫正后的图像进行人形抠图。

优选的，所述通过标记软件对带有主讲和智慧屏讲解内容的视频流中每帧图片中带有屏幕边框位置进行标记方法包括：

获取摄像机画面中智慧屏所在的位置；

通过确定和画面中心与屏幕边框四个顶点之间位置关系对屏幕边框的四个点进行标记。

进一步地，对抠图的人形区域进行人脸识别，并进行人脸美容处理，对美容处理后的人脸与原人形区域图片进行融合。

优选的，通过人脸分割算法获取主讲人脸边框区域，并对人脸进行美容处理。

进一步地，将美容处理后的人形图片进行自适应比例放大至智慧屏录制比例，取出只有主讲的alpha图像。

进一步地，将只有主讲的alpha图像与录制的讲解内容进行对帧融合。

本申请第二方面提供了智慧屏，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述基于机器视觉自动录屏方法。

本申请第三方面提供了存储介质，其上存储有计算机程序指令，程序指令被处理器执行时用于实现上述基于机器视觉自动录屏方法。

本说明书的实施例提供的技术方案可以包括以下有益效果：

本说明书实施例只需要一台摄像机进行录制，且在任何环境都可实现录播。不受场景限制，使用方便，且由于讲解内容是录制视频，因此视频图像清晰。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本申请实施例流程示意图；

图2是本申请视频流中检测屏幕边框区域方法流程示意图；

图3是本申请对视频流中主讲人形轮廓抠图方法流程示意图；

图4是本申请智慧屏硬件框架示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

为了解决背景技术中存在的问题，本申请提供了本申请提供了基于机器视觉自动录屏方法，如图1所示，包括：

101：获取带有主讲和智慧屏讲解内容的视频流；

通过摄像机采集带有主讲和智慧屏讲解内容的视频流，采集过程中要确保拍摄到智慧屏的屏幕边框。

102：通过智慧屏同时对讲解内容进行录制；

在用摄像机录制视频流的同时，开启智慧屏内部的录制功能，以录制主讲讲课过程中的讲解内容。

103：通过屏幕检测算法检测视频流中的屏幕边框区域；

方法如图2所示，包括：

1031：通过标记软件将视频流中每帧带有主讲和讲解内容的图像中的屏幕边框位置进行标记。例如：首先要获取摄像机画面中智慧屏所在的位置，例如获取画面中心的坐标，通过确定和画面中心与屏幕边框四个顶点之间位置关系对屏幕边框的四个点进行标记。通过标记获取四个顶点标记号以及标记点的坐标(x

1032：当标记的样本数量达到设定数量后对带有屏幕边框位置标记的样本进行屏幕检测模型训练。训练过程中，可通过人工审核修改错误的自动标记信息，以提高屏幕检测模型准确率。

1033：通过屏幕检测模型获取视频流中屏幕边框区域。当通过多次的上述行为，屏幕检测模型自动标记的准确率达到设定值以后，通过屏幕检测模型获取视频流中屏幕边框区域。

为了提高实际使用过程中智慧屏目标检测的稳定性，避免场景内灯光亮度不同，以及屏幕反光的问题，需要对采集到的智慧屏图像进行图像亮度变化和对比度变化等方式进行图像数据增强。

这里的屏幕检测算法是现有技术在此不再赘述。

104：通过人形检测算法检测视频流中的人形区域；

若视频帧图像中包括多个人，这里可以同时检测出有多个人形区域。获取人形区域，通过先获取人形区域的关键点坐标，再基于关键点坐标获取人形区域。这里的人形检测算法是现有技术在此不再赘述。

105：对相同时刻视频帧图像屏幕边框区域以及人形区域取交集，视频帧中取交集出现相同的人形区域次数最多的确定为主讲；

因为在在整个视频流中即使有其他人如学生、或其他老师的出现看，但主讲出现在视频帧图像中次数大概率是最多的，因此通过取交集计算出现相同人形区域出现次数最多的应该是主讲。

106：对视频流中主讲数据处理后进行人形轮廓抠图；

方法如图3所示，包括：

1061：对视频流图像帧中获取的主讲人形区域依次序进行缓存；

将视频流中每帧主讲人形区域依时间顺序进行排列和缓存。且在缓存时不一定要按照存储地址的前后顺序进行，只要按照设定的规则即可，都在本申请保护范围之内。

1062：将取交集后有完整主讲人形轮廓和屏幕边框区域的视频帧图像进行图像参数修改，缩小图片存储容量，并对修改后的视频帧图像通过人形抠图算法进行抠图；

视频帧图像可通过修改例如图片的高度像素、宽度像素、图片的水平分辨率和垂直分辨率以及位深度等参数以达到降低图片存储容量的目的。这样做相当于将原本拍摄的高清或超清图片修改为例如标清图片，以减少存储。通常采用知识蒸馏、量化处理等方式，由于是现有技术，在此不再赘述。这里的人形抠图算法是现有技术，在此不再赘述。

1063：将获取的屏幕区域内无主讲或只有部分人形轮廓的主讲的视频帧图片与缓存的人形区域对应视频帧图片进行比较，进行图像矫正；

在进行比较和矫正过程中，至少要知道找到相同时刻的视频帧图片以及视频帧图片中人形区域所在的位置。

由于摄像机的规格已知，因此可知道拍摄视频流的帧率，比如高清60帧/秒。那么缓存的相邻两帧图像之间的时间为1/60秒。

通过人形检测算法获取人形区域过程中已获取人形区域关键点的坐标。这里可以对关键点坐标取权重以得到一个可以代表人形区域的坐标(x

通过相同时刻、相同位置通过屏幕区域获取的不全或没有主讲人形轮廓与缓存的视频帧图片中主讲人形区域比较，以及前后帧图像的比较，对不全或没有的主讲人形轮廓进行补全。在这里如果主讲在讲课过程中远离屏幕则通过屏幕区域是无法获取到任何主讲人形轮廓的，这时可直接取视频流中对应主讲的人形轮廓。

对矫正后的图像进行人形抠图。

通过先识别人形区域再抠图的方式，不容易将不属于人形区域的部分抠图入内，画面效果好。

107：对相同时刻主讲轮廓抠图与录制的讲解内容进行视频融合。

根据对应时刻主讲轮廓抠图所述的位置将主讲轮廓抠图与录制讲解内容进行叠加融合。将主讲人形轮廓图片进行自适应比例放大至智慧屏录制比例，取出只有主讲的人形轮廓抠图。这里主讲轮廓抠图最好采用背景为透明色的alpha图，这样在做视频融合过程中不会产生视频偏差。

在上述步骤中，由于是对视频流每帧图像以及屏幕边框图片都分别进行处理，因此若在录制过程中出现与讲解内容无关的内容，可在处理过程中对无关帧图像进行删除，只保留与讲解内容相关的内容。保证录制的高质量，以及避免了反复录播的问题。

101-107步骤中，并不一定要按所写顺序执行，有些可调换顺序或并列执行。例如步骤101和步骤102可调换顺序，当然也可并列执行。即使顺序改变但所起的作用和效果相同，因此也在本申请保护范围之内。其他具有相同情况也在本申请保护范围之内。

为了使主讲人物形象更美观，在步骤107之前可以对主讲轮廓抠图进行人脸识别，并进行人脸美容处理。人脸识别的方式可通过人脸分割算法获取。由于老师人脸存在角度不同，光照不同以及人脸模糊情况不同，因此需要对训练的人脸进行不同角度的旋转、不同亮度的改变以及马赛克增强等方式进行人脸图像数据的增强处理。当然若人形区域获取的人脸关键点比较密集，也可直接通过人脸关键点获取。

在这里主要对主讲脸部的斑点、瑕疵区域进行去除等美容PS处理方式处理。由于是常规处理方式，因此不再细化。

将美容处理后的人形图片进行自适应比例放大至智慧屏录制比例，取出只有主讲的alpha图像。将只有主讲的alpha图像与录制的讲解内容进行对帧融合。

本申请实施例可只需要一台摄像机进行录制，由于采用主讲人形轮廓抠图和录制视频的融合，在任何环境都可实现录播，不受场景限制，使用方便，且由于讲解内容是录制视频，因此视频图像清晰。

智慧屏，如图4所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述基于机器视觉自动录屏方法。

存储介质，其上存储有计算机程序指令，程序指令被处理器执行时用于实现上述基于机器视觉自动录屏方法。

上述实施方式阐明的系统，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本领域内的技术人员应明白，本公开的实施方式可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本公开实施方式可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域技术人员应明白，本公开的实施方式可提供为方法、系统或计算机程序产品。因此，本公开可以采用完全硬件实施方式、完全软件实施方式、或者结合软件和硬件方面的实施方式的形式。而且，本公开可以采用在一个或者多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。