一种自动选择抠像方式的直播方法、系统及电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种自动选择抠像方式的直播方法、系统及电子设备。

背景技术

目前随着直播行业的发展，在进行直播活动中，基本通过摄像头等设备进行现场视频数据采集后，通过网络设备进行普通的压缩、滤波等处理后即直接进行播放活动，但是其只能在背景为绿幕的场景下实现绿幕抠像，导致直播使用场景局限性较大，进一步的，降低直播的稳定性和可靠性。

发明内容

本发明的目的在于提供一种自动选择抠像方式的直播方法、系统及电子设备，用于解决现有只能在背景为绿幕的场景下实现绿幕抠像，导致直播使用场景局限性较大，进一步的，降低直播的稳定性和可靠性的问题。

第一方面，本发明提供一种自动选择抠像方式的直播方法，所述方法包括：

获取实时采集的画面环境信息；

基于所述画面环境信息确定背景信息；

基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息；

将所述人物图像信息和预设虚拟背景进行合成渲染处理，得到目标合成图像信息；

将所述目标合成图像信息输出至虚拟直播模块完成直播推流。

与现有技术相比，本申请实施例提供的自动选择抠像方式的直播方法，可以通过获取实时采集的画面环境信息；基于所述画面环境信息确定背景信息；基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息，可以实现不同的背景信息对应的不同的抠图方式完成抠图，可以扩展直播过程中的使用场景，将所述人物图像信息和预设虚拟背景进行合成渲染处理，得到目标合成图像信息；将所述目标合成图像信息输出至虚拟直播模块完成直播推流，进一步的，可以提高直播的稳定性和可靠性。

在一种可能的实现方式中，所述基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息，包括：

在所述背景信息为绿幕背景的情况下，基于所述绿幕背景对应的绿幕抠像方式，剔除纹理中的绿色通道完成抠图，确定所述人物图像信息。

在一种可能的实现方式中，基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息，包括：

在所述背景信息为真实背景的情况下，基于所述真实背景对应的人工智能抠像方式完成抠图，确定所述人物图像信息。

在一种可能的实现方式中，基于所述真实背景对应的人工智能抠像方式完成抠图，确定所述人物图像信息，包括：

基于所述真实背景对应的人工智能抠像方式，从不同背景的单个输入图像中平滑地动态处理人像完成抠图，确定所述人物图像信息。

在一种可能的实现方式中，所述将所述人物图像信息和预设虚拟背景进行合成渲染处理，得到目标合成图像信息，包括：

将所述人物图像信息渲染到带有透明通道的渲染目标中，完成与所述预设虚拟背景的合成，得到所述目标合成图像信息。

在一种可能的实现方式中，所述基于所述画面环境信息确定背景信息，包括：

通过人脸深度学习模型识别所述画面环境信息中除去人像部分的像素矩阵；

基于所述像素矩阵确定所述背景信息为绿幕背景或真实背景。

第二方面，本发明还提供一种自动选择抠像方式的直播系统，所述系统包括画面环境模块、以及分别和所述画面环境模块连接的图像采集模块、系统控制模块和图像处理模块，还包括分别和所述图像采集模块以及所述图像处理模块连接的虚拟直播模块；

所述图像采集模块，用于获取实时采集的所述画面环境模块中的画面环境信息；

所述系统控制模块，用于基于所述画面环境信息确定背景信息；

所述系统控制模块，还用于基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息；

所述图像处理模块，用于将所述人物图像信息和预设虚拟背景进行合成渲染处理，得到目标合成图像信息；

所述虚拟直播模块，用于基于所述目标合成图像信息完成直播推流。

在一种可能的实现方式中，所述系统还包括存储模块，所述存储模块分别和所述系统控制模块以及所述图像处理模块连接；

所述存储模块，用于存储所述目标合成图像信息。

在一种可能的实现方式中，所述系统控制模块，还用于基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息，包括：

所述系统控制模块，用于在所述背景信息为绿幕背景的情况下，基于所述绿幕背景对应的绿幕抠像方式，剔除纹理中的绿色通道完成抠图，确定所述人物图像信息。

所述系统控制模块，用于在所述背景信息为真实背景的情况下，基于所述真实背景对应的人工智能抠像方式完成抠图，确定所述人物图像信息。

第三方面，本发明还提供一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得可以执行第一方面任一所述的自动选择抠像方式的直播方法。

与现有技术相比，本发明提供的自动选择抠像方式的直播系统及电子设备的有益效果与上述技术方案所述自动选择抠像方式的直播方法的有益效果相同，此处不做赘述。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了本申请实施例提供的一种自动选择抠像方式的直播方法的流程示意图；

图2示出了本申请实施例提供的另一种自动选择抠像方式的直播方法的流程示意图；

图3示出了本申请实施例提供的一种绿幕抠像的示意图；

图4示出了本申请实施例提供的一种AI抠像方式的示意图；

图5示出了本申请实施例提供的一种自动选择抠像方式的直播系统的结构示意图；

图6示出了本申请实施例提供的一种直播设备的结构示意图；

图7示出了本发明实施例提供的一种电子设备的硬件结构示意图；

图8是本发明实施例提供的芯片的结构示意图。

具体实施方式

为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。

图1示出了本申请实施例提供的一种自动选择抠像方式的直播方法的流程示意图，如图1所示，所述方法包括：

步骤101：获取实时采集的画面环境信息。

在本申请中，可以获取电子设备例如媒体播放器中的外接摄像头的画面，或者通过串行数字接口(Serial Digital Interface，SDI)信号获取摄像机画面，并将画面渲染到媒体纹理中，得到画面环境信息。

步骤102：基于所述画面环境信息确定背景信息。

在本申请中，可以通过人脸深度学习模型识别所述画面环境信息中除去人像部分的像素矩阵；基于所述像素矩阵确定所述背景信息为绿幕背景或真实背景。

步骤103：基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息。

其中，在所述背景信息为绿幕背景的情况下，基于所述绿幕背景对应的绿幕抠像方式，剔除纹理中的绿色通道完成抠图，确定所述人物图像信息。

在所述背景信息为真实背景的情况下，基于所述真实背景对应的人工智能抠像方式完成抠图，确定所述人物图像信息。

步骤104：将所述人物图像信息和预设虚拟背景进行合成渲染处理，得到目标合成图像信息。

在本申请中，可以将所述人物图像信息渲染到带有透明通道的渲染目标中，完成与所述预设虚拟背景的合成，得到所述目标合成图像信息。

步骤105：将所述目标合成图像信息输出至虚拟直播模块完成直播推流。

综上所述，本申请实施例提供的自动选择抠像方式的直播方法，可以通过获取实时采集的画面环境信息；基于所述画面环境信息确定背景信息；基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息，可以实现不同的背景信息对应的不同的抠图方式完成抠图，可以扩展直播过程中的使用场景，将所述人物图像信息和预设虚拟背景进行合成渲染处理，得到目标合成图像信息；将所述目标合成图像信息输出至虚拟直播模块完成直播推流，进一步的，可以提高直播的稳定性和可靠性。

图2示出了本申请实施例提供的另一种自动选择抠像方式的直播方法的流程示意图，如图2所示，所述方法包括：

步骤201：获取实时采集的画面环境信息。

在本申请中，可以获取电子设备例如媒体播放器中的外接摄像头的画面，或者通过串行数字接口(Serial Digital Interface，SDI)信号获取摄像机画面，并将画面渲染到媒体纹理中，得到画面环境信息。

步骤202：基于所述画面环境信息确定背景信息。

在本申请中，通过人脸深度学习模型识别所述画面环境信息中除去人像部分的像素矩阵；基于所述像素矩阵确定所述背景信息为绿幕背景或真实背景。

步骤203：在所述背景信息为绿幕背景的情况下，基于所述绿幕背景对应的绿幕抠像方式，剔除纹理中的绿色通道完成抠图，确定所述人物图像信息。

在本申请中，图3示出了本申请实施例提供的一种绿幕抠像的示意图，当检测到背景信息为绿幕背景的情况下，可以采用基于虚拟发动机合成(Unreal Engine Composure)模块的绿幕抠像形式，剔除纹理中的绿色通道完成抠图。

步骤204：在所述背景信息为真实背景的情况下，基于所述真实背景对应的人工智能抠像方式完成抠图，确定所述人物图像信息。

其中，可以基于所述真实背景对应的人工智能抠像方式，从不同背景的单个输入图像中平滑地动态处理人像完成抠图，确定所述人物图像信息。

具体的，图4示出了本申请实施例提供的一种AI抠像方式的示意图，可以采用基于轻量级的目标分解网络MOD Net实现的人工智能(AI)抠像方式，从不同背景的单个输入图像中平滑地处理动态人像。

步骤205：将所述人物图像信息渲染到带有透明通道的渲染目标中，完成与所述预设虚拟背景的合成，得到所述目标合成图像信息。

在本申请中，真实背景和绿幕背景两种形式的抠像得到的人物图像信息均会渲染到带有透明通道的渲染目标(RenderTarget)中，用于与预设虚拟背景进行合成。

步骤206：将所述目标合成图像信息输出至虚拟直播模块完成直播推流。

综上所述，本申请实施例提供的自动选择抠像方式的直播方法，可以通过获取实时采集的画面环境信息；基于所述画面环境信息确定背景信息；基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息，可以实现不同的背景信息对应的不同的抠图方式完成抠图，可以扩展直播过程中的使用场景，将所述人物图像信息和预设虚拟背景进行合成渲染处理，得到目标合成图像信息；将所述目标合成图像信息输出至虚拟直播模块完成直播推流，进一步的，可以提高直播的稳定性和可靠性。

图5示出了本申请实施例提供的一种自动选择抠像方式的直播系统的结构示意图，如图5所示，所述自动选择抠像方式的直播系统包括：

画面环境模块301、以及分别和所述画面环境模块301连接的图像采集模块302、系统控制模块303和图像处理模块304，还包括分别和所述图像采集模块302以及所述图像处理模块304连接的虚拟直播模块305；

所述图像采集模块302，用于获取实时采集的所述画面环境模块301中的画面环境信息；

其中，画面环境可以为绿幕背景或真实背景。

所述系统控制模块303，用于基于所述画面环境信息确定背景信息；

所述系统控制模块303，还用于基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息；

所述图像处理模块304，用于将所述人物图像信息和预设虚拟背景进行合成渲染处理，得到目标合成图像信息；

所述虚拟直播模块305，用于基于所述目标合成图像信息完成直播推流。

具体的，虚拟直播模块可以通过OBS、直播助手等软件拉取虚拟摄像头设备上的画面以推流，进行直播推送。

可选的，参见图5，所述直播系统还包括存储模块306，所述存储模块306分别和所述系统控制模块303以及所述图像处理模块304连接；

所述存储模块306，用于存储所述目标合成图像信息。

具体的，系统控制模块以及图像处理模块能够将原始画面或处理后的合成画面也即是目标合成图像信息通过存储模块保存成本地视频文件。

可选的，所述系统控制模块，还用于基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息，包括：

所述系统控制模块，用于在所述背景信息为绿幕背景的情况下，基于所述绿幕背景对应的绿幕抠像方式，剔除纹理中的绿色通道完成抠图，确定所述人物图像信息。

所述系统控制模块，用于在所述背景信息为真实背景的情况下，基于所述真实背景对应的人工智能抠像方式完成抠图，确定所述人物图像信息。

综上所述，本申请实施例提供的自动选择抠像方式的直播系统，可以通过获取实时采集的画面环境信息；基于所述画面环境信息确定背景信息；基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息，可以实现不同的背景信息对应的不同的抠图方式完成抠图，可以扩展直播过程中的使用场景，将所述人物图像信息和预设虚拟背景进行合成渲染处理，得到目标合成图像信息；将所述目标合成图像信息输出至虚拟直播模块完成直播推流，进一步的，可以提高直播的稳定性和可靠性。

上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

图6示出了本申请实施例提供的一种直播设备的结构示意图，该直播可以设备可以实现本申请所述的自动选择抠像方式的直播方法，该直播设备400可以包括摄像装置401、以及依次与摄像装置401连接的处理器402和存储器403，还包括和处理器402分别连接的网络接口404和其他外部接口405，其他外部接口405和外部设备406连接，所述存储器403包括计算机程序子模块4031、以及和所述计算机程序子模块4031依次连接的数据库子模块4032和操作系统子模块4033。

其中，摄像装置401可以用于采集画面环境信息，并将当前图像帧传输至处理器402，存储器403可以通过计算机程序子模块4031存储计算机程序、通过数据库子模块4032存储数据库等，并通过操作系统子模块4033为程序的运行提供环境；

处理器402可以包括中央处理器(central processing unit，CPU)和图形处理器(GraphicProcessingUnit，GPU)，用于运行计算机程序以执行画面环境检测、抠图方式切换、实时抠图以及图像合成渲染、推流等操作；

其他外部接口405用于与其他外部设备进行通信或交互，外部设备可以为手机、路由等，本申请实施例对此不作具体限定，可以根据实际应用场景做具体调整。

需要说明的是，该设备可以是一台计算机，包括处理器、存储器、网络接口、摄像装置、显示屏和外部设备等。其中，处理器用于提供计算和控制能力，用于运行计算机程序以执行画面环境检测、抠图方式切换、实时抠图以及图像合成渲染、推流等操作；存储器存储有数据库、操作系统和计算机程序；网络接口用于与外部设备进行网络连接通信；摄像装置可以是计算机自带摄像头或外接摄像装置，用于采集实时图像；显示屏可以是液晶显示屏或者电子墨水显示屏，用于显示当前采集画面以及抠图、图像合成后的实时画面；外部设备可以是计算机设备外壳上设置的按键、触控板或外接的键盘、鼠标等。

综上所述，本申请实施例提供的自动选择抠像方式的直播设备，可以通过获取实时采集的画面环境信息；基于所述画面环境信息确定背景信息；基于所述背景信息对应的抠图方式完成抠图，确定人物图像信息，可以实现不同的背景信息对应的不同的抠图方式完成抠图，可以扩展直播过程中的使用场景，将所述人物图像信息和预设虚拟背景进行合成渲染处理，得到目标合成图像信息；将所述目标合成图像信息输出至虚拟直播模块完成直播推流，进一步的，可以提高直播的稳定性和可靠性。

图7示出了本发明实施例提供的一种电子设备的硬件结构示意图。如图7所示，该电子设备50包括处理器402和通信接口502。

如图7所示，上述处理器可以是一个通用中央处理器(central processing unit，CPU)，微处理器，专用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。上述通信接口可以为一个或多个。通信接口可使用任何收发器一类的装置，用于与其他设备或通信网络通信。

如图7所示，上述终端设备还可以包括通信线路503。通信线路可包括一通路，在上述组件之间传送信息。

可选的，如图7所示，该终端设备还可以包括存储器403。存储器用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。

如图7所示，上述存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。

可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。

在具体实现中，作为一种实施例，如图7所示，处理器402可以包括一个或多个CPU。

在具体实现中，作为一种实施例，如图7所示，终端设备可以包括多个处理器。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。

图8是本发明实施例提供的芯片的结构示意图。如图8所示，该芯片60包括一个或两个以上(包括两个)处理器402和通信接口502。

可选的，如图8所示，该芯片还包括存储器403，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。

在一些实施方式中，如图8所示，存储器存储了如下的元素，执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

在本发明实施例中，如图8所示，通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。

如图8所示，处理器控制终端设备中任一个的处理操作，处理器还可以称为中央处理单元(central processing unit，CPU)。

如图8所示，存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图8中将各种总线都标为总线系统601。

如图8所示，上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

一方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被运行时，实现上述实施例中由技术等级确定设备执行的功能。

一方面，提供一种芯片，该芯片应用于终端设备中，芯片包括至少一个处理器和通信接口，通信接口和至少一个处理器耦合，处理器用于运行指令，以实现上述实施例中由技术等级确定设备执行的功能。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。