一种视频处理方法及装置

技术领域

本发明涉及视频技术领域，尤其涉及一种视频处理方法及装置。

背景技术

在进行直播或者进行视频会议时，若主讲人不想透露当前所处的实际背景，则需要将主讲人人像从实际背景中分割出来，并将实际背景替换成虚拟背景。

在现有技术中，通常使用传统的OBS工具通过颜色来分割人像与背景，然而这种方法对于视频录制时的录制场景具有十分严格的要求，例如需要纯色滤布以及良好均匀的光线才能达到较好的效果。

发明内容

有鉴于此,本发明实施例提供了一种视频处理方法及装置，以使得无需专业录制场景，就可以高效、轻量化、高质量地对待处理视频进行人像分割和背景替换。

第一方面，本发明实施例提供一种视频处理方法，所述方法包括：

获取待处理视频与背景图；

从所述待处理视频中得到多个视频帧图；

对于各视频帧图，将所述视频帧图输入到分割模型，得到与所述视频帧图对应的二值化掩膜图；

根据所述视频帧图、所述二值化掩膜图以及所述背景图，生成与各视频帧图对应的合成图；

根据所述合成图生成视频。

进一步地，所述从所述待处理视频中得到多个视频帧图包括：

对所述待处理视频进行逐帧提取，得到所述待处理视频中的多个视频帧图。

进一步地，所述将所述视频帧图输入到分割模型，得到与所述视频帧图对应的二值化掩膜图包括：

将所述视频帧图输入所述分割模型的编码器部分，得到编码特征提取图；

将所述编码特征提取图中输入所述分割模型的解码器部分，得到所述二值化掩膜图。

进一步地，所述将所述视频帧图输入所述分割模型的编码器部分，得到编码特征提取图包括：

将所述视频帧图输入串联连接的第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块，得到所述编码特征提取图；

其中，所述第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块分别以前一个特征提取模块的输出作为输入。

进一步地，所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块均包括MobileNetV2结构。

进一步地，所述MobileNetV2结构包括顺序连接的3*3深度可分离卷积层、1*1卷积层、步长为2的3*3深度可分离卷积层以及1*1卷积层。

进一步地，所述将所述编码特征提取图输入所述分割模型的解码器部分，得到所述二值化掩膜图包括：

将所述编码特征提取图输入串联连接的第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块和第五上采样模块，得到解码特征还原图；

将所述解码特征还原图输入卷积预测层，得到所述二值化掩膜图；

其中，所述第二上采样模块、第三上采样模块、第四上采样模块和第五上采样模块分别以前一个上采样模块的输出作为输入。

进一步地，所述第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块和第五上采样模块均包括特征还原模块与转置卷积层；

其中，所述特征还原模块均采用残差结构。

进一步地，所述残差结构包括跳跃连接卷积层和顺序连接的3*3深度可分离卷积层、1*1卷积层、3*3深度可分离卷积层以及1*1卷积层；

其中，所述跳跃连接卷积层为1*1的卷积层，以所述编码器部分跳跃传递过来的特征提取图作为输入。

进一步地，所述将所述解码特征还原图输入卷积预测层，得到所述二值化掩膜图包括：

对所述解码特征还原图进行二值化处理，得到所述二值化掩膜图。

进一步地，所述分割模型基于二值交叉熵和focal-loss的联合损失函数训练获得；

其中，所述联合损失函数L根据如下公式计算：

L＝L

其中，n代表一幅图像的像素点总数，m代表图像边界的像素点总数，yi代表一幅图像中的第i个像素的标签，xi代表图像边界中的第i个像素的标签，ρi为第i个像素的属于分割目标的预测概率，γ为调节因子，λ为损失权重参数。

进一步地，所述图像边界标签为对所述解码特征还原图使用canny边缘检测算法进行处理后得到的输出。

进一步地，所述根据所述视频帧图、所述二值化掩膜图以及所述背景图，生成与各视频帧图对应的合成图包括：

对所述二值化掩模图进行归一化处理，得到归一化后的二值化掩模图；

根据如下公式对所述视频帧图、所述归一化后的二值化掩模图以及所述背景图进行图像运算处理，得到所述合成图I：

I＝αF+(1-α)B

其中，α为所述归一化后的掩模图，F为所述视频帧图，B为所述背景图。

第二方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。

第三方面，本发明实施例提供一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。

本发明实施例的方法在获取待处理视频与背景图后，会从待处理视频中得到多个视频帧图，然后分别将各视频帧图输入到分割模型，得到与各视频帧图对应的二值化掩膜图，再根据视频帧图、二值化掩膜图以及背景图，生成与各视频帧图对应的合成图，最后根据合成图重新生成视频，通过所述视频处理方法可以在不受录制场景限制的情况下对待处理视频进行高效轻量化高质量的人像分割和背景替换。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1为本发明实施例的视频处理方法的一种流程示意图；

图2为本发明实施例的视频处理方法的另一种流程示意图；

图3为本发明实施例的视频处理方法的又一种流程示意图；

图4为本发明实施例的分割模型的组成示意图；

图5为本发明实施例的特征提取模块的结构示意图；

图6为本发明实施例的上采样模块组成示意图；

图7是本发明实施例的一个视频帧图处理方法的流程示意图；

图8是本发明实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1为本发明实施例的视频处理方法的一种流程示意图。如图1所示，本实施例的视频处理方法包括如下步骤：

在步骤S101，获取待处理视频与背景图。

其中，所述待处理视频为需要进行人像分割和背景替换的视频，待处理视频可以是进行直播或进行视频会议过程中实时产生的视频流，也可以是录制完毕的视频，本实施例并不对此进行限制。所述背景图为主讲人所选择的虚拟背景图像，主讲人可以从本地端预设的背景图中进行选择，也可以是由主讲人自行上传。

例如：教师在录制完成课程视频后，想要将课程视频中的实际背景替换为与课程视频相关的上传图片，此时的待处理视频为录制完成的课程视频，背景图为教师所选择的与课程视频相关的上传图片。

又例如：教师正在进行教学直播，当讲解到某一知识点时，想要将当前实际背景替换为与该知识点相关的本地端图片，此时的待处理视频为录制过程中实时产生的数据流，背景图为教师所选择的与该知识点相关的本地端图片。

在步骤S102，从所述待处理视频中得到多个视频帧图。

具体地，一个视频由多个静止画面组成，每个静止画面为视频的一帧，在获取待处理视频后，可以从所述待处理视频中得到多个视频帧图。

例如：若获取的待处理视频为录制完成的课程视频，则可以从课程视频中得到多个课程视频帧图。

又例如：若获取的待处理视频为录制过程中实时产生的数据流，则可以先对数据流进行解码处理，然后再从解码处理后的数据流中得到多个课程视频帧图。

在步骤S103，对于各视频帧图，将所述视频帧图输入到分割模型，得到与所述视频帧图对应的二值化掩膜图。

具体地，将得到的视频帧图分别输入到分割模型中，得到与各视频帧图对应的二值化掩膜图。

图7是本发明实施例的一个视频帧图处理方法的流程示意图，处于保护图片中人物肖像的目的，本申请对于图7中人物的面部进行了模糊处理。应理解，在实际的应用中，人像可以是清晰的。如图7所示，视频帧图71为得到的多个视频帧图中的一个，在将视频帧图71输入分割模型后可以得到与其对应的二值化掩膜图72。

其中，所述分割模型为采用神经网络预先训练的模型，用于将分割目标从实际背景中分割出来，所述分割目标在本实施例中为人像目标，通过分割模型可以得到与各视频帧图对应的二值化掩膜图，所述二值化掩膜图为分割模型对视频帧图进行特征提取和二值化处理后得到，二值化掩膜图中的像素点的灰度值为0或255，分别属于视频帧图中的人像目标和背景目标。通过分割模型，可以从视频帧图中提取出人像目标和背景目标。

例如：课程视频帧图中的教师人像目标为分割目标，而其余部分则为背景目标。将课程视频帧图输入到分割模型后，分割模型会对课程视频帧图进行特征提取和二值化处理，得到与课程视频帧图对应的二值化掩膜图，所述二值化掩膜图由灰度值为0或255的像素点组成，分别属于教师人像目标和背景目标。

在步骤S104，根据所述视频帧图、所述二值化掩膜图以及所述背景图，生成与各视频帧图对应的合成图。

具体地，对视频帧图、二值化掩膜图以及背景图进行合成可以得到与各视频帧图对应的合成图，其中，所述合成图为对视频帧图进行人像分割和背景替换后的合成图。

如图7所示，根据视频帧图71、所述二值化掩膜图72以及所述背景图74，生成与视频帧图71对应的合成图73。

在另一种可实现方式中，也可以直接将待处理图片输入分割模型，从而得到与所述待处理图片对应的二值化掩膜图，再将待处理图片、二值化掩膜图和背景图进行合成，得到合成图。

例如：在得到与课程视频帧图对应的二值化掩膜图后，可以根据上传图片、课程视频帧图和二值化掩膜图，生成合成图，。

在步骤S105，根据所述合成图生成视频。

具体地，在得到与各视频帧图对应的合成图后，可以根据多个合成图重新生成视频。

可选地，所述处理方式可以是将多个合成图通过预定的图像处理程序进行合成。

可选地，若待处理视频为直播过程中实时产生的视频流数据，则还应将合成后的视频进行编码处理后，再重新转换为视频流。

本发明实施例在获取待处理视频与背景图后，会从待处理视频中得到多个视频帧图，然后分别将各视频帧图输入到分割模型，得到与各视频帧图对应的二值化掩膜图，再根据视频帧图、二值化掩膜图以及背景图，生成与各视频帧图对应的合成图，最后根据合成图重新生成视频，本实施例通过分割模型进行人像分割，可以在不受录制场景限制的情况下对待处理视频进行高效轻量化高质量的人像分割和背景替换。

图2为本发明实施例的视频处理方法的另一种流程示意图。如图2所示，本实施例的视频处理方法包括如下步骤：

S201：获取待处理视频与背景图。

S202：对所述待处理视频进行逐帧提取，得到所述待处理视频中的多个视频帧图。

S203：将所述视频帧图输入所述分割模型的编码器部分，得到编码特征提取图。

S204：将所述编码特征提取图中输入所述分割模型的解码器部分，得到所述二值化掩膜图。

S205：根据所述视频帧图、所述二值化掩膜图以及所述背景图，生成与各视频帧图对应的合成图。

S206：根据所述合成图生成视频

步骤S201和S205-S206可参见上述图1所示描述，在此不再赘述。

对于步骤S202，具体地，在获取待处理视频后，可以对待处理视频进行逐帧提取，得到待处理视频中的多个视频帧图，可选地，可以将待处理视频输入到图像处理软件来进行逐帧提取。

对于步骤S203，如图4所示，所述分割模型由编码器部分41和解码器42部分组成，其中，编码器部分41用于对输入的图像进行特征提取，特征提取的方式为对输入图像进行多次下采样操作，在多次下采样操作过程中，可以实现对输入图像由浅至深的特征提取。

具体地，在将视频帧图输入到分割模型后，视频帧图会先被传输到编码器部分，编码器部分对视频帧图进行多次下采样来提取特征，从而得到编码特征提取图，其中，所述编码特征提取图可以体现出视频帧图中的深度特征。

例如：在将572*572*1的视频帧图输入到编码器部分后，编码器部分会对该视频帧图进行深度特征提取，从而得到28*28*1024的编码特征提取图。

对于步骤S204，如图4所示，所述解码器部分用于对编码特征提取图进行特征还原，特征还原的方式为对编码特征提取图进行多次上采样，在多次上采样操作过程中，可以逐步还原编码特征提取图的特征。

具体地，在得到编码特征提取图后，分割模型会将编码特征提取图传输到分割模型的解码器部分，解码器部分会对编码特征提取图进行特征还原并进行二值化处理，得到二值化掩膜图。

例如：在将28*28*1024的编码特征提取图输入解码器部分后，解码器部分会对编码特征提取图进行特征还原，得到388*388*2的特征还原图，再对特征还原图进行二值化处理，得到二值化掩膜图。

可选地，如图4所示，在对编码特征提取图进行特征还原的过程中还可以获取解码器部分的对应特征提取图来进行特征拼接。

本发明实施例在获取待处理视频与背景图后，会从待处理视频中得到多个视频帧图，然后分别将各视频帧图输入到分割模型，得到与各视频帧图对应的二值化掩膜图，再根据视频帧图、二值化掩膜图以及背景图，生成与各视频帧图对应的合成图，最后根据合成图重新生成视频，本实施例通过分割模型进行人像分割，可以在不受录制场景限制的情况下对待处理视频进行高效轻量化高质量的人像分割和背景替换。

图3为本发明实施例的视频处理方法的又一种流程示意图。如图3所示，本实施例的视频处理方法包括如下步骤：

S301：获取待处理视频与背景图。

S302：对所述待处理视频进行逐帧提取，得到所述待处理视频中的多个视频帧图。

S303：将所述视频帧图输入串联连接的第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块，得到所述编码特征提取图。

S304：将所述编码特征提取图输入串联连接的第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块和第五上采样模块，得到解码特征还原图。

S305：将所述解码特征还原图输入卷积预测层，得到所述二值化掩膜图。

S306：对所述二值化掩模图进行归一化处理，得到归一化后的二值化掩模图。

S307：对所述视频帧图、所述归一化后的二值化掩模图以及所述背景图进行图像运算处理，得到所述合成图。

S308：根据所述合成图生成视频。

步骤S301-S302和S308可参见上述图2所示描述，在此不再赘述。

对于步骤S303，如图4所示，分割模型的编码器部分41由串联连接的第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块组成，可以对输入图像进行特征提取操作。

具体地，将视频帧图输入分割模型后，分割模型会将视频帧图传输到编码器部分，然后输入串联连接的第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块，进行多次特征提取，得到编码特征提取图。其中，第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块分别以前一个特征提取模块的输出作为输入。在此步骤中，视频帧图每通过一个特征提取模块时都会进行下采样操作来进行特征提取。

可选地，本实施例中的特征提取模块均采用MobileNetV2结构。图5为本发明实施例的特征提取模块的结构示意图，如图5所示，特征提取模块包括顺序连接的3*3深度可分离卷积层51、1*1卷积层52、步长为2的3*3深度可分离卷积层53以及1*1卷积层54。

其中，所述深度可分离卷积层为一种特殊的卷积层，在深度卷积时可以对每个输入通道分别进行卷积，加快卷积速度。

其中，3*3深度可分离卷积层51用于扩展输入图像的通道数，1*1卷积层52、步长为2的3*3深度可分离卷积层53以及1*1卷积层54可以暂时提高输入图像的通道数，然后进行卷积并进行下采样操作，之后再降低回原有通道数。

例如：将572*572*1的视频帧图输入到3*3深度可分离卷积层51扩展通道数得到570*570*64的特征图，然后将570*570*64的特征图输入1*1卷积层52时，会将该特征图的通道数暂时提高，得到570*570*128的特征图，然后再将570*570*128的特征图输入步长为2的3*3深度可分离卷积层53，进行卷积得到284*284*128的特征图，然后在将284*284*128的特征图输入1*1卷积层54降低通道数，得到284*284*64的特征图。

可选地，可以在卷积层后设置激活层，激活方式可以采用ReLu函数。

对于步骤S304，如图4所示，分割模型的解码器部分42由串联连接的第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块和第五上采样模块组成，其中，上采样模块用于对输入图像进行特征还原，卷积预测层用于对输入图像进行二值化处理。在此步骤中，编码特征提取图每通过一个上采样模块时都会进行特征还原。

具体地，在得到编码特征提取图后，分割模型会将编码特征提取图传输到解码器部分42，然后输入串联连接的第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块和第五上采样模块，得到解码特征还原图。其中，第二上采样模块、第三上采样模块、第四上采样模块和第五上采样模块分别以前一个上采样模块的输出作为输入。

可选地，第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块和第五上采样模块均包括特征还原模块与转置卷积层。所述特征还原模块用于对输入图像进行特征还原，所述转置卷积层用于对输入图像进行上采样操作。

可选地，本实施例中的特征还原模块均采用残差结构。图6为本发明实施例的上采样模块组成示意图，如图6所示，上采样模块包括转置卷积层61和特征还原模块62，其中，特征还原模块62包括跳跃连接卷积层625和顺序连接的3*3深度可分离卷积层621、1*1卷积层622、3*3深度可分离卷积层623以及1*1卷积层624。

其中，3*3深度可分离卷积层621用于降低输入图像的通道数，1*1卷积层622、3*3深度可分离卷积层623以及1*1卷积层624可以暂时降低输入图像的通道数，然后进行卷积，之后再恢复原有通道数。跳跃连接卷积层625的输入为编码器部分跳跃传递过来的特征提取图。

例如：28*28*1024的编码特征提取图输入上采样模块时，上采样模块会将28*28*1024的编码特征提取图传输到3*3深度可分离卷积层621，减低通道数得到26*26*512的特征图，再将26*26*512的特征图输入1*1卷积层622暂时降低通道数得到26*26*256的特征图，再将26*26*256的特征图输入3*3深度可分离卷积层623进行卷积得到24*24*256的特征图，再将24*24*256的特征图输入1*1卷积层624恢复通道数得到24*24*512的特征图，此时将跳跃连接过来的与编码器部分对应的特征提取图24*24*512通过跳跃连接卷积层625进行卷积后与得到的24*24*512的特征图进行叠加得到24*24*1024的特征图，再进行上采样得到48*48*512的特征图。

可选地，可以在卷积层后设置激活层，激活方式可以采用ReLu函数。

可选地，在叠加特征图前对被叠加特征图进行归一化处理。

对于步骤S305，在得到解码特征还原图后，将解码特征还原图输入卷积预测层，可以得到二值化掩膜图。

可选地，卷积预测层可以通过Sigmoid函数对解码特征还原图中的每一个像素点进行遍历，得到每个像素的置信度，其中，所述置信度范围限制在0到1之间，每个像素点的置信度与该像素点属于分割目标的概率成正比，对每个像素的置信度进行判断，将置信度大于一定阈值(例如0.5)的像素点的置信度重置为1，将置信度小于0.5的像素点的置信度重置为0，再将每个像素点的重置后的置信度乘以255并作为各个像素点的像素值，来得到二值化掩模图。

对于步骤S306，具体地，在得到二值化掩模图后，对二值化掩模图进行归一化处理。

对于步骤S307，具体地，根据如下公式对所述视频帧图、所述归一化后的二值化掩模图以及所述背景图进行图像运算处理，得到所述合成图I：

I＝αF+(1-α)B

其中，α为所述归一化后的掩模图，F为所述视频帧图，B为所述背景图。

本实施例中的分割模型基于二值交叉熵和focal-loss的联合损失函数训练获得，其中，所述二值交叉熵可以计算出掩膜损失，所述focal-loss可以计算出边界损失。

具体地，联合损失函数L根据如下公式计算：

L＝L

其中，n代表一幅图像的像素点总数，m代表图像边界的像素点总数，yi代表一幅图像中的第i个像素的标签，xi代表图像边界中的第i个像素的标签，ρi为第i个像素的属于分割目标的预测概率，γ为预定的调节因子，λ为预定的损失权重参数。

可选地，图像边界可以在卷积预测层通过对解码特征还原图使用canny边缘检测算法进行处理后得到。

本发明实施例在图2所示方法的基础上，通过包括MobileNetV2结构的特征提取模块、包括残差结构和转置卷积层的特征还原模块以及卷积预测层，对视频帧图进行处理，实现了高效轻量化的人像分割，同时本实施例还采用联合函数训练所述分割模型，提高了人像分割准确度。

图8是本发明实施例的电子设备的示意图。如图8所示，电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器81和存储器82。处理器81和存储器82通过总线83连接。存储器82适于存储处理器81可执行的指令或程序。处理器81可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器81通过执行存储器82所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线83将上述多个组件连接在一起，同时将上述组件连接到显示控制器84和显示装置以及输入/输出(I/O)装置85。输入/输出(I/O)装置85可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置85通过输入/输出(I/O)控制器86与系统相连。

本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品。

本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。

这些计算机程序指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。

也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

本发明的另一实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。