视频对象分割方法、装置及计算机设备

技术领域

本申请主要涉及图像处理技术领域，更具体地说是涉及一种视频对象分割方法、装置及计算机设备。

背景技术

随着人工智能和图像处理技术的发展，通常会将人工智能的方法应用到视频对象分割中，具体将利用上一帧输出的掩膜(Mask)图像，指导实现对当前视频帧的对象分割处理，从而将对象区域快速且准确地从视频中分割出来，满足后续图像处理需求。

然而，在实际应用中，以视频会议为例，若参与该视频会议的用户快速移动，将会导致上一帧输出的掩膜图像的对象分割效果不稳定，进而扰乱当前视频帧的对象分割结果，导致后续各帧的对象分割结果越来越差，甚至会出现如桌椅等视频会议中的其他对象被拖出的现象。

可见，在动态的视频对象分割场景下，如何精准实现视频对象分割，保证输出视频图像可靠性成为技术人员亟需解决的问题。

发明内容

有鉴于此，本申请提供了以下技术方案：

一方面，本申请提出了一种视频对象分割方法，所述方法包括：

获取第一视频帧以及所述第一视频帧相邻的历史视频帧的历史掩膜图像；

按照第一分割方式，利用所述历史掩膜图像和所述第一视频帧进行对象分割处理，得到所述第一视频帧的第一掩膜图像；

按照第二分割方式，利用所述第一视频帧进行对象分割处理，得到所述第一视频帧的校准掩膜图像；

在所述校准掩膜图像与所述第一掩膜图像的比较结果满足视频分割校准条件的情况下，以所述校准掩膜图像作为所述第一视频帧的目标掩膜图像输出。

在一些实施例中，所述第一掩膜图像与所述校准掩膜图像的比较过程包括：

获取所述第一掩膜图像的第一属性信息，以及所述校准掩膜图像的第二属性信息；

对所述第一属性信息和所述第二属性信息进行比较，得到所述第一掩膜图像与所述校准掩膜图像各自的对象分割区域之间的属性差异；

所述校准掩膜图像与所述第一掩膜图像的比较结果满足视频分割校准条件，包括：

所述属性差异达到视频分割校准阈值。

在一些实施例中，所述获取所述第一掩膜图像的第一属性信息，以及所述校准掩膜图像的第二属性信息，包括：

分别对所述第一掩膜图像和所述校准掩膜图像各自包含的对象分割区域进行像素统计，得到所述第一掩膜图像中对象分割区域的第一区域面积，以及所述校准掩膜图像中对象分割区域的第二区域面积；

所述对所述第一属性信息和所述第二属性信息进行比较，得到所述第一掩膜图像与所述校准掩膜图像各自的对象分割区域之间的属性差异，包括：

对所述第一区域面积与所述第二区域面积进行差值运算，得到所述第一掩膜图像与所述校准掩膜图像各自的对象分割区域之间的区域面积差。

在一些实施例中，所述方法还包括：

获取所述第一视频帧的分割状态信息；

在所述分割状态信息满足视频校准条件的情况下，执行所述按照第二分割方式，利用所述第一视频帧进行对象分割处理，得到所述第一视频帧的校准掩膜图像步骤。

在一些实施例中，所述分割状态信息满足视频校准条件包括：

获取所述第一视频帧对应的校准时间间隔，确定所述校准时间间隔达到视频校准时间间隔阈值；其中，所述校准时间间隔是指所述第一视频帧的获取时间点与上一次视频校准时间点之间的时间间隔；

或者，

获取所述第一视频帧与上一次视频校准的视频帧之间的帧数间隔，确定所述帧数间隔达到视频校准帧数间隔阈值。

在一些实施例中，所述方法还包括：

在所述分割状态信息不满足所述视频校准条件的情况下，或在所述校准掩膜图像与所述第一掩膜图像的比较结果不满足所述视频分割校准条件的情况下，以所述第一掩膜图像作为所述第一视频帧的目标掩膜图像输出。

在一些实施例中，所述按照第一分割方式，利用所述历史掩膜图像和所述第一视频帧进行对象分割处理，得到所述第一视频帧的第一掩膜图像，包括：

将所述历史掩膜图像和所述第一视频帧输入第一分割模型，输出所述第一视频帧的第一掩膜图像；

所述按照图像分割方式，对所述第一视频帧进行对象分割处理，得到所述第一视频帧的校准掩膜图像，包括：

将所述第一视频帧输入第二分割模型，输出所述第一视频帧的校准掩膜图像；或者，

将所述历史掩膜图像置零，得到目标历史掩膜图像；

将所述目标历史掩膜图像和所述第一视频帧输入第三分割模型，输出所述第一视频帧的校准掩膜图像。

在一些实施例中，在所述校准掩膜图像与所述第一掩膜图像的比较结果满足所述视频分割校准条件的情况下，所述方法还包括：

依据所述校准掩膜图像与所述第一掩膜图像的比较结果，以及所述第一视频帧，调整所述第一分割模型的模型参数，以利用调整后的第一分割模型继续对下一视频帧进行对象分割处理。

又一方面，本申请还提出了一种视频对象分割装置，所述装置包括：

获取模块，用于获取第一视频帧以及所述第一视频帧相邻的历史视频帧的历史掩膜图像；

第一分割处理模块，用于按照第一分割方式，利用所述历史掩膜图像和所述第一视频帧进行对象分割处理，得到所述第一视频帧的第一掩膜图像；

第二分割处理模块，用于按照第二分割方法，利用所述第一视频帧进行对象分割处理，得到所述第一视频帧的校准掩膜图像；

目标掩膜图像输出模块，用于在所述校准掩膜图像与所述第一掩膜图像的比较结果满足视频分割校准条件的情况下，以所述校准掩膜图像作为所述第一视频帧的目标掩膜图像输出。

又一方面，本申请还提出了一种计算机设备，所述计算机设备包括：

存储器，用于存储实现如上述的视频对象分割方法的程序；

处理器，用于加载并执行所述存储器存储的程序，实现如上述的视频对象分割方法的各个步骤。

由此可见，本申请提供了一种视频对象分割方法、装置及计算机设备，在获取第一视频帧以及其相邻的历史视频帧的历史掩膜图像后，按照第一分割方式，利用该历史掩膜图像和第一视频帧进行对象分割处理，得到第一视频帧的第一掩膜图像之后，为了避免该第一掩膜图像不准确且不可靠，降低其指导下一视频帧的对象分割效果，本申请还会按照第二分割方式，利用第一视频帧进行对象分割处理，得到第一视频帧的校准掩膜图像，从而使该校准掩膜图像的获取过程不依赖上一视频帧的历史掩膜图像，保证该校准掩膜图像不受该历史掩膜图像的不利影响，这样，将校准掩膜图像与第一掩膜图像进行比较，在所得比较结果满足视频分割校准条件的情况下，可以认为该第一掩膜图像不准确，不再由其指导下一视频帧的对象分割，将直接以该校准掩膜图像作为第一视频帧的目标掩膜图像输出，从而保证由该目标掩膜图像指导的下一视频帧的对象分割效果，解决了在视频对象快速移动、被遮挡等情况下，只采用第一分割方式实现视频对象分割，无法可靠识别目标对象，导致对象分割效果较差，进而无法满足后续对分割结果的应用需求的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提出的视频对象分割方法的一可选示例的流程示意图；

图2为本申请提出的视频对象分割方法的又一可选示例的流程示意图；

图3为本申请提出的视频对象分割方法的又一可选示例的流程示意图；

图4为本申请提出的视频对象分割方法的又一可选示例的流程示意图；

图5为本申请提出的视频对象分割方法的又一可选示例的流程示意图；

图6为本申请提出的视频对象分割装置的一可选示例的结构示意图；

图7为适用于本申请提出的视频对象分割方法和装置的计算机设备的一可选示例的硬件结构示意图；

图8为适用于本申请提出的视频对象分割方法和装置的视频会议场景的示意图。

具体实施方式

针对背景技术部分描述的技术问题，本申请提出在利用上一帧输出的掩膜图像和当前视频帧进行对象分割，得到当前视频帧的掩膜图像后，对该掩膜图像进行可靠性验证，以确定在对下一视频帧进行对象分割时，是否还要利用当前视频帧的掩膜图像，这样，在验证当前视频帧的掩膜图像不可靠的情况下，可以及时对其进行校准或清除，从而避免该不可靠掩膜图像继续指导实现后续视频帧的对象分割，导致后续视频帧的对象分割效果越来越差，进而导致输出的视频画面异常的问题。

其中，对于上述可靠性验证过程，本申请提出仅利用当前视频帧进行对象分割处理，将由此得到的掩膜图像作为校准掩膜图像，之后，将该校准掩膜图像与上述方式得到的当前视频帧的掩膜图像进行比较，若得到的比较结果满足视频分割条件，可以认为上述方式得到的当前视频帧的掩膜图像不可靠，本申请将该校准掩膜图像作为当前视频帧的目标掩膜图像输出，用以指导实现下一视频帧的对象分割处理，保证下一视频帧的分割结果的可靠性及准确性，这样，在如视频会议的场景中出现快速移动的对象，能够保证所输出的视频画面稳定且可靠。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，因此，为了便于描述，附图中仅示出了与有关发明相关的部分，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。所以说，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

参照图1，为本申请提出的视频对象分割方法的一可选示例的流程示意图，该方法可以适用于计算机设备，如各种终端设备或服务设备等，本申请对该计算机设备的产品类型不做限制，可视情况而定。而且，本申请适用于如视频会议等需要连续输出多帧图像的场景，如图1所示，在该场景下，执行的视频对象分割方法可以包括但并不局限于以下步骤：

步骤S11，获取第一视频帧以及该第一视频帧相邻的历史视频帧的历史掩膜图像；

本申请实施例中，第一视频帧可以是计算机设备获得的任一视频帧，在不同的视频输出场景下，该计算机设备可以接收视频源(即采集视频图像的终端设备)所采集并发送的视频流数据，在不同时刻，将其接收到的当前视频帧确定为第一视频帧，从而按照本实施例提出的视频对象分割方式，实现对该第一视频帧的对象分割处理，准确识别该第一视频帧中的前景对象，以实现连续视频帧中同一前景对象的追踪识别，以满足应用场景对前景对象或背景图像的处理要求。这种情况下，该计算机设备可以是实现不同终端设备之间的视频流数据传输的服务设备，如视频会议场景下，支持视频会议的通信服务器等。

在又一些实施例中，上述计算机设备可以是视频源，即由该计算机设备直接进行图像采集，将当前所采集的视频帧作为第一视频帧，执行本实施例提出的视频对象分割方法，对直接采集到的第一视频帧进行校准，以保证计算机设备输出的每一视频帧内容清晰可靠，这样，在如视频会议场景下，每一个参与视频会议的计算机设备按照这种处理方式，能够精准识别所采集到的每一视频帧中的前景对象(如参与视频会议的用户)，方便本用户替换该视频帧中的背景图像，同时保证所识别到的前景对象不变，即满足视频会议的参与要求的基础上，能够实现对用户当前所处环境的保密，但并不局限于本实施例描述的这种应用需求，本申请在此不做一一详述。

可见，在不同的应用场景下，上述计算机设备的产品类别可能不同，该计算机设备获取第一视频帧的具体实现方法不同，包括但并不局限于上文所描述的接收其他终端设备采集并发送的第一视频帧，或直接进行图像采集，得到第一视频帧等。

由于视频是由连续若干帧视图像构成的动态图像，从连续播放的视频帧中将目标对象分割出来，相对于静态的一帧图像的对象分割需求，本申请对实现该目的的对象分割技术的要求更高，为了保证分割精度和效率，在对视频帧进行对象分割时，本申请将采用在线自适应的视频对象分割方法，利用前一视频帧的对象分割结果和当前视频帧(即第0视频帧)进行对象分割，得到当前视频帧的对象分割结果，依次指导实现下一视频帧的对象分割。

其中，每一视频帧的对象分割结果可以是该视频帧中目标对象的掩膜(mask)图像，如视频会议场景下的用户人像的掩膜图像等，在实际应用中，如需要提取视频帧中的目标对象，可以将得到的该目标对象的掩膜图像与该视频帧相乘，可得到该目标对象区域，在该目标对象区域内的图像值保持不变，区域外图像值为0。如需要屏蔽视频帧中某对象，可以利用该对象的掩膜图像，对该视频帧上的该对象进行屏蔽，以使其不参加后续处理或仅对该对象进行处理等，本申请对所得掩膜图像的后续处理不做详述，可视情况而定。

由此可见，为了实现对第一视频帧的前景对象的精准识别，可以获取该第一视频帧的上一视频帧所输出的前景对象的掩膜图像，即第一视频帧相邻的一历史视频帧的历史掩膜图像。

步骤S12，按照第一分割方式，利用该历史掩膜图像和第一视频帧进行对象分割处理，得到第一视频帧的第一掩膜图像；

本申请实施例中，第一分割方式可以包括但并不局限于上文描述的在线自适应的视频对象分割方法，具体可以依据应用需求选择合适的人工智能中的机器学习算法或深度学习算法实现，本申请对第一分割方式实现过程中所依据的分割算法不做限制。

步骤S13，按照第二分割方式，利用第一视频帧进行对象分割处理，得到第一视频帧的校准掩膜图像；

在本申请实际应用中，若视频拍摄环境中的对象出现快速移动、被遮挡、发生旋转等问题，按照上述第一分割方式得到的前景对象的第一掩膜图像往往是不可靠的，也就是说，该第一掩膜图像包含的对象区域可能未包含完整的目标对象，或者是除了目标对象外，还可能包含其他对象或部分背景区域等，这种情况下，若继续由该第一掩膜图像指导下一视频帧的对象分割，将会导致分割结果越来越差。

为了解决上述问题，本申请提出对上述第一掩膜图像进行可靠性验证，在确定实现该可靠性验证的参考图像时，本申请实施例将采用适用于静态图像的对象分割方式，对该第一视频帧的图像进行对象分割处理，即按照第二分割方式，利用该第一视频帧自身包含的图像内容进行对象分割，得到前景对象的掩膜图像，将其作为该第一视频帧的校准掩膜图像，用以实现对按照第一分割方式得到的第一掩膜图像的可靠性验证或校准。

其中，上述第二分割方式实现过程中，也可以采用深度学习/机器学习算法实现对象分割处理，与上述第一分割方式所实现的对象分割方法不同的时，该第二分割方式不会参考上一历史视频帧的历史掩膜图像，这样，即便该历史掩膜图像不可靠，也不会影响第一视频帧的对象分割结果，即避免不可靠的历史掩膜图像导致第一视频帧的对象分割结果不准确，保证了按照第二分割方式得到的第一视频帧的校准掩膜图像的相对准确性和可靠性。

需要说明，本申请对上述第一分割方式和第二分割方式，各自实现对象分割处理的具体实现过程不做详述，各自所依据的分割算法可视情况而定。

步骤S14，在校准掩膜图像与第一掩膜图像的比较结果满足视频分割校准条件的情况下，以校准掩膜图像作为第一视频帧的目标掩膜图像输出。

继上文描述，本申请为了避免不可靠、不准确的掩膜图像指导下一视频帧的对象分割，对分割结果造成的不利影响，按照上述不同分割方式，得到第一视频帧的两个掩膜图像，即第一掩膜图像和校准掩膜图像后，本申请可以将该第一掩膜图像与该校准掩膜图像进行比较，以此确定该第一掩膜图像是否准确，进而确定当前输出第一视频帧的目标掩膜图像。

具体的，本申请可以依据实际要求，预先配置用以确定当前视频帧的掩膜图像不准确，且在指导后续视频帧的对象分割，会导致对象分割效果越来越差的视频分割校准条件，具体条件内容可视情况而定，本申请在此不做详述。这样，在上述校准掩膜图像与第一掩膜图像的比较结果满足视频分割校准条件的情况下，可以认为该第一掩膜图像不准确，且会在指导未来视频帧的对象分割时，降低对象分割效果，所以，本申请可以不再继续输出该第一掩膜图像，而将以校准掩膜图像作为第一视频帧的目标掩膜图像输出，用以指导未来帧的对象分割处理，提高该对象分割结果准确性。

可以理解，本实施例按照上述方式确定第一视频帧的目标掩膜图像后，可以将该目标掩膜图像与该第一视频帧的帧标识(如帧数等)进行关联存储，作为下一视频帧的相邻历史视频帧的历史掩膜图像，用以实现对下一视频帧的对象分割处理，本申请对历史掩膜图像的具体存储方式不做限制。

在一些实施例中，由于在对象分割处理过程中，只需要上一历史视频帧的历史掩膜图像指导，并不需要更长时间之前的历史掩膜图像，且后续处理也不需要多个历史帧掩膜图像，所以，为了节省资源，可以只保留当前视频帧的目标掩膜图像，来指导未来视频帧的对象分割处理，或更新保留靠近当前帧的若干帧掩膜图像；当然，在又一些实施例中，若该应用场景需要多个连续视频帧各自对应的掩膜图像，本实施例需要保留这些掩膜图像，以供后续应用需要时调用。所以说，本申请对整个视频的多个连续掩膜图像的存储方式可视情况而定。

综上，在本申请实施例中，在获取第一视频帧以及其相邻的历史视频帧的历史掩膜图像后，按照第一分割方式，利用该历史掩膜图像和第一视频帧进行对象分割处理，得到第一视频帧的第一掩膜图像之后，为了避免该第一掩膜图像不准确且不可靠，降低其指导下一视频帧的对象分割效果，本申请还会按照第二分割方式，利用第一视频帧进行对象分割处理，得到第一视频帧的校准掩膜图像，从而使该校准掩膜图像的获取过程不依赖上一视频帧的历史掩膜图像，保证该校准掩膜图像不受该历史掩膜图像的不利影响，这样，将校准掩膜图像与第一掩膜图像进行比较，在所得比较结果满足视频分割校准条件的情况下，可以认为该第一掩膜图像不准确，不再由其指导下一视频帧的对象分割，将直接以该校准掩膜图像作为第一视频帧的目标掩膜图像输出，从而保证由该目标掩膜图像指导的下一视频帧的对象分割效果，解决了在视频对象快速移动、被遮挡等情况下，只采用第一分割方式实现视频对象分割，无法可靠识别目标对象，导致对象分割效果较差，进而无法满足后续对分割结果的应用需求的技术问题。

参照图2，为本申请提出的视频对象分割方法的又一可选示例的流程示意图，本实施例可以是上述实施例描述的视频对象分割方法的一可选细化实现方式，具体是对上述第一分割方式和第二分割方式的细化描述，但并不局限于本实施例描述的这种细化实现方法。如图2所示，本实施例提出的视频对象分割方法可以包括：

步骤S21，获取第一视频帧以及该第一视频帧相邻的历史视频帧的历史掩膜图像；

关于步骤S21的具体实现过程，可以参照上述实施例相应部分的描述，本实施例在此不做赘述。

步骤S22，将该历史掩膜图像和第一视频帧输入第一分割模型，输出第一视频帧的第一掩膜图像；

步骤S23，将第一视频帧输入第二分割模型，输出第一视频帧的校准掩膜图像；

结合上文关于第一分割方式和第二分割方式的相关描述，本申请可以利用合适的深度学习/机器学习算法进行模型训练，以得到表征相应分割方式的对象分割规则的分割模型，用于实现对各视频帧的对象分割处理，输出对应的分割结果，如相应视频帧的前景对象的掩膜图像等。

可以理解，由于第一分割方式和第二分割方式在对视频帧进行对象分割处理过程中，所依据的信息内容不同，因此，在训练相应分割模型过程中，所输入的样本数据内容不同，为了方便描述，将第一分割方式对应的分割模型记为第一分割模型，将第二分割方式对应的分割模型记为第二分割模型。

具体的，在上述第一分割模型的训练过程中，其模型输入为多个样本视频帧以及多个样本掩膜图像，可以将上一样本视频帧的样本掩膜图像，和当前样本视频帧输入初始分割模型进行训练学习，直至满足训练终止条件，如训练预设次数或模型输出的掩膜图像精准度达到预设要求等，可以将最终训练得到的模型记为第一分割模型。可见，该第一分割模型的输入是上一视频帧的mask+RGB组成的四通道输入。

其中，初始分割模型可以是初始神经网络等机器学习/深度学习网络，或者是视频领域标准的分割模型，后者往往只需要若干次训练调整，即可得到所需的第一分割模型。

同理，对于第二分割模型的训练过程类似，区别在于在训练第二分割模型时，仅将样本视频帧输入初始分割模型进行训练学习，直至满足相应的训练终止条件，得到所需的第二分割模型。可见，该第二分割模型的输入时RGB三通道输入。需要说明，本申请对第一分割模型和第二分割模型的具体训练实现过程不做详述，且并不局限于上文描述的训练方式。

基于上文对第一分割模型和第二分割模型的描述，计算机设备得到第一视频帧后，可以查询其相邻的上一历史视频帧的历史掩膜图像，之后，可以分别按照上述步骤S22和步骤S23的方式，对第一视频帧进行对象分割处理，得到第一视频帧的两个掩膜图像，即第一掩膜图像和校准掩膜图像。

可以理解，在未出现视频对象快速移动、被遮挡、旋转等情况下，对于类似静态图像的视频帧进行对象分割处理，上述第一分割模型输出的第一掩膜图像，相对于第二分割模型输出的校准掩膜图像的对象分割效果可能更加好，所识别出的前景对象更加精准。

然而，在出现本文列举的这些问题时，相邻的视频帧的前景对象之间的相对位置会发生较大变化，这样，历史掩膜图像中前景对象的识别精准度也不高，由此指导得到的第一掩膜图像的分割效果也会不理想，若由此继续指导下一视频帧的对象分割效果会更加差，本申请为了避免这种情况，提出采用步骤S23的方式，获得用以判断第一掩膜图像的分割结果是否准确的校准掩膜图像，但并不局限于步骤S23描述的获取校准掩膜图像的实现方式，

步骤S24，在校准掩膜图像与第一掩膜图像的比较结果满足视频分割校准条件的情况下，以校准掩膜图像作为第一视频帧的目标掩膜图像输出。

关于步骤S24的具体实现过程，可以参照上文实施例相应部分的描述，本实施例在此不做赘述。

综上，在本申请实施例中，对于获取第一视频帧，将采用不同的分割模型进行对象分割处理，即将历史掩膜图像和第一视频帧输入第一分割模型，得到该第一视频帧中前景对象的第一掩膜图像，并将第一视频帧输入第二分割模型，得到第一视频帧的前景对象的另一掩膜图像，记为校准掩膜图像。之后，将该第一视频帧的前景对象的两个掩膜图像进行比较，若比较结果满足视频分割校准条件，说明第一分割模型所得到的第一掩膜图像的前景对象分割效果不好，本申请将以校准掩膜图像作为第一视频帧的目标掩膜图像输出，用以指导下一视频帧的对象分割处理，如此递进处理，保证了各视频帧的对象分割效果，即保证了前景对象追踪识别的精准度，从而更好地满足后续应用需求。

参照图3，为本申请提出的视频对象分割方法的又一可选示例的流程示意图，本实施例可以是上述实施例描述的视频对象分割方法的又一可选细化实现方式，具体是对上述实施例中如何实现校准掩膜图像与第一掩膜图像的比较，以及如何确定所得比较结果是否满足视频分割校准条件的实现过程进行细化，但并不局限于本实施例描述的这种细化实现方式。如图3所示，本实施例提出的视频对象分割方法可以包括：

步骤S31，获取第一视频帧以及该第一视频帧相邻的历史视频帧的历史掩膜图像；

步骤S32，将该历史掩膜图像和第一视频帧输入第一分割模型，输出第一视频帧的第一掩膜图像；

关于步骤S31和步骤S32的具体实现过程，可以参照上述实施例相应部分的描述，本实施例在此不做赘述。

步骤S33，按照将该历史掩膜图像置零，得到目标历史掩膜图像；

步骤S34，将目标历史掩膜图像和第一视频帧输入第三分割模型，输出第一视频帧的校准掩膜图像；

基于上文对第二分割方式的相关描述，本申请希望按照该分割方式对第一视频帧进行对象分割处理时，不受上一历史视频帧的历史掩膜图像影响，所以，对于输入为四通道的分割模型，本申请实施例提出将该历史掩膜图像置零，即mask通道的输入为零，相对于没有输入掩膜图像，这样，将零输入的mask和第一视频帧的RGB三通道数据输入第三分割模型，该第三分割模型的各网络层仅对第一视频帧的RGB数据进行分析处理，避免了所输出的第一视频帧的校准掩膜图像不受历史掩膜图像的不利影响。

可见，本实施例的第三分割模型与上述第一分割模型的输入均为四通道输入，区别在于mask所在输入通道的输入内容。因此，在实际应用中，该第三分割模型可以与上述第一分割模型相同；当然，本申请也可以重新训练得到第三分割模型，使其更加适用于无mask数据的情况下，如何精准实现视频帧的对象分割的场景，此时的第三分割模型区别于上述第一分割模型。

步骤S35，获取第一掩膜图像的第一属性信息，以及校准掩膜图像的第二属性信息；

步骤S36，对第一属性信息和第二属性信息进行比较，得到第一掩膜图像与所述校准掩膜图像各自的对象分割区域之间的属性差异；

本申请实施例提出了一种实现第一掩膜图像与校准掩膜图像进行比较的一可选实现方法，即对两个掩膜图像各自的属性信息进行比较，由于掩膜图像识别出的实际上是前景对象所在区域，所以说，掩膜图像的属性信息可以是第一视频帧的前景对象的属性信息，本申请对该属性信息包含的内容不做限制，可视情况而定。

通常情况下，如视频对象未出现快速移动、未被遮挡等问题时，相邻视频帧之间的图像内容差异非常小，按照上述不同的分割方式得到的两个掩膜图像的差异往往也会比较小，甚至可能会相同。但是，若出现这些问题后，历史掩膜图像识别出的前景对象可能会不准确，由此导致上述第一掩膜图像的前景对象的识别准确度会更差，但并不影响校准掩膜图像的前景对象识别准确性，所以，这种情况下，第一掩膜图像和校准掩膜图像各自识别出的前景对象区域会存在一定差异，为了实现该差异的量化，本实施例提出依据掩膜图像的属性信息确定。

示例性的，掩膜图像的属性信息可以包括所识别出的目标对象(如前景对象)所在区域的形状、面积等，这样，在比较两个掩膜图像各自的目标对象区域时，可以将各自识别出的目标对象区域的形状和/或面积进行比较，由此确定两个掩膜图像之间的对象分割效果差异，但并不局限于本实施例列举的属性信息内容。

步骤S37，检测该属性差异是否达到视频分割校准阈值，如果是，进入步骤S38；如果否，执行步骤S39；

步骤S38，以校准掩膜图像作为第一视频帧的目标掩膜图像输出；

步骤S39，以第一掩膜图像作为第一视频帧的目标掩膜图像输出。

可以理解，对于不同内容的属性信息，上述视频分割校准阈值的内容可能不同，本申请实施例在此不做一一列举。

综上，按照不同的分割方式对第一视频帧进行对象分割，得到两个掩膜图像后，通过对这两个掩膜图像的属性信息进行比较，若所得属性差异达到视频分割校准阈值的情况下，确定对各视频帧进行对象分割的所确定的第一分割模型输出的分割结果不准确，将以第三分割模型输出的分割结果，作为第一视频帧的对象分割结果即目标掩膜图像；反之，若所得属性差异未达到视频分割校准阈值，确定第一分割模型输出的分割结果是准确的，仍以其输出的第一掩膜图像为第一视频帧的目标掩膜图像，从而保证了每一视频帧的对象分割结果的准确性，更好地满足后续依据对象分割结果实现的应用需求。

可以理解，本实施例上述步骤S35～步骤S39的实现方式，可以作为上述步骤S14和步骤S24的一可选细化实现方式，即替换上述步骤S14和步骤S24，以得到又一些视频对象分割方法实施例，具体实现过程本申请在此不做赘述。

参照图4，为本申请提出的视频对象分割方法的又一可选示例的流程示意图，本实施例可以是上述实施例描述的视频对象分割方法中，实现校准掩膜图像与第一掩膜图像的比较，以确定所得比较结果是否满足视频分割校准条件的进一步细化实现方法，如图4所示，该方法可以包括：

步骤S41，获取第一视频帧以及该第一视频帧相邻的历史视频帧的历史掩膜图像；

步骤S42，按照第一分割方式，利用该历史掩膜图像和第一视频帧进行对象分割处理，得到第一视频帧的第一掩膜图像；

步骤S43，按照第二分割方式，利用第一视频帧进行对象分割处理，得到第一视频帧的校准掩膜图像；

关于步骤S41～步骤S43的具体实现过程，可以参照上述实施例相应部分的描述，本实施例在此不做赘述。

步骤S44，分别对第一掩膜图像和所述校准掩膜图像各自包含的对象分割区域进行像素统计，得到第一掩膜图像中对象分割区域的第一区域面积，以及校准掩膜图像中对象分割区域的第二区域面积；

步骤S45，对第一区域面积与第二区域面积进行差值运算，得到第一掩膜图像与校准掩膜图像各自的对象分割区域之间的区域面积差；

步骤S46，若该区域面积差大于视频分割校准阈值，以校准掩膜图像作为第一视频帧的目标掩膜图像输出。

可见，本申请实施例中，是以上述掩膜图像的属性信息为识别出的目标对象的区域面积为例进行说明，由于图像区域面积可以由该区域包含的像素点的数量表征，所以，本实施例可以对第一掩膜图像和所述校准掩膜图像各自包含的对象分割区域(如第一视频帧中的前景对象区域，具体可以是视频会议中的会议成员的人像区域)进行像素统计，得到各自识别得到的对象分割区域的区域面积。

之后，对统计得到的两个区域面积进行比较，实际上是对两种分割方式得到的对象分割区域所包含的像素点数进行比较，由于本申请需要保证识别出的分割对象的完整性，因此，通常情况下，第一掩膜图像会包含完成的目标对象，某些异常情况下，还可能会包含不需要的对象，导致第一掩膜图像所得对象分割区域大于目标对象区域。

基于此，本申请实施例可以将上述第一区域面积减去第二区域面积，得到区域面积差，判断该区域面积差是否大于视频分割校准阈值，即第一区域面积大于第二区域面积，且面积大于量是否达到视频分割校准阈值，若是，可以确定第一掩膜图像中包含有非目标对象，其对象分割结果不准确，以校准掩膜图像作为第一视频帧的目标掩膜图像输出；反之，可以认为第一掩膜图像的对象分割结果是准确的，可以将第一掩膜图像作为第一视频帧的目标掩膜图像输出，从而保证针对每一视频帧所输出的掩膜图像的准确性，即保证每一视频帧的对象分割结果的准确性。

基于上文各实施例描述的视频对象分割方法，参照图5，为本申请提出的视频对象分割方法的又一可选示例的流程示意图，本实施例可以是对何时对采用第一分割方式得到的第一视频帧的第一掩膜图像进行可靠性或稳定性验证的时机做进一步限定说明。具体如图5所示，该方法可以包括：

步骤S51，获取第一视频帧以及该第一视频帧相邻的历史视频帧的历史掩膜图像；

步骤S52，按照第一分割方式，利用该历史掩膜图像和第一视频帧进行对象分割处理，得到第一视频帧的第一掩膜图像；

关于步骤S51和步骤S52的具体实现过程，可以参照上述实施例相应部分的描述，本实施例在此不做赘述。

步骤S53，获取第一视频帧的分割状态信息；

步骤S54，检测该分割状态信息是否满足视频校准条件，如果是，进入步骤S55，如果否，执行步骤S59；

步骤S55，按照第二分割方式，利用第一视频帧进行对象分割处理，得到第一视频帧的校准掩膜图像；

本申请实施例中，为了保证每一视频帧的对象分割结果的准确性，可以按照上述实施例描述的方式，对每一视频帧均按照两种分割方式进行处理，以确定该视频帧的目标掩膜图像。

然而，上述实施例校准验证的处理方式会实时消耗计算机设备较多的资源，为了节省对计算机设备资源占用，同时考虑到并不是每一视频帧按照第一分割方式，所得到的对象分割结果都不准确，所以，本申请实施例基于此设置了视频校准条件，即确定合适需要对当前视频帧，按照第一分割方式得到的对象分割结果(即第一掩膜图像)进行校准验证的条件，本申请对该条件内容不做限制。

这样，只需要在满足视频校准条件的情况下，再采用另一种分割方式对当前视频帧进行对象分割，以对象分割结果对上述对象分割结果进行校准验证。若不满足该视频校准条件，只需要按照步骤S52的处理方式，得到第一视频帧的目标掩膜图像，不需要再执行其他分割方式，从而节省了该其他分割方式的执行对计算机设备资源的占用，同时也提高了视频帧对象分割效率。

基于上述分析，在获得第一视频帧后，可以直接获取第一视频帧的分割状态信息，也可以在得到第一掩膜图像后，再获取第一视频帧的分割状态信息，本申请对该步骤S53与上述步骤S52的执行顺序不做限制。且该分割状态信息的内容可以依据视频校准条件内容确定，本申请对此不做详述。

在一种可能的实现方式中，本申请可以按照一定的时间间隔执行步骤S55，用以对步骤S52得到的第一掩膜图像进行验证。这种情况下，上述分割状态信息可以是第一视频帧的获取时间点，且上述视频校准条件可以包括上一次视频校准时间点距离当前时刻的校准时间间隔达到预设的视频校准时间间隔阈值，本申请对该视频校准时间间隔阈值的数值不做限制，可视情况而定。

基于此，上述步骤S54的检测过程可以包括：获取第一视频帧对应的校准时间间隔，即第一视频帧的获取时间点与上一次视频校准时间点之间的时间间隔，之后，确定该校准时间间隔是否达到视频校准时间间隔阈值，若达到，可以认为第一视频帧的分割状态信息满足视频校准条件；若未达到，可以认为第一视频帧的分割状态信息不满足视频校准条件。

在又一种可能的实现方式中，区别于上述计时方式，即统计校准时间间隔的方式，本实施例也可以统计上一次执行第二分割方式的视频帧的帧数(其可以基于整个视频包含的总视频帧的帧数顺次确定)与第一视频帧的帧数之间的帧数差值，依次确定是否要针对第一视频帧执行第二分割方式。这种情况下，上述分割状态信息可以是第一视频帧的帧数，且上述视频校准条件可以包括：上一次执行第二分割方式的视频帧(即上一次视频分割校准的视频帧的)的帧数，与第一视频帧的帧数之间的帧数间隔达到视频校准帧数间隔阈值，本申请对该视频校准帧数间隔阈值的具体数值不做限制。

基于此，上述步骤S54的检测过程可以包括：获取第一视频帧与上一次视频校准的视频帧之间的帧数间隔，确定该帧数间隔是否达到视频校准帧数间隔阈值；若是，可以认为第一视频帧的分割状态信息满足视频校准条件；若否，可以认为第一视频帧的分割状态信息不满足视频校准条件。

需要说明，本申请视频帧的分割状态信息的内容，及其对应的视频校准条件的内容，并不局限于上文列举的两种实现方式。

步骤S56，将该校准掩膜图像与第一掩膜图像进行比较，得到比较结果；

步骤S57，检测该比较结果是否满足视频分割校准条件，如果是，进入步骤S58，如果否，执行步骤S59；

步骤S58，以校准掩膜图像作为第一视频帧的目标掩膜图像输出；

步骤S59，以第一掩膜图像作为第一视频帧的目标掩膜图像输出。

关于步骤S56～步骤S59的具体实现过程，可以参照但并不局限于上述实施例相应部分的描述，本实施例在此不做赘述。

在又一些实施例中，在上述比较结果满足视频分割校准条件的情况下，本申请还可以依据校准掩膜图像与第一掩膜图像的比较结果，以及第一视频帧等数据，调整第一分割模型的模型参数(参照上文描述的模型训练过程)，提高模型输出的对象分割结果的准确性，从而利用调整后的第一分割模型继续对下一视频帧进行对象分割处理。可见，比较结果满足视频分割校准条件的情况下，并不局限于本申请上文提出的删除第一掩膜图像，以校准掩膜图像作为第一视频帧的目标掩膜图像输出的处理方式。

综上，在计算机设备按照第一分割方式，利用历史掩膜图像和第一视频帧进行对象分割处理，得到第一掩膜图像的过程中，若检测到第一视频帧的分割状态信息满足视频校准条件，将按照第二分割方式重新对第一视频帧进行对象分割处理，得到其校准掩膜图像，以确定第一掩膜图像的对象分割结果是否准确；若检测到第一视频帧的分割状态信息不满足视频校准条件，直接输出第一掩膜图像，避免了第一掩膜图像准确的情况下，仍按照第二分割方式重新对第一视频帧进行对象分割处理，造成对计算机设备资源的不必要消耗。

基于上文各实施例描述的视频对象分割方法，以视频会议场景为例进行说明，对参与视频的任一终端设备采集到的一帧图像，可以执行本申请上述实施例提出的视频对象分割方法，以准确识别该帧图像中人像区域，这样，面对用户快速移动等问题，采用第一分割方式所得的对象分割结果中除了该用户人像区域外，还会包含用户所在环境中的如桌椅等其他对象，可见，这一对象分割结果并不准确，无法满足后续应用需求，本申请对此会采用第二分割方式，仅对当前帧图像进行对象分割处理，保证所得对象分割结果仅包含用户人像区域，之后，通过两个对象分割结果比较，确定第一分割方式所得对象分割结果不准确，可以清楚该不准确的对象分割结果，以第二分割方式得到的相对准确的对象分割结果作为该帧图像的目标对象分割结果输出。

基于上述得到的目标对象分割结果，若某用户不希望其他参会用户看到图像中的某些内容，如本用户所占环境，可以将识别出的人像区域叠加到所选择的另一背景图像中，从而使本用户看起来实在该背景图像所示的环境下参与视频会议；当然，还可以依据对象分割结果，还可以实现对特定区域内容的遮挡等，可以依据具体应用场景的需求确定，本申请对依据对象分割结果后的处理方法不做详述。

参照图6所示，为本申请提出的视频对象分割装置的一可选示例的结构示意图，该装置可以适用于上述电子设备中，如图6所示，该装置可以包括：

获取模块61，用于获取第一视频帧以及所述第一视频帧相邻的历史视频帧的历史掩膜图像；

第一分割处理模块62，用于按照第一分割方式，利用所述历史掩膜图像和所述第一视频帧进行对象分割处理，得到所述第一视频帧的第一掩膜图像；

第二分割处理模块63，用于按照第二分割方法，利用所述第一视频帧进行对象分割处理，得到所述第一视频帧的校准掩膜图像；

第一输出模块64，用于在所述校准掩膜图像与所述第一掩膜图像的比较结果满足视频分割校准条件的情况下，以所述校准掩膜图像作为所述第一视频帧的目标掩膜图像输出。

在一些实施例中，第一分割处理模块62具体可以包括：

第一模型处理单元，用于将所述历史掩膜图像和所述第一视频帧输入第一分割模型，输出所述第一视频帧的第一掩膜图像；

第二分割处理模块63可以包括：

第二模型处理单元，用于将所述第一视频帧输入第二分割模型，输出所述第一视频帧的校准掩膜图像；

或者，第三模型处理单元，用于将所述历史掩膜图像置零，得到目标历史掩膜图像，将所述目标历史掩膜图像和所述第一视频帧输入第三分割模型，输出所述第一视频帧的校准掩膜图像。

基于上文描述，在又一些实施例中，本申请提出的视频对象分割装置还可以包括：

模型调整模块，用于在所述校准掩膜图像与所述第一掩膜图像的比较结果满足所述视频分割校准条件的情况下，依据所述校准掩膜图像与所述第一掩膜图像的比较结果，以及所述第一视频帧，调整所述第一分割模型的模型参数，以利用调整后的第一分割模型继续对下一视频帧进行对象分割处理。

在一些实施例中，上述目标掩膜图像输出模块64可以包括：

属性信息获取单元，用于获取所述第一掩膜图像的第一属性信息，以及所述校准掩膜图像的第二属性信息；

属性比较单元，用于对所述第一属性信息和所述第二属性信息进行比较，得到所述第一掩膜图像与所述校准掩膜图像各自的对象分割区域之间的属性差异；

检测单元，用于检测该属性差异是否达到视频分割校准阈值；

第一输出单元，用于在检测单元的检测结果为是的情况下，以所述校准掩膜图像作为所述第一视频帧的目标掩膜图像输出；

第二输出单元，用于在在检测单元的检测结果为否的情况下，以第一掩膜图像作为所述第一视频帧的目标掩膜图像输出。

在一种可能的实现方式中，上述属性信息获取单元可以包括：

像素统计单元，用于分别对所述第一掩膜图像和所述校准掩膜图像各自包含的视频对象分割区域进行像素统计，得到所述第一掩膜图像中对象分割区域的第一区域面积，以及所述校准掩膜图像中对象分割区域的第二区域面积；

相应地，上述属性比较单元可以包括：

区域面积差获取单元，用于对所述第一区域面积与所述第二区域面积进行差值运算，得到所述第一掩膜图像与所述校准掩膜图像各自的对象分割区域之间的区域面积差。

在又一些实施例中，本申请提出的视频对象分割装置还可以包括：

分割状态信息获取模块，用于获取所述第一视频帧的分割状态信息；

检测模块，用于检测该分割状态信息是否满足视频校准条件，若满足，触发第二分割处理模块63按照第二分割方法，利用所述第一视频帧进行对象分割处理，得到所述第一视频帧的校准掩膜图像。

第二输出模块，用于在检测模块的检测结果为否的情况下，以第一掩膜图像作为所述第一视频帧的目标掩膜图像输出。

可选的，上述检测模块可以包括：

时间间隔获取单元，用于获取所述第一视频帧对应的校准时间间隔；其中，所述校准时间间隔是指所述第一视频帧的获取时间点与上一次视频校准时间点之间的时间间隔；

第一检测单元，用于检测所述校准时间间隔是否达到视频校准时间间隔阈值；

在又一些实施例中，上述检测模块也可以包括：

帧数间隔获取单元，用于获取所述第一视频帧与上一次视频校准的视频帧之间的帧数间隔；

第二检测单元，用于检测所述帧数间隔是否达到视频校准帧数间隔阈值。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请还提供了一种存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例描述的视频对象分割方法的各个步骤。

参照图7，为适用于本申请提出的视频对象分割方法和装置的计算机设备的一可选示例的硬件结构示意图，该计算机设备可以包括终端设备或服务设备，可以依据具体应用场景的需求确定。如图7所示，该计算机设备可以包括：至少一个存储器71和至少一个处理器72，其中：

存储器71可以用于存储实现上述方法实施例描述的视频对象分割方法的程序；处理器72可以用于加载并执行所述存储器71存储的程序，以实现上述相应方法实施例描述的视频对象分割方法的各个步骤，具体实现过程可以参照上述实施例相应部分的描述，本实施例在此不做赘述。

结合上文对计算机设备的相关描述，参照图8所示的适用于本申请提出的视频对象分割方法和装置的视频会议场景的示意图，在该计算机设备为终端设备的情况下，在该终端设备采集任一帧图像时，可以按照本申请提出的视频对象分割方法，确定该帧图像的目标掩膜图像，准确提取该帧图像中目标对象区域，如人像区域，用以目标对象的追踪识别或特定区域信息遮挡等应用需求。

其中，终端设备采集得到连续的多个视频帧，并按照本申请提出的视频对象分割方法，得到各视频帧的目标掩膜图像后，可以发送至支持视频会议正常运行的通信服务器，由该通信服务器依据应用需求对其进行处理，将处理后的视频流直接反馈至参与视频会议的各终端设备输出，或者是发送至参与视频会议的其他终端设备输出，以实现本终端设备与其他终端设备输出不同视频会议界面。当然，上述视频流也可以直接由本终端设备直接处理得到，再通过通信服务器转发至其他终端设备输出，本申请对此不做限制，可视情况而定。

可以理解，在计算机设备为终端设备的情况下，该计算机可以包括但并不局限于智能手机、平板电脑、可穿戴设备、个人计算机(personalcomputer，PC)、上网本、增强现实技术(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、车载设备、机器人、台式计算机等。图8所示场景下包含的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

对于如上文列举的终端设备，还可以包括如感应触摸显示面板上的触摸事件的触摸感应单元、键盘、鼠标、摄像头、拾音器等至少一个输入设备；如显示器、扬声器、振动机构、灯等至少一个输出设备；各种传感器组件；电源管理模组以及天线等，可以依据该终端设备的产品类型及其功能需求确定，本申请在此不做一一列举。

在一些实施例中，若上述计算机设备为服务设备，也就是说，终端设备采集到每一帧图像后，可以发送至该服务设备，实现视频对象分割处理，得到所需的各视频帧的目标掩膜图像，之后，本用户可以依据对视频显示内容，如关于个人在视频会议界面中的个人窗口的显示要求等，可以向该服务设备发送相应的处理请求，以使服务设备响应该处理请求，得到发送至参与视频会议的其他终端设备的关于本用户的视频流数据，发送至该其他终端输出。

可选的，服务设备得到各视频帧的目标掩膜图像后，也可以反馈至本终端设备，以使本用户在该终端设备上使用该目标掩膜图像，对各视频帧的图像内容进行处理，以满足本用户对输出的视频内容的显示要求，如实现本终端设备与其他终端设备输出不同视频会议界面的要求等，之后，再将处理后的视频流发送至其他终端设备输出。

综上，本申请对上述计算机设备的产品类型不做限制，可以依据具体场景的需求确定，且本申请提出的视频对象分割方法和装置，并不仅适用于视频会议场景，还可以应用其他视频场景，满足其他场景需求，本申请在此不做详述。

而且，应该理解的是，图8所示的计算机设备的结构并不构成对本申请实施例中计算机设备的限定，在实际应用中，电子设备可以包括比图8所示的更多或更少的部件，或者组合某些部件，本申请在此不做一一列举。

最后，需要说明，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置和计算机设备、应用场景下的系统结构而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。