目标物分割方法和相关装置

技术领域

本公开涉及视频处理的技术领域，具体涉及一种目标物分割方法和相关装置。

背景技术

随着网络课堂的流行与普及，教学视频成为一种不可或缺的教育资源。教学视频是摄像设备拍摄教学场景得到的视频。教学场景中，教师会因讲课需求挡住板书，因而在从教学视频的图像帧中提取板书数据完整的板书图像时需要先进行人像分割，其中，需要被分割出的人像即为目标物，其余部分都作为背景。这里所说的目标物不仅包括教师人体部位还包括教师随身附带的物品。然而，目前的人像分割技术存在分割精度低、计算复杂度高、受环境影响大等问题，使得前景内容分割不完全，或者背景内容误分割。

发明内容

为了解决上述技术问题，本公开提供了一种目标物分割方法和相关装置，能够提高目标物分割精度。

根据本公开第一方面，提供了一种目标物分割方法，包括：

获取视频中包含目标物的输入图像；

将所述输入图像输入至设定的目标物分割模型，经所述目标物分割模型分割输出第一目标物分割图，所述目标物分割模型为经训练后学习到目标物分割功能的神经网络；

对所述输入图像进行目标物的轮廓分割得到第二目标物分割图；

将所述第一目标物分割图和所述第二目标物分割图进行对应像素点的合并操作，得到最终目标物分割图；

其中，若执行合并操作的两像素点中有一个为目标物像素点，则合并后在所述最终目标物分割图中对应位置的像素点呈现为目标物像素点。

可选地，所述目标物分割模型执行的步骤包括：

从所述输入图像中提取出低层语义特征信息和高层语义特征信息；

将所述低层语义特征信息和所述高层语义特征信息进行信息融合处理，得到融合后的特征信息；

将所述融合后的特征信息进行上采样处理，得到所述第一目标物分割图。

可选地，所述目标物分割模型通过执行如下步骤来从所述输入图像中提取出低层语义特征信息和高层语义特征信息：

从所述输入图像中提取出低层语义特征信息；

以及，从提取出的低层语义特征信息中提取出高层语义特征信息。

可选地，所述目标物分割模型还用于对提取出的高层语义特征信息进行调整，且调整后的高层语义特征信息作为信息融合处理用到的高层语义特征信息。

可选地，将所述输入图像输入至设定的目标物分割模型，包括：将所述输入图像缩放为所述目标物分割模型所处理图像的预定尺寸，并将缩放处理后的输入图像输入至所述目标物分割模型；

经所述目标物分割模型分割输出第一目标物分割图，包括：经所述目标物分割模型分割输出分割图像并将所述分割图像经所述缩放处理的反处理得到所述第一目标物分割图。

可选地，对所述输入图像进行目标物的轮廓分割得到第二目标物分割图，包括：根据所述视频中所述输入图像和前一帧之间的差异确定第二目标物分割图。

可选地，根据所述视频中所述输入图像和前一帧之间的差异确定第二目标物分割图，包括：

将所述输入图像进行灰度化处理，得到第一灰度图；

将所述输入图像的前一帧进行灰度化处理，得到第二灰度图；

将所述第一灰度图和所述第二灰度图进行对应像素点的作差取绝对值操作，得到差异灰度图；

将所述差异灰度图进行二值化处理，得到所述第二目标物分割图。

可选地，所述第一目标物分割图和所述第二目标物分割图皆是目标物为白色、背景为黑色，将所述第一目标物分割图和所述第二目标物分割图进行对应像素点的合并操作，包括：将所述第一目标物分割图和所述第二目标物分割图进行对应像素点的相加操作/相或操作。

可选地，所述目标物分割方法还包括：对所述最终目标物分割图进行图像膨胀处理以优化所述最终目标物分割图。

根据本公开第二方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现第一方面所述的任一种方法的步骤。

根据本公开第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序或指令，所述计算机程序或指令被处理器执行时实现第一方面所述的任一种方法的步骤。

本公开的有益效果：

本公开所提供的目标物分割方法，将第一目标物分割图和第二目标物分割图进行对应像素点的合并操作来得到最终目标物分割图，这里执行合并操作的两像素点中有一个为目标物像素点，则合并后在最终目标物分割图中对应位置的像素点呈现为目标物像素点。其中，第一目标物分割图通过目标物分割模型得到，第二目标物分割图通过目标物的轮廓分割得到，因而，第一目标物分割图在细小物体的轮廓确定方面存在缺陷，而第二目标物分割图能够较好地弥补这一缺陷，从而得到的最终目标物分割图具有较高的目标物分割精度。

应当说明的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

图1示出根据本公开实施例提供的一种目标物分割方法的流程图；

图2示出根据本公开实施例提供的一种目标物分割模型；

图3示出根据本公开实施例提供的一种目标物分割模型所执行的步骤流程图；

图4示出根据本公开实施例提供的一种得到第二目标物分割图的方法流程图；

图5示出根据本公开实施例提供的另一种目标物分割方法的流程图；

图6示出由本公开实施例所提供目标物分割方法得到的一个示例性的目标物分割结果示意图；

图7示出根据本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了便于理解本公开，下面将参照相关附图对本公开进行更全面的描述。附图中给出了本公开的较佳实施例。但是，本公开可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本公开的公开内容的理解更加透彻全面。

图1所示为本公开实施例提供的一种目标物分割方法流程图。参照图1，该目标物分割方法包括：

步骤S110，获取视频中包含目标物的输入图像。

具体地，输入图像是视频内的一个包含目标物的图像帧。以视频为拍摄教学场景得到的视频为例，在从视频的图像帧提取板书图像的应用中目标物即教师人体部位和教师随身附带的物品，因而该示例中有教师出现的图像帧即可作为上述输入图像。

步骤S120，将输入图像输入至设定的目标物分割模型，经目标物分割模型粗略分割输出第一目标物分割图。

具体地，目标物分割模型为一种神经网络，该神经网络经训练后学习到目标物分割的功能，从而能够对输入图像进行目标物分割，即识别出输入图像内的各像素点是目标物像素点还是背景像素点。目标物分割模型输出的第一目标物分割图中，目标物和背景达到设定对比度。应当理解的是，第一目标物分割图具有和输入图像一样的尺寸。

步骤S130，对输入图像进行目标物的轮廓分割得到第二目标物分割图。

具体地，第二目标物分割图中目标物和背景同样达到设定对比度。并且，第二目标物分割图同样具有和输入图像一样的尺寸，因而第二目标物分割图的尺寸和第一目标物分割图的尺寸一致，二者的像素点在位置上具有一一对应的关系。在以下描述中，将第一目标物分割图和第二目标物分割图的处于同一位置的像素点称为第一目标物分割图和第二目标物分割图的对应像素点，例如，第一目标物分割图的处于第一排第二列的像素点和第二目标物分割图的处于第一排第二列的像素点为这两分割图的一组对应像素点。

需要说明的是，由于第一目标物分割图和第二目标物分割图通过不同的方法得到，因而二者的对应像素点可能不是同一物体包括的像素点，即一个为目标物像素点而另一个为背景像素点。

步骤S140，将第一目标物分割图和第二目标物分割图进行对应像素点的合并操作，得到最终目标物分割图。

具体地，若执行合并操作的两像素点中有一个为目标物像素点，则合并后在最终目标物分割图中对应位置的像素点呈现为目标物像素点。应当理解的是，最终目标物分割图的尺寸和第一目标物分割图的尺寸一致，和第二目标物分割图的尺寸一致，也和输入图像的尺寸一致。

下面对上述步骤进行详细说明。

图2所示为目标物分割模型的一种结构示意图，图3所示为目标物分割模型所执行的步骤。参照图2，目标物分割模型可以包括：特征提取模块(Feature extraction module)10、特征融合模块(Feature Fusion Module)20和上采样模块30。参照图3，一个可选的实施例中，目标物分割模型粗略分割输入图像的过程中，执行了如下步骤：

步骤S121，由特征提取模块10从输入图像中提取出低层语义特征信息f

步骤S122，由特征融合模块20将低层语义特征信息f

步骤S123，由上采样模块30将融合后的特征信息f进行上采样处理，得到第一目标物分割图。

具体地，上述特征提取模块10的核心结构为卷积层，卷积层提取的特征具有层次性，不同的卷积层具有不同的语义层次从而提取出不同语义层次的特征信息。示例性地，如图2所示，特征提取模块10包括的多个卷积层中一部分属于浅层特征提取单元11而另一部分属于深层特征提取单元12，且浅层特征提取单元11和深层特征提取单元12连接，步骤S121的执行过程如下：由浅层特征提取单元11从输入图像中提取出低层语义特征信息f

低层语义特征信息f

步骤S121提取特征信息的过程会涉及到降采样处理，降采样处理使得图像分辨率降低，融合后的特征信息f针对的是分辨率降低后的图像，因而步骤S123对融合后的特征信息f进行上采样处理以恢复分辨率，从而使得最终得到的第一目标物分割图分辨率和输入图像的分辨率一致。

进一步，参照图2，目标物分割模型还可以包括注意力微调模块(AttentionRefine module)40。注意力微调模块40设置在特征提取模块10和特征融合模块20之间，用于对特征提取模块10传输给特征融合模块20的高层语义特征信息f

一些情况下，视频的图像帧并不是目标物分割模型所处理图像的预定尺寸。因而，步骤S120中，将输入图像输入至设定的目标物分割模型，包括：将输入图像缩放为目标物分割模型所处理图像的预定尺寸(例如896×512，即水平有896个像素点，竖直有512个像素点)，并将缩放处理后的输入图像输入至目标物分割模型；步骤S120中，经目标物分割模型粗略分割输出第一目标物分割图，包括：经目标物分割模型粗略分割输出分割图像(分割图像的尺寸为目标物分割模型所处理图像的预定尺寸)并将该分割图像经缩放处理的反处理得到第一目标物分割图。

上述目标物分割模型作为一种神经网络，经训练后具有目标物分割的功能，但实现的是目标物的一种粗略分割，能粗略分割出人像，在细小物体的轮廓确定方面存在缺陷，类似眼镜、手指、马克笔这种相对教师显得比较细小的物体则较难在背景中将其轮廓确定出来。因而，第一目标物分割图的目标物可能不包括一些本来属于目标物的细小物体。

另一个可选的实施例中，步骤S130，对输入图像进行目标物的轮廓分割得到第二目标物分割图，是根据视频中输入图像和前一帧之间的差异确定第二目标物分割图。

进一步，在目标物为运动的人/物体而背景中物体皆静止的情况下，如图4所示，根据视频中输入图像和前一帧之间的差异确定第二目标物分割图，可以包括：

步骤S131，将输入图像进行灰度化处理，得到第一灰度图。

具体地，灰度化处理采用现有方式，例如有平均值法，即将输入图像中的三分量亮度求平均得到一个灰度值；又例如有加权平均法，即根据重要性及其它指标，将输入图像中的三分量以不同权重进行加权平均来得到灰度值。应当理解的是，灰度化处理并不改变图像尺寸，因而第一灰度图的尺寸和输入图像的尺寸一致。

步骤S132，将输入图像的前一帧进行灰度化处理，得到第二灰度图。

具体地，应用于前一帧的灰度化处理方式，与应用于输入图像的灰度化处理方式一致。同理，第二灰度图的尺寸和前一帧的尺寸一致。由于同一视频内的图像帧具有相同的尺寸，因而第二灰度图的尺寸和当前灰度图的尺寸一致。在以下描述中，将第一灰度图和第二灰度图的处于同一位置的像素点称为第一灰度图和第二灰度图的对应像素点。

步骤S133，将第一灰度图和第二灰度图进行对应像素点的作差取绝对值操作，得到差异灰度图。

具体地，若记第一灰度图为f

D

其中，D

步骤S134，将差异灰度图进行二值化处理，得到第二目标物分割图。

具体地，设定阈值T，可以按公式(2)逐个对差异灰度图D

其中，M

拍摄设备采集的视频的图像帧序列具有连续性的特点。如果现实场景内没有目标物这一运动目标，由于现实场景内的背景都静止，因而连续的图像帧变化很微弱；如果现实场景内存在目标物这一运动目标，由于目标物运动，因而连续的图像帧之间会有明显的变化。上述步骤S131至步骤S134就是基于这一思想区分出背景和目标物，从而得到了第二目标物分割图。当然，本申请不限定上述方法，只要能够精确分割出目标物的轮廓的解决方案都可以作为本申请保护的一部分。

上述步骤S131至步骤S134的执行需要用到输入图像的前一帧，因而输入图像为视频的除去第一帧的任一图像帧。对于视频的第一帧，可以将第一目标物分割图直接确定为最终目标物分割图。

本公开实施例中所执行步骤的计算量较小，能够快速检测出目标物，从而得到上述第二目标物分割图。结合目标物分割模型能够快速得到上述第一目标物分割图，因而本公开提供的上述目标物分割方法在实际应用中能够达到实时性的要求。

需要说明的是，一些情景中，目标物移动较为缓慢，目标物在连续图像帧之间的位置变化缓慢，目标物在相邻图像帧中相重叠的部分通过上述步骤S131至步骤S134很难检测出来，因而步骤S131至步骤S134的执行虽然能够准确地确定目标物轮廓但确定出的目标物有时并不完整，具体体现为第二目标物分割图的目标物轮廓内含有“空洞”(即目标物轮廓内存在本应为目标物像素点的背景像素点)。

又一个可选的实施例中，第一目标物分割图和第二目标物分割图中目标物皆为白色且背景皆为黑色，步骤S140，将第一目标物分割图和第二目标物分割图进行对应像素点的合并操作，包括：将第一目标物分割图和第二目标物分割图进行对应像素点的相加操作或相或操作。

具体地，相加操作，即将第一目标物分割图和第二目标物分割图的对应像素点进行像素值相加操作，若得到的和不小于255，则相加后在最终目标物分割图中对应位置的像素点呈现为白色，反之相加后在最终目标物分割图中对应位置的像素点呈现为黑色。

相或操作，即将第一目标物分割图和第二目标物分割图的对应像素点进行像素值的逻辑或操作，其中，第一目标物分割图和第二目标物分割图内的白色像素点对应逻辑值“1”，黑色像素点对应逻辑值“0”，因而若执行相或操作的两像素点中有一个为白色像素点，则相或操作后在最终目标物分割图中对应位置的像素点就为白色像素点；若执行相或操作的两像素点都为黑色像素点，则相或操作后在最终目标物分割图中对应位置的像素点为黑色像素点。

本公开实施例通过第一目标物分割图和第二目标物分割图进行对应像素点的相加操作或相或操作，实现了如下目的：若执行合并操作的两像素点中有一个为目标物像素点，则合并后在最终目标物分割图中对应位置的像素点呈现为目标物像素点。

综上所述，目标物分割模型在细小物体的轮廓确定方面存在缺陷，上述第一目标物分割图的目标物可能不包括一些本来属于目标物的细小物体，而目标物的轮廓分割能够准确地确定目标物轮廓，因而恰好弥补了上述缺陷，从而结合第一目标物分割图和第二目标物分割图得到的最终目标物分割图具有较高的目标物分割精度，且第二目标物分割图的“空洞”问题在第一目标物分割图的弥补下也得到缓解。

图5所示为本公开实施例提供的另一种目标物分割方法的流程图。参照图5，在一个可选的实施例中，目标物分割方法，还包括：步骤S150，将最终目标物分割图进行图像膨胀处理。图像膨胀处理后的最终目标物分割图作为本公开所提供目标物分割方法得到的目标物分割结果。

具体地，若最终目标物分割图中目标物为白色且背景为黑色，则上述图像膨胀处理过程为：考虑最终目标物分割图中某个像素点连带周围8个像素点，这9个像素点排列出一个3×3的格子阵，该格子阵中心像素点在其周围像素点有白色像素点的情况下变为白色像素点。可见，所谓的图像膨胀处理，其实就是在图像的边缘添加图像像素点，使得图像整体的像素扩张，进而达到图像膨胀效果。

本公开实施例中，图像膨胀处理的作用是在最终目标物分割图的目标物边缘添加目标物像素点。由于目标物分割模型在细小物体的轮廓确定方面存在缺陷，因而第一目标物分割图对第二目标物分割图中的细小物体内的“空洞”无法弥补，上述步骤S150能够弥补细小物体内的“空洞”，从而优化了最终目标物分割图，使得所得目标物分割结果具有更完整的目标物。

图6所示为由本公开实施例所提供目标物分割方法得到的一个示例性的目标物分割结果示意图。参照图6，目标物为人像，该目标物分割结果中人像包括眼睛边框(见图6中人像右侧边的靠头顶部分)这类细小物体，而且人像轮廓内不存在“空洞”。图6所示的目标物分割结果在实例上证明本公开所提供目标物分割方法具有较高的分割精度。

本公开实施例还提供了一种电子设备1300，如图7所示，包括存储器1310和处理器1320及存储在存储器1310上并可在处理器1320上运行的程序，该程序被处理器1320执行时可实现上述目标物分割方法中各实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。当然，该电子设备1300还可以包括电源组件1330、网络接口1340和输入输出接口1350等辅助子设备。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读的可读存储介质中，并由处理器进行加载和执行。为此，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序或指令，该计算机程序或指令被处理器执行时可实现上述目标物分割方法中各实施例的各个过程。其中，计算机可读存储介质，如U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

由于该可读存储介质中所存储的指令，可以执行本公开实施例所提供的任一种目标物分割方法中的步骤，因此，可以实现本公开实施例所提供的任一种目标物分割方法所能实现的有益效果，详见前面的实施例，在此不再赘述。以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

需要说明的是，本说明书中在对各个实施例进行描述时，均重点说明的是与其他实施例的不同之处，而对于各个实施例之间相同或相似的部分可互相参考进行理解。对于系统实施例而言，由于其与方法实施例基本相似，因此相关之处可参考对方法实施例部分的说明。

此外，需要指出的是，在本公开的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本公开的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本公开的说明的情况下运用他们的基本编程技能就能实现的。

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本公开所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本公开的保护范围之中。