掌桥专利:专业的专利平台
掌桥专利
首页

一种图像处理方法及装置

文献发布时间:2023-06-19 11:49:09


一种图像处理方法及装置

技术领域

本申请涉及图像处理领域的图像处理技术,尤其涉及一种图像处理方法及装置。

背景技术

随着科技的发展,修图软件被广泛应用;在美颜、贴图等软件中修图时,需要获取待修图部分;在获取待修图部分的时候,即使人物保持静止但因为周围环境噪音的存在,会导致美颜和贴图抖动。为了避免上述问题,相关技术中通过对当前帧和历史帧的修图部分的像素点取平均值或者加权值的方式消除抖动。但是,相关技术中的这种消除抖动的方案在人脸快速移动时,会出现残影的问题。

发明内容

为解决上述技术问题,本申请实施例期望提供一种图像处理方法及装置,解决了相关技术中消除抖动的方案在人脸快速移动时,会出现残影的问题。

为达到上述目的,本申请的技术方案是这样实现的:

一种图像处理方法,所述方法包括:

获取针对目标对象的待处理视频中的多帧待处理图像;

对所述多帧待处理图像进行处理,确定所述多帧待处理图像的目标像素点的目标参数;

基于所述目标像素点的目标参数,确定所述目标对象的移动速度是否符合目标设定速度;

在所述目标对象的移动速度符合所述目标设定速度的情况下,对所述待处理图像的像素点进行第一处理确定所述目标对象的目标区域;

在所述目标对象的移动速度不符合所述目标设定速度的情况下,对所述待处理图像的像素点进行第二处理确定所述目标对象的目标区域。

上述方案中,所述对所述多帧待处理图像进行处理,确定所述多帧待处理图像的目标区域的像素点的目标参数,包括:

对所述多帧待处理图像进行关键点检测,得到所述多帧待处理图像的目标人脸的关键点的位置信息;其中,所述目标像素点包括所述关键点处的像素点。

上述方案中,所述基于所述目标像素点的目标参数,确定所述目标对象的移动速度是否符合目标设定速度,包括:

获取间隔第一帧数的不同帧对应的待处理图像的关键点的位置信息并进行比较;

基于所述比较结果,确定具有对应关系的所述关键点的位置信息发生变化的目标关键点对应的区域是否满足参考区域;

在所述目标关键点对应的区域满足所述参考区域的情况下,确定所述目标人脸的移动速度符合所述目标设定速度;

在所述目标关键点对应的区域不满足所述参考区域的情况下,确定所述目标人脸的移动速度不符合所述目标设定速度。

上述方案中,所述在所述目标对象的移动速度符合所述目标设定速度的情况下,对所述待处理图像的像素点进行第一处理确定所述目标对象的目标区域,包括:

在确定所述目标人脸的移动速度符合所述目标设定速度的情况下,基于当前帧的待处理图像的第一关键点的位置信息确定所述目标对象的所述目标区域;

相应的,所述在所述目标对象的移动速度不符合所述目标设定速度的情况下,对所述待处理图像的像素点进行第二处理确定所述目标对象的目标区域,包括:

在确定所述目标人脸的移动速度不符合所述目标设定速度的情况下,基于当前帧的待处理图像的第一关键点的位置信息和当前帧之前帧的待处理图像的第二关键点的位置信息,确定所述目标对象的所述目标区域。

上述方案中,所述对所述多帧待处理图像进行处理,确定所述多帧待处理图像的目标像素点的目标参数,包括:

对所述多帧待处理图像进行分析,确定所述多帧待处理图像的像素点属于所述待处理图像的目标部分的像素点的概率值;其中,所述目标像素点包括所述多帧待处理图像的像素点;所述目标部分是基于所述待处理图像的景深信息确定的。

上述方案中,所述基于所述目标的像素点的目标参数,确定所述目标对象的移动速度是否符合目标设定速度,包括:

比较具有对应关系的当前帧第一像素点的概率值,与当前帧之前且间隔第二帧数的帧第二像素点的概率值;

在比较结果表征概率值发生变化的像素点的数量满足目标数量阈值的情况下,确定所述目标对象的移动速度符合所述目标设定速度;

在比较结果表征概率值发生变化的像素点的数量不满足所述目标数量阈值的情况下,确定所述目标对象的移动速度不符合所述目标设定速度。

上述方案中,所述在所述目标对象的移动速度符合所述目标设定速度的情况下,对所述待处理图像的像素点进行第一处理确定所述目标对象的目标区域,包括:

在确定所述目标对象的移动速度符合所述目标设定速度的情况下,基于当前帧第一像素点的概率值确定所述待处理图像的目标区域;

相应的,所述在所述目标对象的移动速度不符合所述目标设定速度的情况下,对所述待处理图像的像素点进行第二处理确定所述目标对象的目标区域,包括:

在确定所述目标对象的移动速度不符合所述目标设定速度的情况下,基于当前帧第一像素点的概率值和当前帧之前的帧第二像素点的概率值,确定所述待处理图像的目标区域。

上述方案中,所述方法还包括:

在确定目标人脸的移动速度符合所述目标设定速度的情况下,删除当前帧之前的帧的待处理图像的第二关键点的位置信息;

或者,在确定所述目标对象的移动速度符合所述目标设定速度的情况下,删除当前帧之前的帧第二像素点的概率值。

上述方案中,所述方法还包括:

基于所述目标区域在所述待处理图像中的位置信息,对所述目标对象进行处理。

一种图像处理装置,其特征在于,所述装置包括:

获取单元,用于获取针对目标对象的待处理视频中的多帧待处理图像;

第一确定单元,用于对所述多帧待处理图像进行处理,确定所述多帧待处理图像的目标像素点的目标参数;

第二确定单元,用于基于所述目标像素点的目标参数,确定所述目标对象的的移动速度是否符合目标设定速度;

处理单元,用于在所述目标对象的移动速度符合所述目标设定速度的情况下,对所述待处理图像的像素点进行第一处理确定所述目标对象的目标区域;

所述处理单元,还用于在所述目标对象的移动速度不符合所述目标设定速度的情况下,对所述待处理图像的像素点进行第二处理确定所述目标对象的目标区域。

本申请实施例所提供的图像处理方法及装置,获取针对目标对象的待处理视频中的多帧待处理图像;对多帧待处理图像进行处理,确定多帧待处理图像的目标像素点的目标参数;基于目标像素点的目标参数,确定目标对象的移动速度是否符合目标设定速度;在目标对象的移动速度符合目标设定速度的情况下,对待处理图像的像素点进行第一处理确定目标对象的目标区域;在目标对象的移动速度不符合目标设定速度的情况下,对待处理图像的像素点进行第二处理确定目标对象的目标区域;如此,可以根据对多帧待处理图像进行处理得到的目标参数来确定目标对象的移动速度,进而根据目标对象的移动速度选择不同的处理方法对像素点进行处理来确定目标对象的目标区域,解决了相关技术中消除抖动的方案在人脸快速移动时,会出现残影的问题,从而实现了在有效消除抖动的同时避免出现残影现象。

附图说明

图1为本申请实施例提供的一种图像处理方法的流程示意图;

图2为本申请实施例提供的另一种图像处理方法的流程示意图;

图3为本申请实施例提供的又一种图像处理方法的流程示意图;

图4为本申请实施例提供的一种图像处理装置的结构示意图;

图5为本申请的实施例提供的一种图像处理设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供一种图像处理方法,该方法可以应用于电子设备,如图1所示,该方法包括以下步骤:

S101、获取针对目标对象的待处理视频中的多帧待处理图像。

其中,目标对象可以是具有目标人脸的对象,多帧待处理图像可以是待处理视频中的每一帧图像(即全部帧图像),也可以是待处理视频中的部分帧图像。

在本申请实施例中,电子设备可以为具有图像采集和处理能力的设备,电子设备从待处理视频中直接获取包括目标人脸的多帧待处理图像。

S102、对多帧待处理图像进行处理,确定多帧待处理图像的目标像素点的目标参数。

其中,对多帧待处理图像进行处理可以是对多帧待处理图像中的像素点进行处理;目标像素点可以是多帧待处理图像的像素点或者多帧待处理图像的目标人脸的关键点;目标像素点的目标参数可以是多帧待处理图像的关键点的位置信息或像素点的概率值。

在本申请实施例中,电子设备对多帧待处理图像中的目标人脸或目标对象进行分析处理,从而确定出多帧待处理图像的关键点的位置信息或像素点的概率值。

S103、基于目标像素点的目标参数,确定目标对象的移动速度是否符合目标设定速度。

其中,目标对象的移动速度可以是多帧待处理图像中目标人脸的移动速度,目标设定速度可以是根据具体场景设置的速度;在一种可行的实现方式中,目标设定速度可以是速度阈值。

在本申请实施例中,电子设备根据目标人脸的关键点的位置信息或待处理图像的像素点的概率值来确定目标人脸的移动速度是否符合当前场景设置的速度阈值。在一种可行的实现方式中,将目标人脸的移动速度与速度阈值进行比较,若目标人脸的移动速度大于或等于速度阈值,则表明目标人脸的移动速度符合目标设定速度;若目标人脸的移动速度小于速度阈值,则表明目标人脸的移动速度不符合目标设定速度。

S104、在目标对象的移动速度符合目标设定速度的情况下,对待处理图像的像素点进行第一处理确定目标对象的目标区域。

在本申请实施例中,在目标对象的移动速度符合目标设定速度时,表明目标对象发生了快速移动;其中,第一处理可以是只与当前帧的待处理图像的像素点有关的处理;需要说明的是,目标区域可以是根据当前帧待处理图像的目标人脸的关键点的位置信息或当前帧待处理图像的像素点的概率值来确定的。

其中,目标区域可以指的是待处理图像中需要进行图像修复的区域,目标区域可以包括目标人脸的关键点所在的区域,或目标对象在待处理图像中所处的区域。在一种可行的实现方式中,目标人脸的区域可以是目标人脸的眼睛、额头、鼻子和嘴巴等。

S105、在目标对象的移动速度不符合目标设定速度的情况下,对待处理图像的像素点进行第二处理确定目标对象的目标区域。

在本申请实施例中,第二处理可以是根据当前帧的待处理图像的关键点的位置信息和当前帧之前的帧的待处理图像的关键点的位置信息来确定目标对象的目标区域,也可以是根据当前帧的待处理图像的像素点的概率值和当前帧之前的帧的待处理图像的关键点的概率值来确定目标对象的目标区域。

本申请实施例所提供的图像处理方法,获取针对目标对象的待处理视频中的多帧待处理图像;对多帧待处理图像进行处理,确定多帧待处理图像的目标像素点的目标参数;基于目标像素点的目标参数,确定目标对象的移动速度是否符合目标设定速度;在目标对象的移动速度符合目标设定速度的情况下,对待处理图像的像素点进行第一处理确定目标对象的目标区域;在目标对象的移动速度不符合目标设定速度的情况下,对待处理图像的像素点进行第二处理确定目标对象的目标区域;如此,可以根据对多帧待处理图像进行处理得到的目标参数来确定目标对象的移动速度,进而根据目标对象的移动速度选择不同的处理方法对像素点进行处理来确定目标对象的目标区域,解决了相关技术中消除抖动的方案在人脸快速移动时,会出现残影的问题,从而实现了在有效消除抖动的同时避免出现残影现象。

基于前述实施例,本申请的实施例提供一种图像处理方法,参照图2所示,该方法包括以下步骤:

S201、电子设备获取针对目标对象的待处理视频中的多帧待处理图像。

S202、电子设备对多帧待处理图像进行关键点检测,得到多帧待处理图像的目标人脸的关键点的位置信息。

其中,目标像素点包括关键点处的像素点。

在本申请实施例中,关键点的位置信息可以是关键点的坐标信息;在一种可行的实现方式中,电子设备对每一帧待处理图像进行关键点检测,得到每一帧待处理图像中目标人脸的关键点的坐标信息。

S203、电子设备获取间隔第一帧数的不同帧对应的待处理图像的关键点的位置信息并进行比较。

其中,间隔第一帧数的不同帧可以是两个不相邻的帧,且两个不相邻的帧在待处理视频中对应的时间也是不同的;也就是说,需要将在时间上具有一定时间差值的帧的待处理图像的关键点的位置信息进行比较处理。其中,第一帧数可以是一帧,也可以是多帧。关键点位置信息的比较可以是将目标人脸的关键点的坐标信息进行比较;在一种可行的实现方式中,可以根据不帧对应的待处理图像的目标人脸的关键点的位置信息生成与之对应的矩阵,之后通过对不同帧对应的矩阵中的元素进行比较来实现比较不同帧的目标人脸的关键点的坐标信息。

S204、电子设备基于比较结果,确定具有对应关系的关键点的位置信息发生变化的目标关键点对应的区域是否满足参考区域。

其中,参考区域可以是目标人脸的子区域,目标人脸的子区域可以是一个子区域,也可以是多个子区域。目标关键点可以是待处理图像中位置信息发生变化的关键点。需要说明的是,参考区域可以是目标人脸上的特定区域,也可以是目标人脸上占目标人脸整体区域的比值大于比例阈值的区域。

在本申请实施例中,比较具有对应关系的关键点的位置信息的差值,并获取多帧待处理图像的目标人脸的关键点中差值大于目标差阈值的数量;若目标人脸的关键点中差值大于目标差阈值的数量大于或等于一定数量阈值,确定位置信息发生变化的目标关键点对应的区域满足参考区域;若目标人脸的关键点中差值大于目标差阈值的数量小于一定数量阈值,确定位置信息发生变化的目标关键点对应的区域不满足参考区域。

其中,目标差阈值可以是根据具体应用场景设置的目标差阈值,数量阈值也可以是根据具体应用场景设置的数量阈值。

需要说明的是,在S204之后可以执行S205-206,或者,执行S207-208。

S205、电子设备在目标关键点对应的区域满足参考区域的情况下,确定目标人脸的移动速度符合目标设定速度。

在本申请实施例中,若目标人脸的关键点中差值大于目标差阈值的数量大于或等于一定数量阈值,确定目标人脸的移动速度符合目标设定速度。

S206、电子设备在确定目标人脸的移动速度符合目标设定速度的情况下,基于当前帧的待处理图像的第一关键点的位置信息确定目标对象的目标区域。

其中,目标人脸的移动速度符合目标设定速度的情况可以是目标人脸的移动速度很快,即目标人脸处于快速移动的运动状态。

在本申请实施例中,电子设备确定出目标人脸在快速移动时,直接根据当前帧的待处理图像的第一关键点的坐标信息来确定目标人脸的目标区域,能够避免出现残影的现象。在一种可行的实现方式中,电子设备确定出目标人脸在快速移动时,根据当前帧的待处理图像的眼睛的坐标信息来确定目标人脸的目标区域。

S207、电子设备在目标关键点对应的区域不满足参考区域的情况下,确定目标人脸的移动速度不符合目标设定速度。

在本申请实施例中,若目标人脸的关键点中差值大于目标差阈值的数量小于一定数量阈值,确定目标人脸的移动速度不符合目标设定速度。

S208、电子设备在确定目标人脸的移动速度不符合目标设定速度的情况下,基于当前帧的待处理图像的第一关键点的位置信息和当前帧之前帧的待处理图像的第二关键点的位置信息,确定目标对象的目标区域。

其中,目标人脸的移动速度不符合目标设定速度的情况可以是目标人脸没有发生快速移动,或目标人脸处于静止状态。当前帧之前帧的待处理图像可以是与当前帧相邻的待处理图像,也可以是与当前帧不相邻(即间隔)的待处理图像,在此不做限定。

在本申请实施例中,电子设备确定出目标人脸没有快速移动时,根据第一关键点的坐标信息和第二关键点的坐标信息来确定目标人脸的目标区域。在一种可行的实现方式中,如相关技术中采用平均值或加权值进行处理,并确定目标人脸的目标区域,由于此时目标人脸没有快速移动,因此采用多帧待处理图像的平均值或加权值进行处理,不会出现残影现象。

需要说明的是,本实施例与其他实施例中相同或相应步骤的说明可以参照其他实施例中的描述,此处不再赘述。

本申请实施例所提供的图像处理方法,可以根据对多帧待处理图像进行处理得到的目标参数来确定目标对象的移动速度,进而根据目标对象的移动速度选择不同的处理方法对像素点进行处理来确定目标对象的目标区域,解决了相关技术中消除抖动的方案在人脸快速移动时,会出现残影的问题,从而实现了在有效消除抖动的同时避免出现残影现象。

基于前述实施例,本申请的实施例提供一种图像处理方法,参照图3所示,该方法包括以下步骤:

S301、电子设备获取针对目标对象的待处理视频中的多帧待处理图像。

S302、电子设备对多帧待处理图像进行分析,确定多帧待处理图像的像素点属于待处理图像的目标部分的像素点的概率值。

其中,目标像素点包括多帧待处理图像的像素点,目标部分是基于待处理图像的景深信息确定的。在一种可行的实现方式中,目标部分可以是待处理图像的前景部分或后景部分。

在本申请实施例中,概率值指的是待处理图像的像素点位于待处理图像的前景部分的概率,或者,待处理图像的像素点位于待处理图像的后景部分的概率。在本实施例中,以目标部分指的是待处理图像的前景部分为例进行解释说明。

S303、电子设备比较具有对应关系的当前帧第一像素点的概率值,与当前帧之前且间隔第二帧数的帧第二像素点的概率值。

其中,第一像素点可以是当前帧待处理图像的像素点,第二像素点可以是当前帧之前且间隔第二帧的待处理图像的像素点。

在本申请实施例中,第一像素点的概率值指的是当前帧待处理图像的像素点位于前景部分的概率,第二像素点的概率值指的是与当前帧待处理图像之前且相隔第二帧数的待处理图像的像素点位于前景部分的概率。需要说明的是,第二帧数可以是一帧,也可以是多帧,第一帧数与第二帧数可以相同,也可以不同。

需要说明的是,在S303之后,可以执行S304-305,或者,执行S306-307。

S304、电子设备在比较结果表征概率值发生变化的像素点的数量满足目标数量阈值的情况下,确定目标对象的移动速度符合目标设定速度。

其中,目标数量阈值可以是根据具体场景设置的数量阈值。

在本申请实施例中,当概率值发生变化的像素点的数量大于或等于目标数量阈值时,确定目标人脸的移动速度符合目标设定速度。

S305、电子设备在确定目标对象的移动速度符合目标设定速度的情况下,基于当前帧第一像素点的概率值确定待处理图像的目标区域。

在本申请实施例中,由于当目标人脸快速移动时,根据多帧待处理图像的像素点的概率值的加权值或平均值来确定目标区域,会出现残影。因此,当待处理图像中的目标人脸在快速移动时,直接采用当前帧的待处理图像的第一像素点的概率值来确定待处理图像的目标区域,能够避免出现残影现象。

S306、电子设备在比较结果表征概率值发生变化的像素点的数量不满足目标数量阈值的情况下,确定目标对象的移动速度不符合目标设定速度。

在本申请实施例中,当概率值发生变化的像素点的数量小于目标数量阈值时,确定目标人脸的移动速度不符合目标设定速度。

S307、电子设备在确定目标对象的移动速度不符合目标设定速度的情况下,基于当前帧第一像素点的概率值和当前帧之前的帧第二像素点的概率值,确定待处理图像的目标区域。

在本申请实施例中,当待处理图像中的目标人脸没有快速移动,或处于静状态时,采用第一像素点的概率值和第二像素点的概率值来确定待处理图像的目标区域,由于此时目标人脸没有快速移动,采用多帧待处理图像的像素点的概率值的加权值或平均值来确定目标区域,也不会出现残影现象。

基于前述实施例,在本申请的其他实施例中,该方法还可以包括以下步骤:

S308、电子设备在确定目标人脸的移动速度符合目标设定速度的情况下,删除当前帧之前的帧的待处理图像的第二关键点的位置信息。

在本申请实施例中,当目标人脸在快速移动时,由于不需要使用当前帧之前的帧的待处理图像的关键点的位置信息,电子设备将本地存储的位置信息进行删除,能够节约电子设备本地的存储空间。

S309、电子设备在确定目标对象的移动速度符合所述目标设定速度的情况下,删除当前帧之前的帧第二像素点的概率值。

在本申请实施例中,当目标人脸在快速移动时,由于不需要使用当前帧之前的帧的待处理图像的像素点的概率值,电子设备将本地存储的概率值进行删除,能够节约电子设备本地的存储空间。

S310、电子设备基于目标区域在待处理图像中的位置信息,对目标对象进行处理。

在本申请实施例中,电子设备根据目标区域在待处理图像中的坐标信息来对目标人脸进行处理。在一种可行的实现方式中,对目标人脸进行处理可以是对目标人脸进行修图或抠图处理。

需要说明的是,本实施例与其他实施例中相同或相应步骤的说明可以参照其他实施例中的描述,此处不再赘述。

本申请实施例所提供的图像处理方法,可以根据对多帧待处理图像进行处理得到的目标参数来确定目标对象的移动速度,进而根据目标对象的移动速度选择不同的处理方法对像素点进行处理来确定目标对象的目标区域,解决了相关技术中消除抖动的方案在人脸快速移动时,会出现残影的问题,从而实现了在有效消除抖动的同时避免出现残影现象。

基于前述实施例,本申请的实施例提供一种图像处理装置,该装置可以应用于图1~3对应的实施例提供的图像处理方法中,参照图4所示,该装置4可以包括:获取单元41、第一确定单元42、第二确定单元43和处理单元44,其中:

获取单元41,用于获取针对目标对象的待处理视频中的多帧待处理图像;

第一确定单元42,用于对多帧待处理图像进行处理,确定多帧待处理图像的目标像素点的目标参数;

第二确定单元43,用于基于目标像素点的目标参数,确定目标对象的的移动速度是否符合目标设定速度;

处理单元44,用于在目标对象的移动速度符合目标设定速度的情况下,对待处理图像的像素点进行第一处理确定目标对象的目标区域;

处理单元44,还用于在目标对象的移动速度不符合目标设定速度的情况下,对待处理图像的像素点进行第二处理确定目标对象的目标区域。

在本申请其他实施例中,第一确定单元42还用于执行以下步骤:

对多帧待处理图像进行关键点检测,得到多帧待处理图像的目标人脸的关键点的位置信息;其中,目标像素点包括关键点处的像素点。

在本申请其他实施例中,第二确定单元43还用于执行以下步骤:

获取间隔第一帧数的不同帧对应的待处理图像的关键点的位置信息并进行比较;

基于比较结果,确定具有对应关系的关键点的位置信息发生变化的目标关键点对应的区域是否满足参考区域;

在目标关键点对应的区域满足所述参考区域的情况下,确定目标人脸的移动速度符合目标设定速度;

在目标关键点对应的区域不满足参考区域的情况下,确定目标人脸的移动速度不符合目标设定速度。

在本申请其他实施例中,处理单元44还用于执行以下步骤:

在确定目标人脸的移动速度符合目标设定速度的情况下,基于当前帧的待处理图像的第一关键点的位置信息确定目标对象的所述目标区域;

相应的,在确定目标人脸的移动速度不符合目标设定速度的情况下,基于当前帧的待处理图像的第一关键点的位置信息和当前帧之前帧的待处理图像的第二关键点的位置信息,确定目标对象的所述目标区域。

在本申请其他实施例中,第一确定单元42还用于执行以下步骤:

对多帧待处理图像进行分析,确定多帧待处理图像的像素点属于待处理图像的目标部分的像素点的概率值;其中,目标像素点包括多帧待处理图像的像素点;目标部分是基于待处理图像的景深信息确定的。

在本申请其他实施例中,第二确定单元43还用于执行以下步骤:

比较具有对应关系的当前帧第一像素点的概率值,与当前帧之前且间隔第二帧数的帧第二像素点的概率值;

在比较结果表征概率值发生变化的像素点的数量满足目标数量阈值的情况下,确定目标对象的移动速度符合目标设定速度;

在比较结果表征概率值发生变化的像素点的数量不满足目标数量阈值的情况下,确定目标对象的移动速度不符合目标设定速度。

在本申请其他实施例中,处理单元44还用于执行以下步骤:

在确定目标对象的移动速度符合所述目标设定速度的情况下,基于当前帧第一像素点的概率值确定所述待处理图像的目标区域;

相应的,在确定目标对象的移动速度不符合目标设定速度的情况下,基于当前帧第一像素点的概率值和当前帧之前的帧第二像素点的概率值,确定待处理图像的目标区域。

在本申请其他实施例中,处理单元44还用于执行以下步骤:

在确定目标人脸的移动速度不符合目标设定速度的情况下,删除当前帧之前的帧的待处理图像的第二关键点的位置信息;

或者,在确定目标对象的移动速度不符合目标设定速度的情况下,删除当前帧之前的帧第二像素点的概率值。

在本申请其他实施例中,处理单元44还用于执行以下步骤:

基于目标区域在待处理图像中的位置信息,对目标对象进行处理。

本申请实施例所提供的图像处理装置,可以根据对多帧待处理图像进行处理得到的目标参数来确定目标对象的移动速度,进而根据目标对象的移动速度选择不同的处理方法确定目标对象的目标区域,解决了相关技术中消除抖动的方案在人脸快速移动时,会出现残影的问题,从而实现了在有效消除抖动的同时避免出现残影现象。

基于前述实施例,本申请的实施例提供一种图像处理设备,该图像处理设备可以应用于图1~3对应的实施例提供的图像处理方法中,参照图5所示,该图像处理设备5可以包括:处理器51、存储器52和通信总线53,其中:

通信总线53用于实现处理器51和存储器52之间的通信连接;

处理器51用于执行存储器52中存储的信息确定程序,以实现以下步骤:

获取针对目标对象的待处理视频中的多帧待处理图像;

对多帧待处理图像进行处理,确定多帧待处理图像的目标像素点的目标参数;

基于目标像素点的目标参数,确定目标对象的的移动速度是否符合目标设定速度;

在目标对象的移动速度符合目标设定速度的情况下,对待处理图像的像素点进行第一处理确定目标对象的目标区域;

在目标对象的移动速度不符合目标设定速度的情况下,对待处理图像的像素点进行第二处理确定目标对象的目标区域。

在本申请其他实施例中,处理器51用于执行存储器52中存储的对多帧待处理图像进行处理,确定多帧待处理图像的目标区域的像素点的目标参数,以实现以下步骤:

对多帧待处理图像进行关键点检测,得到多帧待处理图像的目标人脸的关键点的位置信息;其中,目标像素点包括关键点处的像素点。

在本申请其他实施例中,处理器51用于执行存储器52中存储的对基于目标像素点的目标参数,确定目标对象的移动速度是否符合目标设定速度,以实现以下步骤:

获取间隔第一帧数的不同帧对应的待处理图像的关键点的位置信息并进行比较;

基于比较结果,确定具有对应关系的关键点的位置信息发生变化的目标关键点对应的区域是否满足参考区域;

在目标关键点对应的区域满足所述参考区域的情况下,确定目标人脸的移动速度符合目标设定速度;

在目标关键点对应的区域不满足参考区域的情况下,确定目标人脸的移动速度不符合目标设定速度。

在本申请其他实施例中,处理器51用于执行存储器52中存储的在目标对象的移动速度符合目标设定速度的情况下,对待处理图像的像素点进行第一处理确定目标对象的目标区域,以实现以下步骤:

在确定目标人脸的移动速度符合目标设定速度的情况下,基于当前帧的待处理图像的第一关键点的位置信息确定目标对象的所述目标区域;

相应的,在确定目标人脸的移动速度不符合目标设定速度的情况下,基于当前帧的待处理图像的第一关键点的位置信息和当前帧之前帧的待处理图像的第二关键点的位置信息,确定目标对象的所述目标区域。

在本申请其他实施例中,处理器51用于执行存储器52中存储的对多帧待处理图像进行处理,确定多帧待处理图像的目标像素点的目标参数,以实现以下步骤:

对多帧待处理图像进行分析,确定多帧待处理图像的像素点属于待处理图像的目标部分的像素点的概率值;其中,目标像素点包括多帧待处理图像的像素点;目标部分是基于待处理图像的景深信息确定的。

在本申请其他实施例中,处理器51用于执行存储器52中存储的基于目标的像素点的目标参数,确定目标对象的移动速度是否符合目标设定速度,以实现以下步骤:

比较具有对应关系的当前帧第一像素点的概率值,与当前帧之前且间隔第二帧数的帧第二像素点的概率值;

在比较结果表征概率值发生变化的像素点的数量满足目标数量阈值的情况下,确定目标对象的移动速度符合目标设定速度;

在比较结果表征概率值发生变化的像素点的数量不满足目标数量阈值的情况下,确定目标对象的移动速度不符合目标设定速度。

在本申请其他实施例中,处理器51用于执行存储器52中存储的在目标对象的移动速度符合目标设定速度的情况下,对待处理图像的像素点进行第一处理确定目标对象的目标区域,以实现以下步骤:

在确定目标对象的移动速度符合所述目标设定速度的情况下,基于当前帧第一像素点的概率值确定所述待处理图像的目标区域;

相应的,在确定目标对象的移动速度不符合目标设定速度的情况下,基于当前帧第一像素点的概率值和当前帧之前的帧第二像素点的概率值,确定待处理图像的目标区域。

在本申请其他实施例中,处理器51还用于实现以下步骤:

在确定目标人脸的移动速度不符合目标设定速度的情况下,删除当前帧之前的帧的待处理图像的第二关键点的位置信息;

或者,在确定目标对象的移动速度不符合目标设定速度的情况下,删除当前帧之前的帧第二像素点的概率值。

在本申请其他实施例中,处理器51还用于实现以下步骤:

基于目标区域在待处理图像中的位置信息,对目标对象进行处理。

本申请实施例所提供的图像处理设备,可以根据对多帧待处理图像进行处理得到的目标参数来确定目标对象的移动速度,进而根据目标对象的移动速度选择不同的处理方法对像素点进行处理来确定目标对象的目标区域,解决了相关技术中消除抖动的方案在人脸快速移动时,会出现残影的问题,从而实现了在有效消除抖动的同时避免出现残影现象。

基于前述实施例本申请的实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现图1~3对应的实施例提供的图像处理方法中的步骤。

应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

需要说明的是,上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所描述的方法。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

相关技术
  • 信息处理装置、信息处理方法、控制装置、控制系统、控制方法、断层合成图像捕获装置、X射线成像装置、图像处理装置、图像处理系统、图像处理方法和计算机程序
  • 图像处理装置和图像处理方法、图像处理方法的程序、以及具有记录在其上的图像处理方法的程序的记录介质
技术分类

06120113065486