图像处理方法、装置及终端设备
文献发布时间:2024-04-18 19:58:21
技术领域
本公开涉及图像处理技术领域及电子防抖技术领域,尤其涉及一种图像处理方法、装置及终端设备。
背景技术
在相关技术中,用户在通过电子设备拍摄图像时,通常因为抖动等造成拍摄得到的图像存在模糊或者拖影的现象。为了解决上述问题,可以采用电子防抖的方案来进行防抖处理。其中,电子防抖的原理是通过裁切图像的边沿部分,以实现防抖的效果,但是防抖的同时也会牺牲摄像头的视场角,造成开启电子防抖功能时拍摄图像的视场角与其他场景下的视场角不一致,影响用户体验。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像处理方法、装置及终端设备。
根据本公开实施例的第一方面,提供了一种图像处理方法,包括:
获取第一摄像头拍摄的第一图像;所述第一图像是经过第一电子防抖处理后的图像;
获取第二摄像头拍摄的第二图像;所述第二摄像头的视场角大于所述第一摄像头的视场角;所述第二图像与所述第一图像为对相同对象进行拍摄的图像;所述第二图像是经过第二电子防抖处理后的图像;
将所述第一图像和所述第二图像进行融合处理,获得融合图像;
对所述融合图像进行裁切处理,获得目标图像;所述目标图像的视场角与所述第一摄像头的视场角一致。
在本公开的一些实施例中,所述将所述第一图像和所述第二图像进行融合处理,获得融合图像,包括:
根据所述第一图像的视场角和所述第二图像的视场角,将所述第一图像进行缩放处理,获得缩放后的第一图像;
将所述缩放后的第一图像与所述第二图像进行特征点匹配,确定所述第二图像中与所述缩放后的第一图像匹配的特征点区域;
将所述第二图像中与所述缩放后的第一图像匹配的特征点区域替换为所述缩放后的第一图像,并将处理后的第二图像作为所述融合图像。
在本公开的一些实施例中,所述对所述融合图像进行裁切处理,获得目标图像,包括:
确定所述裁切处理对应的第一裁切比例值;
按照所述第一裁切比例值对所述融合图像进行裁切处理,获得所述目标图像。
作为一种可能的实现方式,所述确定所述裁切处理对应的第一裁切比例值,包括:
获取所述第二电子防抖处理时的第二裁切比例值;
根据所述第一摄像头的视场角、所述第二摄像头的视场角和所述第二裁切比例值,确定所述第一裁切比例值。
其中,所述按照所述第一裁切比例值对所述融合图像进行裁切处理,获得所述目标图像,包括:
根据所述第一电子防抖处理和所述第二电子防抖处理,确定所述裁切处理对应的目标中心位置;
基于所述目标中心位置,按照所述第一裁切比例值对所述融合图像进行裁切处理,获得所述目标图像。
作为一种实施方式,所述根据所述第一电子防抖处理和所述第二电子防抖处理,确定所述裁切处理对应的目标中心位置,包括:
获取所述第一电子防抖处理时的第三裁切比例值和所述第二电子防抖处理时的第二裁切比例值;
响应于所述第三裁切比例值大于所述第二裁切比例值,将所述融合图像中所述缩放后的第一图像所在区域的中心位置作为所述目标中心位置;或者,
响应于所述第三裁切比例值小于或者等于所述第二裁切比例值,将所述融合图像的中心位置作为所述目标中心位置。
根据本公开实施例的第二方面,提供了一种图像处理装置,包括:
第一获取模块,用于获取第一摄像头拍摄的第一图像;所述第一图像是经过第一电子防抖处理后的图像;
第二获取模块,用于获取第二摄像头拍摄的第二图像;所述第二摄像头的视场角大于所述第一摄像头的视场角;所述第二图像与所述第一图像为对相同对象进行拍摄的图像;所述第二图像是经过第二电子防抖处理后的图像;
融合模块,用于将所述第一图像和所述第二图像进行融合处理,获得融合图像;
裁切模块,用于对所述融合图像进行裁切处理,获得目标图像;所述目标图像的视场角与所述第一摄像头的视场角一致。
在本公开的一些实施例中,所述融合模块具体用于:
根据所述第一图像的视场角和所述第二图像的视场角,将所述第一图像进行缩放处理,获得缩放后的第一图像;
将所述缩放后的第一图像与所述第二图像进行特征点匹配,确定所述第二图像中与所述缩放后的第一图像匹配的特征点区域;
将所述第二图像中与所述缩放后的第一图像匹配的特征点区域替换为所述缩放后的第一图像,并将处理后的第二图像作为所述融合图像。
在本公开的一些实施例中,所述裁切模块包括:
确定单元,用于确定所述裁切处理对应的第一裁切比例值;
裁切单元,用于按照所述第一裁切比例值对所述融合图像进行裁切处理,获得所述目标图像。
作为一种可能的实现方式,所述确定单元具体用于:
获取所述第二电子防抖处理时的第二裁切比例值;
根据所述第一摄像头的视场角、所述第二摄像头的视场角和所述第二裁切比例值,确定所述第一裁切比例值。
作为一种可能的实现方式,所述裁切单元具体用于:
根据所述第一电子防抖处理和所述第二电子防抖处理,确定所述裁切处理对应的目标中心位置;
基于所述目标中心位置,按照所述第一裁切比例值对所述融合图像进行裁切处理,获得所述目标图像。
作为一种实施方式,所述裁切单元具体用于:
获取所述第一电子防抖处理时的第三裁切比例值和所述第二电子防抖处理时的第二裁切比例值;
响应于所述第三裁切比例值大于所述第二裁切比例值,将所述融合图像中所述缩放后的第一图像所在区域的中心位置作为所述目标中心位置;或者,
响应于所述第三裁切比例值小于或者等于所述第二裁切比例值,将所述融合图像的中心位置作为所述目标中心位置。
根据本公开实施例的第三方面,提供了一种终端设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现上述第一方面所述的方法。
根据本公开实施例的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。
根据本公开实施例的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现上述第一方面所述的方法。
根据本公开的实施例提供的技术方案,获取第一摄像头拍摄的第一图像,同时获取第二摄像头拍摄的第二图像,其中,第一图像和第二图像均是经过电子防抖处理后的图像,且第二摄像头的视场角大于第一摄像头的视场角,通过将第一图像和第二图像进行融合处理,并对融合图像进行裁切处理,获得与第一摄像头的视场角一致的目标图像。这样,可以利用第二摄像头的视场角对第一摄像头拍摄的图像在电子防抖处理时候裁切掉的视场角进行补偿,在保证第一摄像头的防抖功能的同时,也可以使开启电子防抖后拍摄的图像与拍摄预览场景下的视场角一致,以提升用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图;
图2是根据一示例性实施例示出的另一种图像处理方法的流程图;
图3是根据一示例性实施例示出的一种融合处理的示意图;
图4是根据一示例性实施例示出的又一种图像处理方法的流程图;
图5是根据一示例性实施例示出的一种图像处理过程的示意图;
图6是根据一示例性实施例示出的一种图像处理装置的结果框图。
图7是根据一示例性实施例示出的一种终端设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在相关技术中,用户在通过电子设备拍摄图像时,通常因为抖动等造成拍摄得到的图像存在模糊或者拖影的现象。为了解决上述问题,可以采用电子防抖的方案来进行防抖处理。其中,电子防抖的原理是通过裁切图像的边沿部分,以实现防抖的效果,但是防抖的同时也会牺牲摄像头的视场角,造成开启电子防抖功能时拍摄图像的视场角与其他场景下的视场角不一致,影响用户体验。
为了解决上述问题,本公开提供了一种图像处理方法、装置及终端设备。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。需要说明的是,本公开实施例中的图像处理方法可以用于本公开实施例中的图像处理装置中,且本公开实施例提出的图像处理装置可以配置于终端设备中。如图1所示,本公开实施例提出的图像处理方法可以包括以下步骤:
步骤101,获取第一摄像头拍摄的第一图像;第一图像是经过第一电子防抖处理后的图像。
需要说明的是,本公开实施例的图像处理方法的执行主体可以为配备有两个或者两个以上的摄像头的终端设备,且该终端设备中的多个摄像头之间的视场角存在差异。同时,该终端设备中也配备有陀螺仪、重力传感器等用于实现电子防抖功能的硬件。
在本公开的一些实施例中,第一摄像头是指终端设备中配备的多个摄像头中视场角较小的摄像头。比如,终端设备中配备有四个摄像头,分别为摄像头1、摄像头2、摄像头3、摄像头4,且摄像头1的视场角>摄像头2的视场角>摄像头3的视场角>摄像头4的视场角,则第一摄像头可以为摄像头2、摄像头3、摄像头4中的任一个,即第一摄像头可以为终端设备的主摄。其中,第一摄像头拍摄的第一图像可以为在接收到第一摄像头拍摄的触发操作进行拍摄的图像,且拍摄触发操作可以指通过第一摄像头进行录像的触发操作,也可以指通过第一摄像头进行拍照的触发操作。
其中,第一摄像头已开启电子防抖功能,也就是说,在通过第一摄像头进行拍摄的过程中,终端设备可以基于陀螺仪和重力传感器感应确定对应的抖动信息,并根据抖动信息对拍摄的图像进行第一电子防抖处理,即根据抖动信息按照预设的裁切比例值对拍摄的图像进行裁切处理,以得到第一图像。其中,裁切比例值是指电子防抖处理时裁切掉的视场角百分比,若第一摄像头的视场角为F1,第一电子防抖处理时的裁切比例值为20%,则第二图像的视场角=F1×(1-20%)。
步骤102,获取第二摄像头拍摄的第二图像;第二摄像头的视场角大于第一摄像头的视场角;第二图像与第一图像为对相同对象进行拍摄的图像;第二图像是经过第二电子防抖处理后的图像。
也就是说,在本公开实施例的图像处理方法中,在获取第一摄像头拍摄的第一图像的同时,也通过视场角大于第一摄像头的视场角的第二摄像头对同样对象进行拍摄,以得到视场角大于第一图像的第二图像。
在本公开的一些实施例中,第二摄像头为终端设备中配备的多个摄像头中视场角大于第一摄像头的视场角的摄像头,比如,终端设备中配备有四个摄像头,分别为摄像头1、摄像头2、摄像头3、摄像头4,且摄像头1的视场角>摄像头2的视场角>摄像头3的视场角>摄像头4的视场角,若第一摄像头可以为摄像头2,则第二摄像头为摄像头1,若第一摄像头为摄像头3,则第二摄像头为摄像头1或者摄像头2。
作为一种实施方式,第二摄像头可以为终端设备中配备的多个摄像头中视场角最大的摄像头,即第二摄像头可以为终端设备的副摄。作为另一种实施例方式,终端设备中预设有第一摄像头与第二摄像头的对应关系,比如预设的对应关系可以包括:第一摄像头为摄像头2时,第二摄像头为摄像头1;第一摄像头为摄像头3时,第二摄像头为摄像头2;第一摄像头为摄像头4时,第二摄像头为摄像头3等,这样可以在接收到基于第一摄像头的拍摄触发操作后,基于预设的对应关系确定第一摄像头对应的第二摄像头,并获取第二摄像头基于相同对象拍摄的第二图像。
在本公开的一些实施例中,第二图像也是经过电子防抖处理后的图像,即在通过第二摄像头进行拍摄的过程中,终端设备可以基于陀螺仪和重力传感器感应确定对应的抖动信息,并根据抖动信息对拍摄的图像进行第二电子防抖处理,即根据抖动信息按照预设的裁切比例值对拍摄的图像进行裁切处理,以得到第二图像。此外,在通过第二摄像头获取第二图像时也可以不进行第二电子防抖处理,也就是说对应的裁切比例值也可以为0,此处可以根据实际需求来确定。
需要说明的是,为了使本方案处理后的图像的视场角与第一摄像头的视场角一致,在第二电子防抖处理时获得的第二图像的视场角需要大于第一摄像头的视场角,以利用第二图像来补偿第一电子防抖处理过程中牺牲掉的视场角。
步骤103,将第一图像和第二图像进行融合处理,获得融合图像。
可以理解,第二图像的视场角大于第一图像的视场角,将第一图像和第二图像进行融合处理后,可以使融合图像不仅具有防抖效果,也可以提升融合图像的视场角,通常可以通过融合处理使融合图像的视场角可以与第二图像的视场角一致。
在本公开的一些实施例中,将第一图像和第二图像进行融合处理的过程可以包括:分别获取第一图像和第二图像的视场角;再根据第一图像和第二图像的视场角,以及第一图像和第二图像各像素点的像素值,确定第一图像中各像素点的权重值和第二图像中各像素点的权重值;再根据第一图像中各像素点的权重值和第二图像中各像素点的权重值,对第一图像和第二图像的各像素点进行加权计算,获得加权计算后各像素点的像素值,从而获得融合图像。
在本公开的另一些实施例中,将第一图像和第二图像进行融合处理的实现过程可以包括:根据第一图像和第二图像的视场角,确定第一图像的缩放比例;将第一图像按照该缩放比例进行缩放处理,并将缩放处理后的第一图像与第二图像进行特征点匹配,以确定第二图像中的特征点匹配区域;再将第二图像中的特征点匹配区域替换为缩放处理后的第一图像,并将处理后的第二图像作为融合图像。其中,特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点,比如图像中对象的轮廓点、角点等。特征点的获取可以通过FAST(Features from Accelerated Segment Test,快速特征检测)算法等相关特征点检测算法来实现。特征点匹配过程可以通过SIFT(Scale-invariant featuretransform,尺度不变特征变换)等特征点匹配算法来实现,以从第二图像中确定与第一图像对应的特征点匹配区域。
在本公开的又一些实施例中,也可以通过预设的融合模型对第一图像和第二图像进行融合处理,该融合模型可以分别提取第一图像的第一特征信息和第二图像的第二特征信息,并基于第一特征信息和第二特征信息对第一图像和第二图像进行融合,输出同时具备第一特征信息和第二特征信息的融合图像。其中,第一特征信息和第二特征信息均可以包括图像中对象分布的特征信息、图像中对象轮廓的特征信息等。
步骤104,对融合图像进行裁切处理,获得目标图像;目标图像的视场角与第一摄像头的视场角一致。
由于融合图像的视场角大于第一摄像头的视场角,为了使处理后的图像与拍摄预览时的视场角一致,可以将融合图像进行裁切处理,以使裁切处理后的目标图像的视场角与第一摄像头的视场角一致。
在本公开的一些实施例中,可以根据融合图像的视场角和第一摄像头的视场角,确定裁切处理的裁切比例值,并根据该裁切比例值,以融合图像为中心将融合图像的边沿部分裁切掉,以得到目标图像。
在本公开的另一些实施例中,融合图像的视场角与第二图像的视场角一致,可以根据第一摄像头的视场角、第二摄像头的视场角、第二电子防抖处理时的裁切比例值,确定该裁切处理对应的裁切比例值;若第一电子防抖处理时的裁切比例值大于第二电子防抖处理时的裁切比例值,确定融合图像与第一图像特征一致的第一区域,并以第一区域为中心按照裁切处理对应的裁切比例值进行裁切处理,获得目标图像;若第一电子防抖处理时的裁切比例值小于或者等于第二电子防抖处理时的裁切比例值,以融合图像为中心按照裁切处理对应的裁切比例值进行裁切处理,获得目标图像。
根据本公开实施例的图像处理方法,响应于基于第一摄像头的拍摄触发操作,获取第一摄像头拍摄的第一图像,同时获取第二摄像头拍摄的第二图像,其中,第一图像和第二图像均是经过电子防抖处理后的图像,且第二摄像头的视场角大于第一摄像头的视场角,通过将第一图像和第二图像进行融合处理,并对融合图像进行裁切处理,获得与第一摄像头的视场角一致的目标图像。这样,可以利用第二摄像头的视场角对第一摄像头拍摄的图像在电子防抖处理时候裁切掉的视场角进行补偿,在保证第一摄像头的防抖功能的同时,也可以使开启电子防抖后拍摄的图像与拍摄预览场景下的视场角一致,以提升用户体验。
基于上述实施例,接下来将针对融合处理的实现过程进行详细介绍。
图2是根据一示例性实施例示出的另一种图像处理方法的流程图。如图2所示,该方法可以包括以下步骤:
步骤201,获取第一摄像头拍摄的第一图像;第一图像是经过第一电子防抖处理后的图像。
步骤202,获取第二摄像头拍摄的第二图像;第二摄像头的视场角大于第一摄像头的视场角;第二图像与第一图像为对相同对象进行拍摄的图像;第二图像是经过第二电子防抖处理后的图像。
步骤203,根据第一图像的视场角和第二图像的视场角,将第一图像进行缩放处理,获得缩放后的第一图像。
在本公开的一些实施例中,可以基于第一摄像头的视场角和第一电子防抖处理的裁切比例值,确定第一图像的视场角,基于第二摄像头的视场角和第二电子防抖处理的裁切比例,确定第二图像的视场角。比如若第一摄像头的视场角为F1,第二摄像头的视场角为F2,第一电子防抖处理的裁切比例值为20%,第二电子防抖处理的裁切比例值为20%,则第一图像的视场角=F1×(1-20%),第二图像的视场角=F2×(1-20%)。在本公开的另一些实施例中,也可以通过预设的算法,通过对第一图像和第二图像进行特征比对,以确定第一图像与第二图像的视场角。
在本公开的一些实施例中,根据第一图像和第二图像的视场角,对第一图像进行缩放处理的目的为,使缩放后的第一图像与第二图像中同样视场角对应的图像区域大小一致。作为一种示例,可以根据第一图像和第二图像的视场角,确定第一图像的视场角与第二图像的视场角的比值;按照该比值,对第一图像进行缩放处理,获得缩放后的第一图像。
步骤204,将缩放后的第一图像与第二图像进行特征点匹配,确定第二图像中与缩放后的第一图像匹配的特征点区域。
在本公开的一些实施例中,可以将缩放后的第一图像中特征点的特征与第二图像中各特征点的特征进行匹配,若第二图像中的某些特征点的特征与第一图像中各特征点的特征匹配,则将这些特征点作为与缩放后的第一图像匹配的特征点区域。其中,特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点,比如图像中对象的轮廓点、角点等。作为一种示例,本方法的特征点匹配过程可以通过相关技术中的Fusion算法来实现。
其中,将缩放后的第一图像和第二图像进行特征点匹配可以为缩放后的第一图像中每个特征点的特征与第二图像中各特征点的特征进行匹配,以确定第二图像中与缩放后的第一图像中特征点的特征一致的目标特征点。此外,将缩放后的第一图像和第二图像进行特征点匹配,确定第二图像中与缩放后的第一图像匹配的特征点区域的实现过程包括,依次确定第二图像中与缩放后的第一图像中的特征点的特征一致的目标特征点,并将所有的目标特征点所在的区域作为第二图像中与缩放后的第一图像匹配的特征点区域。
步骤205,将第二图像中与缩放后的第一图像匹配的特征点区域替换为缩放后的第一图像,并将处理后的第二图像作为融合图像。
也就是说,将第二图像中与缩放后的第一图像匹配的特征点区域去除掉,并将该区域替换为缩放后的第一图像,得到融合图像,即融合图像中包括缩放后的第一图像和部分第二图像。在本公开实施例中,得到的融合图像的视场角与第二图像的视场角一致。通过这种方式进行融合处理不仅可以使融合图像的视场角大于第一图像的视场角,也可以使融合图像的画质解析力大于第二图像。
图3为本公开实施例的图像处理方法中融合处理的示意图。如图3所示,经过融合处理后得到的融合图像与第二图像的视场角一致,且融合图像中在第一图像视场角范围内为缩放后的第一图像,大于第一图像的视场角的范围为第二图像。
步骤206,对融合图像进行裁切处理,获得目标图像;目标图像的视场角与第一摄像头的视场角一致。
根据本公开实施例的图像处理方法,在对第一图像和第二图像进行融合处理时,先对第一图像进行缩放处理,再将缩放后的第一图像与第二图像进行特征点匹配,确定第二图像中与缩放后的第一图像匹配的特征点区域,将第二图像中与缩放后的第一图像匹配的特征点区域替换为缩放后的第一图像,使融合图像的视场角与第二图像的视场角一致,以达到通过第二摄像头的视场角补充电子防抖处理过程牺牲的视场角的目的。
接下来将针对融合图像的裁切处理进行详细介绍。
图4是根据一示例性实施例示出的又一种图像处理方法的流程图。如图4所示,该方法可以包括以下步骤:
步骤401,获取第一摄像头拍摄的第一图像;第一图像是经过第一电子防抖处理后的图像。
步骤402,获取第二摄像头拍摄的第二图像;第二摄像头的视场角大于第一摄像头的视场角;第二图像与第一图像为对相同对象进行拍摄的图像;第二图像是经过第二电子防抖处理后的图像。
步骤403,根据第一图像的视场角和第二图像的视场角,将第一图像进行缩放处理,获得缩放后的第一图像。
步骤404,将缩放后的第一图像与第二图像进行特征点匹配,确定第二图像中与缩放后的第一图像匹配的特征点区域。
步骤405,将第二图像中与缩放后的第一图像匹配的特征点区域替换为缩放后的第一图像,并将处理后的第二图像作为融合图像。
步骤406,确定裁切处理对应的第一裁切比例值。
在本公开的一些实施例中,裁切处理对应的第一裁切比例值是指裁切处理过程中裁切掉的视场角占融合图像视场角的百分比。
可以理解,裁切处理的过程是为了使得到的目标图像的视场角与第一摄像头的视场角一致,且融合图像的视场角与第二图像的视场角一致,所以可以根据第二电子防抖处理时的第二裁切比例值、第一摄像头的视场角和第二摄像头的视场角,确定第一裁切比例值,使裁切处理后的目标图像的视场角与第一摄像头的视场角一致。
在本公开的一些实施例中,步骤406的实现过程可以包括以下步骤:
步骤406-1,获取第二电子防抖处理时的第二裁切比例值。
在本公开的一些实施例中,第二电子防抖处理时的第二裁切比例值为第二电子防抖处理时裁切掉的视场角范围占第二摄像头视场角的百分比。
步骤406-2,根据第一摄像头的视场角、第二摄像头的视场角和第二裁切比例值,确定第一裁切比例值。
在本公开的一些实施例中,可以根据第二摄像头的视场角和第二裁切比例值,确定第二图像的视场角,根据第一摄像头的视场角与第二图像的视场角的比值,确定第一裁切比例值。作为一种示例,第二摄像头的视场角为F2,第二裁切比例值为A%,则第二图像的视场角为F2×(1-A%);若第一摄像头的视场角为F1,则第一摄像头的视场角与第二图像的视场角的比值为
步骤407,按照第一裁切比例值对融合图像进行裁切处理,获得目标图像;目标图像的视场角与第一摄像头的视场角一致。
在本公开的一些实施例中,可以按照第一裁切比例值对以融合图像为中心进行裁切处理,获得目标图像,也可以按照第一裁切比例值以预设的中心位置进行裁切处理,获得目标图像。
在本公开的另一些实施例中,由于融合图像中既包含缩放后的第一图像,也包含部分第二图像,且融合图像是以第二图像为中心,所以融合图像的防抖效果以第二电子防抖处理为准。由于第一电子防抖处理和第二电子防抖处理的防抖效果可能一致,也可能不一致,所以在对融合图像进行裁切处理时,可以以防抖效果好的图像为中心进行裁切,以保证得到的目标图像的防抖效果最佳。为此,步骤407的实现过程可以包括以下步骤:
步骤407-1,根据第一电子防抖处理和第二电子防抖处理,确定裁切处理对应的目标中心位置。
在本公开的一些实施例中,裁切处理对应的目标中心位置是指裁切处理时以图像的哪里为中心确定裁切掉的图像边沿部分。根据第一电子防抖处理和第二电子防抖处理,可以确定第一电子防抖处理的防抖效果和第二电子防抖处理的防抖效果,并根据防抖效果确定裁切处理对应的目标中心位置。由于第一电子防抖处理后为第一图像,第二电子防抖处理后为第二图像,所以可以在第一电子防抖处理的防抖效果优于第二电子防抖处理的防抖效果时,将融合图像中缩放后的第一图像所在区域的中心位置作为目标中心位置,这样裁切处理后的目标图像的防抖效果与第一电子防抖处理的防抖效果一致。若在第二电子防抖处理的防抖效果优于第一电子防抖处理的防抖效果时,将融合图像的中心位置作为目标中心位置,这样裁切处理后的目标图像的防抖效果与第二电子防抖处理的防抖效果一致。
作为一种实施方式,可以根据电子防抖处理时的裁切比例值确定防抖效果,其实现方式包括:获取第一电子防抖处理时的第三裁切比例值和第二电子防抖处理时的第二裁切比例值;响应于第三裁切比例值大于第二裁切比例值,将融合图像中缩放后的第一图像所在区域的中心位置作为目标中心位置;或者,响应于第三裁切比例值小于或者等于第二裁切比例值,将融合图像的中心位置作为目标中心位置。这样,可以使得到的目标图像的防抖效果与第一电子防抖处理和第二电子防抖处理中较优的防抖效果的一致。
步骤407-2,基于目标中心位置,按照第一裁切比例值对融合图像进行裁切处理,获得目标图像。
也就是说,基于目标中心位置,按照第一裁切比例值确定待裁切掉的目标视场角区域,并将融合图像中的目标视场角区域进行裁切处理,获得目标图像。如图5所示,若第二电子防抖处理的防抖效果优于第一电子防抖处理的防抖效果,则将以融合图像为目标中心位置,按照第一裁切比例值对融合图像进行裁切处理,获得目标图像。
根据本公开实施例的图像处理方法,在对融合图像进行裁切处理时,先确定裁切处理对应的第一裁切比例值,再按照第一裁切比例值对融合图像进行裁切处理,以获得视场角与第一摄像头的视场角一致的目标图像。此外,根据第一电子防抖处理和第二电子防抖处理,确定裁切处理对应的目标中心位置,并基于目标中心位置,按照第一裁切比例值对融合图像进行裁切处理,这样不仅可以使获得的目标图像的视场角与第一摄像头的视场角一致,也可以保证目标图像的防抖处理效果最佳,从而进一步提升处理后图像的质量。
为了实现上述实施例,本公开实施例提供了一种图像处理装置。
图6是根据一示例性实施例示出的一种图像处理装置的结构框图。如图6所示,该装置包括:
第一获取模块610,用于获取第一摄像头拍摄的第一图像;第一图像是经过第一电子防抖处理后的图像;
第二获取模块620,用于获取第二摄像头拍摄的第二图像;第二摄像头的视场角大于第一摄像头的视场角;第二图像与第一图像为对相同对象进行拍摄的图像;第二图像是经过第二电子防抖处理后的图像;
融合模块630,用于将第一图像和第二图像进行融合处理,获得融合图像;
裁切模块640,用于对融合图像进行裁切处理,获得目标图像;目标图像的视场角与第一摄像头的视场角一致。
在本公开的一些实施例中,融合模块630具体用于:
根据第一图像的视场角和第二图像的视场角,将第一图像进行缩放处理,获得缩放后的第一图像;
将缩放后的第一图像与第二图像进行特征点匹配,确定第二图像中与缩放后的第一图像匹配的特征点区域;
将第二图像中与缩放后的第一图像匹配的特征点区域替换为缩放后的第一图像,并将处理后的第二图像作为融合图像。
在本公开的一些实施例中,裁切模块640包括:
确定单元641,用于确定裁切处理对应的第一裁切比例值;
裁切单元642,用于按照第一裁切比例值对融合图像进行裁切处理,获得目标图像。
作为一种可能的实现方式,确定单元641具体用于:
获取第二电子防抖处理时的第二裁切比例值;
根据第一摄像头的视场角、第二摄像头的视场角和第二裁切比例值,确定第一裁切比例值。
作为一种可能的实现方式,裁切单元642具体用于:
根据第一电子防抖处理和第二电子防抖处理,确定裁切处理对应的目标中心位置;
基于目标中心位置,按照第一裁切比例值对融合图像进行裁切处理,获得目标图像。
作为一种实施方式,裁切单元642具体用于:
获取第一电子防抖处理时的第三裁切比例值和第二电子防抖处理时的第二裁切比例值;
响应于第三裁切比例值大于第二裁切比例值,将融合图像中缩放后的第一图像所在区域的中心位置作为目标中心位置;或者,
响应于第三裁切比例值小于或者等于第二裁切比例值,将融合图像的中心位置作为目标中心位置。
根据本公开实施例的图像处理装置,获取第一摄像头拍摄的第一图像,同时获取第二摄像头拍摄的第二图像,其中,第一图像和第二图像均是经过电子防抖处理后的图像,且第二摄像头的视场角大于第一摄像头的视场角,通过将第一图像和第二图像进行融合处理,并对融合图像进行裁切处理,获得与第一摄像头的视场角一致的目标图像。这样,可以利用第二摄像头的视场角对第一摄像头拍摄的图像在电子防抖处理时候裁切掉的视场角进行补偿,在保证第一摄像头的防抖功能的同时,也可以使开启电子防抖后拍摄的图像与拍摄预览场景下的视场角一致,以提升用户体验。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种终端设备700的结构框图。例如,终端设备700可以移动电话,相机,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等具备拍摄功能的设备。
参照图7,终端设备700可以包括以下一个或多个组件:处理组件702,存储器704,电力组件706,多媒体组件708,音频组件710,输入/输出(I/O)的接口712,传感器组件714,以及通信组件716。
处理组件702通常控制终端设备700的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件702可以包括一个或多个模块,便于处理组件702和其他组件之间的交互。例如,处理组件702可以包括多媒体模块,以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在终端设备700的操作。这些数据的示例包括用于在终端设备700上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件706为终端设备700的各种组件提供电力。电力组件706可以包括电源管理系统,一个或多个电源,及其他与为终端设备700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述终端设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件708包括前置摄像头和/或后置摄像头,且前置摄像头的数量大于等于2,或者后置摄像头的数量大于等于2。当终端设备700处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如,音频组件710包括一个麦克风(MIC),当终端设备700处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中,音频组件710还包括一个扬声器,用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器,用于为装置700提供各个方面的状态评估。例如,传感器组件714可以检测到终端设备700的打开/关闭状态,组件的相对定位,例如所述组件为装置700的显示器和小键盘,传感器组件714还可以检测终端设备700或终端设备700一个组件的位置改变,用户与终端设备700接触的存在或不存在,终端设备700方位或加速/减速和装终端设备700的温度变化。传感器组件714可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件714还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件716被配置为便于终端设备700和其他设备之间有线或无线方式的通信。终端设备700可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件716还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,终端设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器704,上述指令可由终端设备700的处理器720执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
- 一种图像处理方法、图像处理装置及终端设备
- 一种图像处理方法、图像处理装置及终端设备
- 一种图像处理方法、装置及终端设备
- 图像处理装置、图像形成装置、图像处理方法以及记录介质
- 一种图像处理方法及终端设备
- 一种图像处理方法、图像处理装置及终端设备
- 图像处理方法、图像处理装置、存储介质与终端设备