掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法、装置、设备和介质

文献发布时间:2023-06-19 18:37:28


图像处理方法、装置、设备和介质

技术领域

本公开涉及人工智能领域,具体涉及计算机视觉、深度学习和图像处理等技术领域,可应用于广告投放等场景。

背景技术

随着计算机技术和电子技术的发展,出现了图像展示的多种场景。在不同场景中,图像展示的比例要求可能不同。为了满足不同场景的需求,需要对原始图像进行裁剪或补全处理。

发明内容

本公开旨在提供一种图像处理方法、装置、设备和介质,旨在使得处理得到的目标尺寸比例的目标图像中,目标对象处于中间位置。

根据本公开的一个方面,提供了一种图像处理方法,包括:检测原始图像,得到原始图像中目标对象所在的目标区域;根据原始图像的尺寸比例,确定裁剪方向;根据目标区域的中心位置、裁剪方向和目标尺寸比例,确定针对原始图像的预裁剪区域;以及根据预裁剪区域对原始图像进行处理,得到目标尺寸比例的目标图像。

根据本公开的另一个方面,提供了一种图像处理装置,包括:图像检测模块,用于检测原始图像,得到原始图像中目标对象所在的目标区域;方向确定模块,用于根据原始图像的尺寸比例,确定裁剪方向;区域确定模块,用于根据目标区域的中心位置、裁剪方向和目标尺寸比例,确定针对原始图像的预裁剪区域;以及第一图像处理模块,用于根据预裁剪区域对原始图像进行处理,得到目标尺寸比例的目标图像。

根据本公开的另一个方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开提供的图像处理方法。

根据本公开的另一个方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开提供的图像处理方法。

根据本公开的另一个方面,提供了一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上,所述计算机程序/指令在被处理器执行时实现本公开提供的图像处理方法。

应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案,不构成对本公开的限定。其中:

图1是根据本公开实施例的图像处理方法和装置的应用场景示意图;

图2是根据本公开实施例的图像处理方法的流程示意图;

图3是根据本公开另一实施例的图像处理方法的流程示意图;

图4是根据本公开实施例的确定目标对象所在的目标区域的原理示意图;

图5是根据本公开实施例的确定预裁剪区域的原理示意图;

图6是根据本公开实施例的根据预裁剪区域对原始图像进行处理的流程示意图;

图7是根据本公开实施例的对原始图像进行补全处理的原理示意图;

图8是根据本公开实施例的图像处理装置的结构框图;

图9是用来实施本公开实施例的图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

在广告投放等场景中,通常需要根据实际场景对原始图像的尺寸比例进行调整,使得调整后的图像的尺寸比例与实际场景相适配。例如,可以采用直接拉伸缩放的方式对尺寸比例进行调整,也可以采用单侧补全的方式对尺寸比例进行调整,还可以采用以原图中心点为中心的裁剪方式对尺寸比例进行调整。其中,直接拉伸缩放的方式,会导致图像变形失真。单侧补全的方式和裁剪的方式,可能会导致原始图像中的主体位于调整后图像的边缘区域,导致图像表达的重要信息不突出。裁剪的方式则可能存在调整后图像中的主体内容不完整的问题。

为了解决该问题,本公开提供了一种图像处理方法、装置、设备和介质。以下先结合图1对本公开提供的方法和装置的应用场景进行描述。

图1是根据本公开实施例的图像处理方法和装置的应用场景示意图。

如图1所示,该实施例的应用场景100可以包括终端设备110,该终端设备110可以为具有处理功能的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

该终端设备110中例如可以安装有各种客户端应用,例如图像处理类应用、即时通信类应用、购物类应用等(仅为示例)。

例如,该终端设备110可以对图像101进行处理,具体可以进行补全或裁剪处理等,以调整图像101的尺寸比例,得到调整后图像102。其中,图像101例如可以为实时拍摄的图像,也可以为预先拍摄后存储于终端设备110中的图像,还可以为其他设备发送的图像。调整后图像102例如可以用于作为广告投放的图像,在网页或客户端应用中展示。

在一实施例中,该应用场景100例如还可以包括服务器120,终端设备110可以与服务器120通信连接。例如,服务器120可以为向终端设备110中安装的客户端应用的运行提供支持的后台管理服务器,也可以为云服务器或者区块链服务器等,本公开对此不做限定。

在一实施例中,终端设备110也可以将图像101发送给服务器120,由服务器120对图像101进行尺寸调整,得到调整后图像102。或者,服务器120可以对本地存储的图像进行尺寸调整,得到调整后图像。服务器120例如还可以将调整后图像发送给终端设备,以供终端设备进行展示。

需要说明的是,本公开提供的图像处理方法可以由终端设备110执行,也可以由服务器120。相应地,本公开提供的图像处理装置可以设置在终端设备110中,也可以设置在服务器120中。

应该理解,图1中的终端设备110和服务器120的数目和类型仅仅是示意性的。根据实现需要,可以具有任意数目和类型的终端设备110和服务器120。

以下将结合图2~图8对本公开提供的图像处理方法进行详细描述。

图2是根据本公开实施例的图像处理方法的流程示意图。

如图2所示,该实施例的图像处理方法200可以包括操作S210~操作S240。

在操作S210,检测原始图像,得到原始图像中目标对象所在的目标区域。

根据本公开的实施例,可以采用轮廓提取算法来提取原始图像中各物体的轮廓,将最大轮廓包围的区域作为目标对象所在的目标区域。或者,可以采用主体检测算法对原始图像进行主体检测,将检测得到的主体在图像中的位置作为目标对象所在的目标区域。

其中,轮廓提取算法可以包括Canny边缘检测算法和阈值分割算法等,本公开对此不做限定。主体检测算法可以包括:关注边缘的显著性检测算法(Boundary-Aware SalientObject Detection,BASNet)、基于池化的显著性目标检测算法(PoolNet)和U

在操作S220,根据原始图像的尺寸比例,确定裁剪方向。

根据本公开的实施例,可以将原始图像中,相较于目标尺寸比例而言,尺寸较大的方向,作为裁剪方向。

例如,可以在原始图像的尺寸比例小于目标尺寸比例时,将裁剪方向确定为第一方向,在原始图像的尺寸比例大于目标尺寸比例时,将裁剪方向确定为第二方向。其中,原始图像的尺寸比例可以为原始图像的第二方向的尺寸与第一方向的尺寸的比值。例如,尺寸比例若为宽:高的值,则第一方向即为原始图像的高度方向,第二方向即为原始图像的宽度方向。该实施例通过根据原始图像的尺寸比例与目标尺寸比例之间的大小关系来确定裁剪方向,可以使得处理后的目标图像中保留较多的原始图像中的信息。

可以理解的是,上述确定裁剪方向的原理仅作为示例以利于理解本公开,本公开对此不做限定。例如,还可以将原始图像的高度和宽度方向中,尺寸较大的方向作为裁剪方向。

在操作S230,根据目标区域的中心位置、裁剪方向和目标尺寸比例,确定针对原始图像的预裁剪区域。

根据本公开的实施例,可以以目标区域的中心位置作为预裁剪区域的中心,确定满足目标尺寸比例的区域为预裁剪区域。其中,预裁剪区域在与裁剪方向垂直的方向上的尺寸可以与原始图像在该方向上的尺寸相等。

例如,该实施例中,可以以目标区域的中心位置作为预裁剪区域的中心,确定原始图像在裁剪方向上的尺寸和在与裁剪方向垂直的方向上的尺寸,以从中心到原始图像在裁剪方向上的两个边缘的两个距离中,较小距离的两倍作为预裁剪区域在裁剪方向上的尺寸。随后根据该在裁剪方向上的尺寸和目标尺寸比例,确定预裁剪区域在与裁剪方向垂直的方向上的尺寸,从而得到预裁剪区域。或者,也可以以从中心到原始图像在与裁剪方向垂直的方向上的两个边缘的两个距离中,较小距离的两倍作为预裁剪区域在与裁剪方向垂直的方向上的尺寸,从而确定预裁剪区域。

在操作S240,根据预裁剪区域对原始图像进行处理,得到目标尺寸比例的目标图像。

根据本公开的实施例,可以根据预裁剪区域对原始图像进行裁剪,从而得到目标图像。或者,可以根据预裁剪区域与目标区域之间的位置关系,来对原始图像进行处理。例如,若预裁剪区域与目标区域之间的交叠区域大,则根据预裁剪区域对原始图像进行裁剪处理。若裁剪区域与目标区域之间的交叠区域小,则可以对原始图像进行补全处理。

本公开实施例通过基于检测到的目标对象所在的目标区域的中心和根据原始图像的尺寸比例确定的裁剪方向来确定预裁剪区域,可以保证目标对象位于处理后的目标图像中的中心区域,同时可以使得目标图像仅可能多的保留原始图像中的信息。如此,在将目标图像投放到实际场景中进行展示时,目标图像能够表达更为符合实际需求的信息,可以提高投放效果。

图3是根据本公开另一实施例的图像处理方法的流程示意图。

根据本公开的实施例,在对原始图像进行检测之前,还可以通过比较原始图像的尺寸比例与目标尺寸比例之间的差异,来确定是对原始图像直接进行裁剪,还是先对原始图像进行检测来确定预裁剪区域,并根据预裁剪区域对原始图像进行处理。如此,可以提高图像处理效率,避免计算资源的浪费。这是由于,若原始图像的尺寸比例与目标尺寸比例相差较小,则直接对原始图像进行裁剪,可以保证原始图像中目标对象能够完整地呈现在裁剪后的图像中。

具体地,如图3所示,该实施例的图像处理方法300包括操作S310~操作S370,其中,操作S340~操作S370的实现原理分别与上文描述的操作S210~操作S240的实现原理类似,在此不再赘述。

在操作S310,确定原始图像的尺寸比例与目标尺寸比例之间的差值绝对值。

例如,若原始图像的尺寸比例为9∶16,目标图像的尺寸比例为3∶4,则操作S310确定的差值绝对值为|9/16-3/4|=0.1876。

在操作S320,确定该差值绝对值是否大于预定差值。其中,预定差值可以根据实际需求进行设定,例如可以设定为0.05、0.1等接近于0的值。

若差值绝对值小于等于预定差值,则执行操作S330。若差值绝对值大于预定差值,则执行操作S340~操作S370。

在操作S330中,根据目标尺寸比例对原始图像进行处理,得到目标图像。

例如,可以以原始图像的中心点作为目标图像的中心点,对原始图像进行裁剪处理或补全处理。在裁剪处理时,仅对原始图像的宽度方向或高度方向进行裁剪。例如,若原始图像尺寸比例小于目标尺寸比例,则对第一方向进行裁剪;若原始图像尺寸比例大于目标尺寸比例,则对第二方向进行裁剪。其中,原始图像尺寸比例即为原始图像在第二方向的尺寸与在第一方向的尺寸的比值。相应地,补全处理时,可以仅在第一方向或第二方向进行补全。

在一实施例中,裁剪处理时,可以采用对称方式进行裁剪。相应地,补全处理时,可以采用对称方式进行补全。通过该方式,可以保证目标图像中主体对象的位置与原始图像中主体对象的位置相对应。

在操作S340,检测原始图像,得到原始图像中目标对象所在的目标区域。

在操作S350,根据原始图像的尺寸比例,确定裁剪方向。

在操作S360,根据目标区域的中心位置、裁剪方向和目标尺寸比例,确定针对原始图像的预裁剪区域。

在操作S370,根据预裁剪区域对原始图像进行处理,得到目标尺寸比例的目标图像。

图4是根据本公开实施例的确定目标对象所在的目标区域的原理示意图。

在一实施例种,目标对象例如可以包括原始图像中的主体对象和文字,在确定目标区域时,不仅要考虑主体对象所在的区域,还可以考虑文字所在的区域。如此,可以使得目标对象能够表达原始图像的更丰富和全面的内容,避免在目标图像中丢失原始图像的重要信息。这是由于,图像中的文字通常为对主体对象的描述内容,相较于主体对象的图像,文字通常能够突出表达主体对象的主要特征。

例如,如图4所示,该实施例400在确定目标区域时,可以先检测原始图像410中的主体对象,得到原始图像中主体对象所在的第一区域401。具体的,可以采用主体检测算法420检测得到主体对象所在的第一区域401。同时,该实施例检测原始图像410中的文字,得到原始图像中文字所在的第二区域402。例如,该实施例可以采用文字识别算法430检测得到第二区域402。其中,主体检测算法420可以采用上文描述的任意一种主体检测算法。文字识别算法430例如可以包括光学字符识别算法OCR和基于语义分割的文字检测算法(例如渐进式尺寸扩展网络PSENet)等,本公开对此不做限定。

在得到第一区域401和第二区域402后,可以根据第一区域401和第二区域402,来确定目标区域403。例如,可以将包围第一区域401和第二区域402的外接多边形区域作为目标区域403。其中,外接多边形区域可以为外接矩形区域,但本公开对此不做限定。

例如,若第一区域401和第二区域402均为矩形区域,在以原始图像的左上角顶点为坐标原点,以平行于高度方向和高度方向的两个轴作为坐标轴构建的图像坐标系中,可以将第一区域和第二区域中包括的八个顶点中,横轴坐标值的最小值作为目标区域403左上角顶点的横轴坐标值,将八个顶点中横轴坐标值的最大值作为目标区域403右下角顶点的横轴坐标值,八个顶点中纵轴坐标值的最小值作为目标区域403左上角顶点的纵轴坐标值,八个顶点中纵轴坐标值的最大值作为目标区域403右下角顶点的纵轴坐标值。根据该左上角顶点的横轴坐标值和纵轴坐标值,右下角顶点的横轴坐标值和纵轴坐标值,可以唯一确定一个矩形区域,该矩形区域即为目标区域403。

根据本公开的实施例,在得到目标区域后,可以根据该目标区域左上角顶点在图像坐标系中的坐标值和右下角顶点在图像坐标系中的坐标值,来确定该目标区域的中心位置在图像坐标系中的坐标值。

在得到中心位置和裁剪方向后,即可确定预裁剪区域。如图5是根据本公开实施例的确定预裁剪区域的原理示意图。

如图5所示,在一实施例500中,在确定预裁剪区域时,可以先根据目标尺寸比例510和原始图像在与裁剪方向垂直的方向上的尺寸a 520,确定预裁剪区域在与裁剪方向垂直的方向上的目标尺寸b 530。例如,若裁剪方向为高度方向,则尺寸a 520即为宽度方向的尺寸。设定目标尺寸比例为宽:高得到的尺寸比例,则目标尺寸b 530可以采用以下公式计算得到:尺寸b=尺寸a/尺寸比例。

在得到目标尺寸b 530后,可以根据该目标尺寸b 530和目标区域的中心位置540,来确定预裁剪区域550。

例如,设定裁剪方向为高度方向,则该实施例可以以原始图像在宽度方向的尺寸为预裁剪区域550的宽度方向的尺寸。随后,自中心位置540沿高度方向向上和向下延伸,直至向上和向下均已延伸尺寸b的一半,从而得到预裁剪区域550。例如,若在向上和向下延伸的过程中,向上(或向下)延伸的尺寸达到尺寸b的一半之前先到达了原始图像的上(或下)边界,则停止向上延伸,且在向下(或向上)延伸的尺寸应达到以下尺寸:尺寸b的一半+(尺寸b的一半-中心位置到原始图像上(下)边界的垂直距离)。

通过该实施例确定的预裁剪区域550,包含了原始图像中尽可能多的图像信息,利于提高根据预裁剪区域550处理得到的目标图像表达的信息与原始图像表达的信息的重合率,使得目标图像的投放可以达到预期效果。

图6是根据本公开实施例的根据预裁剪区域对原始图像进行处理的流程示意图。

根据本公开的实施例,在确定了预裁剪区域后,例如可以先确定预裁剪区域与目标区域的重叠关系。随后,根据重叠关系来确定对原始图像的处理策略。

例如,如图6所示,该实施例600,在实现上文描述的操作S220时,可以先根据预裁剪区域的位置与目标区域的位置,确定预裁剪区域与目标区域之间的包含关系。具体可以执行操作S641,确定预裁剪区域是否包含目标区域。若预裁剪区域包含目标区域,则执行操作S642,裁剪原始图像中预裁剪区域的图像,得到目标图像。

或者,在该实施例600中,在实现上文描述的操作S220时,还可以先根据预裁剪区域的位置与目标区域的位置,确定预裁剪区域与目标区域之间的交并比,即可以执行操作S643。随后执行操作S644,确定该交并比是否大于等于预定交并比阈值。若大于等于预定交并比阈值,则执行操作S642,裁剪原始图像中预裁剪区域的图像,得到目标图像。其中,预定交并比阈值可以根据实际需求进行设定,例如可以设定为0.95、0.97等接近于1且小于1的任意值,本公开对此不做限定。

或者,该实施例600还可以同步地执行操作S641和操作S643~操作S644,在操作S641确定预裁剪区域包含目标区域或操作S644确定预裁剪区域与目标区域之间的交并比大于等于预定交并比阈值时,执行操作S642。

该实施例通过仅在预裁剪区域包含目标区域或者预裁剪区域与目标区域之间的交并比大于等于预定交并比阈值时,才根据预裁剪区域裁剪原始图像,可以保证裁剪得到的目标图像中包含原始图像中的主体对象的完整信息。从而可以提高目标图像对原始图像的表达能力,提高目标图像的投放效果。

在该实施例600中,还可以在预裁剪区域不包含目标区域或者预裁剪区域与目标区域之间的交并比小于预定交并比阈值时,对原始图像进行补全处理,从而得到目标图像。即,在操作S641确定预裁剪区域不包含目标区域且操作S644确定预裁剪区域与目标区域之间的交并比小于预定交并比阈值时,执行操作S645,对原始图像进行补全处理,得到目标图像。该实施例通过操作S645,可以进一步保证得到的目标图像中包含原始图像中的主体对象的完整信息。从而可以提高目标图像对原始图像的表达能力,提高目标图像的投放效果。

例如,该实施600若先执行操作S641,则可以在确定预裁剪区域不包含目标区域时,执行操作S643~操作S644。或者,该实施例若先执行操作S643~操作S644,则可以在确定交并比小于预定交并比阈值时,执行操作S641。

图7是根据本公开实施例的对原始图像进行补全处理的原理示意图。

根据本公开的实施例,在需要对原始图像进行补全处理时,例如可以先确定需要补全的目标方向,随后,再在目标方向上进行补全处理。其中,确定目标方向的原理可以与上文描述的操作S330中确定裁剪方向的原理类似。

例如,可以根据原始图像的尺寸比例与目标尺寸比例之间的大小关系,确定原始图像中需要补全的目标方向。具体地,可以在原始图像的尺寸比例大于目标尺寸比例时,确定需要补全的目标方向为第一方向。在原始图像的尺寸比例小于目标尺寸比例时,确定需要补全的目标方向为第二方向。其中,原始图像的尺寸比例是根据原始图像在第二方向的尺寸与原始图像在第一方向的尺寸之间的比值确定的。例如,第一方向可以为高度方向,第二方向可以为宽度方向。如此,可以对原始图像中,高度方向和宽度方向中相对于目标尺寸比例较小的方向进行补全处理。

例如,在进行补全处理时,可以依据预定像素值或图像模糊算法来对原始图像进行补全。

在一实施例中,在确定了目标方向后,可以采用对称补全的方式对原始图像进行补全。如此,可以保证补全得到的目标图像中,原始图像部分位于目标图像的中心区域,可以使得目标图像能够突出展示原始图像中的目标对象。具体地,在确定原始图像在第一方向上相对于目标尺寸比例较小时,可以将目标方向确定为平行于第一方向的两个相反的方向。例如,若第一方向为宽度方向,则目标方向包括左方向和右方向。在确定原始图像在第二方向上相对于目标尺寸比例较小时,可以将目标方向确定为平行于第二方向的两个相反的方向。例如,若第二方向为高度方向,则目标方向包括上方向和下方向。

如图7所示,在一实施例700中,可以通过操作S741~操作S747来对原始图像进行补全。在该实施例中,设定原始图像的尺寸比例为宽度:高度得到的比值。

在操作S741,确定与目标尺寸比例不相等的原始图像的尺寸比例是否大于目标尺寸比例。若小于,则执行操作S742,若大于,则执行操作S743。

在操作S742,确定目标方向包括宽度方向的两个相反的方向。

在操作S743,确定目标方向包括高度方向的两个相反的方向。

在确定了目标方向后,可以执行操作S744,确定原始图像在目标方向上预定尺寸的边缘区域的像素值。其中,预定尺寸可以根据实际需求进行设定。例如,若目标方向为宽度方向的两个相反的方向,则边缘区域可以为:两个相反方向上沿高度方向排列的预定数量个像素列所在的区域。若目标方向为高度方向的两个相反的方向,则边缘区域可以为:两个相反方向上沿宽度方向排列的预定数量个像素行所在的区域。预定数量例如可以为3、5等大于1的自然数,本公开对此不做限定。

在确定了边缘区域的像素值后,可以执行操作S745~操作S746,以在边缘区域存在主色时,根据该主色对原始图像进行补全。以此,可以使得得到的目标图像更为贴合原始图像,使得补全后的目标图像更为美观和逼真。

在操作S745,确定边缘区域中具有相同像素值的像素点比例是否大于等于预定比例。若是,则执行操作S746。

在操作S746,根据相同像素点在目标方向对原始图像进行补全处理。可以理解的是,在目标方向包括两个相对的方向时,则可以针对每个方向,执行操作S744~操作S746。

根据本公开的实施例,在确定边缘区域中具有相同像素值的像素点比例小于预定比例时,例如可以依据预定像素值对原始图像进行补全处理。或者,可以采用图像模糊算法来对原始图像进行补全处理,即执行操作S747。其中,图像模糊算法例如可以包括高斯模糊算法、均值模糊算法等,具体可以根据实际需求选择适当的图像模糊算法,本公开对此不做限定。通过采用图像模糊算法来对原始图像进行补全处理,可以使得补全得到的目标图像更为美观,减少违和感。

基于本公开提供的图像处理方法,本公开还提供了一种图像处理装置,以下将结合图8对该装置进行详细描述。

图8是根据本公开实施例的图像处理装置的结构框图。

如图8所示,该实施例的图像处理装置800可以包括图像检测模块810、方向确定模块820、区域确定模块830和第一图像处理模块840。

图像检测模块810用于检测原始图像,得到原始图像中目标对象所在的目标区域。在一实施例中,图像检测模块81 0可以用于执行上文描述的操作S210,在此不再赘述。

方向确定模块820用于根据原始图像的尺寸比例,确定裁剪方向。在一实施例中,方向确定模块820可以用于执行上文描述的操作S220,在此不再赘述。

区域确定模块830用于根据目标区域的中心位置、裁剪方向和目标尺寸比例,确定针对原始图像的预裁剪区域。在一实施例中,区域确定模块830可以用于执行上文描述的操作S230,在此不再赘述。

第一图像处理模块840用于根据预裁剪区域对原始图像进行处理,得到目标尺寸比例的目标图像。在一实施例中,第一图像处理模块840可以用于执行上文描述的操作S240,在此不再赘述。

根据本公开的实施例,上述第一图像处理模块840可以包括交并比确定子模块和裁剪子模块。交并比确定子模块用于确定预裁剪区域与目标区域之间的交并比。裁剪子模块用于响应于交并比大于等于预定交并比阈值,裁剪原始图像中预裁剪区域的图像,得到目标图像。

根据本公开的实施例,上述第一图像处理模块840可以包括关系确定子模块和裁剪子模块。关系确定子模块用于根据预裁剪区域的位置与目标区域的位置,确定预裁剪区域与目标区域的包含关系。裁剪子模块用于响应于预裁剪区域包含目标区域,裁剪原始图像中预裁剪区域的图像,得到目标图像。

根据本公开的实施例,上述第一图像处理模块840可以包括补全子模块,用于响应于预裁剪区域与目标区域之间的交并比小于预定交并比阈值,且预裁剪区域不包含目标区域,对原始图像进行补全处理,得到目标图像。

根据本公开的实施例,上述补全子模块可以包括目标方向确定单元和补全处理单元。目标方向确定单元用于根据原始图像的尺寸比例与目标尺寸比例之间的大小关系,确定原始图像中需要补全的目标方向。补全处理单元用于根据目标方向对原始图像进行补全处理。

根据本公开的实施例,目标方向确定单元可以包括第一确定子单元和第二确定子单元。第一确定子单元用于响应于原始图像的尺寸比例大于目标尺寸比例,确定目标方向包括平行于第一方向的两个相反的方向。第二确定子单元用于响应于原始图像的尺寸比例小于目标尺寸比例,确定目标方向包括平行于第二方向的两个相反的方向;第二方向垂直于第一方向。其中,原始图像的尺寸比例是根据原始图像在第二方向的尺寸与原始图像在第一方向的尺寸之间的比值确定的。

根据本公开的实施例,上述补全处理单元可以包括像素值确定子单元和第一补全子单元。像素值确定子单元用于确定原始图像在目标方向上预定尺寸的边缘区域的像素值。第一补全子单元用于响应于根据像素值确定边缘区域中具有相同像素值的像素点比例大于等于预定比例,根据相同像素值在目标方向对原始图像进行补全处理。

根据本公开的实施例,上述补全处理单元还包括第二补全子单元,用于响应于根据像素值确定边缘区域中具有相同像素值的像素点比例小于预定比例,采用图像模糊算法在目标方向对原始图像进行补全处理。

根据本公开的实施例,上述区域确定模块830可以包括目标尺寸确定子模块和区域确定子模块。目标尺寸确定子模块用于根据目标尺寸比例和原始图像在与裁剪方向垂直的方向上的尺寸,确定预裁剪区域在与裁剪方向垂直的方向上的目标尺寸。区域确定子模块用于根据中心位置和目标尺寸,确定预裁剪区域。

根据本公开的实施例,上述方向确定模块820可以包括第一确定子模块和第二确定子模块。第一确定子模块用于响应于原始图像的尺寸比例小于目标尺寸比例,确定裁剪方向包括第一方向。第二确定子模块用于响应于原始图像的尺寸比例大于目标尺寸比例,确定裁剪方向包括第二方向,第二方向垂直于第一方向。其中,原始图像的尺寸比例是根据原始图像在第二方向的尺寸与原始图像在第一方向的尺寸之间的比值确定的。

根据本公开的实施例,上述图像检测模块810可以包括主体检测子模块、文字检测子模块和区域确定子模块。主体检测子模块用于检测原始图像中的主体对象,得到原始图像中主体对象所在的第一区域。文字检测子模块用于检测原始图像中的文字,得到原始图像中文字所在的第二区域。区域确定子模块用于根据第一区域和第二区域,确定目标区域。

根据本公开的实施例,上述图像检测模块810具体用于:响应于原始图像的尺寸比例与目标尺寸比例之间的差值绝对值大于预定差值,检测原始图像,得到原始图像中目标对象所在的目标区域。

根据本公开的实施例,上述图像处理装置800还可以包括第二图像处理模块,用于响应于原始图像的尺寸比例与目标尺寸比例之间的差值绝对值小于等于预定差值,根据目标尺寸比例对原始图像进行处理,得到目标图像。

需要说明的是,本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。

根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开实施例的图像处理方法的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如图像处理方法。例如,在一些实施例中,图像处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的图像处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图像处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中,服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务(″Virtual Private Server″,或简称″VPS″)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

技术分类

06120115637256