一种图像处理方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机软件技术领域，特别涉及一种图像处理方法、装置、计算机设备及存储介质。

背景技术

在视频图像处理中，一般在图像中将相同物件的像数标示成同一个类别，不同物件的像数标示呈不同的类别，例如将图像中的人的像数标示成1，车的像数标示成2，球的像数标示成3等。

但是，相关技术中的视频图像处理方法还存在一些缺陷，例如，当需要对一张图像实时处理时，若是采用的算法较为复杂，那么便会导致时间复杂度较高，处理图像的速度较慢；若是为了提高速度而采用较为简单的算法时，则无法保证对图像处理时的精确度。

发明内容

本发明实施例提供了一种图像处理方法、装置、计算机设备及存储介质，旨在提高对视频图像的图像处理的精确度。

第一方面，本发明实施例提供了一种图像处理方法，包括：

获取视频当前图像的上一张图像的图像处理结果；

根据所述上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到所述当前图像的目标区域；

将所述目标区域输入至所述图像处理模型中，并由所述图像处理模型输出所述当前图像的图像处理结果。

第二方面，本发明实施例提供了一种图像处理装置，包括：

第一获取单元，用于获取视频当前图像的上一张图像的图像处理结果；

第一计算单元，用于根据所述上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到所述当前图像的目标区域；

第一输出单元，用于将所述目标区域输入至所述图像处理模型中，并由所述图像处理模型输出所述当前图像的图像处理结果。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的图像处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像处理方法。

本发明实施例提供了一种图像处理方法、装置、计算机设备及存储介质，所述方法包括：获取视频当前图像的上一张图像的图像处理结果，其中，所述图像处理结果经由预设的图像处理模型输出得到；根据所述上一张图像的图像处理结果以及所述图像处理模型的输入条件计算得到所述当前图像的目标区域；将所述目标区域输入至所述图像处理模型中，并由所述图像处理模型输出所述当前图像的图像处理结果。本发明实施例通过根据上一张图像的图像处理结果以及图像处理模型的输入要求计算得到当前图像的目标区域，并由所述图像处理模型对所述目标区域进行图像处理，从而提高对视频图像的图像处理精确度。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2为本发明实施例提供的一种图像处理方法中步骤S102的子流程示意图；

图3为本发明实施例提供的一种图像处理方法中步骤S203的子流程示意图；

图4为本发明实施例提供的一种图像处理方法中步骤S204的子流程示意图；

图5为本发明实施例提供的一种图像处理方法中步骤S401的子流程示意图；

图6为本发明实施例提供的一种图像处理方法中步骤S502的子流程示意图；

图7为本发明实施例提供的一种图像处理方法中的另一子流程示意图；

图8为本发明实施例提供的一种图像处理装置的示意性框图；

图9为本发明实施例提供的一种图像处理装置中第一计算单元802的子示意性框图；

图10为本发明实施例提供的一种图像处理装置中第二计算单元902的子示意性框图；

图11为本发明实施例提供的一种图像处理装置中第一缩放单元904的子示意性框图；

图12为本发明实施例提供的一种图像处理装置中第二缩放单元1101的子示意性框图；

图13为本发明实施例提供的一种图像处理装置中第三缩放单元1202的子示意性框图；

图14为本发明实施例提供的一种图像处理装置的另一子示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

下面请参见图1，图1为本发明实施例提供的一种图像处理方法的流程示意图，具体包括：步骤S101～S103。

S101、获取视频当前图像的上一张图像的图像处理结果；

S102、根据上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到当前图像的目标区域；

S103、将目标区域输入至图像处理模型中，并由图像处理模型输出当前图像的图像处理结果。

本实施例中，在对视频中的视频图像进行图像处理操作时，可以通过上一张图像的图像处理结果(经由预设的图像处理模型输出)以及图像处理模型的输入要求得到当前图像的ROI(region of interest，即目标区域)，进而利用图像处理模型输出该目标区域的图像处理结果。这里所说的图像处理模型可以为本领域常用的图像处理模型，例如一些适用于图像处理的深度学习网络模型等。

本实施例利用前后两张图像中的物件的位置差异小的特性，通过参考上一张图像的图像处理结果和图像处理模型的输入大小，计算得到当前图像的ROI,将此ROI作为图像处理模型的输入，以增加物件在后续图像中的大小比例，如此可以减少因对当前图像缩放而造成的图像比例，从而达到提高图像处理精确度和减少算法的运算(即减少时间复杂度)的目的。本实施例中的ROI依据上一张图像的图像处理结果和图像处理模型输入要求自动生成，无需人工进行初始设定，当视频中的物件移动时，图像处理结果的位置也会相应移动，根据该图像处理结果生成的ROI同样会发生相应的移动，进而提高对于视频图像的图像处理精度。

还需说明的是，本实施例提供的图像处理方法特别适用于存在前后关联的视频图像中，譬如直播视频中的串流画面等。

在一实施例中，如图2所示，步骤S102包括：步骤S201～S204。

S201、生成包含上一张图像的图像处理结果的最小外接框；

S202、获取图像处理模型的预设的输入长度和预设的输入宽度，以及最小外接框的外接框长度和外接框宽度；

S203、根据输入长度和输入宽度以及最小外接框的外接框长度和外接框宽度计算得到基于最小外接框的外接框长度或者基于最小外接框的外接框宽度的候选框；

S204、根据预设的缩放系数对候选框进行缩放，得到目标框，并将目标框作为当前图像的第一目标区域。

本实施例中，对上一张图像的图像处理结果生成一个能够包含该图像处理结果的最小外接框(例如最小矩形外接框等)，并获取该最小外接框的外接框长度和外接框宽度，以及图像处理模型预先设置的输入长度和输入宽度，可以理解的是，这里所说的是长度和宽度可以是图像的像素，例如图像处理模型预设的输入长度和输入宽度为512×512或480×320等等，具体大小可根据实际应用场景对应设置。

然后根据图像处理模型的输入长度和输入宽度，以及最小外接框的外接框长度和外接框宽度，可以通过计算得到一个长度和宽度之间的比例符合图像处理模型的输入长度和输入宽度之间的比例的候选框，再对该候选框进行一定程度的缩放，即可得到当前图像输入至图像处理模型的部分，即第一目标区域，也就是目标框。

在一实施例中，如图3所示，步骤S203包括：步骤S301～S305。

S301、将最小外接框的外接框长度作为候选框的第一长度，使第一宽度与所述最小外接框的外接框长度的比例与图像处理模型的输入宽度与输入长度相等，从而计算得到候选框的第一宽度；

S302、根据候选框的第一长度和第一宽度计算候选框的第一面积；

S303、将最小外接框的外接框宽度作为候选框的第二宽度，使第二长度与最小外接框的外接框宽度的比例与图像处理模型的输入长度与输入宽度相等，从而计算得到候选框的第二长度；

S304、根据候选框的第二长度和第二宽度计算候选框的第二面积；

S305、对第一面积和第二面积进行比较，并选择面积大的长度和宽度作为候选框的候选长度和候选宽度。

本实施例中，由于根据上一张图像的图像处理结果生成的最小外接框的长宽比例可能与图像处理模型预先设定的长宽比例并不相同，而为了能够使当前图像的输入部分能够与图像处理模型向适配，因此需要结合最小外接框的长度和宽度以及图像处理模型的输入长度和输入宽度，计算得到候选框的候选长度和候选宽度。

在以最小外接框的外接框长度为基准时，即使候选框的长度(即第一长度)与最小外接框的外接框长度相等。当候选框的长宽比例与图像处理模型的长宽比例相同时，有w1:H＝w:h，其中，w1即为候选框的宽度(即第一宽度)，H为最小外接框的外接框长度，即第一长度，w为图像处理模型的输入宽度，h为图像处理模型的输入长度，那么，可以得到候选框的第一宽度w1＝H*w/h。

在以最小外接框的外接框宽度为基准时，即使候选框的宽度(即第二宽度)与最小外接框的外接框宽度相等。当候选框的长宽比例与图像处理模型的长宽比例相同时，有h2:W＝h:w，其中，h2即为候选框的长度(第二长度)，W为最小外接框的外接框宽度，即第二宽度，h为图像处理模型的输入长度，w为图像处理模型的输入宽度，那么，可以得到候选宽的第二长度h2＝W*h/w。

分别以候选框的第一长度和第一宽度计算候选框的第一面积，以及以候选框的第二长度和第二宽度计算候选框的第二面积。然后比较第一面积和第二面积，并选择二者中更大的面积对应的长度和宽度作为候选框的候选长度和候选宽度，确保候选框能够包含最小外接框。

在一实施例中，如图4所示，步骤S204包括：步骤S401。

S401、基于预设的第一约束条件和第二约束条件，根据预设的缩放系数对候选框进行缩放，其中，第一约束条件为：缩放得到的目标框的长度和宽度的比例符合图像处理模型的输入要求，第二约束条件为：目标框至少包含最小外接框。

本实施例中，在对候选框进行缩放时，需要按照预先设置的缩放约束进行缩放，即按照第一约束条件和第二约束条件对候选框进行缩放，使缩放后的候选框一方面可以满足图像处理模型的输入要求(例如缩放后的候选框的长宽比例与图像处理模型的输入长度和输入宽度之间的比例相同等)，另一方面还需满足缩放后的候选框能够至少包含最小外接框，从而保证最终的图像处理精度。

在一实施例中，如图5所示，步骤S401包括：步骤S501～S502。

S501、根据预设的缩放系数对候选框进行第一次缩放，并判断第一次缩放结果是否满足第一约束条件和第二约束条件；

S502、若缩放结果未满足第一约束条件和第二约束条件，则根据预设的缩放系数对候选框进行第二缩放，并继续判断第二次缩放结果是否满足第一约束条件和第二约束条件，直至对候选框进行缩放后的缩放结果满足第一约束条件和第二约束条件，并将满足第一约束条件和第二约束条件的缩放结果作为目标框。

本实施例中，在对候选框进行缩放时，为了避免一次缩放后得到的目标框太大，因此可以选择对候选框进行多次缩放，并在每一缩放后判断是否满足第一约束条件和第二约束条件。如果满足第一约束条件和第二约束条件，则可以停止缩放，并将此时的缩放结果作为目标框；如果不满足第一约束条件或者第二约束条件，则需要继续对候选框进行缩放。本实施例中，在每一次对候选框进行缩放时，均按照预设的缩放系数进行缩放，例如，预设的缩放系数为1.05，那么在一次缩放后，候选框的候选长度和候选长度均变为缩放前的1.05倍，如果候选框在经过一次1.05倍的缩放后仍不满足第一约束条件和第二约束条件，那么继续按照1.05倍对候选框进行缩放。

在一实施例中，如图6所示，步骤S502包括：步骤S601～S604。

S601、判断目标框的范围是否超出当前图像的整体范围；

S602、若目标框的范围超出当前图像的整体范围，则对目标框的位置进行相应调整；

S603、判断目标框在进行相应调整后是否超出当前图像的整体范围；

S604、若目标框在进行相应调整后超出当前图像的整体范围，则对目标框的超出范围进行补0操作。

本实施例中，在对候选框缩放完成后，得到目标框，此时，目标框的长宽比例与图像处理模型的长宽比例相同，且目标框至少包含最小外接框。但是，此时的目标框是经过一次或者多次缩放后得到，因此该目标框在缩放后的范围有可能会超出当前图像的整体范围，显然，这种情况下需要对目标框进行调整。同时，由于目标框需要至少包含最小外接框，也就是说，如果减少目标框的面积可能会导致目标框不满足第二约束条件，所以本实施选择通过调整目标框的位置以使目标框的范围处于当前图像的整体范围内。例如，假设目标框的下边框超出当前图像，那么将目标框向上移动，以使目标框的整体均处于当前图像内。

当然，在对目标框进行调整的过程中，还会存在一种情况，即无论对目标框进行何种方式的调整，调整后的范围仍会超出当前图像的整体范围。本实施例通过对目标框的超出范围进行补0操作(也可以进行补255操作)以消除上述情况，

在一实施例中，如图7所示，图像处理方法还包括：步骤S701。

S701、当当前图像为视频中的第一张图像时，则将当前图像的尺寸调整至图像处理模型的预设的输入长度和预设的输入宽度，并输入至图像处理模型中，输出图像处理结果。

本实施例中，当当前图像为视频图像中的第一图像时，也就是说，无法获取到上一张图像的图像处理结果时，那么可以首先将当前图像的尺寸调整至符合图像处理模型的输入要求，例如将640×480的当前图像输入至512×512的图像处理模型中时，首先需要将该640×480当前图像缩放至512×512的分辨率。利用图像处理模型输出当前图像的图像处理结果，然后再对该图像处理结果进行最小外接框生成、候选框生成、缩放等系列操作。

图8为本发明实施例提供的一种图像处理装置800的示意性框图，该装置800包括：

第一获取单元801，用于获取视频当前图像的上一张图像的图像处理结果；

第一计算单元802，用于根据上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到当前图像的目标区域；

第一输出单元803，用于将目标区域输入至图像处理模型中，并由图像处理模型输出当前图像的图像处理结果。

在一实施例中，如图9所示，第一计算单元802包括：

生成单元901，用于生成包含上一张图像的图像处理结果的最小外接框；

第二获取单元902，用于获取图像处理模型的预设的输入长度和预设的输入宽度，以及最小外接框的外接框长度和外接框宽度；

第二计算单元903，用于根据输入长度和输入宽度以及最小外接框的外接框长度和外接框宽度计算得到基于最小外接框的外接框长度或者基于最小外接框的外接框宽度的候选框；

第一缩放单元904，用于根据预设的缩放系数对候选框进行缩放，得到目标框，并将目标框作为当前图像的第一目标区域。

在一实施例中，如图10所示，第二计算单元902包括：

宽度计算单元1001，用于将最小外接框的外接框长度作为候选框的第一长度，使第一宽度与最小外接框的外接框长度的比例与图像处理模型的输入宽度与输入长度相等，从而计算得到候选框的第一宽度；

第一面积计算单元1002，用于根据候选框的第一长度和第一宽度计算候选框的第一面积；

长度计算单元1003，用于将最小外接框的外接框宽度作为候选框的第二宽度，使第二长度与最小外接框的外接框宽度的比例与图像处理模型的输入长度与输入宽度相等，从而计算得到候选框的第二长度；

第二面积计算单元1004，用于根据候选框的第二长度和第二宽度计算候选框的第二面积；

比较单元1005，用于对第一面积和第二面积进行比较，并选择面积大的长度和宽度作为候选框的候选长度和候选宽度。

在一实施例中，如图11所示，第一缩放单元904包括：

第二缩放单元1101，用于基于预设的第一约束条件和第二约束条件，根据预设的缩放系数对候选框进行缩放，其中，第一约束条件为：缩放得到的目标框的长度和宽度的比例符合图像处理模型的输入要求，第二约束条件为：目标框至少包含最小外接框。

在一实施例中，如图12所示，第二缩放单元1101包括：

约束判断单元1201，用于根据预设的缩放系数对候选框进行第一次缩放，并判断第一次缩放结果是否满足第一约束条件和第二约束条件；

第三缩放单元1202，用于若缩放结果未满足第一约束条件和第二约束条件，则根据预设的缩放系数对候选框进行第二缩放，并继续判断第二次缩放结果是否满足第一约束条件和第二约束条件，直至对候选框进行缩放后的缩放结果满足第一约束条件和第二约束条件，并将满足第一约束条件和第二约束条件的缩放结果作为目标框。

在一实施例中，如图13所示，第三缩放单元1202包括：

范围判断单元1301，用于判断目标框的范围是否超出当前图像的整体范围；

调整单元1302，用于若目标框的范围超出当前图像的整体范围，则对目标框的位置进行相应调整；

调整判断单元1303，用于判断目标框在进行相应调整后是否超出当前图像的整体范围；

补0单元1304，用于若目标框在进行相应调整后超出当前图像的整体范围，则对目标框的超出范围进行补0操作。

在一实施例中，如图14所示，图像处理装置800还包括：

调整及输入单元1401，用于当当前图像为视频中的第一张图像时，则将当前图像的尺寸调整至图像处理模型的预设的输入长度和预设的输入宽度，并输入至图像处理模型中，输出图像处理结果。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。