一种图像处理方法、装置、设备和存储介质

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置、设备和存储介质。

背景技术

目前，利用图像算法对物体运动或材料应变进行测量的方式被广泛应用，例如，可应用于机械制造、鼠标传感器、手势识别等领域或场景中。其中，用于测量的图像算法包括数字图像相关法与光流法。进一步地，数字图像相关法(即DICM)是通过对物体在运动或变形前后采集到的灰度图像进行相关计算，来测量物体的位移、应变等运动信息，其可以通过差值法，相关系数拟合法，梯度法达到亚像素级别的定位。而光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息。

而上述两种图像算法在实际测量运动信息时，其用于测量的图像的精度难以保证，进而导致计算出的运动信息的可靠性较低，因此，如何提高用于测量的图像的精度是个亟需解决的问题。

发明内容

有鉴于此，为了解决现有技术存在的问题，本申请实施例提供了一种图像处理方法、装置、设备和存储介质。

第一方面，本申请提供一种图像处理方法，包括：

获取目标物体在运动过程中的第一帧图像和第二帧图像，其中，所述第一帧图像与所述第二帧图像相邻；

对所述第一帧图像和所述第二帧图像进行作差处理，得到第一差分图像；

计算所述第一差分图像中位于第一目标区域内所有像素坐标对应的第一灰度值平方和，以及计算所述第一帧图像的整体灰度起伏值；

若所述第一灰度值平方和的值大于所述整体灰度起伏值，则根据所述第一帧图像和所述第二帧图像，计算得到所述目标物体的运动信息。

在可选的实施方式中，若所述第一灰度值平方和的值小于等于所述整体灰度起伏值，所述方法还包括：

剔除所述第二帧图像，并获取第三帧图像；其中，所述第三帧图像分别与所述第二帧图像、第一帧图像相邻；

对所述第一帧图像和所述第三帧图像进行作差处理，得到第二差分图像，并计算所述第二差分图像中位于所述第一目标区域内所有像素坐标对应的第二灰度值平方和，直至所述第二灰度值平方和的值大于所述整体灰度起伏值。

在可选的实施方式中，所述计算所述第一帧图像的整体灰度起伏值，包括：

获取所述第一帧图像中位于第二目标区域内的所有像素坐标的水平梯度值和垂直梯度值；

将所述第二目标区域内的每个像素坐标对应的水平梯度值和垂直梯度值相加得到加值，再求取所述加值的平方和；

根据所述加值的平方和，计算得到整体灰度起伏值。

在可选的实施方式中，所述整体灰度起伏值的计算公式为：

其中，rough_data表示所述整体灰度起伏值；i、j表示所述第一帧图像中的非外圈像素坐标(i，j)；M

在可选的实施方式中，所述第一目标区域包括(M

在可选的实施方式中，在所述获取目标物体在运动过程中的第一帧图像和第二帧图像之前，还包括：

将采集的所述目标物体在运动过程中的目标帧图像存入静态存储器中，以使得将从所述静态存储器中获取的帧图像作为第一帧图像；

在所述根据所述第一帧图像和所述第二帧图像，计算得到所述目标物体的运动信息之后，还包括：

将所述静态存储器内存储的帧图像替换为第二帧图像，以将所述第二帧图像替换作为第一帧图像。

在可选的实施方式中，所述运动信息包括所述目标物体的位移信息、应变信息。

第二方面，本申请提供一种图像处理装置，包括：

获取模块，用于获取目标物体在运动过程中的第一帧图像和第二帧图像，其中，所述第一帧图像与所述第二帧图像相邻；

作差模块，用于对所述第一帧图像和所述第二帧图像进行作差处理，得到第一差分图像；

第一计算模块，用于计算所述第一差分图像中位于第一目标区域内所有像素坐标对应的第一灰度值平方和，以及计算所述第一帧图像的整体灰度起伏值；

第二计算模块，用于若所述第一灰度值平方和的值大于所述整体灰度起伏值，则根据所述第一帧图像和所述第二帧图像，计算得到所述目标物体的运动信息。

第三方面，本申请提供一种计算机设备，所述计算机设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施前述的图像处理方法。

第四方面，本申请提供一种计算机存储介质，其存储有计算机程序，所述计算机程序被执行时，实施根据前述的图像处理方法。

本申请实施例具有如下有益效果：

本申请实施例提供了一种图像处理方法，包括获取目标物体在运动过程中的第一帧图像和第二帧图像，其中，第一帧图像与第二帧图像相邻；对第一帧图像和第二帧图像进行作差处理，得到第一差分图像；计算第一差分图像中位于第一目标区域内所有像素坐标对应的第一灰度值平方和，以及计算第一帧图像的整体灰度起伏值；若第一灰度值平方和的值大于整体灰度起伏值，则根据第一帧图像和第二帧图像，计算得到目标物体的运动信息。本申请实施例通过比较计算得到整体灰度起伏值与第一灰度值平方和的值，来确定第一帧图像与第二帧图像之间的间隔距离，进而选取间隔距离符合预设要求的第一帧图像和第二帧图像来计算目标物体的运动信息，从而提高目标物体运动信息的计算精准度。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例中图像处理方法的第一个实施方式示意图；

图2示出了本申请实施例中图像处理方法的第二个实施方式示意图；

图3示出了本申请实施例中图像处理方法的第三个实施方式示意图；

图4示出了本申请实施例中图像处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。

在利用图像算法对物体运动或材料应变信息进行测量的过程中，任何应用场景下，测量的精确度都是非常关键的，但是其测量过程中的测量误差难以消除，尤其是光学法测量的误差是无法避免的。经技术人员反复对比发现，无论采用何种图像算法，在两帧图像之间的间隔距离差距较小时，计算的最大相对误差较大。

以数字图像相关方法(即DICM方法)中的三次曲面拟合为例：理论位移小于0.1像素(即0.1pixel)时，相对误差较大，其相对误差在6％左右。但是当位移在1pixel尺寸左右时，相对误差在1％以内。因此，可通过控制选取的用于测量的图像之间的间隔距离(即间距)来调控最大相对误差值，以此提高测量精度，但是，因物体的实际运动的速度未知，因此不能以实际的时间间隔控制两幅图像之间的间隔距离。

基于此，本申请实施例提供了一种图像处理方法，以精准获取间隔距离为1像素(即1pixel)尺寸左右的两帧图像为预设要求，根据获取的这两帧图像对目标物体的运动信息进行测量，以提高目标物体的运动信息的测量精准度。其中，本实施例通过引入图像的整体灰度起伏值来确定两帧图像之间的间隔距离，进而精准获取到间隔距离为1像素的两帧图像。

具体地，请参照图1，下面对该图像处理方法进行详细说明。

S10，获取目标物体在运动过程中的第一帧图像和第二帧图像，其中，第一帧图像与第二帧图像相邻。

在本申请实施例中，通过分析具有时间关系的图像序列以确定采集该图像序列过程中光感应器件相对于目标物体的运动轨迹，进而确定目标物体的运动信息。

具体而言，获得图像序列的途径包括但不限于，以图像传感器(即Sensor)为例，将处于相对运动中的该图像传感器所拍摄到的反映输入光强度变化信息的模拟电信号经过模数转换器，生成数字信号送入数字信号处理器(即DSP)。在该数字信号处理器中，数字信号先被转换成多帧图像数据，即图像序列。

在本实施例中，通过图像传感器采集目标物体在运动过程中的多帧图像，其中，第一帧图像与第二帧图像为前后相邻的帧图像，该第一帧图像可以是图像序列中的第n帧图像，进而，该第二帧图像可以是图像序列中的第n+1帧图像。

可选的，如图2所示，在获取目标物体在运动过程中的第一帧图像和第二帧图像之前，本申请实施例还包括：

S50，将采集的目标物体在运动过程中的目标帧图像存入静态存储器中，以使得将从静态存储器中获取的帧图像作为第一帧图像。

也即是，在采集到的目标物体在运动过程中的多帧图像时，可从多帧图像选取一帧图像作为目标帧图像，将该目标帧图像及其对应的图像灰度值关联存入静态存储器中，进而方便后续从静态存储器中获取相应的帧图像及其图像灰度值用于计算目标物体运动信息。其中，该目标帧图像的选取标准及其选取数量具体可根据实际需求进行设置，在此不做限定。

S20，对第一帧图像和第二帧图像进行作差处理，得到第一差分图像。

S30，计算第一差分图像中位于第一目标区域内所有像素坐标对应的第一灰度值平方和，以及计算第一帧图像的整体灰度起伏值。

计算相邻的第一帧图像和第二帧图像的差分图像，也即是，将第一帧图像和第二帧图像对应像素点的灰度值相减得到差分图像，并将其作为第一差分图像。

进一步地，获取第一差分图像中位于第一目标区域内对应的所有像素坐标，根据该像素坐标来对应计算灰度值平方和，以及计算第一帧图像中位于第二目标区域内的所有像素坐标的整体灰度起伏值。其中，该第一目标区域和第二目标区域均可根据实际需求进行设置，在此不做限定。

值得说明的是，第一目标区域和第二目标区域中包含的各个像素坐标均为相应图像中的非最外圈像素坐标；优选的，第一目标区域和第二目标区域可以选取为面积一致的区域，进而保证后续整体灰度起伏值和灰度值平方和之间的比较结果的精准度。

示范性地，本实施例获取第一差分图像中所有的非外圈像素坐标，进而根据该所有非外圈像素坐标来计算对应的灰度值平方和，以及根据第一帧图像中的非最外圈像素坐标来计算整体灰度起伏值。其中，第一帧图像的整体灰度起伏值具体通过非最外圈像素坐标对应像素点的方向梯度计算得到。

具体而言，可选的，计算第一差分图像中在(M

需要注意的是，此处的(M

此外，获取第一帧图像中位于第二目标区域内的所有像素坐标的方向梯度值(即包含水平梯度值和垂直梯度值)；将第二目标区域内的每个像素坐标对应的水平梯度值和垂直梯度值对应相加得到加值，再求取加值的平方和；并根据该加值的平方和，计算得到第一帧图像的整体灰度起伏值。

示例的，在本实施例中，若第一帧图像的长度值和宽度值为M

lx＝V(i+1，j)-V(i-1，j)。

其次，可计算得到该像素坐标(i，j)对应的像素点的垂直梯度值(即ly)为：

ly＝V(i，j+1)-V(i，j-1)。

其中，上述计算式中的V表示像素坐标(i，j)对应的像素点的灰度值。

进一步地，将第一帧图像中所有非最外圈像素坐标的水平梯度值和垂直梯度值相加后，再求取其平方和，并除以2，得到第一帧图像对应的整体灰度起伏值(即rough_data)。

进而，整体灰度起伏值的计算公式为：

其中，rough_data表示整体灰度起伏值；i、j表示第一帧图像中的非外圈像素坐标(i，j)；M

需要注意的是，本实施例上述通过计算第一帧图像中所有非最外圈像素坐标的方向梯度值(包括水平梯度值和垂直梯度值)，以计算得到整体灰度起伏值的过程中，该选定的计算方向梯度值的第二目标区域为最大计算区域(即为(M

S40，判断第一灰度值平方和的值是否大于整体灰度起伏值。

S61，若第一灰度值平方和的值大于整体灰度起伏值，则根据第一帧图像和第二帧图像，计算得到目标物体的运动信息。

将计算出的第一灰度值平方和的值与整体灰度起伏值进行比较，基于其比较结果确定间隔1像素点的两幅相邻帧图像，进而根据该间隔1像素点的两幅相邻帧图像来计算目标物体的运动信息，从而提高运动信息计算的精准度。

在本实施例中，若第一灰度值平方和的值大于整体灰度起伏值，则说明第一帧图像和第二帧图像之间间隔1像素点，从而可根据第一帧图像和第二帧图像来计算得到目标物体的运动信息，具体可采用如光流法等算法来计算运动信息，具体算法可根据实际需求进行设置，在此不做限定。其中，运动信息包括目标物体的位移信息、应变信息等。可选的，该光流法可选用LK光流法、HS光流法等其中任意一种算法。

进一步地，若第一灰度值平方和的值小于等于整体灰度起伏值，本申请实施例还包括如下步骤：

S62，剔除第二帧图像，并获取第三帧图像；其中，第三帧图像分别与第二帧图像、第一帧图像相邻。

S63，对第一帧图像和第三帧图像进行作差处理，得到第二差分图像，并计算第二差分图像中所有非外圈像素坐标对应的第二灰度值平方和，直至第二灰度值平方和的值大于整体灰度起伏值。

在确定第一灰度值平方和的值小于等于整体灰度起伏值后，从图像序列中选取与第一帧图像相邻的第三帧图像替代第二帧图像，来计算第一帧图像和第三帧图像之间的差分图像，及其差分图像的灰度值平方和；进而将其灰度值平方和的值与第一帧图像的整体灰度起伏值进行比较，以确定第一帧图像与第三帧图像之间的间隔距离。其中，本实施例将第一帧图像和第三帧图像之间作差处理后得到的差分图像作为第二差分图像，且计算得到的第二差分图像中位于第一目标区域内所有的像素坐标对应的灰度值平方和作为第二灰度值平方和。其中，计算第二差分图像的灰度值平方和时，可根据第一差分图像中所选取的第一目标区域作为该第二差分图像的灰度值平方和的计算区域；或是，重新选取第二差分图像中的第三目标区域，并通过计算第三目标区域内的所有像素坐标对应的灰度值平方和作为第二灰度值平方和。其中，该第三目标区域内的所有像素坐标均为最外圈像素坐标。

需要注意的是，该第三帧图像分别与第一帧图像和第二帧图像相邻，也即是，若该第一帧图像为图像序列中的第n帧图像，第二帧图像为图像序列中的第n+1帧图像，则第三帧图像可以为第n+2帧图像、第n+3帧图像等。也即是，该第三帧图像具体为第n+a帧图像，其中，a＝1且a＝a+1。

可以理解，若第一灰度值平方和的值小于等于整体灰度起伏值，则说明第一帧图像和第二帧图像之间的间隔像素值不为1像素，进而剔除该第二帧图像，从图像序列中选取相邻的第三帧图像，重复执行上述S10-S40，若确定第一帧图像与第二帧图像之间的间隔像素值不为1像素，进而再次剔除第三帧图像，从中选取相邻的第四帧图像，循环执行上述的S10-S40，直至确定第一帧图像与所选取的相邻的帧图像之间的间隔像素值为1像素。

值得说明的是，若从图像序列中依次选取相邻的帧图像来与第一帧图像计算其间隔距离时，若该间距距离均不为1像素，则可剔除第一帧图像，即以第二帧图像替代原第一帧图像，再依次从图像序列中相邻的帧图像来与第二帧图像计算其间隔距离，与此同理，可重复执行上述步骤，直至选取出间隔距离为1像素的两个相邻帧图像。

如图3所示，在S61中“根据第一帧图像和第二帧图像，计算得到目标物体的运动信息”之后，本申请实施例还包括如下步骤：

S70，将静态存储器内存储的帧图像替换为第二帧图像，以将第二帧图像替换作为第一帧图像。

可以理解，在确定第一帧图像与第二帧图像之间的间隔距离为1像素之后，将静态存储器内存储的帧图像替换为第二帧图像，也即是将第二帧图像存入静态存储器内，并剔除静态存储器中存储的第一帧图像。进而，后续再选取帧图像来计算目标物体的运动信息时，可将静态存储器中存储的第二帧图像作为原第一帧图像，依次从图像序列中选取与该原第二帧图像相邻的帧图像作为第二帧图像，以计算两者之间的间隔距离。

进而，本实施例通过将已用于进行运动信息计算的相邻帧图像中的后一个帧图像存入静态存储器中，进而通过该静态存储器对其进行管理，以使得后续可直接确定用于进行运动信息计算的基准帧图像(即第一帧图像)，从而根据该静态存储器中存储的第一帧图像来从图像序列中选取相邻帧图像进行计算，一定程度上提高了相邻帧图像的选取效率，进而加快了对于目标物体的运动信息的检测效率，避免对同一帧图像进行重复计算，且有效实现了对于用于进行运动信息计算的相邻帧图像的管理。

本申请实施例通过比较计算得到的第一帧图像的整体灰度起伏值与差分图像的灰度值平方和的值，来确定第一帧图像与第二帧图像之间的间隔距离，进而选取间隔距离符合预设要求(即间隔距离为1像素)的相邻两个帧图像来计算目标物体的运动信息，显然，本实施例摒弃了以实际的时间间隔来计算两幅图像之间的间隔距离的方法，通过引入整体灰度起伏值来确定两帧图像之间的间隔距离，保证了两帧图像之间的间隔距离的精准测量，从而提高了目标物体的运动信息的计算精度和可靠性。

请参照图4，本申请实施例还提供了一种图像处理装置，该装置包括：

获取模块110，用于获取目标物体在运动过程中的第一帧图像和第二帧图像，其中，所述第一帧图像与所述第二帧图像相邻；

作差模块120，用于对所述第一帧图像和所述第二帧图像进行作差处理，得到第一差分图像；

第一计算模块130，用于计算所述第一差分图像中所有非外圈像素坐标对应的第一灰度值平方和，以及计算所述第一帧图像的整体灰度起伏值；

第二计算模块140，用于若所述第一灰度值平方和的值大于所述整体灰度起伏值，则根据所述第一帧图像和所述第二帧图像，计算得到所述目标物体的运动信息。

可以理解，上述的图像处理装置对应于上述实施例的图像处理方法；上述实施例中的任何可选项也适用于本实施例，这里不再详述。

本申请实施例还提供了一种计算机设备，该所述计算机设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述实施例的图像处理方法。

存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据(比如整体灰度起伏值、运动信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述实施例的图像处理方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。