一种图像修复方法及装置

技术领域

本申请涉及图像识别与处理领域，尤其是一种图像修复方法及装置。

背景技术

随着科技的发展，各类可用于拍摄图像的电子设备的生产，也使得图像开始出现在人们的生活中，用于记录周边事物，直观的展现当时的场景。图像的出现为人们的生活提供了便利，但是，很多时候人们得到的图像可能会遗失某些细节，或者会出现不需要的目标物，导致图像不便于使用。比如，在图像在保存过程中，由于图像容易受多种外在因素的影响而受损，受损后的图像可能会使得图像内容出现缺失；还有的图像可能会出现不需要的目标物，例如：人物、障碍物、时间信息等，可能导致图像不便于使用。对于一些因外在因素影响而受损，或者由于内容中出现不需要的目标物的图像，而无法使用的图像，若不能进行修复，可能会给人们的使用带来不便，因此如何对图像进行修复是人们一直关注的问题。

发明内容

有鉴于此，本申请提供了一种图像修复方法及装置，以便于在对图像进行修复。

为了实现上述目的，现提出的方案如下：

一种图像修复方法，该方法包括：

获取待修复图像和掩膜图像，所述掩膜图像用于标记待修复图像中的待修复区域；

在所述待修复区域的边界上确定待填补块，所述待填补块为尺寸预先设定，且以所述待修复区域的边界上的像素点为中心点的图像块；

基于所述待修复图像中所述待填补块的梯度值，计算得到所述待填补块的图像结构特征；

基于所述图像结构特征，确定待填补块调整后的尺寸；

从所述待修复图像中待修复区域以外的区域，查找与调整后的待填补块匹配的图像块；

基于所述图像块，修复调整后的待填补块中的图像；

更新待填补区域的边界，并返回执行所述在所述待修复区域的边界上确定待填补块的步骤，直至待修复图像修复完成得到修复完成的图像。

可选的，所述基于所述待修复图像中所述待填补块的梯度值，计算得到所述待填补块的图像结构特征，包括：

基于所述待修复图像中所述待填补块的梯度值，利用结构感知项计算公式，计算待填补块的结构感知项J

所述K

基于所述待填补块的结构感知项J

所述J

基于所述特征值λ

所述β和γ为常数。

可选的，所述基于所述图像结构特征，确定待填补块调整后的尺寸，包括：

基于所述表征所述待填补块的图像结构特征的结构强度S(p)，利用尺寸计算公式，计算待填补块的尺寸预测值PS：

PS＝aS(p)

所述a、b、c、d和e为常数；

利用所述尺寸预测值PS，确定待填补块调整后的尺寸。

可选的，利用所述尺寸预测值PS，确定待填补块调整后的尺寸，包括：

当所述尺寸预测值PS小于f时，待填补块调整后的长度和宽度为f；

当所述尺寸预测值PS大于g时，待填补块调整后的长度和宽度为h；

其中，h大于g，且g大于f；

当所述尺寸预测值PS大于等于f且小于等于g时，待填补块调整后的长度和宽度为所述尺寸预测值PS；

所述f、g和h为常数。

可选的，在所述待修复区域的边界上确定待填补块，包括：

以边界上的每一个像素点为中心点，得到多个待填补块，所述待填补块的尺寸为预先设定；

针对每一个待填补块，通过置信度计算公式计算得到待填补块的置信度C(p)，以及通过边界信息数据计算公式计算得到待填补块的边界信息数据D(p)，所述置信度C(p)为待填补块中处于待修复区域以外的像素点占整个待填补块的比例，所述边界信息数据D(p)用于反映图像的边界特征，所述置信度计算公式为：

所述q表示待修复图像中的像素点，ψ

C

所述边界信息数据计算公式为：

所述

基于待填补块的置信度C(p)和边界信息数据D(p)，通过优先权计算公式，计算得到待填补块的优先权P(ψ

P(ψ

获取优先权最高的待填补块作为最终的待填补块。

可选的，所述从所述待修复图像中待修复区域以外的区域，查找与调整后的待填补块匹配的图像块，包括：

从待修复图像中待修复区域以外的区域，获取与调整后的待填补块尺寸相同的图像块；

基于调整后的待填补块和所述图像块之间对应像素点的颜色差距，选取与调整后的待填补块颜色差距最小的图像块，作为与调整后的待填补块匹配的图像块。

可选的，所述基于调整后的待填补块与所述图像块之间对应像素点的颜色差距，选取与调整后的待填补块颜色差距最小的图像块，作为与调整后的待填补块匹配的图像块，包括：

计算调整后的待填补块中处于待修复区域以外的像素点与所述图像块中对应像素点之间的颜色差距，选取与调整后的待填补块颜色差距最小的图像块，作为与调整后的待填补块匹配的图像块。

可选的，所述基于所述图像块，修复调整后的待填补块中的图像，包括：

利用图像块中与待填补块中处于待修复区域对应的图像，替换待填补块中处于待修复区域的图像。

一种图像修复装置，包括：

图像获取单元，用于获取待修复图像和掩膜图像，所述掩膜图像用于标记待修复图像中的待修复区域；

待填补块确定单元，用于在所述待修复区域的边界上确定待填补块，所述待填补块为尺寸预先设定，且以所述待修复区域的边界上的像素点为中心点的图像块；

图像结构特征获取单元，用于基于所述待修复图像中所述待填补块的梯度值，计算得到所述待填补块的图像结构特征；

尺寸调整单元，用于基于所述图像结构特征，确定待填补块调整后的尺寸；

图像块查找单元，用于从所述待修复图像中待修复区域以外的区域，查找与调整后的待填补块匹配的图像块；

图像修复单元，用于基于所述图像块，修复调整后的待填补块中的图像；

边界更新单元，用于更新待填补区域的边界，并返回执行所述待填补块确定单元，执行所述在所述待修复区域的边界上确定待填补块的步骤，直至待修复图像修复完成得到修复完成的图像。

可选的，图像结构特征获取单元，包括：

结构感知项计算单元，用于基于所述待修复图像中所述待填补块的梯度值，利用结构感知项计算公式，计算待填补块的结构感知项J

所述K

特征值计算单元，用于基于所述待填补块的结构感知项J

所述J

结构强度计算单元，用于基于所述特征值λ

所述β和γ为常数。

从上述技术方案中可以看出，本申请提供一种图像修复方法及装置，通过获取待修复图像和掩膜图像，其中，掩膜图像对待修复图像中的待修复区域进行标记，从而可以得到待修复区域的边界，在待修复区域的边界上确定以待修复区域的边界上的像素点为中心点，且尺寸为预先设定的图像块作为待填补块，基于确定的待填补块，可以计算得到待填补块的图像特征，根据待填补块的图像特征确定待填补块调整后的尺寸，再从待修复图像中修复区域以外的区域，去查找与调整后的待填补块匹配的图像块，用于修复调整后的待填补块中的图像，更新待填补区域的边界并返回执行所述在所述待修复区域的边界上确定待填补块的步骤，直至图像修复完成。由于本申请可以通过掩膜图像标记得到待修复图像中的待修复区域，从而可以得到待修复区域的边界，并通过在待修复区域的边界上，以边界上的像素点为中心点，确定待填补块，再从待修复图像中待修复区域以外的区域，去查找与待填补块匹配的图像块，利用查找得到的与待填补块匹配图像块，修复待填补块中的图像，更新待填补区域的边界并返回执行所述在所述待修复区域的边界上确定待填补块的步骤，直至待修复图像修复完成得到修复完成的图像，从而实现对图像的修复。

进一步的，本申请通过利用待修复图像中待填补块的梯度值，计算得到待填补块的图像结构特征，并利用该结构图像特征，确定待填补块调整后的尺寸，由于最终需要修复的待填补块的尺寸是结合待填补块的图像结构特征确定得到的，相比于依据预先设定的尺寸确定的待填补块，本申请依据待填补块的图像结构特征确定待填补块的尺寸，可以根据每个待填补块的图像结构特征的不同，调整待填补块的尺寸，从而更好的修复待修复图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种图像修复方法的流程图；

图2为本申请实施例提供的一种在待修复区域的边界上确定待填补块的可选方法流程图；

图3为本申请实施例提供的一种计算待填补块的图像结构特征的方法流程图；

图4为本申请实施例提供的一种图像修复装置结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供一种图像修复方法及装置，可以应用于图像处理领域，通过确定待修复图像中的待修复区域，通过在待修复区域边界上确定以边界上的像素点为中心点的待填补块，并根据待填补块的图像结构特征调整待填补块的尺寸，再从待修复图像中待修复区域以外的区域，查找与待填补块匹配的图像块，并利用图像块中的图像，修复待填补块，完成待填补块中图像的修复，更新待填补区域的边界并返回执行所述在所述待修复区域的边界上确定待填补块的步骤，直至待修复图像修复完成得到修复完成的图像，从而实现待修复图像的修复。

图1为本申请实施例提供的一种图像修复方法的流程图，参考图1，该图像修复方法可以包括以下步骤：

步骤S100、获取待修复图像和掩膜图像。

具体的，待修复图像可以是因为外在的原因导致图像的一些区域出现损坏的图像，也可以是需要对图像中的一些目标物进行去除操作的图像，或者是其他需要进行修复的图像。掩膜图像可以是二值图像，其中，可以用1表示待修复图像中的待填补区域，用0表示待修复图像中待填补区域以外的其他区域。通过掩膜图像对待修复图像中的待修复区域进行标记，可以得到待填补区域的边界。

步骤S101、在待修复区域的边界上确定待填补块。

具体的，通过步骤S100中掩模图像对待修复图像中的待修复区域进行标记，可以得到待填补区域的边界，在得到待填补区域的边界后，在待填补区域的边界上，确定以待修复区域边界上的像素点为中心点，且尺寸为预先设定的图像块作为待填补块。

其中，待填补块的尺寸通过预先设定得到的，设定的依据可以是在获取待修复图像之后，先对待修复图像进行简单的分析，基于得到的分析结果，确定整张待修复图像的复杂程度，再根据确定的复杂程度，进一步的得到待填补块预先设定的尺寸。

步骤S102、基于待修复图像中待填补块的梯度值，计算得到待填补块的图像结构特征。

具体的，通过待修复图像中待填补块的梯度值，计算得到的待填补块的图像结构特征，该结构图像特征可以得到待填补块的一些信息，比如：待填补块的纹理信息、待填补块的图像复杂程度等。

步骤S103、基于图像结构特征，确定待填补块调整后的尺寸。

具体的，通过步骤S102得到待填补块的图像结构特征，确定待填补块调整后的尺寸。相比于使用步骤S101中预先设定的尺寸，该调整后的尺寸是结合了待填补块的图像结构特征而得到的尺寸，能够针对每一个待填补块的图像结构特征去确定调整后的尺寸，从而能够更好的对图像进行修复。

比如，如果通过待填补块的图像结构特征，确定该待填补块区域的图像为纹理单一、信息变化平缓的图像，此时的待填补块可以选用较大的尺寸，从而可以一定程度上减少修复待修复图像地时间；如果通过待填补块的图像结构特征，确定该待填补块区域的图像为纹理复杂、信息变化较大的图像，此时的待填补块可以选用较小的尺寸，从而可以一定程度上避免修复后的区域与周围出现不协调地情况出现。

步骤S104、从待修复图像中待修复区域以外的区域，查找与调整后的待填补块匹配的图像块。

具体的，通过步骤S103得到调整后的待填补块，再从待修复图像中待修复区域以外的区域，查找与调整后的待填补块匹配的图像块。其中，查找与调整后的待填补块匹配的图像块，可以是通过将待修复图像中待修复区域以外的区域的图像块，均与调整后的待填补块进行比对，找到相似度最高的图像块作为与调整后的待填补块匹配的图像块。

步骤S105、基于图像块，修复调整后的待填补块中的图像。

具体的，在得到与调整后的待填补块匹配的图像块后，完成调整后的待填补块中的图像的修复。其中，待填补块中处于待填补区域的部分，可以利用与调整后的待填补块匹配的图像块中的图像进行修复。

步骤S106、更新待填补区域的边界，判断图像修复是否完成。

具体的，通过步骤S105对待填补块中的图像进行修复后，由于待填补块中处于待修复区域的图像已经利用匹配得到的图像块修复完成，所以此时的待修复区域的面积已经发生改变，因此需要更新待填补区域的边界，得到新的待修复区域的边界，并判断对待修复图像的修复是否完成，未完成则返回执行步骤S101、完成则执行步骤S107。

其中，判断待修复图像是否修复完成，可以通过对待修复图像中待修复区域的面积进行判断，当待修复区域的面积为0时，则表示待修复图像修复完成；还可以通过对处于待修复图像中的像素点的个数来进行判断，当处于待修复图像中的像素点的个数为0时，则表示待修复图像修复完成。

步骤S107、得到修复完成的图像。

从上述技术方案中可以看出，申请可以通过掩膜图像标记得到待修复图像中的待修复区域，从而可以得到待修复区域的边界，并通过在待修复区域的边界上，以边界上的像素点为中心点，确定待填补块，再从待修复图像中待修复区域以外的区域，去查找与待填补块匹配的图像块，利用查找得到的与待填补块匹配图像块，修复待填补块中的图像，更新待填补区域的边界并返回执行在待修复区域的边界上确定待填补块的步骤，直至待修复图像修复完成得到修复完成的图像，从而实现对图像的修复。

进一步的，本申请通过利用待修复图像中待填补块的梯度值，计算得到待填补块的图像结构特征，并利用该结构图像特征，确定待填补块调整后的尺寸，由于最终需要修复的待填补块的尺寸是结合待填补块的图像结构特征确定得到的，相比于依据预先设定的尺寸确定的待填补块，本申请可以根据每个待填补块的图像结构特征的不同，调整待填补块的尺寸，从而更好的修复待修复图像。

在上述实施例中，在待修复区域的边界上确定待填补块，可以有多种确定的方法，下面针对在待修复区域的边界上确定待填补块的方法进行详细的介绍。

本申请实施例提供了一种在待修复区域的边界上确定待填补块的方法，可以是依据计算得到的待填补块的优先权来进行确定。参考图2，图2为本申请实施例提供的一种在待修复区域的边界上确定待填补块的可选方法流程图，该方法可以包括以下步骤：

步骤S200、以边界上的每一个像素点为中心点，得到多个待填补块。

具体的，以边界上的每一个像素点作为中心点，得到多个待填补块，该待填补块的尺寸为预先设定的尺寸。

步骤S201、计算每一个待填补块的置信度和边界信息数据。

具体的，待填补块的置信度C(p)可以是待填补块中处于待修复区域以外的像素点占整个待填补块的比例。其中，待填补块中包含的处于待修复区域以外的像素点越多，则可以说明该待填补块已知的信息所占的比例越大。

待填补块的边界信息数据D(p)，可以用于反映图像的边界特征，其中，待填补块的边界信息数据D(p)越大，则可以说明待填补块边界表面线性结构越复杂。

通过置信度计算公式计算得到待填补块的置信度C(p)，置信度计算公式可以是：

其中，q表示待修复图像中的像素点，ψ

其中，|ψ

C

通过边界信息数据计算公式计算得到待填补块的边界信息数据D(p)，边界信息数据计算公式可以是：

其中，

步骤S202、基于待填补块的置信度和边界信息数据，计算得到待填补块的优先权。

具体的，基于待填补块的置信度C(p)和边界信息数据D(p)，通过优先权计算公式，可以计算得到待填补块的优先权P(ψ

P(ψ

步骤S203、获取优先权最高的待填补块作为最终的待填补块。

具体的，可以根据每一个待填补块计算得到的优先权，从中得到优先权最高的待填补块作为最终的待填补块。

除上述介绍的在待修复区域的边界上确定待填补块的方法以外，本申请实施例还提供了其他的方法，以实现在待修复区域的边界上确定待填补块，例如采用随机选取的方法。

具体的，可以先随机的在待修复区域的边界上选择一个像素点作为中心点，以预先设定的尺寸，确定待填补块。

当然，在待修复区域的边界上确定待填补块的方法不局限于以上两种，其他在待修复区域的边界上确定待填补块的方法，均可用于本申请中对待填补块进行确定。

在本申请的一些实施例中，对待修复图像进行修复的过程，可以基于待修复图像中待填补块的梯度值，计算得到待填补块的图像结构特征。图3为本申请实施例提供的一种计算待填补块的图像结构特征的方法流程图，结合图3，对计算待填补块的图像结构特征的方法进行详细的介绍，该方法可以包括以下步骤：

步骤S300、基于待修复图像中待填补块的梯度值，计算得到待填补块的结构感知项。

具体的，利用结构感知项计算公式，可以计算待填补块的结构感知项J

其中，K

步骤S301、基于得到的待填补块的结构感知项，计算得到结构感知项的特征值。

具体的，利用结构感知项的特征值的计算公式，可以计算得到特征值λ

其中，J

步骤S302、基于得到的结构感知项的特征值，计算得到表征所述待填补块的图像结构特征的结构强度。

具体的，利用结构强度计算公式，可以计算得到表征待填补块的图像结构特征的结构强度S(p)：

其中，β和γ为常数。本申请介绍了一种以a、b、c、d和e的为具体数值，实现待填补块的尺寸预测值PS计算的具体实施例，其中，a、b、c、d和e可以是在进行表征待填补块的图像结构特征的结构强度S(p)时，β和γ可以是β＝0.3和γ＝300。

本申请实施例中，通过利用待修复图像中待填补块的梯度值，计算得到待填补块的结构感知项J

进一步的，通过上述实施例中提供的计算待填补块的图像结构特征的方法，可以计算得到表征待填补块的图像结构特征的结构强度，基于得到的表征待填补块的图像结构特征的结构强度S(p)，计算得到待填补块的尺寸预测值PS，基于得到的待填补块的尺寸预测值PS，确定待填补块调整后的尺寸。

具体的，利用尺寸计算公式，可以计算待填补块的尺寸预测值PS：

PS＝aS(p)

其中，a、b、c、d和e为常数。

另外，本申请介绍了一种以a、b、c、d和e的为具体数值，实现待填补块的尺寸预测值PS计算的具体实施例，其中，a、b、c、d和e可以是a＝-127.3716、b＝349.1306、c＝-349.9226、d＝135.7657和e＝-0.6111。

上述实施例中，基于表征待填补块的图像结构特征的结构强度S(p)，可以得到尺寸预测值PS，进而确定待填补块调整后的尺寸。由于最终需要修复的待填补块的尺寸是结合待填补块的图像结构特征确定得到的，相比于依据预先设定的尺寸确定的待填补块，本申请依据待填补块的图像结构特征确定待填补块的尺寸，可以根据每个待填补块的图像结构特征的不同，调整待填补块的尺寸。

更进一步的，通过上述实施例，计算得到待填补块的尺寸预测值PS，可以基于得到的待填补块的尺寸预测值PS，确定待填补块调整后的尺寸。具体的，当尺寸预测值PS小于f时，可以将待填补块调整后的长度和宽度确定为f；当尺寸预测值PS大于g时，可以将待填补块调整后的长度和宽度确定为h；h大于g，且g大于f；当尺寸预测值PS大于等于f且小于等于g时，可以将待填补块调整后的长度和宽度确定为所述尺寸预测值PS；f、g和h为常数。

示例如，当尺寸预测值PS小于7时，待填补块调整后的长度和宽度为7；当尺寸预测值PS大于21时，待填补块调整后的长度和宽度为17；当尺寸预测值PS大于等于7且小于等于21时，待填补块调整后的长度和宽度为所述尺寸预测值PS。

在本申请的一些实施例中，在得到调整后的待填补块之后，可以从待修复图像中待修复区域以外的区域，查找与调整后的待填补块匹配的图像块，其中，查找与调整后的待填补块匹配的图像块，可以包括以下步骤：

S1、从待修复图像中待修复区域以外的区域，获取与调整后的待填补块尺寸相同的图像块。

具体的，在待修复图像中待修复区域以外的区域，得到与调整后的待填补块尺寸相同的图像块，这里面的图像块可以是所有符合上述要求的图像块，也可以通过新增的预先设定的条件，从符合上述要求的图像块中筛选得到的图像块。

S2、基于调整后的待填补块和图像块之间对应像素点的颜色差距，选取与调整后的待填补块颜色差距最小的图像块，作为与调整后的待填补块匹配的图像块。

具体的，可以先得到待填补块与各个获取的图像块对应像素点的颜色差距，从得到的颜色差距中去选取得到颜色差距最小的图像块，作为与调整后的待填补块匹配的图像块。

进一步的，上述实施例中基于调整后的待填补块和图像块之间对应像素点的颜色差距，选取与调整后的待填补块颜色差距最小的图像块，作为与调整后的待填补块匹配的图像块，可以通过计算调整后的待填补块中处于待修复区域以外的像素点与所述图像块中对应像素点之间的颜色差距，选取与调整后的待填补块颜色差距最小的图像块，作为与调整后的待填补块匹配的图像块。

具体的，计算调整后的待填补块中处于待修复区域以外的像素点与所述图像块中对应像素点之间的颜色差距，可以采用欧式距离计算公式进行计算颜色差距D

其中，

通过图像块匹配公式，选取与调整后的待填补块颜色差距最小的图像块，作为与调整后的待填补块匹配的图像块ψ

在本申请的一些实施例中，在选取与调整后的待填补块颜色差距最小的图像块，作为与调整后的待填补块匹配的图像块之后，可以利用上述与调整后的待填补块匹配的图像块，去实现对调整后的待填补块中的图像进行修复。其中，对调整后的待填补块中的图像进行修复的方法可以有很多种，下面对修复调整后的待填补块中的图像的方法进行详细的介绍。

本申请实施例提供了一种修复调整后的待填补块中的图像的方法，可以利用得到的与调整后的待填补块匹配的图像块，与调整后的待填补块进行比对，确定与调整后的待填补块中处于待修复区域的图像区域对应的图像，采用例如复制提取的方式获取这部分图像，并替换调整后的待填补块中处于待修复区域的图像，从而完成对调整后的待填补块中的图像的修复。

除上述介绍的修复调整后的待填补块中的图像的方法，本申请实施例还提供了其他的方法，以修复调整后的待填补块中的图像。

具体的，可以利用得到的与调整后的待填补块匹配的图像块，采用例如复制提取的方式获取该图像块的图像，并替换调整后的待填补块中的图像，从而完成对调整后的待填补块中的图像的修复。

当然，修复调整后的待填补块中的图像的方法不局限于以上两种，其他利用得到的与调整后的待填补块匹配的图像块中的图像，对调整后的待填补块中的图像进行修复的方法，均可用于本申请中对调整后的待填补块中的图像的进行修复。

下面对本申请实施例提供的图像修复装置进行描述，下文描述的图像修复装置与上文描述的图像修复方法可相互对应参照。

参见图4，图4为本申请实施例提供的一种图像修复装置结构示意图，该装置可以包括：

图像获取单元100，用于获取待修复图像和掩膜图像，所述掩膜图像用于标记待修复图像中的待修复区域。

待填补块确定单元101，用于在所述待修复区域的边界上确定待填补块，所述待填补块为尺寸预先设定，且以所述待修复区域的边界上的像素点为中心点的图像块。

图像结构特征获取单元102，用于基于所述待修复图像中所述待填补块的梯度值，计算得到所述待填补块的图像结构特征。

尺寸调整单元103，用于基于所述图像结构特征，确定待填补块调整后的尺寸。

图像块查找单元104，用于从所述待修复图像中待修复区域以外的区域，查找与调整后的待填补块匹配的图像块。

图像修复单元105，用于基于所述图像块，修复调整后的待填补块中的图像。

边界更新单元106，用于更新待填补区域的边界，并返回所述待填补块确定单元101，执行所述在所述待修复区域的边界上确定待填补块的步骤，直至图像修复完成。

从上述技术方案中可以看出，本申请可以通过掩膜图像标记得到待修复图像中的待修复区域，从而可以得到待修复区域的边界，并通过在待修复区域的边界上，以边界上的像素点为中心点，确定待填补块，再从待修复图像中待修复区域以外的区域，去查找与待填补块匹配的图像块，利用查找得到的与待填补块匹配图像块，修复待填补块中的图像，从而实现对图像的修复。

进一步的，本申请图像结构特征获取单元102通过利用待修复图像中待填补块的梯度值，计算得到待填补块的图像结构特征，尺寸调整单元103利用该结构图像特征，确定待填补块调整后的尺寸，由于最终需要修复的待填补块的尺寸是结合待填补块的图像结构特征确定得到的，相比于依据预先设定的尺寸确定的待填补块，本申请可以根据每个待填补块的图像结构特征的不同，调整待填补块的尺寸，从而更好的修复待修复图像。

可选的，待填补块确定单元，可以包括：

待填补块获取单元，用于以边界上的每一个像素点为中心点，得到多个待填补块，所述待填补块的尺寸为预先设定。

置信度及边界信息数据计算单元，用于针对每一个待填补块，通过置信度计算公式计算得到待填补块的置信度C(p)，以及通过边界信息数据计算公式计算得到待填补块的边界信息数据D(p)，所述置信度C(p)为待填补块中处于待修复区域以外的像素点占整个待填补块的比例，所述边界信息数据D(p)用于反映图像的边界特征，所述置信度计算公式可以是：

所述q表示待修复图像中的像素点，ψ

C

所述边界信息数据计算公式可以是：

所述

优先权计算单元，用于基于待填补块的置信度C(p)和边界信息数据D(p)，通过优先权计算公式，可以计算得到待填补块的优先权P(ψ

P(ψ

待填补块选取单元，用于获取优先权最高的待填补块作为最终的待填补块。

可选的，图像结构特征获取单元，可以包括：

结构感知项计算单元，用于基于所述待修复图像中所述待填补块的梯度值，利用结构感知项计算公式，可以计算待填补块的结构感知项J

所述K

特征值计算单元，用于基于所述待填补块的结构感知项J

所述J

结构强度计算单元，用于基于所述特征值λ

所述β和γ为常数。

可选的，图像块查找单元，可以包括：

图像块获取单元，用于从待修复图像中待修复区域以外的区域，获取与调整后的待填补块尺寸相同的图像块。

图像块匹配单元，用于基于调整后的待填补块和所述图像块之间对应像素点的颜色差距，选取与调整后的待填补块颜色差距最小的图像块，作为与调整后的待填补块匹配的图像块。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以相互组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。