图像内容修复方法、电子设备及存储介质

技术领域

本发明涉及信息处理技术领域，尤其涉及一种图像内容修复方法、电子设备及存储介质。

背景技术

用户拍摄的图像有时候需要进行修复处理，以呈现较好的画面状态。尤其是用户的自拍照，更需要进行图像修复。为此，用户拍照后的图像，在数字图像处理领域中，需要图像修复技术在图像上进行瑕疵修复。

目前采用的图像修复技术，主要是直接用周围的图像，填充待修复区域，容易造成修复区域局部模糊，或是采用纹理匹配，存在匹配失败，可能依旧有瑕疵的情况。故修复效果无法做到更好。

发明内容

针对现有技术存在的问题，本发明实施例提供一种图像内容修复方法、电子设备及存储介质。

第一方面，本发明实施例提供的一种图像内容修复方法，包括：

获取映射在待处理图像上的待修复区域蒙版图，确定所述待修复区域蒙版图中待修复区域的填充图像；

根据所述填充图像对所述待处理图像上的待修复区域进行修复。

进一步地，所述获取映射在待处理图像上的待修复区域蒙版图，包括：

基于标准图像中标记的待修复区域，导出标准蒙版图；

获取标准图像和待处理图像的关键点数据，根据所述关键点数据确定仿射变换矩阵；

使所述标准蒙版图采用所述仿射变换矩阵进行映射，获得待修复区域蒙版图。

进一步地，所述获取标准图像和待处理图像的关键点数据，根据所述关键点数据确定映射变换矩阵，包括：

根据标准图像和待处理图像的关键点数据进行三角剖分处理，获得对应于标准图像的第一网格，和对应于待处理图像的第二网格；

建立所述第一网格中的三角面与在所述第二网格中对应的三角面之间的仿射变换矩阵。

进一步地，所述确定所述待修复区域蒙版图中待修复区域的填充图像，包括：

使所述待修复区域蒙版图在所述待处理图像上进行预设方向上的移动，基于平移后待修复区域蒙版图中待修复区域在待处理图像上的位置，选取所述位置对应的图像作为待修复区域的填充图像。

进一步地，所述根据所述填充图像对所述待处理图像上的待修复区域进行修复，包括：

确定所述填充图像中像素点对应于待处理图像上的匹配像素点，根据所述匹配像素点的像素值，更新所述填充图像中像素点的像素值；

根据像素值更新后的填充图像对待处理图像上的待修复区域进行修复。

进一步地，所述确定所述填充图像中像素点对应于待处理图像上的匹配像素点，包括：

遍历所述填充图像中的像素点，选取目标像素点，确定目标像素点的位置；

以目标像素点的位置作为中心，构建预设大小尺寸的纹理块；

基于位于所述纹理块内的各像素点的位置，以及在所述待处理图像上选取的预设数目的像素点的位置，计算获得目标像素点与预设数目的像素点中各像素点之间的相似度；

确定最小相似度对应的像素点作为所述匹配像素点。

进一步地，在获取映射在待处理图像上的待修复区域蒙版图之后，还包括：

确定所述待修复区域蒙版图中待修复区域的最小外接矩形，基于最小外接矩形区域在待处理图像上进行待修复区域的边缘检测，确定更新用待修复区域，根据更新用待修复区域获取映射在待处理图像上的更新用蒙版图，使更新用蒙版图作为新的待修复区域蒙版图。

进一步地，在根据像素值更新后的填充图像对待处理图像上的待修复区域修复之后，还包括：对进行修复处理后的待处理图像进行滤波处理。

第二方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述图像内容修复方法的步骤。

第三方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述图像内容修复方法的步骤。

本发明实施例提供的图像内容修复方法、电子设备及存储介质，获取映射在待处理图像上的待修复区域蒙版图，并确定待修复区域蒙版图中待修复区域的填充图像，使填充图像对待处理图像上的待修复区域进行修复，实现填充图像上像素值与待处理脸部图像上待修复区域外像素值的合理融合，使图像上瑕疵修复效果更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明图像内容修复方法实施例流程图；

图2为本发明图像内容修复方法的具体流程示意图；

图3为本发明图像内容修复装置实施例结构图；

图4为本发明电子设备实施例结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明一实施例提供的一种图像内容修复方法的流程示意图，参见图1，该方法包括：

S11、获取映射在待处理图像上的待修复区域蒙版图，确定待修复区域蒙版图中待修复区域的填充图像；

S12、根据填充图像对待处理图像上的待修复区域进行修复。

针对步骤S11和步骤S12，需要说明的是，在本发明实施例中，用户拍摄的图像有时候需要进行修复处理，以呈现较好的画面状态。尤其是用户的自拍照，更需要进行图像修复。自拍照所展现的皮肤状态，皮肤容易出现瑕疵，例如瑕疵可包括皱纹(抬头纹、法令纹等)、色斑、刺痘(粉刺和痘)，还可包括黑痣，以及皮肤上粘上的污渍。为此，更需要将这些瑕疵进行修复。

在本发明实施例中，不同的瑕疵配置不同的瑕疵类型。由上述举出的几种瑕疵分别对应的类型为法令纹类型、抬头纹类型、色斑类型、刺痘类型等。

不同的瑕疵类型，在图像上具有相对应的轮廓区域，该轮廓区域为需进行修复处理的待修复区域。

例如法令纹类型的轮廓区域，可为“八字型”区域。

抬头纹类型的轮廓区域，可为额头的预设区域。

刺痘类型的轮廓区域，可为额头的预设区域、左脸的预设区域或右脸的预设区域。

在本发明实施例中，该方法需在待处理图像上映射得到待修复区域蒙版图。该待修复区域蒙版图中包含有待修复区域。

然后，在待修复区域蒙版图中的待修复区域内填充图像。该填充图像用于进一步完善作为对待处理图像上瑕疵进行修复的依据。该填充图像可采集待处理图像上没有瑕疵的区域中的图像。该图像属于弱纹理结构，色彩均匀，无明显亮度变化。

然后，基于填充图像上的像素点对待处理图像上的待修复区域内的像素点进行修复，得到颜色较好的图像。

本发明实施例提供的图像内容修复方法，获取映射在待处理图像上的待修复区域蒙版图，并确定待修复区域蒙版图中待修复区域的填充图像，使填充图像对待处理图像上的待修复区域进行修复，实现填充图像上像素值与待处理脸部图像上待修复区域外像素值的合理融合，使图像上瑕疵修复效果更好。

在上述实施例方法的进一步实施例中，主要是根据填充图像对待处理图像上的待修复区域进行修复的处理过程进行解释说明，具体如下：

确定填充图像中像素点对应于待处理图像上的匹配像素点，根据匹配像素点的像素值，更新所述图像中像素点的像素值；

根据像素值更新后的填充图像对待处理图像上的待修复区域进行修复。

对此，需要说明的是，对填充图像的完善主要体现在对图像中各像素点的像素值的更新，其目的是使填充图像与待处理图像上待修复区域周围的像素点最大化的合理融合。为此，需要确定填充图像中像素点的位置在待处理图像上的匹配位置，然后使匹配位置对应的像素点的像素值，更新填充图像中像素点的像素值，从而完成对填充图像的像素完善。

再然后，根据像素值更新后的填充图像对待处理图像上的待修复区域的图像进行修复处理，得到修复后的图像。修复后的图像相较于待处理图的画面感更好。

本实施例使蒙版图上待修复区域的填充图像上的像素点在待处理图像上匹配到合理的像素点，将该匹配的像素点的像素值更新填充图像上的像素值，再使更新像素值后的填充图像对待修复区域进行修复，实现填充图像上像素值与待处理图像上待修复区域外像素值的合理融合，使图像修复效果更好。

在上述实施例方法的进一步实施例中，主要是对获取映射在待处理图像上的待修复区域蒙版图的处理过程进行解释说明，具体如下：

基于标准图像中标记的瑕疵区域，导出标准蒙版图。

获取标准图像和待处理图像的关键点数据，根据关键点数据确定仿射变换矩阵。

使标准蒙版图采用仿射变换矩阵进行映射，获得待修复区域蒙版图。

需要说明的是，在本发明实施例中，对于自拍照来说，所选取的标准图像可以为标准脸部图像，例如正脸，无表情的模特脸部图像。

根据瑕疵类型从标准图像上自动标注出待修复区域(即具有瑕疵的区域)，然后基于该待修复区域以蒙版形式导出，得到标准蒙版图。

获取待处理图像，分别对标准图像和待处理图像进行关键点检测，获得对应的关键点数据。该关键点检测可采用68点位模型或106点位模型。

关键点数据获取后，需要建立标准图像与待处理图像之间会存在对应关系，为此可构建两图像之间的仿射变换关系，即仿射变换矩阵。

仿射变换矩阵获取后，基于仿射变换矩阵可将标准蒙版图进行数值计算，映射到待处理图像上，视为待修复区域蒙版图。

本实施例中，通过设置标准图像，建立标准图像和待处理图像之间的仿射变换矩阵，并将标准蒙版图映射成对应于待处理图像的待修复区域蒙版图，做到以标准图像为参考，获取更为接近待处理图像的待修复区域蒙版图，便于后续进行图像修复处理。

在上述实施例方法的进一步实施例中，主要是对获取标准图像和待处理图像的关键点数据，根据关键点数据确定映射变换矩阵的处理过程进行解释说明，具体如下：

根据标准图像和待处理图像的关键点数据进行三角剖分处理，获得对应于标准图像的第一网格，和对应于待处理图像的第二网格；

建立所述第一网格中的三角面与在所述第二网格中对应的三角面之间的仿射变换矩阵。

对此，需要说明的是，在本发明实施例中，由于关键点数据是图像上具有特殊关键特征点的位置点，为此，基于这些关键点之间的合理划分，可以得到网格图，视为网格，即：对应于标准图像的第一网格，和对应于待处理脸部图像的第二网格。

由于该网格采用是三角剖面，为此，在网格中会存在多个三角面。关键点数据采用68点位模型或106点位模型，为此，各关键点会存在对应的编号。此时，三角面的顶点会以编号唯一确定。所以可确定第一网格中某个三角面与第二网格中某个三角面是对应的，在此，需要建立相互对应的两个三角面之间的仿射变换矩阵。实际上该仿射变换矩阵是两个三角面顶点之间的仿射变换矩阵。该仿射变换矩阵确定后，位于三角面顶点区域内的各图像像素点均基于该仿射矩阵进行变换。

另外，当采用68点位模型获取关键点数据后，为了提升仿射的准确度，可对关键点数据进行点位插值，获得较多的关键点数据。

本实施例中，通过对两图像进行关键点检测，确定关键点数据，从而得到网格，再基于三角面的唯一对应关系，建立各顶点之间的仿射变换矩阵，从而实现蒙版图之间的精确仿射。

图2为本实施例图像内容修复方法的具体流程示意图，基于图2中S21-S24的过程，下面以脸部上法令纹为例进行获取蒙版图的具体实例说明，具体如下：

1)选择一张标准人脸图(正脸、无表情的模特脸部图)作为标准脸部图像，记为S

2)输入待处理脸部图像，记为S

3)基于上述关键点数据L

4)遍历上述网格中的每个三角形面，如标准脸部图像的三角面Δ

在上述实施例方法的进一步实施例中，主要是在获取映射在待处理图像上的待修复区域蒙版图之后，还包括以下后续步骤：

确定待修复区域蒙版图中待修复区域的最小外接矩形，基于最小外接矩形区域在待处理图像上进行待修复区域的边缘检测，确定更新用待修复区域，根据更新用待修复区域获取映射在待处理图像上的更新用蒙版图，使更新用蒙版图作为新的待修复区域蒙版图。

对此，需要说明的是，继续以法令纹为例进行说明，计算上述待修复区域蒙版图M

在上述实施例方法的进一步实施例中，主要是对确定待修复区域蒙版图中待修复区域的填充图像的处理过程进行解释说明，具体如下：

使待修复区域蒙版图在待处理图像上进行预设方向(水平、垂直或斜线)上的移动，基于平移后待修复区域蒙版图中待修复区域在待处理图像上的位置，选取该位置对应的图像作为待修复区域的填充图像。该填充图像可采集待处理图像上没有瑕疵的区域中的图像。该图像属于弱纹理结构，色彩均匀，无明显亮度变化。

本实施例中，通过蒙版图平移可以获得与待修复区域相近的区域的图像，便于后续对瑕疵修复的精确匹配。

在上述实施例方法的进一步实施例中，主要是对确定填充图像中像素点对应于待处理图像上的匹配像素点的处理过程进行解释说明，具体如下：

遍历填充图像中的像素点，选取目标像素点，确定目标像素点的位置；

以目标像素点的位置作为中心，构建预设大小尺寸的纹理块；

基于所属于纹理块的各像素点的位置，以及在待处理图像上选取的预设数目的像素点的位置，计算获得目标像素点与预设数目的像素点中各像素点之间的相似度；

确定最小相似度对应的像素点作为匹配像素点。

对此，需要说明的是，在本发明实施例中，需要更新填充图像中每个像素点的像素值，为此，需要对填充图像中的像素点进行遍历。

选取任一像素点为目标像素点，确定该目标像素点的位置坐标。以该目标像素点的位置坐标作为中心点坐标，构建预设大小尺寸(如7*7)的纹理块。

在待处理图像上的待修复区域及区域附近上选取一定数目的像素点，并确定这些像素点的位置坐标。基于所属于纹理块的各像素点的位置坐标，以及在待处理图像上的一定数目的像素点的位置坐标，计算获得目标像素点与预设数目的像素点中各像素点之间的相似度。

然后选取确定最小相似度对应的像素点作为匹配像素点。

基于图2中S25-S27的过程，下面继续以脸部上法令纹为例进行上述匹配位置的具体实例说明，如下：

编历上述蒙版图M

此时，计算以位置(x,y)为中心的纹理块上各位置与位置(u,v)之间的相似度s，记为score，有score(x,y)＝s。本实施例中，相似度的计算过程采用平方和距离SSD实现。

再选取待处理脸部图像S

按预设的一定数目N，选择N个临近位置，然后分别计算以位置(x,y)为中心的纹理块上各位置与选择的N个临近位置之间的相似度，计算完毕后，选择score(x,y)＝最小相似度。

然后确定最小相似度对应的像素点的位置作为最后得到的匹配位置。

本实施例通过相似度计算进行临近匹配搜索，实现对图像上瑕疵修复所需像素信息的获取，为后续修复瑕疵处理提升精确效果。

在上述实施例方法的进一步实施例中，主要是在根据像素值更新后的填充图像对待处理图像进行修复处理之后，还包括以下后续步骤：

对进行瑕疵修复处理后的待处理图像进行滤波处理。

该滤波处理可采用高斯滤波实现，主要是对根据像素值更新后的填充图像对待处理图像进行瑕疵修复得到的图像采用高斯滤波方式进行处理，使瑕疵局部修复更平滑。

图3示出了本发明一实施例提供的一种图像内容修复装置的结构示意图，参见图3，该装置包括获取模块31和处理模块32，其中：

获取模块31，用于获取映射在待处理图像上的待修复区域蒙版图，确定所述待修复区域蒙版图中待修复区域的填充图像；

处理模块32，用于根据所述填充图像对所述待处理图像上的待修复区域进行修复。

在上述实施例装置的进一步实施例中，所述处理模块在根据所述填充图像对所述待处理图像上的待修复区域进行修复的过程中，具体用于：

确定所述填充图像中像素点对应于待处理图像上的匹配像素点，根据所述匹配像素点的像素值，更新所述填充图像中像素点的像素值；

根据像素值更新后的填充图像对待处理图像上的待修复区域进行修复。

在上述实施例装置的进一步实施例中，所述获取模块在获取映射在待处理图像上的待修复区域蒙版图的过程中，具体用于：

基于标准图像中标记的待修复区域，导出标准蒙版图；

获取标准图像和待处理图像的关键点数据，根据所述关键点数据确定仿射变换矩阵；

使所述标准蒙版图采用所述仿射变换矩阵进行映射，获得待修复区域蒙版图。

在上述实施例装置的进一步实施例中，所述获取模块在获取标准图像和待处理图像的关键点数据，根据所述关键点数据确定映射变换矩阵的过程中，具体用于：

根据标准图像和待处理图像的关键点数据进行三角剖分处理，获得对应于标准图像的第一网格，和对应于待处理图像的第二网格；

建立所述第一网格中的三角面与在所述第二网格中对应的三角面之间的仿射变换矩阵。

在上述实施例装置的进一步实施例中，所述获取模块在确定所述待修复区域蒙版图中待修复区域的填充图像的处理过程中，具体用于：

使所述待修复区域蒙版图在所述待处理图像上进行预设方向上的移动，基于平移后待修复区域蒙版图中待修复区域，在待处理图像上的位置，选取所述位置对应的图像作为待修复区域的填充图像。

在上述实施例装置的进一步实施例中，所述处理模块在确定所述填充图像中像素点对应于待处理图像上的匹配像素点的处理过程中，具体用于：

遍历所述填充图像中的像素点，选取目标像素点，确定目标像素点的位置；

以目标像素点的位置作为中心，构建预设大小尺寸的纹理块；

基于位于所述纹理块内的各像素点的位置，以及在所述待处理图像上选取的预设数目的像素点的位置，计算获得目标像素点与预设数目的像素点中各像素点之间的相似度；

确定最小相似度对应的像素点作为所述匹配像素点。

在上述实施例装置的进一步实施例中，该装置还包括优化模块，用于在获取映射在待处理图像上的待修复区域蒙版图之后，确定所述待修复区域蒙版图中待修复区域的最小外接矩形，基于最小外接矩形区域在待处理图像上进行待修复区域的边缘检测，确定更新用待修复区域，根据更新用待修复区域获取映射在待处理图像上的更新用蒙版图，使更新用蒙版图作为新的待修复区域蒙版图。

在上述实施例装置的进一步实施例中，该装置还包括调整模块，用于在根据像素值更新后的填充图像对待处理图像进行修复处理之后，对进行修复处理后的待处理图像进行滤波处理。

由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。

需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

本发明实施例提供的一种图像内容修复装置，获取映射在待处理图像上的待修复区域蒙版图，并确定待修复区域蒙版图中待修复区域的填充图像，使填充图像对待处理图像上的待修复区域进行修复，实现填充图像上像素值与待处理脸部图像上待修复区域外像素值的合理融合，使图像上瑕疵修复效果更好。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)41、通信接口(Communications Interface)42、存储器(memory)43和通信总线44，其中，处理器41，通信接口42，存储器43通过通信总线44完成相互间的通信。处理器41可以调用存储器43中的逻辑指令，以执行如下方法：获取映射在待处理图像上的待修复区域蒙版图，确定所述待修复区域蒙版图中待修复区域的填充图像；根据所述填充图像对所述待处理图像上的待修复区域进行修复。

此外，上述的存储器43中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：获取映射在待处理图像上的待修复区域蒙版图，确定所述待修复区域蒙版图中待修复区域的填充图像；根据所述填充图像对所述待处理图像上的待修复区域进行修复。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。