非均匀纹理迁移方法及装置

技术领域

本发明涉及计算机图形学和计算机图像处理的技术领域，尤其涉及一种非均匀纹理迁移方法，以及非均匀纹理迁移装置。

背景技术

近年来，纹理迁移已广泛应用于各类图像编辑场景中，包括图像重建、图像修复、图像压缩、视频合成以及图像和视频的风格化等应用场景。虽然纹理图像可以通过很多方法获取，如手工绘图或摄影。但涉及到生产环节则需要使用相同的大量纹理。目前，基于样图的纹理迁移仍然是最流行的方法之一，因为这类方法能处理多种类型的纹理，并且简单易用，用户只需要提供一个样本即可生成高质量的纹理结果。合成的结果可以是任意大小且不会包含过多的重复或不自然的痕迹，用户可以简单的复制出需要的大面积纹理。

虽然基于样图的纹理迁移方法上出现了很多的进展，但这些方法本质上都是假设输入样本纹理是是均匀、重复的，如人造建筑，地板，印花布料的纹理等，所以目前的算法可以较好的处理一些重复且规则纹理。然而，现实生活中的纹理丰富多彩，变化诸多。一方面，存在着很多变化复杂的自然纹理，内部可以是多种不同材质组成，或者是大量人工制作的纹理，包括带有笔触细节，如水彩、油画的纹理，这些纹理包含一些空域变化，例如纹理在颜色、亮度、模式、大小和方向上在纹理空域范围内都有变化；另一方面，存在着按照对称、旋转、平移或者方向分布的纹理，这类纹理存在明显的空间分布规律，但也不满足均匀、重复的特性，所以将上述二者统称为非均匀纹理。

对于上述两类纹理，目前的纹理迁移技术效果较差，常常会出现细节不自然、断裂及重复过多等缺点。找到一种根据纹理类型自适应的纹理迁移方法显得非常重要，将会大大拓展了纹理迁移技术的拓展性，更好的为实际生产服务。同时，仅靠单一的样本不能达到高质量的合成效果。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种非均匀纹理迁移方法，其针对上述两类非均匀纹理，一方面提高纹理迁移的合成质量，尤其是纹理的颜色丰富程度以及分布特性与样本纹理保持一致；另一方面，一定的交互性能够处理更为复杂的纹理图像，如包含高层语义信息的纹理图像，这样使得纹理迁移适应性更加广泛，通过监督式的方式，使用户更加直观控制合成过程，实现自由地控制纹理迁移的结果。

本发明的技术方案是：这种非均匀纹理迁移方法，通过输入样本及一组语义标注图，经过以下步骤生成目标纹理图：

(1)纹理结构提取:通过用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；

(2)多尺度迭代纹理合成:将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。

通过用户输入纹理样本的语义图和目标语义，用户可以通过现有的图像编辑工具绘制语义图，作为合成结果的控制手段，连同纹理样本一起作为纹理迁移框架的输入，因此能够提高纹理迁移的合成质量，尤其是纹理的颜色丰富程度以及分布特性与样本纹理保持一致。在合成过程中，基于多尺度优化的纹理合成算法，将语义图作为附加通道加入到纹理图像中，计算样本语义图与目标语义图差异作为额外的惩罚项加入到纹理优化算法中去，一定的交互性能够处理更为复杂的纹理图像，如包含高层语义信息的纹理图像，这样使得纹理迁移适应性更加广泛，通过监督式的方式，使用户更加直观控制合成过程，实现自由地控制纹理迁移的结果。另外，考虑纹理合成算法中的纹理颜色直方图特征以及图像块的连续程度，在纹理合成算法中的颜色投票步骤中将二者作为权值约束合成结果，以实现高质量的纹理迁移。

还提供了非均匀纹理迁移装置，该装置包括：

纹理结构提取模块，其用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；

多尺度迭代纹理合成模块，其将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。

附图说明

图1为本发明的非均匀纹理迁移方法的基本步骤图；

图2为本发明的非均匀纹理迁移方法的具体步骤图；

图3为结构提取步骤的示意图；

图4为本发明对于轮廓渐变纹理的合成结果；

图5为图像块连续程度的计算方式；

图6为不同语义区域颜色直方图的计算方式；

图7为本发明的不同非均匀纹理合成结果；

图8为本发明的不同文本纹理合成结果。

具体实施方式

如图1所示，这种非均匀纹理迁移方法，通过输入样本及一组语义标注图，经过以下步骤生成目标纹理图：

(1)纹理结构提取:通过用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；

(2)多尺度迭代纹理合成:将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。

通过用户输入纹理样本的语义图和目标语义，用户可以通过现有的图像编辑工具绘制语义图，作为合成结果的控制手段，连同纹理样本一起作为纹理迁移框架的输入，因此能够提高纹理迁移的合成质量，尤其是纹理的颜色丰富程度以及分布特性与样本纹理保持一致。在合成过程中，基于多尺度优化的纹理合成算法，将语义图作为附加通道加入到纹理图像中，计算样本语义图与目标语义图差异作为额外的惩罚项加入到纹理优化算法中去，一定的交互性能够处理更为复杂的纹理图像，如包含高层语义信息的纹理图像，这样使得纹理迁移适应性更加广泛，通过监督式的方式，使用户更加直观控制合成过程，实现自由地控制纹理迁移的结果。另外，考虑纹理合成算法中的纹理颜色直方图特征以及图像块的连续程度，在纹理合成算法中的颜色投票步骤中将二者作为权值约束合成结果，以实现高质量的纹理迁移。

优选地，所述步骤(1)包括以下分步骤：

(1.1)使用SLIC超级像素分割算法将语义图分割为多个超像素，将s定义为SLIC算法分割的超像素区域大小，且s＝λ

(1.2)使用均值漂移算法Mean-Shift对所有超像素的平均向量进行聚类并进行编号；均值偏移算法的带宽表示为bw，并将bw的值固定为0.2，从而对不同语义进行编号并获得其精确区域，并将每个区域记录为r；

(1.3)对不同语义区域提取距离特征，分别对不同语义区域计算像素到区域轮廓的距离，距离的计算方式为公式(1)：

其中，Ω为不同区域组成的轮廓，dist(P)计算从像素p到最近的轮廓像素o(o∈Ω)的欧几里德距离。

优选地，所述步骤(2)包括以下分步骤：

(2.1)使用随机映射对每个区域r的样本的相应区域初始化映射表φ，映射表φ的长宽等同于目标图像T，通道数为5，分别记录图像块的横坐标x，纵坐标y，旋转参数θ，缩放参数s，反射参数τ，该映射表为每个目标像素q分配一个样本图像块P；

(2.2)通过GPM算法来搜索给定T和S之间的最佳对应关系来最小化目标函数，为了扩大搜索空间以获得更好的结果，GPM算法允许样本中图像块P中的像素i进行几何变换，表示为公式(2)：

f(i)＝γδRΔi+p (2)

其中p是样本中图像块P的中心像素坐标，Δi表示i对于像素p的相对坐标，γ为缩放算子，参数为s，且s∈[s

在最低分辨率的初始化目标图像之后，通过多尺度迭代的方法最小化目标函数，目标函数作为引导搜索相似块的准则，目标函数表示为公式(4)：

其中P是样本S中的图像块，Q是目标图像T中的图像块，P、Q均代表图像中5×5的图像块，所有图像块以向量形式进行计算；E

(2.3)对于目标图像中的每一像素q，其颜色计算方式为公式(9)：

其中i是图像块P中的第i个像素，w

w

其中，G是高斯核函数，σ是连续性范围，φ是从目标图到样本的相似块映射关系。

优选地，所述外观项E

E

优选地，所述结构项E

E

w

其中P是当前计算的图像块，P

优选地，通过改变参数λ

优选地，所述项E

E

其中dist(P)和dist(Q)分别是从像素p和q到最近区域轮廓像素

o(o∈Ω)的欧几里德距离。

优选地，所述步骤(2.3)中，w

其中，H

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种非均匀纹理迁移装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：

纹理结构提取模块，其用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；

多尺度迭代纹理合成模块，其将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。

优选地，所述多尺度迭代纹理合成模块将获取的纹理信息集成到多尺度纹理合成算法中，整个纹理合成任务在图像金字塔上执行，算法在低分辨率的图像上初始化目标图，并在不同分辨率下交替执行搜索和投票步骤，通过GPM算法搜索目标图中所有图像块在样本中的相似块，最小化合成目标图与样本之间的图像块相似性的能量函数，算法将纹理合成任务定义为能量函数的形式，在寻找到目标纹理和样本纹理的相似图像块之后，将这些相似图像块通过加权颜色投票的形式进行混合，得到最终的目标纹理。

以下更详细地说明本发明。

图1展示了本发明纹理迁移方法的基本步骤图，可以通过输入样本及一组语义标注图，自动生成目标纹理图。本发明中的纹理合成算法建立在多尺度优化的纹理合成算法之上，并通过不同语义区域的颜色信息和局部纹理的一致性来保持纹理质量。框架包括纹理结构提取和多尺度迭代优化的纹理合成步骤。首先通过(1)结构提取步骤获取不同语义区域的纹理信息，再通过(2)多尺度纹理合成步骤合成目标纹理图像，为了便于说明，将步骤中用到的基本符号进行汇总，如表1所示：

表1

下面结合如图2所示的具体步骤图对上述两个步骤进行详细说明：

(1)结构提取步骤：获取样本纹理的具体的语义区域及对应的序号和距离分布特征，并将这些特征用于后续的纹理合成算法。如图3所示，算法分别对样本语义S′和目标语义T′进行结构提取，以获得它们精确的区域标签。具体步骤如下：

(1.1)使用SLIC超级像素分割算法将语义图分割为多个超像素(Super pixel)，将s定义为SLIC算法分割的超像素区域大小，且s＝λ

(1.2)使用均值漂移算法(Mean-Shift)算法对所有超像素的平均向量进行聚类并进行编号。均值偏移算法的带宽表示为bw，并将bw的值固定为0.2。这一步骤可以对不同语义进行编号并获得其精确区域，并将每个区域记录为r

(1.3)对不同语义区域提取距离特征，分别对不同语义区域计算像素到区域轮廓的距离，因为距离信息在描述纹理时同样重要。距离的计算方式如式(1)所示：

其中，Ω为不同区域组成的轮廓，dist(P)计算从像素p到最近的轮廓像素o(o∈Ω)的欧几里德距离。

(2)多尺度纹理合成步骤：将结构提取步骤获取的纹理信息集成到多尺度纹理合成算法中，本发明的纹理合成算法建立在多尺度优化的纹理合成算法之上，整个纹理合成任务在图像金字塔上执行，算法在低分辨率的图像上初始化目标图，并在不同分辨率下交替执行搜索和投票步骤，通过GPM算法(Generalized PatchMatch)搜索目标图中所有图像块在样本中的相似块，最小化合成目标图与样本之间的图像块相似性的能量函数。算法将纹理合成任务定义为能量函数的形式，在寻找到目标纹理和样本纹理的相似图像块之后，将这些相似图像块通过加权颜色投票的形式进行混合，得到最终的目标纹理。如图2所示，可以将纹理合成步骤分为初始化、引导搜索和颜色投票三个步骤，具体说明如下：

(2.1)初始化：使用随机映射对每个区域r的样本的相应区域初始化映射表φ，映射表φ的长宽等同于目标图像T，通道数为5，分别记录图像块的横坐标x，纵坐标y，旋转参数θ，缩放参数s，反射参数τ。该映射表为每个目标像素q分配一个样本图像块P。

(2.2)引导搜索：主要是通过GPM算法来搜索给定T和S之间的最佳对应关系来最小化目标函数。为了扩大搜索空间以获得更好的结果，GPM算法允许样本中图像块P中的像素i进行几何变换，表示为式(2)：

f(i)＝γδRΔi+p (2)

其中p是样本中图像块P的中心像素坐标，Δi表示i对于像素p的相对坐标，γ为缩放算子，参数为s，且s∈[s

在最低分辨率的初始化目标图像之后，通过多尺度迭代的方法最小化目标函数，目标函数作为引导搜索相似块的准则，目标函数表示为式(4)：

其中P是样本S中的图像块，Q是目标图像T中的图像块，P、Q均代表图像中5×5的图像块，所有图像块以向量形式进行计算。E

外观项E

E

结构项E

E

算法在合成纹理的边界处过渡是不自然的。通过引入一个在对图像块加权的权值w

其中P是当前计算的图像块，P

距离项E

E

如(1.3)中对距离的定义，其中dist(P)和dist(Q)分别是从像素p和q到最近区域轮廓像素o(o∈Ω)的欧几里德距离。

(2.3)颜色投票：本发明在(Y.Wexler，E.Shechtman，and M.Irani.2007.Space-Time Completion of Video.IEEE Transactions on Pattern Analysis and MachineIntelligence 29，3(2007)，463-476.)的基础上修改了原有的颜色投票机制，以消除伪影，提高纹理质量。对于目标图像中的每一像素q，其颜色计算方式如公式(9)所示：

其中i是图像块P中的第i个像素。w

图7所示为计算相邻像素q和i所对应的图像块的连续程度，并将图像块的分散程度(红色箭头)定义为图像块连续度权值w

其中，G是高斯核函数，σ是连续性范围。φ是从目标图到样本的相似块映射关系。图7展示了图像块连续程度的定义，w

另外，本发明还引入了一个基于语义区域计算的颜色直方图权值w

其中，H

图6为本发明所述的方法对多种图像进行纹理迁移的结果示例，图7为本发明对文字特效图像进行纹理迁移的结果示例，从左到右分别为样本纹理、样本语义、目标语义和合成结果。可以看到，本发明所述的方法能够在用户的控制下，进行高质量的纹理迁移，有效地保留了生成图像纹理颜色特征和细节特征，生成符合用户预期的纹理迁移图像。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。