一种面向神经辐射场模型的数字水印方法

技术领域

本发明涉及一种方法，具体为一种面向神经辐射场模型的数字水印方法，属于计算机技术领域。

背景技术

基于隐式表示的3D渲染技术目前已经成为计算机视觉研究最热门的领域之一。神经隐式表达利用神经网络表示数据的思路，使得网络本身成为与数据等价的资产。可以预测，在不远的将来我们将看到更多的3D数据通过神经隐式表达的方式以神经网络的格式出现，保护隐式表示的3D数据的成为一个亟待解决的问题。

传统的3D水印根据嵌入方式不同，可以分为几何水印和拓扑水印。基于几何特征的3D数字水印是对3D形状进行平移、旋转、缩放等操作，在变换过程中嵌入水印信息。而基于拓扑特征的3D数字水印则针对模型间数据同步的问题，形成了一种基于拓扑不变量的鲁棒性水印。3D模型参数水印是一种基于定向权重的3D数字内容编辑技术，通常通过嵌入方向技术、权重嵌入技术和特征点插入技术来实现。3D模型参数水印具有隐蔽性强、嵌入信息容量大和操作简单的优势，但由于水印信息在参数中，从而存在水印的提取比较困难，提取的水印精度不够的问题，为此，提出一种面向神经辐射场模型的数字水印方法。

发明内容

有鉴于此，本发明提供一种面向神经辐射场模型的数字水印方法，以解决或缓解现有技术中存在的技术问题，至少提供一种有益的选择。

本发明实施例的技术方案是这样实现的：一种面向神经辐射场模型的数字水印方法，包括以下步骤：

S1：嵌入网络接受水印图像和NeRF训练数据集中的一张图像作为输入，输出嵌入水印信息的图像；

S2：将嵌入水印信息的图像和lego数据集中图像，经过噪声层处理后与对应视角信息一起输入到MLP网络中训练得到神经辐射场；

S3：用过参数化的方法训练一个提取网络，给神经辐射场一个任意视角作为输入，生成新视角图像；

S4：新视角图像的任意视角若为训练时使用的秘密视角，则可以提取到清晰的水印图像，否则无法提取到水印图像，以此证明神经辐射场数据的所有权。

进一步优选的，在S1中，嵌入网络输入尺寸大小为3×W×H的水印信息和lego数据集中的图像k，将水印图像w也经过一个输出通道为32的卷积层Conv得到尺寸大小32×W×H的特征图A，再将图像k经过一个输出通道为32的卷积层Conv得到尺寸大小32×W×H的特征图B，特征图A和特征图B的公式为：

A＝Conv

B＝Conv

将特征图A和特征图B进行拼接后经过输出通道数为32的卷积层得到特征图C，特征图C的公式为：

C＝Conv

进一步优选的，在S1中，为充分提取图像特征，在提取网络中采用了密集连接技术，通过密集连接加强特征的传递，增强嵌入网络对图像深层次特征的提取能力，依次将A、B和C进行拼接经过卷积层得到特征图D，特征图D的公式为：

D＝Conv

再将A、B、C和D拼接经过输出通道为3的卷积层，输出与图像k一样大小的图像k’，k’的公式为：

k'＝Conv

嵌入网络中，卷积核大小为3×3，步长为1，填充为1，使用ReLU作为激活函数再使用BN(batch normalization)层对数据进行归一化处理。

进一步优选的，在S2中，引入噪声层对模型进行处理，对构建模型的输入数据添加噪声以模拟对网络参数本身的修改；模拟NeRF受到噪声攻击的过程，设置高斯噪声、椒盐噪声、speckle噪声、泊松噪声以模拟不同类型的失真。

进一步优选的，在S3中，提取网络输入尺寸3×W×H图像s，经过一个输出通道为32的卷积层得到特征图E，E经过一次卷积得到特征图F，将E和F拼接得到特征图G，再将E、F、G拼接并进行一次卷积后得到清晰水印图像w’，基本流程如下式所示：

E＝Conv

F＝Conv

G＝Conv

w'＝Conv

提取网络卷积核设置与嵌入网络相同，最后一层卷积后输出3×W×H的水印图像；训练好提取网络后，保存模型参数，输入经过NeRF其他视角生成的图像则无法提取水印图像。

进一步优选的，在S4中，在NeRF中输入空间点的3D坐标位置x＝(x，y，z)和方向d＝(θ，φ)，输出空间点的颜色c＝(r，g，b)和对应位置的密度σ；

先对x和d进行位置信息编码，再将x输入到MLP网络中，并输出σ和一个256维的中间特征，中间特征和d再一起输入到全连接层中预测颜色，最后通过体渲染生成2D图像。

进一步优选的，在S4中，利用三维重建得到的3D点的像素值c和体密度σ，沿着观测方向上的一条射线进行像素点采样加权叠加得到最终的2D图像像素值，公式为：

式中，r(t)为根据相机光心位置o及视角方向d得到的一条射线r(t)＝o+td，T(t)表示该射线从近端tn到远端边界tf这段路径上的累计透光度。

进一步优选的，在S4中，训练过程中将体渲染得到的像素点与原视角图像作均方误差L2对网络进行优化，采用分级表征渲染的思想以提高渲染效率，即同时优化粗网络Cc(r)和细网络Cf(r)，以利用粗网络的权值分布更好地在细网络中分配样本；

式中，R表示输入视图中所有的光线，C(r)表示输入视图的真实像素值，

选取一个特定视角的相机参数m作为密钥，把相机坐标系下的点变换到世界坐标系下，将相机坐标系下的3D坐标映射到2D的图像平面。

进一步优选的，在S4中，通过损失函数来衡量预测值与真实值之间差异，损失函数主要包括两个部分，载体图像内容损失L

L

其中，α为权重参数，k为载体图像，k’为包含水印图像。

进一步优选的，在S4中，Ld为水印图像内容损失，公式如下：

式中β，γ和μ为权重参数，w为原始水印图像，w’为提取的水印图像。L

SSIM和MS-SSIM的计算公式如下所示：

上述式中μx和σx分别为图像X的均值和方差，μy和σy分别为图像Y的均值和方差，σxy为X和Y的协方差；M表示不同尺度，βm和γm表示图像之间的相对重要性，βm＝γm＝1，C1，C2为常数，k1默认取值0.01，k2取值0.03，L为像素值的动态范围，取值为255。

本发明实施例由于采用以上技术方案，其具有以下优点：

一、本发明通过将面向神经辐射场的3D模型水印算法看作是一种特殊的神经网络模型水印，设计实现了一个黑盒模型水印算法，实现了对隐式表示的3D模型版权的保护；运用过参数化的方法，通过训练一个简单的网络实现特定视角渲染图像的水印提取；

二、本发明利用NeRF模型的视角输入，将秘密视角作为水印提取的密钥信息，由于新视角合成的连续性，巨大的密钥空间，保障了水印信息的安全；通过引入对训练图像的噪声层，模拟了对隐式表达网络的噪声处理，使得该方法具有鲁棒性。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的步骤流程图；

图2为本发明的水印嵌入网络结构图；

图3为本发明的水印提取网络结构图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

下面结合附图对本发明的实施例进行详细说明。

如图1-3所示，本发明实施例提供了一种面向神经辐射场模型的数字水印方法，包括以下步骤：

S1：嵌入网络接受水印图像和NeRF训练数据集中的一张图像作为输入，输出嵌入水印信息的图像；

S2：将嵌入水印信息的图像和lego数据集中图像，经过噪声层处理后与对应视角信息一起输入到MLP网络中训练得到神经辐射场；

S3：用过参数化的方法训练一个提取网络，给神经辐射场一个任意视角作为输入，生成新视角图像；

S4：新视角图像的任意视角若为训练时使用的秘密视角，则可以提取到清晰的水印图像，否则无法提取到水印图像，以此证明神经辐射场数据的所有权。

在一个实施例中，在S1中，嵌入网络输入尺寸大小为3×W×H的水印信息和lego数据集中的图像k，将水印图像w也经过一个输出通道为32的卷积层Conv得到尺寸大小32×W×H的特征图A，再将图像k经过一个输出通道为32的卷积层Conv得到尺寸大小32×W×H的特征图B，特征图A和特征图B的公式为：

A＝Conv

B＝Conv

将特征图A和特征图B进行拼接后经过输出通道数为32的卷积层得到特征图C，特征图C的公式为：

C＝Conv

为充分提取图像特征，在提取网络中采用了密集连接技术，通过密集连接加强特征的传递，增强嵌入网络对图像深层次特征的提取能力，依次将A、B和C进行拼接经过卷积层得到特征图D，特征图D的公式为：

D＝Conv

再将A、B、C和D拼接经过输出通道为3的卷积层，输出与图像k一样大小的图像k’，k’的公式为：

k'＝Conv

嵌入网络中，卷积核大小为3×3，步长为1，填充为1，使用ReLU作为激活函数再使用BN(batch normalization)层对数据进行归一化处理。

在一个实施例中，在S2中，引入噪声层对模型进行处理，对构建模型的输入数据添加噪声以模拟对网络参数本身的修改；模拟NeRF受到噪声攻击的过程，设置高斯噪声、椒盐噪声、speckle噪声、泊松噪声以模拟不同类型的失真。

提取网络输入尺寸3×W×H图像s，经过一个输出通道为32的卷积层得到特征图E，E经过一次卷积得到特征图F，将E和F拼接得到特征图G，再将E、F、G拼接并进行一次卷积后得到清晰水印图像w’，基本流程如下式所示：

E＝Conv

F＝Conv

G＝Conv

w'＝Conv

提取网络卷积核设置与嵌入网络相同，最后一层卷积后输出3×W×H的水印图像；训练好提取网络后，保存模型参数，输入经过NeRF其他视角生成的图像则无法提取水印图像；

用大参数量的网络作为提取网络，输入秘密视角图像和原始水印图像，输出水印图像，通过增加迭代次数，让网络出现过拟合，使得当输入秘密视角图像时，可获取清晰水印图像，而输入其他视角图像时，无法获取水印图像，从而保证本发明算法的安全性。

在一个实施例中，在S4中，在NeRF中输入空间点的3D坐标位置x＝(x，y，z)和方向d＝(θ，φ)，输出空间点的颜色c＝(r，g，b)和对应位置的密度σ；

先对x和d进行位置信息编码，再将x输入到MLP网络中，并输出σ和一个256维的中间特征，中间特征和d再一起输入到全连接层中预测颜色，最后通过体渲染生成2D图像，利用三维重建得到的3D点的像素值c和体密度σ，沿着观测方向上的一条射线进行像素点采样加权叠加得到最终的2D图像像素值，公式为：

式中，r(t)为根据相机光心位置o及视角方向d得到的一条射线r(t)＝o+td，T(t)表示该射线从近端tn到远端边界tf这段路径上的累计透光度。

训练过程中将体渲染得到的像素点与原视角图像作均方误差L2对网络进行优化，采用分级表征渲染的思想以提高渲染效率，即同时优化粗网络Cc(r)和细网络Cf(r)，以利用粗网络的权值分布更好地在细网络中分配样本；

式中，R表示输入视图中所有的光线，C(r)表示输入视图的真实像素值，

选取一个特定视角的相机参数m作为密钥，把相机坐标系下的点变换到世界坐标系下，将相机坐标系下的3D坐标映射到2D的图像平面，通过选择相机参数作为密钥，来获取秘密视角图像，确保了图像的唯一性，且相机参数仅由两个矩阵组成，密钥信息较小。

通过损失函数来衡量预测值与真实值之间差异，损失函数主要包括两个部分，载体图像内容损失L

L

其中，α为权重参数，k为载体图像，k’为包含水印图像。

Ld为水印图像内容损失，公式如下：

式中β，γ和μ为权重参数，w为原始水印图像，w’为提取的水印图像。L

SSIM和MS-SSIM的计算公式如下所示：

上述式中μx和σx分别为图像X的均值和方差，μy和σy分别为图像Y的均值和方差，σxy为X和Y的协方差；M表示不同尺度，βm和γm表示图像之间的相对重要性，βm＝γm＝1，C1，C2为常数，k1默认取值0.01，k2取值0.03，L为像素值的动态范围，取值为255。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。