水印识别在线训练、制样、去除方法及装置、设备、介质

技术领域

本申请属于图像识别技术，具体涉及一种水印识别在线训练、制样、去除方法及其各自相应的装置、电子设备、非易失性存储介质。

背景技术

采用卷积神经网络来进行基于人工智能的图像识别的相关技术已经成熟。众所周知，人工智能的实现依赖于大数据及其算法，换言之，一个有效的神经网络，一方面依赖于其训练样本的多样式，另一方面也依赖于其网络原理和结构。

出于各种不同目的，各大互联网平台或者应用程序，会对用户上传的图片添加水印，这些水印有时候会导致不便，特别是图片所有人有时候需要复用原图时，受限于已添加的水印，只能作罢。因此，时下的一种图像识别需求是需要对各种被各大平台、应用程序添加了水印的图片进行水印的识别和清除操作，以便还原出原图，方便图片所有者的重复利用。

现有技术中存在从待识别图片中去除水印的技术，但由于其所依赖的神经网络的不同，以及其训练样本的差异，其识别效果并不理想。具体而言，在训练样本方面，现有技术所依赖的数据集多为采集所得或者多是基于简单处理而得因此其数据量是有限的，且其特征代表性本身较低效，导致训练效果不佳；在其所依赖的神经网络方面，多采用传统的神经网络，这些神经网络本身由于其设计使然，往往依赖于海量样本，对样本需求量特别高。可见，所采用的网络的类型及所采用的样本数两者互相依赖，导致现有的水印识别技术普遍效果不佳，实施成本较高。

发明内容

本申请的目的，旨在提供一种水印识别在线训练方法、一种水印识别在线制样方法、一种水印识别在线去除方法及其各自相应的装置、电子设备、非易失性存储介质。

为满足本申请的各个目的，本申请采用如下技术方案：

适应于本申请的目的之一而提供的一种水印识别在线训练方法，包括如下迭代执行的步骤：

从背景数据集中提取背景图，将其随机裁剪为预设规格；

从水印数据集中提取水印原图，将该水印原图进行图像变形处理以形成水印增强图；

将水印增强图与所述背景图进行合成，以获得相应的合成图；

将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练，使该图像分割模型经此训练适于从待识别图片中去除所述水印原图。

较佳的实施例中，所述图像分割模型采用基于Residual U-block结构的U

更具体的实施例中，所述图像分割模型实施样本训练包括如下步骤：

将所述合成图馈入所述图像分割模型的输入卷积层中进行局部特征提取，获得中间特征映射；

将所述中间特征映射经图像分割模型的收缩路径中的多个编码器逐步下采样提取多尺度特征；

以所述多尺度特征为馈入特征，经图像分割模型的扩展路径中的多个解码器逐步上采样，逐级还原为更高分辨率的特征图，其中，每个解码器以其对应的一个编码器所获得的特征图为参照用于实施所述的还原；

将解码器的所有输出和编码器最后阶段的输出进行融合，获得去除水印后的彩色图。

进一步优化的实施例中，所述图像分割模型实施样本训练包括如下步骤：

将所述背景图作为目标值，将所述去除水印后的彩色图作为预测值，采用由多个损失函数线性叠加而成的总损失函数监督样本训练过程，以使训练所得的预测值随迭代次数的增加而最大化趋近于目标值。

部分实施例中，将该水印原图进行图像变形处理以形成水印增强图的步骤中，按照如下任意一个或任意多个步骤实施所述的图像处理：

对水印原图进行灰度化，使其成为去除色彩的所述水印增强图；

对水印原图进行高斯噪声变换，使其成为画面失真的所述水印增强图；

对水印原图进行裁剪，使其成为画面残缺的所述水印增强图；

对水印原图进行畸变处理，使其成为比例失真的所述水印增强图。

部分实施例中，将所述水印增强图与所述背景图进行合成的步骤中，按照如下任意一个或任意多个步骤进行合成：

将所述水印增强图进行随机缩放后与所述背景图进行合成；

将所述水印增强图随机指定至所述背景图的任意位置进行合成；

以随机确定的包括透明度在内的融合参数将所

述水印增强图与背景图进行合成。

适应本申请的目的之一而提供的一种水印识别在线去除方法，包括如下步骤：

将待识别图片馈入如前所述的水印识别去除方法的任意一种实施例所训练形成的图像分割模型；

由所述图像分割模型从待识别图片中识别出水印并将其清除；

输出在待识别图片的无水印版本相对应的背景图片。

适应本申请的目的之一而提供的一种水印识别在线制样方法，包括如下步骤：

从背景数据集中提取背景图，将其随机裁剪为预设规格；

从水印数据集中提取水印原图，将该水印原图进行图像变形处理以形成水印增强图；

将水印增强图与所述背景图进行合成，以获得适于用做水印识别的训练样本的合成图。

部分实施例中，将该水印原图进行图像变形处理以形成水印增强图的步骤中，按照如下任意一个或任意多个步骤实施所述的图像处理：

对水印原图进行灰度化，使其成为去除色彩的所述水印增强图；

对水印原图进行高斯噪声变换，使其成为画面失真的所述水印增强图；

对水印原图进行裁剪，使其成为画面残缺的所述水印增强图；

对水印原图进行畸变处理，使其成为比例失真的所述水印增强图。

部分实施例中，将所述水印增强图与所述背景图进行合成的步骤中，按照如下任意一个或任意多个步骤进行合成：

将所述水印增强图进行随机缩放后与所述背景图进行合成；

将所述水印增强图随机指定至所述背景图的任意位置进行合成；

以随机确定的包括透明度在内的融合参数将所述水印增强图与背景图进行合成。

部分实施例中，迭代执行本方法的相应步骤，使每张所述的背景图均与水印数据集中的每张水印原图实施合成，以相应生成多张所述的合成图。

部分实施例中，从水印数据集中提取水印原图，将该水印原图进行图像处理使其产生图像变化以形成水印增强图的步骤中，将每张水印原图进行多种方式的图像处理使其产生多张所述的水印增强图。

部分实施例中，将所述水印增强图与所述背景图进行合成，以获得相应的合成图的步骤中，将每张水印增强图按照多种随机合成效果分别与背景图进行合成以获得多张所述的合成图。

适应本申请的目的之一而提供的一种水印识别在线训练装置，其包括：

背景选取模块，用于从背景数据集中提取背景图，将其随机裁剪为预设规格；

水印选取模块，用于从水印数据集中提取水印原图，将该水印原图进行图像变形处理以形成水印增强图；

图片合成模块，用于将水印增强图与所述背景图进行合成，以获得相应的合成图；

模型训练模块，用于将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练，使该图像分割模型经此训练适于从待识别图片中去除所述水印原图。

适应本申请的目的之一而提供的一种水印识别制样方法，其包括：

背景选取模块，用于从背景数据集中提取背景图，将其随机裁剪为预设规格；

水印选取模块，用于从水印数据集中提取水印原图，将该水印原图进行图像变形处理以形成水印增强图；

图片合成模块，用于将水印增强图与所述背景图进行合成，以获得适于用做水印识别的训练样本的合成图。

适应于本申请的目的之一而提供的一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行所述的水印识别在线训练/制样/去除方法。

适应于本申请的目的之一而提供一种非易失性存储介质，其以计算机可读指令的形式存储用依据所述的水印识别在线训练/制样/去除方法所述实现的计算机程序，该计算机程序被计算机调用时，执行该方法所包括的步骤。

相对于现有技术，本申请具有如下优势：

首先，本申请通过预备背景图和水印图，将水印图进行图像变化处理实现数据增强，在此基础上，将其相应形成的水印增强图馈入图像分割模型中进行训练，可以智能化地生成大量的样本，以供图像分割模型训练之需，使得该图像分割模型习得识别和去除图片中的水印的能力，能够有效地从待识别图片中识别出各种水印。

其次，本申请采用适于捕获多尺度特征的图像分割模型，例如基于Residual U-block结构的U

再者，本申请对水印进行的数据增强方式是直接对其图像进行变形处理，可以运用多种已知的图像变形手段，使水印以多种变化方式与背景图相结合，不仅可以以此产生多个训练样本，而且丰富了提供给图像分割模型的输入特征，从而可以提升图像分割模型的识别准确度；

此外，本申请以迭代的程序运行逻辑实现边制作训练样本边实施训练的效果，训练过程高效且具有长期适用性。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为适于部署本申请的一种网络架构的原理示意图；

图2为本申请的一种水印识别在线制样方法的典型实施例的流程示意图；

图3为图2所揭示的步骤S12所采用的具体步骤所构成的流程示意图；

图4为图2所揭示的步骤S13所采用的具体步骤所构成的流程示意图；

图5为本申请的一种水印识别在线训练方法的典型实施例的流程示意图；

图6为本申请的一种水印识别在线训练方法的典型实施例所采用的图像分割模型的神经网络结构的原理框图；

图7为图5所揭示的步骤S24所采用的具体步骤所构成的流程示意图；

图8为本申请的一种水印识别在线训练方法的另一实施例的流程示意图；

图9为本申请的一种水印识别在线去除方法的典型实施例的流程示意图；

图10为本申请的一种水印识别在线识别装置的原理框图；

图11为本申请的一种水印识别在线制样装置的原理框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。

需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。

请参阅图1，本申请相关技术方案实施时所需的硬件基础可按图中所示的架构进行部署。本申请所称的服务器80部署在云端，主要用于部署本申请的图像分割模型，其仅为逻辑概念上的服务器，代表着用于实现该图像分割模型或者用于实现图片在线合成的整个服务机群，通过这一逻辑上的服务器来为相关的终端设备例如图中所示的智能手机81和个人计算机82提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网，与云端的服务器80建立数据通信链路，以便启动在线图片合成作业、实施对该图像分割模型的训练、利用该图像分割模型进行水印去除操作等。

在理解上述所揭示的与本申请技术方案相关的相关应用环境和开发环境的基础上，请参阅如下说明继续了解本申请的多种实施方式。需要指出的是，本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。

请参阅图2，本申请的一种水印识别在线制样方法，用于制备本申请的图像分割模型所需的训练样本，适宜在云端部署实施，其包括如下迭代执行的步骤：

步骤S11、从背景数据集中提取背景图，将其随机裁剪为预设规格：

为了利用大数据实现深度学习目标，背景数据集中所包括的背景图需要有广泛的代表性，因此背景图的分布必须十分广告，尽量覆盖生活中的各种场景。为此，本申请推荐采用开源的Place365标准数据集，特别是其中的Challenge数据集。Place365-Challenge数据集为Place365-Standard数据集的扩充版，目前为止，包含了800万张额外的图像照片，训练集中总计共有800万张相片。Place365系列数据集是由MIT发布，帮助场景分类的数据集。该数据集应用范围广泛，数据庞大，对于场景分类型模型具有强大的帮助性。这一数据集分辨率为短边512像素、长边为大于512像素的任意值。本领域技术人员应当知晓，尽管本申请采用以上的推荐的数据集可以取得更佳的实施效果，但是，其他类型的可以取得同等以及更优实施效果的数据集，同理也应被目为实施本申请可采用的数据集。

假设该背景数据集被表达为{BG

较佳的，为了统一样本、提高训练效率、匹配图像分割模型，本实施例将本步骤提取出的背景图均裁剪为512*512分辨率大小。实施裁剪时，可采用随机定位的方式进行，也即按照512*512分辨率大小的窗格对背景图的随机位置进行定位，然后按照该窗格裁剪去掉窗格之外的图像内容，使该背景图仅余该窗格内部分内容。

步骤S12、从水印数据集中提取水印原图，将该水印原图进行图像变形处理以形成水印增强图：

所述的水印数据集，实践中，可以根据业务需求预先进行采集，确定一批需要去除的目标水印图集，一般尽量采用无背景和无杂质干扰的水印原图，即纯净图，对于水印原图总数为m的水印数据集，记为集合：{L

在训练迭代过程中，针对每一张背景图，需要选用水印原图与之进行合成，为了取得不同的合成效果，需通过本步骤对水印原图进行图像变形处理，先行获得其相应的水印增强图。

此处所称的图像变形处理，不同于图像在平面几何空间中的位置变换，是基于图像算法对水印原图进行的导致其有效图像内容发生形状改变的处理，其目的在于尽量模仿水印原图的各种畸变情况而在对水印原图实施数据增加处理的基础上，通过海量的此类水印增强图来最大程度概括水印图的各种变化形态和误差，以便后续通过图像分割模型实施训练来增强其泛化能力。

从水印数据集中提取水印原图时，既可以按照顺序提取的方式在一次迭代中选定一张水印原图，也可采用随机选取的方式在一次迭代过程中选定一张水印原图。

较佳的改进方案中，考虑到步骤S11中提取背景图与步骤S12中提取水印原图进行有序配合以便使得迭代更有效率，可以在提取背景图时按序提取，而在提取水印原图时则随机提取。或者，在提取背景图时随机提取，而在提取水印原图时则按序提取。

为了便水印原图取得图像变形效果，可以通过多种手段中的单独一种或者混合任意多种来实现所述的图像变形处理，具体而言，请参阅图3，本步骤可以具体执行如下的一种或任意多种具体步骤来实施：

步骤S121、对水印原图进行灰度化，使其成为去除色彩的所述水印增强图：作为其中的一种图像变形处理手段，目的在于去除水印原图的色彩，使其成为灰度图。

步骤S122、对水印原图进行高斯噪声变换，使其成为画面失真的所述水印增强图：高斯变换可以实现包括模糊、颗粒等在内的多种风格化效果，为水印原图添加噪声，造成画面失真效果。

步骤S123、对水印原图进行裁剪，使其成为画面残缺的所述水印增强图：考虑到部分场景的图片的水印会因为裁切而缺失部分信息，因此也可以此处对水印原图进行裁剪，去除其局部画面，例如仅保留其90％的画面内容，使其成为画面残缺的水印增强图。

步骤S124、对水印原图进行畸变处理，使其成为比例失真的所述水印增强图：具体可通过将水印原图进行一定比例范围内的长宽比调整，使其画面产生几何畸变，以便仿真各种画面拉伸效果，获得相应的水印增强图。

以上所列举的各个图像变形处理具体步骤，每一具体步骤用于产生一种画面变形效果，在实施时，可以仅随机选用其中一个具体步骤加以适用，也可选用任意多个甚至全部具体步骤进行适用，视对水印变形处理的复杂度需求而定。即使在此处仅随机选用一个具体步骤来适用，使水印原图随机获得一种画面变形效果，由于多次迭代形成的大数据中，根据随机概率会涵盖各种画面变形效果相关的特征，因此即使以随机选用一个具体步骤的方式来实施，理论上仍能有效表达各种画面变形效果的特征。对此，本领域技术人员可以根据实际需要实施之。

可见，将水印原图经过图像变形处理之后获得的水印增强图，丰富了水印原图的各种变形特征，兼容水印的各种画面变化，当其被用于训练之后，有助于提高神经网络的水印识别准确度。

步骤S13、将水印增强图与所述背景图进行合成，以获得适于用做水印识别的训练样本的合成图：

调用了所述的背景图并依据所述的水印原图获得其水印增强图后，便可利用融合算法将水印增强图与该背景图合成为一张合成图。本实施例推荐采用Alpha-blending融合算法来实施所述的合成。

Alpha-blending融合算法的公式可以表述为：I

水印增强图可以不同的方式与背景图进行合成以生成多种不同的合成效果，实践中，可以基于不同的合成效果而采用不同的处理步骤来实现相应的合成效果，具体而言，请参阅图4，以下给出的各个具体步骤，可以随机选用其中之一，或者其中任意多个步骤适用之：

步骤S131、将所述水印增强图进行随机缩放后与所述背景图进行合成：这一方式主要是在几何平面上对水印增强图进行等比例放大或缩小，以便表达水印以各种不同大小与背景图的结合。为了涵盖各种可能性，在每次迭代中，当选用这一方式进行合成时，水印增强图的缩放比例可以随机确定。

步骤S132、将所述水印增强图随机指定至所述背景图的任意位置进行合成：这一方式主要是在几何平面上对水印增强图与背景图之间的结合位置进行表达，同理，可以随机地指定所述的结合位置。

步骤S133、以随机确定的包括透明度在内的融合参数将所述水印增强图与背景图进行合成：这一方式主要是通过调整合成时所采用的融合公式中的融合参数来实现的，例如前述Alpha-blending中的透明度参数a，同理，这一透明度参数也采用随机的方式进行确定，取值通常在1-100之间。

通过以上的各个具体步骤的任意之一或者任意多数个甚至全部适用而融合而成的合成图，使得每张合成图均会呈现一种取决于所述具体步骤的合成效果，这一合成效果是由随机选取的所述具体步骤决定的随机合成效果，具备这些随机合成效果的合成图便成为本申请中用于实施神经网络训练的样本。

一种适配在线训练的需要的方式中，经过本方法各步骤生成由背景数据集中第一张背景图和水印数据集中第一张水印原图构成的一张合成图之后即被馈入至本申请的图像分割模型中进行训练，完成训练后循环执行，而生成由背景数据集中第二张背景图和水印数据集中第二张水印原图构成的一张合成图，继续馈入至本申请的图像分割模型中进行训练，如此循环，直到背景数据集中的所有背景图被全量合成用于训练。为了增强训练效果，当完成这样的一个过程之后，还可进行二次迭代，以便借助前述提供的各种随机控制手段提供更多训练样本，丰富训练样本的多样性。

另一种用于一次性生成整个由所述合成图构成的训练样本库的实施方式中，可以视实际情况选用如下几种具体方式来达到丰富训练样本数量的目的：其一、控制本方法的各个相应步骤，使每张所述的背景图均与水印数据集中的每张水印原图实施合成，以相应生成多张所述的合成图。例如，可以通过多层循环嵌套执行步骤S11至S13，使每一步骤都全量调用其相应元素，如步骤S11中按照背景图总数进行多次循环；步骤S12中按照水印原图总数进行多次循环，甚至针对每张水印原图则按照其图像变形处理的多种不同处理方式分别适应以生成多个水印增强图；步骤S13同理可按所列举的多种手段分别合成一张水印增强图和一张背景图。诸如此类，均可实现相应的控制。

其二、控制步骤S12，确保将每张水印原图进行多种方式的图像处理使其产生多张所述的水印增强图。例如，步骤S12中按照水印原图总数进行多次循环，甚至针对每张水印原图则按照其图像变形处理的多种不同处理方式分别适应以生成多个水印增强图。

其三、控制步骤S13，将每张水印增强图按照多种随机合成效果分别与背景图进行合成以获得多张所述的合成图：步骤S13同理可按所列举的多种手段分别合成一张水印增强图和一张背景图。诸如此类，均可实现相应的控制。

经过以上方式构造而成的训练样本库，可用作多种神经网络训练之用，需要指出的是，本申请后续即将揭示的相关训练方法，并不依赖于这一训练样本库。

请参阅图5，本申请提出的一种水印识别在线训练方法，适于训练本申请的水印识别在线制样方法在线生成的样本，适宜在云端部署实施，包括如下迭代执行的步骤：

步骤S21、从背景数据集中提取背景图，将其随机裁剪为预设规格：与步骤S11同，详见步骤S11的描述。

步骤S22、从水印数据集中提取水印原图，将该水印原图进行图像变形处理以形成水印增强图：与步骤S12同，详见步骤S12的描述。

步骤S23、将水印增强图与所述背景图进行合成，以获得相应的合成图：与步骤S13同，详见步骤S13的描述。

以上，步骤S21至步骤S23即为本申请的水印识别在线制样方法所实施的具体步骤，因此，相关描述内容具体请参阅前文，此处从略，不再赘述。

步骤S24、将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练，使该图像分割模型经此训练适于从待识别图片中去除所述水印原图：

本申请优选基于Residual U-block结构的U

请参阅图6，U

请结合图6和图7，所述图像分割模型实施样本训练包括如下步骤：

步骤S241、将所述合成图馈入所述图像分割模型的输入卷积层中进行局部特征提取，获得中间特征映射：

如前所述，经过步骤S21至S23所制备的训练样本，即所述的合成图，会被馈入所述的图像分割模型中进行处理，首先经过其中的输入卷积层进行局部特征提取，以便获得相应的中间特征映射。

步骤S242、将所述中间特征映射经图像分割模型的收缩路径中的多个编码器逐步下采样提取多尺度特征：

如图6所示，256*256*3(长*宽*高，其中的高可理解为叠加通道数)的中间特征映射，经过编码器RSU-En1下采样提取特征之后变成128*128*32的特征图片输出给编码器RSU-En2，同理，经过编码器RSU-En2之后，输出64*64*64的图片，再经过编码器RSU-En3即成为32*32*128的图片，最后经编码器RSU-En4做1*1变换之后获得的多尺寸特征被传入扩展路径。

步骤S243、以所述多尺度特征为馈入特征，经图像分割模型的扩展路径中的多个解码器逐步上采样，逐级还原为更高分辨率的特征图，其中，每个解码器以其对应的一个编码器所获得的特征图为参照用于实施所述的还原：

如图6所示，U型结构中除底部用于转换的编码器RSU-En4外，两侧的编码器与解码器呈对称结构，其中，每个解码器均获取两路输入，一路为其上一级的上采样特征映射，另一路为其对称级的编码器的上采样特征映射的级联，后者作为其同级编码器所获得的特征图同时也被用于作为上下文信息参照，与解码器上一级的上采样特征映射相结合，还原出更高分辨率的图片。由图6可见，32*32*128的特征图经过解码器RSU-De3之后，被还原为64*64*64的特征图，然后经解码器RSU-De2还原为128*128*32的特征图，再经解码器RSU-De1还原为256*256*3的特征图，与编码器输入时的特征图尺寸相同。

步骤S244、将解码器的所有输出和编码器最后阶段的输出进行融合，获得去除水印后的彩色图：

本步骤中，各个解码器RSU-De1、RSU-De2、RSU-De3的输出的所有特征图及编码器RSU-En4输出的特征图均被传输到一个融合模块Post-Process中进行显著性融合，其中根据该神经网络固有的原理运用sigmoid函数和正则化处理以保证得到的数值为0至1之间的合理值。经过融合之后的图片，便被还原为所述的彩色图。

请参阅图8所示，另一实施例中，为了监督图像分割模型的训练效果，所述图像分割模型实施样本训练还包括如下步骤：

步骤S245、将所述背景图作为目标值，将所述去除水印后的彩色图作为预测值，采用由多个损失函数线性叠加而成的总损失函数监督样本训练过程，以使训练所得的预测值随迭代次数的增加而最大化趋近于目标值：

由于本申请采用的机器学习原理为在线实施的有监督学习，因此，在步骤S21至步骤S23的制样过程中，背景图及其叠加了水印之后的合成图均需要参与整个学习过程。具体而言，所述的合成图用于图像分割模型的训练，其训练之后输出的彩色图可视为预测值(I

为此，本申请主要设计了一个总损失函数用于实施对所述相关参数的校正，这一总损失函数由三个具体损失函数线性叠加而成，分别是基于像素级校正的点对点损失函数，基于特征的感知损失函数以及特征相关性的风格损失函数，以下揭示具体公式：

此处假设网络输出为I

(1)点对点的L1损失函数为：

其中C表示通道数，这里是3，H和W与输入图一致，本算法中均为512。点对点损失可以有效的衡量预测值和真实值之间的像素值差距，属于最底层的约束。

(2)感知损失(Perceptual Loss)：

风格损失和感知损失，通常都要用预训练的VGG16提取网络输入I

(3)风格损失函数(Style Loss)：

风格损失是图像风格迁移任务中常用的损失函数，该损失函数通过计算高层特征空间中图像的自相关性，有效的提取图像中元素间的位置、色彩对比等语义信息。增加该损失函数可以进一步确保本任务中的生成图和目标图之间风格接近。避免大范围的空间不一致性出现，比如伪色等。

本模型的总损失函数为这三个子损失函数的线性叠加，权重依据损失重要性和具体损失值确定：

L

在训练过程中，λ

通过应用以上的损失函数，实测能够取得较佳的训练效果，整体学习效率较高，因此，通常迭代有限数次便可实现良好的水印识别能力，不仅能够识别训练过程中的已知水印，还能识别出部分未知水印。

训练细节：网络训练采用Adam算法，学习率为2e-4,权重衰减为0，β＝(0.9，0.99)。用于计算损失的VGG网络在ImageNet上进行预训练，并采用网络全连接层前的池化层输出作为损失计算的特征图。为了防止网络在真实数据上出现色偏等现象，本申请在第5个epoch将训练切换到finetune状态，具体操作是冻住网络中的所有BN层，并将学习率下降到5e-5。在训练过程中，batch_size设置为16。

本申请的水印识别在线训练方法，通过结合基于U

请参阅图9，本申请提出的一种水印识别在线去除方法，其利用前述水印识别在线训练方法实施之后所形成的图像分割模型，部署在云端，向用户开放访问接口，将用户提交的待识别图片作用输入，由图像分割模型从待识别图片中识别并去除其中的水印之后，输出相应的无水印图片。该方法包括如下步骤：

步骤S31、将待识别图片导入所述的图像分割模型：

用户通过前端页面或指令提交的待识别图片，通常是包含水印的待识别图片，水印之外即为其背景，因此，实际上可视为一张叠加了水印的背景图片，该待识别图片被直接馈入至所述的图像分割模型中开始进行识别。

步骤S32、由所述图像分割模型从待识别图片中识别出水印并将其清除：

所述图像分割模型由于经过训练之后，其相关参数得到优化，因此能够以较高准确率从待识别图片中识别出其中的水印并将其去除。

步骤S33、输出在待识别图片的无水印版本相对应的背景图片：

当待识别图片经过图像分割模型识别出水印并将其清除之后，便生成了无水印的彩色图，该彩色图与待识别图片相比较，原有的水印将会消失，而且水印原位置的像素也会被以该图像分割模型以适当的方式填补。

进一步的，可以通过将上述的图像输入方法中的各个实施例进行功能化，构造出本申请的一种水印识别在线制样装置，按照这一思路，请参阅图10，其典型实施例中，该装置包括：

背景选取模块11，用于从背景数据集中提取背景图，将其随机裁剪为预设规格；

水印选取模块12，用于从水印数据集中提取水印原图，将该水印原图进行图像变形处理以形成水印增强图；

图片合成模块13，用于将水印增强图与所述背景图进行合成，以获得相应的合成图。

同理，可以通过将上述的图像输入方法中的各个实施例进行功能化，构造出本申请的一种水印识别在线识别装置，按照这一思路，请参阅图11，其典型实施例中，该装置包括：

背景选取模块21，用于按序从背景数据集中提取背景图，将其随机裁剪为预设规格；

水印选取模块22，用于随机从水印数据集中提取水印原图，将该水印原图进行图像变形处理以形成水印增强图；

图片合成模块23，用于将水印增强图与所述背景图进行合成，以获得适于用做水印识别的训练样本的合成图。

模型训练模块24，用于将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练，使该图像分割模型经此训练适于从待识别图片中去除所述水印原图。

为了便于本申请的执行，提供一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中计算机程序以执行如前述的一种水印识别在线制样/训练/去除方法的步骤。

可以看出，存储器适宜采用非易失性存储介质，通过将前述的方法实现为计算机程序，安装到手机之类电子设备中，相关程序代码和数据便被存储到电子设备的非易失性存储介质中，进一步通过电子设备的中央处理器运行该程序，将其从非易性存储介质中调入内存中运行，便可实现本申请所期望的目的。因此，可以理解，本申请的一个实施例中，还可提供一种非易失性存储介质，其以计算机可读指令的形式存储有依据所述的水印识别在线制样/训练/去除方法的各个实施例所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。

综上所述，本申请能够自动在线合成含水印的训练样本即时用于图像分割模型的训练，使该模型具备识别和去除图片中的水印的能力。

本技术领域技术人员可以理解，本申请包涉及用于执行本申请中所述操作、方法中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其存储器之内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(ErasableProgrammable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(ElectricallyErasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。