一种针对图像语义分割模型的图像预检方法和系统

技术领域

本发明属于软件技术、信息安全技术领域，涉及面向人工智能的安全技术，具体涉及一种针对深度神经网络图像语义分割模型的图像预检方法和系统。

背景技术

近年来，深度神经网络(deep neural network，DNN)由于其高效准确的任务处理能力而被广泛应用于不同的图像处理任务中，包括图像语义分割任务。图像语义分割是指像素级别的图像识别，即标注出图像中每个像素所属的对象类别。图像语义分割是人工智能领域的一个重要分支，同时越来越多的智能应用场景需要依赖精确且高效的图像语义分割技术，例如自动驾驶、室内导航、社交网络平台、电商平台甚至虚拟现实与增强现实等。尤其是自动驾驶技术，也需依赖图像语义分割，以准确的避让行人和车辆等障碍。

然而，随着图像语义分割模型在日常生活尤其是社交网络平台的广泛应用，图像语义分割模型也带来了新的潜在的信息安全问题。例如用户，尤其是名人，经常依赖虚拟背景、背景自动模糊或去除等操作以在分享个人生活的同时保护个人信息。这些信息模糊方式使得许多不健康图像更易在网络上传播，如黄色图片、暴力图片、赌博图片与毒品图片等。由于这些智能应用多数在离线状态下也能使用，使得对这些不健康图片的实时检测变得尤为困难，当其已发布到网络后再进行删除则有可能已经造成了不良影响，因此对该类图片能够实现不易被用户察觉到的快速的预检具有重要意义。

由于这些智能功能依赖图像语义分割模型，而深度神经网络模型易于受到后门控制，因此可以在模型训练期间污染训练数据集或者修改模型结构参数等方式向深度神经网络中注入后门来控制模型的行为实现图像预检，植入的后门通常不会对模型原始的正常功能造成影响，但在遇到特定触发输入时则会导致模型输出者期望的结果。对于语义分割模型，如背景自动去除功能目的在于保护用户信息，然后植入后门的语义分割模型则可以同时实现图像的预检而不易被恶意用户察觉。

发明内容

本发明的目的在于提供一种针对图像语义分割模型的图像预检方法和系统。本发明可以在不影响模型正常语义分割功能的前提下，以一种用户难以察觉的方式，传递用户图像是否为恶意图片的信息等。

本发明采用的技术方案如下：

一种针对图像语义分割模型的图像预检方法，包括以下步骤：

利用能够识别目标信息的分类模型，对图像语义分割模型的训练数据集进行分类，实现对训练数据集的污染；

修改图像语义分割模型，使其能够有效学习隐藏信息分类任务；

通过设计目标函数，基于已污染的训练数据集训练修改后的图像语义分割模型，得到具有信息传递功能的图像语义分割模型；

利用训练完成的具有信息传递功能的图像语义分割模型，识别待检测图像其中的隐藏图案并提取分类信息。

进一步地，所述利用能够识别目标信息的分类模型，对图像语义分割模型的训练数据集进行分类，实现对训练数据集的污染，包括：

确定目标信息，并指定其有效类别，得到目标信息类别集合C；

获取能够识别目标信息类别集合C中类别的神经网络分类模型M；

利用获取的神经网络分类模型M检测并分类训练数据集中的所有样本，将分类结果写入训练数据集的标签中作为隐藏标签。

进一步地，所述目标信息类别集合C包括涉黄、涉毒、暴力或正常等。

进一步地，所述修改图像语义分割模型，包括：

加入全连接层：针对图像语义分割模型，在其最后一层卷积层后，接入一层或两层全连接层，全连接层输出为N维向量，N为目标信息类别集合C中的类别数；

连通全连接层与预测层：将加入的全连接层的预测输出与图像语义分割模型的预测输出层相连，基于目标信息类别集合C中每一个类别约定的掩码图案，分别将全连接输出结果映射至掩码位置。

进一步地，所述目标函数定义为：

loss＝α·loss

其中，loss

进一步地，所述利用训练完成的具有信息传递功能的图像语义分割模型，识别待检测图像其中的隐藏图案并提取分类信息，包括：

获取用户在社交平台或网络中发布出的经语义分割处理后的图像；

利用训练完成的图像语义分割模型，提取图像中用于标记信息类别的掩码位置；

对照掩码形状，识别信息类别并获取该类别信息。

一种采用上述方法的针对图像语义分割模型的图像预检方法系统，其包括：

训练数据集污染模块，用于利用能够识别目标信息的分类模型，对图像语义分割模型的训练数据集进行分类，实现对训练数据集的污染；

模型结构修改模块，用于修改图像语义分割模型，使其能够有效学习隐藏信息分类任务；

信息传递功能植入模块，用于通过设计目标函数，基于已污染的训练数据集训练修改后的图像语义分割模型，得到具有信息传递功能的图像语义分割模型。

预检信息获取模块，用于利用训练完成的具有信息传递功能的图像语义分割模型，识别待检测图像其中的隐藏图案并提取分类信息。

与现有技术相比，本发明的积极效果为：

本发明针对语义分割在背景自动清除功能的广泛应用，提出了一种针对图像语义分割神经网络模型的图像预检技术，该技术通过利用后门植入方法，能够在不影响模型正常语义分割功能的前提下，对图像实现预检，防止恶意图像流入网络，维护网络生态安全。

本发明提出的方法在用户离线使用语义分割模型时，也能实现用户图像的预检。

本发明提出的信息传递方法难以被代码检查检测。

附图说明

图1为本发明整体流程图。

图2为训练数据集污染流程图。

图3为模型结构修改示意图。其中，Input DEM表示输入图像；Predicted Mask表示语义分割的预测结果，每个像素值代表输入图像中该像素所属目标类别；带五角星的黑色方块表示本发明中定义的掩码图案。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步说明。

1.本发明的整体流程如图1所示，包含如下要点：

1.1.训练数据集污染：确定目标信息，利用能够识别目标信息的已有分类模型，对图像语义分割模型的训练数据集进行分类，将分类结果写入训练数据集的标签中，作为隐藏标签，从而实现对训练数据集的污染。

1.2.模型结构修改：修改图像语义分割模型架构，使其能够有效学习隐藏信息分类任务。

1.3.信息传递功能植入：通过设计目标函数，并基于已污染的训练数据集训练步骤1.2修改后的图像语义分割模型，得到具有信息传递功能的图像语义分割模型。

1.4.预检信息获取：通过用户在社媒体平台或其他任何渠道分享的经语义分割处理后的图像信息，利用步骤1.3训练完成的具有信息传递功能的图像语义分割模型识别其中的隐藏图案，并提取信息分类信息。

2.如要点1.1所述，训练数据集污染的流程如图2所示，包含如下几个步骤：

1.1.1.确定目标信息(或称为目标预检信息)：确定需要传递的信息范围，并指定有效类别，如预期传递信息为图像类型，目标信息类别集合C则可包括涉黄、涉毒、暴力或正常等。

1.1.2.获取信息分类模型：针对2.1中的目标信息类别集合C，需获取能够识别C中类别的神经网络图像分类模型M(即图2中的图像信息分类模型)，M可以是已有模型或基于类别集合C构建新数据集训练得到的模型。

1.1.3.污染训练集标签：基于2.2中获取的信息分类模型M，利用M检测并分类图像语义分割任务的训练数据集M_seg的所有样本，将预测的分类结果写入M_seg数据集的标签中作为隐藏标签。

3.如要点1.2所述，图像语义分割模型修改如图3所示，包含如下几个步骤：

1.2.1加入全连接层：针对目标图像语义分割模型，在其最后一层卷积层后(升采样层之前)，接入一层(或两层)全连接层，全连接层输出为N维向量，N为集合C中的类别数。

1.2.2连通全连接层与预测层：将3.1中加入的全连接层的预测输出与语义分割模型的预测输出层相连，基于类别集合C中每一个类别约定的掩码图案，掩码图案为一个值为1或者0的矩阵，矩阵大小与模型输入图像大小相同，图案形状可由模型训练者自定义约定且不同类别的掩码图案应不同，分别将全连接输出结果y映射至掩码位置。

4.如要点1.3所述，通过设计目标函数，并基于1.1节中的污染训练数据集训练图像语义分割模型。目标函数定义为：

loss＝α·loss

loss

loss

α为两项目标损失值的调节参数。

5.如要点1.4所述，信息获取包含如下步骤：

1.4.1.获取用户在社交平台或网络中发布出的经语义分割处理后的图像。

1.4.2.利用步骤4训练完成的图像语义分割模型，提取图像中用于标记信息类别的掩码位置。

1.4.3.对照掩码形状，识别信息类别并获取该类别信息。

基于同一发明构思，本发明的另一实施例提供一种采用上述方法的针对图像语义分割模型的图像预检方法系统，其包括：

训练数据集污染模块，用于利用能够识别目标信息的分类模型，对图像语义分割模型的训练数据集进行分类，实现对训练数据集的污染；

模型结构修改模块，用于修改图像语义分割模型，使其能够有效学习隐藏信息分类任务；

信息传递功能植入模块，用于通过设计目标函数，基于已污染的训练数据集训练修改后的图像语义分割模型，得到具有信息传递功能的图像语义分割模型。

预检信息获取模块，用于利用训练完成的具有信息传递功能的图像语义分割模型，识别待检测图像其中的隐藏图案并提取分类信息。

基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。