一种图像数据多模态合规检测方法

技术领域

本发明涉及深度学习技术领域，具体为一种图像数据多模态合规检测方法。

背景技术

随着互联网、大数据技术的发展，数据的交易与传播越发频繁。数据的传播需要符合相关法律法规的要求，传播含有有害信息的数据将产生法律风险。

现有技术中，相比于文字数据以及可以转换为文字数据的语音数据，图像数据中所蕴含的信息更难进行识别，对图像是否含有涉黄、暴力、违禁物品等敏感违规信息进行检测也更加困难。电子商务、电子政务等系统每天都需要处理大量的图像数据，而且随着时间推移，敏感违规图像的种类也在不断变化，如果不能及时更新敏感违规图像的检测方法，可能会造成严重的不良影响。

发明内容

本发明的目的在于提供一种图像数据多模态合规检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种图像数据多模态合规检测方法，所述方法包括以下步骤：

选用CLIP视觉语言模型作为基础模型；

构建图像数据集；

构建违规敏感信息的文字描述；

使用CLIP模型将违规敏感信息的文字描述进行向量化；

将训练集中的图像使用CLIP模型进行向量化；

设定阈值，利用图像的违规概率进行分类；

在测试集中测试检测效果，并根据效果调整文字描述和阈值；

部署到服务器上，使用构造的文字描述和阈值，利用CLIP模型进行图像合规性检测。

优选的，构建图像数据集，包括含有需要检测的违规敏感信息的图片和不含违规敏感信息的图片，并分出训练集和测试集。

优选的，构建违规敏感信息的文字描述，分为含有违规信息图像的特征描述与不含违规信息图像的特征描述。

优选的，将训练集中的图像使用CLIP模型进行向量化，并与使用CLIP模型将违规敏感信息的文字描述进行向量化中的文字描述向量一起计算余弦相似度和违规概率。

优选的，利用CLIP模型进行图像合规性检测后，屏蔽违规图像。

与现有技术相比，本发明的有益效果是：

本发明提出的图像数据多模态合规检测方法，通过构造合适的违规信息文字描述，使用视觉语言模型CLIP对图像进行合规性检测，判断图像中是否包含指定的违规信息，并采取措施防止违规图像的传播；将视觉语言模型部署后，无须提供大量违规敏感图像的样例，只用提供对敏感信息的文字描述，即可得到图像与该敏感信息的吻合程度。如果发现有图像与敏感信息的吻合程度很高，系统会将此图片屏蔽，并向管理员汇报，由管理员根据实际情况进行处理。通过此举，管理员可以随时修改对违规敏感信息的定义，实现对违规敏感图像的快速识别和处理。

附图说明

图1为本发明方法流程图。

具体实施方式

为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种图像数据多模态合规检测方法，所述方法包括以下步骤：

1.选用CLIP视觉语言模型作为基础模型。

2.构建一个图像数据集，包括含有需要检测的违规敏感信息的图片和不含违规敏感信息的图片各100张，其中违规图片和非违规图片各50％作为训练集，50％为测试集。

3.构建违规敏感信息的文字描述。文字描述可以为多条，具体分为两类：第一类为对含有该违规敏感信息的图像特征的描述，至少需要一条；第二类为对不含该违规敏感信息图像特征的描述，至少需要一条。例如要检测血腥暴力内容时，可以令第一类描述为“图片涉及血腥内容”、“图片包含暴力行为”、“杀人放火”；令第二类描述为“图片适合未成年人”、“图片内容平和且冷静”。

4.使用CLIP模型将违规敏感信息的文字描述进行向量化，分别得到第一类描述的向量表示：T

5.将训练集中的图像使用CLIP模型进行向量化，得到图像的向量表示。对每一个图像向量I，计算余弦相似度:

并计算图像的违规概率

6.根据图像的违规概率进行分类。设置阈值C，当P>C时判定图像违规。将分类结果与图像的实际类别进行比对，计算分类指标准确率、召回率与F1值。

7.计算测试集的分类F1值，并根据F1值修改违规敏感信息的文字描述，并重复步骤4到步骤6，直到F1值达到预期水平。

8.部署到需要图像合规检测的服务器上。对图片进行合规检测时，违规敏感信息的文字描述与阈值不再改变。对每张待检测图片计算违规概率，概率超过阈值时，判定图片违规，屏蔽图片并报告管理员。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。