基于相似性的恶意信息检测方法、装置及处理器

技术领域

本申请涉及深度学习中的图像和文本识别领域，具体涉及一种基于相似性的恶意信息检测方法、装置、存储介质及处理器。

背景技术

现阶段，信息传送的监管体制都在逐步完善，例如，为避免传送信息中包含恶意信息(恶意图片，用来传播营销信息；恶意文本，用来传播个人隐私信息)，审核机构就需要在信息发布之前，或信息传送之间对传送的信息进行智能化审核。

对于恶意视频直播中的文本的检测方式可以通过对语义进行分析，从而攻击行为监测预警系统，目前主要是通过提取关键词的方式，并将其和非文明用语进行匹配，从而实现对视频中文本的检测。但对于图片来说，通常是通过计算待识别图片和恶意图片之间的匹配度，从而实现恶意图片的检测。虽然该方法可以实现对视频中文字的分析，但由于视频数据量巨大，并且渠道繁多，视频发布者只需对敏感词汇进行修改、规避或是修改恶意图片上的像素，即可躲避智能化的检查，因此该方法具有一定的局限性，识别恶意图片的准确率较低。

发明内容

本申请实施例的目的是提供一种基于相似性的恶意信息检测方法、装置、存储介质及处理器，适用于审核机构在进行视频或图片审核时，提高审核的准确率。

为了实现上述目的，本申请第一方面提供一种基于相似性的恶意信息检测方法，其特征在于，包括以下步骤：获取待审核视频；从所述待审核视频中截取待审核图片；判断待审核图片是否为非恶意图片：提取所述待审核图片的图像信息；计算所述图像信息与预设恶意图片库中的恶意图像信息之间的第一相似度；若所述第一相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；否则，判断所述待审核图片中是否包含文本信息；若不包含文本信息，则将所述待审核图片归类为非恶意图片；若包含文本信息，则提取所述待审核图片的文本信息，计算所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度；若所述第二相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；否则，将所述待审核图片归类为非恶意图片；判断截取的所有待审核图片是否均为非恶意图片，若是，将所述待审核视频归类为非恶意视频，否则，将所述待审核视频归类为恶意视频。

基于第一方面，在本发明一些实施例中，所述判断所述待审核图片中是否包含文本信息，包括：利用训练好的轻量化神经网络模型识别待审核视频中的文本信息。

基于第一方面，在本发明一些实施例中，所述文本信息包括：文本位置和文本内容。

基于第一方面，在本发明一些实施例中，所述提取所述待审核图片的文本信息，包括：针对所述文本位置，利用训练好的注意力网络模型提取文本位置；针对所述文本内容，利用训练好的长短时记忆网络模型的解码器提取文本内容。

基于第一方面，在本发明一些实施例中，所述预设恶意图片库中，依据恶意图片的类型将恶意图片划分为多个类簇；所述方法还包括：对归类为恶意图片的待审核图片进行分类，具体包括以下步骤：将待分类恶意图片分别与各类簇中的恶意图片进行匹配，以计算待分类恶意图片与各类簇的匹配度；将待分类恶意图片分类至与其具有最高匹配度Pm的类簇中；若存在待分类恶意图片与其他类簇的匹配度Px与最高匹配度Pm的差值小于阈值Y，即： P

基于第一方面，在本发明一些实施例中，所述待审核图片的文本信息包括第一文本内容，所述预设恶意文字库中的恶意文本信息包括第二文本内容；所述计算所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度，包括：将所述第一文本内容向量化，形成第一向量；将所述第二文本内容向量化，形成第二向量；计算所述第一向量与所述第二向量之间的余弦相似度距离，以作为所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度。

第二方面，本发明提供一种基于相似性的恶意信息检测装置，包括：第一采集模块，用于获取待审核视频；第二采集模块，用于从所述待审核视频中截取待审核图片；第一判断执行模块，用于判断待审核图片是否为非恶意图片，步骤包括：提取所述待审核图片的图像信息；计算所述图像信息与预设恶意图片库中的恶意图像信息之间的第一相似度；若所述第一相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；否则，判断所述待审核图片中是否包含文本信息；若不包含文本信息，则将所述待审核图片归类为非恶意图片；若包含文本信息，则提取所述待审核图片的文本信息，计算所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度；若所述第二相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；否则，将所述待审核图片归类为非恶意图片；第二判断执行模块，用于判断截取的所有待审核图片是否均为非恶意图片，若是，将所述待审核视频归类为非恶意视频，否则，将所述待审核视频归类为恶意视频。

基于第二方面，在本发明一些实施例中，所述文本信息包括：文本位置和文本内容；所述第一判断执行模块包括：第一提取单元：用于提取所述文本位置；第二提取单元：用于提取所述文本内容。

第三方面，本发明提供一种处理器，被配置成执行上述的基于相似性的恶意信息检测方法。

第三方面，本发明提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的基于相似性的恶意信息检测方法。

本发明从图像、文字两方面出发，对待审核图片(视频)进行检测，以提高检测的准确性，并依据是否包含文本对图片进行分类，以提高检测效率。

本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1示意性示出了根据本申请实施例的基于相似性的恶意信息检测方法的应用环境示意图；

图2示意性示出了根据本申请实施例的基于相似性的恶意信息检测方法的流程示意图；

图3示意性示出了根据本申请实施例的基于相似性的恶意信息检测装置的结构框图；

图4示意性示出了根据本申请实施例的计算机设备的内部结构图。

附图标记说明

1-第一采集模块；2-第二采集模块；3-恶意信息检测模组；31-提取模块；32-计算模块；33-第一判断执行模块；4-第二判断执行模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后等)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

本申请提供的基于相似性的恶意信息检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

实施例1

图2示意性示出了根据本申请实施例的基于相似性的恶意信息检测方法的流程示意图。如图2所示，在本申请一实施例中，提供了一种基于相似性的恶意信息检测方法，本实施例主要以该方法应用于上述图1中的终端110 (或服务器120)来举例说明，包括以下步骤：

S1、获取待审核视频；

例如，若将该方法应用于短视频平台，则待审核视频的来源由创作者上传或发布。若审核对象为图片或文本，则该步骤可省略。

S2、从所述待审核视频中截取待审核图片；

视频文件通常数据量较大，若直接对视频文件进行检测，不仅会给处理器造成较大的压力，还会导致效率低下，因此，可通过定时；或不定时从视频中截取一定数量的图片进行检测，截取的规则可依据视频的类型进行更改 (例如每隔10s截取一张、着重截取视频中期的图片或是截取带有文字的图片等)，截取的数量则可基于视频的时长定比例截取，具体本实施例中不作限制。当然，若审核对象原本便是图片或文本，则该步骤可省略。

针对所述待审核图片：

S3、判断待审核图片是否为非恶意图片，具体包括：

S301、提取所述待审核图片的图像信息；

具体的，可利用已训练好的卷积神经网络模型提取待审核图片的图像信息、图像特征。可采用已有的方法进行图片的特征提取、处理。

S302、计算所述图像信息与预设恶意图片库中的恶意图像信息之间的第一相似度；

在预设恶意图片库中存储有众多不同类型的恶意图片极其图像特征，通过计算待审核图片的图像信息与恶意图像信息之间的相似度，以量化待审核图片与恶意图片的相似程度，当其相似度达到一定阈值，则认为待审核图片同属恶意图片。具体的可同通过训练神经网络模型比较待审核图片的图像特征与恶意图片的图像特征是否相似，以判断待审核图片与恶意图片是否相似。

S303、判断所述第一相似度是否高于阈值；

若所述第一相似度高于或等于阈值，则将所述待审核图片归类为恶意图片。示例性的，可将本步骤中的阈值设为50％，当第一相似度高于50％，则将所述待审核图片归类为恶意图片。当然，为避免机器判断失误，当相似度位于40％～55％之间时，可增加步骤，由人工审核判断。

若所述第一相似度低于阈值，则判断所述待审核图片中是否包含文本信息。当第一相似度低于阈值时，则认为图片的图像内容为非恶意的，但图片中除图片本身可能还存在文字、文本内容，而文本内容是否为非恶意的，则需要进一步判断。

具体的，对于识别图片中是否包含文本信息的主要框架，可使用轻量化神经网络网络模型，由此确定图片中是否包含文字，轻量化神经网络的别名为压缩神经网络，主要是通过对卷积操作中的卷积核进行改进，同时减少通道数，从而减少了卷积操作中的运算量，加速筛选的过程，其中，轻量化模型采用的是mobilenet网络，并在模型中间部分添加了一个对称金字塔结构的残差块以辅助获得图像特征信息。轻量化网络的优点是高效性和高召回率，其中，高效性的主要的含义是模型的复杂度小，操作的处理量小，速度快；高召回率的主要含义是期望文本图像的数量与检测失误率成反比，即数量多，但检测失误率低。这种特性能够实现主要依赖于网络设计和阈值的调整。

对于不包含文字信息的图片，则认为检测已经结束，将所述待审核图片归类为非恶意图片；

对于包含文字信息的图片，则提取所述待审核图片的文本信息，计算所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度；

S304、判断所述第二相似度是否高于阈值；

具体的，利用注意力网络对文本的布局信息(及文本在图片中的位置) 进行提取，最后利用长短时记忆网络的解码器对文本内容进行提取，提取过后将提取出来的文本与恶意文本库进行相似度匹配。

第二相似度的高低主要取决于待审核文本与恶意文本之间的相似度，而不在于文本的位置，提取文本的位置信息的主要目的在于，确定准确的文本识别区域，不针对整张图片进行识别，减少识别的工作量。

示例性的，待审核图片的文本信息包括第一文本内容，预设恶意文字库中的恶意文本信息包括第二文本内容；则计算第二相似度包括以下步骤：

A1、将所述第一文本内容向量化，以形成第一向量；

A2、将所述第二文本内容向量化，以形成第二向量；

A3、计算所述第一向量与所述第二向量之间的余弦相似度距离，以作为所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度。

若所述第二相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；

示例性的，可将本步骤中的阈值设为60％，当第二相似度高于60％，则将所述待审核图片归类为恶意图片。当然，为避免机器判断失误，当相似度位于50％～65％之间时，可增加步骤，由人工审核判断。

若所述第二相似度低于阈值，则将所述待审核图片归类为非恶意图片；

在第一相似度低于阈值(步骤S501中的阈值)的前提下，若所述第二相似度低于阈值，则意味着，虽然图片的图像本身没有恶意，但图片上的文字却是属于恶意信息，因此，此种情况下，仍是将图片归类为恶意信息。

S4、判断待审核视频是否为非恶意视频，具体包括：

若截取的所有待审核图片均为非恶意图片，则将所述待审核视频归类为非恶意视频，否则，则将所述待审核视频归类为恶意视频。

若审核的对象为视频，则可通过此步骤判断待审核视频是否携带恶意信息，若审核对象为图片或文本则可忽略此步骤。

实施例2

在实施例1中，无论是计算第一相似度或是第二相似度，均需要将待审核图片与恶意图片库/恶意文本库中的图片或文字一一进行对比，如此，其计算量会非常庞大。

示例性的，本实施例中，首先按照恶意图片的类型将恶意图片库中的恶意图片划分为多个类簇，并分别以类簇为单位总结该类图片的典型特征，例如针对暴力类的图片通常伴随着红色的血液、激烈的动作、惊惧害怕的表情等等。

通过提取待审核图片的特征，然后与各类簇的典型特征进行对比匹配，以计算待分类恶意图片与类簇的匹配度；

然后依据匹配度，从高到低进行排序，将待分类恶意图片分类至匹配度最高的类簇中。

进一步的，若存在其他类簇与待分类恶意图片的匹配度Px与最高匹配度Pm的差值小于阈值Y，即：|P

进一步的，可将识别出来的恶意图片或恶意文本，作为模型新的训练样本，加入到恶意文本库中进行下一次的相似度匹配，不断提高模型对恶意文本的识别能力。

实施例3

本实施例中，如图3所示，提供了一种基于相似性的恶意信息检测装置，其特征在于，包括：

第一采集模块1，用于获取待审核视频；

第二采集模块2，用于从所述待审核视频中截取待审核图片；

第一判断执行模块3，用于判断待审核图片是否为非恶意图片，步骤包括：提取所述待审核图片的图像信息；计算所述图像信息与预设恶意图片库中的恶意图像信息之间的第一相似度；若所述第一相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；否则，判断所述待审核图片中是否包含文本信息；若不包含文本信息，则将所述待审核图片归类为非恶意图片；若包含文本信息，则提取所述待审核图片的文本信息，计算所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度；若所述第二相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；否则，将所述待审核图片归类为非恶意图片；

第二判断执行模块4，用于判断截取的所有待审核图片是否均为非恶意图片，若是，将所述待审核视频归类为非恶意视频，否则，将所述待审核视频归类为恶意视频。

所述文本信息包括：文本位置和文本内容；所述第一判断执行模块3包括：

第一提取单元：用于提取所述文本位置；

第二提取单元：用于提取所述文本内容。

所述基于相似性的恶意信息检测装置包括处理器和存储器，上述各模块均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序模块中实现相应的功能。

具体的，若上述装置为虚拟装置，则可将其作为插件部署到浏览器中进行实施。具体的，该实施过程主要是利用QT插件机制，灵活地增加可用于识别恶意信息的识别插件。该识别插件为可以为QT中的应用插件，QT具备一套内置的插件机制，通过这种机制能够使软件支持用户设定的插件。其中，QT有两种与插件有关的API，第一种是用来对QT库本身进行扩充，称为高级API。而另外一种则是QT库开发出来的应用程序进行扩充。两种API 不同，后者是以前者为基础。本发明中，所采用的即是用来扩展应用程序的低级API。QT插件的流程分为两部分，包括应用程序支持插件和插件开发，其具体步骤为现有技术，本实施例不再赘述。

在程序中，我们将识别结果写入结构体中，将其制成识别插件即dll库 (动态链接库)，进而部署到浏览器中进行识别。

上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对基于相似性的恶意信息检测方法。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述基于相似性的恶意信息检测方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质 A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02 的运行提供环境。该计算机设备的数据库用于存储基于相似性的恶意信息检测数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种基于相似性的恶意信息检测方法。

本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的基于相似性的恶意信息检测装置可以实现为一种计算机程序的形式，计算机程序可在如图4所示的计算机设备上运行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/ 输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。