一种内容风险控制方法和装置

技术领域

本发明涉及安全技术领域，特别涉及一种内容风险控制方法和装置。

背景技术

内容风险检测是利用计算机自然语言处理技术和视觉技术判断文字或者图片中是否存在黄暴恐、广告引流等风险。

目前的内容检测方法比较单一，如通过图片黑名单检测、敏感词库检测等检测方法。

在实现本申请的过程中，发明人发现使用上述内容风险检测方法检测到风险内容，并进行消息拦截处理时，大量风险内容容易被漏检，且效率低下。

发明内容

有鉴于此，本申请提供一种内容风险控制方法和装置，能够提高风险检测的准确率和召回率。

为解决上述技术问题，本申请的技术方案是这样实现的：

在一个实施例中，提供了一种内容风险控制方法，所述方法包括：

监控设备之间的消息；

基于预设识别模型，以及预设样本库分别对监控到消息进行内容识别；

若基于所述预设识别模型，和/或所述预设样本库识别所述消息中存在风险内容，则将所述消息拦截；

获取发送存在风险内容的消息的用户在预设时间内发送的消息；并基于预设分析模型对获取的消息进行行为特征分析；

若分析确定存在风险行为，则对存在风险行为的用户发送的消息进行拦截。

在另一个实施例中，提供了一种内容风险控制装置，所述装置包括：监控单元、识别单元、拦截单元、获取单元、分析单元；

所述监控单元，用于监控设备之间的消息；

所述识别单元，用于基于预设识别模型，以及预设样本库分别对监控到消息进行内容识别；

所述拦截单元，用于若所述识别单元基于所述预设识别模型，和/或所述预设样本库识别所述消息中存在风险内容，则将所述消息拦截；若所述分析单元分析确定存在风险行为，则对所述存在风险行为的用户发送的消息进行拦截；

所述获取单元，用于获取发送所述识别单元识别出风险内容的消息的用户在预设时间内发送的消息；

所述分析单元，用于基于预设分析模型对所述获取单元获取的消息进行行为特征分析。

在另一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述内容风险控制方法的步骤。

在另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述内容风险控制方法的步骤。

由上面的技术方案可见，上述实施例中实时基于预设识别模型和预设样本库对实时监测到的消息进行风险内容的识别，并对发送识别出的风险内容的消息的用户进行行为特征分析，能够提高风险检测的准确率和召回率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一中内容风险控制流程示意图；

图2为本申请实施例二中内容风险控制流程示意图；

图3为本申请实施例三中内容风险控制流程示意图；

图4为本申请实施例四中内容风险控制流程示意图；

图5为本申请实施例中应用于上述技术的装置结构示意图；

图6为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本申请实施例中提供一种内容风险控制方法，应用于即时通讯系统中，通过在通信设备之间部署内容风险控制装置，来实现内容风险控制。

该方法通过预设识别模型和预设样本库对实时监控到的消息同时进行风险内容识别；在识别出风险内容后不仅拦截该消息，并且对预设时间内发送该消息的用户发送的所有消息基于预设分析模型进行行为特征分析，在分析确定存在风险行为时，对存在风险行为的用户发送的消息进行拦截。该方案能够通过全面检测、分析拦截存在风险内容的消息，并提高拦截效率。

本申请实施例中需要预先建立预设识别模型、预设样本库、预设分析模型和预设分类模型，具体如下：

预设识别模型的建立：

基于深度学习算法建立初始识别模型；

使用本申请中的预设样本库，或者指定的样本库进行训练，获取预设识别模型。

预设样本库，指定的样本库中，包括风险图片和风险文字。

预设样本库的建立：

获取风险图片和风险文字，组成预设样本库；

预设样本库可以在内容风险控制过程中根据具体情况增加风险图片，和/或风险文字。

在具体实现时，可以周期使用不同的样本库对所述预设识别模型进行训练，也可以在所述预设样本库更新后，或周期使用所述预设样本库对所述预设识别模型进行训练。

预设分析模型的建立：

根据预设规则建立分析模型，如预设规则为预设时间内批量发送消息，和/或预设时间内发送同一类消息到大批量服务提供者，如大于预设值，则认为是大批量，存在符合规则的批量消息，则认为存在风险行为；将预设的规则组合建立预设分析模型。

预设分类模型的建立：

这里的分类模型为二分类识别模型，即基于大量风险消息和非风险消息进行分类算法的训练，建立分类模型，可以识别出一条消息是否为风险消息。

下面结合附图，详细描述本申请实施例中实现内容风险控制过程。

实施例一

本实施例中针对内容风险进行实时控制。

参见图1，图1为本申请实施例一中内容风险控制流程示意图。具体步骤为：

步骤101，监控设备之间的消息。

这里监控设备之间的消息，会监控到所有消息，但是由于处理的时效性，不能实时处理所有消息，这里处理实时能够处理的消息即可。

设备之间的消息，包括客户端和客户端之间的消息，客户端和服务器之间的消息，服务器和服务器之间的消息，如电商中买家与卖家设备之间的即时通讯的消息。

步骤102，基于预设识别模型，以及预设样本库分别对监控到消息进行内容识别。

针对一条消息，同时基于预设识别模型和预设样本库进行内容识别，降低漏检率。

步骤103，若基于所述预设识别模型，和/或所述预设样本库识别所述消息中存在风险内容，则将所述消息拦截。

在进行内容识别过程中，只要预设识别模型和预设样本库其一识别出风险内容，则确定所述消息存在风险内容。

若基于所述预设识别模型识别出所述消息中的风险内容，且基于所述预设样本库未识别出所述消息中的风险内容，则所述方法进一步包括：

将基于所述预设识别模型识别出的风险内容添加到所述预设样本库中，其中，所述风险内容包括图片，和/或文字。

步骤104，获取发送存在风险内容的消息的用户在预设时间内发送的消息；并基于预设分析模型对获取的消息进行行为特征分析。

由于本实施例中是实时控制，因此，这里的预设时间可以选择短一点的时间，至于具体设置多长的时间段根据实际应用进行设置，本申请实施例中对此不进行限制。

步骤105，若分析确定存在风险行为，则对存在风险行为的用户发送的消息进行拦截。

若基于预设分析模型分析确定存在风险行为，则需要对发送所述消息的用户发送的消息进行拦截，即确定这个用户的用户标识为风险标识，对该用户标识对应的消息进行实时拦截。

在具体实现时，可以对所述用户发送的所有消息进行拦截，也可以仅对符合预设分析模型分析存在风险行为的同一类消息进行拦截。

本实施例中实时基于预设识别模型和预设样本库对实时监测到的消息进行风险内容的识别，并对发送识别出的风险内容的消息的用户进行行为特征分析，能够提高风险检测的准确率和召回率。

本申请实施例中的预设识别模型是基于深度学习算法建立的，由于同时建立了行为识别模型和预设样本库，即黑名单的实时拦截，与预设识别模型进行优势互补，满足即时通讯系统的高并发、低时效的要求，提高用户体验的同时保证了风险检测的准确率和召回率。如果仅仅使用预设识别模型来进行内容风险检测，置信阈值需设置为0.7，才可以把内容风险检测出来，但是误检率会大大上升，用户体检非常不好。本申请实施例中置信阈值设置为0.9，甚至更高，基于行为识别模型和预设样本库的优势互补，也可以保证内容检测的准确性，避免出现误检。

实施例二

本申请实施例中对实施例一中分析出的存在风险行为的用户发送的图片进行准实时处理。

参见图2，图2为本申请实施例二中内容风险控制流程示意图。具体步骤为：

步骤201，周期获取存在风险内容的消息中的图片，以及存在风险行为的用户发送的图片。

在实施例一中，对识别出的存在风险内容的消息，以及存在风险行为的用户进行标记。

本实施例中对标记为存在风险内容的消息中的图片，以及存在风险行为的用户发送的图片，进行识别处理。

这里的周期可以为N小时等，对此不进行限制，根据实际场景需要来确定周期间隔的长短。

步骤202，对获取的图片进行光学字符检测，并将获取的图片与预设样本库中的图片进行相似度匹配。

本实施例中为了提高时效性，对图片同时进行光学字符检测，以及相似度比较。

如果时效允许的情况下，也可以先进行光学字符检测，对未检测出设置的风险文字的图片再进行相似度比较，或先进行相似度进行比较，对不相似的图片再进行光学字符检测，本申请实施例中对此不进行限制。

这里的光学字符检测，可以为OCR检测。用于检测图片中时都含有风险文字，如广告骚扰文字等。

本申请实施例中使用所述图片与预设样本中的图片进行相似度比对，并确定是否相似的具体实现不进行限制。

步骤203，若检测到所述图片中包含设置的风险文字，和/或所述图片与所述预设样本库中的图片相似，则将所述图片添加到所述预设样本库中。

只要图片中含有设置的风险文字，以及与所述预设样本库中的图片相似两个条件至少满足其一，则确定所述图片为风险图片，会添加到预设样本库中。

通过本实施例进一步完善了预设样本库，在后续通过预设样本库训练预设识别模型，能够大大加大实时控制的效率和准确度。

实施例三

本实施例中周期性获取设备之间的消息，并行准实时策略处理。

参见图3，图3为本申请实施例三中内容风险控制流程示意图。具体步骤为：

步骤301，周期获取设备之间的确定为风险消息之外的消息，基于预设分类模型确定所述消息中的风险消息。

其中，所述风险消息包括确定存在风险内容的消息，以及存在风险行为的用户发送的消息。

本实施例中的周期与实施例二中的周期可以相同也可以不同，实施例二和实施例三中的周期对应的时间长度可以大于实施例一中的预设时间的时间长度，对此不进行限制。

步骤302，基于预设分析模型对发送所述风险消息的用户在当前周期所发送的消息进行行为特征分析。

步骤303，若分析确定存在风险行为，则对存在风险行为的用户在当前周期之后发送的消息进行拦截。

若基于预设分析模型分析确定存在风险行为，则需要对发送所述消息的用户发送的消息进行拦截，即确定这个用户的用户标识为风险标识，对该用户标识对应的消息进行实时拦截。

在具体实现时，可以对所述用户发送的所有消息进行拦截，也可以仅对符合预设分析模型分析存在风险行为的同一类消息进行拦截。

本实施例中准实时基于预设分类模型对实时监测到未能识别出的消息进行风险消息的识别，并对发送识别出的风险内容的消息的用户进行行为特征分析，对实时不能识别的风险内容进一步进行识别，能够提高风险检测的准确率和召回率。

实施例四

本实施例中对实施例三中周期性获取的设备之间的消息中的图片进行准实时处理。

参见图4，图4为本申请实施例四中内容风险控制流程示意图。具体步骤为：

步骤401，获取当前周期中基于预设分类模型确定的风险消息中的图片，以及存在风险行为的用户发送的图片。

这里获取的图片是基于实施例三中获取的风险消息中的图片。

这里的周期可以为N小时等，对此不进行限制，根据实际场景需要来确定周期间隔的长短。

步骤402，对当前周期获取的图片进行光学字符检测，并将获取的图片与预设样本库中的图片进行相似度匹配。

本实施例中为了提高时效性，对图片同时进行光学字符检测，以及相似度比较。

如果时效允许的情况下，也可以先进行光学字符检测，对未检测出设置的风险文字的图片再进行相似度比较，或先进行相似度进行比较，对不相似的图片再进行光学字符检测，本申请实施例中对此不进行限制。

这里的光学字符检测，可以为OCR检测。用于检测图片中时都含有风险文字，如广告骚扰文字等。

本申请实施例中使用所述图片与预设样本中的图片进行相似度比对，并确定是否相似的具体实现不进行限制。

步骤403，若检测到所述图片中包含设置的风险文字，和/或所述图片与所述预设样本库中的图片相似，则将所述图片添加到所述预设样本库中。

将所述图片添加到所述预设样本库中，用于后期的实时拦截。

通过本实施例进一步完善了预设样本库，在后续通过预设样本库训练预设识别模型，能够大大加大实时控制的效率和准确度。

本实施例三和实施例四中周期进行准实时策略处理，在具体实现时，也可以划分不同周期，即不同时间间隔进行准实时策略，如实施例三和四中的周期可以设置为1小时，那么还可以设置周期为5小时基于实施例三和实施例四中未确定为风险消息的消息进行准实施例策略处理，这里仅是一种举例，本申请实施例中限制准实时策略的周期，也不限制设置几个不同周期的准实时策略的处理。

本申请实施例中的预设识别模型是基于深度学习算法建立的，由于同时建立了行为识别模型和预设样本库，即黑名单的实时拦截，与预设识别模型进行优势互补，满足即时通讯系统的高并发、低时效的要求，提高用户体验的同时保证了风险检测的准确率和召回率。如果仅仅使用预设识别模型来进行内容风险检测，置信阈值需设置为0.7，才可以把内容风险检测出来，但是误检率会大大上升，用户体检非常不好。本申请实施例中置信阈值设置为0.9，甚至更高，基于行为识别模型和预设样本库的优势互补，也可以保证内容检测的准确性，避免出现误检。

本申请实施例提供的技术方案不仅做到了行为风险的拦截，同时做到了行为-内容，内容-内容的扩展，反哺了单纯基于内容的深度学习算法的泛化能力的不足并降低了迭代的成本。使用多个算法并行检测，同时将算法之间进行数据互补，提高准确率的同时也提高的召回率，极大程度的提高用户体验。

基于同样的发明构思，本申请实施例中还提供一种内容风险控制装置。参见图5，图5为本申请实施例中应用于上述技术的装置结构示意图。所述装置包括：监控单元501、识别单元502、拦截单元503、获取单元504、分析单元505；

监控单元501，用于监控设备之间的消息；

识别单元502，用于基于预设识别模型，以及预设样本库分别对监控到消息进行内容识别；

拦截单元503，用于若识别单元502基于所述预设识别模型，和/或所述预设样本库识别所述消息中存在风险内容，则将所述消息拦截；若分析单元505分析确定存在风险行为，则对所述存在风险行为的用户发送的消息进行拦截；

获取单元504，用于获取发送识别单元502识别出风险内容的消息的用户在预设时间内发送的消息；

分析单元505，用于基于预设分析模型对获取单元504获取的消息进行行为特征分析。

优选地，

所述识别单元，进一步用于若基于所述预设识别模型识别出所述消息中的风险内容，且基于所述预设样本库未识别出所述消息中的风险内容，则将基于所述预设识别模型识别出的风险内容添加到所述预设样本库中，其中，所述风险内容包括图片，和/或文字。

所述装置进一步包括：处理单元506；

优选地，

所述获取单元，进一步用于周期获取存在风险内容的消息中的图片，以及存在风险行为的用户发送的图片；

所述处理单元，用于对所述获取单元获取的图片进行光学字符检测，并将获取的图片与预设样本库中的图片进行相似度匹配；

所述识别单元，进一步用于若所述处理单元检测到所述图片中包含设置的风险文字，和/或所述图片与所述预设样本库中的图片相似，则将所述图片添加到所述预设样本库中。

优选地，

所述获取单元，进一步用于周期获取设备之间的确定为风险消息之外的消息；其中，所述风险消息包括确定存在风险内容的消息，以及存在风险行为的用户发送的消息；

所述识别单元，进一步用于基于预设分类模型确定所述获取单元获取的消息中的风险消息；

所述分析单元，进一步用于基于预设分析模型对发送所述风险消息的用户在当前周期所发送的消息进行行为特征分析；

所述拦截单元，进一步用于若所述分析单元分析确定存在风险行为，则对存在风险行为的用户在当前周期之后发送的消息进行拦截。

优选地，

所述获取单元，进一步用于获取当前周期中基于预设分类模型确定的风险消息中的图片，以及存在风险行为的用户发送的图片；

所述处理单元，用于对当前周期所述获取单元获取的图片进行光学字符检测，并将获取的图片与预设样本库中的图片进行相似度匹配；

所述识别单元，进一步用于若所述处理单元检测到所述图片中包含设置的风险文字，和/或所述图片与所述预设样本库中的图片相似，则将所述图片添加到所述预设样本库中。

优选地，

识别单元502，进一步用于基于所述预设样本库周期训练所述预设识别模型，所述预设识别模型基于深度学习算法建立。

上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。

在另一个实施例中，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述内容风险控制方法的步骤。

在另一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现所述内容风险控制方法中的步骤。

图6为本发明实施例提供的电子设备的实体结构示意图。如图6所示，该电子设备可以包括：处理器(Processor)610、通信接口(Communications Interface)620、存储器(Memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如下方法：

监控设备之间的消息；

基于预设识别模型，以及预设样本库分别对监控到消息进行内容识别；

若基于所述预设识别模型，和/或所述预设样本库识别所述消息中存在风险内容，则将所述消息拦截；

获取发送存在风险内容的消息的用户在预设时间内发送的消息；并基于预设分析模型对获取的消息进行行为特征分析；

若分析确定存在风险行为，则对存在风险行为的用户发送的消息进行拦截。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。