一种内容审核方法及终端

技术领域

本发明涉及计算机技术领域，特别涉及一种内容审核方法及终端。

背景技术

目前业内审核的方式一般是两种，一种是等待第三方接口审核，一种是自建屏蔽字库、图片识别、视频识别调用判断审核。

但是现有的审核方式存在以下缺点：

1.第三方审核占用耗时影响原先正常业务流程。以往对提交内容直接审核，占用了用户原先的业务流程，如果用第三方审核接口审核可能被限制于第三方提供的次数及返回时间，容易出现超过使用次数后不审核的情况，并且当网络出现问题时容易导致返回时间慢，出现超时不审核的情况，从而影响到当前用户所在的业务流程；单一的第三方审核方式无法满足需求就只能买更贵的套餐，审核成本高。

2.自研屏蔽审核的准确性达不到要求，审核成本高昂。主要在于屏蔽的准确性不好把握，容易出现漏屏蔽或者屏蔽错误的情况，相较于业内认同的百度、阿里或者微信等图片文字视频审核的方式来说，其准确性会大打折扣；如果自研图片和视频审核，研发成本也较高，即无论现有哪种方式都存在审核成本高的问题。

发明内容

本发明所要解决的技术问题是：提供一种内容审核方法及终端，能够在不影响正常业务的同时，提高审核的准确性且降低审核成本。

为了解决上述技术问题，本发明采用的技术方案为：

一种内容审核方法，包括步骤：

获取待发布内容，基于所述待发布内容异步发布审核事件；

判断所述待发布内容中是否包含图片或视频，若是，则根据所述待发布内容的渠道号调用复合审核接口，使用所述复合审核接口中的多个不同审核接口依次审核所述待发布内容的文本、图片或视频，否则，根据所述待发布内容的渠道号调用文本审核接口审核所述待发布内容；

获取所述复合审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况，对审核错误的所述待发布内容进行二次审核。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种内容审核终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待发布内容，基于所述待发布内容异步发布审核事件；

判断所述待发布内容中是否包含图片或视频，若是，则根据所述待发布内容的渠道号调用复合审核接口，使用所述复合审核接口中的多个不同审核接口依次审核所述待发布内容的文本、图片或视频，否则，根据所述待发布内容的渠道号调用文本审核接口审核所述待发布内容；

获取所述复合审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况，对审核错误的所述待发布内容进行二次审核。

本发明的有益效果在于：获取客户端发送的待发布内容，基于待发布内容异步发布审核事件，能够提供与用户业务层分离异步审核的方式，不会影响到玩家正常业务访问，从机制上解决了等待时长的问题；在内容审核的过程中，若待审核内容包含图片或视频，则调用复合审核接口进行审核，若待审核内容仅包括文本，则调用文本审核接口进行审核，多样化的审核模式和多重的审核机制能够保证审核的准确性，减少漏判的情况，相较于现有技术，采用多重审核机制能够减少第三方审核次数不足的问题，且能够减少审核成本；根据复合审核接口的回调数据获取并更新待发布内容的审核情况，对审核错误的所述待发布内容进行二次审核，从而通过良好的错误处理机制避免了出现网络等因素导致的阻塞情况，实现在不影响正常业务的情况下进行审核。

附图说明

图1为本发明实施例的一种内容审核方法的流程图；

图2为本发明实施例的一种内容审核终端的示意图；

图3为本发明实施例的一种内容审核方法的客户端提交数据的流程图；

图4为本发明实施例的一种内容审核方法的发布事件至消息队列进程的流程图；

图5为本发明实施例的一种内容审核方法的消息队列监听事件的流程图；

图6为本发明实施例的一种内容审核方法的审核流程图；

图7为本发明实施例的一种内容审核方法的异步回调更新流程图；

图8为本发明实施例的一种内容审核方法的二次审核流程图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1、图3至图8，本发明实施例提供了一种内容审核方法，包括步骤：

获取待发布内容，基于所述待发布内容异步发布审核事件；

判断所述待发布内容中是否包含图片或视频，若是，则根据所述待发布内容的渠道号调用复合审核接口，使用所述复合审核接口中的多个不同审核接口依次审核所述待发布内容的文本、图片或视频，否则，根据所述待发布内容的渠道号调用文本审核接口审核所述待发布内容；

获取所述复合审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况，对审核错误的所述待发布内容进行二次审核。

从上述描述可知，本发明的有益效果在于：获取客户端发送的待发布内容，基于待发布内容异步发布审核事件，能够提供与用户业务层分离异步审核的方式，不会影响到玩家正常业务访问，从机制上解决了等待时长的问题；在内容审核的过程中，若待审核内容包含图片或视频，则调用复合审核接口进行审核，若待审核内容仅包括文本，则调用文本审核接口进行审核，多样化的审核模式和多重的审核机制能够保证审核的准确性，减少漏判的情况，相较于现有技术，采用多重审核机制能够减少第三方审核次数不足的问题，且能够减少审核成本；根据复合审核接口的回调数据获取并更新待发布内容的审核情况，对审核错误的所述待发布内容进行二次审核，从而通过良好的错误处理机制避免了出现网络等因素导致的阻塞情况，实现在不影响正常业务的情况下进行审核。

进一步地，所述获取待发布内容之前包括：

通过客户端获取用户的提交内容，判断所述提交内容中是否包含图片或者视频，若是，则上传所述图片或者视频，并保存所述图片或者视频的信息为文件数据，根据所述文件数据与所述提交内容中的文本得到待发布内容；

否则，直接根据所述提交内容中的文本得到待发布内容。

由上述描述可知，上传用户提交内容中的图片和视频文件，并保存为文件数据，以便于后续对图片或者视频进行审核时，能够快速获取到对应的文件路径。

进一步地，基于所述待发布内容异步发布审核事件包括：

判断所述待发布内容是否为新增内容，若是，则发布写入事件和审核事件到消息队列进程中，否则，发布更新事件和审核事件到消息队列进程中；

通过所述消息队列进程监听接收到的事件类型，根据所述事件类型处理所述待发布内容。

由上述描述可知，若待发布内容是新增内容，则发布写入事件和审核事件到消息队列进程中，否则，发布更新事件和审核事件到消息队列进程中，因此能够在写入或更新发布内容的时候，异步发布对应的审核事件，从而不占用正常业务的耗时、不影响正常业务的进行。

进一步地，判断所述待发布内容中是否包含图片或视频，若是，则根据所述待发布内容的渠道号调用复合审核接口，使用所述复合审核接口中的多个不同审核接口依次审核所述待发布内容的文本、图片或视频，否则，根据所述待发布内容的渠道号调用文本审核接口审核所述待发布内容包括：

若所述待发布内容中包含文本，则根据所述待发布内容的文本审核渠道号调用对应的文本审核接口审核所述待发布内容的文本，若文本审核成功，则将所述待发布内容的状态修改为文本审核成功；

若所述待发布内容中包含图片，则获取所述文件数据，根据所述待发布内容的图片审核渠道号调用对应的图片审核接口审核所述文件数据中的图片，若图片审核成功，则更换图片审核接口进行审核，直至所有图片审核接口均审核成功后，则将所述待发布内容的状态修改为图片审核成功；

若所述待发布内容中包含视频，则获取所述文件数据，调用预设视频审核接口审核所述文件数据中的视频，若视频审核成功，则将所述待发布内容的状态修改为视频审核成功。

由上述描述可知，若待发布内容中包含文本，根据渠道号调用对应的文本审核接口，若审核成功则标记为文本审核成功；若待发布内容中包含图片，需要所有图片审核接口均审核文件数据成功，才能标记为图片审核成功；若待发布内容中包含视频，调用预设视频审核接口审核文件数据中的视频；因此对于不同类型的内容能够灵活设置对应的审核机制，通过多样化的审核模式和多重的审核机制能够保证审核的准确性。

进一步地，获取所述复合审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况包括：

获取复合审核接口中预设审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况；

所述对审核错误的所述待发布内容进行二次审核包括：

获取审核错误且标记为未审核的待发布内容，定时对所述未审核的待发布内容进行二次审核。

由上述描述可知，获取复合审核接口中预设审核接口的回调数据，根据回调数据获取并更新所述待发布内容的审核情况，能够及时更新图片审核或视频审核的审核情况；对于标记为未审核的待发布内容，定时进行二次审核，能够通过良好的错误处理避免出现网络等因素导致的阻塞情况，降低到最后需要人工审核的内容。

请参照图2，本发明另一实施例提供了一种内容审核终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待发布内容，基于所述待发布内容异步发布审核事件；

判断所述待发布内容中是否包含图片或视频，若是，则根据所述待发布内容的渠道号调用复合审核接口，使用所述复合审核接口中的多个不同审核接口依次审核所述待发布内容的文本、图片或视频，否则，根据所述待发布内容的渠道号调用文本审核接口审核所述待发布内容；

获取所述复合审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况，对审核错误的所述待发布内容进行二次审核。

由上述描述可知，获取客户端发送的待发布内容，基于待发布内容异步发布审核事件，能够提供与用户业务层分离异步审核的方式，不会影响到玩家正常业务访问，从机制上解决了等待时长的问题；在内容审核的过程中，若待审核内容包含图片或视频，则调用复合审核接口进行审核，若待审核内容仅包括文本，则调用文本审核接口进行审核，多样化的审核模式和多重的审核机制能够保证审核的准确性，减少漏判的情况，相较于现有技术，采用多重审核机制能够减少第三方审核次数不足的问题，且能够减少审核成本；根据复合审核接口的回调数据获取并更新待发布内容的审核情况，对审核错误的所述待发布内容进行二次审核，从而通过良好的错误处理机制避免了出现网络等因素导致的阻塞情况，实现在不影响正常业务的情况下进行审核。

进一步地，所述获取待发布内容之前包括：

通过客户端获取用户的提交内容，判断所述提交内容中是否包含图片或者视频，若是，则上传所述图片或者视频，并保存所述图片或者视频的信息为文件数据，根据所述文件数据与所述提交内容中的文本得到待发布内容；

否则，直接根据所述提交内容中的文本得到待发布内容。

由上述描述可知，上传用户提交内容中的图片和视频文件，并保存为文件数据，以便于后续对图片或者视频进行审核时，能够快速获取到对应的文件路径。

进一步地，基于所述待发布内容异步发布审核事件包括：

判断所述待发布内容是否为新增内容，若是，则发布写入事件和审核事件到消息队列进程中，否则，发布更新事件和审核事件到消息队列进程中；

通过所述消息队列进程监听接收到的事件类型，根据所述事件类型处理所述待发布内容。

由上述描述可知，若待发布内容是新增内容，则发布写入事件和审核事件到消息队列进程中，否则，发布更新事件和审核事件到消息队列进程中，因此能够在写入或更新发布内容的时候，异步发布对应的审核事件，从而不占用正常业务的耗时、不影响正常业务的进行。

进一步地，判断所述待发布内容中是否包含图片或视频，若是，则根据所述待发布内容的渠道号调用复合审核接口，使用所述复合审核接口中的多个不同审核接口依次审核所述待发布内容的文本、图片或视频，否则，根据所述待发布内容的渠道号调用文本审核接口审核所述待发布内容包括：

若所述待发布内容中包含文本，则根据所述待发布内容的文本审核渠道号调用对应的文本审核接口审核所述待发布内容的文本，若文本审核成功，则将所述待发布内容的状态修改为文本审核成功；

若所述待发布内容中包含图片，则获取所述文件数据，根据所述待发布内容的图片审核渠道号调用对应的图片审核接口审核所述文件数据中的图片，若图片审核成功，则更换图片审核接口进行审核，直至所有图片审核接口均审核成功后，则将所述待发布内容的状态修改为图片审核成功；

若所述待发布内容中包含视频，则获取所述文件数据，调用预设视频审核接口审核所述文件数据中的视频，若视频审核成功，则将所述待发布内容的状态修改为视频审核成功。

由上述描述可知，若待发布内容中包含文本，根据渠道号调用对应的文本审核接口，若审核成功则标记为文本审核成功；若待发布内容中包含图片，需要所有图片审核接口均审核文件数据成功，才能标记为图片审核成功；若待发布内容中包含视频，调用预设视频审核接口审核文件数据中的视频；因此对于不同类型的内容能够灵活设置对应的审核机制，通过多样化的审核模式和多重的审核机制能够保证审核的准确性。

进一步地，获取所述复合审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况包括：

获取复合审核接口中预设审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况；

所述对审核错误的所述待发布内容进行二次审核包括：

获取审核错误且标记为未审核的待发布内容，定时对所述未审核的待发布内容进行二次审核。

由上述描述可知，获取复合审核接口中预设审核接口的回调数据，根据回调数据获取并更新所述待发布内容的审核情况，能够及时更新图片审核或视频审核的审核情况；对于标记为未审核的待发布内容，定时进行二次审核，能够通过良好的错误处理避免出现网络等因素导致的阻塞情况，降低到最后需要人工审核的内容。

本发明的一种内容审核方法及终端，适用于为论坛或游戏客栈等交流平台提供了一个自动高准确性的审核机制，能够在不影响正常业务的同时，提高审核的准确性且降低审核成本，以下通过具体实施方式进行说明：

实施例一

请参照图1、图3至图8，一种内容审核方法，包括步骤：

S1、获取待发布内容，基于所述待发布内容异步发布审核事件。

其中，所述获取待发布内容之前包括：

通过客户端获取用户的提交内容，判断所述提交内容中是否包含图片或者视频，若是，则上传所述图片或者视频，并保存所述图片或者视频的信息为文件数据，根据所述文件数据与所述提交内容中的文本得到待发布内容；

否则，直接根据所述提交内容中的文本得到待发布内容。

具体的，请参照图3，用户通过客户端提交内容，判断提交内容中是否含有图片或者视频，若是，则获取s3文件服务器上传地址如：https://s3-gjzc.my.99.com/creation-zone/image/5f6ee2880901280cd9d99736.jpg，将图片和视频内容上传至文件服务器，构造files:

[{"fileName":"image/5f6ee2880901280cd9d99736.jpg","path":"https://s3-gjzc.my.99.com/creation-zone/image/5f6ee2880901280cd9d99736.jpg","uid":1601102628903,"n_type":1}]；

其中，n_type为1时表示图片，n_type为2时表表示视频，uid表示用户id，fileName表示文件名，path表示上传路径；

若提交内容中不含有图片或者视频，files为[]；

将files和提交内容中的文本结合用户数据提交至服务端。

其中，基于所述待发布内容异步发布审核事件包括：

判断所述待发布内容是否为新增内容，若是，则发布写入事件和审核事件到消息队列进程中，否则，发布更新事件和审核事件到消息队列进程中；

通过所述消息队列进程监听接收到的事件类型，根据所述事件类型处理所述待发布内容。

具体的，请参照图4，设置用户提交的待发布内容的当前状态为待审核，即status＝2，将待发布内容写入或者更新到缓存中，同时将待发布内容和审核渠道号发送给消息通知模块，并将修改状态后的待发布内容返回给客户端。

在本实施例中，若待发布内容为新作品或者新评论，则将待发布内容写入缓存发布写入事件，同时发布审核事件，若待发布内容为老作品或者老评论，则使用待发布内容更新缓存发布更新事件，同时发布审核事件。

请参照图5，消息通知模块将用户提交的待发布内容用发布或者订阅的形式，将用户进程中发布的事件异步发送给RabbitMq消息队列进程，消息队列进程根据监听接收到的事件类型，判断执行写入更新事件还是执行审核事件，若执行写入更新事件，则将待发布内容写入更新至对应的数据库表，若执行审核事件，则调用当前消息队列进程中的审核模块方法。

S2、判断所述待发布内容中是否包含图片或视频，若是，则根据所述待发布内容的渠道号调用复合审核接口，使用所述复合审核接口中的多个不同审核接口依次审核所述待发布内容的文本、图片或视频，否则，根据所述待发布内容的渠道号调用文本审核接口审核所述待发布内容。

具体的，请参照图6，审核模块分为文本审核部分、图片审核部分和视频审核部分，层层递进，文本审核接口接入了微信和百度的文本审核接口，复合审核接口包括文本审核接口、图片审核接口和视频审核接口，其中，图片审核接口接入了微信、百度和阿里的图片审核接口，视频审核接口单接阿里的视频审核接口；

其中，所有的第三方审核接口均可配置，第三方审核接口的使用次数记录在数据库中，可从后台看到使用次数情况，对出现次数上限的审核方式及时关闭配置绕过一重审核用后面的审核替代，并且需要保证最少一个审核方式拥有足够的使用次数。

第三方审核请求出现错误时，错误处理使用node.js语言自身的catch捕获回调错误，审核中途出现的错误直接绕过当前审核阶段进入下一审核阶段，同时超时是用js自带的setTimeout，设置10秒超时溢出，同样，超时的情况也直接绕过当前审核方式进入下一个审核方式；以往单一的第三方审核机制很难在评判标准上达到统一，多重审核机制在审核的容错性上及准确性上有了一个比较大的提升，同时可以根据配置需要随时调整审核的方式层级，方便实现在特殊情况下的审核完整性，避免购买审核次数在流程上耽误的无法审核的时间。

S3、获取所述复合审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况，对审核错误的所述待发布内容进行二次审核。

其中，获取所述复合审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况包括：

获取复合审核接口中预设审核接口的回调数据，根据所述回调数据获取并更新所述待发布内容的审核情况；

所述对审核错误的所述待发布内容进行二次审核包括：

获取审核错误且标记为未审核的待发布内容，定时对所述未审核的待发布内容进行二次审核。

具体的，请参照图7，异步回调更新模块主要更新的是阿里图片和视频审核接口回调的数据，在本实施例中，若output.terrorism.suggestion＝＝"pass"&&output.porn.suggestion＝＝"pass"，在二者都通过的情况下表示图片通过审核设置状态status＝3，否则设置状态status＝4，并更新缓存及数据库记录日志及红点通知。

请参照图8，由于微信、百度、阿里审核有时候不稳定，会出现error的情况，error的情况下作品或者评论内容均为未审核状态，二次审核校验主要是处理上述审核出错的情况，将未审核的内容取30条，再次经过自动审核功能，若还是error的情况更新状态status＝4，进行人工审核，如果审核通过设置状态status＝3或者不通过设置状态status＝4时，将状态数据更新到缓存及数据库，期间定时每隔一小时执行一次。

实施例二

请参照图6，本实施例与实施例一的区别在于，进一步限定了如何对待发布内容进行审核，具体的：

若所述待发布内容中包含文本，则根据所述待发布内容的文本审核渠道号调用对应的文本审核接口审核所述待发布内容的文本，若文本审核成功，则将所述待发布内容的状态修改为文本审核成功；

若所述待发布内容中包含图片，则获取所述文件数据，根据所述待发布内容的图片审核渠道号调用对应的图片审核接口审核所述文件数据中的图片，若图片审核成功，则更换图片审核接口进行审核，直至所有图片审核接口均审核成功后，则将所述待发布内容的状态修改为图片审核成功；

若所述待发布内容中包含视频，则获取所述文件数据，调用预设视频审核接口审核所述文件数据中的视频，若视频审核成功，则将所述待发布内容的状态修改为视频审核成功。

具体的，在本实施例中，若调用的是文本审核接口，获取待发布内容的渠道号，例如：platform_id＝104对应的是微信渠道号，获得微信渠道号后，使用微信文本审核接口，返回不通过的情况下再调用百度文本审核接口，通过的情况下将待发布数据状态设置为status＝3，即审核成功，不通过的情况下将待发布数据状态设置为status＝4，即审核不成功，将审核状态数据更新至缓存及数据库；

默认渠道为先使用百度文本审核接口，如果出错次数达到上限，再使用微信文本审核接口，在数据落盘并保存数据之后，记录log日志及通知红点功能。

若调用的是复合审核接口，先判断用户提交数据包含了哪些类型，最多可包含文本、图片和视频3种类型，如果待发布内容包含3种类型，则先审核文本，具体的审核方法与上述文本审核方法相同；

如果文本审核通过，则审核图片，同样先获取渠道号，若是微信的渠道号，则先走微信图片审核，微信图片审核必须是图片二进制base64加密数据，需要获取文件数据中的文件路径进行图片下载，下载后提交至微信图片审核接口，审核通过的情况下，再使用百度图片同步审核方式审核图片，在审核都通过的情况下，审核成功设置status＝3，更新缓存及数据库并记录日志及通知红点，其中一个不通过则设置status＝4，并更新缓存及数据库。

若是其他的渠道号，则统一使用百度图片异步审核，传入从文件数据提取的文件路径，审核结束后判断审核通过情况，将审核情况更新至缓存及数据库，并写入log日志加通知红点；如果百度图片异步审核出错，则使用阿里图片异步审核，阿里图片异步审核和百度区别在与需要传入回调接口url。

视频审核单独调用阿里视频审核接口，将待发布内容的审核情况传入回调url。

实施例三

请参照图2，一种内容审核终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一或实施例二的一种内容审核方法的各个步骤。

综上所述，本发明提供的一种内容审核方法及终端，获取客户端发送的待发布内容，基于待发布内容异步发布审核事件，能够提供与用户业务层分离异步审核的方式，不会影响到玩家正常业务访问，从机制上解决了等待时长的问题；在内容审核的过程中，若待发布内容中包含文本，根据渠道号调用对应的文本审核接口，若审核成功则标记为文本审核成功；若待发布内容中包含图片，需要所有图片审核接口均审核文件数据成功，才能标记为图片审核成功；若待发布内容中包含视频，调用预设视频审核接口审核文件数据中的视频；因此对于不同类型的内容能够灵活设置对应的审核机制，通过多样化的审核模式和多重的审核机制能够保证审核的准确性，减少漏判的情况，相较于现有技术，采用多重审核机制能够减少第三方审核次数不足的问题，且能够减少审核成本；对于标记为未审核的待发布内容，定时进行二次审核，能够通过良好的错误处理避免出现网络等因素导致的阻塞情况，降低到最后需要人工审核的内容，实现在不影响正常业务的情况下进行审核。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。