违规视频播放的监测方法、系统、设备及存储介质

技术领域

本发明涉及视频处理技术领域，具体而言，涉及一种违规视频播放的监测方法、系统、设备及存储介质。

背景技术

随着广播电视行业的蓬勃发展，截至2021年底，全国共有地市级以上广播电视播出机构开办电视频道1200套，另有各级教育电视台开办的38套教育教学类频道。全国各级广播电视播出机构经批准开办高清频道985个，4K频道8个、8K频道1个。至2021年年末全年生产电视剧194部6736集，电视动画片78372分钟。全年生产故事影片565部，科教、纪录、动画和特种影片175部。2020全年公共电视节目播出时间为1988.31万小时。

在这样的背景下，如何监测众多电视频道中播出的视频内容，及时发现违规视频，已成为亟待解决的问题。现有的电视播放监管主要是通过人工的方式来完成，存在人工成本高，工作效率低，耗时多等问题。

发明内容

本发明实施例提供了一种违规视频播放的监测方法、系统、设备及存储介质，以至少解决相关技术中监测视频违规内容时工作效率低、人工成本高等技术问题。

根据本发明实施例的一个方面，提供了一种违规视频播放的监测方法，包括：构建违规视频样本库和违规图像样本库，所述违规视频样本库包括违规的视频事件信息网络，所述违规图像样本库包括违规的图像信息网络；获取实时播放的视频流数据，基于所述视频流数据得到播放的视频事件，所述视频事件是指一个镜头内所有内容帧的集合，所述内容帧是指表示镜头内容的帧，包括首帧、尾帧和N个中间帧，N为自然数，所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时得到；将所述播放的视频事件与所述违规的视频事件信息网络中的违规视频事件进行相似性比对，判断所述播放的视频事件是否为违规视频；若为所述违规视频，则得到与所述违规视频样本库中的违规视频内容相似的第一违规视频片段，保存所述视频流中的第一违规视频片段；若不为所述违规视频，则基于所述视频流数据得到播放的内容帧，将所述播放的内容帧与所述违规的图像信息网络中的违规图像进行相似性比对，判断所述播放的内容帧是否为违规图像；若为所述违规图像，则得到与所述违规图像样本库中的违规图像内容相似的违规内容帧，保存所述视频流中的违规内容帧对应的第二违规视频片段。

根据本发明实施例的另一方面，还提供了一种违规视频播放的监测系统，包括：违规样本库构建模块，用于构建违规视频样本库和违规图像样本库，所述违规视频样本库包括违规的视频事件信息网络，所述违规图像样本库包括违规的图像信息网络；获取模块，用于获取实时播放的视频流数据，基于所述视频流数据得到播放的视频事件，所述视频事件是指一个镜头内所有内容帧的集合，所述内容帧是指表示镜头内容的帧，包括首帧、尾帧和N个中间帧，N为自然数，所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时得到；视频监测模块，用于将所述播放的视频事件与所述违规的视频事件信息网络中的违规视频事件进行相似性比对，判断所述播放的视频事件是否为违规视频；第一存储模块，用于若为所述违规视频，则得到与所述违规视频样本库中的违规视频内容相似的第一违规视频片段，保存所述视频流中的第一违规视频片段；图像监测模块，用于若不为所述违规视频，则基于所述视频流数据得到播放的内容帧，将所述播放的内容帧与所述违规的图像信息网络中的违规图像进行相似性比对，判断所述播放的内容帧是否为违规图像；第二存储模块，用于若为所述违规图像，则得到与所述违规图像样本库中的违规图像内容相似的违规内容帧，保存所述视频流中的违规内容帧对应的第二违规视频片段。

根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的违规视频播放的监测方法。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述违规视频播放的监测方法。

本申请实施例提供的技术方案可以包括以下有益效果：

本申请实施例提供的违规视频播放的监测方法，在不使用关键词、标签等人工标引或者文字信息的前提下，采取小样本自主学习的技术路线，完全基于视频的内容进行关联性分析，构建违规视频的视频事件信息网络，和图像信息网络，将实时播放的视频流输入视频事件网络和图像信息网络，自动发现播放的违规视频。且本申请的监测方法，可以对视频中的每帧图像是否违规进行检测，细化到每一帧图像，且不受视频中的字幕、音频、水印等加工变形的影响，大大提高了视频违规内容监测的准确率，对各个频道视频节目的播出内容进行有效监测，解决现有技术中人工监测成本高、效率低、准确率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的违规视频播放的监测方法的应用环境的示意图；

图2是根据本发明实施例的另一种可选的违规视频播放的监测方法的应用环境的示意图；

图3是根据本发明实施例的一种可选的违规视频播放的监测方法的流程图；

图4是根据本申请实施例提供的一种视频事件信息空间的示意图；

图5是根据本申请实施例提供的一种图像信息空间的示意图；

图6是根据本申请实施例提供的一种违规样本库的构建方法示意图；

图7是根据本申请实施例提供的一种违规视频的监测方法；

图8是根据本申请实施例提供的一种违规图像的监测方法；

图9是根据本申请实施例提供的一种基于视频事件信息网络的视频事件监测流程图；

图10是根据本申请实施例提供的一种基于图像信息网络的图像监测流程图；

图11是根据本申请实施例提供的一种违规视频播放的监测系统示意图；

图12是根据本发明实施例的一种可选的违规视频播放的监测系统的结构示意图；

图13是根据本发明实施例的一种可选的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种违规视频播放的监测方法，作为一种可选地实施方式，上述违规视频播放的监测方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有违规视频播放的监测应用程序。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于显示播出的视频；处理器1024用于获取播出的视频。存储器1026用于存储上述播出的视频。

此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储上述播出的视频。处理引擎1064用于：构建违规视频样本库和违规图像样本库，违规视频样本库包括违规的视频事件信息网络，违规图像样本库包括违规的图像信息网络；获取实时播放的视频流数据，基于视频流数据得到播放的视频事件，视频事件是指一个镜头内所有内容帧的集合，内容帧是指表示镜头内容的帧，包括首帧、尾帧和N个中间帧，N为自然数，中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时得到；将播放的视频事件与违规的视频事件信息网络中的违规视频事件进行相似性比对，判断播放的视频事件是否为违规视频；若为违规视频，则得到与违规视频样本库中的违规视频内容相似的第一违规视频片段，保存视频流中的第一违规视频片段；若不为违规视频，则基于视频流数据得到播放的内容帧，将播放的内容帧与违规的图像信息网络中的违规图像进行相似性比对，判断播放的内容帧是否为违规图像；若为违规图像，则得到与违规图像样本库中的违规图像内容相似的违规内容帧，保存视频流中的违规内容帧对应的第二违规视频片段。

在一个或多个实施例中，本申请上述违规视频播放的监测方法可以应用于图2所示的应用环境中。如图2所示，用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作，对视频播出情况进行监测。

可选地，上述终端设备102和用户设备204包括但不限于为手机、平板电脑、笔记本电脑、PC机，车载电子设备，可穿戴设备等终端，上述网络104可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器106可以包括但不限于任何可以进行计算的硬件设备。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。

下面结合附图3对本申请实施例的违规视频播放的监测方法进行详细介绍，如图3所示，该方法主要包括如下步骤：

S301构建违规视频样本库和违规图像样本库，违规视频样本库包括违规的视频事件信息网络，违规图像样本库包括违规的图像信息网络。

在一个示例性场景中，有的电视频道或者视频播放软件，播放的视频涉及违规内容，例如虚假广告、电影禁片、虚假新闻等，因此，应该对播放视频的违规内容进行有效监测，保证视频播放质量，维护视频播放环境。

首先，构建违规视频样本库。在一个可选地实施例中，构建违规视频样本库，包括：获取待监测的违规视频样本，对违规视频样本进行预处理，得到归一化视频。对违规视频样本进行预处理包括但不限于对违规视频样本进行视频解帧、提取画中画图像、去除视频中图像的边框等处理，同时对视频的图像进行分辨率、幅形比、色彩空间等归一化转换，进而使得到的归一化视频具有相同维度的视频，便于粒化处理。

进一步地，对归一化视频进行粒化处理，得到视频事件序列，视频事件序列包括至少一个视频事件，视频事件是指一个镜头内所有内容帧的集合。

本实施例中，对归一化视频进行粒化处理，得到视频事件序列，包括：根据归一化视频中帧序列进行镜头监测，得到镜头序列，镜头序列包括至少一个镜头，对镜头序列中每一镜头的视频帧序列进行内容帧提取，得到每个镜头的内容帧序列，根据镜头序列和内容帧序列得到视频事件序列。

本实施例中，粒化处理是指对一个视频进行镜头的分割，得到一个视频的粒化结构，得到粒化结构的原理为：视频内容是由连续帧序列组成的，按照视频内容的连续性可将连续帧序列分为多组，根据帧序列进行镜头监测，每组连续帧序列即为一个镜头，镜头序列包括至少一个镜头，通过分析视频镜头中内容的差异，从连续帧序列中选取少量的帧来表示镜头的内容，这些帧即为内容帧，也就是对镜头序列中每一镜头的视频帧序列进行内容帧提取，得到每个镜头的内容帧序列，再根据镜头序列和内容帧序列得到视频事件序列。其中，内容帧至少包括镜头的首尾两帧(镜头帧)，所以一个镜头的内容帧数量≥2。

本实施例中，视频事件序列包括至少一个视频事件，视频事件是指一个镜头内所有内容帧的集合，内容帧包括首帧、尾帧和N个中间帧，N为自然数，中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时得到。

进一步地，对视频事件的每个内容帧进行分析计算特征数据，根据内容帧的特征数据得到视频事件的特征数据。

本实施例中，视频事件的特征数据包括视频事件的内容帧数量和视频事件的内容帧特征矩阵，视频事件的内容帧特征矩阵包括该视频事件中包含的每一内容帧的特征矩阵。每一内容帧的特征矩阵可以根据内容帧的UniformLBP特征得到，可以更好的反映视频事件的内容特征，在一个可选的例子中，内容帧的特征矩阵也可以是根据内容帧的其它特征得到，例如直方图特征、sift特征、hog特征和haar特征等，在此不一一列举。

本实施例中，对视频事件的内容帧进行分析计算，得到视频事件的特征数据，包括：根据视频事件的内容帧集合中内容帧的帧数，得到视频事件的内容帧数量，根据视频事件的内容帧集合中每一内容帧的特征矩阵，得到视频事件的特征向量。

最后，根据视频事件的特征数据，在视频事件信息空间中构建违规的视频事件信息网络。视频事件信息网络是基于视频事件信息空间以多级树集合为基础构造的森林结构，视频事件信息空间是指视频事件特征向量所在的多维向量空间，视频事件特征向量为在相同坐标系下对内容帧集合提取特征矩阵后计算得到，多级树包括根节点和子节点，任意两个根节点对应的视频事件之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的视频事件之间的差异率小于等于预设阈值。

由上述实施例可知视频事件信息空间是指视频事件特征向量所在的多维向量空间，且具有区域化特性，因此可以以多级树集合为基础构造森林结构，形成违规的视频事件信息网络，即视频事件信息网络是基于视频事件信息空间以多级树集合为基础构造的森林结构。

图4是根据本申请实施例提供的一种视频事件信息空间的示意图；如图4所示，可根据视频事件信息空间中各区域之间的关系将树结构分为两级，第一级为根节点对应各空间区域的圆心，第二级为子节点对应各空间区域中的非圆心点。若对空间区域再划分多层子区域，树结构也会产生相应的多级子节点，树结构的级数与信息空间的空间区域层数相对应，本实施例中以2级树结构为例进行描述。

如图4所示，可根据视频事件信息空间得到多个多级树结构，多级树包括根节点和子节点，以多个多级树结构组成的多级树集合为基础构造的森林结构为视频事件信息网络，视频事件信息网络中的每个子节点至少属于1个根节点，根节点下可以没有子节点。任意两个根节点对应的视频事件之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的视频事件之间的差异率小于等于预设阈值。

基于上述视频事件信息空间以及视频事件信息网络可知，本实施例的视频事件信息网络是基于视频事件而构建的，因此，在得到视频事件的特征数据之后，根据视频事件的特征数据，在视频事件信息空间中构建视频事件信息网络。由视频事件信息的树结构之间的关联关系可知，由于子节点的视频事件是与其根节点相似的视频事件，而不同根节点对应的视频事件各不相似，因此视频事件信息网络中的视频事件具有基于视频事件相似性的关联关系。

最后，将违规视频样本的视频信息、镜头信息、内容帧信息以及违规的视频事件信息网络存入违规视频样本库。得到构建好的违规视频样本库。

本申请实施例不仅可以监测视频事件，还可以粒化到帧图像级别进行监测。因此，还需构建违规图像样本库。

在本申请实施例中，构建违规图像样本库，包括：获取待监测的违规视频样本，提取违规视频样本的内容帧。

本申请可以粒化到帧级别，因此，对获取的待监测的违规视频样本进行粒化，提取视频中的内容帧，视频内容是由连续帧序列组成的，按照视频内容的连续性可将连续帧序列分为多组，根据帧序列进行镜头监测，每组连续帧序列即为一个镜头，通过分析视频镜头中内容的差异，从连续帧序列中选取少量的帧来表示镜头的内容，这些帧即为内容帧。内容帧包括首帧、尾帧和N个中间帧，N为自然数，中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时得到。

进一步地，获取待监测的违规图像样本，待监测的违规图像不仅可以从违规视频中提取，还可以是其他渠道获取的违规图像，或者用户指定的图像。例如，一张虚假新闻图像为违规图像，可以直接将该张图像加入违规的图像信息网络。

进一步地，对违规视频样本的内容帧和/或违规图像样本进行归一化处理，得到归一化图像。包括但不限于对监测的违规图像进行幅形比、分辨率和色彩空间的归一化，进而使得每一个违规图像都具有相同的图像维度，进而便于在同一坐标系下对海量图像的内容进行分析，也便于根据图像的像素进行不同图像内容之间的相似性分析，加快图像内容的分析速率。

进一步地，计算归一化图像的特征数据，根据归一化图像的特征数据在图像信息空间中构建违规的图像信息网络。图像信息空间是指图像特征向量所在的多维向量空间，图像特征向量为在相同坐标系下对图像提取特征矩阵后计算得到，图像信息网络是基于图像信息空间以多级树集合为基础构造的森林结构，多级树包括根节点和子节点，任意两个根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于预设阈值。

具体地，首先计算归一化图像的图像特征，图像特征包括但不仅限于由UniformLBP特征组成的图像特征，UniformLBP特征对于图像纹理变化具有很好的敏感性，因此，本实施例采用图像的UniformLBP特征作为图像特征，可以更好的反映图像的内容特征。

在一个可选的例子中，图像特征也可以是其它图像特征，例如直方图特征、sift特征、hog特征和haar特征等，在此不一一列举。

进一步地，根据归一化图像的特征数据在图像信息空间中构建违规的图像信息网络，图5是根据本申请实施例提供的一种图像信息空间的示意图。如图5所示，可根据图像信息空间中各区域之间的关系将树结构分为两级，第一级为根节点对应各空间区域的圆心，第二级为子节点对应各空间区域中的非圆心点。若对空间区域再划分多层子区域，树结构也会产生相应的多级子节点，树结构的级数与信息空间的空间区域层数相对应，本实施例中以2级树结构为例进行描述。

如图5所示，可根据图像信息空间得到多个多级树结构，多级树包括根节点和子节点，以多个多级树结构组成的多级树集合为基础构造的森林结构为图像信息网络，图像信息网络中的每个子节点至少属于1个根节点，根节点下可以没有子节点。

基于上述图像信息空间以及图像信息网络可知，本实施例的图像信息网络是基于图像而构建的，因此，在根据归一化图像的像素内容进行分析得到图像特征，将违规图像作为目标节点，在图像信息空间中构建图像信息网络。由于子节点的图像是与根节点相似的图像，而根节点对应的图像各不相似，因此图像信息网络中的图像具有基于图像相似性的关联关系。

最后，将违规视频的内容帧信息和/或违规图像信息、违规的图像信息网络存入违规图像样本库，得到构建好的违规图像样本库。

图6是根据本申请实施例提供的一种违规样本库的构建方法示意图，如图6所示，获取待监测的违规视频样本，对违规视频样本进行解帧、归一化等预处理，并进行镜头分割和内容帧提取，得到视频事件，构造违规的视频事件信息网络，将视频事件信息网络和视频事件信息存入违规视频库；进一步地，根据提取的内容帧以及获取的违规图像，构建违规的图像信息网络，并将内容帧信息、图像信息、以及图像信息网络保存到违规图像库。根据违规图像库和违规视频库得到违规样本库。

S302获取实时播放的视频流数据，基于视频流数据得到播放的视频事件，视频事件是指一个镜头内所有内容帧的集合，内容帧是指表示镜头内容的帧，包括首帧、尾帧和N个中间帧，N为自然数，中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时得到。

在一种可能的实现方式中，对播放的电视节目内容进行监测，获取实时播放的视频流数据，对视频流数据进行解帧，对视频帧进行分辨率、幅形比、色彩空间等归一化处理。

进一步地，对归一化视频进行粒化处理，得到视频事件序列，同样的，视频事件序列包括至少一个视频事件，视频事件是指一个镜头内所有内容帧的集合。

与待监测违规视频类似的，对视频事件的内容帧进行分析计算，得到视频事件的特征数据。包括：根据视频事件的内容帧集合中内容帧的帧数，得到视频事件的内容帧数量，根据视频事件的内容帧集合中每一内容帧的特征矩阵，得到视频事件的特征向量。

S303将播放的视频事件与违规的视频事件信息网络中的违规视频事件进行相似性比对，判断播放的视频事件是否为违规视频。

具体地，将播放的视频事件输入违规的视频事件信息网络，计算播放的视频事件与视频事件信息网络中每个根节点的对应的视频事件相似率；若相似率大于预设相似率阈值，确定当前根节点对应的视频事件与播放的视频事件相似，将相似率大于预设相似率阈值的所有根节点对应的视频事件加入结果集；获取相似率大于预设相似率阈值的根节点下的所有子节点，计算播放的视频事件与子节点对应的视频事件的相似率，将相似率大于预设相似率阈值的所有子节点对应的视频事件加入结果集。当结果集中存在与播放的视频事件相似的违规视频事件时，确定播放的视频事件为违规视频。

图7是根据本申请实施例提供的一种违规视频的监测方法，如图7所示，获取播放的视频流数据，对视频流进行解帧、归一化等预处理，并进行镜头分割，提取内容帧，根据内容帧特征数据得到视频事件特征数据，将视频事件特征数据输入违规视频库中的违规视频事件信息网络，进行事件监测，得到监测结果，并保存监测结果和进行结果上报。

具体地，图9是根据本申请实施例提供的一种基于视频事件信息网络的视频事件监测流程图，如图9所示，已知播放的视频事件E，基于违规的视频事件信息网络的违规视频事件监测方法的实现过程如下：

步骤1：遍历视频事件信息网中根节点，设当前根节点视频事件信息为E

步骤2：计算E与E

步骤3：如果满足条件Sim≥Sim

步骤4：遍历E

步骤5：计算E与E

步骤6：将E

步骤7：重复步骤4～6直到子节点遍历结束；

步骤8：重复步骤1～7直到根节点遍历结束；

步骤9：返回结果集。

当视频流中的视频事件与网络中的违规视频事件相似时，根据相似的视频事件，即可确定播放的视频流中与待监测的违规视频内容相似的第一视频片段。本申请的方案可以在不使用关键词、标签等人工标引或者文字信息的前提下，快速发现视频播放违规内容。

S304若为违规视频，则得到与违规视频样本库中的违规视频内容相似的第一违规视频片段，保存视频流中的第一违规视频片段。

若通过违规的视频事件信息网络监测出违规视频，则得到与违规视频样本库中的违规视频内容相似的第一违规视频片段，保存视频流中的第一违规视频片段。

在一个可选地实施例中，保存视频流中的第一违规视频片段之后，还包括：记录第一违规视频片段的第一违规信息，第一违规信息包括：播放时长信息、播放起止时间信息、违规视频事件信息，例如违规视频事件的内容帧信息、镜头信息等，以及播放频道信息；将第一违规信息上报给用户终端。

在一个实施例中，将第一违规信息发送到用户的计算机、手机等终端设备，供用户查阅。例如，以邮件的形式发送违规报告，或者以其他形式发送，本申请实施例不做具体限制。

S305若不为违规视频，则基于视频流数据得到播放的内容帧，将播放的内容帧与违规的图像信息网络中的违规图像进行相似性比对，判断播放的内容帧是否为违规图像。

在一个实施例中，若通过视频事件信息网络无法监测出违规视频，再利用预先构建的图像信息网络进行监测，判断是否有违规的视频帧。可以大大提高监测的准确率。

具体地，获取播放的视频流数据，对视频流数据进行解帧，提取视频流数据中的内容帧，内容帧是指表示镜头内容的帧，包括首帧、尾帧和N个中间帧，N为自然数，中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时得到。

进一步地，将提取的内容帧输入图像信息网络，对视频事件中的每个内容帧，计算内容帧与图像信息网络中每个根节点对应的图像的相似率；若相似率大于预设相似率阈值，确定当前根节点对应的图像与播放的内容帧相似，将相似率大于预设相似率阈值的所有根节点对应的图像加入结果集；获取相似率大于预设相似率阈值的根节点下的所有子节点，计算播放的内容帧与子节点对应的图像的相似率，将所有相似率大于预设相似率阈值的子节点对应的图像加入结果集；当结果集中存在与内容帧相似的违规图像时，确定播放的内容帧为违规图像。

图8是根据本申请实施例提供的一种违规图像的监测方法，如图8所示，获取播放的视频流数据，对视频流数据进行解帧、归一化等预处理，并进行镜头分割、提取内容帧，得到播放的视频的内容帧信息，将播放的内容帧输入违规图像库中的违规图像信息网络，进行图像监测，得到监测结果，取证保存并上报监测结果。

图10是根据本申请实施例提供的一种基于图像信息网络的图像监测方法，如图10所示，已知图像信息F，基于图像信息网络的图像监测方法的实现过程如下：

步骤1：遍历图像信息网中根节点，设当前根节点图像信息为F

步骤2：计算F与F

步骤3：如果满足条件Sim≥Sim

步骤4：遍历F

步骤5：计算F与F

步骤6：将F

步骤7：重复步骤4～6直到子节点遍历结束；

步骤8：重复步骤1～7直到根节点遍历结束；

步骤9：返回结果集。

当视频流中的内容帧与网络中的违规图像相似时，根据相似的违规图像，即可确定播放的视频流中与待监测的违规图像内容相似的违规图像，可以实现帧级监测，提高违规视频监测的准确率。

S306若为违规图像，则得到与违规图像样本库中的违规图像内容相似的违规内容帧，保存视频流中的违规内容帧对应的第二违规视频片段。

在本申请实施例中，若监测出违规的内容帧，则获取违规内容帧在视频流中的播放时间信息，以违规内容帧对应的播放时间为中点，向前截取预设时长的视频，以及向后截取预设时长的视频，得到第二违规视频片段。例如，违规内容帧对应的播放时间为17:10:20，则将17:09:20—17:11：20之间的视频保存为第二视频片段。具体地截取时长可根据实际情况自行设定。

在一个可选地实施例中，保存视频流中的违规内容帧对应的第二违规视频片段之后，还包括：记录第二违规视频片段的第二违规信息，第二违规信息包括：播放时长信息、播放起止时间信息、违规内容帧的时间信息、违规图像样本信息以及播放频道信息；将第二违规信息上报给用户终端。

在一个实施例中，将第二违规信息发送到用户的计算机、手机等终端设备，供用户查阅。例如，以邮件的形式发送违规报告，或者以其他形式发送，本申请实施例不做具体限制。

图11是根据本申请实施例提供的一种违规视频播放的监测系统示意图，如图11所示，系统逻辑框架设计将分为基础设施层、信息生产层、平台技术层、应用展示层的四层结构。

基础设施层是整个系统可靠、稳定、高效运行的基础，包括操作系统与应用软件、数据存储与动态管理服务的硬件以及通信设施。

信息生产层是对接入视频进行存储、归一化、信息粒化处理，对视频内容进行小样本自主学习，实现视频内容分析，为系统应用提供数据支撑。

平台技术层是通过图像特征和事件特征分析，为多样化应用提供适应性服务接口。

应用展示层包括资源配置和提供系统分析处理后的内容帧。

本申请实施例提供的违规视频播放的监测方法，在不使用关键词、标签等人工标引或者文字信息的前提下，采取小样本自主学习的技术路线，完全基于视频的内容进行关联性分析，构建违规视频的视频事件信息网络，和图像信息网络，将实时播放的视频流输入视频事件网络和图像信息网络，自动发现播放的违规视频。且本申请的监测方法，可以对视频中的每帧图像是否违规进行检测，细化到每一帧图像，且不受视频中的字幕、音频、水印等加工变形的影响，大大提高了视频违规内容监测的准确率，对各个频道视频节目的播出内容进行有效监测，解决现有技术中人工监测成本高、效率低、准确率低的技术问题。

根据本发明实施例的另一个方面，还提供了一种用于实施上述违规视频播放的监测方法的违规视频播放的监测系统。如图12所示，该系统包括：

违规样本库构建模块1201，用于构建违规视频样本库和违规图像样本库，违规视频样本库包括违规的视频事件信息网络，违规图像样本库包括违规的图像信息网络；

获取模块1202，用于获取实时播放的视频流数据，基于视频流数据得到播放的视频事件，视频事件是指一个镜头内所有内容帧的集合，内容帧是指表示镜头内容的帧，包括首帧、尾帧和N个中间帧，N为自然数，中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时得到；

视频监测模块1203，用于将播放的视频事件与违规的视频事件信息网络中的违规视频事件进行相似性比对，判断播放的视频事件是否为违规视频；

第一存储模块1204，用于若为违规视频，则得到与违规视频样本库中的违规视频内容相似的第一违规视频片段，保存视频流中的第一违规视频片段；

图像监测模块1205，用于若不为违规视频，则基于视频流数据得到播放的内容帧，将播放的内容帧与违规的图像信息网络中的违规图像进行相似性比对，判断播放的内容帧是否为违规图像；

第二存储模块1206，用于若为违规图像，则得到与违规图像样本库中的违规图像内容相似的违规内容帧，保存视频流中的违规内容帧对应的第二违规视频片段。

需要说明的是，上述实施例提供的违规视频播放的监测系统在执行违规视频播放的监测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的违规视频播放的监测系统与违规视频播放的监测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

根据本发明实施例的又一个方面，还提供了一种用于实施上述违规视频播放的监测方法的电子设备，该电子设备可以是图13所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图13所示，该电子设备包括存储器1305和处理器1303，该存储器1305中存储有计算机程序，该处理器1303被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，本领域普通技术人员可以理解，图13所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图13其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图13中所示更多或者更少的组件(如网络接口等)，或者具有与图13所示不同的配置。

其中，存储器1305可用于存储软件程序以及模块，如本发明实施例中的违规视频播放的监测方法和装置对应的程序指令/模块，处理器1303通过运行存储在存储器1305内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的违规视频播放的监测方法。存储器1305可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1305可进一步包括相对于处理器1303远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1305具体可以但不限于用于存储全息视频等信息。作为一种示例，如图13所示，上述存储器1305中可以但不限于包括上述违规视频播放的监测系统中的违规样本库构建模块1201、获取模块1202、视频监测模块1203、第一存储模块1204、图像监测模块1205、第二存储模块1206。

此外，还可以包括但不限于上述违规视频播放的监测系统中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1304用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1304包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1304为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器1301，用于显示上述视频数据；和连接总线1302，用于连接上述电子设备中的各个模块部件。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述视频违规视频播放的监测方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。