政务视频数据的处理方法、系统及计算机可读存储介质

技术领域

本发明涉及数据处理技术，尤其涉及一种政务视频数据的处理方法、系统及计算机可读存储介质。

背景技术

在交通管理、环保检查等过程中保存音视频等现场记录，便于事务管理机关审查管理过程。例如中国专利申请CN113162899B公开的一种基于5G通讯实现系统智能化管理的应用平台系统，该系统接收现场采集到的音视频数据资源，通过实时码流的形式传送给管理终端设备，实现音视频数据快速迁移、精准调用。该方案依赖高质量的通信网络，在移动蜂窝网络中，该方案无法满足电子政务对数据实时性的要求。中国专利申请CN116708807A公开了一种监控视频的压缩重建方法，通过压缩现场记录数据，实现实时传输。由于压缩后的现场记录数据丢失部分信息，还需要保留原始数据以备查验。原始数据通常保存在云端的存储节点，因而读取完整的原始数据速度慢。异常帧通常出现在原始数据的某一时间片段，而现有的这种方案尚未解决快速匹配与异常帧相关的时间片段的问题。因此，有必要提供根据异常帧的位置快速读取和匹配原始数据，以提高事务管理的效率。

发明内容

为了解决上述现有技术存在的缺陷，本发明提出了一种政务视频数据的处理方法、系统及计算机可读存储介质，以解决现有技术中快速匹配异常内容帧与存储节点中子视频的问题。进一步的，本发明通过对现场视频的处理，提取关键帧和视频片段，加快事务管理机关的处理效率。

本发明的技术方案是这样实现的：

一种政务视频数据的处理方法，包括以下步骤：

步骤1：视频记录仪采集现场视频流，在现场视频流标记帧识别码，视频记录端将现场视频流发送至本地政务终端；

步骤2：识别现场视频流的帧间特征，基于帧间特征修改所述现场视频流后生成第一视频流，再发送至政务服务器；

步骤3：本地政务终端基于时间顺序将现场视频流分割为多个子视频，读取子视频的起始帧和结束帧的帧识别码，将子视频备份至云服务器的多个存储节点，云服务器生成子视频的索引表，索引表至少由政务序列号、帧识别码、节点地址码组成；

步骤4：政务服务器识别第一视频流的第一前景特征，若第一前景特征超过特征阈值，从该第一视频流中提取关键帧，基于所述关键帧抽取第一视频流的多个视频片段，生成第二视频流，将第二视频流上传至远程政务终端；

步骤5：若第二视频流的内容帧异常，远程政务终端提取异常内容帧的帧识别码，根据该帧识别码建立优先级列表，根据政务序列号访问多个存储节点，基于优先级列表从存储节点下载子视频；

步骤6：同步所述子视频与第二视频流，提取子视频和第二视频流的帧识别码，若帧识别码不同，发出异常通知。

在本发明中，在步骤1中，所述帧识别码由用于标记内容帧时间的时间序列段与用于验证内容帧真伪的校验序列段组成。

在本发明中，在步骤2中，所述帧间特征为帧间距离特征，提取现场视频流中内容帧h与内容帧h+1的特征点，计算特征向量(x

在本发明中，在步骤3中，读取政务文件，生成政务文件的标注图，识别现场视频流的第二前景特征，在所述第二前景特征插入标注图，所述第二前景特征为人物面部特征、车辆牌照特征中的一种。

在本发明中，在步骤4中，所述第一前景特征为目标运动特征，基于历史数据集生成特征模型，通过特征模型提取目标运动特征，若任意内容帧的目标运动特征超过特征阈值，将该内容帧存储为关键帧。

在本发明中，在步骤4中，根据预设的帧间时长从第一视频流中关键帧的两侧提取多个内容帧，再组成视频片段，在相邻的视频片段之间增加标识帧，生成第二视频流。

在本发明中，在步骤5中，计算任意子视频i的起始帧与异常内容帧的第一时间间隔T

在本发明中，在步骤6中，根据时间序列段同步所述子视频与第二视频流，对比同一时间序列段的内容帧的校验序列段，若校验序列段不同，远程政务终端向政务服务器发出异常通知。

一种根据所述政务视频数据的处理方法的处理系统，包括：

多个视频记录仪，用于采集现场视频流；

一本地政务终端，用于将现场视频流分割为多个子视频；

一云服务器，具有多个存储节点，存储节点用于存储所述子视频；

一政务服务器，用于从该第一视频流中提取关键帧并生成第二视频流；

一远程政务终端，用于播放第二视频流并从存储节点下载子视频，

其中，视频记录仪在现场视频流中标记帧识别码，

云服务器生成子视频的索引表，索引表至少由政务序列号、帧识别码、节点地址码组成，

远程政务终端根据帧识别码建立优先级列表，基于优先级列表从存储节点下载子视频，

远程政务终端同步所述子视频与第二视频流，提取子视频和第二视频流的帧识别码，若帧识别码不同，发出异常通知。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的政务视频数据的处理方法。

实施本发明的这种政务视频数据的处理方法、系统及计算机可读存储介质，具有以下有益效果：本发明将现场视频流分割为多个子视频，实现视频流的分布式存储，降低本地存储要求。通过异常内容帧的帧识别码快速匹配相应的存储节点，再根据优先级列表确定子视频的下载优先级，提升访问效率。进一步的，本发明根据第一前景特征提取现场视频流的关键帧，再抽取相关视频片段，避免处理全部视频流，提高事务管理效率。

附图说明

图1为本发明政务视频数据的处理方法的流程图；

图2为本发明编辑后的现场视频流的内容帧示意图；

图3为本发明生成第二视频流的示意图；

图4为本发明基于优先级列表从存储节点下载子视频的原理图；

图5为本发明同步所述子视频与第二视频流的示意图；

图6为本发明识别第二前景特征的方法的流程图；

图7为本发明判断第二视频流的内容帧是否异常的方法的流程图；

图8为本发明提取第一前景特征后的内容帧示意图；

图9为本发明根据所述政务视频数据的处理方法的处理系统的框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

现代电子政务要求事务管理机关的事务管理过程资料快速上传至政务服务器，便于事务管理机关实时审查事务管理过程的合规性。事务管理过程资料包括文字记录与视频记录。视频记录的时长通常在几小时甚至几十小时，大部分内容为非核心数据。这给数据的存储、审查以及快速访问带来麻烦。本发明将现场视频流分割为多个子视频，完成现场视频流的云端分布式存储，同时识别现场视频流的关键帧与视频片段，提升审查效率。本发明还通过帧识别码实现异常视频帧对应的子视频的快速访问。本发明通过以下四个实施例进一步解释发明内容。

实施例一

如图1至图5所示本发明的政务视频数据的处理方法，包括以下步骤。

步骤1：视频记录仪采集现场视频流，在现场视频流标记帧识别码，视频记录端将现场视频流发送至本地政务终端。所述帧识别码由用于标记内容帧时间的时间序列段与用于验证内容帧真伪的校验序列段组成。时间序列段由视频记录仪的系统时间生成，精确到秒位。设置一不公开的校验初始值，然后通过rand()函数不断迭代生成下一时刻的校验序列段。

步骤2：识别现场视频流的帧间特征，基于帧间特征修改所述现场视频流后生成第一视频流，再发送至政务服务器。在本实施例中，帧间特征为帧间距离特征，视频记录仪提取现场视频流中内容帧h与内容帧h+1的特征点，计算内容帧的特征向量(x

步骤3：本地政务终端基于时间顺序将现场视频流分割为多个子视频，读取子视频的起始帧和结束帧的帧识别码，将子视频备份至云服务器的多个存储节点，云服务器生成子视频的索引表，索引表至少由政务序列号、帧识别码、节点地址码组成。通过索引表，可以快速查找政务序列号对应的存储节点的节点地址码。进一步的，本地政务终端可以编辑现场视频流，编辑后的现场视频流的内容帧如图2所示。具体来说，本地政务终端读取政务文件，生成政务文件的标注图。本地政务终端识别现场视频流的第二前景特征，在所述第二前景特征插入标注图，所述第二前景特征可以是人物面部特征、车辆牌照特征等。标注图包含人物身份信息和行为信息，提升后续审查的效率。

步骤4：政务服务器识别第一视频流的第一前景特征，若第一前景特征超过特征阈值，从该第一视频流中提取关键帧，基于所述关键帧抽取第一视频流的多个视频片段，生成第二视频流，将第二视频流上传至远程政务终端。第二视频流的生成过程如图3所示。所述第一前景特征为目标运动特征，基于历史数据集生成特征模型，通过特征模型提取目标运动特征，若任意内容帧的目标运动特征超过特征阈值，该内容帧存储为关键帧。

本实施例可以根据政务序列号的类别确定政务行为的特征阈值，包括但不限于人物目标的位置区间、动作幅度以及车辆行驶速度等等。超过特征阈值的关键帧为事务管理机关审查的核心内容。根据预设的帧间时长（例如10min）从关键帧的两侧提取多个内容帧，再组成视频片段，生成第二视频流。为了快速识别相邻视频片段，可以在相邻的视频片段之间增加标识帧。经过两次处理，第二视频流的长度显著小于现场视频流。远程事务管理终端直接审查第二视频流，可以提升事务管理效率。

步骤5：若第二视频流的内容帧异常，远程政务终端提取异常内容帧的帧识别码，根据该帧识别码建立优先级列表，根据政务序列号访问多个存储节点，基于优先级列表从存储节点下载子视频。若内容帧不存在异常，结束当前任务。在确定内容帧异常后，远程政务终端调用现场视频流，核对事务管理过程。现场视频流尺寸大，远程政务终端的带宽有限。参照图4所示，根据异常内容帧的帧识别码确定存储节点的优先级，优先将下载资源分配给异常内容帧相近的子视频。具体实施时，首先匹配现场视频流对应的政务序列号，遍历该政务序列号的全部节点地址码，访问节点地址码对应的存储节点。再提取索引表中每一节点地址码对应起始帧的帧识别码和结束帧的帧识别码。根据帧识别码的时间序列段计算子视频i的起始帧与异常内容帧的第一时间间隔T

步骤6：同步所述子视频与第二视频流，提取子视频和第二视频流的帧识别码，若帧识别码不同，发出异常通知。若帧识别码不同，结束当前任务，启动人工审核操作。如图5所示，根据异常内容帧的时间序列段同步所述子视频与第二视频流，图中虚线为异常内容帧的同步路径。再对比同一时间序列段的内容帧的校验序列段，防止系统出错或内容帧被篡改。若校验序列段不同，远程政务终端向政务服务器发出异常通知。若校验序列段相同，远程政务终端根据子视频以及多个子视频合并的现场视频流进一步审查事务管理过程的合规性。

实施例二

进一步如图6所示，本实施例进一步公开了识别现场视频流的第二前景特征的方法。该方法从政务文件中提取目标人物的身份信息与行为信息，将信息以标注图的形式插入现场视频流的对应位置，可以提升后续审查的效率。

首先，确定人物面部特征的数据集。选择正面、左面、后面、右面四个角度的人物面部特征，生成FIPCO、CCD-B数据集。

然后，采用历史的FIPCO、CCD-B数据集训练VGG16深度卷积神经网络。该深度网络模型的卷积核为3×3，步长为1。通过多个小尺度卷积核的有效叠加，深化非线性层。卷积核设置5个池化层，池化层尺度为2×2，池化步长为2，以提升识别精度。

最后，从现场视频流中识别目标人物的人物面部特征。将政务文件中目标人物的人物面部特征的数据集输入VGG16深度卷积神经网络，获得面部基础特征。再将面部基础特征匹配至现场视频流的内容帧，识别对应人物面部特征。应当理解，本实施例公开的是一种具体的实施方式，除了本实施例所述方法之外，还可以采用例如像素插值等方法识别第二前景特征。

实施例三

参照图7，本实施例公开了判断第二视频流的内容帧是否异常的方法。本实施例基于骨架特征的轨迹进行目标人物的行为建模，检测目标人物的异常行为，进而判断第二视频流的内容帧是否异常。如图8所示，本实施例的第一前景特征为目标人物的目标运动特征，特别是骨架特征。

首先，提取目标人物的骨架特征。使用姿态估计算法检测第二视频流上多个内容帧，确定骨架的整体位置偏移与骨架中各点的相对位置偏移，分别生成全局特征分量

然后，采用WGAN-GP特征模型完成建模。将全局特征分量或局部特征分量输入编码器，输出编码特征，再将编码特征输入到重构和预测记忆模块。再输出传输到重构解码器和预测解码器中，分别完成特征序列的重构和预测。其中，重构后的修正特征序列

再根据样本数据完成WGAN-GP特征模型的训练。样本数据经WGAN-GP模型获得修正特征序列和未来特征序列，分别比较修正特征序列和未来特征序列与真实的特征序列的Wasserstein距离。在WGAN-GP特征模型中定义对抗的生成器和批评器，分别以最大化参数和最小化参数将修正特征序列和未来特征序列拟合至真实的特征序列，逐步迭代获得优化后的WGAN-GP模型。

最后将目标人物存在异常行为的内容帧确定为异常内容帧。对于内容帧的任意目标人物，基于优化后的WGAN-GP特征模型获得修正特征序列和未来特征序列。计算修正特征序列与真实的特征序列的第一差值r

实施例四

如图9所示，本实施例的这种根据所述政务视频数据的处理方法的处理系统，包括：视频记录仪、本地政务终端、云服务器、政务服务器以及远程政务终端。视频记录仪用于采集现场视频流，视频记录仪例如是具有数据处理功能和通信功能的摄像机、手机等。本地政务终端用于将现场视频流分割为多个子视频。本地政务终端为事务管理部门的台式计算机、笔记本以及本地服务器等等。云服务器为分布式存储系统，具有多个存储节点。存储节点用于存储所述子视频，单一存储节点的容量可以是64MkB。政务服务器为政务数据交换平台，用于从第一视频流中提取关键帧并生成第二视频流。远程政务终端用于播放第二视频流并从存储节点下载子视频。远程政务终端与本地政务终端处于不同的局域网，远程政务终端可以是事务管理部门的台式计算机、笔记本以及本地服务器。

为了在现场视频流标记帧识别码，视频记录仪可以嵌入一伪随机数生成器和时钟发生器。云服务器生成子视频的索引表，索引表至少由政务序列号、帧识别码、节点地址码组成。政务序列号可以由政务服务器定义，再分发至各终端。远程政务终端根据帧识别码建立优先级列表，基于优先级列表从存储节点下载子视频。远程政务终端优先将下载资源分配给优先级较高，即优先级数值较小的存储节点。远程政务终端同步所述子视频与第二视频流，提取子视频和第二视频流的帧识别码。若帧识别码不同，远程政务终端向政务服务器、本地政务终端等发出异常通知。

实施例五

本实施例进一步公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的政务视频数据的处理方法。本实施例的计算机可读存储介质，可以是软盘、磁带、硬盘驱动器、CD-ROM、DVD等等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改，等同替换和改进等，均应包含在本发明的保护范围之内。