一种电力基建违章数据系统及其应用

技术领域

本发明涉及电力技术领域，尤其是一种电力基建违章数据系统及其应用。

背景技术

电力基建项目属于一类综合型项目，施工周期较长，耗费的资金量较大，施工流程较为复杂，建设违章问题的出现会在很大程度上提升项目风险隐患的出现概率，加强电网基建建设违章防控至关重要。然而现在的电力基建违章数据处理系统结构臃肿、计算效率低下、调度算法负载不均衡。

发明内容

本发明要解决的技术问题是提供一种电力基建违章数据系统及其应用。

为解决上述技术问题，本发明所采取的技术发明如下。

本发明公开一种电力基建违章数据系统，包括控制节点和工作节点，所述控制节点用于收客户端的任务请求，解析任务参数和视频流参数，保存元数据信息，以及将任务分配到各个工作节点进行处理，并将处理结果实时推送到客户端；所述工作节点用于执行视频数据处理与分析，所述工作节点中包含多个Worker工作进程，每个Worker工作进程中运行着具体的处理组件。

作为本发明的一种优选技术发明，所述控制节点包括以下模块：资源管理模块、任务调度模块、主从复制模块、视觉目标统计模块以及元数据管理模块；所述工作节点包括以下模块：资源监测模块、视频流数据处理模块、视频流数据分析模块、人脸跟踪去重模块、故障监测模块以及数据库模块。

作为本发明的一种优选技术发明，所述资源管理模块用于接收工作节点中资源监测模块提供的各类资源使用情况信息，并按照哈希表结构保存一段时间内的资源使用情况，使用滑动窗口形式不停的更新最新的资源使用情况，并提供给任务调度模块的资源使用数据为滑动窗口中数据的中位数。

作为本发明的一种优选技术发明，所述任务调度模块用于使用基于资源感知的调度算法对任务进行分配，当任务请求到达控制节点后，会加入到初分配任务管道中，控制节点对队列中的任务参数进行分析，判断任务的资源消耗需求，得到任务的计算复杂类型，同时对资源管理模块提供的资源使用数据进行聚类，划分资源池，最后任务调度模块根据任务本身需求在对应的资源池中进行任务调度，将任务分配到合适的工作节点。

作为本发明的一种优选技术发明，所述主从复制模块用于通过TCP/IP协议栈共享操作指令，使得主控制节点和备份控制节点可以共享彼此的文件，实现主从复制，当备份控制节点通过心跳超时判断出主控制节点发生故障后，将会启动角色重定义机制，备份控制节点转换为主控制节点，并且立即恢复对外服务。

作为本发明的一种优选技术发明，所述视觉目标统计模块用于当接受到客户端发出的视觉目标统计请求时，视觉目标统计模块需要分析出请求的约束条件，并将其作为组合索引对数据库进行查找，计算出统计数量，并返回结果给客户端。

作为本发明的一种优选技术发明，所述元数据管理模块包括任务元数据管理子模块、视频流元数据管理子模块和系统元数据管理子模块，其中任务元数据管理子模块负责对请求任务进行抽象描述，提取出任务的元数据信息并持久化，视频流元数据管理子模块对摄像头的配置参数和时空信息进行管理并持久化，系统元数据管理子模块保存着任务和工作节点的对应关系，各个工作节点的状态和任务的运行状态。

作为本发明的一种优选技术发明，述资源监测模块用于通过查看系统资源日志文件采集当前工作节点的资源消耗情况，并封装到TCP报文中传输给控制节点。

作为本发明的一种优选技术发明，所述视频流数据处理模块用于对原始的视频流数据进行处理，视频取流部分将视频流数据分片，提取视频中关键的I帧和P帧，视频帧解码部分采用硬解码技术和软解码技术结合对视频帧数据进行解码，编码部分通过GPU资源对YUV格式的图片帧数据进行转换，变成常见的JPG格式图像数据；所述视频流数据分析模块使用SDK算法对图片进行分析，提取出人脸框，人脸特征提取部分生成人脸的高维特征数据，视频流数据分析模块将价值密度低的视频数据转化为有价值的数据。

作为本发明的一种优选技术发明，所述人脸跟踪去重模块将单个人员ID产生的重复无价值的图像数据过滤掉，使得一定时间范围内出现在摄像头的目标人员只推送最优的人脸图像，避免冗余的数据影响视觉目标统计的有效性；所述故障监测模块用于监听工作进程的运行状态，当工作进程挂掉后，需要及时将工作进程重启；所述数据库模块用于将系统处理的结果进行保存，其中包括常规的结构化数据和人脸图片等非结构化数据，并能够响应控制节点的请求，对处理结果进行快速查询。

采用上述技术发明所产生的有益效果在于：本发明针对电路基建违章数据的特殊性设计一个轻量级数据处理系统，系统使用主从复制策略解决控制节点单点故障问题，保证了容错性，主从复制策略摒弃了快照同步时耗时的文件IO操作，而是采用远程过程调用(RPC)机制方式直接实现主从控制节点资源共享，同时系统中各个节点通过心跳机制保持联系，以确保连接的有效性控制。并且根据监控视频数据前后帧具有强关联性的特点，设计实现了视频选帧策略，分析视频帧序列组织格式，基于预测编码图像帧的固定间隔时间获取关键帧，以牺牲少量图像质量为代价大大提高了系统的实时性。

具体实施方式

以下实施例详细说明了本发明。本发明所使用的各种原料及各项设备均为常规市售产品，均能够通过市场购买直接获得。

在以下实施例的描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当。。。时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本发明公开一种电力基建违章数据系统，具体的，电力基建违章数据实时监控视频数据首先从监控终端传输到系统中，然后使用缓冲层作为生产者消费者之间的缓冲区，尽可能的接收监控终端源源不断生产的大规模数据，并将数据输出到分布式集群中进行处理。分布式集群使用轻量级流计算框架对实时监控视频数据进行处理与分析，控制节点负责管理系统，工作节点负责具体任务的执行，使用Worker工作进程运行计算拓扑图，实现数据的处理与分析。

其中VideoSource为各个视频流的实例对象，负责将视频流数据进行分片，对关键帧进行提取，DecBlot对关键帧进行编解码操作，使用异构协同工作机制将原始视频帧转化为图片帧数据，MergeBlot对图片帧数据进行色域空间转换，得到常见的图片格式数据，并合并保存到图片队列中等待ParserBlot进行分析，ParserBlot调用人脸检测算法接口对人脸框进行提取，调用人脸特征提取算法接口对人脸特征进行提取，FilterBlot使用人脸跟踪去重算法对数据进行过滤筛除。最后将结果信息保存到持久层，使用关联性数据库保存结构化数据，使用非关联性数据库保存非结构化数据。

控制节点Master是系统的管理节点，其主要职责是接收客户端的任务请求，解析任务参数和视频流参数，保存元数据信息，以及将任务分配到各个工作节点进行处理，并将处理结果实时推送到客户端。

控制节点是整个系统通信的中心点，与客户端和工作节点都建立了通信联系，并使用心跳机制对各个节点进行长连接保持，保证了系统的容错性。采用主从复制方式解决控制节点宕机的单点故障问题，备份控制节点SubMaster中运行着master进程，当主控制节点宕机后，系统会进行角色重定义，将备份控制节点转化为主控制节点，立即承担主控制节点的工作职责，继续进行服务。主从控制节点使用远程调用协议通过网络传输操作指令，使得远端服务器和本地服务器的文件系统资源共享，避免主控制节点发生故障时大规模的数据迁移。

控制节点的模块包括如下：

资源管理模块

资源管理模块负责接收工作节点中资源监测模块提供的各类资源使用情况信息，并按照哈希表结构保存一段时间内的资源使用情况，使用滑动窗口形式不停的更新最新的资源使用情况，考虑到单次监测的不确定性和视频任务处理的稳定性，资源管理模块提供给任务调度模块的资源使用数据为滑动窗口中数据的中位数。

任务调度模块

任务调度模块负责使用基于资源感知的调度算法对任务进行分配，当任务请求到达控制节点后，会加入到初分配任务管道中，控制节点对队列中的任务参数进行分析，判断任务的资源消耗需求，得到任务的计算复杂类型，同时对资源管理模块提供的资源使用数据进行聚类，划分资源池，最后任务调度模块根据任务本身需求在对应的资源池中进行任务调度，将任务分配到合适的工作节点。当监测到某个工作节点发生故障时，任务调度模块会将该工作节点对应的任务添加到重分配任务管道中，然后再调用调度算法对人物进行重新分配。

主从复制模块

主从复制模块通过TCP/IP协议栈共享操作指令，使得主控制节点和备份控制节点可以共享彼此的文件，实现主从复制。当备份控制节点通过心跳超时判断出主控制节点发生故障后，将会启动角色重定义机制，备份控制节点转换为主控制节点，并且立即恢复对外服务。

视觉目标统计模块

当接受到客户端发出的视觉目标统计请求时，视觉目标统计模块需要分析出请求的约束条件，包括时间范围和摄像头ID，并将其作为组合索引对数据库进行查找，计算出统计数量，并返回结果给客户端。

元数据管理模块

元数据管理模块分为任务元数据管理子模块，视频流元数据管理子模块和系统元数据管理子模块，其中任务元数据管理子模块负责对请求任务进行抽象描述，提取出任务的元数据信息并持久化，视频流元数据管理子模块对摄像头的配置参数和时空信息进行管理并持久化，系统元数据管理子模块保存着任务和工作节点的对应关系，各个工作节点的状态和任务的运行状态。工作节点负责执行视频数据处理与分析任务，一个工作节点中包含多个Worker工作进程，每个工作进程中运行着具体的处理组件。

工作节点作为系统的任务执行者和资源消耗者，部署在不同配置的物理机器上，接收控制节点分配的任务并进行具体的执行处理。多个工作节点组成的计算资源群由控制节点进行管理，每个工作节点中使用Watcher进程对节点资源进行监测，通过查看系统日志文件获取CPU、GPU、物理内存和网络带宽等资源的消耗情况。

为了保证系统的可用性，工作节点和控制节点之间使用长连接的通信方式，通过心跳保活机制进行故障监测和断线重连。工作节点内部运行的工作进程挂掉后，使用守护进程脚本程序将进程重启，保证流式视频数据能够得到不间断的处理。

工作节点的模块包括如下：

资源监测模块

为了能够根据系统资源使用情况合理分配任务，资源监测模块通过查看系统资源日志文件采集当前工作节点的资源消耗情况，并封装到TCP报文中传输给控制节点。

视频流数据处理模块

工作节点使用视频流数据处理模块对原始的视频流数据进行处理，视频取流部分将视频流数据分片，提取视频中关键的I帧和P帧，视频帧解码部分采用硬解码技术和软解码技术结合对视频帧数据进行解码，编码部分通过GPU资源对YUV格式的图片帧数据进行转换，变成常见的JPG格式图像数据。

视频流数据分析模块

视频流数据分析模块使用实验室的人工智能算法SDK对图片进行分析，首先需要绑定GPU设备，生成各个智能算法的句柄，并对算法句柄进行初始化，人脸检测部分将图片中包含的一个或多个人脸进行标记，提取出人脸框，人脸特征提取部分生成人脸的高维特征数据，视频流数据分析模块将价值密度低的视频数据转化为有价值的数据。

人脸跟踪去重模块

人脸跟踪去重模块负责将单个人员ID产生的重复无价值的图像数据过滤掉，使得一定时间范围内出现在摄像头的目标人员只推送最优的人脸图像，避免冗余的数据影响视觉目标统计的有效性。

故障监测模块

故障监测模块负责监听工作进程的运行状态，当工作进程挂掉后，需要及时将工作进程重启。

数据库模块

数据库模块负责将系统处理的结果进行保存，其中包括常规的结构化数据和人脸图片等非结构化数据，并能够响应控制节点的请求，对处理结果进行快速查询。

在各个实施例中，技术的硬件实现可以直接采用现有的智能设备，包括但不限于工控机、PC机、智能手机、手持单机、落地式单机。其输入设备优选采用屏幕键盘，其数据存储和计算模块采用现有的存储器、计算器、控制器，其内部通信模块采用现有的通信端口和协议，其远程通信采用现有的gprs网络、万维互联网。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露的装置/现场稽查采集系统设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/现场稽查采集系统设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例发明的目的。

以上实施例仅用以说明本发明的技术发明，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术发明进行修改，或者对其中部分技术特征进行同替换；而这些修改或者替换，并不使相应技术发明的本质脱离本发明各实施例技术发明的精神和范围，均应包含在本发明的保护范围之内。