一种标签数据存储方法及系统

技术领域

本发明属于大数据技术领域，尤其涉及一种标签数据存储方法及系统。

背景技术

近年来，随着物联网的发展，各式各样的监控系统作为数据的采集入口，遍布于城市的大街小巷。这些监控系统每天都会抓拍海量的数据到数据中心，其中以治安数据来源最多，业务最杂，数据量最大。在处理大批量的数据时，传统的业务系统是在海量的数据中碰撞分析筛选出需要的数据，但实际分析时间长，且服务器限制，无法进行全量分析。

数据标签作为数据深入挖掘的有效手段，能将业务数据转化为量化的特征和标签，提高数据的质量和价值，很好的解决传统业务系统在处理大批量数据的问题。但采用现有的关系型数据进行存储时，其检索速度慢，使得业务分析效率较低。而采用大数据的存储引擎或实时数仓存储，其系统开发过程较为复杂，且对部署环境资源要求较高。

有鉴于此，有必要提出一种分析效率高、开发过程简单且资源需求较小的标签数据存储方法。

发明内容

有鉴于此，本发明实施例提供了一种标签数据存储方法及系统，用于解决现有标签数据存储方案存在分析效率低、开发过程复杂且资源需求较大的问题。

在本发明实施例的第一方面，提供了一种标签数据存储方法，包括：

获取治安数据，根据治安数据类型为治安数据定义标签及分析规则，通过Flink程序按所述分析规则对治安数据进行分析，得到对应的标签数据；

将标签数据存储至ElasticSearch集群。

在本发明实施例的第二方面，提供了一种标签数据存储系统，包括：

数据分析模块，用于获取治安数据，根据治安数据类型为治安数据定义标签及分析规则，通过Flink程序按所述分析规则对治安数据进行分析，得到对应的标签数据；

数据存储模块，用于将标签数据存储至ElasticSearch集群。

在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

本发明实施例中，基于Flink引擎进行标签数据分析，并基于ElasticSearch集群进行标签数据存储，不仅可以提高数据分析效率，而且开发过程简单，占用资源较少，方便横向扩展。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。

图1为本发明一个实施例提供的一种标签数据存储方法的流程示意图；

图2为本发明一个实施例提供的一种标签数据存储系统的结构示意图；

图3为本发明的一个实施例提供的一种电子设备的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。

请参阅图1，本发明实施例提供的一种标签数据存储方法的流程示意图，包括：

S101、获取治安数据，根据治安数据类型为治安数据定义标签及分析规则，通过Flink程序按所述分析规则对治安数据进行分析，得到对应的标签数据；

所述治安数据为监控摄像头采集的图像数据，通常包含监控抓拍的人像、车辆或其他特定目标等。所述标签为治安数据类型标签，通常是基于分析规则得到具有某一共性特征的数据标签，比如人员频繁出没、有规律出没等。

具体的，上传基于标签数据分析规则编码的Flink程序，配置程序参数后，执行Flink程序以对治安数据进行分析。

示例性的，选取对应的数据标签名称，上传已经开发好的Flink分析程序jar包，点击编辑并配置各种参数；配置好参数和jar包后，只需要点击运行，分析的标签结果会通过标签存储提供的数据存储接口将分析好的数据存入ElasticSearch集群中。

所述分析规则，即标签数据分析规则，其用于对特定类型的治安数据进行分析提取，并添加对应的数据标签。例如，若数据标签为频繁出没，则可以定义对应的分析规则算法，如同一人在同一抓拍设备下出现3天内出现5次及以上，或5天出现10次及以上，或7天15次及以上，通过该规则可给对应人员打上频繁出没标签。

其中，根据治安数据的分类配置和属性配置，为治安数据生成数据标签模型，所述数据标签模型包括数据唯一标识和标签类型。

分类配置是对数据的一种分类，比如人员分类，车辆分类等，一般是区分业务数据种类的最直观最有效的方式；属性配置是对分类数据的标识，是分类数据的必不可少并且又可以唯一标识分类数据下面的数据，比如人员分类中属性对应的身份证号码，可以依赖标签属性快速定位到所需要的数据。数据的分类配置和属性配置只进行一次，配置后的标签字段不可修改。

基于所述数据标签模型可以准确快速定位到对应标签中，具有唯一标识的标签数据。

S102、将标签数据存储至ElasticSearch集群。

所述ElasticSearch集群作为数据标签系统数据的存储数据库，其可以提供数据标签的增加、删除或修改操作，以及通过数据标签查询对应标签数据的操作。

在一个实施例中，若治安数据满足数据标签模型的规则，则基于接口API的数据格式，进行数据标签的增加、删除或修改，并通过查询接口获取对应的标签数据。

示例性的，根据不同的数据类型将数据分类，如分为人、车；在分类下面配置数据的属性标识字段，此类字段和分类密不可分且能标识出数据在分类中的唯一性，如人员下面配置身份证号码；通过对外提供的新增或修改接口API接入数据，数据的格式需要满足配置项，并满足标签系统新增或修改接口API的数据格式；获取预新增或修改的数据分类，并根据标签系统的规则查询对应的分类是否存在；若不存在，则创建ElasticSearch分类索引，并将数据唯一标识和数据的标签标识写入到对应的分类中；若存在，则获取预新增或修改数据的唯一标识，判断数据是否存在对应的分类中，如果存在，则修改对应分类的数据标签标识，反之将数据唯一标识和数据的标签标识写入到对应的分类中。

ElasticSearch集群基于标签对外提供的删除标签接口API接入数据，数据的格式需要满足配置项，并满足标签系统删除标签接口API的数据格式；获取预删除数据的分类，并根据标签系统的规则查询对应的分类是否存在；若不存在，则不进行删除标签数据操作；若存在，则获取数据唯一标识，判断数据是否存在对应的分类中，如果存在，则根据数据唯一标识快速定位并且删除对应数据中对应的标签标识，反之不进行删除标签操作。

本实施例中，采用Flink作为数据标签模型实现，Flink是一个高性能的流处理引擎,可以处理大规模的数据流；Flink具有高可用和高容错性,避免数据丢失和重复。将数据共性抽象出来,作为标签数据的分析规则算法，通过编码实现规则算法即可得到标签数据，开发过程简单且扩展性好，能有效提高数据分析效率。

采用ElasticSearch集群作为数据存储，ElasticSearch在检索上具有速度快的优势，能解决传统关系型数据库存储中存在的问题。同时ElasticSearch对服务器配置要求没有大数据组件高，一般只需要配置3台16G内存的服务器就可以搭建起ElasticSearch集群，占用资源少，能解决大数据存储引擎的资源配置问题。将数据共性作为数据的身份标签存储到ElasticSearch集群中，提供简易API接口对外提供服务,方便数据的增、删、查、改操作。

可以理解，数据标签系统作为一种工具类系统，可以对外提供良好的API接口，包括数据接入格式的定义，数据结果格式的封装返回；数据标签可以抽象出标签数据的规则，根据规则开发出对应的Flink分析jar包供分析系统运行；数据标签针对的是海量数据，只需要存储标签数据的唯一标识和标签标识，能节省大量的存储资源；采用的ElasticSearch存储设置分片机制，分片机制能提供更好的分布性，同一个索引分成多个分片，采用分而治之的方式可以提升处理效率；部署ElasticSearch存储的集群环境，只需要增加机器做简单的配置就可以横向可扩展，方便实现标签系统的升级扩容；ElasticSearch提供复制机制，即使某台服务器宕机集群依然可以正常运行，灾区容错性高。

标签数据扩容配置简单，只需要增加ElasticSearch节点，并且进行简单的配置即可扩容，且对部署环境资源要求低，数据稳定性高，地方单位可在现有的资源上部署即可。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图2为本发明实施例提供的一种标签数据存储系统的结构示意图，该系统包括：

数据分析模块210，用于获取治安数据，根据治安数据类型为治安数据定义标签及分析规则，通过Flink程序按所述分析规则对治安数据进行分析，得到对应的标签数据；

具体的，上传基于标签数据分析规则编码的Flink程序，配置程序参数后，执行Flink程序以对治安数据进行分析。

其中，所述为治安数据添加标签包括：

根据治安数据的分类配置和属性配置，为治安数据生成数据标签模型，所述数据标签模型包括数据唯一标识和标签类型。

数据存储模块220，用于将标签数据存储至ElasticSearch集群。

在一些实施例中，若治安数据满足数据标签模型的规则，则基于接口API的数据格式，进行数据标签的增加、删除或修改，并通过查询接口获取对应的标签数据。

所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和模块的具体工作过程可以参考前述方法实施例中对应的过程，在此不再赘述。

图3是本发明一实施例提供的一种电子设备的结构示意图。所述电子设备用于标签数据存储及分析。如图3所示，该实施例的电子设备3包括：存储器310、处理器320以及系统总线330，所述存储器310包括存储其上的可运行的程序3101，本领域技术人员可以理解，图3中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图3对电子设备的各个构成部件进行具体的介绍：

存储器310可用于存储软件程序以及模块，处理器320通过运行存储在存储器310的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。存储器310可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如缓存数据)等。此外，存储器310可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在存储器310上包含网络请求方法的可运行程序3101，所述可运行程序3101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器310中，并由处理器320执行，以进行标签数据存储及分析等，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序3101在所述电子设备3中的执行过程。例如，所述计算机程序3101可以被分割为数据分析模块、数据存储模块等功能模块。

处理器320是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器310内的软件程序和/或模块，以及调用存储在存储器310内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体状态监控。可选的，处理器320可包括一个或多个处理单元；优选的，处理器320可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器320中。

系统总线330是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如PCI总线、ISA总线、CAN总线等。处理器320的指令通过总线传递至存储器310，存储器310反馈数据给处理器320，系统总线330负责处理器320与存储器310之间的数据、指令交互。当然系统总线330还可以接入其他设备，例如网络接口、显示设备等。

在本发明实施例中，该电子设备所包括的处理320执行的可运行程序包括：

获取治安数据，根据治安数据类型为治安数据定义标签及分析规则，通过Flink程序按所述分析规则对治安数据进行分析，得到对应的标签数据；

将标签数据存储至ElasticSearch集群。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。