一种向数据库中查询、插入模块化数据的方法和装置

技术领域

本发明属于计算机技术领域，涉及对关联性数据进行模块化打包存储和查询的方法，可应用于关联性数据的分析领域。

背景技术

关系型数据库是依据关系模型来创建的数据库。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。

关系型数据库存储数据具有关系性，可用于一个表以及多个表之间非常复杂的查询。由于以标准化为前提，数据更新的开销很小，能够保持数据的一致性。

主要应用场景：需要做复杂处理的数据；数据量不是特别大的数据；对安全性要求高的数据；数据格式单一的数据。但是在处理复杂的数据量较大的琐碎数据时，处理时间较长，严重影响性能及使用体验。

发明内容

鉴于现有技术中的上述缺陷或不足，本发明为了解决上述现有技术中存在的问题，本发明提出一种针对大量复杂数据的处理方式，实现数据解耦的方式及装置，数据库中存储处理后的数据，进而达到提升分析数据性能的目的。具体为一种向数据库中查询、插入模块化数据的方法和装置。

其主要技术方案为：一种向数据库中查询、插入模块化数据的装置，包括规则配置模块、数据获取模块、数据处理模块、程序监控模块，所述规则配置模块预先设置数据的分析规则，后续数据的归类、拆解、加密、分析都会按照该规则或延伸规则进行；

所述数据获取模块获取按实际需求构成的初始数据；

所述数据处理模块对数据的类别、包含词条等进行区分归类，按照分析方向将同类数据附加指定规则编码的标志，放置到不同的数据块和数据流向中，采用多线程并发缓存机制；

所述程序监控模块监控线程池中的线程信息，监控数据获取模块有操作时数据池发生变化，启动数据处理模块处理数据，保持数据库与运行内存中的相关数据同步。

一种向数据库中查询、插入模块化数据的方法，包括以下步骤：

(1)、配置相关的分析规则，包含分析的侧重点、宽度和深度以及相关的目标要求，该规则指定分析的细粒度、目标及延伸方向，作为获取最终结果的依据；

(2)、根据相关规则对数据进行处理，记录关键字的地址码信息，将相关的关键字地址码信息整合处理，追加时间戳信息，作为唯一的数据标识存入数据池中，并与数据库中的相关数据建立关联关系。

(3)、数据处理模块通过的相关标识码，减少执行时间，减少数据检索范围，根据相关的检索信息，拆分关键点，直接寻址匹配运行内存中唯一标识信息，检索成功的结果再从数据库中获取相关数据，返回分析结果。

进一步的，步骤(2)中唯一标识中包含相关的关键信息，分别存储在运存和数据库中，监听模块监听数据库中的数据变化，同步运行内存中的唯一标识信息。

本发明的有益效果在于：

(1)使用相关的web技术提高客户端性能，降低的服务端的压力，提升的用户体验。

(2)有传统的收集分析过程，转变为信息化处理，减少了不必要的资源浪费。

(3)提高了分析过程的便捷性、搜索和分析效率，降低了纠错成本。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明各数据模块与数据库之间的交互关系图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

具体实施方式：

本发明提供了一种对需分析的数据进行处理的一种算法和装置，在数据存入数据库之前在分析引擎中对数据进行预处理，降低数据的复杂性。

图1描述了规则配置模块、数据获取模块、数据处理模块、程序监控模块、客户端程序及数据库之间的交互关系。

(1)配置相关的分析规则，包含分析的侧重点、宽度和深度以及相关的目标要求，主要作用为提取相关的关键信息提供参考。

(2)根据相关规则对数据进行处理，记录关键字的地址码信息，将相关的关键字地址码信息整合处理，追加时间戳信息，作为唯一的数据标识存入数据池中，并与数据库中的相关数据建立关联关系。唯一标识中包含相关的关键信息，分别存储在运存和数据库中，监听模块监听数据库中的数据变化，同步运行内存中的唯一标识信息。

(3)数据处理模块通过的相关标识码，减少执行时间，减少数据检索范围。根据相关的检索信息，拆分关键点，直接寻址匹配运行内存中唯一标识信息，检索成功的结果再从数据库中获取相关数据，返回分析结果。

本发明所述的处理数据的方法及装置，主要包括规则配置模块、数据获取模块、数据处理模块、程序监控模块，并通过以下步骤工作：

(1)本发明是建立在业务程序和数据库之间，根据用户需求，通过规则配置模块预先设置数据的分析规则，后续数据的归类、拆解、加密、分析都会按照该规则或延伸规则进行。该规则指定分析的细粒度、目标及延伸方向，作为获取最终结果的依据。

(2)数据获取模块获取按实际需求构成的初始数据，采用多线程并发缓存机制，采集的初始数据储存在数据池中，供后续处理过程抽取数据。

(3)数据处理模块首先从数据池中抽取，对数据的类别、包含词条等进行初步区分归类，再按照分析方向将同类数据附加指定规则编码的标志，放置到不同的数据块和数据流向中。将处理完成的数据和对应的编码储存到数据库中，将缓存数据存储至物理内存中。存储的数据只存在编码和数据的关系，减少的关联表，达到解耦的目的。

(4)程序监控模块监控线程池中的线程信息，当处理过程中线程报错时将任务指派给新的进程，并结束当前进程。监控数据获取模块有操作时数据池发生变化，启动数据处理模块处理数据。保持数据库与运行内存中的相关数据同步。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。