一种用于数据管理的信息获取方法和系统

技术领域

本发明涉及一种大数据处理技术领域，特别涉及一种用于数据管理的信息获取方法和系统。

背景技术

目前大数据的生成源通常都是来自不同地理位置，不同传感器设备以及不同传输方式的物联网数据，因此上述数据源的分布过于散乱，因此不同类型之间数据交互需要提供较大的带宽建设和性能较好的传输设备，因此传统的数据获取方式存在较大的技术问题，无法低成本高效地获取对应的数据以实现数据管理。

发明内容

本发明其中一个发明目的在于提供一种用于数据管理的信息获取方法和系统，所述方法和系统利用网络分发服务器获取分布位置不同和传输方式不同的原始数据，并将原始数据存储于对应网络分发服务器的边缘节点，利用所述网络分发服务器的负载均衡将获取的原始数据分发到靠近管理服务器中的服务器缓存中，通过重定向技术获取最近分发服务器节点的原始数据资源。

本发明另一个发明目的在于提供一种用于数据管理的信息获取方法和系统，所述方法和系统利用网络分发服务器的自动均衡到接近管理服务器的就近分发服务器节点，因此可以有效地减少网络带宽的建设，提高信息获取能力和效果。

本发明另一个发明目的在于提供一种用于数据管理的信息获取方法和系统，所述方法和系统配置了不同层级的管理服务器，不同层级管理服务器对应范围的区域，每个被管理区域内的不同位置的原始数据生成单元均设有网络分发服务器边缘节点，从而实现数据的高效传输和缓存。

为了实现至少一个上述发明目的，本发明进一步提供一种用于数据管理的信息获取方法，所述方法包括：

配置不同层级管理区域的管理服务器，并按照区域管理层级对所述管理服务器的区域内配置边缘服务器节点；

配置多个原始数据生成单元，每个原始数据生成单元配置边缘服务器节点，用于将原始数据上传边缘服务器节点缓存中；

通过网络分发调度服务器获取对应层级管理服务器的IP地址，根据所述管理服务器的IP地址获取最接近所述对应层级管理服务器的边缘服务器节点，并将所述原始数据均衡到所述边缘服务器节点缓存中；

对应层级管理服务器向网络分发服务器发送原始数据获取请求，网络分发服务器将所述对应层级管理服务器的原始数据获取请求重定向到最接近所述对应层级管理服务器的边缘服务器节点。

根据本发明其中一个较佳实施例，所述原始数据生成单元包括：数字人资生成单元、数字安监生成单元，数字财务生成单元、企业健康指数生成单元、数字后勤生成单元和光伏健康生成单元，其中上述原始数据生成单元配置有所述边缘服务器节点，所述边缘服务器节点将对应的原始数据缓存。

根据本发明另一个较佳实施例，建立层级管理服务器方法包括：根据实际的管理区域和管理层级，设定所述管理服务器的层级，设定第一层级为当前县域管理服务器的层级，并根据所述县域实际管理区域内的企业或部门配置边缘服务器节点，不同企业将自身的原始数据上传到所述边缘服务器节点中。

根据本发明另一个较佳实施例，所述建立层级的管理服务器方法包括：配置第二级管理服务器，设定第二级管理服务器为市域范围，将市域范围内企业或部门中配置边缘服务器节点，所述市域范围边缘服务器节点内存储对应企业或部门的原始数据。

根据本发明另一个较佳实施例，所述网络分发调度服务器配置不同层级的调度策略，根据所述管理服务器的层级和当前管理服务器所对应的实际管理区域根据IP地址配置调度范围，所述网络分发调度服务器根据当前管理服务器层级将对应IP地址范围的边缘服务器节点缓存的原始数据调度到和对应管理服务器层级最接近的边缘服务器节点。

根据本发明另一个较佳实施例，当所述对应级别管理服务器向对应网络分发服务器发送原始数据同步或下载请求，所述网络分发服务器将根据所述原始数据同步或下载请求的对应级别管理服务器IP地址判断最接近对应级别管理服务器的边缘服务器节点，并根据所述原始数据同步或下载请求的URL判断当前最接近边缘服务器节点缓存中是否存在对应的原始数据，若存在，则通过所述网络分发服务器向所述对应层级的管理服务器发送重定向消息，将所述原始数据同步或下载请求重定向到所述最接近近边缘服务器节点。

根据本发明另一个较佳实施例，所述第一级别管理服务器内根据实际管理区域配置第一IP地址调度集合，当所述网络分发调度服务器根据第一级别管理服务器IP地址判断最接近对应级别管理服务器的边缘服务器节点IP后，将该边缘服务器节点IP地址和所述第一IP地址调度集合对比，若存在于所述第一IP地址调度集合中，则所述网络分发服务器生成重定向指令发送给所述第一级别管理服务器，否则，所述网络分发服务器重新查找存在所述原始数据且靠近所述第一级别管理服务器的边缘服务器节点。

根据本发明另一个较佳实施例，所述第二级别管理服务器内根据实际管理区域配置第二IP地址调度集合，其中所述第二IP地址调度集合包括所述第一级别管理服务器IP和对应实际管理区域的边缘计算节点IP地址，当所述网络分发调度服务器根据第二级别管理服务器IP地址判断最接近对应级别管理服务器的边缘服务器节点IP地址或第一节点管理服务器IP地址后，将该边缘服务器节点IP地址和第一节点管理服务器IP地址分别和所述第二IP地址调度集合对比，若存在于所述第二IP地址调度集合，则所述网络分发服务器生成重定向指令发送给所述第二级别管理服务器，否则，所述网络分发服务器重新查找存在所述原始数据且靠近所述第二级别管理服务器的边缘服务器节点或第一节点管理服务器IP。

为了实现至少一个上述发明目的，本发明进一步提供一种用于数据管理的信息获取系统，所述系统执行上述一种用于数据管理的信息获取方法。

本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述一种用于数据管理的信息获取方法。

附图说明

图1显示的是本发明一种用于数据管理的信息获取方法的流程示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

请结合图1，本发明公开了一种用于数据管理的信息获取方法和系统，其中所述方法主要包括：确定原始数据生产单元，配置网络分发服务器，所述网络分发服务器包括网络分发调度服务器和边缘服务器，并对所述原始数据生产单元配置边缘服务器作为节点，所述原始数据生产单元将自身生产的原始数据上传到所述边缘服务器节点的缓存中；配置不同层级的管理服务器，其中所述管理服务器层级将根据实际管理范围设置，比如可以设置县域管理服务器和市域管理服务器，所述县域管理服务器可以获取县域内所有原始数据生产单元的原始数据，所述市域管理服务器可以获取市域内所有原始数据。本发明采用所述网络分发服务器将对应边缘服务器节点的原始数据优化推送到靠近对应层级管理服务器的边缘服务器节点中，因此可以实现不同渠道和形态数据的高效获取。

具体而言，本发明中所述原始数据生产单元的类型包括但不仅限于数字人资生成单元、数字安监生成单元，数字财务生成单元、企业健康指数生成单元、数字后勤生成单元和光伏健康生成单元；其中上述原始数据生产单元在本发明中以大型电力公司举例说明，所述电力公司包括省级电力公司、市级电力公司和县级电力公司，每个电力公司均包括至少一个原始数据生产单元，比如县级电力公司包括数字人资生成单元，县级的数字人资生成单元可以根据县级公司的用工状况和职位安排生成包括但不仅限于员工信息、领导信息、部门信息、区域信息和内部人员流动信息等，上述信息可以用于构建所述县级电力公司的人资生态信息。所述县级电力公司包括数字安监生成单元，所述数字安监生成单元可以生成包括但不仅限于电力的检修、输电、客服、通信、电建和运维等相关风险数据，其中本发明针对所述风险数据的危险程度配置不同的风险等级，比如本发明可以配置上述风险数据的风险等级为一至五级，其中五级风险等级最低，一级风险等级最高。针对所述不同的相关风险数据，可以在所述数字安监生成单元生成对应风险数据的处理数据，比如对相关风险数据的排查和维护等操作，上述排查和维护操作可以在对应县域电力公司的边缘服务器节点上传。所述县级电力公司包括企业健康指数生成单元，所述企业健康指数生成单元生成的企业健康数据包括但不仅限于安全事件数据，投诉事件数据和信访事件数据，其中所述安全事件包括但不仅限于：故障时用户数大于150户，运行维护不当事件、外力事件、用户原因、自然原因、设备本体故障和倒负载等其它原因。其中所述投诉事件类型包括但不仅限于服务投诉、营业投诉、电网建设投诉、供电质量投诉和停送电服务投诉；所述信访事件类型包括但不仅限于伤亡安全、就业安置、劳动纠纷、劳资保障、电网建设、供电服务、农电管理、历史遗留等，上述安全事件将通过对应企业健康指数生成单元的管理者记录上传，因此本发明中针对不同的安全事件均可以通过对应位置的边缘服务器节点上传缓存。

值得一提的是，本发明中针对不同实际管理区域的管理服务器进行分级，其中定义县域范围内的管理服务器为第一级管理服务器，对应的市域范围内的管理服务器为第二级管理服务器，其中县域内的对应类型的国企或行政部门机构可设置对应的边缘服务器，作为县域内管理服务器节点，每个国企或行政部门机构设置的边缘服务器可以将自身或监管对象的数字人资生成单元、数字安监生成单元，数字财务生成单元、企业健康指数生成单元、数字后勤生成单元和光伏健康生成单元生成的原始数据保存到对应的县域的边缘服务器节点缓存中；其中所述第一级管理服务器根据IP地址可以指定接收自身县域边缘服务器节点，定义市域范围内的管理服务器为第二级管理服务器，其中所述第二管理服务器可以接收包括市域范围内所有企业或行政监管部门机构的边缘服务器节点缓存的原始数据，该原始数据通过所述企业或行政监管部门机构对应的原始数据生成单元的管理者传到对应边缘服务器节点缓存中。

本发明中上述不同层级的管理服务器获取的原始数据范围根据IP地址配置，由于IP地址具有地域性，不同县区域的IP地址格式和数值是不同的，因此本发明在所述第一层级管理服务器中配置第一IP地址调度集合，所述第一IP地址调度集合中保存了当前县域范围内所有IP地址内容，因此当所述第一层级管理服务器通过访问得到的响应信号时，需要判断所述响应信号的IP地址是否为对应等级管理服务器可接收范围。需要说明的是，由于本发明是采用网络分发服务器进行原始资源的调度和访问，具体是通过所述网络分发服务器的网络分发调度服务器调度所述第一管理服务器的访问对象。具体访问方法包括：所述第一层级管理服务器向网络分发服务器发送原始数据的同步或下载的第一请求，该第一请求中包含了所述第一层级管理服务器自身IP地址和原始数据URL，所述网络分发服务器将根据所述第一层级管理服务器自身IP地址，判断县域范围内的所有边缘服务器节点IP地址和所述第一层级管理服务器自身IP地址最近的边缘服务器节点，其中所述IP地址最近的判断方法为：将IP地址的每个位置数值进行对比，从前往后IP地址对应位置数值连续相同则相似度越大，表示IP地址位置越接近。进一步通过所述网络分发服务器的均衡功能将所述第一层级管理服务器所需要的原始数据发送到所述最近的边缘服务器节点缓存中，此时所述网络分发调度服务器获取该最近的边缘服务器节点IP地址，并将该最近的边缘服务器节点IP地址作为响应信息生成重定向消息发送给所述第一层级管理服务器，此时所述第一级管理服务器根据所述重定向消息向所述最近的边缘服务器节点发送原始数据同步或下载请求，从而完成原始数据的获取操作。值得一提的是，在本发明另一个较佳实施例中，所述第一层级管理服务器需要获取所述网络分发调度服务器发出重定向消息的最近的边缘服务器节点IP地址，并判断该最近的边缘服务器节点IP地址是否为所述第一层级管理服务器所存储的第一IP地址调度集合中的IP地址，若是则执行重定向访问，若否，则不再执行该重定向访问。

进一步的，所述第二层级管理服务器向所述网络分发服务器发送原始数据同步或下载的第二请求，此时所述第二请求中包含了所述第二层级管理服务器自身IP地址，所述第二层级管理服务器自身存储有包含第二层级管理服务器实际市级管理区域所有IP地址的第二IP地址调度集合。此时所述网络分发服务器接收到所述第二请求后，获取所述第二请求数据中的第二层级管理服务器IP地址，进一步所述网络分发服务器查找到最接近所述第二层级管理服务器IP地址的边缘服务器IP，并将所述最接近第二层级管理服务器IP地址的边缘服务器IP作为响应信息生成重定向信息，将所述重定向信息发送给对应的第二层级管理服务器，所述第二层级管理服务器根据所述重定向信息中的边缘服务器IP，向最接近自身的边缘服务器节点发送原始数据同步或下载的第二请求。若对应的最接近第二层级管理服务器的所述边缘服务器缓存中存在对应的原始数据，则向所述第二层级管理服务器发送所述原始数据，否则返回重新查找其它最接近边缘服务器缓存中是否存在对应的原始数据。在本发明另一个较佳实施例中，针对所述重定向获取的最接近第二层级管理服务器的所述边缘服务器IP地址，需要判断所述最接近第二层级管理服务器的所述边缘服务器IP地址是否在所述第二IP地址调度集合中，若在则判定为符合管理范围的边缘服务器节点，可以执行对应的原始数据同步和下载操作，否则阻止该原始数据的同步和下载。上述实施例中，所述第二层级管理服务器的第二IP地址调度集合可以包含具有层级管理关系的第一层级管理服务器IP地址，因此在所述第二层级管理服务器中，可以将所述第一层级级管理服务器作为自身的边缘服务器节点使用，因为管理服务器通常具有大的存储空间和数据资源，从而在一定程度上提高了不同层级管理服务器对下层数据的获取效率。

上述方法中所述网络分发服务器可以通过预先均衡配置的方式将每个边缘服务器节点存储的原始数据提前发送到其它的边缘服务器节点中。

本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。