一种Elasticsearch高效检索的方法、系统、计算机设备及存储介质

技术领域

本发明涉及风险排查技术领域，具体来说，涉及一种Elasticsearch高效检索的方法、系统、计算机设备及存储介质。

背景技术

随着风险排查工作的不断持续进行,已经积累了海量风险数据,原有的oracl数据库,已经无法满足海量数据的高效查询工作,严重时，导致整个查询系统的崩溃，造成数据丢失，损失较大。

发明内容

为了克服现有技术的不足，本发明的一种Elasticsearch高效检索的方法、系统、计算机设备及存储介质，能够支持无线扩张，满足海量数据高效查询的目的。

本发明解决其技术问题所采用的技术方案是：一种Elasticsearch高效检索的方法，其改进之处在于，包括数据写入和数据读取；

数据写入步骤如下：

客户端选择一级协调节点进行信息交互，即发送写请求，通过路由计算确定文档的位置，将写请求转发到二级协调节点上执行写请求，执行写请求成功后将数据备份至三级协调节点，同时，将数据返回至与客户端信息交互的一级协调节点上，所述一级协调节点、二级协调节点及三级协调节点均报告成功，则二级协调节点向一级协调节点报告成功，一级协调节点向客户端报告成功；

数据读取步骤如下：

客户端选择一级协调节点进行信息交互，即发送读请求，通过路由计算确定文档位置，将读请求转发至二级协调节点上执行读请求，执行读请求成功后将数据返回至与客户端信息交互的一级协调节点上，数据最终返回至客户端。

作为上述技术方案的改进，所述一级协调节点、二级协调节点以及三级协调节点均包括主分片和副本分片。

作为上述技术方案的进一步改进，数据写入时：客户端选择一级协调节点进行信息交互时，通过路由计算，确定文档属于该一级协调节点的主分片，将写请求转发到二级协调节点的主分片上，并执行写请求，执行写请求成功时，将数据备份至三级协调节点的副本分片上，同时，将数据返回至一级协调节点的副本分片上，所述一级协调节点的副本分片、二级协调节点的副本分片及三级协调节点的副本分片均报告成功，则二级协调节点向一级协调节点报告成功，一级协调节点向客户端报告成功。

作为上述技术方案的进一步改进，数据读取时：客户端选择一级协调节点进行信息交互时，通过路由计算，确定文档属于二级协调节点的主分片，将读请求转发到二级协调节点上时，具体存入的是二级协调节点的主分片上，并执行读请求，执行读请求成功时，将数据返回至与客户端信息交互的一级协调节点的副本分片上，数据最终返回至客户端。

一种Elasticsearch高效检索的系统，其改进之处在于，包括数据系统，所述数据系统用于接收客户端的写请求，确定文档位置后执行写请求，成功后将数据备份，并向客户端报告成功，所述数据系统还用于接收客户端的读请求，确定文档位置后执行读请求，成功后将文档返回至客户端。

作为上述技术方案的进一步改进，所述数据系统包括一级协调节点、二级协调节点以及三级协调节点，所述一级协调节点、二级协调节点以及三级协调节点之间电性连接。

作为上述技术方案的进一步改进，所述一级协调节点、二级协调节点以及三级协调节点均包括主分片和副本分片。

作为上述技术方案的进一步改进，数据系统在数据写入时：客户端选择一级协调节点进行信息交互时，通过路由计算，确定文档属于该一级协调节点的主分片，将写请求转发到二级协调节点的主分片上，并执行写请求，执行写请求成功时，将数据备份至三级协调节点的副本分片上，同时，将数据返回至一级协调节点的副本分片上，所述一级协调节点的副本分片、二级协调节点的副本分片及三级协调节点的副本分片均报告成功，则二级协调节点向一级协调节点报告成功，一级协调节点向客户端报告成功。

作为上述技术方案的进一步改进，数据系统在数据读取时：客户端选择一级协调节点进行信息交互时，通过路由计算，确定文档属于二级协调节点的主分片，将读请求转发到二级协调节点上时，具体存入的是二级协调节点的主分片上，并执行读请求，执行读请求成功时，将数据返回至与客户端信息交互的一级协调节点的副本分片上，数据最终返回至客户端。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法。

一种计算机可读存储介质，所述计算机可读介质存储有执行上述任一项所述方法的计算机程序。

本发明的有益效果是：本发明通过结构的设置，解决海量数据的存储问题，支持无限扩张,满足海量数据的高效查找需求。

附图说明

图1为本发明的数据写入的结构框架图；

图2为本发明的数据读取的结构框架图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

本发明揭示了一种Elasticsearch高效检索的方法，包括数据写入和数据读取；

参考图1，数据写入步骤如下：

客户端选择一级协调节点Node1进行信息交互，即发送写请求，通过路由计算确定文档的位置，将写请求转发到二级协调节点Node2上执行写请求，执行写请求成功后将数据备份至三级协调节点Node3，同时，将数据返回至与客户端信息交互的一级协调节点Node1上，所述一级协调节点Node1、二级协调节点Node2及三级协调节点Node3均报告成功，则二级协调节点Node2向一级协调节点Node1报告成功，一级协调节点Node1向客户端报告成功；

参考图2，数据读取步骤如下：

客户端选择一级协调节点Node1进行信息交互，即发送读请求，通过路由计算确定文档位置，将读请求转发至二级协调节点Node2上执行读请求，执行读请求成功后将数据返回至与客户端信息交互的一级协调节点Node1上，数据最终返回至客户端。

在上述实施例中，所述一级协调节点Node1、二级协调节点Node2及三级协调节点Node3在数据写入时主要用于请求转发，所述一级协调节点Node1、二级协调节点Node2及三级协调节点Node3在数据读取时主要用于读操作，当数据写入时，客户端向一级协调节点Node1发送写入请求，一级协调节点Node1通过路由计算确定文档的位置并将写请求转发至二级协调节点Node2上执行写请求，执行写请求成功后将数据返回至一级协调节点Node1上，最终返回至客户端，同时执行写入请求成功后将数据备份至三级协调节点Node3上，解决本发明海量数据容量不足的问题；当数据读取时，客户端向一级协调节点Node1发送读请求，一级协调节点Node1通过计算确定文档位置，将读请求转发至二级协调节点Node2上并执行读请求，执行读请求成功后将数据返回一级协调节点上Node1，数据最终返回客户端。

进一步的，所述一级协调节点Node1、二级协调节点Node2以及三级协调节点Node3均包括主分片和副本分片。

参考图1，数据写入时：客户端选择一级协调节点Node1进行信息交互时，通过路由计算，确定文档属于该一级协调节点Node1的主分片P0，将写请求转发到二级协调节点Node2的主分片P1上，并执行写请求，执行写请求成功时，将数据备份至三级协调节点Node3的副本分片R1上，同时，将数据返回至一级协调节点Node1的副本分片R1上，所述一级协调节点Node1的副本分片R1、二级协调节点Node2的副本分片R0及三级协调节点Node3的副本分片R1均报告成功，则二级协调节点Node2向一级协调节点Node1报告成功，一级协调节点Node1向客户端报告成功。

参考图2，数据读取时：客户端选择一级协调节点Node1进行信息交互时，通过路由计算，确定文档属于二级协调节点Node2的主分片P1，将读请求转发到二级协调节点Node2上时，具体存入的是二级协调节点Node2的主分片P1上，并执行读请求，执行读请求成功时，将数据返回至与客户端信息交互的一级协调节点Node1的副本分片R1上，数据最终返回至客户端。

在上述实施例中，数据写入时，客户端选择一级协调节点Node1进行信息交互时，通过路由计算，确定文档属于该一级协调节点Node1的主分片P0，将写请求转发到二级协调节点Node2的主分片P1上，并执行写请求，执行写请求成功时，将数据备份至三级协调节点Node3的副本分片R1上，同时，将数据返回至一级协调节点Node1的副本分片R1上，所有副本分片都报告成功，二级协调节点Node2向一级协调节点Node1报告成功，则一级协调节点Node1向客户端报告成功。数据读取时，客户端选择一级协调节点Node1进行信息交互，通过路由计算，确定文档属于二级协调节点Node2的主分片P1，由于一级协调节点Node1、二级协调节点Node2及三级协调节点Node3均包括有主分片，根据轮询以达到负载均衡，将读请求转发到二级协调节点Node2的主分片P1上，并执行读请求，执行读请求成功时，将数据返回至一级协调节点Node1的副本分片R1上，最终一级协调节点Node1将文档返回至客户端。

一种Elasticsearch高效检索的系统，包括数据系统，所述数据系统用于接收客户端的写请求，确定文档位置后执行写请求，成功后将数据备份，并向客户端报告成功，所述数据系统还用于接收客户端的读请求，确定文档位置后执行读请求，成功后将文档返回至客户端。

在上述实施例中，本发明数据系统和数据系统

其中，所述数据系统包括一级协调节点Node1、二级协调节点Node2以及三级协调节点Node3，所述一级协调节点Node1、二级协调节点Node2以及三级协调节点Node3之间电性连接。所述一级协调节点Node1、二级协调节点Node2以及三级协调节点Node3均包括主分片和副本分片。

数据系统在数据写入时：客户端选择一级协调节点Node1进行信息交互时，通过路由计算，确定文档属于该一级协调节点Node1的主分片P0，将写请求转发到二级协调节点Node2的主分片P1上，并执行写请求，执行写请求成功时，将数据备份至三级协调节点Node3的副本分片R1上，同时，将数据返回至一级协调节点Node1的副本分片R1上，所述一级协调节点Node1的副本分片R1、二级协调节点Node2的副本分片R0及三级协调节点Node3的副本分片R1均报告成功，则二级协调节点Node2向一级协调节点Node1报告成功，一级协调节点Node1向客户端报告成功。

数据系统在数据读取时：客户端选择一级协调节点Node1进行信息交互时，通过路由计算，确定文档属于二级协调节点Node2的主分片P1，将读请求转发到二级协调节点Node2上时，具体存入的是二级协调节点Node2的主分片上，并执行读请求，执行读请求成功时，将数据返回至与客户端信息交互的一级协调节点Node1的副本分片R1上，数据最终返回至客户端。

在上述实施例中，数据系统在数据写入时，客户端选择一级协调节点Node1进行信息交互，通过路由计算，确定文档属于该一级协调节点Node1的主分片P0，将写请求转发到二级协调节点Node2的主分片P1上，并执行写请求，执行写请求成功时，将数据备份至三级协调节点Node3的副本分片R1上，解决本发明海量数据容量不足的问题，告别低效率查找数据、查找数据卡机情况的发生，同时，将数据返回至一级协调节点Node1的副本分片R1上，所有副本分片都报告成功，则二级协调节点Node2向一级协调节点Node1报告成功，一级协调节点Node1向客户端报告成功。数据读取时，客户端选择一级协调节点Node1进行信息交互，通过路由计算，确定文档属于二级协调节点Node2的主分片P1，由于一级协调节点Node1、二级协调节点Node2及三级协调节点Node3均包括有主分片，根据轮询以达到负载均衡，将读请求转发到二级协调节点Node2的主分片P1上，并执行读请求，执行读请求成功时，将数据返回至一级协调节点Node1的副本分片R1上，最终一级协调节点Node1将文档返回至客户端。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法。

一种计算机可读存储介质，所述计算机可读介质存储有执行上述任一项所述方法的计算机程序。

本发明的有益效果是：本发明通过结构的设置，解决海量数据的存储问题，支持无限扩张,满足海量数据的高效查找需求。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围。