基于数字征迁的进程查询方法及系统

技术领域

本发明涉及信息查询技术领域，具体涉及基于数字征迁的进程查询方法及系统。

背景技术

基于数字征迁的进程查询系统是指通过数学模型和计算机技术，对公司或组织中的业务流程、业务数据、人员行为等进行数字化、标准化和形式化，从而实现对业务流程及其关联数据的全过程监控和查询分析。这种系统使企业或组织能够更好地掌握数字征迁业务流程、优化业务流程、降低流程成本，并能及时响应和适应外部环境的变化。数字化征迁的业务流程和数据可以通过各种查询工具进行查询和分析，例如数据仓库、OLAP、数据挖掘等，并通过各种可视化手段呈现给用户。这样，用户可以更加直观地了解业务流程和数据的状态，进一步支持决策制定和业务管理。

而现有的数字征迁的进程查询技术，在处理查询任务时，易出现一个节点处理多个查询任务，易出现单个节点的拥堵，节点拥堵后会影响大量的查询进程，查询结果很难在很短的时间内返回给客户端，同时难以充分利用每个节点的计算资源，单个节点的资源占用率过高，易出现资源瓶颈。

发明内容

本发明的目的在于提供基于数字征迁的进程查询方法及系统，解决以下技术问题：

现有的基于数字征迁的进程查询，难以充分利用每个节点的计算资源，单个节点的资源占用率过高，易出现资源瓶颈。

本发明的目的可以通过以下技术方案实现：

基于数字征迁的进程查询方法及系统，包括：

S1：当用户发起查询请求后，根据用户的查询条件创建一个查询任务，并把这个任务添加到查询队列中，等待处理；

S2：对任务进行分解，通过分布式框架把查询任务分解成多个子任务，通过随机算法将子任务分配给不同的节点进行处理；

S3：建立监控机制，通过监控机制对各个节点的运行状态进行监控；当发现某个节点出现故障，则将出现故障的节点的子任务转移到最近的边缘节点进行处理；

S4：完成子任务处理的节点将处理结果传输至异步查询模块，通过异步查询模块将每个节点的处理结果进行合并，并对合并结果的排序和去重；

S5：每个节点返回的排序和去重后的处理结果组成结果集；对结果集进行优化形成查询结果，并将优化后的查询结果反馈给相应客户端。

作为本发明进一步的方案：通过随机算法将子任务分配给不同的节点进行处理，包括以下步骤：

根据获取的子任务的类型，根据子任务的处理要求，来执行相应的操作；

判断子任务需要获取的数据是否来自边缘节点，若子任务需要获取边缘节点的数据，则直接将子任务传输至边缘节点进行处理；

若无需获取边缘节点的数据，则从本地存储中查找数据，若本地存储中没有需要查询的数据，再向其他节点发起查询请求；

节点对子任务进行处理，任务处理完成后，需要将子任务的处理结果返回给请求节点。

作为本发明进一步的方案：所述异步查询模块对合并结果的排序和去重，包括以下步骤：

在每次有新的处理结果返回时，通过增量排序算法对查询结果进行排序；

对于节点返回的处理结果中存在的重复元素，通过红黑树算法对处理结果中存在的重复元素进行去重处理。

作为本发明进一步的方案：通过红黑树算法对处理结果中存在的重复元素进行去重处理，包括以下步骤：

创建一棵空的红黑树，将返回的处理结果导入红黑树中；

逐个读取红黑树中的数据，在红黑树中查找是否已经存在相同的数据。

如果不存在，则将该处理结果插入红黑树中，并标记为黑色节点；如果已经存在，则跳过该处理结果。

继续读取下一个返回的处理结果，重复步骤2-3。

当所有处理结果都处理完毕后，将红黑树中的所有黑色节点的数据就是去重后的结果。

作为本发明进一步的方案：所述步骤S5未完成时，查询结果尚未反馈给相应客户端，用户发出暂停查询进程的请求后，进行以下步骤：

异步查询模块将查询进程信息持久化；

若用户发出继续查询进程的请求，异步查询模块会通过控制线程的方式，对查询任务继续进行操作；

若用户重新发起查询请求，异步查询模块会检查临时缓存区中是否存在相应的查询结果，并进行重新载入，从暂停的地方继续查询。

作为本发明进一步的方案：查询进程信息持久化，包括以下步骤：

在边缘节点，创建一个临时缓存区；

将暂停查询进程和查询结果存储在临时缓存区。

基于数字征迁的进程查询系统,包括：

用户管理模块：用于管理用户的登录信息、注册信息和权限；

数据库管理模块：用于数字征迁规划相关的各类数据的存储、备份和恢复；

异步查询模块：用于响应查询请求并返回查询结果，并进行将查询结果传输到数据反馈模块；

数据反馈模块：用于处理上传、导入或生成的数据，用于对查询结果进行优化，并将优化后的查询结果反馈给相应客户端。

作为本发明进一步的方案：所述异步查询模块，包括：

请求接收单元，用于接收各个客户端发送的查询请求，并将查询请求抽象为文件描述组成文件描述集合，根据文件描述集合创建一个查询任务，并把这个任务添加到查询队列中；

查询队列，用于存储请求接收模块发送的查询任务，并对查询任务进行排序编号；

请求处理单元：用于循环处理查询队列中的查询任务，并取得查询结果，将查询出结果反馈给数据反馈模块；

数据删除模块：用于将查询队列中已处理完的查询任务和对应的编号删除。

作为本发明进一步的方案：所述异步查询模块还用于当查询请求发生中断时，所述异步查询模块在边缘节点创建一个临时缓存区，将未进行完成的查询进程和查询结果存储在临时缓存区；当用户再次发起查询请求时，异步查询模块会检查临时缓存区中是否存在相应的查询结果，并进行重新载入。

作为本发明进一步的方案：所述异步查询模块的请求处理单元处理查询队列中的查询任务时，对正在处理查询任务进行分解，通过分布式框架把查询任务分解成多个子任务；所述请求处理单元通过随机算法将子任务分配给不同的节点进行处理；并建立监控机制，通过监控机制对各个节点的运行状态进行监控；当发现某个节点出现故障，则将出现故障的节点的子任务转移到最近的边缘节点进行处理。。

本发明的有益效果：

本发明通过对任务进行分解，把查询任务分解成多个子任务，通过随机算法将子任务分配给不同的节点进行处理；当发现某个节点出现故障，则将出现故障的节点的子任务转移到最近的边缘节点进行处理；将任务分解成多个子任务，通过多个节点同时进行并行处理，有利于充分利用每个节点的计算资源，提高系统的处理速度和吞吐量；降低单个节点的资源占用率，从而避免资源瓶颈的出现，进一步提高系统的可扩展性。

本发明通过将任务分发到不同的节点，即使部分节点出现故障，仍有其他节点可以继续处理任务，从而有效提高了系统的可靠性和可用性。同时，通过将出现故障的节点的子任务转移到最近的边缘节点进行处理，可以尽可能地减少任务传输的延迟，从而提高系统的响应速度。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明的方法流程图；

图2是本发明系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

请参阅图1-2所示，本发明为基于数字征迁的进程查询方法及系统，包括：

S1：当用户发起查询请求后，根据用户的查询条件创建一个查询任务，并把这个任务添加到查询队列中，等待处理；

S2：对任务进行分解，通过分布式框架把查询任务分解成多个子任务，通过随机算法将子任务分配给不同的节点进行处理；

S3：建立监控机制，通过监控机制对各个节点的运行状态进行监控；当发现某个节点出现故障，则将出现故障的节点的子任务转移到最近的边缘节点进行处理；

S4：完成子任务处理的节点将处理结果传输至异步查询模块，通过异步查询模块将每个节点的处理结果进行合并，并对合并结果的排序和去重；

S5：每个节点返回的排序和去重后的处理结果组成结果集；对结果集进行优化形成查询结果，并将优化后的查询结果反馈给相应客户端。

具体的，通过对任务进行分解，把查询任务分解成多个子任务，通过随机算法将子任务分配给不同的节点进行处理；当发现某个节点出现故障，则将出现故障的节点的子任务转移到最近的边缘节点进行处理；将任务分解成多个子任务，通过多个节点同时进行并行处理，有利于充分利用每个节点的计算资源，提高系统的处理速度和吞吐量；降低单个节点的资源占用率，从而避免资源瓶颈的出现，进一步提高系统的可扩展性。

通过将任务分发到不同的节点，即使部分节点出现故障，仍有其他节点可以继续处理任务，从而有效提高了系统的可靠性和可用性。

同时，通过将出现故障的节点的子任务转移到最近的边缘节点进行处理，可以尽可能地减少任务传输的延迟，从而提高系统的响应速度。

在本发明其中一个实施例中，通过随机算法将子任务分配给不同的节点进行处理，包括以下步骤：

根据获取的子任务的类型，根据子任务的处理要求，来执行相应的操作；

判断子任务需要获取的数据是否来自边缘节点，若子任务需要获取边缘节点的数据，则直接将子任务传输至边缘节点进行处理；

若无需获取边缘节点的数据，则从本地存储中查找数据，若本地存储中没有需要查询的数据，再向其他节点发起查询请求；

节点对子任务进行处理，任务处理完成后，需要将子任务的处理结果返回给请求节点。

具体的，通过在子任务需要获取边缘节点的数据时，则直接将子任务传输至边缘节点进行处理，有助于子任务被快速处理；同时，减少了边缘节点的数据调用量，保证边缘节点的高效运行。通过无需获取边缘节点的数据时，从本地存储中查找数据，若本地存储中没有需要查询的数据，再向其他节点发起查询请求；在边缘节点之外的节点间进行信息的查询调用，可快速对子任务进行处理，加快子任务的处理效率，有效的减少了边缘节点的大量的数据调用，保证边缘节点数据的安全性。

在本发明其中一个实施例中，所述异步查询模块对合并结果的排序和去重，包括以下步骤：

在每次有新的处理结果返回时，通过增量排序算法对查询结果进行排序；

通过增量排序算法对查询结果进行排序，不需要对所有元素进行排序操作，能够减少排序的时间复杂度。

对于节点返回的处理结果中存在的重复元素，通过红黑树算法对处理结果中存在的重复元素进行去重处理。

在本发明其中一个实施例中，通过红黑树算法对处理结果中存在的重复元素进行去重处理，包括以下步骤：

创建一棵空的红黑树，将返回的处理结果导入红黑树中；

逐个读取红黑树中的数据，在红黑树中查找是否已经存在相同的数据。

如果不存在，则将该处理结果插入红黑树中，并标记为黑色节点；如果已经存在，则跳过该处理结果。

继续读取下一个返回的处理结果，重复步骤2-3。

当所有处理结果都处理完毕后，将红黑树中的所有黑色节点的数据就是去重后的结果。

具体的，通过插入过程中逐个读取红黑树中的数据，在红黑树中查找是否已经存在相同的数据。若不存在，则将该处理结果插入红黑树中，并标记为黑色节点，以保证红黑树的平衡性质。具体的操作需要根据插入节点的当前状态和它的父节点、祖父节点等进行判断和调整。通过红黑树算法对处理结果中存在的重复元素进行去重处理可以避免重复处理，从而节省计算资源和时间，减少不必要的通讯开销。去重处理可以保证每个元素只被处理一次，避免重复处理导致的数据不一致性和计算错误。通过去重处理，程序设计可以更简单，而且可以把处理结果直接存储到红黑树中，避免了反复存储的过程，更加高效。

在本发明其中一个实施例中，所述步骤S5未完成时，查询结果尚未反馈给相应客户端，用户发出暂停查询进程的请求后，进行以下步骤：

异步查询模块将查询进程信息持久化；

若用户发出继续查询进程的请求，异步查询模块会通过控制线程的方式，对查询任务继续进行操作；

若用户重新发起查询请求，异步查询模块会检查临时缓存区中是否存在相应的查询结果，并进行重新载入，从暂停的地方继续查询。

具体的，用户发出暂停查询进程的请求后，用户对同一问题的查询请求可能以发出继续查询进程的请求或重新发起查询请求的方式进行；在对暂停的查询进程进行继续操作时，异步查询模块通过控制线程的方式优先处理关键数据，从而提高查询效率；继续查询进程的请求会在之前暂停的地方继续进行，用户可以很方便地追踪查询进程，并获得更准确的结果。在用户重新发起查询请求，异步查询模块会检查临时缓存区中是否存在相应的查询结果，并进行重新载入，在上一次查询过程中可能查询结果已经得出，但未反馈给相应客户端，此时可避免重复查询，节省时间和资源，避免服务器负载高。

在本发明其中一个实施例中，查询进程信息持久化，包括以下步骤：

在边缘节点，创建一个临时缓存区；

将暂停查询进程和查询结果存储在临时缓存区。

具体的，将查询处理移到边缘节点上，可以减少数据传输和处理时间，从而提高查询效率。同时，也减少网络传输期间的数据丢失和数据不一致问题，从而提高查询结果的准确性。将查询处理移到边缘节点上，可以减少对中心服务器的依赖，从而提高系统的可伸缩性，并有效避免服务器过载等问题的发生。

实施例二

基于数字征迁的进程查询系统，请参阅图1-2所示，包括：

用户管理模块：用于管理用户的登录信息、注册信息和权限；

数据库管理模块：用于数字征迁规划相关的各类数据的存储、备份和恢复；

异步查询模块：用于响应查询请求并返回查询结果，并进行将查询结果传输到数据反馈模块；

数据反馈模块：用于处理上传、导入或生成的数据，用于对查询结果进行优化，并将优化后的查询结果反馈给相应客户端。

在本发明其中一个实施例中，所述异步查询模块，包括：

请求接收单元，用于接收各个客户端发送的查询请求，并将查询请求抽象为文件描述组成文件描述集合，根据文件描述集合创建一个查询任务，并把这个任务添加到查询队列中；

查询队列，用于存储请求接收模块发送的查询任务，并对查询任务进行排序编号；

请求处理单元：用于循环处理查询队列中的查询任务，并取得查询结果，将查询出结果反馈给数据反馈模块；

数据删除模块：用于将查询队列中已处理完的查询任务和对应的编号删除。

在本发明其中一个实施例中，所述异步查询模块还用于当查询请求发生中断时，所述异步查询模块在边缘节点创建一个临时缓存区，将未进行完成的查询进程和查询结果存储在临时缓存区；当用户再次发起查询请求时，异步查询模块会检查临时缓存区中是否存在相应的查询结果，并进行重新载入。

具体的，通过在子任务需要获取边缘节点的数据时，则直接将子任务传输至边缘节点进行处理，有助于子任务被快速处理；同时，减少了边缘节点的数据调用量，保证边缘节点的高效运行。通过无需获取边缘节点的数据时，从本地存储中查找数据，若本地存储中没有需要查询的数据，再向其他节点发起查询请求；在边缘节点之外的节点间进行信息的查询调用，可快速对子任务进行处理，加快子任务的处理效率，有效的减少了边缘节点的大量的数据调用，保证边缘节点数据的安全性。

在本发明其中一个实施例中，所述异步查询模块的请求处理单元处理查询队列中的查询任务时，对正在处理查询任务进行分解，通过分布式框架把查询任务分解成多个子任务；所述请求处理单元通过随机算法将子任务分配给不同的节点进行处理；并建立监控机制，通过监控机制对各个节点的运行状态进行监控；当发现某个节点出现故障，则将出现故障的节点的子任务转移到最近的边缘节点进行处理。

具体的，通过对任务进行分解，把查询任务分解成多个子任务，通过随机算法将子任务分配给不同的节点进行处理；当发现某个节点出现故障，则将出现故障的节点的子任务转移到最近的边缘节点进行处理；将任务分解成多个子任务，通过多个节点同时进行并行处理，有利于充分利用每个节点的计算资源，提高系统的处理速度和吞吐量；降低单个节点的资源占用率，从而避免资源瓶颈的出现，进一步提高系统的可扩展性。

在本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以及特定的方位构造和操作，因此，不能理解为对本发明的限制。此外，“第一”、“第二”仅由于描述目的，且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”“相连”“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。