一种分布式系统实时数据处理与同步方法及系统

技术领域

本发明涉及通信技术领域，具体为一种分布式系统实时数据处理与同步方法及系统。

背景技术

在分布式通信技术领域，随着分布式系统的普及，对实时数据处理和消息传递的需求日益增长。分布式系统由多个节点和服务器组成，要实现高效的数据传递和监测机制，需要解决节点的自动生成、管理和通信的问题。然而，现有的方法可能在节点自动生成和通信方面存在效率低下、复杂性高和资源浪费等问题，在通信技术领域，数据同步、数据监测和实时消息传递是日益重要的挑战。特别是在现代分布式系统中，实时数据变化的监测和高效消息传递成为一项关键任务。分布式系统的复杂性导致了数据交换的困难，因此需要更有效的方法来处理数据变化和传递，并且考虑到自动生成各通信节点的需求。

在分布式系统中，已有一些尝试通过消息队列、分布式数据库等方式来实现数据传递。然而，这些方法可能需要手动配置和管理节点，且在大规模数据变化的情况下，可能会导致性能问题，自动生成各通信节点是分布式系统中的一项关键挑战，需要解决节点识别、连接和数据同步等问题，为此，我们提出一种分布式系统实时数据处理与同步方法及系统。

发明内容

本发明的目的在于提供一种分布式系统实时数据处理与同步方法及系统，以解决上述背景技术中提出的现有技术中存在的数据监测效率低、消息传递延迟高和复杂的服务器交互的问题。

为实现上述目的，本发明提供如下技术方案：一种分布式系统实时数据处理与同步方法及系统，包括以下步骤：

建立数据节点：通过软件配置来建立数据节点，为每个节点分配唯一的标识符，在初始阶段，系统会自动传播本节点的信息到外部，并且同时接收其他节点传播的信息，从而建立一个通讯录，通讯录的构建使得系统能够随时了解各个节点的数据动态；

监听数据变化：当版本发生变化时，本节点会自动将此消息向外进行扩散，实现自动同步，如果相邻节点发生消息变动，其也会进行消息扩散，一旦本节点接收到扩散的消息，它会根据消息的来源ID，在通讯录中找到对应的节点，并将新消息更新到通讯录中，本节点将这条消息交由触发器处理，继续后续的操作；

数据通讯广播：系统在启动时根据用户的配置创建相应的数据通道，允许用户根据不同的消息类型建立相应的通讯连接，当本节点的消息发生变化时，监听模块将调用通讯模块，通讯模块会将信息装配成特有消息格式，并对其进行加密，通讯模块会判断该消息应属于哪个组播通道，并将消息发送到相应通道中；

自动生成通信节点：系统在启动时会自动发送一次心跳信号，其中心跳包含了本节点的关键信息，临近的节点接收到心跳信号，会自动将它添加到通讯录，在系统运行期间，用户指定心跳信号的间隔时间，到达设定的时间后，系统自动发送心跳信号，新启动的节点也会根据其他节点的心跳信号快速形成通讯录；

属性变化触发动作：在系统中设有全局触发器，指定订阅的节点类型，系统自动寻找与此节点类型相匹配的节点，将它们纳入触发器的管理范围，通讯模块接收到消息后，会将消息传递给触发器模块，触发器模块会检查消息的来源是否为本节点所关注的节点类型，满足这一条件，会继续检查消息的数据类型是否也是本节点所关注的，当两个条件都得到满足时，触发器模块会自动触发用户事先指定的回调函数，以执行特定的动作，在新增触发器时，系统会首先进行一个触发器缓存的操作，根据缓存的内容确定具体的关注节点，鉴于设置触发器时可能通讯录尚未完全形成，系统会定期刷新缓存，以适应后续加入通讯录的新节点。

进一步地，自动生成通信节点的关键信息包括节点ID、节点类型以及支持的属性类型。

进一步地，看板配置模块提供外部设置的参数，用于配置插件,系统通过调用该模块来启动插件并进行参数配置。

进一步地，数据接收模块向外暴露用于操作插件数据的接口,数据触发模块封装被动触发的操作。

进一步地，同步监听模块负责封装节点数据的同步机制，广播模块则提供节点内部数据交互所需的功能。

进一步地，系统采用了内部嵌套结构，将队列、消息类型以及消息等要素封装在节点内部,节点之间再次被封装，形成了通讯录高层结构。

进一步地，订阅的节点发生数据变动，系统将通过UDP方式将变动信息扩散到指定通道，本节点接收到扩散的数据后，更新通讯录节点，并将处理交给触发器线程。

进一步地，各节点之间相互通知并组装成通讯录，同时进行本节点信息的上传、广播通道和组播通道的初始化，以及触发器的初始化。

进一步地，一种分布式系统实时数据处理与同步系统，应用于所述的一种分布式系统实时数据处理与同步方法。

与现有技术相比，本发明的有益效果是：该分布式系统实时数据处理与同步方法及系统，实时数据传递机制采用了UDP信号扩散的方式，通过这种方式实现节点数据的实时同步。类似于每个节点都是一台服务器，相较于传统的复杂流程和频繁的服务器交互，这种机制极大地提升了数据传递的效率和实时性；

引入了自动化通信节点生成器，系统可以根据配置规则自动生成通信节点，简化了节点配置和管理过程，提高了系统的可维护性和扩展性；

数据节点能够关注特定属性类型的变化，从而在属性变化时触发预定的动作。这使得系统可以根据实际需求进行精确而高效的数据处理和反应；

为应用程序开发者提供了更灵活的数据处理方式，无需频繁的轮询或复杂的服务器交互。开发者可以根据自身需求定义关注属性类型和相应的动作，从而实现定制化的实时数据处理；

利用UDP协议进行信号扩散、广播和临界点同步传输，系统实现了高速的数据传递，有效减少了传统通信方式中的网络延迟和资源占用；

适用于多个领域，如智能物联网、工业自动化、实时监控等。其高效的数据传递和实时处理特性使其在需要快速反应的应用场景中具有广泛的应用前景。

附图说明

图1为本发明一种分布式系统实时数据处理与同步方法及系统的业务规划示意图；

图2为本发明一种分布式系统实时数据处理与同步方法及系统的业务流程示意图；

图3为本发明一种分布式系统实时数据处理与同步方法及系统的系统骨架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供一种技术方案：一种分布式系统实时数据处理与同步方法及系统，包括以下步骤：

建立数据节点：在系统中，每个数据节点是实现实时数据监测和消息传递的核心。每个数据节点由其属性类型和属性值组成。系统可以通过软件配置来建立数据节点，为每个节点分配唯一的标识符。在初始阶段，系统会自动传播本节点的信息到外部，并且同时接收其他节点传播的信息，从而建立一个通讯录。这个通讯录的构建使得系统能够随时了解各个节点的数据动态。

监听数据变化：在软件中，如果应用系统新增一条消息，系统将创建相应的消息版本。当版本发生变化时，本节点会自动将此消息向外进行扩散，实现自动同步。同时，如果相邻节点发生消息变动，其也会进行消息扩散。一旦本节点接收到扩散的消息，它会根据消息的来源ID，在通讯录中找到对应的节点，并将新消息更新到通讯录中。接着，本节点将这条消息交由触发器处理，继续后续的操作。

数据通讯广播：系统在启动时会根据用户的配置创建相应的数据通道，允许用户根据不同的消息类型建立相应的通讯连接。当本节点的消息发生变化时，监听模块将调用通讯模块。通讯模块会将信息装配成适用于本发明的特有消息格式，并对其进行加密。随后，通讯模块会判断该消息应属于哪个组播通道，并将消息发送到相应通道中。

当临节点通讯模块接收到信息后，将对消息进行解密，然后将其交由数据处理线程进行后续操作。这个过程保障了数据的安全传递和处理。

自动生成通信节点：系统在启动时会自动发送一次心跳信号，其中心跳包含了本节点的关键信息，例如节点ID、节点类型以及支持的属性类型等。临近的节点一旦接收到这个心跳信号，会自动将它添加到通讯录中。这类似于加入集群的操作。在系统运行期间，用户可以指定心跳信号的间隔时间。到达设定的时间后，系统会自动发送心跳信号，以确保通讯录中的节点状态保持更新。新启动的节点也会根据其他节点的心跳信号快速形成通讯录，从而实现高效的集群模式。这个机制有助于保障节点间的协同运行。

属性变化触发动作：在系统中，设有一个全局触发器。当用户启动系统时，可以指定订阅的节点类型。系统会自动寻找与此节点类型相匹配的节点，然后将它们纳入触发器的管理范围。通讯模块接收到消息后，会将消息传递给触发器模块。触发器模块会检查消息的来源是否为本节点所关注的节点类型。如果满足这一条件，它会继续检查消息的数据类型是否也是本节点所关注的。当两个条件都得到满足时，触发器模块会自动触发用户事先指定的回调函数，以执行特定的动作。在新增触发器时，系统会首先进行一个触发器缓存的操作。然后，根据缓存的内容确定具体的关注节点。鉴于设置触发器时可能通讯录尚未完全形成，系统会定期刷新缓存，以适应后续加入通讯录的新节点。这样，触发器能够支持动态订阅模式，用户随时可以在任何地点订阅所需的数据。这个机制确保了触发器的灵活性和实用性。

如图2所示，该流程图描述了插件启动后进行系统初始化的基本操作。在流程中，各节点之间相互通知并组装成通讯录，同时进行本节点信息的上传、广播通道和组播通道的初始化，以及触发器的初始化等关键步骤。整体流程如下：用户可以通过外部接口订阅感兴趣的节点和属性。一旦订阅的节点发生数据变动，系统将通过UDP方式将变动信息扩散到指定通道。接着，本节点接收到扩散的数据后，更新通讯录节点（数据同步），并将处理交给触发器线程。触发器线程将根据当前订阅的信息判断是否涉及关注节点及相关属性。如果消息涉及关注信息，则进入关注业务流程；否则，将消息丢弃。在整个流程中，大多数操作使用高效的unordered_map进行存储，主键采用int类型，以确保高效的提取操作

综上所述，本发明的纯软件项目包括了建立数据节点、关注属性变化、UDP信号扩散、UDP信号广播、自动生成通信节点和属性变化触发动作等多个步骤，以实现更高效的实时数据处理和通信。

如图3所示，在此图中，看板配置模块提供了一些外部可设置的参数，用于配置插件。系统通过调用该模块来启动插件并进行参数配置。

数据接收模块向外暴露了用于操作插件数据的接口。数据触发模块封装了一些被动触发的操作，这些操作可以在特定条件下触发。

同步监听模块负责封装节点数据的同步机制，确保节点数据的一致性。广播模块则提供了节点内部数据交互所需的功能。

这些模块共同构成了单节点的内部结构，实现了本发明的核心功能。

系统采用了一种内部嵌套的结构，将队列、消息类型以及消息等要素封装在节点内部。这些节点之间再次被封装，从而形成了通讯录等高层结构。

这种嵌套结构设计使得系统的数据组织更加有序。在节点内部，队列、消息类型和消息等元素被紧密地结合在一起，提供了内聚性和高效性。而节点与节点之间的封装则构建了更高级别的结构，例如通讯录，进一步促进了数据的组织和管理。

综上所述，相较于现有技术，本发明在数据传递效率、实时性、数据处理灵活性、自动化配置和适用领域等方面具有明显的优势。这些优势直接与本发明的技术方案相对应，能够解决现有技术中存在的问题并带来实际的效益，本发明采用了UDP信号扩散来实现数据传递，但在某些情况下，也可以考虑使用其他的数据传输协议，如TCP/IP。然而，UDP在传输效率和低延迟方面的优势，使得其更适用于实时数据传递的场景，替代自动化通信节点生成器，也可以手动配置通信节点。然而，手动配置可能会增加系统维护的难度，降低了系统的灵活性和扩展性，除了属性类型和属性值，还可以采用其他标识方法来表示数据节点，比如使用节点名称。然而，采用属性类型和属性值作为标识的优势在于可以更精确地关注特定的属性变化，虽然本发明支持自定义的动作触发方式，还可以考虑其他实时数据处理方式，如通过中央控制节点进行数据处理。然而，这可能会增加系统的复杂性和单点故障的风险，尽管存在一些可能的替代方案，但本发明的技术方案通过UDP信号扩散、自动化通信节点生成、属性关注和动作触发等关键创新点，以及其适用于多个领域的特性，确保了高效的实时数据处理和通信。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。