掌桥专利:专业的专利平台
掌桥专利
首页

时序消息的同步方法、装置、设备以及存储介质

文献发布时间:2023-06-19 10:55:46


时序消息的同步方法、装置、设备以及存储介质

技术领域

本公开涉及互联网技术领域,具体涉及边缘计算、云服务等云计算领域,尤其涉及时序消息的同步方法、装置、设备以及存储介质。

背景技术

边缘计算是指在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的开放平台,就近提供最近端服务。

目前,在边缘计算场景下如果要将边缘侧的时序消息同步到时序数据库,需要先通过云端通道将边缘侧的时序消息从本地端上传到云端,然后云端通过规则引擎同步到时序数据库中进行保存。

发明内容

本公开提供了时序消息的同步方法、装置、设备以及存储介质。

第一方面,本公开提供了时序消息的同步方法,包括:将从设备处采集的原始时序消息转化成对应于预置物联网消息协议的第一格式时序消息;将第一格式时序消息转化成适配于存储在时序数据库的第二格式时序消息;根据用户提供的时序数据库的配置信息建立与时序数据库的连接;将第二格式时序消息同步至时序数据库。

第二方面,本公开提供了时序消息的同步装置,包括:第一转化模块,被配置成将从设备处采集的原始时序消息转化成对应于预置物联网消息协议的第一格式时序消息;第二转化模块,被配置成将第一格式时序消息转化成适配于存储在时序数据库的第二格式时序消息;连接模块,被配置成根据用户提供的时序数据库的配置信息建立与时序数据库的连接;同步模块,被配置成将第二格式时序消息同步至时序数据库。

第三方面,本公开提出了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面,本公开提出了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面,本公开提出了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行如第一方面中任一实现方式描述的方法。

本申请实施例提供的时序消息的同步方法、装置、设备以及存储介质,首先将从设备处采集的原始时序消息转化成对应于预置物联网消息协议的第一格式时序消息;之后将第一格式时序消息转化成适配于存储在时序数据库的第二格式时序消息;而后根据用户提供的时序数据库的配置信息建立与时序数据库的连接;最后将第二格式时序消息同步至时序数据库,从而将边缘时序消息直接同步到时序数据库,节省了云端资源。

应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案,不构成对本申请的限定。其中:

图1是本申请可以应用于其中的示例性系统架构图;

图2是根据本申请的时序消息的同步方法的一个实施例的流程示意图;

图3是根据本申请的时序消息的同步方法的另一个实施例的流程示意图;

图4是根据本申请的时序消息的同步方法的一个实施例的应用场景示意图;

图5是本申请的时序消息的同步装置的一个实施例的结构示意图;

图6是用来实现本申请实施例的时序消息的同步方法的电子设备的框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的时序消息的同步方法或时序消息的同步装置的实施例的示例性系统架构100。

如图1所示,系统架构100可以包括设备101、网络102、服务器103。网络102用以在设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

设备101可以通过网络102与服务器103交互。设备101中可以提供各种时序消息,包括但不限于传感器、智能设备等。

服务器103可以提供各种服务,例如服务器103可以对从设备101获取到的时序消息等数据进行分析等处理,生成处理结果(例如同步至时序数据库)。

需要说明的是,服务器103可以是硬件,也可以是软件。当服务器103为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器103为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是,服务器103可以是从数据源(即设备101)到云计算中心之间的任意搭载着融合网络、计算、存储、应用核心能力的边缘计算平台,云计算中心可以访问边缘计算平台的历史数据。

需要说明的是,本申请实施例所提供的时序消息的同步方法一般由服务器103执行,相应地,时序消息的同步装置一般设置于服务器103中。

应该理解,图1中的设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的设备、网络和服务器。

继续参考图2,示出了根据本申请的时序消息的同步方法的一个实施例的流程200。该方法包括以下步骤:

步骤201,将从设备处采集的原始时序消息转化成对应于预置物联网消息协议的第一格式时序消息。

在本实施例中,时序消息的同步方法的执行主体(例如图1所示的服务器103)可以将从设备处采集的原始时序消息转化成对应于预置物联网消息协议的第一格式时序消息。

其中,可以采用用于短距离设备连接的本地协议实现对设备的原始时序消息的采集,例如MODBUS协议、OPC协议等。其中,MODBUS协议是一种支持多种物理链接的协议集,其核心是一个串行通信协议,采用主从模式,主机向从机发送请求,从机予以回复。其中,从机可以是图1中所示的设备101。其中,OPC协议是应用层的数据协议,用于把自动化采集的设备数据以一定格式传输给主机。

其中,在采用上述本地协议对设备的原始时序消息进行采集后,可以基于预置的物联网消息协议将原始时序消息转化成第一格式时序消息。其中,物联网消息协议可以是支持物联网进行全局通信的互联网协议,例如消息队列遥测传输协议(Message QueuingTelemetry Transport,MQTT)、受限应用协议(Constrained Application Protocol,COAP)、高级消息队列协议(Advanced Message Queuing Protocol,AMQP)等等。其中,采用不同的物联网消息协议获取消息,所得到的消息的格式也不同。以采用MQTT协议例,MQTT消息格式为:[Fixed Header|Variable Header|Payload];Fixed Header中包含首字节,高4位用来表示报文类型,低4位用于类型控制;Variable Header是可变头部,其根据报文类型不同而不同;Payload是消息内容,其内容和格式也根据报文类型不同而不同。

步骤202,将第一格式时序消息转化成适配于存储在时序数据库的第二格式时序消息。

在本实施例中,上述执行主体可以将第一格式时序消息转化成适配于存储在时序数据库的第二格式时序消息。

其中,时序数据库是(Time Series Database,TSDB)用于保存时间序列(按时间顺序变化)的海量数据,时序数据库中的数据可以以数据点(Datapoint)的形式存储。其中,“1个度量+1个域(可选)+1个时间戳+1个数值+n个标签(n>=1)”可以定义一个数据点,例如“温度,20201010121200(时间戳),25℃,{设备ID=3410938109;楼层=13;房间号=2301}”。

其中,可以根据第一格式时序消息的消息内容,将第一格式时序消息转化成适于存储在时序数据库的数据点,包括数值填充、时间填充等等。

步骤203,根据用户提供的时序数据库的配置信息建立与时序数据库的连接。

在本实施例中,上述执行主体可以根据用户提供的时序数据库的配置信息建立与时序数据库的连接。

其中,配置信息可以是连接时序数据库实例的相关参数信息,包括但不限于域名、连接地址、端口、账号密码等等。其中,用户可以配置时序数据库的连接地址以及相关参数,上述执行主体通过集成时序数据库的客户端代码建立与时序数据库的连接。其中,客户端代码的功能是提交数据,获取用户录入数据后提交给服务器。

步骤204,将第二格式时序消息同步至时序数据库。

在本实施例中,上述执行主体可以将第二格式时序消息同步至时序数据库。

其中,在与时序数据库建立连接后,可以采用超文本传输协议(Hyper TextTransfer Protocol,HTTP)将第二格式时序消息发送至时序数据库。其中,时序数据库可以是部署在云端计算中心的时序数据库以及时序数据库集群。

本申请上述实施例提供的时序消息的同步方法,支持将边缘时序消息直接同步到时序数据库,过程简便,配置简单,节省了云端资源,降低了程序调试的难度。

进一步参考图3,其示出了时序消息的同步的另一个实施例的流程图,该方法包括如下步骤:

步骤301,将从设备处采集的原始时序消息转化成对应于预置物联网消息协议的第一格式时序消息。

步骤301与步骤201基本相同,因此不再赘述。

步骤302,将第一格式时序消息转化成适配于存储在时序数据库的第二格式时序消息。

步骤302与步骤202基本相同,因此不再赘述。

步骤303,根据用户提供的时序数据库的配置信息建立与时序数据库的连接。

步骤303与步骤203基本相同,因此不再赘述。

步骤304,使用签名算法对第二格式时序消息进行加密。

其中,签名算法是指数字签名的算法。数字签名是一个带有密钥的消息摘要算法,这个密钥包括了公钥和私钥,用于验证数据完整性、认证数据来源和抗否认,遵循开放式系统互连(Open System Interconnect,OSI)参考模型、私钥签名和公钥验证,数字签名算法包括RSA算法、DSA算法、椭圆曲线数字签名算法(Elliptic Curve Digital SignatureAlgorithm,ECDSA)等。其中,采用签名算法对第二格式时序消息进行加密,保证了同步时序消息时的安全性。

步骤305,采用超文本传输协议将第二格式时序消息发送至时序数据库。

超文本传输协议是一个请求-响应协议,它通常运行在TCP之上,属于现有技术,在此不再赘述。

在本实施例的一些可选的实现方式中,上述步骤203中时序数据库的配置信息包括时序数据库的客户端证书,在执行步骤203之前,还包括:对客户端证书的合法性进行验证。

其中,客户端证书是遵守网络通信安全协议的一种数字证书,利用客户端证书可以实现真实身份验证和数据加密传输的双重功能。其中,上述执行主体在进行数据交互之前,可以将用户提供的客户端证书保存。客户端证书包括SSL证书、SSH证书、PGP证书等等。

其中,在与时序数据库建立连接之前,可以对客户端证书的合法性进行验证。其中,可以对使用客户端证书加密的明文报文数据进行解密,以校验身份的真实性。

在本实施例的一些可选的实现方式中,在执行步骤201之前,还包括:使用数字证书对原始时序消息进行加密,得到根证书以及基于根证书,签发执行步骤201时使用的证书。

其中,对原始时序消息进行加密的方法与步骤304基本相同,因此不再赘述。其中,根证书是证书授权(Certificate Authority,CA)中心给自己颁发的证书,是通信信任链的起始点。CA中心可以为每个使用公开密钥的用户发放一个数字证书,数字证书的作用是证明证书中列出的用户合法拥有证书中列出的公开密钥。其中,CA中心可以签发执行步骤201时使用的证书以保证执行步骤201时的安全性。

在本实施例的一些可选的实现方式中,在执行步骤202之前,还包括:基于根证书,签发将第一格式时序消息转化成第二格式时序消息时使用的证书。

其中,根证书是证书授权(Certificate Authority,CA)中心给自己颁发的证书,是通信信任链的起始点。CA中心可以为每个使用公开密钥的用户发放一个数字证书,数字证书的作用是证明证书中列出的用户合法拥有证书中列出的公开密钥。其中,CA中心可以签发执行步骤201时使用的证书以保证执行步骤202时的安全性。

为了便于理解,图4示出了根据本申请的时序消息的同步方法的一个实施例的应用场景示意图。

如图4所示,为了实现根据本申请的时序消息的同步方法,可以配置本地消息流转模块,全局证书模块、TSDB消息转化模块、TSDB消息同步模块。其中,消息流转模块是端侧的消息系统,支持端侧消息转发,对接边缘侧的数据采集模块,采用的协议包括但不限于MODBUS、OPC协议。然后转发出去的消息格式采用但不限于MQTT、COAP协议。

其中,全局证书模块用于保证端侧模块间消息通信的安全性,支持给端侧模块签发模块证书,模块间可以使用模块证书进行加解密,保证端侧消息不会被窃取。同时保存TSDB集群的客户端证书,提供给TSDB消息同步模块使用。

其中,TSDB消息转化模块会将设备的元素消息转化成TSDB时序消息,然后发送到TSDB消息同步模块。其中,元素包括度量、域、时间戳、数值、标签等。

其中,TSDB消息同步模块使用TSDB集群的客户端证书与TSDB集群建立安全连接,实时进行消息同步。

进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种时序消息的同步的装置一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图5所示,本实施例的时序消息的同步装置500可以包括:第一转化模块501、第二转化模块502、连接模块503、同步模块504。其中,第一转化模块501,被配置成将从设备处采集的原始时序消息转化成对应于预置物联网消息协议的第一格式时序消息;第二转化模块502,被配置成将第一格式时序消息转化成适配于存储在时序数据库的第二格式时序消息;连接模块503,被配置成根据用户提供的时序数据库的配置信息建立与时序数据库的连接;同步模块504,被配置成将第二格式时序消息同步至时序数据库。

在本实施例中,时序消息的同步装置500中:第一转化模块501、第二转化模块502、连接模块503、同步模块504的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明,在此不再赘述。

在本实施例的一些可选的实现方式中,同步模块504进一步被配置成:使用签名算法对第二格式时序消息进行加密;采用超文本传输协议,将第二格式时序消息发送至时序数据库。

在本实施例的一些可选的实现方式中,时序数据库的配置信息包括时序数据库的客户端证书,在执行连接模块503之前,装置还包括:验证模块,被配置成对客户端证书的合法性进行验证。

在本实施例的一些可选的实现方式中,在执行第一转化模块501之前,装置还包括:加密模块,被配置成使用数字证书对原始时序消息进行加密,得到根证书;第一证书模块,被配置成基于根证书,签发将原始时序消息转化成对应于预置物联网消息协议的第一格式时序消息时使用的证书。

在本实施例的一些可选的实现方式中,在执行第二转化模块502之前,装置还包括:第二证书模块,被配置成基于根证书,签发将第一格式时序消息转化成第二格式时序消息时使用的证书。

在本实施例的一些可选的实现方式中,预置物联网消息协议包括以下任一种:CoAP协议、MQTT协议、AMQP协议。

根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元606,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如时序消息的同步方法。例如,在一些实施例中,时序消息的同步方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的时序消息的同步方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行时序消息的同步方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请的技术方案,首先构建至少一种用户行为与预设评价指标的关联对,其中,关联对包括:产品变化前后用户行为的量化变化值与预设评价指标的量化变化值的映射对;之后获取训练样本集,其中,训练样本集中的样本包括至少一种用户行为与预设评价指标的关联对;最后从样本集中选取对应于任一用户行为的训练样本,以及执行以下训练步骤:将训练样本输入至初始模型进行回归拟合,得到训练完成的用户行为评估模型,从而能够得到一种可以评估用户行为价值的模型,量化不同用户行为在产品评价中的价值大小。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

相关技术
  • 时序消息的同步方法、装置、设备以及存储介质
  • 一种线阵相机触发时序同步方法、装置、设备和存储介质
技术分类

06120112736474