掌桥专利:专业的专利平台
掌桥专利
首页

数据调用方法和装置、计算机可读存储介质、电子设备

文献发布时间:2023-06-19 10:05:17


数据调用方法和装置、计算机可读存储介质、电子设备

技术领域

本发明实施例涉及远程调用技术领域,具体而言,涉及一种数据调用方法、数据调用装置、计算机可读存储介质以及电子设备。

背景技术

现代游戏后端的技术架构大部分为多机多进程的分布式的架构,在这种架构中最重要的是解决进程之间的通信问题,也就是RPC(Remote Procedure Call)远程调用。

为了解决上述技术问题,现有技术所采用的技术方案有两种,分别为:基于HTTP协议的远程过程调用和基于长连接的远程过程调用。其中,基于HTTP协议的远程过程调用,可以解决不同语言之间的进程调用问题,但是,调用链条冗长并且需要预定义调用协议,导致实施过程复杂,调用效率低下;基于长连接的远程过程调用,需要将所有的进程进行连接,导致连接数暴增,此外,在进程调用之前也需要先预定义调用协议,影响数据调用效率。

因此,需要提供一种新的数据调用方法。

需要说明的是,在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种数据调用方法、数据调用装置、计算机可读存储介质以及电子设备,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的远程过程调用效率低下的问题。

根据本公开的一个方面,提供一种数据调用方法,其特征在于,配置于数据调用中的数据发送方,所述数据调用方法包括:

接收消息队列发送的数据调用请求,其中,所述数据调用请求是与所述数据存储方对应的数据调用方发送至所述消息队列的;

对所述数据调用请求进行解析,得到待调用数据的名称信息,并根据所述名称信息获取待调用数据;

对所述待调用数据进行转换,并将转换后的待调用数据发送至所述消息队列,以使得所述消息队列将所述转换后的待调用数据发送至与所述数据调用方对应的远程调用频道。

在本公开的一种示例性实施例中,在接收消息队列发送的数据调用请求之前,所述数据调用方法还包括:

建立所述数据发送方与所述消息队列之间的连接;

获取唯一标识所述数据发送方的所述远程调用频道。

在本公开的一种示例性实施例中,对所述待调用数据进行转换,包括:

根据二进制序列化格式,将所述待调用数据转换成为二进制流式数据。

在本公开的一种示例性实施例中,所述待调用数据与所述数据调用请求均为脚本语言类型的数据,且所述待调用数据与所述数据调用请求可以为不同类型脚本语言。

根据本公开的一个方面,提供一种数据调用方法,其特征在于,配置于数据调用中的数据调用方,所述数据调用方法包括:

根据待调用数据的名称信息以及与所述待调用数据对应的数据发送方的远程调用频道,生成数据调用请求;

将所述数据调用请求发送至消息队列,以使得所述消息队列根据所述数据调用请求中包括所述数据发送方的远程调用频道,将所述数据调用请求发送至与所述数据发送方的远程调用频道;

接收所述消息队列发送的转换后的待调用数据,其中,所述转换后的待调用数据是由所述数据发送方对所述待调用数据进行转换得到的二进制流式数据。

在本公开的一种示例性实施例中,在接收所述消息队列发送的转换后的待调用数据之后,所述数据调用方法还包括:

对接收到的所述待调用数据进行解包处理,得到解包数据,并根据所述数据调用请求中所包括的回调函数,对所述解包数据进行调用,以实现对数据的调用。

根据本公开的一个方面,提供一种数据调用装置,其特征在于,配置于数据调用中的数据发送方,所述数据调用装置包括:

接收模块,用于接收消息队列发送的数据调用请求,其中,所述数据调用请求是与所述数据存储方对应的数据调用方发送至所述消息队列的;

解析模块,用于对所述数据调用请求进行解析,得到待调用数据的名称信息,并根据所述名称信息获取待调用数据;

转换模块,对所述待调用数据进行转换,并将转换后的待调用数据发送至所述消息队列,以使得所述消息队列将所述转换后的待调用数据发送至与所述数据调用方对应的远程调用频道。

根据本公开的一个方面,提供一种数据调用装置,其特征在于,配置于数据调用中的数据调用方,所述数据调用装置包括:

请求生成模块,用于根据待调用数据的名称信息以及与所述待调用数据对应的数据发送方的远程调用频道,生成数据调用请求;

请求发送模块,用于将所述数据调用请求发送至消息队列,以使得所述消息队列根据所述数据调用请求中包括所述数据发送方的远程调用频道,将所述数据调用请求发送至与所述数据发送方的远程调用频道;

待调用数据接收模块,用于接收所述消息队列发送的转换后的待调用数据,其中,所述转换后的待调用数据是由所述数据发送方对所述待调用数据进行转换得到的二进制流式数据。

根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述任意一项所述的数据调用方法。

根据本公开的一个方面,提供一种电子设备,其特征在于,包括:

处理器;以及

存储器,用于存储所述处理器的可执行指令;

其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据调用方法。

本发明实施例提供的一种数据调用方法,一方面,接收消息队列发送的数据调用请求,其中,所述数据调用请求是与所述数据存储方对应的数据调用方发送至所述消息队列的;对所述数据调用请求进行解析,得到待调用数据的名称信息,并根据所述名称信息获取待调用数据;对所述待调用数据进行转换,并将转换后的待调用数据发送至所述消息队列,以使得所述消息队列将所述转换后的待调用数据发送至与所述数据调用方对应的远程调用频道,通过消息队列完成数据发送方和数据调用方之间的数据通信,不需要通过通信协议,解决了现有技术中需预先定义通信协议才能实现数据调用的问题,降低了数据调用链的冗余;另一方面,通过消息队列进行数据调用请求以及待调用数据的发送,解决了现有技术中需要对进程进行连接进而导致连接数暴增的问题;再一方面,数据调用请求中所包括的数据以及待调用数据都是经过转换的二进制流失数据,因此不同脚本语言之间的进程也可以进行数据调用,避免了现有技术中因数据所采用的脚本语言的不同而导致的不能进行数据调用的问题。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示意性示出根据本发明示例实施例的一种数据调用方法的流程图。

图2示意性示出根据本发明示例实施例的一种数据调用系统的框图。

图3示意性示出根据本发明示例实施例的一种待调用数据类型的框图。

图4示意性示出根据本发明示例实施例的一种待调用数据类型为Python类型的数据调用方法的流程图。

图5示意性示出根据本发明示例实施例的一种待调用数据类型为LPC类型的数据调用方法的流程图。

图6示意性示出根据本发明示例实施例的一种调用数据类型为Golang类型的数据调用方法的流程图。

图7示意性示出根据本发明示例实施例的另外一种数据调用方法的流程图。

图8示意性示出根据本发明示例实施例的一种进一步的数据调用方法的流程图。

图9示意性示出根据本发明示例实施例的一种数据调用装置的框图。

图10示意性示出根据本发明示例实施例的另一种数据调用装置的框图。

图11示意性示出根据本发明示例实施例的一种用于实现上述数据调用方法的电子设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本发明的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。

此外,附图仅为本发明的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

目前游戏的系统架构已经由以前的单机单进程转变为多机多进程的分布式的架构,分布式则意味着可以有更多的机器运行,使得CPU、内存以及存储资源更加丰富,也可以处理更多的并发访问以及数据量,进而可以为玩家提供更多的服务。为了解决分布式架构下的进程通信问题,目前的基数方案有两种:

基于HTTP协议的远程过程调用,该调用过程可以解决不同语言之间的调用问题,但是每次调用都会进行建立新连接、进行路由选择、计算负载均衡、得到计算结果,并且在调用完毕后需要进行断开连接等步骤,导致调用效率低下,进一步导致用户量受限,机器成本过高。

基于长连接的远程过程调用,需要把所有进程连接起来,其连接数是进程数的平方,当需要进程数增多时,导致连接数暴涨,并且该调用仅限制在同一种计算机语言中,不同语言之间无法发起调用,同时在调用之前需要先预定义调用协议,影响开发效率。

为了提高调用效率,发明人尝试基于消息队列进行数据调用,解决进程通信需要连接带来的连接数过多的问题,并且,对待调用数据进行转换,实现不同语言之间的混合调用;进一步的,数据调用请求中包含了待调用数据的名称信息,达到无需预先定义就可以实现数据调用的目的。

基于上述一个或多个问题,本示例实施方式首先提供了一种数据调用方法,该方法可以运行于服务器,当然,本领域技术人员也可以根据需求在其他平台运行本发明的方法,本示例实施例对此不做具体限定。参考图1所示,该数据调用方法可以包括以下步骤:

步骤S110.接收消息队列发送的数据调用请求,其中,所述数据调用请求是与所述数据存储方对应的数据调用方发送至所述消息队列的;

步骤S120.对所述数据调用请求进行解析,得到待调用数据的名称信息,并根据所述名称信息获取待调用数据;

步骤S130.对所述待调用数据进行转换,并将转换后的待调用数据发送至所述消息队列,以使得所述消息队列将所述转换后的待调用数据发送至与所述数据调用方对应的远程调用频道。

上述数据调用方法中,一方面,接收消息队列发送的数据调用请求,其中,所述数据调用请求是与所述数据存储方对应的数据调用方发送至所述消息队列的;对所述数据调用请求进行解析,得到待调用数据的名称信息,并根据所述名称信息获取待调用数据;对所述待调用数据进行转换,并将转换后的待调用数据发送至所述消息队列,以使得所述消息队列将所述转换后的待调用数据发送至与所述数据调用方对应的远程调用频道,通过消息队列完成数据发送方和数据调用方之间的数据通信,不需要通过通信协议,解决了现有技术中需预先定义调用协议才能实现数据调用的问题,降低了数据调用链的冗余;另一方面,通过消息队列进行数据调用请求以及待调用数据的发送,解决了现有技术中需要对进程进行连接进而导致连接数暴增的问题;再一方面,数据调用请求中所包括的数据以及待调用数据都是经过转换的二进制流失数据,因此不同脚本语言之间的进程也可以进行数据调用,避免了现有技术中因数据所采用的脚本语言的不同而导致的不能进行数据调用的问题。

以下,将结合附图对本发明示例实施例数据调用方法中的各步骤进行详细的解释以及说明。

首先,对本发明示例实施例的发明目的进行解释以及说明。具体的,在本发明中,主要研究在数据调用过程中,如何实现不同语言之间的数据调用、降低数据调用时的连接数以及在调用之前不需要预先定义调用协议就可以实现数据之间的调用。因为在数据调用的现有技术中,在调用之前需要预先定义调用协议,调用时建立的连接数随着需要通信的进程数的增加出现暴增,并且不同计算机语言之间的数据无法进行通信,故本发明尝试提出一种数据调用方法,一方面,不需要预先定义调用协议就可以实现调用;另一方面,通过对待调用数据进行转换,实现不同计算机语言之间的混合调用;又一方面,通过消息队列进行数据调用,不需要建立进程之间的连接,提高了数据调用效率。

其次,对本发明示例实施例中涉及的数据调用系统进行解释以及说明。

参考图2所示,该数据调用系统可以包括数据调用方210、数据发送方220以及消息队列230。其中:

数据调用方210,用于生成数据调用请求,将该数据调用请求中所包括的数据转换成二进制流式数据,并将转换后的二进制流式数据发送至消息队列;其中,数据调用请求中包含该数据调用方的远程调用频道;

数据发送方220,用于根据调用请求方的数据调用请求生成待调用数据,并将该待调用数据发送至消息队列;其中,待调用数据中包含目的数据调用方的远程调用频道,并且发送的待调用数据为经过转换的二进制流式数据;

消息队列230,与数据调用方210以及数据发送方220网络连接,用于建立调用请求方与消息队列以及数据发送方与消息队列之间的连接,并分别生成调用请求方的远程调用频道以及数据发送方的远程调用频道;并根据待调用数据中所包括的调用请求方的远程调用频道,将该待调用数据发送给调用请求方的远程调用频道。

以下将结合上述数据调用系统对步骤S110-步骤S130进行解释以及说明。

在步骤S110中,接收消息队列发送的数据调用请求,其中,所述数据调用请求是与所述数据存储方对应的数据调用方发送至所述消息队列的。

在本示例实施例中,消息队列可以为redis,也可以为其他第三方消息队列,在本示例实施例中不做具体限定。在接收消息队列发送的数据调用请求之前,该数据调用方法还包括:

建立所述数据发送方与所述消息队列之间的连接;

获取唯一标识所述数据发送方的所述远程调用频道。

具体的,分别建立数据调用方以及数据发送方与消息队列之间的连接,并且数据调用方以及数据发送方都会获得唯一的远程调用标识,该标识即为远程调用频道。连接建立成功后,由于进程通信会导致系统开销增大,因此为了降低系统开销,数据调用方的进程以及数据发送方的进程都会建立一个线程或协程,与消息调用方的进程对应的线程或者协程通过调用消息队列的brpop指令(用于移除并获取消息队列的最后一个元素),对包含该消息调用方的远程调用频道的待调用数据进行监听。

在步骤S120中,根据待调用数据的名称信息以及与所述数据调用方对应的数据存储方的远程调用频道,生成数据调用请求。

在本示例实施例中,解析得到的数据调用请求的数据结构为:

{

RPC_MOD:远程调用模块路径

RPC_FUNC:远程调用的函数

RPC_ARGS:远程调用所需要的参数列表

RPC_CB_CHANNEL:远程调用回调的频道

RPC_CB_MOD:远程调用回调的模块路径

RPC_CB_FUNC:远程调用回调的函数

RPC_CB_ARGS:远程调用回调的需要带的参数列表

},其中,待调用数据的名称信息包括:远程调用的函数以及远程调用所需要的参数列表,该参数列表中包括待调用数据的远程调用频道;获得数据调用请求中待调用数据的名称信息后,消息队列将根据远程调用所需要的参数列表中所包含的远程调用频道,为该数据调用方匹配待调用数据。

在步骤S130中,对所述待调用数据进行转换,并将转换后的待调用数据发送至所述消息队列,以使得所述消息队列将所述转换后的待调用数据发送至与所述数据调用方对应的远程调用频道。

在本实例实施例中,对待调用数据进行转换,包括:根据二进制序列化格式,将所述待调用数据转换成为二进制流式数据,其中本发明中采用的二进制序列化工具为msgpack,在本发明中除了msgpack,也可以使用其他第三方序列化工具,本示例实施例中对此不做具体限定。以msgpack为例,具体流程为:首先,将待调用数据转换成二进制流式数据,rpc_data=rpc_package_to_msgpace(rpc_package),其中rpc_data为转换后的待调用数据,rpc_package_to_msgpace为转换函数,rpc_package为待调用数据;其次,通过该数据发送方对应的线程或者协程调用消息队列的lpush指令(用于将一个或者多个至插入到列表头部),消息队列将该转换过的待调用数据发送至与该待调用数据对应的数据调用方所对应的线程或协程中,该线程或者协程接收到待调用数据后,会把经过转换的二进制流式数据转换成自己语言格式dict/map的数据。

在本示例实施例中,当数据发送方与调用请求方进行数据调用时,所述待调用数据与所述数据调用请求均为脚本语言类型的数据,且所述待调用数据与所述数据调用请求可以为不同类型脚本语言。参照图3所示,脚本语言可以为Python类型的待调用数据,可以为LPC(一种古老的脚本语言,用来定义和管理对象)类型的待调用数据,还可以为Golang(谷歌开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的编程语言)类型的待调用数据,在本示例实施例中不做具体的限定。其中,当脚本语言类型为Python类型的待调用数据时,可以与redis数据库或者mongodb数据库或者curl(利用URL语法在命令行下工作的文件传输工具)文件传输工具实现数据调用;当脚本语言类型为Golang类型时,玩家可以通过外网websock网络协议端口实现数据调用,同时本地的计费回调接口以及GM接口也可以通过内网的HTTP端口实现。为了避免数据调用过程中出现异常,需要每隔一段时间对消息队列中的远程调用频道进行检查,及早发现并处理积压的数据调用请求,其中,间隔时间可以为30秒,也可以为1分钟,本领域技术人员可以根据不同的处理场景选择不同的间隔时间,在本示例实施例中不做具体的限定。

举例而言,当待调用数据的脚本语言为Python类型时,参照图4所示,数据调用方法的流程为:

S410.建立Python类型的数据调用方以及数据发送方与消息队列之间的连接,并获取远程调用频道;

S420.数据调用方基于第三方协程库,通过brpop指令将调用数据请求发送至消息队列;其中第三方协程库可以为gevent,也可以为eventlet,在本实例实施例中不做具体限定;调用数据请求中包括调用的模块路径、调用函数、调用所需要的参数列表、回调的模块路径、回调函数以及回调需要的参数列表,其中调用所需要的参数列表中包括该数据调用方的远程调用频道。

S430.数据发送方将待调用数据打包成二进制流式数据,并且通过lpush指令将该数据发送至消息队列;

S440.消息队列将待调用数据发送至对应的数据调用方;

S450.基于接收到的待调用数据,数据调用方通过回调函数完成数据调用。

需要补充说明的是,由于Python类型的数据调用方均为无状态的结点,导致每个数据调用方的远程调用频道是相同的,所以消息队列根据调用所需要的参数列表中的除远程调用频道以外的其他参数对待调用数据与调用数据请求进行匹配,以使得每个Python消费者的CPU都能达到均衡的状态。

举例而言,当待调用数据的脚本语言为LPC类型时,参照图5所示,数据调用方法的流程为:

S510.建立数据调用方以及数据发送方与消息队列之间的连接,并获取对应的远程调用频道;

S520.建立与数据发送方对应的第一线程,并将调用数据请求发送至消息队列;其中,调用数据请求中包括:调用的模块路径、调用函数、调用所需要的参数列表、回调的模块路径、回调函数以及回调需要的参数列表,其中调用所需要的参数列表中包括该数据调用方的远程调用频道;

S530.数据发送方将待调用数据转换成二进制流式数据,并且将该二进制流式数据发送至消息队列;其中,待调用数据中包含目标数据调用方的远程调用频道;

S540.消息队列根据待调用数据中包含的目标数据调用方的远程调用频道,将待调用数据发送至目标数据调用方;

S550.基于接收到的待调用数据,数据调用方通过回调函数完成数据调用。

需要补充说明的是,为了防止消息队列的频繁操作,导致系统延时过高,吞吐量低下,无法完成正常的数据调用,在本示例实施例中使用redis的pipeline(管道机制)来增大消息队列的吞吐量。

举例而言,当待调用数据的脚本语言为Golang类型时,参照图6所示,数据调用方法的流程为:

S610.建立数据调用方以及数据发送方与消息队列之间的连接,并获取对应的远程调用频道;其中,Golang类型的数据调用方以及Golang类型的数据发送方作为网关,吞吐量较大,因此每个数据调用方以及数据发送方都有一组对应的远程调用频道。

S620.建立与数据发送方对应的第一线程,并将调用数据请求发送至消息队列;其中,调用数据请求中包括:调用的模块路径、调用函数、调用所需要的参数列表、回调的模块路径、回调函数以及回调需要的参数列表,其中调用所需要的参数列表中包括该数据调用方的远程调用频道;

S630.数据发送方将待调用数据转换成二进制流式数据,并且将该二进制流式数据发送至消息队列;其中,待调用数据中包含目标数据调用方的远程调用频道;

S640.数据发送方将待调用数据转换成二进制流式数据,并且将该二进制流式数据发送至消息队列;

S650.数据调用方接收到待调用数据,先获取真实函数的地址,并通过call方法完成对待调用数据的调用。其中call方法的参数为Value值的切片,为了得到call方法的参数列表,需要对待调用数据中的所有参数进行reflect.ValueOf方法,并得到返回值,其中,reflect.ValueOf方法用于获取输入参数接口中的数据的值。

需要补充说明的是,当待调用数据为Golang类型的待调用数据时,所有的逻辑服务器公用一组Golang集群,因为Golang类型的待调用数据作为网关,吞吐量较大,主要用来处理玩家连接、客户端协议的打包以及解包、AOI广播(用于在服务器上的游戏角色做出动作时,把消息广播到游戏地理上附近的玩家)。Golang进程在处理玩家连接逻辑时,使用goroutine(协程,从语言层面支持并发)+channel(管道,用于数据传递或数据共享)处理模型,对于每一个连接,都会建立两个goroutine,一个负责读一个负责写。当待调用数据类型为Golang类型时,且消息队列所在集群的中的一个或者多个消息队列出现异常时,会影响整个集群,因此需要对所有的数据调用接口进行try-catch处理,对异常进行捕获并打印。

除此之外,还可以通过Golang进程结合Python和redis实现AOI广播,首先,在列表上建立一个hash_table表,其中,每个hash_table中的玩家列表就是一个AOI的广播格子,每个广播格子都有对应的唯一标识;其次,LPC进程通过Python进程操作redis,以用来维护每个广播格子的管道;再次,当需要进行广播时,LPC进程向Python进程发送一条广播请求,Python进程再向所有的Golang进程发送广播请求,Golang进程根据redis上与AOI广播格子对应的管道数据,对需要进行广播的玩家进行过滤;最后,由于Golang进程会对redis管道上的数据进行1秒的缓存,也就是,当LPC进程需要将一个玩家放进广播格子时,有可能会产生1秒的延迟,在延迟时间内,LPC进程会向不在广播格子中的玩家重复发送部分必要的协议,以防止AOI广播的丢失。总之,一条AOI广播的消耗为:LPC进程发出一条远程调用请求,Python进程发送一条远程调用请求,其中,Python进程发送的远程调用请求为Golang进程的个数。Golang进行广播操作时,其消耗仅与其本身管理的玩家的个数相关,并且Golang进程会对redis上保存的记录进行1秒的缓存,因此会降低redis的负载。

进一步的,本公开还提供了另外一种数据调用方法。参考图7所示,该数据调用方法还可以包括步骤S710-步骤S730。

在步骤S710中,根据待调用数据的名称信息以及与所述待调用数据对应的数据发送方的远程调用频道,生成数据调用请求。

在本示例实施例中,待调用数据的名称信息包括:待调用数据的调用模块路径、待调用数据的调用函数以及调用所需要的参数列表。

在步骤S720中,将所述数据调用请求发送至消息队列,以使得所述消息队列根据所述数据调用请求中包括所述数据发送方的远程调用频道,将所述数据调用请求发送至与所述数据发送方的远程调用频道。

在本示例实施例中,数据调用请求中包括:调用的模块路径、调用函数、调用所需要的参数列表、回调的模块路径、回调函数以及回调需要的参数列表,其中调用所需要的参数列表中包括数据调用方的远程调用频道。

在步骤S730中,接收所述消息队列发送的转换后的待调用数据,其中,所述转换后的待调用数据是由所述数据发送方对所述待调用数据进行转换得到的二进制流式数据。

在本示例实施例中,对待调用数据进行转换的是二进制序列化工具,其中二进制序列化工具可以为msgpack,也可以使用其他第三方序列化工具,本示例实施例中对此不做具体限定。以msgpack为例,具体流程为:首先,将待调用数据转换成二进制流式数据,rpc_data=rpc_package_to_msgpace(rpc_package),其中rpc_data为转换后的待调用数据,rpc_package_to_msgpace为转换函数,rpc_package为待调用数据。

在本示例实施例中,在接收消息队列发送的转换后的待调用数据之后,数据调用方法还包括:对接收到的所述待调用数据进行解包处理,得到解包数据,并根据所述数据调用请求中所包括的回调函数,对所述解包数据进行调用,以实现对数据的调用。具体而言:消息队列将待调用数据发送给与待调用数据中包含的远程调用频道相对应的数据调用方的线程或者协程,线程或者协程监听到待调用数据后,先对该待调用数据进行解包处理得到解包数据,并将该解包数据发送至与该线程或者协程相对应的进程,该进程首先将待调用数据转换成与自己语言相对应的dict/map格式;其次,调用对应的函数,并且根据对应函数的返回值,形成回调数据包(RPC_CB_MOD,RPC_CB_FUNC,RPC_CB_ARGS),根据回调数据包的设置,该进程再发起一次数据调用,但是本次数据调用只是单方面的调用,用于返回数据调用的结果。

本发明示例实施例提供的数据调用方法,独创性地设计了基于消息队列的数据调用实现模型。此外,也开创性的将这一数据调用实现模型融入到数据调用实现方法中,实现了进程之间不需要进行连接就可以进行数据交互,解决了现有技术中需要预先定义调用协议才能实现数据调用的问题;进一步的,由于通过消息队列进行数据转发,不需要建立线程之间的连接,因此,解决了现有技术中需要对进程进行连接进而导致连接数暴增的问题;再进一步的,由于数据发送方发送的待调用数据都是经过转换的,解决了现有技术中不同语言之间无法进行数据调用的问题。

以下结合图8对本发明示例实施例的数据调用方法进行进一步的解释以及说明,其中,该数据调用方法可以包括以下步骤:

步骤S810.数据调用方根据待调用数据的名称信息以及与数据调用方对应的数据存储方的远程调用频道,生成数据调用请求;

步骤S820.数据调用方将数据调用请求发送至消息队列;

步骤S830.消息队列根据数据调用请求中的远程调用频道,将该数据调用请求发送至与该远程调用频道对应的数据发送方;

步骤S840.数据发送方对待调用数据进行转换,并将转换后的待调用数据发送至消息队列;

步骤S850.消息队列将该待调用数据发送至对应的数据调用方;

本发明示例实施例还提供了一种数据调用装置,配置于数据调用中的数据发送方,参考图9所示,该数据调用装置可以包括接收模块910、解析模块920、转换模块930。其中:

接收模块910,用于接收消息队列发送的数据调用请求,其中,数据调用请求是与数据存储方对应的数据调用方发送至消息队列的;

解析模块920,用于对数据调用请求进行解析,得到待调用数据的名称信息,并根据名称信息获取待调用数据;

转换模块930,用于对待调用数据进行转换,并将转换后的待调用数据发送至消息队列,以使得消息队列将转换后的待调用数据发送至与数据调用方对应的远程调用频道。

本发明示例实施例还提供了另一种数据调用装置,配置于数据调用中的数据调用方,参考图10所示,该数据调用装置可以包括请求生成模块1010、请求发送模块1020以及请求接收模块1030。其中:

请求生成模块1010,用于根据待调用数据的名称信息以及与所述待调用数据对应的数据发送方的远程调用频道,生成数据调用请求;

请求发送模块1020,用于将所述数据调用请求发送至消息队列,以使得所述消息队列根据所述数据调用请求中包括所述数据发送方的远程调用频道,将所述数据调用请求发送至与所述数据发送方的远程调用频道;

待调用数据接收模块1030,用于接收所述消息队列发送的转换后的待调用数据,其中,所述转换后的待调用数据是由所述数据发送方对所述待调用数据进行转换得到的二进制流式数据。

在本公开的一种示例实施方式中,在接收消息队列发送的数据调用请求之前,所述数据调用方法还包括:建立所述数据发送方与所述消息队列之间的连接以及,建立所述数据调用方与所述消息队列之间的连接,并获取唯一标识所述数据发送方以及唯一标识所述数据调用方的所述远程调用频道。

在本公开的一种示例实施方式中,对所述待调用数据进行转换,包括:根据二进制序列化格式,将所述待调用数据转换成为二进制流式数据。

在本公开的一种示例实施方式中,所述待调用数据与所述数据调用请求均为脚本语言类型的数据,且所述待调用数据与所述数据调用请求可以为不同类型脚本语言。

在本公开的一种示例实施方式中,在接收所述消息队列发送的转换后的待调用数据之后,所述数据调用方法还包括:

对接收到的所述待调用数据进行解包处理,得到解包数据,并根据所述数据调用请求中所包括的回调函数,对所述解包数据进行调用,以实现对数据的调用。

上述数据调用装置中各模块的具体细节已经在对应的数据调用方法中进行了详细的描述,因此此处不再赘述。

应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外,尽管在附图中以特定顺序描述了本发明中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。

在本发明的示例性实施例中,还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。

下面参考图11来描述根据本发明的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。

如图11所示,电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于:上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130以及显示单元1140。

其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1110执行,使得所述处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元1110可以执行如图1中所示的步骤S110:接收消息队列发送的数据调用请求,其中,所述数据调用请求是与所述数据存储方对应的数据调用方发送至所述消息队列的;S120:对所述数据调用请求进行解析,得到待调用数据的名称信息,并根据所述名称信息获取待调用数据;步骤S130:对所述待调用数据进行转换,并将转换后的待调用数据发送至所述消息队列,以使得所述消息队列将所述转换后的待调用数据发送至与所述数据调用方对应的远程调用频道。

存储单元1120可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202,还可以进一步包括只读存储单元(ROM)11203。

存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204,这样的程序模块11205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1130可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1100交互的设备通信,和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且,电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1100使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。

在本发明的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里发明的发明后,将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。

相关技术
  • 数据调用方法和装置、计算机可读存储介质、电子设备
  • 微服务调用方法、装置、电子设备及计算机可读存储介质
技术分类

06120112410288