一种资源传输控制方法、装置、计算机设备

技术领域

本申请涉及数据处理技术领域，特别是涉及一种资源传输控制方法、装置、计算机设备。

背景技术

在使用通讯设备时，有时需要将文件、图片等资源进行上传，可以通过服务器提供的上传接口实现上传功能。随着使用设备的用户量的增加、上传资源数量的增加，短时间内的请求量可能高于接口的限流阈值。

相关技术中，可以设置接口的限流条件，在达到限流条件时，拒绝所有访问请求。现有的降级策略无法精细化的进行流量的限制。

发明内容

基于此，有必要针对上述技术问题，提供了一种资源传输控制方法，可以在接收资源上传请求前，若资源上传请求的请求量大于请求处理上限阈值，将资源上传请求存储至第一缓存池，在资源传输处理的过程中，若待上传资源总量大于文件传输系统的上限吞吐量，将待上传资源存储至第二缓存池。可以确保在待上传资源量超出阈值的情况下，可以继续进行资源传输工作，提高资源传输效率。

第一方面，本申请提供了一种资源传输控制方法。所述方法包括：

接收资源上传请求，响应于资源上传请求的请求量大于请求处理上限阈值，将所述资源上传请求存储至第一缓存池，所述资源上传请求包含待上传的资源；

异步调用所述第一缓存池中的资源上传请求进行资源传输处理；

在所述资源传输处理的过程中，若待上传资源总量大于文件传输系统的上限吞吐量，继续接收待上传资源，且将超过所述上限吞吐量的待上传资源存储至第二缓存池；

响应于所述文件传输系统待上传的资源总量小于所述上限吞吐量，将所述第二缓存池中的待上传资源重新写回文件传输系统中进行资源传输处理。

在其中一个实施例中，所述响应于所述文件传输系统待上传的资源总量小于所述上限吞吐量包括：

根据预设的间隔时间获取所述文件传输系统的数据吞吐量，当所述文件传输系统的上限吞吐量下降至预设吞吐阈值时，将所述第二缓存池中的待上传数据重新写回文件传输系统中进行资源传输处理。

在其中一个实施例中，所述文件传输系统的上限吞吐量的确定包括：

获取各个文件传输系统的传输资源大小和传输时间，统计各个文件传输系统的吞吐量；

选取所有文件传输系统中最小的吞吐量作为上限吞吐量。

在其中一个实施例中，所述方法还包括：

当待上传资源存储至第二缓存池中，获取所述第二缓存池中的待上传资源，执行下载操作。

第二方面，本申请还提供了一种资源传输控制装置，所述装置包括：

接收模块，用于接收资源上传请求，响应于资源上传请求的请求量大于请求处理上限阈值，将所述资源上传请求存储至第一缓存池，所述资源上传请求包含待上传的资源；

调用模块，用于异步调用所述第一缓存池中的资源上传请求进行资源传输处理；

传输模块，用于在所述资源传输处理的过程中，若待上传资源总量大于文件传输系统的上限吞吐量，继续接收待上传资源，且将超过所述上限吞吐量的待上传资源存储至第二缓存池；

转移模块，用于响应于所述文件传输系统待上传的资源总量小于所述上限吞吐量，将所述第二缓存池中的待上传资源重新写回文件传输系统中进行资源传输处理。

在其中一个实施例中，所述响应于所述文件传输系统待上传的资源总量小于所述上限吞吐量包括：

根据预设的间隔时间获取所述文件传输系统的数据吞吐量，当所述文件传输系统的上限吞吐量下降至预设吞吐阈值时，将所述第二缓存池中的待上传数据重新写回文件传输系统中进行资源传输处理。

在其中一个实施例中，所述文件传输系统的上限吞吐量的确定包括：

获取各个文件传输系统的传输资源大小和传输时间，统计各个文件传输系统的吞吐量；

选取所有文件传输系统中最小的吞吐量作为上限吞吐量。

在其中一个实施例中，所述装置还包括：

当待上传资源存储至第二缓存池中，获取所述第二缓存池中的待上传资源，执行下载操作。

第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现资源传输控制方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现资源传输控制方法的步骤。

第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现资源传输控制方法的步骤。

上述资源传输控制方法，至少包括以下有益效果：

可以在资源上传请求的请求量大于请求处理上限阈值时，将资源上传请求存储至第一缓存池，避免接口直接拒绝资源上传请求，提高资源上传效率。在资源传输处理的过程中，若待传输资源总量大于文件传输系统的上限吞吐量，将待上传资源存储至第二缓存池，用于文件传输系统待上传的资源总量小于上限吞吐量时，重新将第二缓存池中的待上传资源重新写回文件传输系统中进行资源传输处理，提高资源传输效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本公开实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中资源传输控制方法的应用环境图；

图2为一个实施例中资源传输控制方法的流程示意图；

图3为一个实施例中资源传输控制装置的结构框图；

图4为一个实施例中计算机设备的内部结构图；

图5为一个实施例中一种服务器的内部结构图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

本公开实施例提供一种资源传输控制方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在本公开的一些实施例中，如图2所示，提供了一种资源传输控制方法，以该方法应用于图1中的服务器对待传输资源进行处理为例进行说明。可以理解的是，该方法可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。具体的一个实施例中，所述方法可以包括以下步骤：

S202：接收资源上传请求，响应于资源上传请求的请求量大于请求处理上限阈值，将所述资源上传请求存储至第一缓存池；所述资源上传请求包含待上传的资源。

待上传的资源可以包括图片、文件等，资源上传请求可以包括待上传的终端资源、指定的接口地址等，终端需要将待上传的资源上传至服务器。

请求处理上限阈值可以指反映接口的资源使用情况的参数，可以包括但不限于以下数值，单位时间中央处理器的平均使用时间、单位时间内存使用大小的平均值、单位时间网络带宽消耗的平均值。请求处理上限阈值也可以指反映接口的能力情况的参数，可以包括但不限于以下数值，单位时间平均处理耗时、接口基准响应时间、单位时间被调用次数。

当资源上传请求的请求量大于请求处理上限阈值，接口不会直接返回上传失败消息，可以将资源上传请求存储值第一缓存池，后续可以从第一缓存池中重新获取待上传资源，避免接口直接拒绝资源上传请求，提高资源上传效率。第一缓存池可以减缓短时间内资源上传请求的请求量较多的问题。

S204：异步调用所述第一缓存池中的资源上传请求进行资源传输处理。

在资源上传请求的请求量大于请求处理上限阈值时，将资源上传请求存储值第一缓存池时，异步调用第一缓存池中的资源上传请求进行资源传输处理。资源传输处理可以包括根据资源上传请求中的接口地址获取上传接口，将待上传资源通过接口传输至文件传输系统。

S206：在所述资源传输处理的过程中，若待上传资源总量大于文件传输系统的上限吞吐量，继续接收待上传资源，且将超过所述上限吞吐量的待上传资源存储至第二缓存池。

可以包括多个文件传输系统，每个文件传输系统的吞吐量不同，可以选取所有的文件传输系统中最低的吞吐量作为上限吞吐量。吞吐量可以包括每秒处理事务数、处理事务数的时间等，当待传输资源总量大于文件传输系统的上限吞吐量时，仍然可以继续接收资源上传请求，文件传输系统在处理资源上传请求的同时，可以将超过上限吞吐量的待传输资源存储至第二缓存池，第二缓存池可以用于临时存储资源上传请求。

S208：响应于所述文件传输系统待上传的资源总量小于所述上限吞吐量，将所述第二缓存池中的待上传资源重新写回文件传输系统中进行资源传输处理。

在文件传输系统处理资源上传请求一段时间后，文件传输系统待上传的资源总量可能会小于上限吞吐量，可以将临时存储于第二缓存池中的待上传资源重新写回文件传输系统中进行资源传输处理。

上述资源传输控制方法中，可以在资源上传请求的请求量大于请求处理上限阈值时，将资源上传请求存储至第一缓存池，避免接口直接拒绝资源上传请求，提高资源上传效率。在资源传输处理的过程中，若待传输资源总量大于文件传输系统的上限吞吐量，将待上传资源存储至第二缓存池，用于文件传输系统待上传的资源总量小于上限吞吐量时，重新将第二缓存池中的待上传资源重新写回文件传输系统中进行资源传输处理。提高资源传输效率。

在本公开的一些实施例中，所述响应于所述文件传输系统待上传的资源总量小于所述上限吞吐量包括：

根据预设的间隔时间获取所述文件传输系统的数据吞吐量，当所述文件传输系统的上限吞吐量下降至预设吞吐阈值，将所述第二缓存池中的待上传数据重新写回文件传输系统中进行资源传输处理。

可以在文件传输系统内部设置定时任务或阈值触发任务，定时获取文件传输系统的数据吞吐量，用于与预设吞吐阈值比较，或，在文件传输系统中设置预设吞吐阈值，当文件传输系统的数据吞吐量达到预设吞吐阈值，可以对第二缓存池中的待上传资源进行操作。系统中可以包括多个文件传输系统，每个文件传输系统的吞吐量不同，可以选取当前处理的文件传输系统的上限吞吐阈值作为预设吞吐量。

在本公开的一些实施例中，所述文件传输系统的上限吞吐量的确定包括：

获取各个文件传输系统的传输资源大小和传输时间，统计各个文件传输系统的吞吐量；

选取所有文件传输系统中最小的吞吐量作为上限吞吐量。

吞吐量可以包括每秒处理事务数、处理事务数的时间等，可以通过各个文件传输系统的传输资源大小和传输时间确定，在资源传输过程中，可以包括多个文件传输系统，选取所有文件传输系统中最小的吞吐量作为上限吞吐量。

在本公开的一些实施例中，所述方法还包括：

当待上传资源存储至第二缓存池中，获取所述第二缓存池中的待上传资源，执行下载操作。

若待上传资源总量小于文件传输系统的上限吞吐量，将待上传资源传输至文件传输系统中，获取文件传输系统中的待上传资源，实现下载功能；若待上传资源总量大于文件传输系统的上限吞吐量，将待上传资源存储至第二缓存池中，获取第二缓存池中的待上传资源，执行下载操作。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的针对资源传输控制方法的资源传输控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的资源传输控制装置实施例中的具体限定可以参见上文中对于资源传输控制方法的限定，在此不再赘述。

所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

在一个实施例中，如图3所示，提供了一种资源传输控制装置300，所述装置可以为前述服务器，或者集成于所述服务器的模块、组件、器件、单元等。

该装置300可以包括：

接收模块302，用于接收资源上传请求，响应于资源上传请求的请求量大于请求处理上限阈值，将所述资源上传请求存储至第一缓存池，所述资源上传请求包含待上传的资源；

调用模块304，用于异步调用所述第一缓存池中的资源上传请求进行资源传输处理；

传输模块306，用于在所述资源传输处理的过程中，若待上传资源总量大于文件传输系统的上限吞吐量，继续接收待上传资源，且将超过所述上限吞吐量的待上传资源存储至第二缓存池；

转移模块308，用于响应于所述文件传输系统待上传的资源总量小于所述上限吞吐量，将所述第二缓存池中的待上传资源重新写回文件传输系统中进行资源传输处理。

在其中一个实施例中，所述响应于所述文件传输系统待上传的资源总量小于所述上限吞吐量包括：

根据预设的间隔时间获取所述文件传输系统的数据吞吐量，当所述文件传输系统的上限吞吐量下降至预设吞吐阈值时，将所述第二缓存池中的待上传数据重新写回文件传输系统中进行资源传输处理。

在其中一个实施例中，所述文件传输系统的上限吞吐量的确定包括：

获取各个文件传输系统的传输资源大小和传输时间，统计各个文件传输系统的吞吐量；

选取所有文件传输系统中最小的吞吐量作为上限吞吐量。

在其中一个实施例中，所述装置还包括：

当待上传资源存储至第二缓存池中，获取所述第二缓存池中的待上传资源，执行下载操作。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

上述针对资源传输控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待上传资源。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种资源传输控制方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现资源传输控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4、图5中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本公开任一实施例所述的方法。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例所述的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本公开专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开的保护范围应以所附权利要求为准。