掌桥专利:专业的专利平台
掌桥专利
首页

数据传输处理方法、装置、电子设备和可读存储介质

文献发布时间:2023-06-19 19:13:14


数据传输处理方法、装置、电子设备和可读存储介质

技术领域

本申请涉及到内容分发领域,具体而言,涉及数据传输处理方法、装置、电子设备和可读存储介质。

背景技术

内容分发网络(Content Delivery Network,简称为CDN)是构建在现有网络基础之上的用于进行内容分发的网络。内容分发网络通过负载均衡、资源调度等技术手段进行内容分发,使用户就近获取所需要的内容,降低网络拥塞,提高用户获取所需要的内容的速度。图1是根据本申请实施例的CDN网络的架构示意图,如图1所示,源站作为内容的提供方,其将内容提供给CDN节点,每个CDN节点均相当于用于缓存内容的缓存服务器,这样位于不同位置的用户可以选择距离自己最近的CDN节点来获取该内容,提高内容获取的速度。CDN节点位于网络的边缘,更加靠近用户,因此也将图1中的CDN节点称为边缘节点,边缘节点也称为POP(point-to-presence)节点。

用户通过边缘节点获取自己需要的内容时,如果边缘节点并未缓存用户所需要的内容,边缘节点可以从源站获取这些内容,但是考虑到如果边缘节点均从源站来获取内容,可能会导致源站的负荷较大,为了解决这个问题,除了图1中示出的边缘节点之外,边缘节点与源站之间也可以设置中间节点,这些中间节点可以从源站获取内容,并将获取到的内容分发给边缘节点。图2是根据本申请实施例的中间节点和源站采用专线的架构示意图,如图2所示,边缘节点从中间节点获取数据,中间节点从源站获取数据。在图2中,中间节点可以从源站获取各种类型的数据流量,这里说的类型可以是由于源站提供不同的服务所带来的数据流量,例如,所述源站提供视频直播服务,在视频直播服务中也会提供网页服务,视频直播产生的数据流量是一种类型,网页服务产生的视频流量是另一种类型。为了保证某种类型的数据流量的稳定性会采用专线的方式从源站到中间节点来传输该类型的数据流量,对于其他类型的数据流量可以采用非专线的其他线路来进行数据流量的传输。

在图2中,为了保证专线传输的数据流量的稳定性,一般会配置两根专线,其中一个专线1用于传输数据流量,另一个专线2通常是空闲的,在传输数据流量的专线1出现异常时,将专线1上的数据流量切换到专线2上。在这种处理方式中,配置好的部分专线(如专线2)在大部分时间中均属于空闲状态,这造成了资源的浪费。

发明内容

本申请实施例提供了数据传输处理方法、装置、电子设备和可读存储介质,以至少解决现有技术中为保持数据传输稳定而配置的备份专线大部分时间处于空闲所导致的浪费资源的问题。

根据本申请的一个方面,提供了一种数据传输处理方法,包括:确定需要在节点间传输的专线流量和非专线流量,其中,所述节点之间通过非专线和多根专线进行数据流量的传输;将所述专线流量配置在专线上进行传输;将所述非专线流量配置在所述非专线和所述多根专线中至少之一上进行传输。

根据本申请的另一个方面,还提供了一种数据传输处理装置,包括:第一确定模块,用于确定需要在节点间传输的专线流量和非专线流量,其中,所述节点之间通过非专线和多根专线进行数据流量的传输;第一配置模块,用于将所述专线流量配置在专线上进行传输;第二配置模块,用于将所述非专线流量配置在所述非专线和所述多根专线中至少之一上进行传输。

根据本申请的另一个方面,还提供了一种电子设备,包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现上述的方法步骤。

根据本申请的另一个方面,还提供了一种可读存储介质,其上存储有计算机指令,其中,该计算机指令被处理器执行时实现上述的方法步骤。

在本申请实施例中,采用了确定需要在节点间传输的专线流量和非专线流量,其中,所述节点之间通过非专线和多根专线进行数据流量的传输;将所述专线流量配置在专线上进行传输;将所述非专线流量配置在所述非专线和所述多根专线中至少之一上进行传输。通过本申请解决了现有技术中为保持数据传输稳定而配置的备份专线大部分时间处于空闲所导致的浪费资源的问题,进而能够利用空闲专线传输数据,并且在某一专线出现故障时还能够保证需要在专线上传输的数据流量正常传输。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1是根据本申请实施例的CDN网络的架构示意图;

图2是根据本申请实施例的中间节点和源站采用专线的架构示意图;

图3是根据本申请实施例的CDN网络的分层架构示意图;

图4是根据本申请实施例的L3节点包括数据存储服务的架构示意图;

图5是根据本申请实施例的L2和L3专线连接故障的示意图;

图6是根据本申请实施例的数据传输处理方法的流程图;

图7是根据本申请实施例的数据故障传输处理方法的流程图;以及,

图8是根据本申请实施方式的传输视频流量的CDN中专线故障处理流程示意图。

具体实施方式

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

以下实施方式可以应用到CDN网络中,图3是根据本申请实施例的CDN网络的分层架构示意图,在图3中有边缘节点1、边缘节点2、……、边缘节点N,中间节点1、……、中间节点M,一个边缘节点可以一个或多个中间节点来获取内容,这样就可以缓解源站的压力。在图3示出的分层结构中,边缘节点位于第一层,即L1,因此边缘节点也称为L1节点(简称为L1),同理,中间节点也称为L2节点(简称为L2),源站也称为L3节点(简称为L3)。

源站可以用于提供内容的服务器或者服务器集群,例如,如果源站是提供直播视频的,则源站可以为直播中心;如果源站是提供网页服务的,则源站还会使用数据存储服务来保存文件,例如,静态网页、作为附件的文件、图片、视频、音频等,这些文件在用户的访问过程中是不会发生变化的,因此,这些文件被称为静态资源,与静态资源向对应的是动态资源,动态资源是随着不同用户或者在不同时间访问,发送给用户的内容是动态变化的。CDN网络可以通过专门的链路来分发这些静态资源。图4是根据本申请实施例的L3节点包括数据存储服务的架构示意图,如图4所示,源站包括了云服务器和数据存储服务,其中,云服务器提供网页(Web)程序和数据库服务,数据存储服务用于存储静态资源。用户发起访问之后,对于动态资源可以直接从云服务器获取,对于静态资源,可以向用户返回L1节点的网络协议(Internet Protocol,简称为IP)地址,用户可以通过L1节点获取静态资源,如果L1节点上没有缓存静态资源,则可以向从数据存储服务中获取。图4中数据存储服务与云服务器可以位于同一内网中,双方可以通过内网进行数据传输。在以下实施方式中,数据存储服务、L3、云服务器、直播中心等都表示源站,即L3节点。

图5是根据本申请实施例的L2和L3专线连接故障的示意图,如图5所示,数据存储服务/L3/直播中心作为L3节点,其通过交换机连接L2节点,在图5中虽然未示出L2节点,但是,图5中的透明代理以及信标组件(Beacon)均是在L2层的网元,其中,透明代理用于进行负载均衡,例如,在非专线存在多条的情况下,透明代理用于在不同线路上进行负载均衡,例如,将专线1上的数据流量转移到专线2上,或者将专线上的数据流量转移到非专线上。这里的透明代理的含义是通过该透明代理进行传输数据的双方是不知道该代理的存在的,透明代理会使用传输数据双方的真实IP地址来进行数据传输。Beacon作为L2中的一个组件,其主要是从流量控制(简称为流控)组件和透明代理之间进行策略同步,该策略用于指示在专线上应该传输的数据流量的类型、在非专线上应该传输的数据流量的类型和/或专线中断后的处理方式等,流控组件还用于将专线上传输的数据流量限定在一个阈值之内,例如,如果一条专线的上限是100Gb/S(吉比特/秒,在以下实施方式中将将100Gb/S简称为100G),一般会设置一个比例(如,90%),在该专线上传输的数据流量不能超过该比例,这样可以保证在专线上数据传输的质量,如果设置的比例是90%,那么在该专线上传输的数据流量的上限就是90G,流控组件就是将单根专线上传输的数据流量控制在90G以下。需要说明的是,流控组件和/或透明代理可以作为L2节点中的组件,也可以独立于L2节点在第二层中单独设置。

在透明代理、信标组件和流控组件中同步的策略还可以用于在专线出现故障之后的数据流量转移策略。该策略涉及到数据流量如何在专线之间以及专线和非专线之间进行转移。假设在图5中只有一条专线,则该该专线出现故障之后,该专线上传输的数据流量就只能移到非专线上进行传输,如果该专线上传输的是视频直播的数据流量,那么在转移到非专线上进行传输之后,会影响视频直播的质量。为了解决这个问题,在图5中会使用两根专线,即专线1和专线2,专线2平常保持空闲,专线1用于传输需要在专线上传输的数据流量(如用于视频直播的数据流量),在专线1出现故障时,可以将专线1上传输的数据流量转移到专线2上,这样不会影响专线上传输的数据流量的传输质量。如果专线2也出现了故障,则此时专线1大概率已经被修复,则可以将专线2上的数据流量再转移到专线1上,如果专线1没有被修复(发生这种情况的概率很低),也可以将专线2上的数据流量转移到非专线上。

通过上述对图5的分析可以得知,在图5示出的场景中最大的问题在于,为了保证专线上的数据流量的传输质量,会设置备份的专线(即图5中的专线2),该备份的专线平常是不使用的,只有在专线1出现故障之后,专线1上传输的数据流量才会转移到专线2上进行传输,这导致了专线资源的浪费。

为了解决上述问题,在以下实施方式中提供了一种数据传输处理方法,图6是根据本申请实施例的数据传输处理方法的流程图,如图6所示,下面对图6示出的方法中所涉及到的步骤进行说明。

步骤S602,确定需要在节点间传输的专线流量和非专线流量,其中,所述节点之间通过非专线和多根专线进行数据流量的传输。

专线流量可以理解为配置在专线上进行传输的流量,非专线流量可以理解为配置在非专线上传输的流量。例如,在两个节点之间传输的流量包括直播流量和网页流量的情况下,由于直播流量对传输质量要求比较高,则将直播流量配置在专线上传输,直播流量就是专线流量;网页流量对传输质量要求没有直播流量高,可以将网页流量配置在非专线上传输,此这种情况下网页流量为非专线流量。又例如,两个节点之间传输的流量包括实时的网络会议流量和视频点播流量,考虑到实时的网络会议流量对传输质量的要求高于视频点播流量,可以将实时的网络会议流量配置在专线上传输,即实时的网络会议流量为专线流量,将视频点播流量配置在非专线上传输,即视频点播流量为非专线流量。

需要指出的是,上述专线流量和非专线流量仅仅是示例,并不限于此。在该步骤中,哪些数据流量在专线上传输(即哪些流量是专线流量),哪些数据流量在非专线上传输(即哪些流量是非专线流量)可以由用户进行配置,或者也可以根据数据流量的类型来确定,这一点在以下可选的实施方式中有所描述。

步骤S604,将所述专线流量配置在专线上进行传输。

步骤S606,将所述非专线流量配置在所述非专线和所述多根专线中至少之一上进行传输。

通常情况下,专线上会留有空闲,在该步骤中将专线上的空闲用于传输原本传输在非专线上的数据流量(即使用专线传输非专线流量)。通过上述步骤,改变了在专线上只传输专线流量的做法,即专线上除了传输专线流量之外,还将非专线流量配置在专线上传输,这样就可以对专线进行充分利用,因此解决了现有技术中为保持数据传输稳定而配置的备份专线大部分时间处于空闲所导致的浪费资源的问题,进而能够利用专线的空闲来传输数据。

在进行数据流量传输的过程中,有可能出现专线故障,在一个可选的实施方式中在出现故障之后,可以对数据流量进行转移,图7是根据本申请实施例的数据传输故障处理方法的流程图,如图7所示,下面对图7中的方法所涉及到的步骤进行说明。

步骤S702,确定节点之间连接的第一专线发生故障,其中,所述节点之间通过非专线和多根专线进行数据传输,所述第一专线是所述多根专线中的其中之一。需要说明的是,在该步骤中使用了“第一专线”,以及在以下实施方式中使用了“第二专线”,这里的“第一”“第二”仅仅是为了对这两根专线进行区分,并不是对专线顺序的限定。

确定第一专线发生故障的方式有很多种,例如,可以判断第一专线上的丢包率是否达到了阈值,在达到阈值之后,就会产生大量的丢包,说明第一专线已经出现了故障;又例如,还可以获取第一专线上的数据包的传输延时,在传输延时比较大的情况下,也可以说明第一专线已经出现了故障;又例如,还可以通过第一专线周期性的发送向另一个节点发送心跳消息,如果经过预定时长另一节点一直未收到心跳消息的情况下,说明第一专线出现了故障。这里仅仅列举了几种确定第一专线出现故障的方式,在具体实施时并不限于这几种方式。

该步骤中的节点可以为设置在网络上的任意的网元或设备,这些网元或设备之间需要使用专线进行数据流量传输的情况均可以使用图7及以下实施方式中的方法或步骤。例如,该步骤中的节点可以是CDN网络中的L2节点和L3节点,为了提高L2节点从L3节点中获取数据的速度,在L2节点和L3节点之间可以设置多根专线。需要注意的是,在多根专线中,可以使用一部分专线来传输专线流量,在另一部分专线上传输非专线流量(这些专线是作为备份使用,这些专线可以用来传输非专线流量);或者在另一个可选的实施方式中,每一个根专线上可以传输部分专线流量和部分非专线流量;当然这两种传输方式也可以组合使用,例如,在专线1上传输20G类型A的数据流量,在专线2上传输20G类型A的数据流量和20G类型B的数据流量,如果类型A是专线流量,类型B为非专线流量,在专线1故障之后,如果专线2能够容纳20G的数据流量,则将专线1上的数据流量转移到专线2上,如果专线2上无法容纳20G的数据流量,则将专线2上的20G类型B的数据流量转移到非专线上传输之后,在将专线1的数据流量转移到专线2上。通过这样的处理方式,一方面,专线之间存在备份机制;另一方面,用作备份的专线也没有处于空闲状态,能够做到对专线资源的充分利用,在如下步骤S704到步骤S706中会对这个两个方面进行说明。

步骤S704,从所述多根专线中选择第二专线。其中,所述第二专线为所述多根专线中除所述第一专线之外的专线。

在该步骤中需要找到“原本作为备份使用的专线”,在上述步骤中将原本作为备份使用的专线用于传输了非专线流量,这些数据流量是原本是通过非专线来进行传输的,这样可以节约非专线线路的使用成本,这是由于非专线线路通常是与其他用户共享的线路,对于共享线路的计费通常占用了多少带宽就支付多少费用,即非专线线路是根据实际使用量来收费的,而专线是独占带宽,因此专线是根据使用时长来收费的。在将非专线线路上的数据流量转移到专线线路之后,就可以节约非专线线路的使用成本。但是,为了保证专线上传输的数据流量的质量,在一条专线出现问题的情况下,如果该条专线上传输的数据流量仍然需要在专线上传输,那就需要找到“原本作为备份使用的专线”。

在该步骤的一个可选实施方式中,可以分别判断除第一专线之外的其他专线上传输的数据流量是否部分或全部为非专线流量;从判断结果为是的专线中选择出所述第二专线,其中,从所述第二专线上转移走的数据流量为非专线流量,从所述第一专线上转移到第二专线上的数据流量为专线流量。在选择第二专线的时候可以根据第一专线上的专线流量的数据量大小,选择第二专线,要么第二专线的剩余容量能够容纳第一专线上的专线流量,要么第二专线将自身上传输的非专线流量转移走了之后,第二专线的剩余流量能够容纳第一专线上的专线流量。例如,在图5中,专线1用于传输专线流量,专线2原本是作为备份使用的专线,其上传输的是静态资源,静态资源是可以在非专线线路上传输的。在专线1出现故障之后,需要找到专线2让其发挥备份作用,接替专线1。图5示出的场景中作为备份使用的专线为一条,在实际应用时也有可能存在多条原本用于备份使用的专线,可以获取这些专线中传输的数据流量的要求,将对传输要求相对较低的专线作为第二专线。

步骤S706,将发生所述故障之前在所述第一专线上传输的数据流量转移到所述第二专线上和/或非专线上进行传输;其中,在该步骤中,将第一专线上传输的专线流量转移到所述第二专线上。在另一个可选的实施方式中,假如第一专线上还传输有非专线流量,那么,可以将所述第一专线上的非专线流量转移到非专线上或者其他专线上;或者,在所述第二专线能够容纳所述第一专线上的非专线流量的情况下,将所述第一专线上的非专线流量转移到所述第二专线上;其中,所述其他专线是所述多根专线中除所述第一专线和所述第二专线之外的专线。

在上述步骤中,专线上除了传输专线流量之外,还将非专线流量部分配置在专线上传输,这样就可以对专线进行充分利用,而且通过上述步骤还解决了故障之后数据流量转移的问题,从而可以保证数据流量在故障情况下也可以顺利转移。因此解决了现有技术中为保持数据传输稳定而配置的备份专线大部分时间处于空闲所导致的浪费资源的问题,进而能够利用专线传输数据,并且在某一专线出现故障时还能够保证专线流量正常传输。

转移第一专线上的数据流量的方式有很多种,下面就对几种可选的方式进行说明:方式一,在所述第二专线能够容纳所述第一专线上传输的所有数据流量的情况下,将所述第一专线上传输的所有数据流量(包括专线流量和非专线流量)均转移到所述第二专线上进行传输。方式二,在所述第二专线能够容纳所述第一专线上的专线流量的情况下,将所述专线流量转移到所述第二专线上进行传输。可选地,将所述第一专线上传输的非专线流量转移到到所述非专线上进行传输,或者将非专线流量转移到除第一专线和第二专线之外的其他专线上。方式三,在所述第二专线无法容纳从所述第一专线上的专线流量的情况下,在将第二专线上传输的非专线流量转移到所述非专线进行传输之后,再将所述第一专线上的专线流量转移到所述第二转线上。方式四,如果第一专线上原本传输的就是非专线流量,则可以将所述第一专线上传输的数据流量均转移到所述非专线上进行传输。

上述几种方式可以单独或结合使用。尤其是方式三,由于第二专线上传输的数据流量包括原本就可以在非专线上传输的数据流量(即非专线流量),因此将第二专线上传输的这部分数据流量转移到非专线上也不会造成太大的影响,在将第二专线上的非专线流量进行转移之后,就可以将原本在第一专线上传输的数据流量转移到到第二专线上进行传输了。

通过上述的实施方式可以将原本作为备份使用的专线用于传输非专线流量,在专线发生故障并且该专线上传输的数据流量仍然需要在专线上传输的情况下,此时就可以将作为备份使用的专线上的数据流量转移到非专线上,然后,将发生故障的专线上的数据流量转移到作为备份使用的专线上。即在上述可选实施方式中,专线的备份机制仍然存在,除此之外,空闲的专线也被用于进行数据流量的传输,节约了非专线的使用成本。

需要注意的是,第一专线上传输的数据流量也可能包括非专线流量,因此,在一个可选的实施方式中,在执行步骤S704之前,还可以判断所述第一专线上传输的数据流量是否包括专线流量。这是因为为了不让作为备份使用的专线空闲,在作为备份使用的专线中也进行了数据流量的传输,也就是说发生故障的专线上传输的数据流量可能包括:专线流量和/或非专线流量。以图5为例,在图5中使用了两种线路来进行数据流量的传输,这两种线路分别是专线和非专线,在专线1上传输数据流量,该数据流量是需要通过专线来进行传输的(如用于视频直播的数据流量),专线2作为专线1的备份,如果保持空闲则会浪费专线资源,因此,可以在专线2上传输非专线流量(如传输静态资源对应的数据流量),这样可以充分利用专线资源。如果专线2发生故障,原本在专线2上传输的数据流量就是不需要使用专线进行传输的,此时可以不做处理,等待原本通过专线2获取静态资源的连接超时之后,会通过非专线来创建新的连接以重新获取静态资源。即专线2发生故障并不会影响专线1的运行。如果是专线1发生故障,由于专线1上传输的数据流量包括仍然专线流量,这时就会执行步骤S704和步骤S706;在不包括专线流量的情况下,将所述第一专线上传输的数据流量转移到所述节点之间连接的非专线上进行传输。综上可以看出,当一根专线出现故障上,该专线上传输的数据流量的要求不同会存在不同的处理方式,因此可以判断一下出现故障的专线上原本传输的数据流量是否包括专线流量或者非专线流量。

图7中的步骤涉及到数据流量是否需要在专线上传输,用户在使用专线的时候,用户可以执行配置哪些数据流量为专线流量以及哪些数据流量为非专线流量。但是专线出现故障时候,需要通过软件程序来进行判断哪些数据流量需要在专线上进行传输,在一个可选实施方式中,可以对数据流量进行类型的区分,这样对于在线路上的传输的数据流量来说,就很容易区分什么类型的数据流量为专线流量,什么类型的数据流量为非专线流量。即在该可选实施方式中,可以获取数据流量的类型;根据所述数据流量的类型确定所述数据流量为专线流量或非专线流量。可以用来确定数据流量的因素有很多种,在一个可选实施方式中,可以根据以下至少之一获取所述数据流量的类型:所述数据流量来源的服务、所述数据流量中数据的类型。例如,当数据流量来源于Web服务器时,说明该数据流量以静态资源流量为主,该数据流量可以在非专线上传输;又例如,当数据流量来源于视频直播服务器时,说明该数据流量对传输质量要求较高,该数据流量需要在专线上进行传输。或者,在另一个例子中,也可以根据数据流量中的数据的类型来确定是否需要在专线上进行传输,如数据流量传输的是文本内容以及图片,在这种情况下,该类型的数据流量可以在非专线上传输;如数据流量中传输的是视频流,则该类型的数据流量需要在专线上进行传输。通过该可选实施方式可以判断出专线流量。

上述可选实施方式中判断专线流量的方式可以用于节点间数据传输的初始阶段,即两个节点之间需要传输的数据流量包括多种类型,其中类型A的数据流量需要在专线上传输,从而确定是用专线1来传输该类型A的数据流量(即专线流量);其他类型B、类型C和类型D的数据流量可以在非专线上进行传输(即非专线流量)。考虑到还有用作备份的专线,此时可以从类型B、类型C和类型D中选择出对传输质量要求较高的类型,例如,类型C对传输质量要求较高,类型D次之,类型B对传输质量要求最低,然后将对传输质量要求较高的类型的数据流量配置在用作备份的专线上进行数据传输,如果用作备份的专线上带宽还有剩余,则可以将类型D的数据流量也转移到专线上进行传输。对于传输类型C和类型D的数据流量的专线来说,如果其发生故障,则原来传输类型A的专线继续保持传输类型A的数据流量,类型C和类型D的数据流量可以转移到非专线上进行传输。

通过上述实施方式可以得知,在如下三种情况下会将专线上的数据流量转移到非专线上:情况一,专线上传输的是可以在非专线上传输的数据流量(即非专线流量),在该专线出现故障之后,需要将故障专线上传输的数据流量转移到非专线上。情况二,专线上传输的是可以在非专线上传输的数据流量,其他专线故障之后需要占用该专线的这部分流量,此时该专线将数据流量转移到非专线上。情况三,所有专线均发生故障,在这种情况下也要将原本的专线流量也转移到非专线上。

对于上述三种情况来说,提高数据流量的转移速度能够减少服务中断的时间,从而提高用户体验。在进行数据流量转移的时候,对于在第一专线或第二专线的长连接(即一直保持的链接)来说,其转移时间可能较长,为了解决这个问题,在一个可选实施方式中,可以通过设置无法正确达到的路由信息的方式来进行数据流量的转移,即将所述第一专线或所述第二专线上传输的数据流量转移到所述节点之间连接的非专线上进行传输可以包括如下步骤:获取所述第一专线或所述第二专线上需要转移到所述非专线上的数据流量所对应的长连接,将所述长连接的路由信息中的目的地址配置为无法正确达到的地址;在所述长连接因使用所述无法正确到达的地址发生连接断开之后,在所述非专线上的线路上建立新的长连接用于进行数据传输,其中,所述第一专线或所述第二专线上需要转移到所述非专线上的数据流量通过所述新的连接进行数据传输。通过这种方式数据流量在传输过程无法被路由到正确的网络地址,这会迅速触发长链接断开,然后建立起新的长链接,这样就可以做到尽可能快速的将数据流量转移到非专线上。

为了保证路由信息能过及时生成并配置生效,可以在故障之前就提前生成并保存路由信息,这些路由信息可以从用户保存专线信息的资源库中获取到,即带有无法正确达到的地址的路由信息以及正确的路由信息都可以是预先保存在节点上的。通过该可选实施放方式在故障发生之后就可以直接使用无法正确达到的路由信息转移长连接,减少了服务中断的时间。

需要注意的是,进行数据流量传输线路的切换可以减少服务中断时间,如果能够尽快获取到故障发生,则也可以提高数据流量传输路线的转移速度。例如,在内容分发网络中,第二层节点和第三节点之间可以通过交换机连接,交换机作为一种网络设备其第一时间就能判断出交换机的哪个端口出现了故障,从而可以确定该端口连接的线路也发生了故障,因此,通过交换机可以快速获取到故障的发生,即在该可选实施方式中,确定所述节点之间连接的第一专线发生故障可以包括如下步骤:在所述交换机判断出所述第一专线发生故障之后,所述第二层节点接收来自所述交换机的用于指示所述第一专线发生故障的信息,其中,所述交换机通过所述多根专线以及所述非专线与所述第三层节点连接;所述第二层节点通过所述交换机与所述第三层节点进行数据传输。在该可选实施方式中,交换机在获取发生故障之后,其需要发送消息来通知第二层节点,在这种情况下,需要与第二层节点建立连接,建立连接可能会存在失败的情况,这会导致无法及时将故障通知到第二层节点,为了解决这个问题,所述第二层节点与所述交换机之间可以按照预定周期发送消息,其中,所述预定周期为预先配置的;所述第二层节点接收按照所述预定周期发送的消息中携带的用于指示所述第一专线发生故障的信息。在该可选实施方式中,可以将预定周期配置成秒级,例如,配置为1秒或者0.5秒,这样可以第二层节点可以最快的从交换机获取到专线出现了故障。

在上述可选实施方式中,第二层节点可以通过信标组件(Beacon)来提前获取路由信息并保存,如果使用了边界网络协议(Border Gateway Protocol,简称为BGP)作为CDN中的路由协议,则信标组件可以通过边界网络协议代理组件(BGP Agent)来获取路由信息。信标组件也可以通过向交换机发送心跳信息进行心跳同步,从而可以尽快的获取专线发生故障。在进行数据流量转移的过程中,可以通过第二层节点(即L2)来进行,在第二层网络节点中通常设置有透明代理,因此可以通过透明代理来进行数据流量在专线之间以及在专线和非专线之间转移。进行转移的策略(如什么类型的数据流量需要转移的专线上,什么类型的数据流量需要转移到非专线上等)可以提前保存在透明代理上,这样在发生故障之后透明代理就可以直接使用该策略进行转移,透明代理也可以与信标组件通信,通过与信标组件之间发送心跳消息来获取策略,获取策略也可以使用秒级的消息来进行获取,例如1秒。

在CDN网络中通过上述路由信息、策略的获取方式以及故障的通知方式可以做到传输线路的迅速切换,降低服务中断时间。降低服务中断时间对于有些CDN网络来说直观重要,例如,在CDN网络中进行视频流量的分发,这种情况下需要将线路故障的影响降到最低,此时,在该CDN网络中,在所述专线上传输的数据流量的类型为视频直播流量(即专线流量),在所述第二专线上传输的可以在非专线上传输的数据流量的类型为视频点播流量(即非专线流量,该非专线流量可以配置在专线上进行传输),其他图片、文本等(即非专线流量)配置在非专线上进行数据传输。图8是根据本申请实施方式的传输视频流量的CDN中专线故障处理流程示意图,下面结合图8进行说明。

在图8中,①表示黑洞阻断逃逸路线(秒级),该线路表示通过设置路由黑洞的方式将流量从专线切换到非专线上,专线发生故障是通过心跳消息发送的,该心跳消息可以配置为每秒发送,在通过心跳消息得知专线发生故障的情况下,就可以配置路由黑洞,因此被称为秒级。②表示秒级调度逃逸路线,由于专线用在第二层节点和第三层节点之间,第二层节点通过心跳消息获取到专线故障之后,根据预先配置的策略将专线上的流量配置到其他线路上,即专线上的流量逃逸到其他路线上。心跳消息是按照每秒发送的,因此将此线路称为秒级调度逃逸路线。③表示中心调度路线(分钟级),第一层节点和第二层节点之间也会发生故障,第一层节点可以配置为按照分钟获取调度策略,在第一层节点和第二层节点之间的线路发生故障之后,按照调度策略进行调度即可。由于第一层节点和第二节点之间没有配置专线,因此可以按照分钟来将故障线路上的流量调度到未发生故障的线路上。④表示专线,⑤表示非专线。L2节点与交换机进行通信,交换机通过两条专线和多条非专线和数据存储服务/L3/直播中心(即L3节点)连接。图8中信号组件未设置在L2节点中,其中,第一层和第二层均设置了信标组件,L1节点与第一层的信标组件连接,L2节点与第二层的信标组件连接,第一层信号组件主要用于策略的拉取和同步,即L1节点按照预定周期(可以设置N分钟为一个周期)从第一层信号组件获取普通回溯策略(该策略用于指示如何通过L2节点从L3节点获取数据,因此称为普通回溯策略或中心策略),由于该策略的获取是分钟级别的,因此,在L1节点和L2节点之间的线路发生故障之后,L1节点切换到L2节点的时间也是分钟级别的。第二层信号组件与BGP代理进行通信,BGP代理与交换机进行通信,第二层信号组件与BGP代理进行路由信息的交互,BGP代理会向交换机发送路由信息,该路由信息用于将专线上的用于点播的数据流量通过路由黑洞(即设置不可达路由)的方式转移到非专线线路上。第二层信号组件还用于与交换机通过心跳消息进行交互,以从交换机及时获取到发生故障的专线,例如,可以通过简单网络管理协议(Simple Network ManagementProtocol,简称为SNMP)报警(Trap)获取到故障信息。L2节点使用秒级的心跳消息来处理专线策略(用于指示专线故障之后如何转移数据流量)。图8中的流控组件在图5中已经进行了说明,在此不再赘述。

在图8示出的流程中,专线中断时触发数据流量传输线路的转移,可以做到秒级调度;策略周期性同步可以按照秒级同步也可以按照分钟级同步。例如,L2节点可以定期更新调度策略,以备随时可以切换,更新周期通常为3分钟;L2节点与beacon实时心跳同步是否有中断事件,以便于及时切换,同步周期1秒;获取节点路由信息,专线中断时,beacon实时触发明细路由指令到交换机,通常在1秒内。

在上述可选实施方式中,通过与交换机通信,将传统调度的感知从分钟级别提升到了秒级;通过与L2节点通信,可以对各种连接类型均进行调度(包括复用的连接);通过下发路由阻断信息,一方面可以提高调度速度,另一方面对于使用路由信息的长连接也可以进行调度。即通过与交换机和CDN节点配合,将调度策略提前下发到节点,结合快速事件通知和路由阻断机制,实现节点内网络链路故障时,将流量秒级调度到安全链路上,不仅解决了如何在不稳定的节点链路上构建可靠服务的问题,同时,将之前依靠物理同类线路容灾升级到多链路互备容灾,可以有效的节省成本。

在本实施例中,提供一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行以上实施例中的方法。

上述程序可以运行在处理器中,或者也可以存储在存储器中(或称为计算机可读介质),计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。

这些计算机程序也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤,对应与不同的步骤可以通过不同的模块来实现。

该本实施例中就提供了这样的一种装置,该装置被称为一种数据传输处理装置,包括:第一确定模块,用于确定需要在节点间传输的专线流量和非专线流量,其中,所述节点之间通过非专线和多根专线进行数据流量的传输;第一配置模块,用于将所述专线流量配置在专线上进行传输;第二配置模块,用于将所述非专线流量配置在所述非专线和所述多根专线中至少之一上进行传输。

该系统或者装置用于实现上述的实施例中的方法的功能,该系统或者装置中的每个模块与方法中的每个步骤相对应,已经在方法中进行过说明的,在此不再赘述。

可选地,所述装置还包括:第二确定模块,用于确定所述节点之间连接的第一专线发生故障;选择模块,用于从所述多根专线中获取第二专线,其中,所述第二专线为所述多根专线中除所述第一专线之外的其他专线;处理模块,将发生所述故障之前在所述第一专线上传输的专线流量转移到所述第二专线上。

可选地,所述处理模块用于在所述第二专线能够容纳所述第一专线上的专线流量的情况下,将所述第一专线上传输的专线流量转移到所述第二专线上;或者,在所述第二专线无法容纳所述第一专线上的专线流量的情况下,将所述第二专线上的非专线流量转移到非专线上,再将所述第一专线上的专线流量转移到所述第二专线上。

可选地,所述处理模块还用于将所述第一专线上的非专线流量转移到非专线上或者其他专线上;或者,在所述第二专线能够容纳所述第一专线上的非专线流量的情况下,将所述第一专线上的非专线流量转移到所述第二专线上;其中,所述其他专线是所述多根专线中除所述第一专线和所述第二专线之外的专线。

可选地,所述处理模块用于获取所述第一专线或所述第二专线上需要转移到所述非专线上的数据流量所对应的长连接,将所述长连接的路由信息中的目的地址配置为无法正确达到的地址;在所述长连接因使用所述无法正确到达的地址发生连接断开之后,在所述非专线上的线路上建立新的长连接用于进行数据传输,其中,所述第一专线或所述第二专线上需要转移到所述非专线上的数据流量通过所述新的连接进行数据传输。

可选地,所述确定模块用于获取数据流量的类型;根据所述数据流量的类型确定所述数据流量为专线流量或非专线流量。

可选地,根据以下至少之一获取所述数据流量的类型:所述数据流量来源的服务、所述数据流量中数据的类型。

可选地,所述处理模块还用于将所述第一专线上传输的数据流量中不需要在专线上传输的数据流量转移到所述节点之间连接的非专线上进行传输。

可选地,在所述节点包括内容分发网络的第三层节点和第二层节点的情况下,所述第二确定模块位于所述第二层节点中,用于在所述交换机判断出所述第一专线发生故障之后,接收来自所述交换机的用于指示所述第一专线发生故障的信息,其中,所述交换机通过所述多根专线以及所述非专线与所述第三层节点连接;所述第二层节点通过所述交换机与所述第三层节点进行数据传输。

可选地,所述第二确定模块用于与所述交换机之间按照预定周期发送消息,其中,所述预定周期为预先配置的;接收按照所述预定周期发送的消息中携带的用于指示所述第一专线发生故障的信息。

可选地,所述专线流量为视频直播流量,所述非专线流量为视频点播流量。

通过上述可选实施方式解决了现有技术中为保持数据传输稳定而配置的备份专线大部分时间处于空闲所导致的浪费资源的问题,进而能够利用专线传输数据,并且在某一专线出现故障时还能够保证需要在专线上传输的数据流量正常传输。

以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

相关技术
  • 日志信息处理方法、装置、电子设备及可读存储介质
  • 数据处理方法、装置、计算机可读存储介质和电子设备
  • 三维模型处理方法和装置、电子设备、计算机可读存储介质
  • 信息处理方法、装置、电子设备及可读存储介质
  • 图像处理方法和装置、电子设备、计算机可读存储介质
  • WiFi数据传输方法、装置、电子设备、无线接入设备、可读存储介质
  • 数据传输方法及装置、电子设备、计算机可读存储介质
技术分类

06120115835041