切换装置和切换方法

技术领域

本文讨论的实施方式涉及切换装置和切换方法。

背景技术

在相关技术中，存在其中收集数据并且基于所收集的数据执行特定处理的系统。作为这样的系统，例如使用所谓的分布式文件系统，在该分布式文件系统中由多个服务器共享不同的处理。

例如，存在提供分布式文件系统的资源以执行作为特定处理的任务的技术。在这种技术中，基于分布式文件系统的负载平衡的需要对任务、调度器和池进行重新分配。

还存在降低时间同步处理所需的开销并且提高由数据收集设备进行的数据收集处理的效率的技术。在这种技术中，对于执行消息传输处理的中继终端，传输处理所需的时间(传输延迟时间)被测量为测量延迟时间，并且将该传输处理所需的时间(传输延迟时间)添加至传输消息的时间信息中。

另外，存在防止外部应用的读取性能降低的技术。在这种技术中，对数据进行重新定位以平衡分布式文件系统中的负载。在重新定位中，将最大重新定位量设置为在一个数据重新定位执行处理中要被重新定位的数据量。此外，最靠近重新定位目的地数据服务器的数据服务器用作块复制源的数据服务器。

例如，在国际专利申请的日本国家公布第2015-503811号和日本公开特许公报第2011-091624号和第2015-022327号中公开了相关技术。

发明内容

本公开内容的一个方面抑制伴随着服务器功能的切换而产生的流量(traffic)并且缩短处理的中断时间。

根据实施方式的一个方面，一种非暂态计算机可读记录介质，在该非暂态计算机可读记录介质中存储有使计算机执行处理的切换程序，该处理包括：当执行从设备接收数据的接收功能的第一服务器接收到用于将功能从接收功能切换至处理数据的任务处理功能的计算请求时，基于尚未从执行任务处理功能的第二服务器读取的未处理数据的数据量、根据第一服务器的带宽的传输速度(transfer speed)和作为由第一服务器保存的数据的移动目的地的第三服务器的带宽的传输速度确定的第一传输速度、以及作为从第二服务器读取数据的传输速度的第二传输速度，计算由第一服务器保存的数据之中的要移动的数据的数据移动量；基于所计算出的数据移动量，指定在由第一服务器保存的数据中从第一服务器移动至第三服务器的数据的移动开始位置；以及从移动开始位置开始从第一服务器向第三服务器的数据移动。

附图说明

图1是将管理系统应用于边缘计算环境的情况的图像图；

图2是示出当切换服务器的功能时中断数据的读取的情况的示例的图；

图3是示出当切换服务器的功能时预先移动数据的情况的示例的图；

图4是示出要读取的数据与要移动的数据之间的关系的图；

图5是示出数据量之间的关系的图像图；

图6是示出当切换服务器的功能时计算数据的数据移动量的情况的示例的图；

图7是示出根据本公开内容的实施方式的管理系统的示意性配置的框图；

图8是示出管理系统的每个服务器的配置的细节的框图；

图9是示出用作管理服务器的计算机的示意性配置的框图；

图10是示出用作数据接收服务器或任务处理服务器的计算机的示意性配置的框图；

图11是示出数据处理和任务处理以及周期性处理的流程的序列图；

图12是示出路由表DB的示例的图；

图13是示出数据DB的示例的图；

图14是示出任务处理DB的示例的图；

图15是示出任务DB的示例的视图；

图16是示出负载信息DB的示例的图；

图17是示出带宽信息DB的示例的图；

图18是示出根据本公开内容的实施方式的技术的当将数据接收服务器切换至任务处理服务器时的处理流程的序列图；

图19是示出根据切换处理的流程的管理系统的配置的图；以及

图20是示出数据、主题和任务之间的关系的示例的图像图。

具体实施方式

在分布式文件系统中，每个服务器的角色被划分为例如接收和收集数据的功能以及获取数据并且执行作为特定处理的任务的功能。关于服务器的类型，接收数据的服务器被定义为数据接收服务器，并且执行任务的服务器被定义为任务处理服务器。在这种情况下，根据扮演每个角色的服务器的负载来执行切换服务器的功能的处理。

然而，在相关技术中，当切换数据接收服务器时，存在关于伴随着切换而出现的数据移动的问题。

在相关技术中，存在数据接收服务器的切换引起在已经从数据接收服务器获取数据的任务处理服务器中发生等待时间的问题。

此外，即使在向任务处理服务器通知切换指令之前移动数据的情况下，也存在要移动的数据的流量的问题。这是因为不能够掌握数据接收服务器的切换定时，并且需要在开始移动时移动所有数据或剩余数据。在这种情况下，由于在切换之前由任务处理服务器读取的数据也被复制到移动目的地的数据接收服务器，因此生成了无用的流量。另外，当由于某种原因改变了移动目的地时，例如当移动目的地的数据接收服务器停止时，存在生成更多无用的流量的另一问题。

在下文中，将参照附图详细描述根据抑制由服务器功能的切换引起的流量并且缩短处理的中断时间的技术的实施方式的示例。

首先，将对实施方式所基于的背景和本实施方式的概况进行描述。本实施方式的技术应用于其中收集数据并且基于所收集的数据执行作为特定处理的任务的管理系统。管理系统是所谓的分布式文件系统。在分布式文件系统中，不同的服务器共享不同的角色。根据角色，管理系统中的服务器的类型被分为作为接收数据的服务器的数据接收服务器和作为执行任务的服务器的任务处理服务器，并且这些服务器分别执行数据接收功能和任务处理功能。

管理系统用于执行各种任务，例如收集机动车的数据并且分析机动车的操作信息，以及收集和分析设施中的人的移动状态。

管理系统被用在所谓的边缘计算环境中。边缘计算具有如下结构：其中将每个用户终端附近的服务器标识为边缘并且将服务器分布在每个边缘站点处以通过分布式处理提供具有高实时性能的服务。在边缘计算中，对于每个边缘站点，收集在负责边缘站点的区域中生成的流数据，并且处理所收集的数据。图1是将管理系统应用于边缘计算环境的情况的图像图。如图1所示，存在边缘站点和负责边缘站点的服务区域。多个数据接收服务器和多个任务处理服务器共享并执行针对每个边缘站点的处理。在服务区域中，从每个设备例如道路上的机动车和传感器生成作为流数据的大量的数据，并且这些数据经由网络从服务区域中的每个设备被传送至边缘站点。

此处，假定数据的数据量和任务的任务量改变。数据量和任务量根据例如数据源(例如机动车)的移动或事件例如突发事故而变化。因此，难以预先估计数据量和任务量。出于该原因，需要切换管理系统中的服务器的功能。管理系统不根据数据量和任务量来固定数据接收服务器的数目与任务处理服务器的数目的比率，而是切换角色以动态地调整服务器的比率。这样，切换服务器的功能以更实时地分配负载并执行处理。

当将任务处理服务器切换至数据接收服务器时，在要被切换的任务处理服务器中等待处理的任务被重新定位至另一任务处理服务器。当将数据接收服务器切换至任务处理服务器时，保存在要被切换的数据接收服务器中的数据被移动至另一移动目的地的数据接收服务器。在任何时候生成的数据的目的地还会改变DNS服务器的路由使得数据被发送至移动目的地的数据接收服务器。

此处，将对当将数据接收服务器切换至任务处理服务器时发生的问题进行描述。当将数据的数据接收服务器切换至任务处理服务器时，需要将存储在该数据接收服务器中的数据移动至另一数据接收服务器。然而，在那期间，从任务处理服务器的数据读取被中断。图2是示出当切换服务器的功能时中断数据的读取的情况的示例的图。如图2所示，任务处理服务器接收读取中断请求并且中断数据的读取。要被切换的数据接收服务器开始将数据移动至数据的移动目的地的数据接收服务器。任务处理服务器中断数据的读取，直到完成向移动目的地的数据接收服务器的数据移动为止。因此，当切换数据接收服务器时，在数据正在移动的同时发生任务处理服务器的等待时间。作为结果，任务处理服务器的处理时间变得较长。

另外，当为了消除上述等待时间而在切换之前预先移动数据时，存在生成不必要的流量的问题。图3是示出当切换服务器的功能时预先移动数据的情况的示例的图。如图3所示，当预先移动数据时，可以缩短数据读取的中断。然而，由于任务处理服务器即使在移动期间也读取数据，因此即使在执行移动时不读取的额外数据也会被移动，并且生成额外的流量。

因此，在本实施方式中，在尚未读取的未处理数据之中，计算在移动期间读取的数据与在移动完成之后读取的数据(即要移动的数据)之间的数据量比率。图4是示出要读取的数据与要移动的数据之间的关系的图。如图4所示，将在移动期间读取的数据和要移动的数据分开。

将描述计算数据量比率的方法。根据以下等式(1)和等式(2)计算数据量比率，使得在移动期间读取的数据的读取时间和要移动的数据的传输时间可以变得相等。

此处，符号“D

当带宽的传输速度TP

将描述读取时间与传输时间相同的情况。例如，假定未处理数据的数据量D

将描述读取时间和传输时间不相同的情况。例如，假定未处理数据的数据量D

图6是示出当切换服务器的功能时计算数据的数据移动量的情况的示例的图。如图6所示，读取的中断是短暂的，并且没有生成额外的流量。

上面已经描述了获得数据量比率的方法。在以下描述的实施方式中，对于作为数据类型的每个主题执行相同的计算。稍后将在操作的说明中描述主题的细节。

在本实施方式中，通过使用上述方法来实现管理系统中服务器的功能切换。在下文中，将描述本公开内容的实施方式的配置。

图7是示出根据本公开内容的实施方式的管理系统的示意性配置的框图。如图7所示，根据本实施方式的管理系统10包括管理服务器100、多个数据接收服务器200、多个任务处理服务器300、DNS服务器400和代理服务器500。每个服务器经由网络N例如因特网连接。

图8是示出管理系统10的每个服务器的配置的细节的框图。每个服务器经由设置在每个服务器中的通信单元102、202、302、402和502之一进行通信，并且发送和接收各种信息。另外，由于将在稍后描述的操作中描述在每个服务器中执行的每个处理，因此在此处将省略对每个单元的处理的描述。

管理服务器100包括通信单元102、数据任务控制器104、负载控制器106、切换控制器108、任务处理DB(数据库)120、负载信息DB 122和带宽信息DB 124。

由于多个数据接收服务器200在每个服务器中具有相同的配置，因此将一个数据接收服务器200的配置作为示例。数据接收服务器200包括通信单元202、负载响应单元204、数据处理单元206、切换处理单元208和数据DB 220。

由于多个任务处理服务器300在每个服务器中具有相同的配置，因此将一个任务处理服务器300的配置作为示例。任务处理服务器300包括通信单元302、负载响应单元304、任务处理单元306、切换处理单元308和任务DB 320。

DNS服务器400包括通信单元402、路由注册单元404、响应单元406和路由表DB420。

代理服务器500包括通信单元502、确定单元504和路由单元506。

管理服务器100可以由例如图9所示的计算机20实现。计算机20包括中央处理单元(CPU)21、用作临时存储区域的存储器22和非易失性存储单元23。此外，计算机20包括输入/输出设备24、控制从存储介质29读取数据和向存储介质29写入数据的读/写(R/W)单元25以及与网络例如因特网连接的通信接口(I/F)26。CPU 21、存储器22、存储单元23、输入/输出设备24、R/W单元25和通信I/F 26经由总线27彼此连接。

存储单元23可以由硬盘驱动器(HDD)、固态驱动器(SSD)、闪速存储器等实现。用作存储介质的存储单元23存储使计算机20用作管理服务器100的管理程序30。管理程序30包括通信处理32、数据任务控制处理33、负载控制处理34以及切换控制处理35。

CPU 21从存储单元23读出管理程序30，在存储器22中展开(expand)程序，并且顺序地执行管理程序30的处理。CPU 21通过执行通信处理32而操作为图8所示的通信单元102。另外，CPU 21通过执行数据任务控制处理33而操作为图8所示的数据任务控制器104。此外，CPU 21通过执行负载控制处理34而操作为图8所示的负载控制器106。CPU 21通过执行切换控制处理35而操作为图8所示的切换控制器108。此外，CPU 21从信息存储区域39读取信息，并且在存储器22中展开任务处理DB 120、负载信息DB 122和带宽信息DB 124中的每一个。因此，执行管理程序30的计算机20用作管理服务器100。同时，执行程序的CPU 21是硬件。

同时，由管理程序30实现的功能可以很好地由例如半导体集成电路更具体地专用集成电路(ASIC)等实现。

由于数据接收服务器200和任务处理服务器300具有相同的配置，因此这些服务器可以由例如图10所示的计算机40实现。计算机40包括CPU 41、用作临时存储区域的存储器42和非易失性存储单元43。此外，计算机40包括输入/输出设备44、控制从存储介质49读取数据和向存储介质49写入数据的R/W单元45以及与网络例如因特网连接的通信I/F 46。CPU41、存储器42、存储单元43、输入/输出设备44、R/W单元45和通信I/F 46经由总线47彼此连接。

存储单元43可以由HDD、SSD、闪速存储器等实现。作为存储介质的存储单元43存储使计算机40用作任务处理服务器300或数据接收服务器200的处理程序50。处理程序50具有通信处理52、负载响应处理53、主处理处理(main processing process)54和切换处理处理(switching processing process)55。

CPU 41从存储单元43读出处理程序50，在存储器42中展开程序，并且顺序地执行处理程序50的处理。

将描述在数据接收服务器200的情况下的操作。CPU 41通过执行通信处理52而操作为图8所示的通信单元202。此外，CPU 41通过执行负载响应处理53而操作为图8所示的负载响应单元204。CPU 41还通过执行主处理处理54而操作为图8所示的数据处理单元206。CPU 41通过执行切换处理处理55而操作为图8所示的切换处理单元208。此外，CPU 41从信息存储区域59读取信息，并且在存储器42中展开数据DB 220。因此，已经执行处理程序50的计算机40用作数据接收服务器200。同时，执行程序的CPU 41是硬件。此外，将描述在任务处理服务器300的情况下的操作。CPU 41通过执行通信处理52而操作为图8所示的通信单元302。此外，CPU 41通过执行负载响应处理53而操作为图8所示的负载响应单元304。CPU 41还通过执行主处理处理54而操作为图8所示的任务处理单元306。CPU 41通过执行切换处理处理55而操作为图8所示的切换处理单元308。此外，CPU 41从信息存储区域59读取信息，并且在存储器42中展开任务DB 320。因此，已经执行处理程序50的计算机40用作任务处理服务器300。

同时，由处理程序50实现的功能可以很好地由例如半导体集成电路更具体地ASIC等实现。

由于DNS服务器400和代理服务器500可以由一般的DNS服务器和用作代理服务器的服务器来实现，因此将省略对计算机的配置的描述。

接下来，将描述根据本实施方式的管理系统10的操作。首先，将参照图11的序列图来描述作为本实施方式的方法的前提的处理的流程。图11是示出数据处理和任务处理以及周期性处理的流程的序列图。

首先，将参照图11描述数据处理和任务处理。数据的处理和任务的处理是本实施方式中预想的处理，但是不是主要处理，并且因此将以简化的方式进行描述。

代理服务器500接收数据或任务的信息(S10)。代理服务器500的确定单元504确定信息是数据还是任务(S12)。

数据包括目的地地址、源地址、主题和数据实体。主题表示数据的类型并且是其中将由任务读取的数据放在一起的单元。任务读取主题并且执行任务。此外，数据可以与多个主题相关联。同时，目的地地址是代理服务器500的地址，并且源地址是已经发送该数据的设备的地址。

任务包括目的地地址、源地址、任务ID(标识符)和处理任务所需的主题。通过以主题为单位读取数据来执行任务。同时，目的地地址是代理服务器500的地址，并且源地址是已经发送该任务的设备的地址。

当在S12中确定的信息是数据时，代理服务器500通过路由单元506注册或参考(refer to)DNS服务器400(S14)。当数据主题的路由目的地在路由表DB 420中时，获取地址作为目的地。当数据主题的路由目的地不在路由表DB 420中时，路由注册单元404在路由表DB 420中注册路由。对于要注册的数据接收服务器200的地址，例如，可以参考管理服务器100的负载信息DB 122来注册资源存储器使用率低的数据接收服务器200的地址。

如图12所示，路由表DB 420存储作为服务器的地址的地址、服务器的角色以及与任务对应的主题。角色是指示服务器是管理服务器100的“管理”或指示服务器是数据接收服务器200的“数据接收”。

代理服务器500通过路由单元506参考路由表DB 420的地址(S14)，并且将数据发送至通过参考该地址而获得的地址的数据接收服务器200(S16)。数据处理单元206将由数据接收服务器200接收的数据存储在数据DB 220中(S18)。

如图13所示，数据DB 220存储数据所指代的主题、数据的数据ID和数据实体。数据实体是在任务中要处理的任意文件，例如XML或JPG。

当在S12中做出的确定是任务时，代理服务器500使用路由单元506将任务发送至管理服务器100(S20)。通过管理服务器100接收在S20中发送的任务，并且数据任务控制器104确定执行任务的任务处理服务器300以更新任务处理DB 120(S22)。执行任务的任务处理服务器可以参考负载信息DB 122，并且选择具有低存储器使用率的任务处理服务器300。同时，数据任务控制器104可以调度并且确定任务执行定时。

如图14所示，任务处理DB 120存储任务处理服务器300的地址和任务ID。

数据任务控制器104将接收到的任务发送至在任务处理DB 120中的相应地址处的任务处理服务器300(S24)。由任务处理服务器300接收到的任务被存储在任务DB 320中(S26)。

如图15所示，任务DB 320存储任务ID和执行文件。执行文件以压缩形式存储，其中描述了任务的处理内容的执行文件被压缩。

任务处理服务器300以存储在任务DB 320中的顺序执行任务(S28)。当执行任务时，任务处理单元306参考路由到DNS服务器400的数据(S28-1)，并且接收从其中读取数据的数据接收服务器200的地址。任务处理单元306从接收到的数据接收服务器200的地址中读取包括在处理任务所需的主题中的数据(S28-2)，并且执行任务。

此外，在管理系统10中，收集负载信息和带宽信息作为周期性处理。任务处理服务器300和数据接收服务器200将负载信息发送至管理服务器100(S30，S32)。负载信息被存储在负载信息DB 122中(S34)。此外，管理服务器100收集带宽信息(S36，S38)，并且将该信息存储在带宽信息DB 124中(S40)。

如图16所示，负载信息DB 122存储服务器地址、服务器角色、资源例如诸如CPU和存储器、以及资源使用率。角色是“数据接收”或“任务处理”。

如图17所示，带宽信息DB 124存储服务器地址和服务器带宽传输速度(Mbps)。

任务处理服务器300的负载响应单元304和数据接收服务器200的负载响应单元204将它们自己的服务器的负载信息周期性地发送至管理服务器100。

接下来，参照图18的序列图，将描述当切换数据接收服务器200的角色时的处理流程。图18的序列图是用于说明通过根据本公开内容的实施方式的方法将数据接收服务器200切换至任务处理服务器300时的处理流程的序列图。图19是示出根据切换处理的流程的管理系统的配置的图。在图19的配置中，将描述其中通过将数据接收服务器200A作为切换目标将数据移动至数据接收服务器200B的示例。在下面的描述中，将由管理系统10管理的所有数据接收服务器200称为“各个数据接收服务器200”。此外，将要被切换的数据接收服务器200称为“数据接收服务器200A”，并且将数据的移动目的地的数据接收服务器200称为“数据接收服务器200B”。此外，将由管理系统10管理的所有任务处理服务器300称为“各个任务处理服务器300”，并且将从要被切换的数据接收服务器200A读取数据的任务处理服务器300称为“任务处理服务器300”。同时，数据接收服务器200A是执行从设备接收数据的接收功能的第一服务器的示例。任务处理服务器300A是执行处理数据的任务处理功能的第二服务器的示例。数据接收服务器200B是作为数据的移动目的地的第三服务器的示例。

同时，由于以主题为单位执行数据移动量和移动时间的计算，因此组织了数据、主题和任务之间的关系。图20是示出数据、主题和任务之间的关系的示例的图像图。读取一个或更多个主题，并且针对每个主题执行任务。主题包含多个数据。假定在主题中确定了读取数据的顺序。主题是处理单元的示例。

在图18的序列图中，管理服务器100的负载控制器106首先确定在负载信息DB 122中是否存在负载超过预定阈值的任务处理服务器300(S50)。负载可以根据负载信息DB 122的资源使用率来确定。当确定尚未超过阈值时，重复该确定处理。同时，将省略对确定数据接收服务器200上的负载的情况的描述。负载控制器106将移动时间计算请求发送至每个数据接收服务器200(S52)。

在每个数据接收服务器200中，切换处理单元208针对数据DB 220的每个主题根据以上等式(2)计算数据移动量并且根据以上等式(1)计算移动时间(S54)。基于未处理数据的数据量D

每个数据接收服务器200将计算结果发送至管理服务器100(S56)。管理服务器100使切换控制器108确定在数据接收服务器200的计算结果之中具有最短的移动时间的数据接收服务器200作为要被切换的数据接收服务器200A(S58)，并且向要被切换的数据接收服务器200A发送切换请求(S60-1)。另外，将路由目的地改变请求发送至DNS服务器400(S60-2)。该改变请求包括计算结果的主题(topic)、数据接收服务器200A的地址以及移动目的地的数据接收服务器200B的地址。

当数据接收服务器200A通过切换处理单元208A接收切换请求时，切换处理单元208A根据包括在具有最长移动时间的主题中的数据的数据移动量指定移动开始位置(S62)。此处，将描述根据数据移动量指定的移动开始位置。例如，假定主题的未处理数据量是600Mbit，并且主题的数据移动量是300Mbit。假定未处理数据量的细目分类包括10条60MB的数据作为未处理主题数据，每条数据以A、B、C、D、E、F、G、H、I和J的顺序读取。在这种情况下，由于300兆比特的数据移动量是600兆比特的未处理数据量的一半，因此可以将第五个之后的第六个数据F确定为移动开始位置。同时，确定方法仅是示例，并且当可以基于数据移动量确定移动开始位置时可以使用任何确定方法。

数据接收服务器200A的切换处理单元208A开始将数据从指定的移动开始位置移动至数据接收服务器200B(S64)。数据接收服务器200A确定在切换处理单元208A中是否已经完成从主题移动开始位置起的所有数据的移动(S66)。当确定已经完成移动时，处理进行至S70-1。当确定尚未完成移动时，重复该确定，并且等待移动的完成。

在接收到路由目的地改变请求时，DNS服务器400改变计算结果的主题的路由目的地(S68)。具体地，主题的地址从数据接收服务器200A的地址改变为数据接收服务器200B的地址。通过以这种方式改变路由，由代理服务器500从设备接收到的主题的数据的目的地变成为数据接收服务器200B。

当已经完成数据移动时，数据接收服务器200A使切换处理单元208A将读取目的地切换请求发送至任务处理服务器300A(S70-1)。另外，向管理服务器100发送移动完成通知(S70-2)。同时，读取目的地切换请求可以包括数据移动开始位置。通过包括移动开始位置，任务处理服务器300A可以检查是否可以读取移动开始位置之前的数据。当不能够读取至移动开始位置的数据时，从数据接收服务器200A读取可能无法读取的数据，并且从移动开始位置起，从数据接收服务器200B读取数据。这使得可以防止由于数据丢失引起的不一致。

当任务处理服务器300A接收到读取目的地切换请求时，切换处理单元308A中断读取(S72-1)并且向DNS服务器400查询路由(S72-2)。切换处理单元308A根据查询结果改变数据读取目的地，并且重新开始数据读取(S74)。切换处理单元308A向管理服务器100发送读取重新开始通知(S76)。

在从数据接收服务器200A接收到移动完成通知并且从任务处理服务器300A接收到读取重新开始通知后，管理服务器100向数据接收服务器200A通知任务分配开始请求(S78)。在接收到任务分配开始请求后，数据接收服务器200A将服务器的功能切换至任务处理(S80)。

如上所述，根据本实施方式的管理系统基于传输速率和未处理数据量来计算数据移动量和移动时间。根据数据移动量来指定数据移动开始位置。出于该原因，可以抑制伴随着服务器的功能的切换而产生的流量并且缩短处理的中断时间。

此外，例如，在上述实施方式中，已经对数据接收服务器200计算数据移动量和移动时间的情况作为示例进行了描述，但是本公开内容不限于此。例如，可以从数据接收服务器200向管理服务器100发送必要的信息，并且管理服务器100可以计算数据移动量和移动时间。而且，可以从存储介质读取各种程序。