数据处理方法及装置

技术领域

本申请实施例涉及数据通信技术领域，尤其涉及数据处理方法及装置。

背景技术

随着互联网的发展，各类网络应用都需要建立数据传输。然而互联网的传输网络并非总是可靠，在传输过程中，由于种种不稳定性会导致数据丢失的现象。

现有技术中解决数据丢包问题是由接收端确认出现丢包，向发送端请求重传数据，发送端根据请求重传整个数据包给接收端，导致内存消耗大、传输效率低。

发明内容

本申请实施例提供一种数据处理方法及装置，以根据实现建立的重传分析模型预判当前传送的数据是否需要重传，降低来回发送重传请求造成的时延。

在第一方面，本申请实施例提供了数据处理方法，包括：

根据数据传输通道的历史传输特征以及在传输通道对应历史传输特征时，数据经过该数据传输通道传输的历史数据特征，构建重传分析模型；

建立与接收端的当前数据传输通道，获取该当前数据传输通道的传输特征；

获取准备通过所述当前数据传输通道发送数据的数据特征；

将所述传输特征和数据特征输入重传分析模型，以输出重传概率；

当重传概率达到预设条件时，在发送该数据后，发送第二次该数据。

进一步的，还包括：

当重传概率未达到预设条件时，发送数据至接收端，并当接到接收端的重传请求时，基于所述重传请求再次发送所述数据至接收端。

进一步的，所述数据包括若干连续的数据帧，每一个数据帧均带有特征码和识别码；每一次发送数据至接收端时，还同时发送与该数据对应的系列随机码，所述系列随机码由多个与数据中的数据帧数量一致的特征码排列组成，所述系列随机码中的特征码依照所述数据中全部数据帧的特征码顺序一一对应排列。

进一步的，接收端发送重传请求之前，包括：

提取数据中的全部特征码，并将特征码按照对应数据帧的排列顺序排列组成系列特征码；

获取系列特征码相比系列随机码之间的差异位置，以确定所述数据中所丢失的数据帧；所述重传请求包括丢失数据帧的识别码。

进一步的，每隔预设时间间隔重新获取该时间间隔内的历史传输特征和历史数据特征，以对重传分析模型进行定期更新。

进一步的，当重传概率未达到预设条件，且接到来自接收端反馈的重传请求时，忽略所述重传请求。

进一步的，所述数据包括若干连续的数据帧，每一个数据帧均带有特征码和识别码；每一次发送数据至接收端时，还同时发送与该数据对应的系列随机码，所述系列随机码由多个与数据中的数据帧数量一致的特征码排列组成，所述系列随机码中的特征码依照所述数据中全部数据帧的特征码顺序一一对应排列；

接收来自接收端反馈的第二次重传请求，所述第二次重传请求包含系列随机码与系列特征码之间的差异度，所述系列特征码通过提取数据中的全部特征码，并将特征码按照对应数据帧的排列顺序排列组成；

当所述差异度大于差异阈值时，重新发送数据至接收到。

在第二方面，本申请实施例提供了一种数据处理装置，包括：

模型构建模块：用于根据数据传输通道的历史传输特征以及在传输通道对应历史传输特征时，数据经过该数据传输通道传输的历史数据特征，构建重传分析模型；

通道建立模块：用于建立与接收端的当前数据传输通道，获取该当前数据传输通道的传输特征；

特征获取模块：用于获取准备通过所述当前数据传输通道发送数据的数据特征；

重传分析模块：用于将所述传输特征和数据特征输入重传分析模型，以输出重传概率；

概率比对模块：用于当重传概率达到预设条件时，在发送该数据后，发送第二次该数据。

进一步的，还包括如下模块：

重传请求模块：用于当重传概率未达到预设条件时，发送数据至接收端，并当接到接收端的重传请求时，基于所述重传请求再次发送所述数据至接收端。

进一步的，所述数据包括若干连续的数据帧，每一个数据帧均带有特征码和识别码；每一次发送数据至接收端时，还同时发送与该数据对应的系列随机码，所述系列随机码由多个与数据中的数据帧数量一致的特征码排列组成，所述系列随机码中的特征码依照所述数据中全部数据帧的特征码顺序一一对应排列。

进一步的，接收端发送重传请求之前，包括：

提取数据中的全部特征码，并将特征码按照对应数据帧的排列顺序排列组成系列特征码；

获取系列特征码相比系列随机码之间的差异位置，以确定所述数据中所丢失的数据帧；所述重传请求包括丢失数据帧的识别码。

进一步的，每隔预设时间间隔重新获取该时间间隔内的历史传输特征和历史数据特征，以对重传分析模型进行定期更新。

进一步的，当重传概率未达到预设条件，且接到来自接收端反馈的重传请求时，忽略所述重传请求。

进一步的，所述数据包括若干连续的数据帧，每一个数据帧均带有特征码和识别码；每一次发送数据至接收端时，还同时发送与该数据对应的系列随机码，所述系列随机码由多个与数据中的数据帧数量一致的特征码排列组成，所述系列随机码中的特征码依照所述数据中全部数据帧的特征码顺序一一对应排列；

所述数据处理装置还包括：

二次重传模块：用于接收来自接收端反馈的第二次重传请求；所述第二次重传请求包含系列随机码与系列特征码之间的差异度，所述系列特征码通过提取数据中的全部特征码，并将特征码按照对应数据帧的排列顺序排列组成；

差异比对模块：用于当所述差异度大于差异阈值时，重新发送数据至接收端。

在第三方面，本申请实施例提供了一种计算机设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的数据处理方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的数据处理方法。

本申请实施例通过根据历史传输特征和历史数据特征构建重传分析模型，并基于该重传分析模型分析数据经过当前数据传输通道进行数据传输时需要重传的概率，当重传概率达到预设条件时，直接发送两次该数据，省去了由接收端部分检测到数据丢失时发送重传请求给发送端的时间，提高了通信信道的利用率，降低了数据传输的时延。

附图说明

图1是本申请实施例提供的一种数据处理方法的流程图；

图2是本申请实施例提供的另一种数据处理方法的流程图；

图3是本申请实施例提供的另一种数据处理方法的流程图；

图4是本申请实施例提供的一种数据处理装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请实施例提供一种数据处理方法和装置，其通过根据历史传输特征和历史数据特征构建重传分析模型，并基于该重传分析模型分析数据经过当前数据传输通道进行数据传输时需要重传的概率，当重传概率达到预设条件时，直接发送两次该数据，省去了由接收端部分检测到数据丢失时发送重传请求给发送端的时间，提高了通信信道的利用率，降低了数据传输的时延。

实施例一

图1给出了本申请实施例提供的的流程图，本申请实施例提供的数据处理方法可以由数据处理装置来执行，该数据处理装置可以通过硬件和/或软件的方式实现，并集成在计算机设备中。

本发明实施例提供的数据处理方法可以应用在发送端与接收端之间。发送端与接收端之间通过通信网络进行通信。该网络可以为广域网、局域网。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以提供云服务器、云数据库、云计算、云通信、大数据库和人工智能平台等基础云计算服务器的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等智能设备。发送端与接收端之间的连接可以通过有线网络连接也可以通过无线网络通信，可以直接通信或者间接通信。作为应用场景，例如，发送端可以是终端设备或者服务器，当发送端是终端设备时，接收端为服务器，当发送端为服务器时，接收到为终端设备。例如，用户通过终端设备上安装的通讯类软件的客户端，与其他用户进行数据传输时，客户端将用户输入的数据发送给服务器，此时，终端设备为发送端，服务器为接收端。在另一种场景中，用户通过终端设备上安装的社交软件进行视频观看时，服务器将视频发送给用户的客户端，此时发送端为接收端，服务器为发送端。

下述以数据处理装置执行数据处理方法为例进行描述。参考图1，该基于智能设备的电缆监测方法包括：

S101：根据数据传输通道的历史传输特征以及在传输通道对应历史传输特征时，数据经过该数据传输通道传输的历史数据特征，构建重传分析模型。

在本申请实施例中，传输特征主要包括数据传输通道的网络特征、网络信号强度、通道编码等。数据特征主要包括数据类型、数据长度、编码方式等。已一个时间段为基准，选择在该时间段内，足够数量的数据传输通道以及在同一数据传输通道上所传输的足够数量的数据作为样本容量。通过获取历史传输特征和历史数据特征对重传分析模型进行训练，所训练得到的重传分析模型可以涵盖多种特征，能够应对不同传输特征的数据传输通道以及不同数据特征的数据的分析需求。

S102：建立与接收端的当前数据传输通道，获取该当前数据传输通道的传输特征。

在本步骤中，由发送端发送数据给接收端。发送端与接收端建立连接，也即是建立该发送端与接收端之间的当前数据传输通道，根据该数据传输通道的特点，获取传输特征。

S103：获取准备通过所述当前数据传输通道发送数据的数据特征。

在建立好数据传输通道之后，由发送端发送数据给接收端，可以获取数据的数据特征。

S104：将所述传输特征和数据特征输入重传分析模型，以输出重传概率。

将当前的传输特征和数据特征输入至事先构建的重传分析模型，该重传分析模型输出重传概率。

S105：当重传概率达到预设条件时，在发送该数据后，发送第二次该数据。

本发明实施例的预设条件通常是预设的一个数值，当重传概率达到该数值时，表明重传可能性大，为了避免等待接收端接收到数据再比对验证之后确认数据丢包再发送重传请求这一过程所需时间，提前先连续传送两次数据，如此可以避免等待接收端发送重传请求的时间，进而降低数据传输的时延，提高通信信道的利用率。

实施例二

如图2所示，本实施例提供一种数据处理方法，包括：

S201：根据数据传输通道的历史传输特征以及在传输通道对应历史传输特征时，数据经过该数据传输通道传输的历史数据特征，构建重传分析模型。

S202：建立与接收端的当前数据传输通道，获取该当前数据传输通道的传输特征。

S203：获取准备通过所述当前数据传输通道发送数据的数据特征；

S204：将所述传输特征和数据特征输入重传分析模型，以输出重传概率；

S205：判断重传概率是否达到预设条件，当重传概率达到预设条件时，在发送该数据后，发送第二次该数据；当重传概率未达到预设条件时，发送数据至接收端，并当接到接收端的重传请求时，基于所述重传请求再次发送所述数据至接收端。

在本实施例中，数据包括若干连续的数据帧，每一个数据帧均带有特征码和识别码；每一次发送数据至接收端时，还同时发送与该数据对应的系列随机码，所述系列随机码由多个与数据中的数据帧数量一致的特征码排列组成，所述系列随机码中的特征码依照所述数据中全部数据帧的特征码顺序一一对应排列。其中系列随机码例如为ABCDE，所示例性的具有5个特征码，因此可以理解的是，数据具有五个数据帧，而每一个数据帧例如为XXXX-Y，其中Y表示特征码，则数据为：XXXX-A XXXX-B XXXX-C XXXX-D XXXX-E，系列随机码的ABCDE与数据帧的特征码一一对应排列。

基于本发明实施例数据的特点，在接收端发送重传请求之前，接收到执行如下步骤：

提取数据中的全部特征码，并将特征码按照对应数据帧的排列顺序排列组成系列特征码。

获取系列特征码相比系列随机码之间的差异位置，以确定所述数据中所丢失的数据帧；所述重传请求包括丢失数据帧的识别码。

同样以上述举例示例进行描述，提取数据中的全部特征码，也即是提取XXXX-AXXXX-B XXXX-C XXXX-D XXXX-E中的“ABCDE”，比对“ABCDE”与系列随机码是否一致。当不一致时，由于特征码均是按顺序一一对应排列，能够快速反应所缺失的数据帧。例如提取的数据的特征码为ACDE，系列随机码为ABCDE，比对两者的差异位置，可发现排序第二的位置特征码缺失，也即是该特征码对应的数据帧确实，则发送重传请求时，也即发送该数据帧的识别码至发送端，以使发送端发送该数据帧至接收端，而不用再把全部数据重新上传，避免增大网络传输压力。

作为本实施例优选的实施方式，每隔预设时间间隔重新获取该时间间隔内的历史传输特征和历史数据特征，以对重传分析模型进行定期更新。通过定期对重传分析模型进行更新和修炼，可以提高重传分析模型的准确率和适应性。

实施例三

参见图3，本发明实施例还提供另一种数据处理方法，包括如下方案：

S301：根据数据传输通道的历史传输特征以及在传输通道对应历史传输特征时，数据经过该数据传输通道传输的历史数据特征，构建重传分析模型。

S302：建立与接收端的当前数据传输通道，获取该当前数据传输通道的传输特征。

S303：获取准备通过所述当前数据传输通道发送数据的数据特征；

S304：将所述传输特征和数据特征输入重传分析模型，以输出重传概率；

S305：判断重传概率是否达到预设条件，当重传概率达到预设条件时，在发送该数据后，发送第二次该数据，当重传概率未达到预设条件，且接到来自接收端反馈的重传请求时，忽略所述重传请求。

在本实施例与实施例二的区别在于，当根据重传概率判断到未达到预设条件时，理论上发送端并不等待接收端的重传请求，因为基于重传概率低，发送端理论上认为不需要重传，或者是接收端误发送的重传请求，因此作忽略处理。

但是进一步的，数据包括若干连续的数据帧，每一个数据帧均带有特征码和识别码；每一次发送数据至接收端时，还同时发送与该数据对应的系列随机码，所述系列随机码由多个与数据中的数据帧数量一致的特征码排列组成，所述系列随机码中的特征码依照所述数据中全部数据帧的特征码顺序一一对应排列。

当接收端第一次发送的重传请求被发送端所忽略，而接收端坚持认为是需要重传的情况，则发送第二次重传请求。在发送端，接收来自接收端反馈的第二次重传请求，所述第二次重传请求包含系列随机码与系列特征码之间的差异度，所述系列特征码通过提取数据中的全部特征码，并将特征码按照对应数据帧的排列顺序排列组成；发送端进一步比对差异度与事先设定的差异阈值，当所述差异度大于差异阈值时，重新发送数据至接收端。在差异度低于差异阈值时，发送端认为接收端具有对数据进行恢复的能力，为了避免占用通信信道，提高信道利用率，因此默认为不再重传数据。

例如，发送端所发送的数据为：XXXX-A XXXX-B XXXX-C XXXX-D XXXX-E，而接收端接收到的数据为：XXXX-A XXXX-C XXXX-D XXXX-E。提取接收端接收到的数据的特征码为ACDE，而系列随机码为ABCDE，比对ACDE和ABCDE之间的差异度，可见差异为缺失特征码B所对应的数据帧，且可以计算到缺失率为五分之一，也即差异度为五分之一。

实施例四

如图4所示，本实施例还提供一种数据处理装置，包括模型构建模块401、通道建立模块402、特征获取模块403、重传分析模块404和概率比对模块405。模型构建模块401用于根据数据传输通道的历史传输特征以及在传输通道对应历史传输特征时，数据经过该数据传输通道传输的历史数据特征，构建重传分析模型；通道建立模块402用于建立与接收端的当前数据传输通道，获取该当前数据传输通道的传输特征；特征获取模块403用于获取准备通过所述当前数据传输通道发送数据的数据特征；重传分析模块404用于将所述传输特征和数据特征输入重传分析模型，以输出重传概率；概率比对模块405用于当重传概率达到预设条件时，在发送该数据后，发送第二次该数据。

作为优选的，还包括重传请求模块：用于当重传概率未达到预设条件时，发送数据至接收端，并当接到接收端的重传请求时，基于所述重传请求再次发送所述数据至接收端。

更进一步的优选方案，所述数据包括若干连续的数据帧，每一个数据帧均带有特征码和识别码；每一次发送数据至接收端时，还同时发送与该数据对应的系列随机码，所述系列随机码由多个与数据中的数据帧数量一致的特征码排列组成，所述系列随机码中的特征码依照所述数据中全部数据帧的特征码顺序一一对应排列。因此，接收端发送重传请求之前可以先执行以下操作：

提取数据中的全部特征码，并将特征码按照对应数据帧的排列顺序排列组成系列特征码；获取系列特征码相比系列随机码之间的差异位置，以确定所述数据中所丢失的数据帧；所述重传请求包括丢失数据帧的识别码。

现有的，本发明实施例提供的数据处理装置与数据处理方法对应，每隔预设时间间隔重新获取该时间间隔内的历史传输特征和历史数据特征，以对重传分析模型进行定期更新。

在另一个实施方面，当重传概率未达到预设条件，且接到来自接收端反馈的重传请求时，忽略所述重传请求。

更详细的，数据包括若干连续的数据帧，每一个数据帧均带有特征码和识别码；每一次发送数据至接收端时，还同时发送与该数据对应的系列随机码，所述系列随机码由多个与数据中的数据帧数量一致的特征码排列组成，所述系列随机码中的特征码依照所述数据中全部数据帧的特征码顺序一一对应排列。

基于此，所述数据处理装置还包括：二次重传模块，用于接收来自接收端反馈的第二次重传请求；所述第二次重传请求包含系列随机码与系列特征码之间的差异度，所述系列特征码通过提取数据中的全部特征码，并将特征码按照对应数据帧的排列顺序排列组成；差异比对模块，用于当所述差异度大于差异阈值时，重新发送数据至接收端。

实施例五

本发明实施例还提供一种计算机设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的数据处理方法，该数据处理方法包括根据数据传输通道的历史传输特征以及在传输通道对应历史传输特征时，数据经过该数据传输通道传输的历史数据特征，构建重传分析模型；建立与接收端的当前数据传输通道，获取该当前数据传输通道的传输特征；获取准备通过所述当前数据传输通道发送数据的数据特征；将所述传输特征和数据特征输入重传分析模型，以输出重传概率；当重传概率达到预设条件时，在发送该数据后，发送第二次该数据。

实施例六

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的数据处理方法，该数据处理方法包括：根据数据传输通道的历史传输特征以及在传输通道对应历史传输特征时，数据经过该数据传输通道传输的历史数据特征，构建重传分析模型；建立与接收端的当前数据传输通道，获取该当前数据传输通道的传输特征；获取准备通过所述当前数据传输通道发送数据的数据特征；将所述传输特征和数据特征输入重传分析模型，以输出重传概率；当重传概率达到预设条件时，在发送该数据后，发送第二次该数据。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的数据处理方法，还可以执行本申请任意实施例所提供的数据重传中的相关操作。

上述实施例中提供的数据处理装置、设备及存储介质可执行本申请任意实施例所提供的数据处理方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的数据处理方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。