基于自适应阈值小波变换的渐进式图像传输方法及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于自适应阈值小波变换的渐进式图像传输方法及设备。

背景技术

北斗卫星导航系统具有良好的定位性能和短报文传输能力，在短报文服务的区域通信能力已经可以达到每次14000比特，北斗卫星导航系统已经广泛应用于测绘、水文水利、减灾、海事、交通、电力巡检、森林防火、公共安全和地质等众多领域。

用带有北斗高精度定位功能的无人机来进行自主电力巡检，具有很多人工电力巡检所没有的优势。目前，基于北斗进行电力巡检的过程中，无人机需要到达相应的巡检地点，通过图像传感器采集图像，然后将采集的图像传输到中心机房进行显示。

然而，目前在图像的传输过程中，存在图像传输效率低的问题。因此，亟需提供一种能够提高图像传输效率的传输方案。

发明内容

本申请提供一种基于自适应阈值小波变换的渐进式图像传输方法及设备，用以解决图像传输效率低的技术问题。

第一方面，本申请提供一种基于自适应阈值小波变换的渐进式图像传输方法，应用于发送端设备，所述方法包括：

获取目标区域对应的电力巡检图像；

对所述电力巡检图像进行自适应阈值小波变换，得到所述电力巡检图像的小波系数矩阵；

对所述小波系数矩阵进行多级树集合分裂编码处理，得到所述电力巡检图像对应的向量码流，所述向量码流中包括重要性从大到小排列的多个码流元素；

对所述向量码流中的所述多个码流元素进行分包处理，得到所述电力巡检图像对应的重要性从大到小排列的多个数据包，所述数据包中包括数据包号和码流元素；

根据所述多个数据包的顺序，依次向接收端设备发送所述多个数据包。

在一种可能的实施方式中，所述电力巡检图像中包括目标对像和背景；所述对所述电力巡检图像进行自适应阈值小波变换，得到所述电力巡检图像的小波系数矩阵，包括：

根据所述目标对象和所述背景各自的指标信息，对所述电力巡检图像进行图像预处理，得到所述电力巡检图像对应的图像矩阵；

对所述图像矩阵进行多次二维离散小波变换处理，得到所述电力巡检图像对应的小波变换矩阵；

对所述小波变换矩阵进行自适应阈值滤波处理，得到所述小波系数矩阵。

在一种可能的实施方式中，所述根据所述目标对象和所述背景各自的指标信息，对所述电力巡检图像进行图像预处理，得到所述电力巡检图像对应的图像矩阵，包括：

根据所述目标对象和所述背景各自的指标信息，确定所述目标对象和所述背景各自的光亮度；

根据所述目标对象和所述背景各自的光亮度，确定所述电力巡检图像的红色通道权值、绿色通道权值和蓝色通道权值；

根据所述红色通道权值、所述绿色通道权值和所述蓝色通道权值，对所述电力巡检图像中的各像素点进行像素值转换处理，得到所述电力巡检图像对应的灰度图像；

对所述灰度图像进行线性插值处理，得到所述电力巡检图像对应的图像矩阵。

在一种可能的实施方式中，所述对所述小波变换矩阵进行自适应阈值滤波处理，得到所述小波系数矩阵，包括：

根据噪声矩阵对所述小波变换矩阵进行噪声处理，得到噪声小波变换矩阵；

对所述噪声小波变换矩阵的高频子带进行中值估计处理，得到第一参数；

根据所述噪声小波变换矩阵各子带的元素大小、尺寸大小和所述第一参数，得到第二参数；

根据所述第一参数和所述第二参数，确定各所述子带的自适应阈值；

根据所述自适应阈值对所述小波变换矩阵进行自适应阈值滤波处理，得到所述小波系数矩阵。

在一种可能的实施方式中，所述对所述向量码流中的所述多个码流元素进行分包处理，得到所述电力巡检图像对应的重要性从大到小排列的多个数据包，包括：

确定所述发送端设备和所述接收端设备之间的单次最大传输比特数，以及单个数据包的最大比特数；

根据所述单次最大传输比特数，以及所述单个数据包的最大比特数，确定所述向量码流的分包数量；

根据所述分包数量、所述单个数据包的最大比特数和所述多个码流元素的顺序，对所述向量码流进行分包处理，得到重要性从大到小排列的所述多个数据包。

第二方面，本申请提供一种基于自适应阈值小波变换的渐进式图像传输方法，应用于接收端设备，所述方法包括：

依次接收发送端设备发送的多个数据包，所述多个数据包中包括数据包号和码流元素；

根据所述数据包号对所述多个数据包进行多级树集合分裂解码处理，得到小波系数矩阵；

对所述小波系数矩阵进行小波逆变换处理，得到电力巡检图像。

在一种可能的实施方式中，所述根据所述数据包号对所述多个数据包进行多级树集合分裂解码处理，得到小波系数矩阵，包括：

针对所述多个数据包中的任意数据包，对所述数据包中的码流元素进行多级树集合分裂解码处理，得到解码后的码流元素；

根据所述数据包号确定所述多个数据包的排列顺序；

根据所述多个数据包的排列顺序，以及各所述数据包对应的解码后的码流元素，得到所述小波系数矩阵。

在一种可能的实施方式中，所述方法还包括：

将所述电力巡检图像输入至图像分辨率增强模型，得到所述图像分辨率增强模型输出的增强电力巡检图像，其中，所述增强电力巡检图像的分辨率高于所述电力巡检图像的分辨率；

显示所述增强电力巡检图像；

其中，所述图像分辨率增强模型是通过多组训练样本训练得到的，任意训练样本中包括一张样本图像和所述样本图像对应的样本增强图像，所述样本增强图像的分辨率高于所述样本图像的分辨率。

第三方面，本申请提供一种基于自适应阈值小波变换的装置，应用于发送端设备，所述装置包括：

获取模块，用于获取目标区域对应的电力巡检图像；

变换模块，用于对所述电力巡检图像进行自适应阈值小波变换，得到所述电力巡检图像的小波系数矩阵；

编码模块，用于对所述小波系数矩阵进行多级树集合分裂编码处理，得到所述电力巡检图像对应的向量码流，所述向量码流中包括重要性从大到小排列的多个码流元素；

处理模块，用于对所述向量码流中的所述多个码流元素进行分包处理，得到所述电力巡检图像对应的重要性从大到小排列的多个数据包，所述数据包中包括数据包号和码流元素；

发送模块，用于根据所述多个数据包的顺序，依次向接收端设备发送所述多个数据包。

在一种可能的实施方式中，所述变换模块具体用于：

根据所述目标对象和所述背景各自的指标信息，对所述电力巡检图像进行图像预处理，得到所述电力巡检图像对应的图像矩阵；

对所述图像矩阵进行多次二维离散小波变换处理，得到所述电力巡检图像对应的小波变换矩阵；

对所述小波变换矩阵进行自适应阈值滤波处理，得到所述小波系数矩阵。

在一种可能的实施方式中，所述变换模块具体用于：

根据所述目标对象和所述背景各自的指标信息，确定所述目标对象和所述背景各自的光亮度；

根据所述目标对象和所述背景各自的光亮度，确定所述电力巡检图像的红色通道权值、绿色通道权值和蓝色通道权值；

根据所述红色通道权值、所述绿色通道权值和所述蓝色通道权值，对所述电力巡检图像中的各像素点进行像素值转换处理，得到所述电力巡检图像对应的灰度图像；

对所述灰度图像进行线性插值处理，得到所述电力巡检图像对应的图像矩阵。

在一种可能的实施方式中，所述变换模块具体用于：

根据噪声矩阵对所述小波变换矩阵进行噪声处理，得到噪声小波变换矩阵；

对所述噪声小波变换矩阵的高频子带进行中值估计处理，得到第一参数；

根据所述噪声小波变换矩阵各子带的元素大小、尺寸大小和所述第一参数，得到第二参数；

根据所述第一参数和所述第二参数，确定自适应阈值；

根据所述自适应阈值对所述小波变换矩阵进行自适应阈值滤波处理，得到所述小波系数矩阵。

在一种可能的实施方式中，所述处理模块具体用于：

确定所述发送端设备和所述接收端设备之间的单次最大传输比特数，以及单个数据包的最大比特数；

根据所述单次最大传输比特数，以及所述单个数据包的最大比特数，确定所述向量码流的分包数量；

根据所述分包数量、所述单个数据包的最大比特数和所述多个码流元素的顺序，对所述向量码流进行分包处理，得到重要性从大到小排列的所述多个数据包。

第四方面，本申请提供一种基于自适应阈值小波变换的装置，应用于接收端设备，所述装置包括：

接收模块，用于依次接收发送端设备发送的多个数据包，所述多个数据包中包括数据包号和码流元素；

解码模块，用于根据所述数据包号对所述多个数据包进行多级树集合分裂解码处理，得到小波系数矩阵；

处理模块，用于对所述小波系数矩阵进行小波逆变换处理，得到电力巡检图像。

在一种可能的实施方式中，所述解码模块具体用于：

针对所述多个数据包中的任意数据包，对所述数据包中的码流元素进行多级树集合分裂解码处理，得到解码后的码流元素；

根据所述数据包号确定所述多个数据包的排列顺序；

根据所述多个数据包的排列顺序，以及各所述数据包对应的解码后的码流元素，得到所述小波系数矩阵。

在一种可能的实施方式中，所述处理模块还用于：

将所述电力巡检图像输入至图像分辨率增强模型，得到所述图像分辨率增强模型输出的增强电力巡检图像，其中，所述增强电力巡检图像的分辨率高于所述电力巡检图像的分辨率；

显示所述增强电力巡检图像；

其中，所述图像分辨率增强模型是通过多组训练样本训练得到的，任意训练样本中包括一张样本图像和所述样本图像对应的样本增强图像，所述样本增强图像的分辨率高于所述样本图像的分辨率。

第五方面，本申请提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面或第二方面任一项所述的基于自适应阈值小波变换的渐进式图像传输方法。

第六方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第二方面任一项所述的基于自适应阈值小波变换的渐进式图像传输方法。

第七方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面或第二方面任一项所述的基于自适应阈值小波变换的渐进式图像传输方法。

本申请提供的基于自适应阈值小波变换的渐进式图像传输方法及设备，首先获取目标区域对应的电力巡检图像，然后对电力巡检图像进行自适应阈值小波变换，得到电力巡检图像的小波系数矩阵，并对小波系数矩阵进行多级树集合分裂编码处理，得到电力巡检图像对应的向量码流，向量码流中包括重要性从大到小排列的多个码流元素，实现了图像信息重要性从大到小的排列；然后，对向量码流中的多个码流元素进行分包处理，得到电力巡检图像对应的重要性从大到小排列的多个数据包，数据包中包括数据包号和码流元素，并根据多个数据包的顺序，依次向接收端设备发送多个数据包。由于多个数据包的重要性从大到小排列，因此能够实现重要的数据包优先传输，便于接收端设备渐进式接收数据包，优先接收重要的数据包后有助于还原电力巡检图像，而无需传输所有的数据包后才能够还原电力巡检图像，从而能够提高图像传输的效率。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的电力巡检场景示意图；

图2为本申请实施例提供的基于自适应阈值小波变换的渐进式图像传输方法的流程示意图；

图3为本申请实施例提供的得到电力巡检图像的小波系数矩阵的流程示意图；

图4为本申请实施例提供的二维离散小波变换示意图；

图5为本申请实施例提供的发送端设备发送电力巡检图像的流程示意图；

图6为本申请实施例提供的基于自适应阈值小波变换的渐进式图像传输方法的流程示意图；

图7为本申请实施例提供的图像分辨率增强模型的结构示意图；

图8为本申请实施例提供的接收端设备接收电力巡检图像的流程示意图；

图9为本申请实施例提供的基于自适应阈值小波变换的渐进式图像传输装置的结构示意图一；

图10为本申请实施例提供的基于自适应阈值小波变换的渐进式图像传输装置的结构示意图二；

图11为本申请实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。

北斗卫星导航系统是一种与其他卫星导航系统兼容共用的全球卫星导航系统，具有较好的定位性能和短报文传输能力。其中，短报文服务的区域通信能力已经可以达到每次14000比特，全球通信能力可以达到每次560比特，北斗卫星导航系统已广泛应用于测绘、水文水利、减灾、海事、交通、电力巡检、森林防火、公共安全和地质等众多领域。

用带有北斗高精度定位功能的无人机来进行自主电力巡检，具有很多人工电力巡检所没有的优势，基于北斗进行电力巡检的过程例如可以结合图1进行理解。

图1为本申请实施例提供的电力巡检场景示意图，如图1所示，包括图像传感器11、无人机12、卫星13、卫星14、地面控制站15、北斗接收站16和中心机房17。

图像传感器11设置在无人机12上，无人机12可以携带着图像传感器11到达相应的巡检地点(例如在图1中是包括杆塔的区域)，然后通过图像传感器11采集图像，采集到的图像通过无人机12发送给卫星13，由卫星13转发给地面控制站15，地面控制站15转发给卫星14，卫星14转发给北斗接收站16，最后由北斗接收站16发送给中心机房17进行显示。

在上述图像传输过程中，目前主要是将采集到的图像分成一个个的数据包，然后将数据包发送到中心机房，由中心机房接收数据包，最后根据接收到的数据包还原成图像的。然而，在目前的图像传输过程中，需要将图像对应的各个数据包均接收到才能够较好的还原图像，从而基于图像的细节进行电力巡检，图像传输的效率较低。

基于此，本申请实施例提供一种基于自适应阈值小波变换的渐进式图像传输方法，以提高图像传输的效率。其中，无人机作为发送端到达相应的巡检地点通过图像传感器采集图像，采集的图像首先需要进行图像预处理，然后对图像数据采用优化的自适应阈值小波变换和多级树集合分裂(set partitioning in hierarchical trees，spiht)编码来判断图像信息的重要性从而有效压缩数据。接着根据设定好的数据包形式进行数据分包操作，将处理好的数据送至北斗通信模块，北斗通信模块将数据包调制发送。数据包中间通过地面控制站接收转发给其他北斗卫星，然后再发至地面接收中心，接收中心每收到一包并校验无误后数就可以开始解码，并渐进式还原图像，若校验错误则需要重传，采用确认重传机制。每次通讯还原的图像通过深度残差网络(SRResNet)训练出的模型对图像进行图像超分辨率重建，增强图像细节。整体传输过程中接收端得到的图像从模糊到清晰，在模糊的时候就可以发现一些大尺度的缺陷问题，随着传输进行，图像越来越清晰可以观察图片的纹理细节。传输过程中若解码的图像显示出来已经达到一定清晰度，可选择中断传输过程。

下面基于图1示例的应用场景，结合图2对本申请实施例的方案进行介绍。

图2为本申请实施例提供的基于自适应阈值小波变换的渐进式图像传输方法的流程示意图，该方法应用于发送端设备，如图2所示，包括：

S21，获取目标区域对应的电力巡检图像。

在电力巡检场景中，被巡检的区域即为目标区域，例如可以包括杆塔的区域。由于部分杆塔特殊的地理位置，电力巡检时具备一定危险性，因此可以使用巡检无人机进行巡检。本申请实施例中，发送端设备即可为无人机。在下述实施例中，均以发送端设备为无人机为例进行介绍。

无人机到达目标区域后拍摄得到的图像即为电力巡检图像。可选的，在电力巡检图像中包括目标对象和背景，目标对象为待巡检的对象，在电力巡检场景中例如可以为杆塔；而背景为图像中除目标对象外的对象，例如可以包括树木、天空等组成的背景。

S22，对电力巡检图像进行自适应阈值小波变换，得到电力巡检图像的小波系数矩阵。

在得到电力巡检图像后，需要应用自适应阈值小波变换，在二维小波变换的过程中，使用自适应的阈值对每个子带进行筛选，完成小波系数矩阵的改变，使得图像得到压缩，并适于传输。其中，通过小波变换对电力巡检图像进行处理，能够对图像信息进行分解，避免快速傅里叶变换(Fast Fourier Transform，FFT)栅栏效应和离散余弦变换(DiscreteCosine Transform，dct)变换的块效应。而通过自适应阈值的筛选，可以有效集中小波系数矩阵的分布概率，方便下一步编码。

下面结合图3对自适应阈值小波变换的处理过程进行介绍。

图3为本申请实施例提供的得到电力巡检图像的小波系数矩阵的流程示意图，如图3所示，包括：

S31，根据目标对象和背景各自的指标信息，对电力巡检图像进行图像预处理，得到电力巡检图像对应的图像矩阵。

对电力巡检图像进行图像预处理的过程中，首先根据目标对象和背景各自的指标信息，确定目标对象和背景各自的光亮度，其中指标信息即目标对象和背景各自不同的颜色。以目标对象为杆塔、背景为树木为例，杆塔例如可以为灰色，背景例如可以为绿色，两者的颜色是不同的。而不同的颜色，其光亮度也不同。

得到目标对象和背景各自的光亮度之后，根据光亮度，可以确定电力巡检图像的红色通道权值、绿色通道权值和蓝色通道权值。然后根据得到的红色通道权值、绿色通道权值和蓝色通道权值，对电力巡检图像中的各像素点进行像素值转换处理，得到电力巡检图像对应的灰度图像；最后对灰度图像进行线性插值处理，就能得到电力巡检图像对应的图像矩阵。

下面举例说明得到电力巡检图像对应的图像矩阵的过程。

设获取的图像经过传感器的采集后的电力巡检图像为X

图像预处理实际上是对RGB色彩空间的图像数据变换到灰度图像空间，根据目标对象和背景各自的指标信息，给R，G，B赋予不同的权值，得到电力巡检图像对应的灰度图像。示例地，用光亮度方法取W＝0.2989，V＝0.5870，U＝0.1140，其中，W为红色通道权值、V为绿色通道权值、U为蓝色通道权值。

在得到红色通道权值、绿色通道权值和蓝色通道权值后，根据红色通道权值、绿色通道权值和蓝色通道权值，对电力巡检图像中的各像素点进行像素值转换处理，即可得到电力巡检图像对应的灰度图像，如下式(1)所示：

X

其中，X

最后，对灰度图像X

其中，X是N*N的二维矩阵，I(i,j)表示图像矩阵X中第i行第j列中的元素，I(i,j)∈[0,255]，0≤j≤N，0≤j≤N，N＝max(h，w)。

S32，对图像矩阵进行多次二维离散小波变换处理，得到电力巡检图像对应的小波变换矩阵。

小波变换(wavelet transform，WT)是一种新的变换分析方法，能够提供一个随频率改变的“时间-频率”窗口，是进行信号时频分析和处理的理想工具。离散小波变换是对基本小波变换的尺度和平移进行离散化的过程。下面将结合图4对图像矩阵进行多次二维离散小波变换处理的过程进行介绍。

图4为本申请实施例提供的二维离散小波变换示意图，如图4所示，首先对电力巡检图像对应的图像矩阵X进行行变换，得到矩阵L和矩阵H，然后对L进行列变换得到矩阵LL

在图4中，示例了二级二维离散小波变换的过程，实际中，设二维离散小波变换的次数为n(n为正整数)，则对电力巡检图像对应的图像矩阵进行n次二维离散小波变换处理，得到的小波变换矩阵可以表示为如下式(3)的形式：

其中，n＝[log

S33，对小波变换矩阵进行自适应阈值滤波处理，得到小波系数矩阵。

阈值滤波可以有效集中小波系数矩阵的分布概率，在二维离散小波变换的过程中，使用自适应的阈值对每个子带进行筛选，完成小波系数矩阵的改变，使得图像得到压缩，方便下一步编码。本申请实施例中，可以基于BayesShrink算法对小波变换矩阵进行自适应阈值滤波处理，得到小波系数矩阵。BayesShrink算法是小波阈值的一种自适应方法，对每个小波子带都会估计一个唯一的阈值，因此通常可以对单个阈值能获得的结果进行改进。而BayesShrink阈值就是在广义高斯分布模型(generalized Gaussiandistributiton，GGD)下提出的，经过阈值量化后，再还原的图像可以有效减少噪声。

具体的，首先根据噪声矩阵对小波变换矩阵进行噪声处理，得到噪声小波变换矩阵，该过程可以参见下式(4)：

W＝X

其中，V表示噪声矩阵，W表示噪声小波变换矩阵，W中的元素表示为W

可选的，在得到噪声小波变换矩阵后，对噪声小波变换矩阵的高频子带进行中值估计处理，得到第一参数σ，第一参数的计算公式如下式(5)所示：

其中，σ表示第一参数；W

然后，根据噪声小波变换矩阵W各子带的元素大小、尺寸大小第一参数σ，得到第二参数σ

其中，

然后，根据第一参数和第二参数，为每个子带确定自适应阈值T，T可表示为下式(7)中的形式：

其中，r表示可调节参数，为一个预先设置的值。示例的，取r＝1，此时自适应阈值

在确定自适应阈值后，即可根据自适应阈值对小波变换矩阵进行自适应阈值滤波处理，进而得到小波系数矩阵。即，根据每个子带计算后确定的自适应阈值T，确定小波系数矩阵X

其中，S(r,c)表示为X

S23，对小波系数矩阵进行多级树集合分裂编码处理，得到电力巡检图像对应的向量码流，向量码流中包括重要性从大到小排列的多个码流元素。

spiht是一种内嵌编码算法，可以根据小波系数的重要性对数据进行进一步压缩，并且使接收的数据流在任意点中断时，都可解压和重构图像，下面介绍对小波系数矩阵进行多级树集合分裂编码处理的过程。

设有集合{(r,c)|S(r,c)∈X

引入如下集合符号：

(1)O(r,c):节点(r,c)所有孩子的集合。

(2)D(r,c):节点(r,c)所有子孙的集合(包括孩子)。

(3)L(r,c):节点(r,c)所有非直系子孙的集合(即不包括孩子)。

(4)H:树根的坐标集合，即M层分解后低频子带系数坐标构成的集合。

然后初始化三个表来存放相关信息，这三个表分别为：重要系数表LSP、不重要系数表LIP和不重要子集表LIS，LIS由D(r,c)和L(r,c)组成，分别记为D类型和L类型。

初始化LSP为空集，而LIP＝{(r,c)|(r,c)∈H}，LIS＝{D(r,c)|(r,c)∈H}，且(r,c)具有非零子孙，H是M层分解后低频子带系数坐标构成的集合。

接着循环以下的主要步骤直到M＝0或输出达到设定的比特数：

(1)根据对LIP和LIS的分类扫描，寻找重要性系数和不重要系数，对系数表进行添加或删除。

判断是否重要的依据为Sn(T)，Sn(T)的计算方式如下式(9)所示：

其中，T表示待扫描集合。

扫描LIP中每个节点(r,c)，并根据上式(9)确定节点(r,c)对应的元素S(r,c)是否重要。如果重要则输出1，然后将(r,c)从LIP队列中删除，添加到LSP队列的尾部，如果不重要则输出0。

然后确定LIS内系数的重要性，如果LIS当前的记录是D(r,c)并且包含重要系数，则输出编码1，否则输出0。若D(r,c)重要，则进一步分解成为L(r,c)和O(r,c)，即从LIS中删去D(r,c)，并把L(r,c)加入LIS的尾部，同时根据O(r,c)中四个子节点的系数是否重要加入LSP或LIP中，并输出重要性编码。而如果LIS当前的记录是L(r,c)并且包含重要系数，则输出编码1，并从LIS中删去L(r,c)，把D(2r,2c)、D(2r+1,2c)、D(2r,2c+1)、D(2r+1,2c+1)加入LIS的尾部，若不包含重要系数则输出0。

(2)将上一级扫描后的LSP列表记为LSP_old，对于(r,c)∈LSP_old，将系数S(r,c)的绝对值转换为二进制表示B(r,c)，并输出B(r,c)中第M个最重要的位即对应于2

(3)将阈值指数M减至M-1，返回(1)继续循环。对所有的LIP、LIS以及LSP中的值编码完毕后，将阈值减小一倍。

完成循环后对输出进行处理后得到电力巡检图像对应的向量码流S，可将S表示为下式(10)所示的形式：

其中，S是一个一维向量，s

由以上过程，小波系数矩阵经过spiht编码处理后，就可以得到电力巡检图像对应的向量码流，向量码流中的多个码流元素按照重要性从大到小排列。即在向量码流S包括的多个码流元素中，重要性高的码流元素排在前面，重要性较低的码流元素排在后面。例如在上式(10)中，码流元素s

本申请实施例通过对电力巡检图像进行自适应阈值小波变换处理，在二维小波变换的过程中，使用自适应的阈值对每个子带进行筛选，完成小波系数矩阵的改变。用小波变换对电力巡检图像进行分解，能够避免FFT栅栏效应和dct变换的块效应，同时阈值筛选可以有效集中小波变换矩阵X

S24，对向量码流中的多个码流元素进行分包处理，得到电力巡检图像对应的重要性从大到小排列的多个数据包，数据包中包括数据包号和码流元素。

在电力巡检图像经过自适应阈值小波变换处理和spiht编码处理之后，已经具有了渐进传输特性，在向量码流S中靠前的码流元素是电力巡检图像的重要信息，而向量码流S中靠后的码流元素是体现细节的高频信息，接下来传输部分，本申请实施例采用北斗短报文的方式，从前至后传输向量码流S，保障数据在容量有限的窄信道条件下有序传输。

示例地，下表1为本申请实施例提供的传输图像短报文格式表。北斗系统的短报文通信，是指北斗地面终端和北斗卫星、北斗地面监控总站之间能够直接通过卫星信号进行双向的信息传递，通信以短报文为传输基本单位，是北斗卫星导航系统附带的一项功能特性。

表1

本申请中的报文格式是在北斗短报文格式的基础上做出修改，短报文格式包含指令、长度、收信地址、信息内容与校验和五大模块。原本北斗短报文中电文内容最长可填入1680比特，总包号占用8比特，包号ID占用8比特，剩余则填入变长的图像数据中，电文长度占用16比特，为传输电文的有效长度，单位为比特。

长度模块占用16比特，包括从起始符到校验和的长度，同时包括校验和的长度。收信方和发送方的地址高3比特填0，低21比特填地址，而校验和是从起始符一直到校验和，按字节来异或的结果。发信时间则是采用世界标准时间(Coodinated Universal Time，UTC)，有小时位和分钟位。通信类别的格式如下表2所示：

表2

在对向量码流中的多个码流元素进行分包处理时，首先应该确定发送端设备和接收端设备之间的单次最大传输比特数，以及单个数据包的最大比特数。示例地，假设每次通讯的能力为14000比特，一个包可填入的图像数据大小为0-1664比特，则发送端设备和接收端设备之间的单次最大传输比特数为14000比特，单个数据包的最大比特数为1664比特。

然后根据单次最大传输比特数，以及单个数据包的最大比特数，确定向量码流的分包数量，可将单次的分包数量表示为K，K的表达式如下式(11)所示：

其中，C表示单次最大传输比特数，B表示单个数据包的最大比特数，floor函数的功能是“向下取整”。示例地，当C＝14000比特，若填入1664比特数据，以及指令、长度、收信地址、信息内容等信息共200比特，则B＝1884比特时，

然后，根据分包数量、单个数据包的最大比特数和多个码流元素的顺序，对向量码流进行分包处理，就可以得到重要性从大到小排列的多个数据包。

示例地，对

其中，在对向量码流S中的多个码流元素进行分包处理的过程中，确定了单次通信分包数量K之后，在前K-1个数据包中可以填满单个数据包。以单个数据包的最大比特数为1664比特为例，则在对向量码流S中的多个码流元素进行分包处理的过程中，前K-1个数据包中包括的码流元素的大小为1664比特，然后第K个数据包用于填剩余的码流元素。

以总包数Z＝K＝8为例，即一次通信就传完所有图像数据，前7包填满1664比特信息，i＝1664，而最后第8包填剩余信息，使总信息等于14000比特，则可得到第1个码流元素组C

S25，根据多个数据包的顺序，依次向接收端设备发送多个数据包。

发送端完成数据分包后，将数据包按照北斗通信协议封装，然后放入发送队列，依次发送给接收端设备。

下面结合图5对发送端设备发送电力巡检图像的流程进行总结。

图5为本申请实施例提供的发送端设备发送电力巡检图像的流程示意图，如图5所示，包括：

S501，无人机获取电力巡检图像。

S502，发送端设备对电力巡检图像进行预处理，得到电力巡检图像对应的图像矩阵。

S503，发送端设备对电力巡检图像对应的图像矩阵进行自适应阈值小波变换，得到电力巡检图像的小波系数矩阵。

S504，发送端设备对小波系数矩阵进行多级树集合分裂编码处理，得到电力巡检图像对应的向量码流。

S505，发送端设备对向量码流进行分包处理，得到多个数据包。

发送端设备对向量码流中的多个码流元素进行分组处理后，按照北斗通信协议进行封装，得到多个数据包，放入发送队列。

S506，判断是否收到停止传输指令，若是，则停止传输，若否，则执行S507。

在一些情况下，如果接收端设备根据之前传输的重要性较高的数据包即可较好的还原电力巡检图像，而无需电力巡检图像的所有细节，则接收端设备可以向发送端设备发送停止传输指令，以减小信道消耗。其中，停止传输指令可以由用户触发，接收端设备响应于用户的操作，向发送端设备发送停止传输指令。

S507，根据信道容量发送数据包。

S508，判断是否需要补发数据包，若是，则执行S507，若否，则执行S509。

在一些情况下，若发送端设备发现存在丢包，则发送端设备补发相应的数据包。

S509，判断数据包是否发送完毕，若是，则停止传输流程，若否，则执行S507。

本发明采用spiht编码和北斗短报文分包，包号ID越靠前的数据包含有电力巡检图像越重要的信息，优先传输重要信息。同时利用短报文中的CRC校验和确认重传机制有效保证数据的可靠性。通过spiht编码可以有效的压缩数据，并判断数据包中的图像信息的重要性，当接收端设备收到的图像信息有限的时候，可以保证优先解码出来的是spiht算法中认为重要的图像信息，这个时候可以恢复出较为模糊的电力巡检图像，对于一些判断电力巡检大尺度缺陷等已经足够。随着通信频次的增加以及数据包接收的增加，可以逐渐恢复非重要的信息从而体现细节。每次收到数据包就可以在已经恢复的电力巡检图像的基础上增加清晰度，实现从模糊到清晰的渐进式传输的图像，而不必等所有的数据包到齐，因此可以很大程度提高用户的体验。同时，利用短报文中的CRC校验和确认重传机制有效保证数据的可靠性。

在上述实施例中，介绍了发送端设备对电力巡检图像进行压缩编码并分包处理的过程，下面结合图6介绍接收端设备接收数据包并显示电力巡检图像的过程。

图6为本申请实施例提供的基于自适应阈值小波变换的渐进式图像传输方法的流程示意图，如图6所示，包括：

S61，依次接收发送端设备发送的多个数据包，多个数据包中包括数据包号和码流元素。

接收端设备每收到一个数据包都会校验，若校验无误就会解码；当接收端设备校验错误时则需要重传数据，采用确认重传机制。

确认重传机制是传输层协议用来保证传输过程可靠稳定的重要机制，确认重传机制包括累计确认、超时时间计算、快速重传等几个方面。确认重传机制每发送一个数据，就会开启一个定时器，若是在这个时间内没有收到发送数据的确认字符报文，则对该报文进行重信传输，在达到一定次数还没有成功时，系统会放弃此次数据传输并发送一个复位信号。

S62，根据数据包号对多个数据包进行多级树集合分裂解码处理，得到小波系数矩阵。

具体的，针对多个数据包中的任意数据包，接收端设备对该数据包中的码流元素进行spiht解码处理，得到解码后的码流元素。例如针对第1个数据包W

由于数据包中还包括数据包号，因此，接收端设备根据数据包号可以确定多个数据包的排列顺序，进而根据多个数据包的排列顺序，以及各数据包对应的解码后的码流元素，得到小波系数矩阵。下面对该过程进行举例说明。

接收端设备依次接收到多个数据包后，若确认无误，则发送相应的累计确认号，然后根据接收到的数据包提取数据包W

然后，按顺序拼接C

S63，对小波系数矩阵进行小波逆变换处理，得到电力巡检图像。

解码器得到的小波系数矩阵通过小波逆变换处理，重构图像矩阵，即可得到还原的电力巡检图像，当接收的数据包数量越多时，还原的电力巡检图像越清晰。

在得到电力巡检图像后，还可以对电力巡检图像进行增强，增强的过程可以通过图像分辨率增强模型实现，下面对该过程进行介绍。

然后将电力巡检图像输入至图像分辨率增强模型中，得到图像分辨率增强模型输出的增强电力巡检图像，其中，增强电力巡检图像的分辨率高于电力巡检图像的分辨率。可选的，图像分辨率增强模型是通过多组训练样本训练得到的，任意训练样本中包括一张样本图像和样本图像对应的样本增强图像，样本增强图像的分辨率高于样本图像的分辨率。

图7为本申请实施例提供的图像分辨率增强模型的结构示意图，如图7所示，图像分辨率增强模型包括卷积层1、残差模块、卷积层2、亚像素卷积层和卷积层3。

输入图像首先经过卷积层1，卷积层1的卷积核k＝9、输出通道n＝64、步长s＝1，卷积层1的激活函数采用参数化修正线性单元(Parametric Rectified Linear Unit，PReLU)。输入图像经过卷积层1的处理后，输入残差模块。残差模块包括16个相同的卷积核k＝3、输出通道n＝64、步长s＝1，残差模块用于提取输入图像特征。残差模块的输出作为卷积层2的输入，卷积层2的卷积核k＝3、输出通道n＝64、步长s＝1，卷积层2处理后进行批量归一化，最后是经过两个亚像素卷积层进行像素清洗并放大，然后输入至卷积层3，卷积层3的卷积核k＝9、输出通道n＝3、步长s＝1，卷积层3的激活函数是tanh，从而得到输出图像。

其中，残差模块可以有效避免梯度消失，这就意味着神经网络可加层次可以变得更深，从而提取更多输入图像的特征、整个模型在训练时更不容易发散。示例地，亚像素卷积层不仅可以放大图片，而且可以提高图像重建效率、减少模型计算量；两个亚像素卷积层的具体运算过程是先做两次卷积运算，如果图片要放大n倍，则扩充输出通道数为n*n，最后通过像素清洗将n*n张特征图合并为一张超分辨率的重建图像。

在上述实施例中对图像分辨率增强模型的结构进行了介绍。在使用图像分辨率增强模型对电力巡检图像进行增强处理之前，需要对图像分辨率增强模型进行训练，其中，图像分辨率增强模型是通过多组训练样本训练得到的，任意训练样本中包括一张样本图像和样本图像对应的样本增强图像，样本增强图像的分辨率高于样本图像的分辨率。

为了数据增广，每轮训练中会将图像随机裁剪为高分辨率图像(即样本图像对应的样本增强图像)，对高分辨率图像进行下采样4倍作为输入图像(即对应的样本图像)，将输入图像的范围缩小到[0,1]之间，输入图像分辨率增强模型得到重建图像，重建图像即为图像分辨率增强模型对样本图像进行处理后输出的图像。

然后，计算重建图像和高分辨率图像的均方误差(Mean Squared Error，MSE)损失，MSE损失的计算公式如下式(12)所示：

其中，F(X

每次通讯还原的电力巡检图像通过SRResNet网络训练出的图像分辨率增强模型对电力巡检图像进行图像超分辨率重建，增强图像细节。整体传输过程中接收端设备得到的电力巡检图像从模糊到清晰，在模糊的时候就可以发现一些大尺度的缺陷问题，随着传输进行，电力巡检图像越来越清晰，可以观察图片的纹理细节。传输过程中若解码的电力巡检图像显示出来已经达到一定清晰度，可选择中断传输过程。

本申请实施例在接收端设备采用SRResNet网络对渐进式还原后的电力巡检图像进行超分辨率重建。利用提前训练好的SRResNet网络模型，再进行模型推理从而得到超分辨增强后的增强电力巡检图像。针对一般短报文图像传输过程中出现的复现技术较差的问题，在每次北斗卫星通讯结束后使用超分辨率网络重建网络来增强图像，使得接收端设备的电力巡检图像获得更大的图像尺寸和更精细的纹理细节，从而提高电力巡检图像复现的质量。

下面结合图8对接收端设备接收电力巡检图像的流程进行总结。

图8为本申请实施例提供的接收端设备接收电力巡检图像的流程示意图，如图8所示，包括：

S801，接收数据包，在确认无误后发送累计确认号。

S802，提取总包号、包号ID、码流元素(图像数据)等信息。

S803，根据包号ID排序并解码处理，得到电力巡检图像。

对接收到的数据包进行处理，可以得到部分图像信息，从而部分还原出电力巡检图像。当然，在没有接收到所有的数据包之前，还原出的电力巡检图像可能缺失一些高频的细节信息，但是由于优先传输的是重要性较高的数据包，因此在大多数情况下无需传输所有的数据包即可较好的还原出电力巡检图像。

S804，对电力巡检图像进行图像增强处理，得到增强电力巡检图像。

图像增强处理可以由图像分辨率增强模型实现，增强电力巡检图像的分辨率高于电力巡检图像的分辨率，能够提高电力巡检图像的显示效果。

S805，判断是否接收到停止传输命令，若是，则执行S807，若否，则执行S806。

在一些情况下，如果接收端设备根据之前传输的重要性较高的数据包即可较好的还原电力巡检图像，而无需电力巡检图像的所有细节，则接收端设备可以向发送端设备发送停止传输指令，以减小信道消耗。其中，停止传输指令可以由用户触发，接收端设备响应于用户的操作，向发送端设备发送停止传输指令。

S806，判断是否传输结束，若是，则执行S807，若否，则执行S801。

若数据包未传输结束，也未接收到停止传输指令，则继续传输，否则停止传输。

S807，输出图像。

综上所述，本申请实施例提供的基于自适应阈值小波变换的渐进式图像传输方法，首先获取目标区域对应的电力巡检图像，然后对电力巡检图像进行自适应阈值小波变换，得到电力巡检图像的小波系数矩阵，并对小波系数矩阵进行多级树集合分裂编码处理，得到电力巡检图像对应的向量码流，向量码流中包括重要性从大到小排列的多个码流元素，实现了图像信息重要性从大到小的排列；然后，对向量码流中的多个码流元素进行分包处理，得到电力巡检图像对应的重要性从大到小排列的多个数据包，数据包中包括数据包号和码流元素，并根据多个数据包的顺序，依次向接收端设备发送多个数据包。由于多个数据包的重要性从大到小排列，因此能够实现重要的数据包优先传输，便于接收端设备渐进式接收数据包，优先接收重要的数据包后有助于还原电力巡检图像，而无需传输所有的数据包后才能够还原电力巡检图像，从而能够提高图像传输的效率。

图9为本申请实施例提供的基于自适应阈值小波变换的渐进式图像传输装置的结构示意图一，如图9所示，基于自适应阈值小波变换的渐进式图像传输装置900包括：

获取模块901，用于获取目标区域对应的电力巡检图像；

变换模块902，用于对所述电力巡检图像进行自适应阈值小波变换，得到所述电力巡检图像的小波系数矩阵；

编码模块903，用于对所述小波系数矩阵进行多级树集合分裂编码处理，得到所述电力巡检图像对应的向量码流，所述向量码流中包括重要性从大到小排列的多个码流元素；

处理模块904，用于对所述向量码流中的所述多个码流元素进行分包处理，得到所述电力巡检图像对应的重要性从大到小排列的多个数据包，所述数据包中包括数据包号和码流元素；

发送模块905，用于根据所述多个数据包的顺序，依次向接收端设备发送所述多个数据包。

在一种可能的实施方式中，所述变换模块902具体用于：

根据所述目标对象和所述背景各自的指标信息，对所述电力巡检图像进行图像预处理，得到所述电力巡检图像对应的图像矩阵；

对所述图像矩阵进行多次二维离散小波变换处理，得到所述电力巡检图像对应的小波变换矩阵；

对所述小波变换矩阵进行自适应阈值滤波处理，得到所述小波系数矩阵。

在一种可能的实施方式中，所述变换模块902具体用于：

根据所述目标对象和所述背景各自的指标信息，确定所述目标对象和所述背景各自的光亮度；

根据所述目标对象和所述背景各自的光亮度，确定所述电力巡检图像的红色通道权值、绿色通道权值和蓝色通道权值；

根据所述红色通道权值、所述绿色通道权值和所述蓝色通道权值，对所述电力巡检图像中的各像素点进行像素值转换处理，得到所述电力巡检图像对应的灰度图像；

对所述灰度图像进行线性插值处理，得到所述电力巡检图像对应的图像矩阵。

在一种可能的实施方式中，所述变换模块902具体用于：

根据噪声矩阵对所述小波变换矩阵进行噪声处理，得到噪声小波变换矩阵；

对所述噪声小波变换矩阵的高频子带进行中值估计处理，得到第一参数；

根据所述噪声小波变换矩阵各子带的元素大小、尺寸大小和所述第一参数，得到第二参数；

根据所述第一参数和所述第二参数，确定各所述子带的自适应阈值；

根据所述自适应阈值对所述小波变换矩阵进行自适应阈值滤波处理，得到所述小波系数矩阵。

在一种可能的实施方式中，所述处理模块904具体用于：

确定所述发送端设备和所述接收端设备之间的单次最大传输比特数，以及单个数据包的最大比特数；

根据所述单次最大传输比特数，以及所述单个数据包的最大比特数，确定所述向量码流的分包数量；

根据所述分包数量、所述单个数据包的最大比特数和所述多个码流元素的顺序，对所述向量码流进行分包处理，得到重要性从大到小排列的所述多个数据包。

图10为本申请实施例提供的基于自适应阈值小波变换的渐进式图像传输装置的结构示意图二，如图10所示，基于自适应阈值小波变换的渐进式图像传输装置1000包括：

接收模块1001，用于依次接收发送端设备发送的多个数据包，所述多个数据包中包括数据包号和码流元素；

解码模块1002，用于根据所述数据包号对所述多个数据包进行多级树集合分裂解码处理，得到小波系数矩阵；

处理模块1003，用于对所述小波系数矩阵进行小波逆变换处理，得到电力巡检图像。

在一种可能的实施方式中，所述解码模块1002具体用于：

针对所述多个数据包中的任意数据包，对所述数据包中的码流元素进行多级树集合分裂解码处理，得到解码后的码流元素；

根据所述数据包号确定所述多个数据包的排列顺序；

根据所述多个数据包的排列顺序，以及各所述数据包对应的解码后的码流元素，得到所述小波系数矩阵。

在一种可能的实施方式中，所述处理模块1003还用于：

将所述电力巡检图像输入至图像分辨率增强模型，得到所述图像分辨率增强模型输出的增强电力巡检图像，其中，所述增强电力巡检图像的分辨率高于所述电力巡检图像的分辨率；

显示所述增强电力巡检图像；

其中，所述图像分辨率增强模型是通过多组训练样本训练得到的，任意训练样本中包括一张样本图像和所述样本图像对应的样本增强图像，所述样本增强图像的分辨率高于所述样本图像的分辨率。

图11为本申请实施例提供的一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行基于自适应阈值小波变换的渐进式图像传输方法，该方法应用于发送端设备，包括：获取目标区域对应的电力巡检图像；对所述电力巡检图像进行自适应阈值小波变换，得到所述电力巡检图像的小波系数矩阵；对所述小波系数矩阵进行多级树集合分裂编码处理，得到所述电力巡检图像对应的向量码流，所述向量码流中包括重要性从大到小排列的多个码流元素；对所述向量码流中的所述多个码流元素进行分包处理，得到所述电力巡检图像对应的重要性从大到小排列的多个数据包，所述数据包中包括数据包号和码流元素；根据所述多个数据包的顺序，依次向接收端设备发送所述多个数据包。或者，处理器1110可以调用存储器1130中的逻辑指令，以执行基于自适应阈值小波变换的渐进式图像传输方法，该方法应用于接收端设备，包括：依次接收发送端设备发送的多个数据包，所述多个数据包中包括数据包号和码流元素；根据所述数据包号对所述多个数据包进行多级树集合分裂解码处理，得到小波系数矩阵；对所述小波系数矩阵进行小波逆变换处理，得到电力巡检图像。

此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的基于自适应阈值小波变换的渐进式图像传输方法，该方法应用于发送端设备，包括：获取目标区域对应的电力巡检图像；对所述电力巡检图像进行自适应阈值小波变换，得到所述电力巡检图像的小波系数矩阵；对所述小波系数矩阵进行多级树集合分裂编码处理，得到所述电力巡检图像对应的向量码流，所述向量码流中包括重要性从大到小排列的多个码流元素；对所述向量码流中的所述多个码流元素进行分包处理，得到所述电力巡检图像对应的重要性从大到小排列的多个数据包，所述数据包中包括数据包号和码流元素；根据所述多个数据包的顺序，依次向接收端设备发送所述多个数据包。或者，计算机能够执行上述各实施例所提供的基于自适应阈值小波变换的渐进式图像传输方法，该方法应用于接收端设备，包括：依次接收发送端设备发送的多个数据包，所述多个数据包中包括数据包号和码流元素；根据所述数据包号对所述多个数据包进行多级树集合分裂解码处理，得到小波系数矩阵；对所述小波系数矩阵进行小波逆变换处理，得到电力巡检图像。

又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于自适应阈值小波变换的渐进式图像传输方法，该方法应用于发送端设备，包括：获取目标区域对应的电力巡检图像；对所述电力巡检图像进行自适应阈值小波变换，得到所述电力巡检图像的小波系数矩阵；对所述小波系数矩阵进行多级树集合分裂编码处理，得到所述电力巡检图像对应的向量码流，所述向量码流中包括重要性从大到小排列的多个码流元素；对所述向量码流中的所述多个码流元素进行分包处理，得到所述电力巡检图像对应的重要性从大到小排列的多个数据包，所述数据包中包括数据包号和码流元素；根据所述多个数据包的顺序，依次向接收端设备发送所述多个数据包。或者，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于自适应阈值小波变换的渐进式图像传输方法，该方法应用于接收端设备，包括：依次接收发送端设备发送的多个数据包，所述多个数据包中包括数据包号和码流元素；根据所述数据包号对所述多个数据包进行多级树集合分裂解码处理，得到小波系数矩阵；对所述小波系数矩阵进行小波逆变换处理，得到电力巡检图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。