一种即时通信系统及信息处理方法

技术领域

本发明涉及数据传输技术领域，具体涉及一种即时通信系统及信息处理方法。

背景技术

即时通信是指通过计算机、移动设备等进行实时信息交流和交互的方式。通过即时通信应用在发送消息时，发送者发送内容后，终端设备会先进行缓存，然后将信息发送到服务器中，服务器验证通过后将信息发送到对应的接收者的终端设备上。但在通信过程中，因为网络的波动会造成信息的发送缓慢或失败，尤其是图片视频类信息量大的内容在发送过程中对网络的要求较高。

在现有技术中，即时通信出现网络波动后通常是将待发送的图像进行压缩，降低信息量提高信息发送成功率；但图像压缩过程中若过度压缩会影响图像质量，影响即时通信的交流体验；若图像压缩过程中压缩程度低，虽然能够保证图像质量，然而对传输的网络要求较高，可能会导致信息发送失败。最终即时通信因网络波动而难以确定图像的压缩程度和是否发送，容易出现图像质量下降和发送成功率低的情况，影响了用户的通信体验和通信实时性。

发明内容

为了解决上述即时通信因网络波动而出现图像质量下降和发送成功率低的情况，影响了用户的通信体验和通信实时性的技术问题，本发明的目的在于提供一种即时通信系统及信息处理方法，所采用的技术方案具体如下：

获取进行传输的传输图像、传输网络的带宽与延迟时间；根据预设时间范围内的所述带宽和所述延迟时间两者的变化特征，获得传输网络的网络波动程度；

根据所述网络波动程度和预设标准波动程度的差异特征获得金字塔采样算法中的预估采样层数；根据所述预估采样层数对所述传输图像进行下采样获得不同的第一压缩图像，根据下采样获得的所述第一压缩图像之间的差异特征获得下采样的细节保留程度表征值；根据所述细节保留程度表征值和所述预估采样层数获得下采样层数；

根据所述下采样层数对所述传输图像进行下采样获得不同的第二压缩图像；根据所述传输图像和所述第二压缩图像中，像素点与预设邻域范围内的灰度差异特征获得像素点的邻域灰度差异表征值；根据所述第二压缩图像和所述传输图像之间信息量的差异特征、像素点的邻域灰度差异表征值的差异特征获得传输图像的压缩损失率；根据所述压缩损失率进行通信中的图像处理。

进一步地，所述根据预设时间范围内的所述带宽和所述延迟时间两者的变化特征，获得传输网络的网络波动程度的步骤包括：

计算预设时间范围内的所述带宽的均值并负相关映射，获得带宽均值表征值；计算预设时间范围内的所述延迟时间的均值并归一化，获得延迟均值表征值；计算所述带宽均值表征值与所述延迟均值表征值的和值，获得网络质量表征值；

分别计算预设时间范围内的所述带宽的标准差的归一化值与所述延迟时间的标准差的归一化值并累加求和，获得网络变化表征值；计算所述网络质量表征值与所述网络变化表征值的乘积，获得所述传输网络的所述网络波动程度。

进一步地，所述根据所述网络波动程度和预设标准波动程度的差异特征获得金字塔采样算法中的预估采样层数的步骤包括：

计算所述网络波动程度与预设标准波动程度的比值并向上取整，获得所述预估采样层数。

进一步地，所述根据下采样获得的所述第一压缩图像之间的差异特征获得下采样的细节保留程度表征值的步骤包括：

计算金字塔采样算法中任意两个相邻的采样层获得的两个第一压缩图像之间的结构相似性值，计算预估采样层数中所有相邻的采样层对应的结构相似性值的平均值，获得所述细节保留程度表征值。

进一步地，所述根据所述细节保留程度表征值和所述预估采样层数获得下采样层数的步骤包括：

计算所述细节保留程度表征值与所述预估采样层数的乘积并向上取整，获得所述下采样层数。

进一步地，所述根据所述传输图像和所述第二压缩图像中，像素点与预设邻域范围内的灰度差异特征获得像素点的邻域灰度差异表征值的步骤包括：

分别计算所述传输图像和所述第二压缩图像中，任意一个像素点与预设邻域范围内其他像素点的灰度值的差值绝对值并累加求和，获得像素点的所述邻域灰度差异表征值。

进一步地，所述根据所述第二压缩图像和所述传输图像之间信息量的差异特征、像素点的邻域灰度差异表征值的差异特征获得传输图像的压缩损失率的步骤包括：

计算所述传输图像和任意一张第二压缩图像中所有相同位置像素点的所述邻域灰度差异表征值的比值并累加求和，获得所述传输图像和任意一张第二压缩图像的局部灰度差异表征值；计算所述传输图像和任意一张第二压缩图像的灰度特征的信息熵的比值，获得传输图像和任意一张第二压缩图像的信息差异表征值；

计算所述局部灰度差异表征值和所述信息差异表征值的乘积，获得压缩损失表征值；计算所述传输图像和所有第二压缩图像之间的所述压缩损失表征值的累加值并归一化，获得传输图像的所述压缩损失率。

进一步地，所述根据所述压缩损失率进行通信中的图像处理的步骤包括：

当所述压缩损失率不超过预设损失阈值时，传输图像进行传输；否则不再进行传输。

进一步地，所述根据所述预估采样层数对所述传输图像进行下采样获得不同的第一压缩图像的步骤包括：

根据所述预估采样层数通过金字塔采样算法对所述传输图像进行下采样，每经过一个采样层下采样后获得一张第一压缩图像，获得预估采样层数量个第一压缩图像；

所述根据所述下采样层数对所述传输图像进行下采样获得不同的第二压缩图像的步骤包括：

根据所述下采样层数通过金字塔采样算法对所述传输图像进行下采样，每经过一个采样层下采样后获得一张第二压缩图像，获得下采样层数量个第二压缩图像。

本发明还提出了一种即时通信系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现任意一项所述方法的步骤。

本发明具有如下有益效果：

在本发明实施例中，获取网络波动程度能够根据当前的网络状况自适应地确定图像压缩程度，提高了通信实时性。计算预估采样层数能够初步确定图像下采样的程度；根据细节保留程度表征值能够对预估采样层数进行调节确定下采样层数，避免过度压缩图像，造成图像质量过低影响用户通信体验。根据图像压缩过程中像素点与邻域像素点的灰度差异会变小的特征，获得邻域灰度差异表征值，后续计算过程中可以表征压缩过程中的压缩损失情况，同时因压缩过程中会造成图像的信息量发生变化；故根据第二压缩图像和传输图像之间信息量的差异特征、像素点的邻域灰度差异表征值的差异特征获得传输图像的压缩损失率；进而能够准确地分析传输图像的细节损失情况。最终根据压缩损失率判断是否进行数据传输，能够在当前的网络状况下自适应压缩图像，并且在保证用户体验的前提下提高了通信实时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种即时通信的信息处理方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种即时通信系统及信息处理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种即时通信系统及信息处理方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种即时通信的信息处理方法流程图，该方法包括以下步骤：

步骤S1，获取进行传输的传输图像、传输网络的带宽与延迟时间；根据预设时间范围内的带宽和延迟时间两者的变化特征，获得传输网络的网络波动程度。

在本发明实施例中，实施场景为网络波动情况下即时通信中信息处理的判断。在即时通信中图像类的信息量较大，发送质量和成功率更容易受网络环境的影响，故本发明实施例对图像信息进行分析，首先获取进行传输的传输图像。由于传输过程中的网络波动情况体现在带宽和延迟，带宽是指网络连接中可用的最大数据传输速率，通常以每秒传输的比特数来衡量，网络带宽越高，数据传输速度越快；延迟是指从发送数据到接收数据之间所经过的时间，也称为响应时间,较低的延迟意味着数据从发送端到接收端的传输速度更快，网络响应更迅速；较高的延迟会导致数据传输的滞后和等待时间增加。故实时获取传输网络的带宽和延迟时间反映网络波动情况。

进一步地，获得带宽和延迟时间后，可分析网络的波动情况，故根据预设时间范围内的带宽和延迟时间两者的变化特征，获得传输网络的网络波动程度。

优选地，在本发明一个实施例中，获取网络波动程度包括：计算预设时间范围内的带宽的均值并负相关映射，获得带宽均值表征值；一段时间内的带宽越大，意味着该时间段内的传输速度越快，网络信息越好，带宽均值表征值越接近0；当带宽均值表征值越大，意味着该段网络信号越差。需要说明的是，预设时间范围在本发明实施例为与当前时刻的时间间隔小于等于预设时长的所有历史时刻构成的集合前，预设时长为一小时，实施者可根据实施场景自行确定。计算预设时间范围内的延迟时间的均值并归一化，获得延迟均值表征值；延迟均值表征值越大，意味着该时间段内的网络延迟越严重，网络信号越差。计算带宽均值表征值与延迟均值表征值的和值，获得网络质量表征值；网络质量表征值越大，意味着该时间段内的带宽小，延迟高，网络信号越差；网络质量表征值越小，意味着网络信息越好。分别计算预设时间范围内的带宽的标准差的归一化值与延迟时间的标准差的归一化值并累加求和，获得网络变化表征值；当带宽和延迟时间的标准差都越小时，意味着该时间范围内的网络信号越稳定，变化程度较小；故当网络变化表征值越小时，意味着网络信号越稳定；当网络变化表征值越大时，意味着网络信号波动性越大。计算网络质量表征值与网络变化表征值的乘积，获得传输网络的网络波动程度；网络波动程度越大，意味着该时间段内网络带宽越低、延迟高，且网络信号波动大，越影响数据传输；网络波动程度越小，意味着网络信号越好，越有利于数据传输。获取网络波动程度的公式具体包括：

式中，

至此，获得了当时时间段内的网络波动程度，后续步骤可根据网络波动程度分析传输图像的压缩情况以及是否进行发送。

步骤S2，根据网络波动程度和预设标准波动程度的差异特征获得金字塔采样算法中的预估采样层数；根据预估采样层数对传输图像进行下采样获得不同的第一压缩图像，根据下采样获得的第一压缩图像之间的差异特征获得下采样的细节保留程度表征值；根据细节保留程度表征值和预估采样层数获得下采样层数。

获得网络波动程度后，则需要根据当前的网络波动程度分析是否需要进行图像压缩，以及压缩的程度；在现有计算中，通常使用金字塔采样算法对图像进行下采样以降低图像分辨率，例如高斯金字塔，其是不断通过高斯金字塔滤波采样所产生的金字塔；金字塔结构可以将原始图像称为第0层，第一次下采样的结果图像称为第一层，第二次下采样的结果图像称为第2层，以此类推，每下采样一次就会使得图像分辨率降低；需要说明的是，金字塔采样算法属于现有技术，具体步骤不再赘述。当网络波动程度越大，则需要对图像下采样的次数越多，进而降低图像大小便于信息传输。因此需要根据当前的网络波动程度预估需要下采样的层数；故根据网络波动程度和预设标准波动程度的差异特征获得金字塔采样算法中的预估采样层数。

优选地，在本发明一个实施例中，获取预设采样层数包括：计算网络波动程度与预设标准波动程度的比值并向上取整，获得预估采样层数。当网络波动程度与预设标准程度的比值越大，则意味着当前的网络越差，越需要进行下采样以降低图像的分辨率，故网络波动程度越大，预估采样层数越大，下采样程度越高，需要说明的是，预设标准波动程度在本发明实施例中为正常网络环境下的网络波动程度，实施者可根据实施场景自行确定。

获得预估采样层数后，可根据预估采样层数分析传输图像下采样后的图像细节的损失情况，若图像细节损失过多，则需要调整下采样的程度，提高即时通信的内容传输体验。因此需要根据预估采样层数对传输图像进行下采样获得不同的第一压缩图像，具体包括：根据预估采样层数通过金字塔采样算法对传输图像进行下采样，每经过一个采样层下采样后获得一张第一压缩图像，最终获得预估采样层数量个第一压缩图像。

进一步地，为了提高用户体验需要分析预估采样层数获得的第一压缩图像的细节损失情况，故可根据下采样获得的第一压缩图像之间的差异特征获得下采样的细节保留程度表征值。

优选地，在本发明一个实施例中，获取细节保留程度表征值包括：计算金字塔采样算法中任意两个相邻的采样层获得的两个第一压缩图像之间的结构相似性值，计算预估采样层数中所有相邻的采样层对应的结构相似性值的平均值，获得细节保留程度表征值。需要说明的是，结构相似性属于现有技术，具体计算步骤不再赘述，结构相似性是一种衡量两幅图像的相似度的指标，当两张图像越相似，结构相似性值越大；当预估采样层数越多时，获取的图像分辨率越来越低，图像之间的相似性越小。故当细节保留程度表征值越大时，意味着图像下采样后的细节损失越少，对通信传输的用户体验影响越小；当细节保留程度表征值越小时，意味着下采样后的细节损失程度越大，对通信传输的用户体验影响越大。

当细节损失程度过多时，会导致原有的图像信息不能够完全表达，为了保证一定程度的图像质量；因此需要调整下采样的程度，故根据细节保留程度表征值和预估采样层数获得下采样层数。

优选地，在本发明一个实施例中，获取下采样层数包括：计算细节保留程度表征值与预估采样层数的乘积并向上取整，获得下采样层数。当细节保留程度表征值越小时，则越需要提高图像质量，避免过度下采样降低图像质量。至此获得的下采样层数不仅基于网络波动程度，同时考虑了过度压缩图像质量而影响用户的通信体验。后续步骤则需要分析最终的下采样层数对于图像的压缩损失情况，进而判断是否进行传输。

步骤S3，根据下采样层数对传输图像进行下采样获得不同的第二压缩图像；根据传输图像和第二压缩图像中，像素点与预设邻域范围内的灰度差异特征获得像素点的邻域灰度差异表征值；根据第二压缩图像和传输图像之间信息量的差异特征、像素点的邻域灰度差异表征值的差异特征获得传输图像的压缩损失率；根据压缩损失率进行通信中的图像处理。

首先，确定当前网络波动程度情况的下采样层数后，可根据下采样层数对传输图像进行下采样获得不同的第二压缩图像，具体包括：根据下采样层数通过金字塔采样算法对传输图像进行下采样，每经过一个采样层下采样后获得一张第二压缩图像，获得下采样层数量个第二压缩图像；需要说明的是，金字塔采样算法属于现有技术，具体步骤不再赘述。

获得第二压缩图像后，则需要判断最终图像压缩后的压缩损失情况，进而根据压缩损失程度确定是否进行发送传输。因为金字塔采样算法中先使用邻域滤波器或高斯滤波器对原始图像进行滤波，再删除偶数行和偶数列获得下采样后的图像；下采样后会使得图像中的像素点与其邻域的像素点的灰度差异变小，故可根据该特征分析压缩损失程度。首先根据传输图像和第二压缩图像中，像素点与预设邻域范围内的灰度差异特征获得像素点的邻域灰度差异表征值。

优选地，在本发明一个实施例中，获取邻域灰度差异表征值包括：分别计算传输图像和第二压缩图像中，任意一个像素点与预设邻域范围内其他像素点的灰度值的差值绝对值并累加求和，获得像素点的邻域灰度差异表征值。需要说明的是，在本发明实施例中预设邻域范围为以该像素点为中心的八邻域，实施者可根据实施场景自行确定。当该像素点的邻域灰度差异表征值越大，意味着该像素点与预设邻域范围内的其他像素点的灰度差异越大，图像越清晰。

进一步地，因为信息熵能够反映一个系统中的信息量，当该系统中的信息量越高越混乱，则信息熵越大，因此根据图像中像素点的灰度特征计算的信息熵越大，则表征该图像的信息含量越多，而经过下采样后的图像的灰度特征减少，其灰度特征的信息熵变小。故可根据第二压缩图像和传输图像之间信息量的差异特征、像素点的邻域灰度差异表征值的差异特征获得传输图像的压缩损失率。

优选地，在本发明一个实施例中，获取压缩损失率包括：计算传输图像和任意一张第二压缩图像中所有相同位置像素点的邻域灰度差异表征值的比值并累加求和，需要说明的是相同位置像素点为两张图像中共同存在的像素点，可以基于下采样后图像尺寸小的图像为基础进行相同位置像素点的计算；获得传输图像和任意一张第二压缩图像的局部灰度差异表征值；当该局部灰度差异表征值越大，意味着第二压缩图像的邻域灰度差异表征值越小，图像压缩得越模糊，图像越不清晰，压缩损失的越多；当该局部灰度差异表征值越小，意味着下采样后的邻域灰度差异表征值变化不大，图像依然保持一定的清晰度。计算传输图像和任意一张第二压缩图像的灰度特征的信息熵的比值，获得传输图像和任意一张第二压缩图像的信息差异表征值；当该信息差异表征值越大，意味着下采样后的第二压缩图像的灰度特征的信息熵越小，该图像的信息量越少，图像越不清晰。

计算局部灰度差异表征值和信息差异表征值的乘积，获得压缩损失表征值；当该压缩损失表征值越大，意味着经过下采样后的第二压缩图像与原始传输图像的图像细节特征差异越大，第二压缩图像越不清晰；当该压缩损失表征值越小，意味着经过下采样后的图像质量与原始图像的图像细节特征差异越小，第二压缩图像的质量越高。计算传输图像和所有第二压缩图像之间的压缩损失表征值的累加值并归一化，获得传输图像的压缩损失率；当该压缩损失率越大，意味着原始图像经过下采样后获得的第二压缩图像的图像质量越低，图像中的细节特征损失越大，越影响用户的通信体验；当该压缩损失率越小，意味着原始图像经过下采样后获取的第二压缩图像的图像质量越高，图像中的细节特征损失越小，对用户的通信体验影响越小。获取压缩损失率的公式具体包括：

式中，

获得了传输图像在当前的网络波动程度下的压缩损失率，进而可根据压缩损失率进行通信中的图像处理，具体包括：当压缩损失率不超过预设损失阈值时，传输图像进行压缩传输；此时图像压缩后的图像细节损失程度在当前的网络波动程度下能够被用户接受；当压缩损失率超过预设损失阈值时，传输图像不再进行压缩传输，此时图像压缩后的图像细节损失程度已经超过了用户的识别能力，影响了用户的使用体验，需要等待网络恢复正常后进行传输；在本发明实施例中预设损失阈值为0.6，实施者可根据实施场景自行确定。

至此，在即时通信中，根据网络波动程度分析需要图像的压缩程度，根据压缩后的第二压缩图像进行压缩损失率的分析，当压缩损失率不超过预设阈值时进行传输，既保证了图像的压缩质量，又保证了用户通信的实时性；当压缩损失率超过预设阈值后，为了较低的图像质量不影响用户体验，需要等待网络正常后再进行传输。最终能够根据网络波动程度判断图像压缩程度并且确定是否发送，在保证用户体验的前提下提高了通信实时性。

综上所述，本发明实施例提供了一种即时通信系统及信息处理方法；首先根据网络环境获得网络波动程度，根据网络波动程度确定预估采样层数，根据预估采样层数和图像下采样后的细节保留程度获得下采样层数。根据下采样层数获得第二压缩图像，根据第二压缩图像和传输图像之间的像素点的邻域灰度特征的差异和图像信息量的差异获得压缩损失率；根据压缩损失率确定图像的传输情况。本发明根据网络波动自适应地确定了图像的压缩程度，根据压缩程度获得压缩损失率和确定是否发送信息，能够在保障用户体验的前提下提高通信的实时性。

本发明还提出了一种即时通信系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序实现任意一项一种即时通信的信息处理方法的步骤。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。