无损关联编码的方法、系统、设备及介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种面向云桌面基于本征模态分解的无损关联编码方法、系统、设备及介质。

背景技术

云桌面日常使用场景:云桌面的使用离不开显示界面图像，常规的页面滚动场景和PPT切页场景等均具有前后文高度相关联性，此外图像显示依赖于远程服务器中编码器编码传输，对网络有较高的要求，该方法能够减少低带宽环境下数据传输量。

独立图像压缩仅仅针对单帧操作，压缩效果差、压缩率低，无法适应低带宽环境，而云桌面场景下的图像显示通道中相邻帧具有高度相关性，目前主流的压缩编码没有能够充分利用图像编码中宏块频率特征信息，难以将相同的无损宏块高效关联起来。

在背景技术中公开的上述信息仅用于加强对本申请的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。

发明内容

本申请提供一种面向云桌面基于本征模态分解的无损关联编码方法、系统、设备及介质，用以解决现有技术存在的问题。

第一方面，本申请提供一种面向云桌面基于本征模态分解的无损关联编码方法，包括：

S1、从云桌面显示通道获取图片作为数据源，按照预设的大小将图片划分为预设大小的宏块，之后计算获取到各宏块的灰度值；

S2、根据各宏块的灰度值，通过完整经验模态分解方法CEEMDAN进行分解得到多阶I MF分量，根据所述多阶I MF分量得到第一特征；

S3、根据各宏块的灰度值的和得到第二特征；

S4、将所述第一特征与所述第二特征进行组合得到宏块特征；

S5、判断所述宏块特征是否存在于缓存中，若存在，则发送缓存中所述宏块特征对应的信息至客户端；若不存在，则缓存并发送所述宏块特征对应的信息至客户端。

在一些实施例中，S2中，通过以下公式得到第一特征：

其中，f

在一些实施例中，S3中，通过以下公式得到第二特征：

/>

其中，f

在一些实施例中，S4中，通过以下公式得到宏块特征：

f＝(f

其中，f表示宏块特征，f

第二方面，本申请提供一种面向云桌面基于本征模态分解的无损关联编码系统，包括：

获取模块，用于从云桌面显示通道获取图片作为数据源，按照预设的大小将图片划分为预设大小的宏块，之后计算获取到各宏块的灰度值；

分解模块，用于根据各宏块的灰度值，通过完整经验模态分解方法CEEMDAN进行分解得到多阶IMF分量，根据所述多阶IMF分量得到第一特征；

处理模块，用于根据各宏块的灰度值的和得到第二特征；将所述第一特征与所述第二特征进行组合得到宏块特征；判断所述宏块特征是否存在于缓存中，若存在，则发送缓存中所述宏块特征对应的信息至客户端；若不存在，则缓存并发送所述宏块特征对应的信息至客户端。

在一些实施例中，分解模块用于通过以下公式得到第一特征：

其中，f

在一些实施例中，处理模块用于通过以下公式得到第二特征：

其中，f

在一些实施例中，处理模块用于通过以下公式得到宏块特征：

f＝(f

其中，f表示宏块特征，f

第三方面，本申请提供一种终端设备，包括存储器，处理器：

存储器，用于存储计算机程序；处理器，用于读取所述存储器中的计算机程序并执行上述的面向云桌面基于本征模态分解的无损关联编码方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的面向云桌面基于本征模态分解的无损关联编码方法。

本申请提供的面向云桌面基于本征模态分解的无损关联编码方法、系统、设备及介质，云桌面场景下的图像显示通道中相邻帧具有高度相关性，利用该场景特性，结合本征模态分解方法所构造出来的宏块序列多维频率等特征，能够极大利用图像之间关联信息提升压缩率，有效减少数据传输量，提升低带宽环境下的用户体验。本发明利用云桌面场景特性，结合本征模态分解方法所构造出来的宏块序列多维频率等特征，能够极大利用图像之间关联信息提升压缩率，有效减少数据传输量，提升弱网环境下的用户体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的面向云桌面基于本征模态分解的无损关联编码方法的示意图；

图2为通过完整经验模态分解方法CEEMDAN进行分解得到多阶I MF分量的示意图；

图3为本申请实施例提供的面向云桌面基于本征模态分解的无损关联编码系统的示意图；

图4为本申请实施例提供的具体应用实例图；

图5为本申请实施例提供的宏块特征匹配示例图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本申请实施例中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

近年来，云计算技术及其应用的迅速发展带来数据中心产业用户规模的不断增加和企业级应用的持续升级，虚拟化作为云计算的关键技术，将物理计算设备分离成一个或多个虚拟节点，为应用提供了灵活多变、易于扩展的服务平台。作为云计算时代的典型应用，云桌面通过桌面化的方式将资源发布给各终端，实现终端与服务节点的解耦合。云桌面具有访问灵活、资源集中、便于维护、安全性高、成本较低的优势，云桌面的显示依赖于远程服务器编码器编码传输，对网络有较高的要求，在低带宽环境下将会带来显示延迟、卡顿等问题。

不同用户的网络环境存在很大的差异，为了应对云电脑使用场景中低带宽环境下的图像编码传输，就需要通过合理有效的压缩方法对图像进行压缩。根据图像压缩后可恢复程度可分为可逆编码以及不可逆编码，即无损编码和有损编码。有损编码具有较高的压缩率，但是其过程是不可逆的，图像经过压缩解码后与原图像存在一定的差异，对于画面精度要求较高的场景，该方法具有较大的缺陷；而无损编码技术则能够将压缩后的数据完全恢复为原始图像，不存在图像失真问题，代价则是具有较低的压缩率。在图像领域，无损压缩编码技术可分为基于字典的压缩技术和基于统计的压缩技术，前者的中心思想是利用一个符号代替一串字符，形成固定长度的信源编码；后者则使用较短的代码表示出现频率高的字符，而用较长的代码表示出现频率较低的字符，从而达到压缩像素的目的。值得注意的是，上述的两种无损编码技术都是针对于独立的图片进行的压缩，而云桌面在使用过程中，前后帧之间往往存在极高的关联性，以向下滚动浏览网页为例，假设用户使用时帧率为20，则t时刻的帧图像与t-1时刻的帧图像在时序上仅相差大约50毫秒，此时用户桌面内显示内容仅仅是做了向上的偏移，t时刻的帧图像与t-1时刻的帧图像具有极大的可能存在大量相同的内容。

宏块是图像视频压缩中的基本单元，将大的图像划分为多个小的图像，这些小的图像即为宏块。通常宏块大小为NxN像素，将图像划分为多个宏块的组成更加有利于关联宏块之间的相关信息。在可利用信息有限的宏块中提取出特征信息则尤为关键。传统的做法一般局限于宏块的位置结构特征，而如果将整个宏块像素信息作为一串序列，则能够提取出多维频率信息，美国国家宇航局的华裔科学家黄锷博士提出一种适用于处理非线性非平稳信号的时频分析方法经验模态分解方法，它能将繁琐的序列分解为一系列的本征模态分量，从高频到低频的各个分量也具有不同的物理意义。

基于以上的说明，在云桌面的场景中，图像的编码之间存在大量的依赖信息，而不仅仅局限于对单帧图像的直接压缩编码。充分利用前后帧之间各个宏块的关联性能够实现对图像更大幅度的压缩编码。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请实施例提供的面向云桌面基于本征模态分解的无损关联编码方法的示意图，如图1所示，本申请提供一种面向云桌面基于本征模态分解的无损关联编码方法，包括：

S1、从云桌面显示通道获取图片作为数据源，按照预设的大小将图片划分为预设大小的宏块，之后计算获取到各宏块的灰度值gray

S2、根据各宏块的灰度值，通过完整经验模态分解方法CEEMDAN进行分解得到多阶IMF分量，根据所述多阶IMF分量得到第一特征；

例如，图2为通过完整经验模态分解方法CEEMDAN进行分解得到多阶IMF分量的示意图，如图2所示，该宏块可分解为总计8个IMF分量。

S3、根据各宏块的灰度值的和得到第二特征；

S4、将所述第一特征与所述第二特征进行组合得到宏块特征；

S5、判断所述宏块特征是否存在于缓存中，若存在，则发送缓存中所述宏块特征对应的信息至客户端；若不存在，则缓存并发送所述宏块特征对应的信息至客户端。

本申请提供的面向云桌面基于本征模态分解的无损关联编码方法、系统、设备及介质，云桌面场景下的图像显示通道中相邻帧具有高度相关性，利用该场景特性，结合本征模态分解方法所构造出来的宏块序列多维频率等特征，能够极大利用图像之间关联信息提升压缩率，有效减少数据传输量，提升低带宽环境下的用户体验。本发明利用云桌面场景特性，结合本征模态分解方法所构造出来的宏块序列多维频率等特征，能够极大利用图像之间关联信息提升压缩率，有效减少数据传输量，提升弱网环境下的用户体验。

不同于其他的独立图像压缩，云桌面场景下的图像显示通道中相邻帧具有高度相关性，利用该场景特性，结合本征模态分解方法所构造出来的宏块序列多维频率等特征，本专利申请提出一种面向云桌面基于本征模态分解的无损关联编码方法，该方法能够极大利用图像之间关联信息提升压缩率，有效减少数据传输量，提升低带宽环境下的用户体验。

和现有技术相比，本申请主要优势在于：1.将二维的宏块结构平铺到一维，更加充分利用宏块关联数据信息；2.所构造的特征综合灰度以及高阶频率信息，减少宏块表征冲突同时，提升压缩率。

和现有技术相比，主要创造性在于：首次将本征模态分解方法应用于宏块特征，构造出宏块序列多维频率等特征，提出一个面向云桌面的无损关联编码方法，高效表征宏块，提升压缩率。

本申请的技术方案可能的应用场景包括：1.低带宽、弱网环境中使用云电脑；2.对图像显示精度要求高的云桌面场景，如autoCad工程绘图、医学图像、遥感图像、高精度图像分析。

在一些实施例中，S2中，通过以下公式得到第一特征：

其中，f

在一些实施例中，S3中，通过以下公式得到第二特征：

其中，f

在一些实施例中，S4中，通过以下公式得到宏块特征：

f＝(f

其中，f表示宏块特征，f

图3为本申请实施例提供的面向云桌面基于本征模态分解的无损关联编码系统的示意图，如图3所示，本申请提供一种面向云桌面基于本征模态分解的无损关联编码系统，包括：

获取模块10，用于从云桌面显示通道获取图片作为数据源，按照预设的大小将图片划分为预设大小的宏块，之后计算获取到各宏块的灰度值；

分解模块20，用于根据各宏块的灰度值，通过完整经验模态分解方法CEEMDAN进行分解得到多阶I MF分量，根据所述多阶I MF分量得到第一特征；

处理模块30，用于根据各宏块的灰度值的和得到第二特征；将所述第一特征与所述第二特征进行组合得到宏块特征；判断所述宏块特征是否存在于缓存中，若存在，则发送缓存中所述宏块特征对应的信息至客户端；若不存在，则缓存并发送所述宏块特征对应的信息至客户端。

在一些实施例中，分解模块用于通过以下公式得到第一特征：

其中，f

在一些实施例中，处理模块用于通过以下公式得到第二特征：

其中，f

在一些实施例中，处理模块用于通过以下公式得到宏块特征：

f＝(f

其中，f表示宏块特征，f

下面提供本申请的具体应用实例：

例如，以图4简要地说明云桌面场景下的图像显示通道中相邻帧具有高度相关性，图4中左右两帧是相邻帧，假设左边为a帧，右边为b帧，可以发现b帧是a帧经过向下滚动后产生的，方框区域内部分为相同内容，因此该部分能够实现缓存查找。

又例如，图5为宏块特征匹配示例图，如图5所示，本申请的技术方案可以实现在相邻帧之间利用所述宏块特征实现缓存的编码器，且经过验证确实可以满足要求，如图5中宏块a可由缓存中的宏块b的下部分以及宏块c的上部分组成。

在一些实施例中，本申请提供一种终端设备，包括存储器，处理器：

存储器，用于存储计算机程序；处理器，用于读取所述存储器中的计算机程序并执行上述的面向云桌面基于本征模态分解的无损关联编码方法。

在一些实施例中，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的面向云桌面基于本征模态分解的无损关联编码方法。

应该理解的是，虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，本申请提供一种终端设备，包括存储器，处理器：

存储器，用于存储计算机程序；处理器，用于读取所述存储器中的计算机程序并执行上述的面向云桌面基于本征模态分解的无损关联编码方法。

在一些实施例中，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的面向云桌面基于本征模态分解的无损关联编码方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。