图像传输处理方法和装置、存储介质、电子设备

技术领域

本发明涉及图像传输处理领域，具体而言，涉及一种图像传输处理方法和装置、存储介质、电子设备。

背景技术

现有技术中，图像压缩算法均是将视频、图像分割为宏块，然后对这些宏块，在时域、或空域、或频域中提取有用信息，从而实现数据压缩。但是，将图像分块处理时，由于宏块之间的不连续性以及微小的边界误差会产生块效应，块效应将导致重建图像上出现明显的方格(比如，马赛克)或者周期性噪声。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像传输处理方法和装置、存储介质、电子设备，以至少解决现有技术中的图像压缩算法存在导致图像的块效应，增加周期性噪声的技术问题。

根据本发明实施例的一个方面，提供了一种图像传输处理方法，包括：获取待处理图像，其中，上述待处理图像为整帧图像；通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果；对上述变换处理结果进行量化处理以及编码处理，得到待传输码流；输出上述待传输码流。

可选的，上述整帧图像为未划分为宏块的图像。

可选的，获取待处理图像包括：获取原始图像和上述原始图像的像素值；基于上述原始图像的像素值对原始图像进行填充处理，得到上述待处理图像，其中，上述填充处理包括：补零填充，上述填充处理得到的上述待处理图像的行数据和列数据相同。

可选的，通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果包括:通过对空域的待处理图像进行离散余弦变换处理，得到从上述空域变换至频域的上述待处理图像。

可选的，通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果包括：检测上述待处理图像的离散余弦变换是否为多维离散余弦变换；若检测结果为是，则基于上述多维离散余弦变换的维度将上述多维离散余弦变换分解为多个一维离散余弦变换；采用多个上述一维离散余弦变换的计算公式确定上述待处理图像的变换矩阵，其中，上述变换矩阵基于上述待处理图像的分辨率和与分辨率对应的变化参数确定；按照上述变换矩阵对上述待处理图像的行数据和列数据进行离散余弦变换处理，得到上述变换处理结果。

可选的，上述离散余弦变换处理包括：行变换处理和列变换处理，按照上述变换矩阵对上述待处理图像的行数据和列数据进行离散余弦变换处理包括：获取上述待处理图像的行数据；采用上述变换矩阵对上述行数据进行上述行变换处理，得到行变换处理结果；通过对上述待处理图像进行行转换处理，得到上述待处理图像的列数据；在对上述列数据进行补零处理之后，采用上述变换矩阵对上述列数据进行上述列变换处理，得到列变换处理结果。

可选的，对上述变换处理结果进行量化处理以及编码处理，得到待传输码流包括：获取上述变换处理结果的频域系数；对上述频域系数进行量化处理，得到量化处理结果；对上述量化处理结果进行编码处理，得到上述待传输码流。

根据本发明实施例的另一方面，还提供了一种图像传输处理装置，包括：获取模块，用于获取待处理图像，其中，上述待处理图像为未进行分割处理的整帧图像；第一处理模块，用于通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果，其中，上述离散余弦变换处理用于将上述待处理图像从空域变换至频域；第二处理模块，用于对上述变换处理结果进行量化处理以及编码处理，得到待传输码流；输出模块，用于输出上述待传输码流。

可选的，上述获取模块包括：第一获取单元，用于获取原始图像和上述原始图像的像素值；第一处理单元，用于基于上述原始图像的像素值对原始图像进行填充处理，得到上述待处理图像，其中，上述填充处理包括：补零填充，上述填充处理得到的上述待处理图像的行数据和列数据相同。

可选的，上述第一处理模块包括：检测单元，用于检测上述待处理图像的离散余弦变换是否为多维离散余弦变换；分解单元，用于若检测结果为是，则基于上述多维离散余弦变换的维度将上述多维离散余弦变换分解为多个一维离散余弦变换；确定单元，用于采用多个上述一维离散余弦变换的计算公式确定上述待处理图像的变换矩阵，其中，上述变换矩阵基于上述待处理图像的分辨率和与分辨率对应的变化参数确定；第二处理单元，用于按照上述变换矩阵对上述待处理图像的行数据和列数据进行离散余弦变换处理，得到上述变换处理结果。

可选的，上述离散余弦变换处理包括：行变换处理和列变换处理，上述第二处理单元包括：第二获取单元，用于获取上述待处理图像的行数据；第三处理单元，用于采用上述变换矩阵对上述行数据进行上述行变换处理，得到行变换处理结果；第四处理单元，用于通过对上述待处理图像进行行转换处理，得到上述待处理图像的列数据；第五处理单元，用于在对上述列数据进行补零处理之后，采用上述变换矩阵对上述列数据进行上述列变换处理，得到列变换处理结果。

可选的，上述第二处理模块包括：第四获取单元，用于获取上述变换处理结果的频域系数；第六获取单元，用于对上述频域系数进行量化处理，得到量化处理结果；第七获取单元，用于对上述量化处理结果进行编码处理，得到上述待传输码流。

根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行任意一项上述的图像传输处理方法。

根据本发明实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序被设置为运行时执行任意一项上述的图像传输处理方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行任意一项上述的图像传输处理方法。

在本发明实施例中，通过获取待处理图像，其中，上述待处理图像为整帧图像；通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果；对上述变换处理结果进行量化处理以及编码处理，得到待传输码流；输出上述待传输码流，达到了避免导致图像的块效应和周期性噪声的目的，从而实现了节省图像传输码流的技术效果，进而解决了现有技术中的图像压缩算法存在导致图像的块效应，增加周期性噪声的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种图像传输处理方法的流程图；

图2是根据本申请实施例的一种可选的图像传输处理方法的场景示意图；

图3是根据本发明实施例的一种图像传输处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种图像传输处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种图像传输处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取待处理图像，其中，上述待处理图像为整帧图像；

步骤S104，通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果；

步骤S106，对上述变换处理结果进行量化处理以及编码处理，得到待传输码流；

步骤S108，输出上述待传输码流。

在本发明实施例中，通过获取待处理图像，其中，上述待处理图像为整帧图像；通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果；对上述变换处理结果进行量化处理以及编码处理，得到待传输码流；输出上述待传输码流，达到了避免导致图像的块效应和周期性噪声的目的，从而实现了节省图像传输码流的技术效果，进而解决了现有技术中的图像压缩算法存在导致图像的块效应，增加周期性噪声的技术问题。

在一种可选的实施例中，上述整帧图像为未划分为宏块的图像。

作为一种可选的实施例，由于传统的图像处理原理是采用图像分割技术分割成多个宏块，并将多个宏块一个一个进行输出以实现减小运算量，但是会造成图像的块效应，增加周期性噪声。

为解决上述技术问题，在一种可选的使用FPGA或者ASIC直接对图像整帧进行压缩的实施例中，首先，可以将当前帧图像(整帧图像)处理成行数据和列数据量相同的图像，然后对处理后的图像进行空频域转换后再做压缩，并输出待传输的整帧图像数据，通过本申请实施例，可以减小码流并避免块效应，采用FPGA实现域变换时可以采用数据位宽定长，例如，32bit，64bit的全流水。

在一种可选的实施例中，获取待处理图像包括：

步骤S202，获取原始图像和上述原始图像的像素值；

步骤S204，基于上述原始图像的像素值对原始图像进行填充处理，得到上述待处理图像，其中，上述填充处理包括：补零填充，上述填充处理得到的上述待处理图像的行数据和列数据相同。

图2是根据本申请实施例的一种可选的图像传输处理方法的场景示意图，下面参照图2并举一个具体示例对本申请方案进行以下详细说明：

例如，对一个1920*1080像素的待处理图像进行整帧的空域到频域的变换处理，则具体处理流程如下：首先获取原始图像，并基于原始图像的像素值对原始图像进行填充，使得1920*1080像素的图像变为1920*1920的图像；可选的，可以对整帧图像进行补0填充。

在一种可选的实施例中，通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果包括:

步骤S302，通过对空域的待处理图像进行离散余弦变换处理，得到从上述空域变换至频域的上述待处理图像。

在本申请实施例中，通过对空域的待处理图像进行离散余弦变换处理，即从上述空域变换至频域的上述待处理图像。

在一种可选的实施例中，通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果包括：

步骤S402，检测上述待处理图像的离散余弦变换是否为多维离散余弦变换；

步骤S404，若检测结果为是，则基于上述多维离散余弦变换的维度将上述多维离散余弦变换分解为多个一维离散余弦变换；

步骤S406，采用多个上述一维离散余弦变换的计算公式确定上述待处理图像的变换矩阵，其中，上述变换矩阵基于上述待处理图像的分辨率和与分辨率对应的变化参数确定；

步骤S408，按照上述变换矩阵对上述待处理图像的行数据和列数据进行离散余弦变换处理，得到上述变换处理结果。

可选的，以上述多维离散余弦变换为二维离散余弦变换(2D-DCT)为例，则在执行空域到频域2D-DCT变换时，可以将2D-DCT分解为两次一维DCT变换，并由一维DCT的公式，设量变换矩阵为H；其中，需要说明的是，本申请实施例在处理图像时，不进行图像分割，直接对整帧数据进行DCT变换(可以使用chen-DCT快速算法)，将整帧图像直接从空域变换到频域，然后对频域系数进行量化和编码处理，基于本申请实施例所提供的编码方式，可以通过极少的码流传输图像，也避免了图像分割产生的块效应。

其中，上述维离散余弦变换的计算公式如下所示：

由于一个1920*1080像素的待处理图像的一行像素为1920个点，进行一次DCT需要执行1920*1920次乘法，由于变换矩阵H的参数对于相同的分辨率是固定的，所以乘法是一个变量X(像素)去乘一个固定的数，而乘以一个固定的数，可以将该固定的参数分解为a(n)*2^n+a(n-1)2^(n-1)+......a(2)*2^2+a(1)*2^1+a(0)*2^0，然后使用移位去替代乘法，更加有利于硬件流水线设计。

例如：如果取1920点的64bit的位宽去量化DCT变换矩阵,则h1.1＝sqrt(2/3840)*cos((2*1+1)*pi/3840)*2^64＝64’h5D7A82CABFDE000，分解h1.1为a(n)*2^n+a(n-1)2^(n-1)+......a(2)*2^2+a(1)*2^1+a(0)*2^0的形式，那么a13,a14,a15,a16,a17,a18,a19,a20,a21,a22,a23,a24,a25,a27,a29,a31,a34,a35,a37,a43,a45,a47,a48,a49,a50,a52,a54,a55,a56,a58＝1，那么当计算x1*h1.1时，就可以把x1分别向左位移a(n)＝＝1的n位相加即可。

在一种可选的实施例中，上述离散余弦变换处理包括：行变换处理和列变换处理，按照上述变换矩阵对上述待处理图像的行数据和列数据进行离散余弦变换处理包括：

步骤S502，获取上述待处理图像的行数据；

步骤S504，采用上述变换矩阵对上述行数据进行上述行变换处理，得到行变换处理结果；

步骤S506，通过对上述待处理图像进行行转换处理，得到上述待处理图像的列数据；

步骤S508，在对上述列数据进行补零处理之后，采用上述变换矩阵对上述列数据进行上述列变换处理，得到列变换处理结果。

作为一种可选的实施例，如果按照1920*1920的矩阵对上述行数据进行上述行变换处理，得到行变换处理结果；再利用PingPong操作，将上述待处理图像进行行列转换，得到上述待处理图像的列数据；由于一列数据只有1080个点，因此可以将1080个点后面的数据补零，然后采用上述变换矩阵对上述列数据进行上述列变换处理，得到列变换处理结果，即可以重复利用这个H变换矩阵，节约硬件资源。

在一种可选的实施例中，对上述变换处理结果进行量化处理以及编码处理，得到待传输码流包括：

步骤S602，获取上述变换处理结果的频域系数；

步骤S604，对上述频域系数进行量化处理，得到量化处理结果；

步骤S606，对上述量化处理结果进行编码处理，得到上述待传输码流。

在本申请实施例中，在执行空域到频域的转换后可以借鉴JPEG的量化方式进行量化，量化处理完之后进行编码处理得到最终的待传输码流。

可选的，由于上述本申请实施例中执行的是整帧域变换处理，进而高频AC参数将在码流中集中在一块，而不像现有技术中的分块技术那样只集中在小块中，使用游行程编码因而可以节省传输码流。

通过本申请实施例所提供的方案进行处理后，之所以能够节省码流的原因是：首先高频参数经过量化后几乎都是0；现有技术中基于分块处理的编码技术中，高频参数量化后连续0的数量范围在0-63个，而本发明中，通过对整帧图像直接做域变换，使得连续0的数量范围达到0-(1920*1080-1)个，因此在使用游程编码RLC时，上述多个0就只需要极少的信息进行标识，因此，可以大大节省传输码流。

实施例2

根据本发明实施例，还提供了一种用于实施上述图像传输处理方法的装置实施例，图3是根据本发明实施例的一种图像传输处理装置的结构示意图，如图3所示，上述图像传输处理装置，包括：获取模块30、第一处理模块32、第二处理模块34和输出模块36，其中：

获取模块30，用于获取待处理图像，其中，上述待处理图像为未进行分割处理的整帧图像；第一处理模块32，用于通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果，其中，上述离散余弦变换处理用于将上述待处理图像从空域变换至频域；第二处理模块34，用于对上述变换处理结果进行量化处理以及编码处理，得到待传输码流；输出模块36，用于输出上述待传输码流。

在一种可选的实施例中，上述获取模块包括：第一获取单元，用于获取原始图像和上述原始图像的像素值；第一处理单元，用于基于上述原始图像的像素值对原始图像进行填充处理，得到上述待处理图像，其中，上述填充处理包括：补零填充，上述填充处理得到的上述待处理图像的行数据和列数据相同。

在一种可选的实施例中，上述第一处理模块包括：检测单元，用于检测上述待处理图像的离散余弦变换是否为多维离散余弦变换；分解单元，用于若检测结果为是，则基于上述多维离散余弦变换的维度将上述多维离散余弦变换分解为多个一维离散余弦变换；确定单元，用于采用多个上述一维离散余弦变换的计算公式确定上述待处理图像的变换矩阵，其中，上述变换矩阵基于上述待处理图像的分辨率和与分辨率对应的变化参数确定；第二处理单元，用于按照上述变换矩阵对上述待处理图像的行数据和列数据进行离散余弦变换处理，得到上述变换处理结果。

在一种可选的实施例中，上述离散余弦变换处理包括：行变换处理和列变换处理，上述第二处理单元包括：第二获取单元，用于获取上述待处理图像的行数据；第三处理单元，用于采用上述变换矩阵对上述行数据进行上述行变换处理，得到行变换处理结果；第四处理单元，用于通过对上述待处理图像进行行转换处理，得到上述待处理图像的列数据；第五处理单元，用于在对上述列数据进行补零处理之后，采用上述变换矩阵对上述列数据进行上述列变换处理，得到列变换处理结果。

在一种可选的实施例中，上述第二处理模块包括：第四获取单元，用于获取上述变换处理结果的频域系数；第六获取单元，用于对上述频域系数进行量化处理，得到量化处理结果；第七获取单元，用于对上述量化处理结果进行编码处理，得到上述待传输码流。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。

此处需要说明的是，上述获取模块30、第一处理模块32、第二处理模块34和输出模块36对应于实施例1中的步骤S102至步骤S108，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。

需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

上述的图像传输处理装置还可以包括处理器和存储器，上述获取模块30、第一处理模块32、第二处理模块34和输出模块36等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元，上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

根据本申请实施例，还提供了一种非易失性存储介质的实施例。可选地，在本实施例中，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行上述任意一种图像传输处理方法。

可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中，上述非易失性存储介质包括存储的程序。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取待处理图像，其中，上述待处理图像为整帧图像；通过对上述待处理图像进行离散余弦变换处理，得到变换处理结果；对上述变换处理结果进行量化处理以及编码处理，得到待传输码流；输出上述待传输码流。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取原始图像和上述原始图像的像素值；基于上述原始图像的像素值对原始图像进行填充处理，得到上述待处理图像，其中，上述填充处理包括：补零填充，上述填充处理得到的上述待处理图像的行数据和列数据相同。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：通过对空域的待处理图像进行离散余弦变换处理，得到从上述空域变换至频域的上述待处理图像。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：检测上述待处理图像的离散余弦变换是否为多维离散余弦变换；若检测结果为是，则基于上述多维离散余弦变换的维度将上述多维离散余弦变换分解为多个一维离散余弦变换；采用多个上述一维离散余弦变换的计算公式确定上述待处理图像的变换矩阵，其中，上述变换矩阵基于上述待处理图像的分辨率和与分辨率对应的变化参数确定；按照上述变换矩阵对上述待处理图像的行数据和列数据进行离散余弦变换处理，得到上述变换处理结果。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取上述待处理图像的行数据；采用上述变换矩阵对上述行数据进行上述行变换处理，得到行变换处理结果；通过对上述待处理图像进行行转换处理，得到上述待处理图像的列数据；在对上述列数据进行补零处理之后，采用上述变换矩阵对上述列数据进行上述列变换处理，得到列变换处理结果。

可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取上述变换处理结果的频域系数；对上述频域系数进行量化处理，得到量化处理结果；对上述量化处理结果进行编码处理，得到上述待传输码流。

根据本申请实施例，还提供了一种处理器的实施例。可选地，在本实施例中，上述处理器用于运行程序，其中，上述程序运行时执行上述任意一种图像传输处理方法。

根据本申请实施例，还提供了一种电子设备的实施例，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行上述任意一种的图像传输处理方法。

根据本申请实施例，还提供了一种计算机程序产品的实施例，当在数据处理设备上执行时，适于执行初始化有上述任意一种的图像传输处理方法步骤的程序。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取非易失性存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的非易失性存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。