图像处理方法、装置、电子设备和可读存储介质

技术领域

本申请涉及图像领域，尤其涉及一种图像处理方法、装置、电子设备和可读存储介质。

背景技术

在信息化的背景下，图片、视频的传输对于消息的传递起到了至关重要的作用。

当前针对视频以及图片在网络中的传输方法主要通过三类方法实现：1.将有损编码格式JPEG的图片用作保存和传输，使用base64编码后在网络中传输；2.将视频流使用h264编码进行解码。

这两种方法存在两个方面的问题：1.成本高，无论是JPEG还是PNG编码格式，都需要对每张图片进行编码，同时由于图片存在大量细节，因此图像的传输对网络传输的带宽要求更高；2.在监控场景下，无法达到图片的迅速反馈，h264的解码过程会消耗大量时间和资源。因此，基于上述方法进行图像传输，都会存在图像传输速率较低的问题。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备和可读存储介质，解决了因网络带宽不足而导致的传输效率较低的问题，节约了带宽，同时降低了图像传输成本。

为了解决上述问题，第一方面，本申请实施例公开了一种图像处理方法，应用于发送端，所述方法包括：

从待传输视频中确定基准帧和所述待传输视频中特征点的光流信息；所述光流信息用于反映所述特征点在所述待传输视频的不同图像帧中相对于所述基准帧的运动情况；

基于所述基准帧和所述光流信息生成第一图像；所述第一图像中包括所述基准帧和所述光流信息；

基于所述第一图像进行编码处理，得到所述第一图像对应的第一编码和第二编码；其中，所述第一编码为所述第一图像对应的第一张量的编码，所述第二编码为所述第一图像的概率分布信息的编码；

将所述第一编码和所述第二编码发送至接收端。

可选地，所述基于所述第一图像进行编码处理，得到所述第一图像对应的第一编码和第二编码，包括：

对所述第一图像进行基于三进制位平面的编码处理，得到所述第一图像的第一编码和概率张量，所述概率张量用于表示所述第一图像对应的三进制位平面中像素点的三进制位取值为预设值的概率；

将所述概率张量输入预设的第一模型进行编码处理，得到所述第一图像的第二编码；所述第一模型用于预测所述第一图像的特征的概率分布并对预测得到的概率分布信息进行编码。

可选地，所述光流信息包括速度向量，所述从待传输视频中确定基准帧和所述待传输视频中特征点的光流信息，包括：

从待传输视频中确定基准帧和第一图像帧，所述第一图像帧为所述待传输视频中除所述基准帧之外的图像帧；

基于所述基准帧和所述第一图像帧，计算所述特征点从第一位置运动到第二位置的速度向量；所述第一位置为所述特征点在所述基准帧中的位置，所述第二位置为所述特征点在所述第一图像帧中的位置。

第二方面，本申请实施例公开了一种图像处理方法，应用于接收端，所述方法包括：

接收第一编码和第二编码；

对所述第一编码进行解码，得到第一图像对应的第一张量；

对所述第二编码进行解码，得到所述第一图像的概率分布信息；

基于所述概率分布信息对所述第一张量进行校正，得到所述第一图像对应的第二张量；

将所述第二张量输入预设的解码器，得到所述第二张量对应的还原图像，所述还原图像中包括待传输视频中基准帧的像素信息和待传输视频的光流信息；所述光流信息用于反映所述特征点在所述待传输视频的不同图像帧中相对于所述基准帧的运动情况；

基于所述像素信息和所述光流信息进行图像重建处理，得到目标图像，所述目标图像用于反映所述基准帧中像素点的位置变化情况。

可选地，所述像素信息包括所述基准帧中各个像素点的像素值和像素位置；所述目标图像中像素点的像素值为所述像素点在所述基准帧中的像素值，所述目标图像中像素点的像素位置根据所述像素点在所述基准帧中的像素位置和所述光流信息确定。

可选地，所述基于所述概率分布信息对所述第一张量进行校正，得到所述第一图像对应的第二张量，包括：

将所述概率分布信息和所述第一张量输入预设的第二模型，得到所述第一图像对应的第二张量；

其中，所述第二模型包括第三子模型和第四子模型，所述第三子模型用于对所述第一张量和所述概率分布信息进行回归处理，所述第四子模型用于基于所述回归处理得到的所述第一张量和所述概率分布信息之间残差对所述第一张量进行校正。

第三方面，本申请实施例公开了一种图像处理装置，应用于发送端，所述装置包括：

光流信息提取模块，用于从待传输视频中确定基准帧和所述待传输视频中特征点的光流信息；所述光流信息用于反映所述特征点在所述待传输视频的不同图像帧中相对于所述基准帧的运动情况；

图像生成模块，用于基于所述基准帧和所述光流信息生成第一图像；所述第一图像中包括所述基准帧和所述光流信息；

编码模块，用于基于所述第一图像进行编码处理，得到所述第一图像对应的第一编码和第二编码；其中，所述第一编码为所述第一图像对应的第一张量的编码，所述第二编码为所述第一图像的概率分布信息的编码；

发送模块，用于将所述第一编码和所述第二编码发送至接收端。

第四方面，本申请实施例公开了一种图像处理装置，应用于接收端，所述装置包括：

接收模块，用于接收第一编码和第二编码；

第一解码模块，用于对所述第一编码进行解码，得到第一图像对应的第一张量；

第二解码模块，用于对所述第二编码进行解码，得到所述第一图像的概率分布信息；

校正模块，用于基于所述概率分布信息对所述第一张量进行校正，得到所述第一图像对应的第二张量；

还原模块，用于将所述第二张量输入预设的解码器，得到所述第二张量对应的还原图像，所述还原图像中包括待传输视频中基准帧的像素信息和待传输视频的光流信息；所述光流信息用于反映所述特征点在所述待传输视频的不同图像帧中相对于所述基准帧的运动情况；

重建模块，用于基于所述像素信息和所述光流信息进行图像重建处理，得到目标图像，所述目标图像用于反映所述基准帧中像素点的位置变化情况。

第五方面，本申请实施例公开了一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器可以执行所述计算机程序以实现如前述一个或多个所述的图像处理方法：

第六方面，本申请实施例公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的图像处理方法。

本申请实施例包括以下优点：

本申请实施例提供了一种图像处理方法，可以在发送端从待传输视频中确定基准帧和所述待传输视频中特征点的光流信息之后，基于所述基准帧和所述光流信息生成第一图像，并基于所述第一图像进行编码处理，得到所述第一图像对应的第一编码和第二编码，其中，第二编码为第一图像的概率分布信息的编码，最后将所述第一编码和所述第二编码发送至接收端。通过上述基于光流信息和图像的概率分布信息进行图像传输的方式，相对于现有技术中对每张图片进行编码的传输方式，在保证了图像质量的基础上，不需要进行过多的图像编码，可以减小视频编码后视频数据的传输量，解决了因网络带宽不足而导致的传输效率较低的问题，降低了对网络传输的带宽要求，同时，还有助于提高图像传输速率，降低传输成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一种图像处理方法实施例的步骤流程图；

图2是本申请的另一种图像处理方法实施例的步骤流程图；

图3是本申请的一种图像处理装置实施例的结构框图；

图4是本申请的另一种图像处理装置实施例的结构框图；

图5是本申请实施例提出的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

方法实施例

参照图1，示出了本申请的一种图像处理方法实施例的步骤流程图，应用于发送端，所述方法具体可以包括如下步骤：

步骤101、从待传输视频中确定基准帧和所述待传输视频中特征点的光流信息；所述光流信息用于反映所述特征点在所述待传输视频的不同图像帧中相对于所述基准帧的运动情况。

可以理解的是，本申请所述的图像包括但不限于图片、视频和影像等。发送端用于向接收端发送图像信息，可以是任一可以用于传输图像信息的电子设备，例如手机、电脑、无线手表、摄像头等。

其中，光流是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流通常是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的，例如，当你坐在火车上，然后往窗外看。你可以看到树、地面、建筑等等，他们都在往后退。这个运动就是光流。相应地，光流信息可以表示空间运动物体在观察成像平面上的像素运动的瞬时速度，也可以表示物体相对于参照物的角度信息。

特征点可以指待传输视频中构成特定物体的像素点或具有某种特征的像素点，本申请对此不做限定。同时，特征点的光流信息便可以反映出特定物体或特定特征的像素点在视频的不同图像帧中的运动情况。例如，特征点为视频中构成车辆轮胎的像素点，那么通过计算这些像素点在成像平面即图像帧中的瞬时速度，便可以进一步得到这些像素点即车辆轮胎在同一个视频其他帧中的位置。而所选择的特征点越多，那么光流信息所反映的视频中的物体的运动信息和每一帧的细节就越多，即，对于同一个视频中的图像帧A和B，利用图像帧A、特征点在B中相对于A的运动情况即光流信息是可以还原图像帧B的。

因此，光流信息可以用于反映所述特征点在所述待传输视频的不同图像帧中相对于所述基准帧的运动情况，也可以用于反映图像帧中的具体内容与细节的；由此推知，视频中的图像帧是可以用参考帧和特征点的光流信息来表示的。因此，在本申请实施例中，在从待传输视频中确定了参考帧即基准帧后，发送端可以通过对特征点的光流信息和基准帧进行编码，并将编码后的光流信息和基准帧发送到接收端从而实现图像传输，这种方式相对于现有技术中对每张图片进行编码的视频传输方式，不需要进行过多的图像编码，减小视频编码后视频数据的传输量，从而节约带宽，降低了对网络传输的带宽要求，同时，还有助于提高图像传输速率，降低传输成本。

具体而言，基准帧可以根据待传输视频中物体的实际组成情况进行确定，本申请对此不做限定。同时，光流信息也可以基于特征点在不同帧中的位置或不同帧之间的变化关系计算得到，本申请也不做限定。

步骤102、基于所述基准帧和所述光流信息生成第一图像；所述第一图像中包括所述基准帧和所述光流信息。

在本申请实施例中，可以将光流信息以标注的形式添加到基准帧中，从而生成包含基准帧和光流信息的第一图像；也可以将光流信息以张量的形式添加到基准帧中，即将特征点光流信息对应的张量添加到对应的像素点的张量中，而张量又是图像的一种表达形式，因此可以得到包括基准帧和光流信息的第一图像。

步骤103、基于所述第一图像进行编码处理，得到所述第一图像对应的第一编码和第二编码；其中，所述第一编码为所述第一图像对应的第一张量的编码，所述第二编码为所述第一图像的概率分布信息的编码。

为了提高传输的图像质量，在图像编码过程中，除了将张量形式的第一图像进行编码得到第一编码之外，还可以计算第一图像的概率分布信息，并将计算得到的概率分布信息一并进行传输，这有助于丰富传输的图像帧的内容细节，使传输的图像帧更加符合待传输视频中的原始图像帧，还可以与特征点的光流信息相互印证，避免传输的图像出现清晰度过低、乱码等问题。

其中，概率分布信息包括但不限于第一图像的元素或特征(例如图像的纹理、梯度等)的概率分布、第一图像的像素点的上下文信息等。

步骤104、将所述第一编码和所述第二编码发送至接收端。

可选地，步骤103所述基于所述第一图像进行编码处理，得到所述第一图像对应的第一编码和第二编码，可以包括：

步骤S11、对所述第一图像进行基于三进制位平面的编码处理，得到所述第一图像的第一编码和概率张量，所述概率张量用于表示所述第一图像对应的三进制位平面中像素点的三进制位取值为预设值的概率；

步骤S12、将所述概率张量输入预设的第一模型进行编码处理，得到所述第一图像的第二编码；所述第一模型用于预测所述第一图像的特征的概率分布并对预测得到的概率分布信息进行编码。

针对步骤S11：

基于三进制位平面的编码(trit-plane)是一种将图像的像素值按照三进制进行编码的表示方法，将每个像素值划分为三个部分：0、1和2。对于一个给定的像素值P，其trit-plane表示可以用下面的公式来计算：

其中i表示trit-plane的索引，Ti是对应trit-plane的值，公式中的floor()函数表示向下取整，％运算则表示取余数。这个公式将原图的像素值p除以3的i次方，并取余数，然后对结果进行取整操作，得到trit-plane的值。

其中，发送端在对第一图像执行trit-plane时，会首先根据第一图像所包含的信息生成第一图像的三维表达，即将第一图像分解为三进制位平面(trit-plane平面)，然后再将图像的像素值按照三进制进行编码。其中，多个trit-plane平面构成了第一图像的三维表达，每个trit-plane平面都包括相应位置上的像素值trit编码，即第一图像的第一编码。并且，trit-plane平面可以是从空间上划分出来的平面，也可以是根据第一图像的特征所划分的特征平面，本申请对此不作限定。

可以理解的是，在生成第一图像的三维表达过程中，由于二维图像所包含的信息是少于三维图像的，因此，每个三进制位平面相应位置上的像素值是无法全部确定的。基于此，在对第一图像进行trit-plane处理过程中，还可以通过多层感知机、支持向量机等神经网络模型来根据第一图像预测每个trit-plane平面上每个像素点的三进制位取值为预设值的概率，即每个trit-plane平面中每个像素点的三进制位取值为0、1或2的概率。同时，在发送端对第一图像进行编码的过程中，通常是对第一图像对应的张量进行编码处理，因此这些trit-plane平面上像素点的三进制位取值的概率信息也可以用张量来表示。换言之，可以用概率张量来表示所述第一图像对应的三进制位平面中像素点的三进制位取值为预设值的概率。

具体的，在对所述第一图像进行基于三进制位平面的编码处理时，可以先将第一图像进行切块处理，从而得到第一图像对应的至少两个截断张量，然后对截断张量进行基于三进制位平面的编码处理，从而得到第一图像的编码和概率张量，可以为后续对于图像潜在特征的挖掘提供可靠的数据基础。

针对步骤S12：

其中，预测第一图像的特征的概率分布，具体可以通过计算单个像素点上的像素值的概率分布，或特定平面区域内像素值的概率分布，即像素取值的条件概率，例如计算在0

基于概率向量计算第一图像的特征的概率分布，实质上是利用上下文信息(如相邻元素、特征统计等)来预测潜在元素或特征(例如图像的纹理、梯度等)的概率分布，即概率分布信息中包含了特征的概率分布以及图像像素点的上下文信息，有助于丰富传输的图像帧的内容细节，使传输的图像帧更加符合待传输视频中的原始图像帧，还可以与特征点的光流信息相互印证，避免传输的图像出现清晰度过低、乱码等问题，在节约传输资源、提高传输效率的基础上保证了图像的传输质量。

同时，基于概率向量计算第一图像的特征的概率分布还有助于排除掉不符合概率分布的冗余的概率信息，提高trit-plane平面中像素点三进制位取值概率预测的准确性，进而减少后续编码过程中所需的比特数，从而实现更高的压缩率，可以有效节约带宽等传输资源。因此，预设的第一模型也可以称为基于上下文的比特率减小的编码(Context-Based Rate Reduction，CRR)模型。

可选地，所述光流信息包括速度向量，步骤101所述从待传输视频中确定基准帧和所述待传输视频中特征点的光流信息，包括：

步骤S21、从待传输视频中确定基准帧和第一图像帧，所述第一图像帧为所述待传输视频中除所述基准帧之外的图像帧；

步骤S22、基于所述基准帧和所述第一图像帧，计算所述特征点从第一位置运动到第二位置的速度向量；所述第一位置为所述特征点在所述基准帧中的位置，所述第二位置为所述特征点在所述第一图像帧中的位置。

具体地，可以按照如下公式计算特征点从第一位置运动到第二位置的速度向量：

其中，u表示所述速度向量在第一方向上的值，v表示所述速度向量在第二方向上的值，

其中，在把图像看成二维离散函数的情况下，图像帧的梯度其实就是这个二维离散函数的求导，对于两个图像帧而言，像素点位置变化的求导其实就是速度。雅可比矩阵是一阶偏导数以一定方式排列成的矩阵。基于此，公式(2)实质上是对两个图像帧的各个像素点之间速度向量的累加，进而通过求解的方式来计算各个特征点从第一位置运动到第二位置的速度向量。

可选地，所述第一模型包括第一子模型和第二子模型；所述第一子模型用于按照预设的第一公式对所述概率张量进行计算，得到第一图像的元素的概率分布信息；所述第二子模型用于对所述概率分布信息进行独热编码；

其中，所述第一公式表示为：

表示更新后的像素点三进制位取值为i的概率，用于表示所述第一图像的特征的概率分布；x表示所述概率张量，β表示预设的尺度参数。

具体的，β为尺度参数，用于控制概率分布的形状。x

进一步地，为了优化第一模型，使得第一模型计算得到的概率分布信息符合图像中潜在元素或特征的分布关系，还需要在模型训练过程中，还需要基于第一模型的交叉熵对模型进行优化

其中，第一模型的损失函数如下所示：

其中，LCRR表示所述第一模型的交叉熵损失，qi表示模型训练样本的实际标签独热(one-hot)向量，

综上所述，本申请实施例提供了一种图像处理方法，可以在发送端从待传输视频中确定基准帧和所述待传输视频中特征点的光流信息之后，基于所述基准帧和所述光流信息生成第一图像，并基于所述第一图像进行编码处理，得到所述第一图像对应的第一编码和第二编码，最后将所述第一编码和所述第二编码发送至接收端。通过上述基于光流信息和图像的概率分布信息进行图像传输的方式，相对于现有技术中对每张图片进行编码的传输方式，在保证了图像质量的基础上，不需要进行过多的图像编码，可以减小视频编码后视频数据的传输量，从而节约带宽，降低了对网络传输的带宽要求，同时，还有助于提高图像传输速率，降低传输成本。

参照图2，示出了本申请的另一种图像处理方法实施例的步骤流程图，应用于接收端，所述方法具体可以包括如下步骤：

步骤201、接收第一编码和第二编码。

接收端用于在图像传输过程中接收发送端发送的图像编码信息，即第一编码和第二编码。并且，接收端可以是任一可以用于传输图像信息的电子设备，例如手机、电脑、无线手表、摄像头等，本申请对此不做限定。

步骤202、对所述第一编码进行解码，得到第一图像对应的第一张量。

其中，第一编码是在发送端对第一图像进行trit-plane处理得到的编码，而在图像传输的解码过程中，通常是对图像对应的张量进行处理，因此，对第一编码进行解码，可以得到第一图像对应的第一张量。其中，第一图像是基于待传输视频的基准帧和特征点的光流信息得到的，因此，所述第一张量同样包括待传输视频的基准帧信息和光流信息。

步骤203、对所述第二编码进行解码，得到所述第一图像的概率分布信息。

其中，第二编码是在发送端对第一图像的特征的概率分布信息进行编码得到的，在接收端接收到第二编码后，通过对第二编码进行对应的解码，能够得到第一图像的概率分布信息。其中，关于概率分布信息的相关内容具体可以参照步骤104所述的内容，本申请对此不做赘述。

步骤204、基于所述概率分布信息对所述第一张量进行校正，得到所述第一图像对应的第二张量。

概率分布信息可以反映第一图像中潜在元素或特征的概率分布，有助于丰富图像帧的内容细节。因此，基于概率分布信息可以对第一张量进行校正或细化处理，例如，平面区域A中的像素点B的三进制位取值为0，而该取值并不符合概率分布信息所反映的第一图像在区域A范围内的纹理特征，因此可以根据概率分布信息对像素点B的三进制位取值进行调整，使得第一图像更加符合传输前待传输视频中的原始图像帧。

具体地，可以通过逐点对比的方式对第一张量所表达的像素信息进行校正或细化，也可以基于概率分布信息对第一张量进行整体对比，对第一张量进行整体调整，从而得到第一图像对应的第二张量。具体方式本申请不作限定，可以根据实际情况进行调整。

将概率分布信息加入到视频传输过程中，并根据概率分布信息对图像对应的第一张量进行校正，能够使得传输的图像帧更加符合待传输视频中的原始图像帧，还可以与光流信息相互印证，避免传输的图像出现清晰度过低、乱码等问题，在节约传输资源、提高传输效率的基础上保证了图像的传输质量。

步骤205、将所述第二张量输入预设的解码器，得到所述第二张量对应的还原图像，所述还原图像中包括待传输视频中基准帧的像素信息和待传输视频的光流信息；所述光流信息用于反映所述特征点在所述待传输视频的不同图像帧中相对于所述基准帧的运动情况。

在对第一张量进行校正得到第二张量后，便可以通过预设的解码器，将以张量为表达形式的图像转换为平面上的图像，即还原图像。还原图像包括了待传输视频中基准帧的像素信息和待传输视频的光流信息。其中，还原图像和第一张量实质上都是对传输前的第一图像的还原，但是得益于图像传输过程中的概率分布信息，还原图像中的基准帧的像素信息相对于第一张量中包括的基准帧的像素信息更加丰富，更加贴近传输前的原始图像，充分保证了图像传输质量。

具体地，预设的解码器可以参照以下公式：

其中，X

步骤206、基于所述像素信息和所述光流信息进行图像重建处理，得到目标图像，所述目标图像用于反映所述基准帧中像素点的位置变化情况。

其中，光流信息反映了特征点在待传输视频的不同图像帧中相对于基准帧的运动情况，因此，利用基准帧的像素位置、像素值等像素信息和光流信息，可以得到特征点在不同图像帧中的像素信息，从而实现对于基准帧以外的其他图像帧的重建，并将重建后的图像帧进行组合，得到视频，完成视频传输过程。基于此，便实现了基于光流信息的低带宽、高传输质量、高效率的视频传输。

可选地，所述像素信息包括所述基准帧中各个像素点的像素值和像素位置；所述目标图像中像素点的像素值为所述像素点在所述基准帧中的像素值，所述目标图像中像素点的像素位置根据所述像素点在所述基准帧中的像素位置和所述光流信息确定。

相对应的，基于像素信息和所述光流信息的图像重建处理过程可以按照下述过程进行：

(1)遍历基准帧的每个像素点的像素位置(i,j)，同时获取光流信息所对应的图像帧中像素位置为(i,j)的像素点的光流速度向量V[i,j]＝(v

(2)计算目标图像的像素位置(i

其中(i

可选地，步骤204所述基于所述概率分布信息对所述第一张量进行校正，得到所述第一图像对应的第二张量，包括：

步骤S31、将所述概率分布信息和所述第一张量输入预设的第二模型，得到所述第一图像对应的第二张量；

其中，所述第二模型包括第三子模型和第四子模型，所述第三子模型用于对所述第一张量和所述概率分布信息进行回归处理，所述第四子模型用于基于所述回归处理得到的所述第一张量和所述概率分布信息之间残差对所述第一张量进行校正。

第二模型用于利用概率分布信息对第一张量进行校正，其实质上是利用概率分布信息所包含的上下文信息来进一步细化第一张量。

具体地，所述第二张量可以表示为：

其中，

基于上述公式(7)，为了实现对于第一张量的细化、校正，第二模型可以由第三子模型和第四子模型两部分构成。第三子模型为预设的回归模型，用于对第一张量和概率分布信息进行回归处理，得到二者之间的残差。第四子模型则用于按照上述公式(7)将第一张量与残差进行相加，得到第二张量，从而完成对于第一张量的细化、校正，能够使得第二张量对应的还原图像更加贴近传输前的第一图像，保证图像传输质量。

并且，为了保证第二模型的校正效果从而保证图像的传输质量，在对第二模型训练过程中同样需要下述损失函数来优化第二模型：

其中，L

可选地，所述方法还可以包括：

步骤S41、获取训练样本图像；

步骤S42、基于所述训练样本图像对神经网络模型进行训练，计算所述训练样本图像对应的第一张量和第二张量，并基于所述训练样本图像对应的第一张量和第二张量按照预设的第一损失函数计算所述神经网络模型的损失值，直到所述损失值满足预设条件，得到预设的第二模型；

其中，所述第一损失函数为：

L

其中，L

其中，权重参数可以根据具体需求进行设置，以便更好地平衡不同级别的贡献。欧几里得(Frobenius)范数可以用于衡量还原图像与编码前的图像的区别，从而衡量出还原图像的质量。

综上所述，本申请实施例提供了一种图像处理方法，在接收端接收到第一编码和第二编码并对第一编码和第二编码进行解码得到第一张量和概率分部信息后，基于所述概率分布信息对所述第一张量进行校正，得到所述第一图像对应的第二张量，并将所述第二张量输入预设的解码器，得到所述第二张量对应的还原图像，最后基于所述像素信息和所述光流信息进行图像重建处理，得到目标图像。通过上述基于光流信息和图像特征的概率分布信息进行图像解码的方式，相对于现有技术中对每张图片进行解码的传输方式，在保证了图像质量的基础上，不需要进行过多的图像解码，可以减少视频数据的传输量和图像解码过程中的数据计算的工作量，从而节约带宽，降低了对网络传输的带宽要求，同时，还有助于提高图像传输速率，降低传输成本。

装置实施例

参照图3，示出了本申请的一种图像处理装置实施例的结构框图，应用于发送端，所述装置具体可以包括：

光流信息提取模块301，用于从待传输视频中确定基准帧和所述待传输视频中特征点的光流信息；所述光流信息用于反映所述特征点在所述待传输视频的不同图像帧中相对于所述基准帧的运动情况；

图像生成模块302，用于基于所述基准帧和所述光流信息生成第一图像；所述第一图像中包括所述基准帧和所述光流信息；

编码模块303，用于基于所述第一图像进行编码处理，得到所述第一图像对应的第一编码和第二编码；其中，所述第一编码为所述第一图像对应的第一张量的编码，所述第二编码为所述第一图像的概率分布信息的编码；

发送模块304，用于将所述第一编码和所述第二编码发送至接收端。

可选地，所述编码模块可以包括：

第一编码子模块303，用于对所述第一图像进行基于三进制位平面的编码处理，得到所述第一图像的第一编码和概率张量，所述概率张量用于表示所述第一图像对应的三进制位平面中像素点的三进制位取值为预设值的概率；

第二编码子模块304，用于将所述概率张量输入预设的第一模型进行编码处理，得到所述第一图像的第二编码；所述第一模型用于预测所述第一图像的特征的概率分布并对预测得到的概率分布信息进行编码。

可选地，所述光流信息包括速度向量，所述光流信息提取模块，包括：

图像帧确定子模块，用于从待传输视频中确定基准帧和第一图像帧，所述第一图像帧为所述待传输视频中除所述基准帧之外的图像帧；

速度向量计算子模块，用于基于所述基准帧和所述第一图像帧，计算所述特征点从第一位置运动到第二位置的速度向量；所述第一位置为所述特征点在所述基准帧中的位置，所述第二位置为所述特征点在所述第一图像帧中的位置。

综上所述，本申请实施例提供了一种图像处理装置，可以在发送端从待传输视频中确定基准帧和所述待传输视频中特征点的光流信息之后，基于所述基准帧和所述光流信息生成第一图像，并基于所述第一图像进行编码处理，得到所述第一图像对应的第一编码和第二编码，其中，第二编码为第一图像的概率分布信息的编码，最后将所述第一编码和所述第二编码发送至接收端。通过上述基于光流信息和图像的概率分布信息进行图像传输的方式，相对于现有技术中对每张图片进行编码的传输方式，在保证了图像质量的基础上，不需要进行过多的图像编码，可以减小视频编码后视频数据的传输量，从而节约带宽，降低了对网络传输的带宽要求，同时，还有助于提高图像传输速率，降低传输成本。

参照图4，示出了本申请的另一种图像处理装置实施例的结构框图，应用于接收端，所述装置具体可以包括：

接收模块401，用于接收第一编码和第二编码；

第一解码模块402，用于对所述第一编码进行解码，得到第一图像对应的第一张量；

第二解码模块403，用于对所述第二编码进行解码，得到所述第一图像的概率分布信息；

校正模块404，用于基于所述概率分布信息对所述第一张量进行校正，得到所述第一图像对应的第二张量；

还原模块405，用于将所述第二张量输入预设的解码器，得到所述第二张量对应的还原图像，所述还原图像中包括待传输视频中基准帧的像素信息和待传输视频的光流信息；所述光流信息用于反映所述特征点在所述待传输视频的不同图像帧中相对于所述基准帧的运动情况；

重建模块406，用于基于所述像素信息和所述光流信息进行图像重建处理，得到目标图像，所述目标图像用于反映所述基准帧中像素点的位置变化情况。

可选地，所述像素信息包括所述基准帧中各个像素点的像素值和像素位置；所述目标图像中像素点的像素值为所述像素点在所述基准帧中的像素值，所述目标图像中像素点的像素位置根据所述像素点在所述基准帧中的像素位置和所述光流信息确定。

可选地，所述校正模块，可以包括：

第二模型处理子模块，用于将所述概率分布信息和所述第一张量输入预设的第二模型，得到所述第一图像对应的第二张量；

其中，所述第二模型包括第三子模型和第四子模型，所述第三子模型用于对所述第一张量和所述概率分布信息进行回归处理，所述第四子模型用于基于所述回归处理得到的所述第一张量和所述概率分布信息之间残差对所述第一张量进行校正。

综上所述，本申请实施例提供了一种图像处理装置，在接收端接收到第一编码和第二编码并对第一编码和第二编码进行解码得到第一张量和概率分部信息后，基于所述概率分布信息对所述第一张量进行校正，得到所述第一图像对应的第二张量，并将所述第二张量输入预设的解码器，得到所述第二张量对应的还原图像，最后基于所述像素信息和所述光流信息进行图像重建处理，得到目标图像。通过上述基于光流信息和图像特征的概率分布信息进行图像解码的方式，相对于现有技术中对每张图片进行解码的传输方式，在保证了图像质量的基础上，不需要进行过多的图像解码，可以减少视频数据的传输量和图像解码过程中的数据计算的工作量，从而节约带宽，降低了对网络传输的带宽要求，同时，还有助于提高图像传输速率，降低传输成本。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于同一发明构思，本申请实施例公开一种电子设备，图5示出了本申请实施例提出的电子设备的示意图，如图5所示，电子设备100包括：存储器110和处理器120，存储器110与处理器120之间通过总线通信连接，存储器110中存储有计算机程序，该计算机程序可在处理器120上运行，以实现本申请实施例公开的图像处理方法中的步骤。

基于同一发明构思，本申请实施例公开一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请实施例公开的图像处理方法中的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本申请实施例是参照根据本申请实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种图像处理方法、装置、电子设备和可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。