一种二维图像实时远程同步投射方法

技术领域

本发明涉及信息技术领域和通信领域，更具体地，涉及一种二维图像实时远程同步投射方法。

背景技术

随着通信技术和网络传输技术的发展，视频通话的使用场景得到进一步的扩展。在视频通话中，通过将本地实时获取的二维图像数据进行数字编码后，通过网络传输并还原，从而实现远程的二维影像同步投射。

视频通话的质量往往依赖于网络传输的质量，但在某些场景下，网络带宽资源不足，而需要同步投射的二维影像的数据量较大，导致二维影像无法实现同步投射，降低了视频通话的用户体验。

现有技术中公开一种面向可穿戴设备的视频直播方法，包括发送端处理和接收端处理；所述发送端处理包括以下步骤：步骤A1：视频下采样；采用双线性插值算法对原始高分辨率图像下采样M倍，M≥4；步骤A2：视频编码；执行标准的视频编码算法编码下采样的视频帧；步骤A3：视频超分辨率重建；运用视频帧超分辨率重建技术，将编码器产生的低分辨率解码图像还原为高分辨率图像，获得超分辨率重建图像；步骤A4：重建残差预测；用原始高分辨率图像减去超分辨率重建图像得到重建残差；步骤A5：残差编码；直接对残差进行量化和标准的熵编码；步骤A6：码流复用；一帧图像的残差码流附加在标准的视频码流后，在网络拥塞时，优先发送视频码流；所述接收端处理包括以下步骤：步骤B1：视频解码；执行标准的视频解码；步骤B2：残差解码；对提取出的残差码流进行熵解码、反量化恢复残差信号；步骤B3：视频超分辨率重建；执行与发送端完全一样的超分辨率重建步骤；步骤B4：残差补偿；将解码后的残差叠加到重建后的超分辨率图像上，得到最终的输出结果。该方案虽然能提高视频传输的质量，但是在视频传输量较大时，所需的传输带宽资源也较大。

发明内容

本发明提供一种二维图像实时远程同步投射方法，大幅降低对网络传输质量的依赖，提升视频通话的用户体验。

为解决上述技术问题，本发明的技术方案如下：

一种二维图像实时远程同步投射方法，其特征在于，发射端将二维图像实时远程同步投射于接收端，其中：

发射端包括以下步骤：

S1：实时获取本地的高分辨率二维图像；

S2：将获取的高分辨率二维图像进行压缩编码，得到压缩编码后的二维图像；

S3：将当前时刻的压缩编码后的二维图像与上一时刻的压缩编码后的二维图像记行比较，将发生变化的区域数据进行通信传输至接收端；

接收端包括以下步骤：

S4：接受发射端传输来的发生变化的区域数据；

S5：利用所述发生变化的区域数据替换上一时刻的压缩编码后的二维图像的对应区域，得到当前时刻的二维图像；

S6：利用神经网络对所述当前时刻的二维图像进行图像超分辨率重构，得到最终的高分辨率图像。

优选地，步骤S2中使用双线性插值法将获取的高分辨率二维图像进行压缩编码。

优选地，所述双线性插值法将获取的高分辨率二维图像进行压缩编码，具体为：

设高分辨率二维图像的图像分辨率为

优选地，所述通过距离高分辨率二维图像中坐标

令四个最近的像素点坐标为：左下角

式中，w1、w2、w3、w4为权重，p1、p2、p3、p4分别为像素点p1、p2、p3、p4的像素值。

优选地，步骤S3中将当前时刻的压缩编码后的二维图像与上一时刻的压缩编码后的二维图像记行比较，将发生变化的区域数据进行通信传输至接收端，具体包括以下步骤：

S3.1：将当前时刻的压缩编码后的二维图像沿着X轴和Y轴L等分，切分分为L×L个小图像，并为每一个小图像进行编号；

S3.2：将当前时刻的压缩编码后的二维图像与上一时刻的压缩编码后的二维图像按相同的编号进行一一比较，将发生变化的小图像进行通信传输至接收端。

图像切分是为了降低网络传输的数据大小，在实时图片传输时，在一定的时间内，摄像头前的图像并不是整个都发生变化的，大部分情况下背景是不变的，只有人体或人体的头部发生变化，把图片切分成多个图片后，只需要传输发生变化的图片，不变的区域的图像可以不用传输，这样可以大大降低了网络传输的数据大小。

优选地，步骤S3.1具体包括以下步骤：

把编号相同的当前时刻的压缩编码后的二维图像的小图像与上一时刻的压缩编码后的二维图像的小图像均转换成灰度图；

按照图像的像素点循环，获取每个像素点的灰度值；

比对两张小图像像素点的灰度值，记录为比对结果s，s初始为0；

若当前像素点的灰度值不一样，则记录s不变；若当前像素点的灰度值一样，则记录为s+1；

令总的像素点有R个，则对比完成后，s/R则为两张小图像的相似度，记为sim；

若sim大于等于阈值，则返回true，判断为无变化；若sim小于阈值，则返回false，判断为有变化，进行通信传输至接收端。

优选地，步骤S5具体为：

将接收到的小图像替换上一时刻的压缩编码后的二维图像中相同编号的对应区域的小图像，得到当前时刻的二维图像。

优选地，步骤S6中所述神经网络包括特征块提取层、非线性映射层和像素重建层，其中：

所述特征块提取层从低分辨率图像提取多个互相有重叠的特征块，并将每个特征块表示为一个高维向量；

所述非线性映射层将每个高维向量非线性映射到另一个高维向量；

所述像素重构层将映射后的高维向量对应的特征块还原成高分率数据，生成最终的高分辨率图像。

优选地，还包括步骤S7：

将实时获取的高分辨率二维图像与重构得到的高分辨率二维图像进行相似度比较，将相似度小于相似度阈值的图片重新作为所述神经网络的训练集，更新神经网络。

优选地，步骤S7中将实时获取的高分辨率二维图像与重构得到的高分辨率二维图像进行相似度比较，具体为：

将实时获取的高分辨率二维图像与重构得到的高分辨率二维图像分别依次经过两层卷积层、最大池化层、两层卷积层、最大池化层、全连接层后，一起通过联合层后，计算对比loss。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过压缩传输的二维图像分辨率并在接收端初利用神经网络重构高分辨率的二维图像，大幅降低对网络传输质量的依赖，同时，通过仅发送发生变化的区域，大大降低了传输宽带资源的需求。

附图说明

图1为本发明的方法流程示意图。

图2为实施例提供的双线性插值示意图。

图3为实施例提供的神经网络结构示意图。

图4为实施例提供的图像对比算法模型示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

一种二维图像实时远程同步投射方法，如图1所示，发射端将二维图像实时远程同步投射于接收端，其中：

发射端包括以下步骤：

S1：实时获取本地的高分辨率二维图像；

S2：将获取的高分辨率二维图像进行压缩编码，得到压缩编码后的二维图像；

S3：将当前时刻的压缩编码后的二维图像与上一时刻的压缩编码后的二维图像记行比较，将发生变化的区域数据进行通信传输至接收端；

接收端包括以下步骤：

S4：接受发射端传输来的发生变化的区域数据；

S5：利用所述发生变化的区域数据替换上一时刻的压缩编码后的二维图像的对应区域，得到当前时刻的二维图像；

S6：利用神经网络对所述当前时刻的二维图像进行图像超分辨率重构，得到最终的高分辨率图像。

实施例2

本实施例在实施例1的基础上，继续公开以下内容：

步骤S2中使用双线性插值法将获取的高分辨率二维图像进行压缩编码。

所述双线性插值法将获取的高分辨率二维图像进行压缩编码，具体为：

设高分辨率二维图像的图像分辨率为

所述通过距离高分辨率二维图像中坐标

如图2所示，令四个最近的像素点坐标为：左下角

式中，w1、w2、w3、w4为权重，p1、p2、p3、p4分别为像素点p1、p2、p3、p4的像素值。

本实施例中本地获取的高分辨率二维图像为

步骤S3中将当前时刻的压缩编码后的二维图像与上一时刻的压缩编码后的二维图像记行比较，将发生变化的区域数据进行通信传输至接收端，具体包括以下步骤：

S3.1：将当前时刻的压缩编码后的二维图像沿着X轴和Y轴L等分，切分为L×L个小图像，并为每一个小图像进行编号；在本实施例中，将当前时刻的压缩编码后的二维图像沿着X轴和Y轴四等分，切分为16个小图像，并为每一个小图像按照从左到右，从上到下进行0至15编号；

S3.2：将当前时刻的压缩编码后的二维图像与上一时刻的压缩编码后的二维图像按相同的编号进行一一比较，将发生变化的小图像进行通信传输至接收端，在本实施例中上一时刻的压缩编码后的二维图像按照同样的编号方式进行编号。

图像切分是为了降低网络传输的数据大小，在实时图片传输时，在一定的时间内，摄像头前的图像并不是整个都发生变化的，大部分情况下背景是不变的，只有人体或人体的头部发生变化，把图片切分成多个图片后，只需要传输发生变化的图片，不变的区域的图像可以不用传输，这样可以大大降低了网络传输的数据大小。

步骤S3.1具体包括以下步骤：

把编号相同的当前时刻的压缩编码后的二维图像的小图像与上一时刻的压缩编码后的二维图像的小图像均转换成灰度图；

按照图像的像素点循环，获取每个像素点的灰度值；

比对两张小图像像素点的灰度值，记录为比对结果s，s初始为0；

若当前像素点的灰度值不一样，则记录s不变；若当前像素点的灰度值一样，则记录为s+1；

令总的像素点有R个，则对比完成后，s/R则为两张小图像的相似度，记为sim；

若sim大于等于阈值，则返回true，判断为无变化；若sim小于阈值，则返回false，判断为有变化，进行通信传输至接收端。本实施例中阈值设为0.95。

步骤S5具体为：

将接收到的小图像替换上一时刻的压缩编码后的二维图像中相同编号的对应区域的小图像，得到当前时刻的二维图像。

步骤S6中所述神经网络包括如图3所示，特征块提取层、非线性映射层和像素重建层，其中：

所述特征块提取层从低分辨率图像提取多个互相有重叠的特征块，并将每个特征块表示为一个高维向量；

所述非线性映射层将每个高维向量非线性映射到另一个高维向量；

所述像素重构层将映射后的高维向量对应的特征块还原成高分率数据，生成最终的高分辨率图像。

实施例3

本实施例在实施例1和实施例2的基础上，继续公开以下内容：

还包括步骤S7：

将实时获取的高分辨率二维图像与重构得到的高分辨率二维图像进行相似度比较，将相似度小于相似度阈值的图片重新作为所述神经网络的训练集，更新神经网络。

步骤S7中将实时获取的高分辨率二维图像与重构得到的高分辨率二维图像进行相似度比较，具体为：

如图4所示，将实时获取的高分辨率二维图像与重构得到的高分辨率二维图像分别依次经过两层卷积层、最大池化层、两层卷积层、最大池化层、全连接层后，一起通过联合层后，计算对比loss。

通过两地的图片相似度比较，可以不断修正特征参数，持续性提升两地图像的一致性。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。