掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法及设备

文献发布时间:2023-06-19 13:45:04


图像处理方法及设备

技术领域

本公开实施例涉及计算机与网络通信技术领域,尤其涉及一种图像处理方法及设备。

背景技术

在视频会议、网络直播、网络课程教学等过程中,当用户的网络带宽下降时,为了保证视频画面不会卡死,视频的分辨率会被降低,但是同时会影响视频图像的显示的效果。因此,需要提升视频中各帧的图像分辨率,即进行超分辨率的图像处理。

目前,最常用的超分辨率的图像处理方法是,将低分辨率图像进行上采样放大,对放大的图像计算其像素的哈希值,根据哈希值找到对应的一个预训练的滤波器,根据该滤波器对该像素进行滤波处理,然后对放大的图像中的每个像素进行上述处理,最终得到高分辨率图像。

但是这种方式,由于是在上采样放大的图像上进行滤波,图像中像素较多,处理速度较慢。

发明内容

本公开实施例提供一种图像处理方法及设备,以克服现有技术中需要在上采样放大的图像上进行滤波,图像中像素较多,导致处理速度较慢的问题。

第一方面,本公开实施例提供一种图像处理方法,包括:

获取低分辨率图像,并计算所述低分辨率图像中各像素的哈希值;

查询预存的哈希值与预训练的滤波器组的对应关系,得到所述各像素的哈希值对应的滤波器组,其中所述滤波器组中包括多个滤波器;

根据所述滤波器组中的各滤波器对所述各像素对应的像素区域分别进行滤波,得到多个滤波像素值;

将所述多个滤波像素值分别写入高分辨率图像的对应的坐标位置,得到所述低分辨率图像对应的高分辨率图像。

第二方面,本公开实施例提供一种图像处理装置,包括:

哈希值确定模块,用于获取低分辨率图像,并计算所述低分辨率图像中各像素的哈希值;

滤波器确定模块,用于查询预存的哈希值与预训练的滤波器组的对应关系,得到所述各像素的哈希值对应的滤波器组,其中所述滤波器组中包括多个滤波器;

滤波处理模块,用于根据所述滤波器组中的各滤波器对所述各像素对应的像素区域分别进行滤波,得到多个滤波像素值;

像素写入模块,用于将所述多个滤波像素值分别写入高分辨率图像的对应的坐标位置,得到所述低分辨率图像对应的高分辨率图像。

第三方面,本公开实施例提供一种电子设备,包括:处理器和存储器;

所述存储器存储计算机执行指令;

所述处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

第五方面,本公开实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

本实施例提供的图像处理方法及设备,该方法,通过获取低分辨率图像的像素的哈希值,根据哈希值查询到对应的滤波器组,根据滤波器组中多个滤波器,对低分辨率图像的像素的对应区域分别进行滤波,使得每个滤波器输出一个滤波像素值,将各个滤波像素值写入高分辨率图像的对应的坐标位置,从而实现对图像的超分辨率处理,得到高分辨率图像。首先,由于是对低分辨率图像中像素进行滤波的,相比较现有技术中对上采样放大的图像上进行滤波本实施例中进行滤波处理的像素数量少,处理效率得到较大提升;其次,现有技术中需要从内存中一次一个的读取缓存的滤波器,需要频繁的访问内存,导致响应速度慢,而本实施例则是从内存中一次性读取多个连续存储的滤波器组成的滤波器组,不需要频繁的访问内存,提升了响应速度。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的图像处理的场景示意图;

图2为本公开实施例提供的图像处理方法流程示意图一;

图3为本公开实施例提供的图像处理方法流程示意图二;

图4为本公开实施例提供的图像处理方法流程示意图三;

图5为本公开实施例提供的图像处理方法流程示意图四;

图6为本公开实施例提供的图像处理装置的结构框图;

图7为本公开实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。

在视频会议、网络直播、网络课程教学等过程中,当用户的网络带宽下降时,为了保证视频画面不会卡死,视频的分辨率会被降低,但是这样会影响视频画面的显示效果。为了提升视频画面的显示效果,此时可以通过上采样算法提升视频中各帧的图像分辨率。传统的上采样算法包括双线性插值或三线性插值,但是这两种传统的上采样算法会导致视频图像中的高频信息缺失,使得视频图像变模糊。为了解决该问题,目前已经提出了多种的超分辨率的算法对视频图像进行处理以改善上采样的画面模糊的问题。首先,有人提出了基于深度学习的方法,即将低分辨率图像直接输入深度学习模型进行上采样得到高分辨率图像,这种方法虽然能够提高画面效果,但是速度比较慢,甚至需要使用GPU(GraphicsProcessing Unit)进行加速,成本较高。其次,还有人提出了使用图像锐化处理方法对低分辨率图像进行强化高频信息的处理,这种方法处理后的图像画面虽然比较锐利,但是图像画面的细节不够丰富、锐化效果不均衡。因此上述两种方式应用不够广泛。目前,最常用的超分辨率的图像处理方法是,将低分辨率图像进行上采样放大,对放大的图像计算像素的哈希值,根据哈希值找到对应的一个预训练的滤波器,根据该滤波器对该像素进行滤波处理,得到高分辨率图像。但是这种方式,由于是在上采样放大的图像上进行滤波,图像像素较多,导致处理速度较慢。

为了解决上述技术问题,本公开提供了如下技术方案:通过获取低分辨率图像的像素的哈希值,根据哈希值查询到对应的滤波器组,根据滤波器组中多个滤波器,对低分辨率图像的像素的对应区域分别进行滤波,使得每个滤波器输出一个滤波像素值,将各个滤波像素值写入高分辨率图像的对应的坐标位置,从而实现对图像的超分辨率处理,得到高分辨率图像。由于是对低分辨率图像中像素进行滤波的,进行滤波处理的像素数量少,处理效率得到较大提升。

参考图1,图1为本公开实施例提供的图像处理的场景示意图。如图1所示,包括终端101和服务器102。其中,终端101可以是任何形式的终端设备,本公开所涉及的终端设备可以是无线终端也可以是有线终端。无线终端可以是指向用户提供语音和/或其他业务数据连通性的设备,具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(Radio Access Network,简称RAN)与一个或多个核心网设备进行通信,无线终端可以是移动终端,如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,它们与无线接入网交换语言和/或数据。再例如,无线终端还可以是个人通信业务(PersonalCommunication Service,简称PCS)电话、无绳电话、会话发起协议(Session InitiationProtocol,简称SIP)话机、无线本地环路(Wireless Local Loop,简称WLL)站、个人数字助理(Personal Digital Assistant,简称PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(Subscriber Station),移动站(Mobile Station)、移动台(Mobile)、远程站(Remote Station)、远程终端(Remote Terminal)、接入终端(AccessTerminal)、用户终端(User Terminal)、用户代理(User Agent)、用户设备(User Deviceor User Equipment),在此不作限定。可选的,上述终端设备还可以是手机、智能穿戴设备、平板电脑等终端设备。

服务器102,可以是一台服务器或多台服务器组成的集群,该服务器可以通过网络与终端进行通信,服务器可以为终端101提供各种通信数据。

参考图2,图2为本公开实施例提供的图像处理方法流程示意图一。本实施例的方法可以应用在如图1所示的终端或服务器中,对此本公开不作任何限制,该图像处理方法包括:

S201:获取低分辨率图像,并计算所述低分辨率图像中各像素的哈希值。

在本实施例中,低分辨率图像可以是视频会议、网络直播、网络课程教学等视频过程中,当用户的网络带宽下降时,视频的分辨率被降低后产生的图像。

具体地,确定低分率图像中任一像素所在对应区域内的多个像素值,根据该区域内的多个像素值计算该区域的哈希值,即为低分率图像中任一像素对应的哈希值。

S202:查询预存的哈希值与预训练的滤波器组的对应关系,得到所述各像素的哈希值对应的滤波器组,其中所述滤波器组中包括多个滤波器。

在本实施例中,在本地提前存储了哈希值与预训练的滤波器组的对应关系,该预存的哈希值与预训练的滤波器组的对应关系的存储格式可以是表格格式或数据库格式等。

其中,预存的哈希值与预训练的滤波器组的对应关系中包括不同的哈希值对应的预训练的多个滤波器组成的滤波器组。

具体地,不同的哈希值对应的预训练的滤波器组是根据大量的高分辨率图片,进行下采样处理,得到大量的低分率图片;然后以大量的高分辨率图片及其对应的低分率图片为训练数据集,将低分率图片作为输入、高分辨率图作为输出对滤波器组进行方程求解,得到的不同的哈希值对应的滤波器组。

S203:根据所述滤波器组中的各滤波器对所述各像素对应的像素区域分别进行滤波,得到多个滤波像素值。

在本实施例中,滤波器组中包括的滤波器的个数与高分辨率图像的对应的坐标位置的像素个数是相同的。这里,低分辨率图像到高分辨率图像的上采样的倍数为s倍,则滤波器组中的滤波器的个数为s

其中,每个滤波器的大小与各像素对应的像素区域的大小是相同的。例如每个滤波器的大小为k*k,对应各像素对应的像素区域大小也为k*k,其中k为像素个数。

S204:将所述多个滤波像素值分别写入高分辨率图像的对应的坐标位置,得到所述低分辨率图像对应的高分辨率图像。

在本实施例中,低分辨率图像到高分辨率图像的上采样的倍数为s倍,则滤波器组中的滤波器的个数为s

从上述描述可知,通过获取低分辨率图像的像素的哈希值,根据哈希值查询到对应的滤波器组,根据滤波器组中多个滤波器,对低分辨率图像的像素的对应区域分别进行滤波,使得每个滤波器输出一个滤波像素值,将各个滤波像素值写入高分辨率图像的对应的坐标位置,从而实现对图像的超分辨率处理,得到高分辨率图像。首先,由于是对低分辨率图像中像素进行滤波的,相比较现有技术中对上采样放大的图像上进行滤波本实施例中进行滤波处理的像素数量少,处理效率得到较大提升;其次,现有技术中需要从内存中一次一个的读取缓存的滤波器,需要频繁的访问内存,导致响应速度慢,而本实施例则是从内存中一次性读取多个连续存储的滤波器组成的滤波器组,不需要频繁的访问内存,提升了响应速度。

参考图3,图3为本公开实施例提供的图像处理方法流程示意图二。在上述实施例的基础上,上述步骤S201,具体包括:

S301:确定所述低分辨率图像中以各像素为中心、像素大小为k*k的正方形区域,其中k为大于1的奇数。

在本实施例中,针对低分辨率图像中的每个像素,均确定其对应的像素大小为k*k的正方形区域,

这里,k为大于1的奇数。可选地,k取值为3或5等。

S302:计算所述正方形区域内各像素的像素梯度值。

具体地,分别计算所述正方形区域的各像素在水平方向上的第一像素梯度,以及在垂直方向上的第二像素梯度。

在本实施例中,计算水平方向上的第一像素梯度为使用当前像素的右边相邻的像素的像素值减去当前像素的像素值;计算垂直方向上的第二像素梯度为使用当前像素的下方相邻的像素的像素值减去当前像素的像素值。具体计算公式,如下:

g

g

式中,g

S303:根据所述正方形区域内各像素的像素梯度值,生成一个像素梯度矩阵。

具体地,根据所述正方形区域的各像素的像素梯度值构建一个2*2的像素梯度矩阵;其中,所述2*2的像素梯度矩阵中的第一个元素等于所述各像素在水平方向的第一像素梯度的平方和,第二个元素和第三个元素等于所述各像素在水平方向的第一像素梯度与在垂直方向的第二像素梯度的乘积之和,第四个元素等于所述各像素在垂直方向的第二像素梯度的平方和。

在本实施例中,根据上述k*k的正方形区域的各像素的像素梯度值生成一个2*2的像素梯度矩阵,这个矩阵中的四个元素如下所示:

其中,

S304:计算所述像素梯度矩阵的特征值。

具体地,计算所述2*2的像素梯度矩阵的特征值,得到所述2*2的像素梯度矩阵的第一特征值和第二特征值。

在本实施例中,计算2*2的像素梯度矩阵的特征值,得到两个特征值,这里将第一特征值记为λ

S305:根据所述特征值计算所述像素梯度矩阵的强度值、相干性值和角度值。

具体地,根据所述第一特征值,计算得到所述强度值;根据所述第一特征值和第二特征值,计算得到所述相干性值;计算所述第一特征值对应的特征向量,并根据所述特征向量计算得到所述角度值。

在本实施例中,根据所述第一特征值,计算得到所述强度值,的公式如下:

str=λ

式中,str为强度值。

在本实施例中,根据所述第一特征值和第二特征值,计算得到所述相干性值,的公式加下:

式中,coh为相干性值。

在本实施例中,计算所述第一特征值对应的特征向量,记为λ

式中,ang为角度值,non_linear_func为进行非线性映射计算。

S306:对所述强度值、相干性值和角度值进行取整量化处理,得到取整后的强度值、相干性值和角度值。

具体地,根据所述强度值和预训练的强度值区间以及强度值区间段落的数量,确定所述强度值对应的取整后的强度值;根据所述相干性值和预训练的相干性值区间以及相干性值区间段落的数量,确定所述相干性值对应的取整后的相干性值;根据所述角度值以及所述角度值的分段数量,确定所述角度值对应的取整后的角度值。

在本实施例中,据所述强度值和预训练的强度值区间以及强度值区间段落的数量,确定所述强度值对应的取整后的强度值,其计算公式如下:

式中,lambda为取整后的强度值,str

在本实施例中,根据所述相干性值和预训练的相干性值区间以及相干性值区间段落的数量,确定所述相干性值对应的取整后的相干性值,其计算公式如下:

式中,u为取整后的相干性值,coh

在本实施例中,根据所述角度值以及所述角度值的分段数量,确定所述角度值对应的取整后的角度值,其计算公式如下:

theta=floor(ang*P)

式中,theta为取整后的角度值,floor为向下取整;P为角度值的分段数量。

需要说明的是,本实施例中提供的预训练的强度值区间以及强度值区间段落数量,以及预训练的相干性值区间以及相干性值区间段落的数量,是根据大量的高分辨率图片进行下采样处理,得到大量的低分率图片,并根据大量的低分率图片计算得到大量不同的强度值和相干性值进行分别排序,然后按照预设的区间段落数量进行间隔取值获得的。

S307:根据所述低分辨率图像中各像素对应的所述取整后的强度值、相干性值和角度值,计算得到所述低分辨率图像中各像素的哈希值。

具体地,根据所述取整后的角度值与所述强度值的分段数量、所述相干性值区间段落的数量的乘积,所述取整后的强度值与所述相干性值区间段落的数量,所述取整后的相干性值,确定所述低分辨率图像中各像素的哈希值。

在本实施例中,根据所述取整后的角度值与所述强度值的分段数量、所述相干性值区间段落的数量的乘积,所述取整后的强度值与所述相干性值区间段落的数量,所述取整后的相干性值,确定所述低分辨率图像中各像素的哈希值,的计算公式如下:

hash=theta*Q*C+lambda*C+u

式中,hash为低分辨率图像中像素的哈希值;theta为取整后的角度值;Q为强度值区间段落的数量;C为相干性值区间段落的数量;lambda为取整后的强度值;u为取整后的相干性值。

从上述描述可知,通过确定低分辨率图像中以各像素为中心、像素大小为k*k的正方形区域,根据该正方形区域计算得到像素梯度值,根据像素梯度值构建像素梯度矩阵,根据像素梯度值得到像素梯度矩阵的强度值、相干性值和角度值,并根据像素梯度矩阵的强度值、相干性值和角度值得到低分辨率图像中各像素的哈希值,本实施例提供的哈希值计算是在低分辨率图像上进行计算得到的,相比较现有技术对高分辨率图像进行哈希值计算的方式,本实施例提供的计算方式,计算量更低,计算效率较快。

参考图4,图4为本公开实施例提供的图像处理方法流程示意图三。在上述图3对应实施例的基础上,本实施例还提供了如何进行预训练以得到预训练的强度值区间以及强度值区间段落数量,以及预训练的相干性值区间以及相干性值区间段落的数量的过程,具体详述如下:

S401:获取多个高分辨率图片,并对所述多个高分辨图片进行下采样插值处理,得到多个低分率图片。

在本实施例中,对所述多个高分辨图片进行下采样插值处理,其下采样插值的倍数与上述对低分辨率图像到高分辨率图像的上采样的倍数相同,例如取值为s倍。

S402:确定各低分率图片上以各像素为中心、像素大小为k*k的正方形区域。

在本实施例中,针对每个低分辨率图片中的每个像素,均确定其对应的以该像素为中心、像素大小为k*k的正方形区域。

S403:计算各低分率图片上每个像素对应的正方形区域内各像素的像素梯度值;根据所述各像素的像素梯度值,生成像素梯度矩阵;计算所述像素梯度矩阵的特征值;根据所述特征值计算所述像素梯度矩阵的强度值、相干性值。

在本实施例中,本步骤的计算过程与上述步骤S302至S305的计算过程一致,具体请参考上述步骤S302至S305相关描述,这里不再赘述。

S404:对获取的多个强度值进行升序排序,并按照预设的强度值区间段落的数量对所述多个强度值进行间隔取值,得到所述预训练的强度值区间。

在本实施例中,计算各低分率图片上各正方形区域内得到多个强度值。

这里,假设预设的强度值区间段落的数量取值为Q,将升序排序的强度值按照

S405:对获取的多个相干性值进行升序排序,并按照预设的相干性值区间段落的数量对所述多个相干性值进行间隔取值,得到所述预训练的相干性值区间。

在本实施例中,计算各低分率图片上各正方形区域内得到多个相干性值。

这里,预设的相干性值区间段落的数量为C,将升序排序的相干性值按照

从上述描述可知,通过对大量的高分辨率图片进行下采样处理,得到大量的低分率图片,并根据大量的低分率图片计算得到大量不同的强度值和相干性值进行分别排序,然后按照预设的区间段落数量进行取值,获得预训练的强度值区间以及预训练的相干性值区间,能够为后续的强度值、相干性值和角度值进行取整量化处理提供准确的参考依据。

参考图5,图5为本公开实施例提供的图像处理方法流程示意图四。在上述图1-图4对应的任一实施例的基础上,本实施例还提供了如何构建预存的哈希值与预训练的滤波器组的对应关系的过程,具体详述如下:

S501:获取多个高分辨率图片,并对所述多个高分辨图片进行下采样插值处理,得到多个低分率图片。

在本实施例中,对所述多个高分辨图片进行下采样插值处理,其下采样插值的倍数与上述对低分辨率图像到高分辨率图像的上采样的倍数相同,例如取值为s倍。

S502:确定各低分辨率图片中的各像素以及各像素对应所述高分辨率图片中的多个目标像素。

在本实施例中,步骤S501中进行下采样插值处理的过程中,会将高分辨率图片中的多个目标像素进行下采样插值,得到低分率图片中的一个像素。

S503:计算所述低分辨率图片中以各像素为中心、像素大小为k*k的正方形区域的哈希值,其中k为大于1的奇数。

在本实施例中,本步骤的计算过程与上述步骤S301至S307计算过程一致,具体请参考上述步骤S301至S307相关描述,这里不再赘述。

S504:将具有相同哈希值的所述低分辨率图片中的各像素对应的正方形区域像素以及对应的所述高分辨率图片中的多个目标像素列为一组,得到m组的低分辨率图片的正方形区域像素与对应的高分辨率图片中的多个目标像素,其中m为正整数。

在本实施例中,m的取值可以根据实际情况进行调整。可选地,m的取值大于100000。

S505:将m组的低分辨率图片的正方形区域像素与对应的高分辨率图片中的多个目标像素进行联立矩阵方程。

在本公开的一个实施例中,所述矩阵方程为:

PF=b

式中,P为低分辨率图片中的各正方形区域像素,其矩阵尺寸为m行,k*k列;F是滤波器组,其矩阵尺寸为1行,s*s列;b为高分辨率图片上的s*s个目标像素,其中s为下采样插值的倍数。

S506:求解m组的所述矩阵方程中的滤波器组,得到每个哈希值对应的滤波器组。

在本实施例中,针对任一哈希值对应的矩阵方程PF=b,采用最小二乘法进行求解,得到该任一哈希值对应的滤波器组为F=(P

从上述描述可知,通过不同的哈希值对应的滤波器组是根据大量的高分辨率图片,进行下采样处理,得到大量的低分率图片;然后以大量的高分辨率图片及其对应的低分率图片为训练数据集,将低分率图片作为输入、高分辨率图作为输出能够求解得到对应的滤波器组,本实施例能够准确快速地得到的不同的哈希值对应的滤波器组,提高准确度和处理效率。

对应于上文实施例的图像处理方法,图6为本公开实施例提供的图像处理装置的结构框图。为了便于说明,仅示出了与本公开实施例相关的部分。参照图6,所述装置包括:哈希值确定模块601、滤波器确定模块602、滤波处理模块603和像素写入模块604。

其中,哈希值确定模块601,用于获取低分辨率图像,并计算所述低分辨率图像中各像素的哈希值;

滤波器确定模块602,用于查询预存的哈希值与预训练的滤波器组的对应关系,得到所述各像素的哈希值对应的滤波器组,其中所述滤波器组中包括多个滤波器;

滤波处理模块603,用于根据所述滤波器组中的各滤波器对所述各像素对应的像素区域分别进行滤波,得到多个滤波像素值;

像素写入模块604,用于将所述多个滤波像素值分别写入高分辨率图像的对应的坐标位置,得到所述低分辨率图像对应的高分辨率图像。

根据本公开的一个或多个实施例,所述哈希值确定模块601,具体用于确定所述低分辨率图像中以各像素为中心、像素大小为k*k的正方形区域,其中k为大于1的奇数;计算所述正方形区域内各像素的像素梯度值;根据所述正方形区域内各像素的像素梯度值,生成一个像素梯度矩阵;计算所述像素梯度矩阵的特征值;根据所述特征值计算所述像素梯度矩阵的强度值、相干性值和角度值;对所述强度值、相干性值和角度值进行取整量化处理,得到取整后的强度值、相干性值和角度值;根据所述低分辨率图像中各像素对应的所述取整后的强度值、相干性值和角度值,计算得到所述低分辨率图像中各像素的哈希值。

根据本公开的一个或多个实施例,所述哈希值确定模块601,具体用于所述计算所述正方形区域的像素梯度值,包括:分别计算所述正方形区域的各像素在水平方向上的第一像素梯度,以及在垂直方向上的第二像素梯度;相应地,所述根据所述正方形区域内各像素的像素梯度值,生成一个像素梯度矩阵,包括:根据所述正方形区域的各像素的像素梯度值构建一个2*2的像素梯度矩阵;其中,所述2*2的像素梯度矩阵中的第一个元素等于所述各像素在水平方向的第一像素梯度的平方和,第二个元素和第三个元素等于所述各像素在水平方向的第一像素梯度与在垂直方向的第二像素梯度的乘积之和,第四个元素等于所述各像素在垂直方向的第二像素梯度的平方和;相应地,所述计算所述像素梯度矩阵的特征值,包括:计算所述2*2的像素梯度矩阵的特征值,得到所述2*2的像素梯度矩阵的第一特征值和第二特征值:相应地,所述根据所述特征值计算所述像素梯度矩阵的强度值、相干性值和角度值,包括:根据所述第一特征值,计算得到所述强度值;根据所述第一特征值和第二特征值,计算得到所述相干性值;计算所述第一特征值对应的特征向量,并根据所述特征向量计算得到所述角度值。

根据本公开的一个或多个实施例,所述哈希值确定模块601,具体用于所述对所述强度值、相干性值和角度值进行取整量化处理,得到取整后的强度值、相干性值和角度值,包括:根据所述强度值和预训练的强度值区间以及强度值区间段落的数量,确定所述强度值对应的取整后的强度值;根据所述相干性值和预训练的相干性值区间以及相干性值区间段落的数量,确定所述相干性值对应的取整后的相干性值;根据所述角度值以及所述角度值的分段数量,确定所述角度值对应的取整后的角度值。

根据本公开的一个或多个实施例,所述所述哈希值确定模块601,具体用于所述根据所述低分辨率图像中各像素对应的所述取整后的强度值、相干性值和角度值,计算得到所述低分辨率图像中各像素的哈希值,包括:根据所述取整后的角度值与所述强度值的分段数量、所述相干性值区间段落的数量的乘积,所述取整后的强度值与所述相干性值区间段落的数量,所述取整后的相干性值,确定所述低分辨率图像中各像素的哈希值。

根据本公开的一个或多个实施例,所述装置还包括:区间信息预训练模块605,用于获取多个高分辨率图片,并对所述多个高分辨图片进行下采样插值处理,得到多个低分率图片;确定各低分率图片上以各像素为中心、像素大小为k*k的正方形区域;计算各低分率图片上每个像素对应的正方形区域内各像素的像素梯度值;根据所述各像素的像素梯度值,生成像素梯度矩阵;计算所述像素梯度矩阵的特征值;根据所述特征值计算所述像素梯度矩阵的强度值、相干性值;对获取的多个强度值进行升序排序,并按照预设的强度值区间段落的数量对所述多个强度值进行间隔取值,得到所述预训练的强度值区间;对获取的多个相干性值进行升序排序,并按照预设的相干性值区间段落的数量对所述多个相干性值进行间隔取值,得到所述预训练的相干性值区间。

根据本公开的一个或多个实施例,所述装置还包括:滤波器组预训练模块606,用于获取多个高分辨率图片,并对所述多个高分辨图片进行下采样插值处理,得到多个低分率图片;确定各低分辨率图片中的各像素以及各像素对应所述高分辨率图片中的多个目标像素;计算所述低分辨率图片中以各像素为中心、像素大小为k*k的正方形区域的哈希值,其中k为大于1的奇数;将具有相同哈希值的所述低分辨率图片中的各像素对应的正方形区域像素以及对应的所述高分辨率图片中的多个目标像素列为一组,得到m组的低分辨率图片的正方形区域像素与对应的高分辨率图片中的多个目标像素,其中m为正整数;将m组的低分辨率图片的正方形区域像素与对应的高分辨率图片中的多个目标像素进行联立矩阵方程;求解m组的所述矩阵方程中的滤波器组,得到每个哈希值对应的滤波器组。

本实施例提供的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。

为了实现上述实施例,本公开实施例还提供了一种电子设备。

参考图7,其示出了适于用来实现本公开实施例的电子设备700的结构示意图,该电子设备700可以为终端设备或服务器。其中,终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant,简称PDA)、平板电脑(Portable Android Device,简称PAD)、便携式多媒体播放器(Portable MediaPlayer,简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(Read Only Memory,简称ROM)702中的程序或者从存储装置708加载到随机访问存储器(Random Access Memory,简称RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

通常,以下装置可以连接至I/O接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(Liquid CrystalDisplay,简称LCD)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM702被安装。在该计算机程序被处理装置701执行时,执行本公开实施例的方法中限定的上述功能。

需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network,简称LAN)或广域网(Wide Area Network,简称WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

第一方面,根据本公开的一个或多个实施例,提供了一种图像处理方法,包括:

获取低分辨率图像,并计算所述低分辨率图像中各像素的哈希值;

查询预存的哈希值与预训练的滤波器组的对应关系,得到所述各像素的哈希值对应的滤波器组,其中所述滤波器组中包括多个滤波器;

根据所述滤波器组中的各滤波器对所述各像素对应的像素区域分别进行滤波,得到多个滤波像素值;

将所述多个滤波像素值分别写入高分辨率图像的对应的坐标位置,得到所述低分辨率图像对应的高分辨率图像。

根据本公开的一个或多个实施例,所述计算所述低分辨率图像中各像素的哈希值,包括:确定所述低分辨率图像中以各像素为中心、像素大小为k*k的正方形区域,其中k为大于1的奇数;计算所述正方形区域内各像素的像素梯度值;根据所述正方形区域内各像素的像素梯度值,生成一个像素梯度矩阵;计算所述像素梯度矩阵的特征值;根据所述特征值计算所述像素梯度矩阵的强度值、相干性值和角度值;对所述强度值、相干性值和角度值进行取整量化处理,得到取整后的强度值、相干性值和角度值;根据所述低分辨率图像中各像素对应的所述取整后的强度值、相干性值和角度值,计算得到所述低分辨率图像中各像素的哈希值。

根据本公开的一个或多个实施例,所述计算所述正方形区域的像素梯度值,根据所述正方形区域内各像素的像素梯度值,生成一个像素梯度矩阵,包括:分别计算所述正方形区域的各像素在水平方向上的第一像素梯度,以及在垂直方向上的第二像素梯度;根据所述正方形区域的各像素的像素梯度值构建一个2*2的像素梯度矩阵;其中,所述2*2的像素梯度矩阵中的第一个元素等于所述各像素在水平方向的第一像素梯度的平方和,第二个元素和第三个元素等于所述各像素在水平方向的第一像素梯度与在垂直方向的第二像素梯度的乘积之和,第四个元素等于所述各像素在垂直方向的第二像素梯度的平方和。

根据本公开的一个或多个实施例,所述计算所述像素梯度矩阵的特征值,包括:计算所述2*2的像素梯度矩阵的特征值,得到所述2*2的像素梯度矩阵的第一特征值和第二特征值。

根据本公开的一个或多个实施例,所述根据所述特征值计算所述像素梯度矩阵的强度值、相干性值和角度值,包括:根据所述第一特征值,计算得到所述强度值;根据所述第一特征值和第二特征值,计算得到所述相干性值;计算所述第一特征值对应的特征向量,并根据所述特征向量计算得到所述角度值。

根据本公开的一个或多个实施例,所述对所述强度值、相干性值和角度值进行取整量化处理,得到取整后的强度值、相干性值和角度值,包括:根据所述强度值和预训练的强度值区间以及强度值区间段落的数量,确定所述强度值对应的取整后的强度值;根据所述相干性值和预训练的相干性值区间以及相干性值区间段落的数量,确定所述相干性值对应的取整后的相干性值;根据所述角度值以及所述角度值的分段数量,确定所述角度值对应的取整后的角度值。

根据本公开的一个或多个实施例,所述根据所述低分辨率图像中各像素对应的所述取整后的强度值、相干性值和角度值,计算得到所述低分辨率图像中各像素的哈希值,包括:根据所述取整后的角度值与所述强度值的分段数量、所述相干性值区间段落的数量的乘积,所述取整后的强度值与所述相干性值区间段落的数量,所述取整后的相干性值,确定所述低分辨率图像中各像素的哈希值。

根据本公开的一个或多个实施例,所述方法还包括:获取多个高分辨率图片,并对所述多个高分辨图片进行下采样插值处理,得到多个低分率图片;确定各低分率图片上以各像素为中心、像素大小为k*k的正方形区域;计算各低分率图片上每个像素对应的正方形区域内各像素的像素梯度值;根据所述各像素的像素梯度值,生成像素梯度矩阵;计算所述像素梯度矩阵的特征值;根据所述特征值计算所述像素梯度矩阵的强度值、相干性值;对获取的多个强度值进行升序排序,并按照预设的强度值区间段落的数量对所述多个强度值进行间隔取值,得到所述预训练的强度值区间;对获取的多个相干性值进行升序排序,并按照预设的相干性值区间段落的数量对所述多个相干性值进行间隔取值,得到所述预训练的相干性值区间。

根据本公开的一个或多个实施例,所述方法还包括:获取多个高分辨率图片,并对所述多个高分辨图片进行下采样插值处理,得到多个低分率图片;确定各低分辨率图片中的各像素以及各像素对应所述高分辨率图片中的多个目标像素;计算所述低分辨率图片中以各像素为中心、像素大小为k*k的正方形区域的哈希值,其中k为大于1的奇数;将具有相同哈希值的所述低分辨率图片中的各像素对应的正方形区域像素以及对应的所述高分辨率图片中的多个目标像素列为一组,得到m组的低分辨率图片的正方形区域像素与对应的高分辨率图片中的多个目标像素,其中m为正整数;将m组的低分辨率图片的正方形区域像素与对应的高分辨率图片中的多个目标像素进行联立矩阵方程;求解m组的所述矩阵方程中的滤波器组,得到每个哈希值对应的滤波器组。

根据本公开的一个或多个实施例,所述矩阵方程为:

PF=b

式中,P为低分辨率图片中的各正方形区域像素,其矩阵尺寸为m行,k*k列;F是滤波器组,其矩阵尺寸为1行,s*s列;b为高分辨率图片上的s*s个目标像素,其中s为下采样插值的倍数。

第二方面,根据本公开的一个或多个实施例,提供了一种图像处理装置,包括:

哈希值确定模块,用于获取低分辨率图像,并计算所述低分辨率图像中各像素的哈希值;

滤波器确定模块,用于查询预存的哈希值与预训练的滤波器组的对应关系,得到所述各像素的哈希值对应的滤波器组,其中所述滤波器组中包括多个滤波器;

滤波处理模块,用于根据所述滤波器组中的各滤波器对所述各像素对应的像素区域分别进行滤波,得到多个滤波像素值;

像素写入模块,用于将所述多个滤波像素值分别写入高分辨率图像的对应的坐标位置,得到所述低分辨率图像对应的高分辨率图像。

根据本公开的一个或多个实施例,所述哈希值确定模块,具体用于确定所述低分辨率图像中以各像素为中心、像素大小为k*k的正方形区域,其中k为大于1的奇数;计算所述正方形区域内各像素的像素梯度值;根据所述正方形区域内各像素的像素梯度值,生成一个像素梯度矩阵;计算所述像素梯度矩阵的特征值;根据所述特征值计算所述像素梯度矩阵的强度值、相干性值和角度值;对所述强度值、相干性值和角度值进行取整量化处理,得到取整后的强度值、相干性值和角度值;根据所述低分辨率图像中各像素对应的所述取整后的强度值、相干性值和角度值,计算得到所述低分辨率图像中各像素的哈希值。

根据本公开的一个或多个实施例,所述哈希值确定模块,具体用于所述计算所述正方形区域的像素梯度值,包括:分别计算所述正方形区域的各像素在水平方向上的第一像素梯度,以及在垂直方向上的第二像素梯度;相应地,所述根据所述正方形区域内各像素的像素梯度值,生成一个像素梯度矩阵,包括:根据所述正方形区域的各像素的像素梯度值构建一个2*2的像素梯度矩阵;其中,所述2*2的像素梯度矩阵中的第一个元素等于所述各像素在水平方向的第一像素梯度的平方和,第二个元素和第三个元素等于所述各像素在水平方向的第一像素梯度与在垂直方向的第二像素梯度的乘积之和,第四个元素等于所述各像素在垂直方向的第二像素梯度的平方和;相应地,所述计算所述像素梯度矩阵的特征值,包括:计算所述2*2的像素梯度矩阵的特征值,得到所述2*2的像素梯度矩阵的第一特征值和第二特征值:相应地,所述根据所述特征值计算所述像素梯度矩阵的强度值、相干性值和角度值,包括:根据所述第一特征值,计算得到所述强度值;根据所述第一特征值和第二特征值,计算得到所述相干性值;计算所述第一特征值对应的特征向量,并根据所述特征向量计算得到所述角度值。

根据本公开的一个或多个实施例,所述哈希值确定模块,具体用于所述对所述强度值、相干性值和角度值进行取整量化处理,得到取整后的强度值、相干性值和角度值,包括:根据所述强度值和预训练的强度值区间以及强度值区间段落的数量,确定所述强度值对应的取整后的强度值;根据所述相干性值和预训练的相干性值区间以及相干性值区间段落的数量,确定所述相干性值对应的取整后的相干性值;根据所述角度值以及所述角度值的分段数量,确定所述角度值对应的取整后的角度值。

根据本公开的一个或多个实施例,所述所述哈希值确定模块,具体用于所述根据所述低分辨率图像中各像素对应的所述取整后的强度值、相干性值和角度值,计算得到所述低分辨率图像中各像素的哈希值,包括:根据所述取整后的角度值与所述强度值的分段数量、所述相干性值区间段落的数量的乘积,所述取整后的强度值与所述相干性值区间段落的数量,所述取整后的相干性值,确定所述低分辨率图像中各像素的哈希值。

根据本公开的一个或多个实施例,所述装置还包括:区间信息预训练模块,用于获取多个高分辨率图片,并对所述多个高分辨图片进行下采样插值处理,得到多个低分率图片;确定各低分率图片上以各像素为中心、像素大小为k*k的正方形区域;计算各低分率图片上每个像素对应的正方形区域内各像素的像素梯度值;根据所述各像素的像素梯度值,生成像素梯度矩阵;计算所述像素梯度矩阵的特征值;根据所述特征值计算所述像素梯度矩阵的强度值、相干性值;对获取的多个强度值进行升序排序,并按照预设的强度值区间段落的数量对所述多个强度值进行间隔取值,得到所述预训练的强度值区间;对获取的多个相干性值进行升序排序,并按照预设的相干性值区间段落的数量对所述多个相干性值进行间隔取值,得到所述预训练的相干性值区间。

根据本公开的一个或多个实施例,所述装置还包括:滤波器组预训练模块,用于获取多个高分辨率图片,并对所述多个高分辨图片进行下采样插值处理,得到多个低分率图片;确定各低分辨率图片中的各像素以及各像素对应所述高分辨率图片中的多个目标像素;计算所述低分辨率图片中以各像素为中心、像素大小为k*k的正方形区域的哈希值,其中k为大于1的奇数;将具有相同哈希值的所述低分辨率图片中的各像素对应的正方形区域像素以及对应的所述高分辨率图片中的多个目标像素列为一组,得到m组的低分辨率图片的正方形区域像素与对应的高分辨率图片中的多个目标像素,其中m为正整数;将m组的低分辨率图片的正方形区域像素与对应的高分辨率图片中的多个目标像素进行联立矩阵方程;求解m组的所述矩阵方程中的滤波器组,得到每个哈希值对应的滤波器组。

第三方面,根据本公开的一个或多个实施例,提供了一种电子设备,包括:至少一个处理器和存储器;

所述存储器存储计算机执行指令;

所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

第四方面,根据本公开的一个或多个实施例,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

第五方面,根据本公开的一个或多个实施例,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

相关技术
  • 图像处理设备、图像处理方法、用于图像处理方法的程序、以及记录有用于图像处理方法的程序的记录介质
  • 图像处理设备、图像读取设备、图像形成设备和图像处理方法
技术分类

06120113791135