掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本申请涉及人工智能领域,尤其涉及一种图像处理方法以及相关设备。

背景技术

随着人工智能技术的快速发展,其中,自动识别技术也逐渐成熟,但是,在识别的过程中,当存在恶意攻击时,识别就会出错。特别是在一些重要领域,如自动驾驶场景,若是存在恶意攻击,识别出错就可能出现严重的交通事故,因此,怎样提高对图像识别的准确率成为亟待解决的技术问题。

发明内容

本申请实施例提供了一种图像处理方法以及相关设备,可以提高对图像识别的准确率。

第一方面,本申请实施例公开了一种图像处理方法,该方法包括:

获取待处理图像,并对所述待处理图像进行预处理,得到所述待处理图像的特征矩阵集合,所述特征矩阵集合中包括:所述待处理图像中各个图像区域所对应的特征矩阵;

对所述特征矩阵集合中的目标特征矩阵进行DCT变换,得到所述目标特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵;

对所述垂直区域特征矩阵、所述水平区域特征矩阵以及所述对角线区域特征矩阵均进行特征重编码和DCT逆变换,分别得到所述目标特征矩阵的第一特征、第二特征以及第三特征;

将所述特征矩阵集合中每个特征矩阵作为所述目标特征矩阵,以得到每个特征矩阵的第一特征、第二特征以及第三特征,并根据每个特征矩阵的第一特征、第二特征以及第三特征得到所述待处理图像的目标预测结果。

第二方面,本申请实施例公开了一种图像处理装置,该装置包括:

获取单元,用于获取待处理图像,并对所述待处理图像进行预处理,得到所述待处理图像的特征矩阵集合,所述特征矩阵集合中包括:所述待处理图像中各个图像区域所对应的特征矩阵;

处理单元,用于对所述特征矩阵集合中的目标特征矩阵进行DCT变换,得到所述目标特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵;

所述处理单元,还用于对所述垂直区域特征矩阵、所述水平区域特征矩阵以及所述对角线区域特征矩阵均进行特征重编码和DCT逆变换,分别得到所述目标特征矩阵的第一特征、第二特征以及第三特征;

所述处理单元,还用于将所述特征矩阵集合中每个特征矩阵作为所述目标特征矩阵,以得到每个特征矩阵的第一特征、第二特征以及第三特征,并根据每个特征矩阵的第一特征、第二特征以及第三特征得到所述待处理图像的目标预测结果。

第三方面,本申请实施例公开了一种计算机设备,该计算机设备包括处理器,适于实现一条或多条计算机程序;以及,计算机存储介质,所述计算机存储介质存储有一条或多条计算机程序,所述一条或多条计算机程序适于由所述处理器加载并执行上述的图像处理方法。

第四方面,本申请实施例公开了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一条或多条计算机程序,所述一条或多条计算机程序适于由处理器加载并执行上述的图像处理方法。

第五方面,本申请实施例公开了一种计算机程序产品或计算机程序,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述的图像处理方法。

本申请实施例中,计算机设备获取待处理图像,并对待处理图像进行预处理,得到待处理图像的特征矩阵集合;对特征矩阵集合中的各个特征矩阵分别进行DCT变换,得到各个特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵;再对各个特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵进行特征重编码以及DCT逆变换后得到各个特征矩阵的第一特征、第二特征以及第三特征,并根据各个特征矩阵的第一特征、第二特征以及第三特征得到待处理图像的目标预测结果。通过该方法对待处理图像进行处理后,通过对图像不同区域进行识别,并基于各个特征来确定待处理图像的目标预测结果,从而提高对图像识别的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种图像处理系统的架构示意图;

图2是本申请实施例公开的一种图像处理方法的流程示意图;

图3是本申请实施例公开的一种图像切割方法的示意图;

图4是本申请实施例公开的一种图像区域划分示意图;

图5是本申请实施例公开的一种矩阵的区域划分示意图;

图6是本申请实施例公开的一种ResNet网络的结构示意图;

图7是本申请实施例公开的另一种图像处理方法的流程示意图;

图8是本申请实施例公开的又一种图像处理方法的流程示意图;

图9是本申请实施例公开的一种图像处理装置的结构示意图;

图10是本申请实施例公开的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

请参见图1,图1为本申请实施例的一种图像处理系统的架构示意图,如图1所示,该图像处理系统的架构图100包括了终端设备101和计算机设备102、其中,终端设备101和计算机设备102可以实现通信连接。

具体的,终端设备101可以是具有无线通信功能的手持式设备、车载设备、可穿戴设备或计算设备。示例性地,用户端可以是手机(mobile phone)、平板电脑或带无线收发功能的电脑。客户端还可以是虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、工业控制中的无线终端设备、无人驾驶中的无线终端设备、远程医疗中的无线终端设备、智能电网中的无线终端设备、智慧城市(smart city)中的无线终端设备、智慧家庭(smart home)中的无线终端设备等等;计算机设备102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一个可行的实施例中,计算机设备102获取待处理图像,并对所述待处理图像进行预处理,得到所述待处理图像的特征矩阵集合;对所述特征矩阵集合中的目标特征矩阵进行离散余弦变换DCT得到所述目标特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵,对所述垂直区域特征矩阵、所述水平区域特征矩阵以及所述对角线区域特征矩阵均进行特征重编码和DCT逆变换,分别得到所述目标特征矩阵的第一特征、第二特征以及第三特征;将所述特征矩阵集合中每个特征矩阵作为所述目标特征矩阵,以得到每个特征矩阵的第一特征、第二特征以及第三特征,根据每个特征矩阵的第一特征、第二特征以及第三特征确定所述待处理图像的第一特征、第二特征以及第三特征,最后根据所述待处理图像的第一特征、所述待处理图像的第二特征以及所述待处理图像的第三特征确定所述待处理图像的目标预测结果。通过该实施例,可以提高对图像识别的准确率,由于将一个图像分成一个特征矩阵集合来处理,因此能更精确度识别图像,在处理过程中还可以有效的防御攻击样本。

基于上述图像处理系统,本申请实施例公开了一种图像处理方法,请参见图2,是本申请实施例公开的一种图像处理方法的流程示意图,该图像处理方法的可以由计算机设执行,该图像处理方法具体包括以下步骤:

S201、计算机设备获取待处理图像,并对待处理图像进行预处理,得到待处理图像的特征矩阵集合。

其中,特征矩阵集合中可以包括:待处理图像中各个图像区域所对应的特征矩阵,图像区域的数量为多个,可以用N表示。在本申请实施例中,N至少为4。

在一个可行的实施例中,计算机设备在对待处理图像进行预处理之前,先对待处理图像进行色彩空间转换,得到亮度-色调-饱和度系统YUV色彩空间的待处理图像,再对YUV色彩空间的待处理图像进行重采样处理,得到重采样处理后的待处理图像。

其中,计算机设备对待处理图像进行色彩空间转换,得到亮度-色调-饱和度系统YUV色彩空间的待处理图像具体实现方式可以是:对计算设备获取的原始待处理图像,这里的原始图像属于RGB图像,计算机设备利用亮-色调-饱和度系统(YUV)图像数据表示方法对RGB色彩空间的待处理图像转换成YUV色彩空间的待处理图像,对应的具体转换关系如公式(1)、公式(2)、公式(3)所示:

Y=0.299R+0.587G+0.114B (1)

_________________________________________

U=0.148R-0.289G+0.473B (2)

_________________________________________

V=0.615R-0.515G-0.1B (3)

即将待处理图像的每个点从(R,G,B)转换成(Y,U,V),其中,Y指颜色的明视度、亮度、灰度值;U指色调;V指饱和度。YUV是一种不错的图像数据表示方法,特别在视频领域。YUV是一个统称,有很多具体格式,比如YUV420,YUV444,YUV422。YUV的某些格式,和RGB匕起来,其数据量要少很多。比如YUV420,每个像素需要一个Y,每4个像素需要一个U/V,因此一个8*8图像块,只要8*8*3/2=96byte的数据量。而RGB需要8*8*3=192byte的数据量。少了一半的数据量。现在很多视频都是以YUV420作为色域。其中,RGB图像又称为真彩图像,它使用R、G、B对应的3个分量标识一个像素的颜色,R、G、B分别代表红、绿、蓝3种不同的基础颜色,通过3个基色可以合成出任意颜色。

需要注意的是,一个色彩空间是一个特定的颜色组织,它的颜色模型代表了这些颜色表示的数学公式。可以把一个颜色模型转换成另外一个,这意味着可以将一个给定颜色的数学表达式转成一组完全不同的值。它们对于人眼来说是一样的颜色,但却可以被表示成不同的数值集。如从RGB颜色模型转换成“Y,Cb,Cr颜色模型”,其中Y是亮度、Cb是色度蓝、Cr色度红。人眼对亮度比色度更敏感,这意味着我们会忽略较大的色度变化,而不影响我们对图片的感知。因此,我们可以在人眼察觉前对Cb、Cr通道加倍压缩。可选的,本申请也可以将RGB的待处理图像转换成“Y,Cb,Cr”的待处理图像。对应的转换公式如公式(4)、公式(5)、公式(5)所示:

Y=0.2987R+0.58661G+0.11448B (4)

__________________________________________

Cb=-0.16874R-0.33126G+0.50000B (5)

_______________________________________________

Cr=0.50000R-0.41869G-0.08131B (6)

即把待处理图像的每个点从(R,G,B)转换成(Y,Cb,Cr)。

其中,计算机设备对YUV色彩空间的待处理图像进行重采样处理,得到重采样处理后的待处理图像,具体的实现方式包括:计算机设备采用411采样方式,即Y,U,V三个分量的采样比例为4∶1∶1,其含义为在2*2的单元中,Y分量采样4次,U、V分量各采样一次,得到采样后的待处理图像。由于人眼对亮度变换的敏感度比对色彩变换的敏感度高。因此,可以认为Y分量比U、V分量更为重要。这样采样虽然损失了一定精度,但在人眼几乎不可见的前提下减小了数据存储量。

其中,计算机设备获取的待处理图像可以终端设备发送的,其目的是实现对待处理图像的识别。

在一个可行的实施例中,计算机设备获取到待处理图像后,对图像进行预处理,包括:对待处理图像进行均值滤波处理,得到滤波处理后的待处理图像;再对滤波处理后的待处理图像进行图像分割处理,得到待处理图像的多个特征矩阵。对待处理图像进行滤波处理的目的是为了过滤掉待处理图像中的异常值,其中,异常值可以理解成一组测定值中与平均值的偏差超过N倍标准差的测定值,N为大于等于1的整数。根据经验值,N可以设置成2。

可选的,计算机设备对待处理图像进行预滤波处理,得到滤波处理后的待处理图像,包括:用一个3*3的滤波器,遍历待处理图像中的每一个像素,如果存在某一个像素的值与它周围8个像素的值差异巨大,则将这个像素改为9宫格滤波器的平均值,得到滤波处理后的待处理图像。该方法称为均值滤波法,其目的是为了去除图像中异常值。在实际应用场景中,去除可能是攻击者引入的非正常数值。其中,需要说明的是,通常情况下,预滤波的算法很多,除了采用简单的局部均值滤波,还可以采用三维块匹配算法(Block Matching 3D,BM3D),或者基于深度神经网络(Deep Neural Networks,DNN)系统的复杂算法。

可选的,计算机设备对滤波处理后的待处理图像进行图像分割处理,得到多个矩阵表示的待处理图像,可以包括:将滤波处理后的待处理图像切割为若干个8*8的小矩阵,可以如图3所示,即待处理图像的多个特征矩阵。之所以基于8*8像素块对滤波处理后的待处理图像进行分块,这样做是因为,通常认为8*8像素块里没有太多的差异,即使是很复杂的图片,局部区域的像素也往往是具有相似性的,这种相似性有助于图像压缩。而且后面的离散余弦变换(Discrete Cosine Transform,DCT)是对8*8的子块进行处理的,因此,在进行DCT变换之前必须把原图像数据进行分块。滤波处理后的待处理图像中每点的3个分量是交替出现的,先要把这3个分量分开,存放到3张表中去。然后由左到右,由上到下依次读取8*8的子块,存放在长度为64的表中,再进行DCT变换。

S202、计算机设备对特征矩阵集合中的目标特征矩阵进行DCT变换、得到目标特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵。

在一个可行的实施例中,计算机设备对目标特征矩阵进行DCT变换,得到所述目标特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵。其中,目标特征矩阵是特征矩阵集合的任意一个图像区域所对应的特征矩阵。

在具体的实现过程中,计算机设备对目标特征矩阵进行DCT变换,得到所述目标特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵,具体实现方式可以是:由前述可知,特征矩阵的每个像素点有3个分量YUV,所以要对每个8*8小矩阵进行3次DCT变换。一般使用二维离散余弦变换(DCT)进行图像处理,将待处理图像分为8*8的数据单元矩阵之后,还必须将每个数值减去128,然后带入DCT变换公式,图像的数据值要减去128,是因为DCT公式所接受的数字范围是-128到127之间,才可以达到DCT变换的目的。

根据上述描述,8*8的二维DCT定义如公式(7):

其中,u>=0,v<8;α(u)=α(u),g

例如,用矩阵进行说明,原矩阵如公式(8):

变换后的矩阵如公式(9):

计算机设备对目标特征矩阵进行DCT变换,得到目标特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵,这里的垂直区域(V),水平区域(H),对角线区域(D),其中,还包括一个低频区域(L),四个区域位置如图4所示,四个区域对应的矩阵如图5所示,其中,501对应低频区域(L),502对应水平区域(H),503对应垂直区域(V),504对应对角线区域(D)。由于低频区域(L)聚集了图像的大部分能量,处理起来比较复杂,所以在本申请中不把低频区域的特征矩阵纳入计算。

S203、计算机设备对垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵均进行特征重编码和DCT逆变换,分别得到目标特征矩阵的第一特征、第二特征以及第三特征。

在一个可行的实施例中,计算机设备对垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵均进行特征重编码和DCT逆变换,分别得到目标特征矩阵的第一特征、第二特征以及第三特征,具体实现为:计算机设备将垂直区域特征矩阵输入垂直区域通道,并进行特征重编码,得到编码后的垂直区域特征矩阵,对编码后的垂直区域特征矩阵进行DCT逆变换,得到垂直区域特征矩阵的第一特征,将该垂直区域特征矩阵的第一特征作为目标特征矩阵的第一特征;然后将水平区域特征矩阵输入水平区域通道,并进行特征重编码,得到编码后的水平区域特征矩阵,对编码后的水平区域特征矩阵进行DCT逆变换,得到水平区域特征矩阵的第二特征,将水平区域特征矩阵的第二特征作为目标特征矩阵的第二特征;同理,将对角线区域特征矩阵输入对角线区域通道,并进行特征重编码,得到编码后的对角线区域特征矩阵,对编码后的对角线区域特征矩阵进行DCT逆变换,得到对角线区域特征矩阵的第三特征,将对角线区域特征矩阵的第三特征作为目标特征矩阵的第三特征。

其中,垂直区域通道为V通道、水平区域通道为H通道、对角线区域通道为D通道,三个通道分别识别不同的区域特征矩阵,如V通道识别垂直区域特征矩阵,H通道识别水平区域特征矩阵,D通道识别对角线区域特征矩阵。对每个区域特征矩阵进行的特征重编码具体可以是:采用0~1之间的随机噪声,对每个通道的特征矩阵所对应的4*4分区进行特征重编码,且对应于原图像不同位置的8*8小矩阵所使用的4*4矩阵的随机噪声不同。这样做既保证编码多样性,又能保证噪声对模型精度不会产生太多影响。

例如,对一个160*160像素矩阵的图像而言,可以分成20个8*8小矩阵,每个矩阵有三个分区(V、H、D)进行特征重编码。对应原图像不同位置的8*8小矩阵所使用的高斯噪声不同,每个通道需要20个不同的高斯噪声,有三个通道,因此有20*3=60个不同的4*4矩阵的高斯噪声。

其中,上述的DCT逆变换对应的变换公式如公式(10):

其中,f

S204、计算机设备将特征矩阵集合中每个特征矩阵作为目标特征矩阵,以得到每个特征矩阵的第一特征、第二特征以及第三特征,并根据每个特征矩阵的第一特征、第二特征以及第三特征得到待处理图像的目标预测结果。

根据步骤S202和步骤S203可以得到目标特征矩阵的第一特征、第二特征以及第三特征,因此,把特征矩阵集合中的每一个特征矩阵都当作目标特征矩阵,重复执行步骤S202和步骤S203,以得到每个特征矩阵的第一特征、第二特征以及第三特征。

在一个可行的实施例中,当确定了每个特征矩阵的第一特征、第二特征以及第三特征后,计算机设备再根据每个特征矩阵的第一特征、第二特征以及第三特征确定待处理图像的第一特征、第二特征以及第三特征。具体的,由于每张待处理图像都被分割成N个特征矩阵,然后再经过了3个通道(分别为V通道、H通道、D通道),因此,每个通道对应的就会有N个特征矩阵的第一特征,为了让所有的8*8矩阵拼接成新的和原图像同样大小的大矩阵,因此,计算机设备就会将V通道的N个特征矩阵的N第一特征进行拼接,得到待处理图像的第一特征;同理,将H通道的N个特征矩阵的N第二特征进行拼接,得到待处理图像的第二特征,将D通道的N个特征矩阵的N第三特征进行拼接,得到待处理图像的第三特征。

进一步的,计算机设备利用分类器对待处理图像的第一特征、待处理图像的第二特征以及待处理图像的第三特征进行分类处理,得到待处理图像的第一预测结果、待处理图像的第二预测结果以及待处理图像的第三预测结果。进一步的,计算机设备将待处理图像的第一预测结果、第二预测结果以及第三预测结果进行聚合,从而得到待处理图像的目标预测结果。具体的,计算机设备将ResNet18神经网络进行预测的每个通道的结果汇集实现结果的聚合,可以是进行求和运算,得到最后的预测结果,即目标预测结果。可选的,实现聚合的方式有很多,可以是对各个通道分类结果的累加,也可以是利用复杂的聚合网络实现对第一预测结果、第二预测结果以及第三预测结果的聚合。

其中,分类器指的是分类模型,如ResNet,可以采用不同深度的结构,如ResNet18、ResNet34、ResNet50、ResNet101以及ResNet152,各种网络的深度指的是“需要通过训练更新参数”的层数,如卷积层,全连接层等。更具体的,各种深度的ResNet网络结构可以如图6所示,其中,根据Block类型,可以将这五种ResNet分为两类:(1)、一种基于BasicBlock,浅层网络ResNet18、34都由BasicBlock搭成;(2)、另一种基于Bottleneck,深层网络ResNet50、101、152乃至更深的网络,都由Bottleneck搭成。Block相当于积木,每个layer都由若干Block搭建而成,再由layer组成整个网络。每种ResNet都是4个layer(不算一开始的7×7、卷积层和3×3、maxpooling层),如图6,conv2_x对应layer1,conv3_x对应layer2,conv4_x对应layer3,conv5_x对应layer4。方框中的“×2”、“×3”等指的是该layer由几个相同的结构组成。

本申请实施例中,计算机设备获取待处理图像,并对待处理图像进行预处理,得到待处理图像的特征矩阵集合;对特征矩阵集合中的各个特征矩阵分别进行DCT变换,得到各个特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵;再对各个特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵进行特征重编码以及DCT逆变换后得到各个特征矩阵的第一特征、第二特征以及第三特征,并根据各个特征矩阵的第一特征、第二特征以及第三特征得到待处理图像的目标预测结果。通过该方法对待处理图像进行处理后,,通过对图像不同区域进行识别,并基于各个特征来确定待处理图像的目标预测结果,从而提高对图像识别的准确率。

基于上述对图像处理方法的描述,本申请公开了另一种图像处理方法,请参见图7,是本申请实施例公开的另一种图像处理方法的流程示意图,具体可以包括以下步骤:

S701、计算机设备对待处理图像进行色彩空间转换,得到亮度-色调-饱和度系统YUV色彩空间的待处理图像。

S702、计算机设备对YUV色彩空间的待处理图像进行重采样处理,得到重采样处理后的待处理图像。

S703、计算机设备对重采样处理后的待处理图像进行均值滤波处理,得到滤波处理后的待处理图像。

S704、计算机设备对滤波处理后的待处理图像进行图像分割处理,得到待处理图像的特征矩阵集合。

S705、计算机设备对特征矩阵集合的目标特征矩阵进行DCT变换,得到目标特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵。

S706、计算机设备分别对垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵进行特征重编码和DCT逆变换,得到目标特征矩阵的第一特征、第二特征以及第三特征。

S707、计算机设备将特征矩阵集合中每个特征矩阵作为目标特征矩阵,以得到每个特征矩阵的第一特征、第二特征以及第三特征。

S708、计算机设备根据每个特征矩阵的第一特征、第二特征以及第三特征确定待处理图像的第一特征、第二特征以及第三特征。

S709、计算机设备根据待处理图像的第一特征、待处理图像的第二特征以及待处理图像的第三特征确定待处理图像的目标预测结果

上述步骤S701~步骤S709已经在图2所对应的实施例中进行了详细的描述,这里就不再对步骤进行描述了。可选的,上述步骤S701~步骤S709可以简化成如图8所示的流程图,主要包括:预过滤、图像分割、DCT变换、特征重编码、逆DCT变换、图像拼接、分类模型、聚合等七个步骤。可以将图8示出的流程图总结成:将输入的一张图片,先经过预过滤,去除图片上的异常值;再将预过滤的图像进行图像分割,将图像分割为若干个小矩阵;对每个小矩阵进行DCT变换,并分为多个通道进行特征重编码,对攻击具有鲁棒性;对每个通道的图像小矩阵进行特征重编码,且对攻击者保密,达到防止攻击者通过梯度传播制造对抗样本的效果;接着进行DCT逆变换,对输入图像恢复为特征重编码后的图像再交由分类器进行分类;最后将各个分类器的结果进行聚合得到最终的分类结果。经过以上的操作,能够起到防御对抗样本的效果,且能提高分类器的分类准确率。

通过图8举例说明处理过程,对待处理图像分别进行预过滤、图像分割以及DCT变换后,得到N个特征矩阵,然后将N个特征矩阵分别输入三个通道进行处理,假设以V通道为例,当将第一特征矩阵输入V通道后,再进行特征重编码和DCT逆变换,得到第一特征矩阵的第一特征,同理,将第二特征矩阵也输入V通道,得到第二特征矩阵的第一特征,依次类推,直到将第N特征矩阵输入V通道后,再进行特征重编码和DCT逆变换,得到第N特征矩阵的第一特征,然后将第一特征矩阵的第一特征到第N特征矩阵的第一特征的在模块801中进行拼接,得到和待处理图像同样大小的矩阵,以此得到待处理图像的第一特征,进一步,将待处理图像的第一特征输入802中的分类器得到待处理图像的第一预测结果。同理,H通道和D通道也进行同样的处理,H通道得到的是待处理图像的第二预测结果,D通道得到的是待处理图像的第三预测结果,最后将待处理图像的第一预测结、第二预测结果以及第三预测结果进行聚合,得到最终的待处理图像的目标预测结果。

基于上述的方法实施例,本申请实施例还提供了一种图像处理装置的结构示意图。参见图9,为本申请实施例提供的一种图像处理装置的结构示意图。图9所示的图像处理装置可运行如下单元:

获取单元901,用于获取待处理图像,并对所述待处理图像进行预处理,得到所述待处理图像的特征矩阵集合,所述特征矩阵集合中包括:所述待处理图像中各个图像区域所对应的特征矩阵;

处理单元902,用于对所述特征矩阵集合中的目标特征矩阵进行DCT变换,得到所述目标特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵;

所述处理单元902,还用于对所述垂直区域特征矩阵、所述水平区域特征矩阵以及所述对角线区域特征矩阵均进行特征重编码和DCT逆变换,分别得到所述目标特征矩阵的第一特征、第二特征以及第三特征;

所述处理单元902,还用于将所述特征矩阵集合中每个特征矩阵作为所述目标特征矩阵,以得到每个特征矩阵的第一特征、第二特征以及第三特征,并根据每个特征矩阵的第一特征、第二特征以及第三特征得到所述待处理图像的目标预测结果。

在一个可行的实施例中,所述处理单元902根据每个特征矩阵的第一特征、第二特征以及第三特征得到所述待处理图像的目标预测结果,可具体用于:

根据每个特征矩阵的第一特征、第二特征以及第三特征确定所述待处理图像的第一特征、第二特征以及第三特征;

根据所述待处理图像的第一特征、所述待处理图像的第二特征以及所述待处理图像的第三特征确定所述待处理图像的目标预测结果。

在一个可行的实施例中,所述处理单元902所述根据每个特征矩阵的第一特征、第二特征以及第三特征确定所述待处理图像的第一特征、第二特征以及第三特征,可具体用于:

将各个特征矩阵的第一特征进行拼接得到所述待处理图像的第一特征,将各个特征矩阵的第二特征进行拼接得到所述待处理图像的第二特征以及将各个特征矩阵的第三特征进行拼接得到所述待处理图像的第三特征。

在一个可行的实施例中,处理单元902根据所述待处理图像的第一特征、所述待处理图像第二特征以及所述待处理图像的第三特征得到所述待处理图像的目标预测结果,可具体用于:

利用分类模型对所述待处理图像的第一特征、所述待处理图像的第二特征以及所述待处理图像的第三特征进行分类处理,得到所述待处理图像的第一预测结果、所述待处理图像的第二预测结果以及所述待处理图像的第三预测结果;

将所述待处理图像的第一预测结果、所述待处理图像的第二预测结果以及所述待处理图像的第三预测结果进行聚合,确定所述待处理图像的目标预测结果。

在一个可行的实施例中,所述处理单元902对所述待处理图像进行预处理,得到所述待处理图像的特征矩阵集合,可具体用于:

对所述待处理图像进行预滤波处理,以去除所述待处理图像中的异常值,得到滤波处理后的待处理图像,所述异常值为一组测定值中与平均值的偏差超过N倍标准差的测定值,N为大于等于1的整数;

对所述滤波处理后的待处理图像进行图像分割处理,得到所述待处理图像的特征矩阵集合。

在一个可行的实施例中,所述处理单元902对所述垂直区域特征矩阵、所述水平区域特征矩阵以及所述对角线区域特征矩阵均进行特征重编码和DCT逆变换,分别得到所述目标特征矩阵的第一特征、第二特征以及第三特征,可具体用于:

将所述垂直区域特征矩阵输入垂直区域通道,并进行特征重编码,得到编码后的垂直区域特征矩阵;将所述水平区域特征矩阵输入水平区域通道,并进行特征重编码,得到编码后的水平区域特征矩阵;将所述对角线区域特征矩阵输入对角线区域通道,并进行特征重编码,得到编码后的对角线区域特征矩阵;

分别对所述编码后的垂直区域特征矩阵、所述编码后的水平区域特征矩阵以及所述编码后的对角线区域特征矩阵进行DCT逆变换,得到所述垂直区域特征矩阵的第一特征、所述水平区域特征矩阵的第二特征以及所述对角线区域特征矩阵的第三特征;

将所述垂直区域特征矩阵的第一特征作为所述目标特征矩阵的第一特征,将所述水平区域特征矩阵的第二特征作为所述目标特征矩阵的第二特征,将所述对角线区域特征矩阵的第三特征作为所述目标特征矩阵的第三特征。

在一个可行的实施例中,所述对所述待处理图像进行预处理之前,所述处理单元902,还用于:

对所述待处理图像进行色彩空间转换,从RGB色彩空间转换为YUV色彩空间的待处理图像;

对所述YUV色彩空间的待处理图像进行重采样处理;

在进行所述重采样处理后,执行所述对所述待处理图像进行预处理的步骤。

根据本申请的一个实施例,图2以及图7所示的图像处理方法所涉及各个步骤可以是由图9所示的图像处理装置中的各个单元来执行的。例如,图2所示的图像处理方法中步骤S201可由图9所示的图像处理装置中的获取单元901来执行,步骤S202-步骤S204可由图9所示的图像处理装置中的处理单元902来执行;再如,图7所示的图像处理方法中步骤S701-步骤S709可由图9所示的图像处理装置中的处理单元902来执行。

根据本申请的另一个实施例,图9所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。

根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2以及图7所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图9中所示的图像处理装置,以及来实现本申请实施例图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于计算机设备中,并在其中运行。

本申请实施例中,计算机设备获取待处理图像,并对待处理图像进行预处理,得到待处理图像的特征矩阵集合;对特征矩阵集合中的各个特征矩阵分别进行DCT变换,得到各个特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵;再对各个特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵进行特征重编码以及DCT逆变换后得到各个特征矩阵的第一特征、第二特征以及第三特征,并根据各个特征矩阵的第一特征、第二特征以及第三特征得到待处理图像的目标预测结果。通过该方法对待处理图像进行处理后,,通过对图像不同区域进行识别,并基于各个特征来确定待处理图像的目标预测结果,从而提高对图像识别的准确率。

基于上述方法以及装置实施例,本申请实施例提供了一种计算机设备。参见图10,为本申请实施例提供的一种计算机设备的结构示意图。图10所示的计算机设备至少包括处理器1001、输入接口1002、输出接口1003以及计算机存储介质1004。其中,处理器1001、输入接口1002、输出接口1003以及计算机存储介质1004可通过总线或其他方式连接。

计算机存储介质1004可以存储在计算机设备的存储器中,所述计算机存储介质1004用于存储计算机程序,所述计算机程序包括程序指令,所述处理器1001用于执行所述计算机存储介质1004存储的程序指令。处理器1001(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。

本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了计算机设备的操作系统。并且,在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。

在一个实施例中,所述计算机存储介质可由处理器1001加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图2以及图7所示的图像处理方法的相应步骤。具体实现中,计算机存储介质中的一条或多条指令由处理器1001加载并执行如下步骤:

获取待处理图像,并对所述待处理图像进行预处理,得到所述待处理图像的特征矩阵集合,所述特征矩阵集合中包括:所述待处理图像中各个图像区域所对应的特征矩阵;

对所述特征矩阵集合中的目标特征矩阵进行DCT变换,得到所述目标特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵;

对所述垂直区域特征矩阵、所述水平区域特征矩阵以及所述对角线区域特征矩阵均进行特征重编码和DCT逆变换,分别得到所述目标特征矩阵的第一特征、第二特征以及第三特征;

将所述特征矩阵集合中每个特征矩阵作为所述目标特征矩阵,以得到每个特征矩阵的第一特征、第二特征以及第三特征,并根据每个特征矩阵的第一特征、第二特征以及第三特征得到所述待处理图像的目标预测结果。

在一个可行的实施例中,所述处理器1001根据每个特征矩阵的第一特征、第二特征以及第三特征得到所述待处理图像的目标预测结果,包括:

根据每个特征矩阵的第一特征、第二特征以及第三特征确定所述待处理图像的第一特征、第二特征以及第三特征;

在一个可行的实施例中,根据所述待处理图像的第一特征、所述待处理图像的第二特征以及所述待处理图像的第三特征确定所述待处理图像的目标预测结果。

所述处理器1001根据每个特征矩阵的第一特征、第二特征以及第三特征确定所述待处理图像的第一特征、第二特征以及第三特征,包括:

将各个特征矩阵的第一特征进行拼接得到所述待处理图像的第一特征,将各个特征矩阵的第二特征进行拼接得到所述待处理图像的第二特征以及将各个特征矩阵的第三特征进行拼接得到所述待处理图像的第三特征。

在一个可行的实施例中,所述处理器1001根据所述待处理图像的第一特征、所述待处理图像第二特征以及所述待处理图像的第三特征得到所述待处理图像的目标预测结果,包括:

利用分类模型对所述待处理图像的第一特征、所述待处理图像的第二特征以及所述待处理图像的第三特征进行分类处理,得到所述待处理图像的第一预测结果、所述待处理图像的第二预测结果以及所述待处理图像的第三预测结果;

将所述待处理图像的第一预测结果、所述待处理图像的第二预测结果以及所述待处理图像的第三预测结果进行聚合,确定所述待处理图像的目标预测结果。

在一个可行的实施例中,所述处理器1001对所述待处理图像进行预处理,得到所述待处理图像的特征矩阵集合,包括:

对所述待处理图像进行预滤波处理,以去除所述待处理图像中的异常值,得到滤波处理后的待处理图像,所述异常值为一组测定值中与平均值的偏差超过N倍标准差的测定值,N为大于等于1的整数;

对所述滤波处理后的待处理图像进行图像分割处理,得到所述待处理图像的特征矩阵集合。

在一个可行的实施例中,所述处理器1001对所述垂直区域特征矩阵、所述水平区域特征矩阵以及所述对角线区域特征矩阵均进行特征重编码和DCT逆变换,分别得到所述目标特征矩阵的第一特征、第二特征以及第三特征,包括:

将所述垂直区域特征矩阵输入垂直区域通道,并进行特征重编码,得到编码后的垂直区域特征矩阵;将所述水平区域特征矩阵输入水平区域通道,并进行特征重编码,得到编码后的水平区域特征矩阵;将所述对角线区域特征矩阵输入对角线区域通道,并进行特征重编码,得到编码后的对角线区域特征矩阵;

分别对所述编码后的垂直区域特征矩阵、所述编码后的水平区域特征矩阵以及所述编码后的对角线区域特征矩阵进行DCT逆变换,得到所述垂直区域特征矩阵的第一特征、所述水平区域特征矩阵的第二特征以及所述对角线区域特征矩阵的第三特征;

将所述垂直区域特征矩阵的第一特征作为所述目标特征矩阵的第一特征,将所述水平区域特征矩阵的第二特征作为所述目标特征矩阵的第二特征,将所述对角线区域特征矩阵的第三特征作为所述目标特征矩阵的第三特征。

在一个可行的实施例中,所述对所述待处理图像进行预处理之前,所述处理器1001,还用于:

对所述待处理图像进行色彩空间转换,从RGB色彩空间转换为YUV色彩空间的待处理图像;

对所述YUV色彩空间的待处理图像进行重采样处理;

在进行所述重采样处理后,执行所述对所述待处理图像进行预处理的步骤。

本申请实施例中,计算机设备获取待处理图像,并对待处理图像进行预处理,得到待处理图像的特征矩阵集合;对特征矩阵集合中的各个特征矩阵分别进行DCT变换,得到各个特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵;再对各个特征矩阵的垂直区域特征矩阵、水平区域特征矩阵以及对角线区域特征矩阵进行特征重编码以及DCT逆变换后得到各个特征矩阵的第一特征、第二特征以及第三特征,并根据各个特征矩阵的第一特征、第二特征以及第三特征得到待处理图像的目标预测结果。通过该方法对待处理图像进行处理后,,通过对图像不同区域进行识别,并基于各个特征来确定待处理图像的目标预测结果,从而提高对图像识别的准确率。

根据本申请的一个方面,本申请实施例还提供了一种计算机产品,该计算机产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。处理器1001从计算机可读存储介质中读取该计算机程序,处理器1001执行该计算机程序,使得计算机设备执行图2以及图7所示的图像处理方法。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可能可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

相关技术
  • 图像处理方法及相关设备、迁移网络训练方法及相关设备
  • 一种图像显示方法、图像处理方法和相关设备
技术分类

06120113194644