掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法及装置、处理器

文献发布时间:2023-06-19 09:46:20


图像处理方法及装置、处理器

技术领域

本发明涉及图像处理领域,具体而言,涉及一种图像处理方法及装置、处理器。

背景技术

在视频编解码传输中,由于待编码图像在图像获取中会掺杂着诸如传输噪声、量化噪声等,且掺入噪声多为随机,其位置与数值多为不可预见,因此会造成视频帧间编码中,当前帧与参考帧间的unchange宏块变为change宏块,进而产生多余编码,增大编码一帧的码流,如何对当前待传输图像帧进行消噪处理是降低码流的一种有效手段。

针对上述的问题,目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像处理方法及装置、处理器,以至少解决相关技术中图像编码掺杂由噪声,产生冗余编码,导致编码码流增加的技术问题。

根据本发明实施例的一个方面,提供了一种图像处理方法,包括:确定待编码的当前帧图像的第一灰度图像,与参考帧图像的第二灰度图像;计算得到所述第一灰度图像和所述第二灰度图像的像素之间的欧氏距离;根据所述欧氏距离确定所述当前帧图像的第一灰度图像的噪声区域;将所述当前帧图像的噪声区域替换为所述参考帧图像的替换区域,得到更新后的待编码的当前帧图像,其中,所述替换区域为所述参考帧图像中与所述噪声区域对应的区域。

可选的,确定所述待编码的所述当前帧图像的第一灰度图像,与参考帧图像的第二灰度图像包括:确定所述当前帧图像与参考帧图像分别在Y/U/V三通道的像素点灰度的差值,其中,所述当前帧图像和所述参考帧图像均为YUV图像;确定Y/U/V三通道的差值的最大差值和最小差值;在所述最大差值和最小差值的差满足预设条件的情况下,将所述最大差值对应的通道的灰度值作为所述当前帧图像和所述参考帧图像的像素坐标的灰度值;在所述最大差值和最小差值的差不满足预设条件的情况下,将所述最小差值对应的通道的灰度值作为所述当前帧图像和所述参考帧图像的像素坐标的灰度值,得到所述第一灰度图像和所述第二灰度图像。

可选的,根据所述欧氏距离确定所述当前帧图像的第一灰度图像的噪声区域包括:在所述欧氏距离小于等于第一预设距离的情况下,确定所述欧氏距离对应的像素为噪声区域;在所述欧氏距离大于第一预设距离,小于等于第二预设距离的情况下,确定所述欧氏距离对应的像素为疑似噪声区域;在所述欧氏距离大于第二预设距离的情况下,确定所述欧氏距离对应的像素为有效区域。

可选的,在所述欧氏距离大于第一预设距离,小于等于第二预设距离的情况下,确定所述欧氏距离对应的像素为疑似噪声区域之后,还包括:根据所述疑似噪声区域对应的参考帧图像的参考区域;确定所述疑似噪声区域的第一灰度变化均值曲线,以及所述参考区域的第二灰度变化均值曲线;确定所述第一灰度变化均值曲线与所述第二灰度变化均值曲线的变化相似度;根据所述变化相似度,在所述第一灰度变化均值曲线与所述第二灰度变化均值曲线不相似的情况下,确定所述疑似噪声区域的像素为噪声区域;在所述第一灰度变化均值曲线与所述第二灰度变化均值曲线相似的情况下,确定所述疑似噪声区域的像素为有效区域。

可选的,确定所述疑似噪声区域的第一灰度变化均值曲线,以及所述参考区域的第二灰度变化均值曲线包括:确定所述疑似噪声区域的第一行方向灰度均值曲线和第一列方向灰度均值曲线,以及所述参考区域的第二行方向灰度均值曲线和第二列方向灰度均值曲线,其中,所述第一灰度变化均值曲线包括所述第一行方向灰度均值曲线和所述第一列方向灰度均值曲线,所述第二灰度变化均值曲线包括所述第二行方向灰度均值曲线和所述第二列方向灰度均值曲线;确定所述第一灰度变化均值曲线与所述第二灰度变化均值曲线的变化相似度包括:根据所述第一行方向灰度均值曲线和所述第二行方向灰度均值曲线,确定第一变化相似度,根据所述第一列方向灰度均值曲线和所述第二列方向灰度均值曲线,确定第二变化相似度,其中,所述变化相似度包括所述第一变化相似度和所述第二变化相似度。

可选的,根据所述变化相似度,确定所述第一灰度变化均值曲线与所述第二灰度变化均值曲线不相似的情况下,确定所述疑似噪声区域的像素为噪声区域;在所述第一灰度变化均值曲线与所述第二灰度变化均值曲线相似的情况下,确定所述疑似噪声区域的像素为有效区域包括:在所述第一变化相似度没有达到第一相似度阈值,或者,所述第二变化相似度没有达到第二相似度阈值的情况下,确定所述第一灰度变化均值曲线与所述第二灰度变化均值曲线不相似,所述疑似噪声区域的像素为噪声区域;在所述第一变化相似度达到第一相似度阈值,且,所述第二变化相似度达到第二相似度阈值的情况下,确定所述第一灰度变化均值曲线与所述第二灰度变化均值曲线相似,所述疑似噪声区域的像素为有效区域。

可选的,确定所述第一灰度变化均值曲线与所述第二灰度变化均值曲线的变化相似度包括:对所述第一灰度变化均值曲线和所述第二灰度变化均值曲线进行指数变换;计算指数变换后的第一灰度变化均值曲线和所述第二灰度变化均值曲线的均方误差,得到所述变化相似度。

根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第一确定模块,用于确定待编码的当前帧图像的第一灰度图像,与参考帧图像的第二灰度图像;计算模块,用于计算得到所述第一灰度图像和所述第二灰度图像的像素之间的欧氏距离;第二确定模块,用于根据所述欧氏距离确定所述当前帧图像的第一灰度图像的噪声区域;替换模块,用于将所述当前帧图像的噪声区域替换为所述参考帧图像的替换区域,得到更新后的待编码的当前帧图像,其中,所述替换区域为所述参考帧图像中与所述噪声区域对应的区域。

根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的图像处理方法。

根据本发明实施例的另一方面,还提供了一种计算机存储介质,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的图像处理方法。

在本发明实施例中,采用确定待编码的当前帧图像的第一灰度图像,与参考帧图像的第二灰度图像;计算得到第一灰度图像和第二灰度图像的像素之间的欧氏距离;根据欧氏距离确定当前帧图像的第一灰度图像的噪声区域;将当前帧图像的噪声区域替换为参考帧图像的替换区域,得到更新后的待编码的当前帧图像,其中,替换区域为参考帧图像中与噪声区域对应的区域的方式,通过当前帧图像的第一灰度图像和参考帧图像的第二灰度图像的像素点之间的欧氏距离,确定当前帧图像中的噪声区域,并将噪声区域对应的参考帧图像的替换区域,将当前帧图像的噪声区域进行替换,实现了对当前帧图像的去噪,避免了当前帧图像的噪声区域导致的编码冗余,达到了对当前帧图像进行有效去噪,并有效精简当前帧的编码的目的,从而实现了降低当前帧的编码码流的技术效果,进而解决了相关技术中图像编码掺杂由噪声,产生冗余编码,导致编码码流增加的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据本发明实施例的一种图像处理方法的流程图;

图2-1是根据本发明实施方式的噪声点位置的示意图;

图2-2是根据本发明实施方式的噪声点坐在当前帧图像的噪声区域的示意图;

图2-3是根据本发明实施方式的噪声区域对应的参考帧图像的替换区域的示意图;

图3是根据本发明实施方式的图像处理的流程图;

图4是根据本发明实施例的一种图像处理装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例,提供了一种图像处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种图像处理方法的流程图,如图1所示,该方法包括如下步骤:

步骤S102,确定待编码的当前帧图像的第一灰度图像,与参考帧图像的第二灰度图像;

步骤S104,计算得到第一灰度图像和第二灰度图像的像素之间的欧氏距离;

步骤S106,根据欧氏距离确定当前帧图像的第一灰度图像的噪声区域;

步骤S108,将当前帧图像的噪声区域替换为参考帧图像的替换区域,得到更新后的待编码的当前帧图像,其中,替换区域为参考帧图像中与噪声区域对应的区域。

通过上述步骤,采用确定待编码的当前帧图像的第一灰度图像,与参考帧图像的第二灰度图像;计算得到第一灰度图像和第二灰度图像的像素之间的欧氏距离;根据欧氏距离确定当前帧图像的第一灰度图像的噪声区域;将当前帧图像的噪声区域替换为参考帧图像的替换区域,得到更新后的待编码的当前帧图像,其中,替换区域为参考帧图像中与噪声区域对应的区域的方式,通过当前帧图像的第一灰度图像和参考帧图像的第二灰度图像的像素点之间的欧氏距离,确定当前帧图像中的噪声区域,并将噪声区域对应的参考帧图像的替换区域,将当前帧图像的噪声区域进行替换,实现了对当前帧图像的去噪,避免了当前帧图像的噪声区域导致的编码冗余,达到了对当前帧图像进行有效去噪,并有效精简当前帧的编码的目的,从而实现了降低当前帧的编码码流的技术效果,进而解决了相关技术中图像编码掺杂由噪声,产生冗余编码,导致编码码流增加的技术问题。

上述当前帧图像可以属于图像流,待编码的对象可以为图像流,上述图像流包括多帧图像,多帧图像之间具有一定的帧序列,在进行编码时按照帧序列逐一对多帧图像进行编码,上述当前帧图像可以为当前编码的帧图像。

上述参考帧图像是在对当前帧图像进行编码时所选取的作为参考的帧图像,该参考帧可以为图像流中的原图,或者对图像流的原图进行处理后的图像,起作用时在对当前帧图像进行编码时作为参考,通常为当前帧的上一帧图像。由于本实施例可以对图像进行去噪,则参考帧图像可以为当前帧图像的上一帧图像进行去噪后的图像。

在对图像流进行编码时,若当前帧图像为第一帧图像,则将该第一帧图像作为参考帧,由于参考帧是当前帧图像的本身,则取法形成对比进行去噪,直接对其进行编码,因此,上述当前帧图像可以为图像流的非第一帧图像。

步骤S102,确定待编码的当前帧图像的第一灰度图像,与参考帧图像的第二灰度图像,上述第一灰度图像和第二灰度图像可以为最大类间差灰度图像,也即是先确定当前帧图像和参考帧图像的分别在Y/U/V三通道的像素点的灰度的差值,确定差值中的最大差值和最小差值,在最大差值满足预设条件的情况下,将最大差值对应的通道的灰度值作为当前帧图像和参考帧图像的像素坐标的灰度值;在最大差值和最小差值的差不满足预设条件的情况下,将最小差值对应的通道的灰度值作为当前帧图像和参考帧图像的像素坐标的灰度值,得到的灰度图像。

可选的,确定待编码的当前帧图像的第一灰度图像,与参考帧图像的第二灰度图像包括:确定当前帧图像与参考帧图像分别在Y/U/V三通道的像素点灰度的差值,其中,当前帧图像和参考帧图像均为YUV图像;确定Y/U/V三通道的差值的最大差值和最小差值;在最大差值和最小差值的差满足预设条件的情况下,将最大差值对应的通道的灰度值作为当前帧图像和参考帧图像的像素坐标的灰度值;在最大差值和最小差值的差不满足预设条件的情况下,将最小差值对应的通道的灰度值作为当前帧图像和参考帧图像的像素坐标的灰度值,得到第一灰度图像和第二灰度图像。

具体的,cur表示当前帧图像相关的参数,ref表示参考帧图像相关的参数,下同。

diff

diff

diff

diff

maxDiff(x,y)=max{diff

minDiff(x,y)=min{diff

maxDiff(x,y)为Y/U/V三通道间的差值的最大差值,minDiff(x,y)为Y/U/V三通道间的差值的最小差值,

则有

curGrayImage(x,y)为当前帧图像的第一灰度图像,也即是最大类间差灰度图像,refGrayImage(x,y)为参考帧图像的第二灰度图像,也即是最大类间差灰度图像。

maxDiff(x,y)-minDiff(x,y)>2为预设条件,else为不满足预设条件,也即是maxDiff(x,y)-minDiff(x,y)≤2。

通过上述方式可以为凸显出当前帧图像与参考帧图像的变化区域,以便后续确定该变化区域是图像正常的有效变化区域,还是噪声引起的图像变化区域。

可选的,根据欧氏距离确定当前帧图像的第一灰度图像的噪声区域包括:在欧氏距离小于等于第一预设距离的情况下,确定欧氏距离对应的像素为噪声区域;在欧氏距离大于第一预设距离,小于等于第二预设距离的情况下,确定欧氏距离对应的像素为疑似噪声区域;在欧氏距离大于第二预设距离的情况下,确定欧氏距离对应的像素为有效区域。

第一灰度图像和第二灰度推向对应像素的欧式距离dist(x,y):

此处的curGrayImage(x,y)表示当前帧图像的第一灰度图像中(x,y)的像素点的灰度值,refGrayImage(x,y)表示参考帧图像的第二灰度图像中(x,y)的像素点的灰度值。

可选的,在欧氏距离大于第一预设距离,小于等于第二预设距离的情况下,确定欧氏距离对应的像素为疑似噪声区域之后,还包括:根据疑似噪声区域对应的参考帧图像的参考区域;确定疑似噪声区域的第一灰度变化均值曲线,以及参考区域的第二灰度变化均值曲线;确定第一灰度变化均值曲线与第二灰度变化均值曲线的变化相似度;根据变化相似度,在第一灰度变化均值曲线与第二灰度变化均值曲线不相似的情况下,确定疑似噪声区域的像素为噪声区域;在第一灰度变化均值曲线与第二灰度变化均值曲线相似的情况下,确定疑似噪声区域的像素为有效区域。

对于疑似噪声区域需要进行进一步判定,确定其属于有效区域还是噪声区域。通过上述步骤可以准确确定疑似噪声区域是有效区域还是噪声区域,提高了噪声区域确定的准确性,从而提高了去噪的准确性。

可选的,确定疑似噪声区域的第一灰度变化均值曲线,以及参考区域的第二灰度变化均值曲线包括:确定疑似噪声区域的第一行方向灰度均值曲线和第一列方向灰度均值曲线,以及参考区域的第二行方向灰度均值曲线和第二列方向灰度均值曲线,其中,第一灰度变化均值曲线包括第一行方向灰度均值曲线和第一列方向灰度均值曲线,第二灰度变化均值曲线包括第二行方向灰度均值曲线和第二列方向灰度均值曲线;确定第一灰度变化均值曲线与第二灰度变化均值曲线的变化相似度包括:根据第一行方向灰度均值曲线和第二行方向灰度均值曲线,确定第一变化相似度,根据第一列方向灰度均值曲线和第二列方向灰度均值曲线,确定第二变化相似度,其中,变化相似度包括第一变化相似度和第二变化相似度。

第一行方向灰度均值曲线可以为:

式中,Cur_change_curve_row为第一行方向灰度均值曲线,M为疑似噪声区域的像素点的行数,

第二行方向灰度均值曲线可以为:

式中,Ref_change_curve_row为第二行方向灰度均值曲线,M为疑似噪声区域的像素点的行数,

第一列方向灰度均值曲线可以为:

式中,Cur_change_curve_col为第一列方向灰度均值曲线,N为疑似噪声区域的像素点的列数,

第二列方向灰度均值曲线可以为:

式中,Ref_change_curve_col为第二列方向灰度均值曲线,N为疑似噪声区域的像素点的行数,

其中,参考区域与疑似噪声区域的大小相同均为M*N。

根据第一行方向灰度均值曲线和第二行方向灰度均值曲线,确定第一变化相似度,根据第一列方向灰度均值曲线和第二列方向灰度均值曲线,确定第二变化相似度,其中,变化相似度包括第一变化相似度和第二变化相似度。从而确定第一灰度变化均值曲线与第二灰度变化均值曲线的变化相似度。

可选的,根据变化相似度,确定第一灰度变化均值曲线与第二灰度变化均值曲线不相似的情况下,确定疑似噪声区域的像素为噪声区域;在第一灰度变化均值曲线与第二灰度变化均值曲线相似的情况下,确定疑似噪声区域的像素为有效区域包括:在第一变化相似度没有达到第一相似度阈值,或者,第二变化相似度没有达到第二相似度阈值的情况下,确定第一灰度变化均值曲线与第二灰度变化均值曲线不相似,疑似噪声区域的像素为噪声区域;在第一变化相似度达到第一相似度阈值,且,第二变化相似度达到第二相似度阈值的情况下,确定第一灰度变化均值曲线与第二灰度变化均值曲线相似,疑似噪声区域的像素为有效区域。

在确定第一行方向灰度均值曲线和第二行方向灰度均值曲线,确定第一变化相似度,以及第一列方向灰度均值曲线和第二列方向灰度均值曲线,确定第二变化相似度,时,通过比较对应图像块的灰度变化曲线间的均方误差(MSE)来判断两图像快是否为相似块,具体的,确定第一行方向灰度均值曲线和第二行方向灰度均值曲线的均方误差,作为第一相似度,第一列方向灰度均值曲线和第二列方向灰度均值曲线的均方误差,作为第二变化相似度。从而准确确定疑似噪声区域是有效区域还是噪声区域,提高了噪声区域确定的准确性,从而提高了去噪的准确性。

可选的,确定第一灰度变化均值曲线与第二灰度变化均值曲线的变化相似度包括:对第一灰度变化均值曲线和第二灰度变化均值曲线进行指数变换;计算指数变换后的第一灰度变化均值曲线和第二灰度变化均值曲线的均方误差,得到变化相似度。

通过指数变换,将第一灰度变化均值曲线和第二灰度变化均值曲线的变化情况在数值上放大,便于进行比较,从而提高了第一灰度变化均值曲线和第二灰度变化均值曲线的比较准确率,进而提高了疑似噪声区域的判定准确率。

需要说明的是,本实施例还提供了一种可选的实施方式,下面对该实施方式进行详细说明。

本实施方式通过分析掺入噪声特点以及噪声对编码方式的影响,提出了一种通过对比相邻帧最大类间差图像区域的相似度,进而筛选出噪声区域与变化区域,通过将当前帧噪声区域替换成参考帧对应区域的数值,从而达到降低编码码流的作用。

本实施方式为解决图像编码当中由于掺入噪声造成的编码码流增大的问题,提出了一种通过对比相邻帧最大类间差图像区域的相似度,上述最大类间差图像,也即是上述当前帧图像的第一灰度图像,参考帧图像的第二灰度图像;判断该区域为噪声区域还是有效变化区域,进而将当前帧噪声区域的图像用对应的参考帧图像代替,由此减少帧间编码中的change宏块个数,增大unchange宏块个数,达到降低编码一帧的码流的作用。

本实施方式所描述的去噪算法可以分成三步进行:

一、计算当前帧与参考帧的最大类间差灰度图像,也即是确定当前帧图像的第一灰度图像,和参考帧图像的第二灰度图像;

由于输入图像为YUV图像,因此,为凸显出当前帧与参考帧间的变化区域,本实施方式通过计算当前帧与参考帧的Y/U/V三通道间的差值,将对应坐标的灰度值设为最大类间差的对应通道值,如下式所示:cur表示当前帧图像相关的参数,ref表示参考帧图像相关的参数,下同。

diff

diff

diff

diff

maxDiff(x,y)=max{diff

minDiff(x,y)=min{diff

maxDiff(x,y)为Y/U/V三通道间的差值的最大差值,minDiff(x,y)为Y/U/V三通道间的差值的最小差值,

则有

curGrayImage(x,y)为当前帧图像的第一灰度图像,也即是最大类间差灰度图像,refGrayImage(x,y)为参考帧图像的第二灰度图像,也即是最大类间差灰度图像。

二、根据欧式距离初步筛选当前帧图像的噪声区域与变化区域

根据上一步所求的当前帧与参考帧灰度图像,为初步筛选出图像中的噪声区域与变化区域,通过计算两帧灰度图像间对应像素的欧式距离dist(x,y),如下式:

设定阈值th1淘汰干扰项,即噪声干扰区域,设置阈值th2提取帧图像间有效变化区域,即当前帧相对参考帧发生变化的区域,本实施方式中设置的阈值th1=1.5,th2=12,如式二所示:

式中,ImgRecon_Map为当前帧图像重建窗口函数,ImgRecon_Map

三、疑似噪点区域的相似度计算

1)疑似噪声区域块提取

图2-1是根据本发明实施方式的噪声点位置的示意图,图2-2是根据本发明实施方式的噪声点坐在当前帧图像的噪声区域的示意图,图2-3是根据本发明实施方式的噪声区域对应的参考帧图像的替换区域的示意图,如图2-1,2-2,2-3所示,定位当前帧与参考帧的第一灰度图curGrayImage与第二灰度图refGrayImage中对应像素点ImgRecon_Map等于2的坐标位置,并提取以该坐标点为中心的50*50的图像块区域Ref_IMG_Block与Cur_IMG_Block。

2)区域块相似度计算

分别计算提取出来的当前帧图像块Ref_IMG_Block与参考帧图像块Cur_IMG_Block行列方向上的灰度变化均值曲线:

for(row=1:50)

for col=1:50

其中Ref_change_curve_row为参考帧行方向灰度变化曲线,Cur_change_curve_row为当前帧行方向灰度变化曲线,Ref_change_curve_col为参考帧列方向灰度变化曲线,Cur_change_curve_col为当前帧列方向灰度变化曲线。分别计算提取块各行与各列的灰度值和,再比上像素个数,得到当前帧与参考帧图像提取块的灰度变化均值曲线。通过对比参考帧与当前帧行/列方向上均值曲线的变化相似度,得出两区域块是否为相似块,若为相似块,则将重建窗口函数ImgRecon_Map对应区域块内数值置为0,即将该区域用参考帧图像填充,若不为相似块,则将重建窗口函数ImgRecon_Map中间坐标置为1,表示该点像素值为当前帧图像。本实施方式通过比较对应图像块的灰度变化曲线间的均方误差(MSE)来判断两图像快是否为相似块。

本实施方式通过实验观察,发现在比较当前帧与参考帧图像间的块相似度时,对于变化较明显的图像区域,由于两者间的灰度变化曲线较为明显,反应在均方误差值(MSE)上会计算得到较大数值,但对于变化不太明显的图像区域,由于上一步计算灰度变化曲线时有求和平均过程,会使得本就变化不明显的区域在灰度变化曲线上就更不明显,最后导致求得的MSE值不满足设定的阈值,把有效变化区域的识别成噪声区域,造成误判。

因此,本实施方式通过指数变换来放大图像有效区域的灰度变化特征,同时又不对噪声区域的变化特征产生影响,如下式所示:

new_Change_curve_row=exp(Ref_change_curve_row-Cur_change_curve_row)new_Change_curve_col=exp(Ref_change_curve_col-Cur_change_curve_col)

再计算两者间的均值误差,如下式:

通过计算的帧间块相似度来设定重建窗口函数ImgRecon_Map的值:

四、当前帧重建

根据重建窗口函数ImgRecon_Map,重建当前帧图像:

经去噪处理重建后的当前帧,在帧间编码中,增加了当前帧与参考帧间unchange宏块的个数,避免了因为量化噪声影响而造成的宏块重复编码,极大减小了帧图像间的编码传输码率。

图3是根据本发明实施方式的图像处理的流程图,如图3所示,开始读取第n帧当前图像Cur_frame,计当前帧所处的视频流的第n帧图像,n开始去1,n为正整数。确定提取的第n帧当前图像Cur_frame是否为第一帧,若是则更新参考帧Ref_frame,Ref_frame=Cur_frame,将第一帧当前图像Cur_frame作为参考帧;若否,则计算当前帧推向与参考帧图像之间的图像三通道的差值,确定第一灰度图cur_gray与第二灰度图ref_gray;然后计算当前帧图像与参考帧图像的最大类间差灰度图,也即是第一灰度图和第二灰度图之间的欧氏距离DIST;根据欧氏距离将图像分为噪声区域、疑似噪声区域和有效变化区域ImgRecon_Map;提取ImgRecon_Map中疑似噪声区域的坐标Add(i),其中,i为ImgRecon_Map中的第i个疑似噪声区域;提取cur_gray与ref_gray中对应坐标Add(i)的位置周围50*50的区域块;计算两区域块的横轴与纵轴方向上灰度变化曲线,也即是第一灰度变化曲线和第二灰度变化曲线;对当前帧图像与参考帧图像相同方向上的灰度变化曲线差值进行指数运算,放大平缓变化区域数值;计算两区域块之间的均方误差MSE,并根据其MSE值将ImgRecon_Map中坐标Add(i)的位置重新赋值,对该坐标Add(i)的位置的所属区域为噪声区域或者有效区域,进行重新确定;确定是否已处理完ImgRecon_Map中所有的疑似噪声区域,若否,则为i加1,为i赋值,i=i+1,继续进行上述步骤,对坐标Add(i)的位置的所属区域为噪声区域或者有效区域,进行重新确定;若是,则根据ImgRecon_Map重建当前帧图像Cur_frame;更新参考帧Ref_frame,Ref_frame=Cur_frame,将重建后的当前帧图像作为新的参考帧,用于下一次使用;对重建后的当前帧图像进行编码,确定当前帧图像所在帧序列是否处理完成,若是,则结束,若否,则为n赋值,n=n+1,继续为后续的帧图像进行编码,直至帧序列的所有帧图像编码完成。

图4是根据本发明实施例的一种图像处理装置的示意图,如图4所示,根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第一确定模块42,计算模块44,第二确定模块46和替换模块48,下面对该装置进行详细说明。

第一确定模块42,用于确定待编码的当前帧图像的第一灰度图像,与参考帧图像的第二灰度图像;计算模块44,与上述第一确定模块42相连,用于计算得到第一灰度图像和第二灰度图像的像素之间的欧氏距离;第二确定模块46,与上述计算模块44相连,用于根据欧氏距离确定当前帧图像的第一灰度图像的噪声区域;替换模块48,与上述第二确定模块46相连,用于将当前帧图像的噪声区域替换为参考帧图像的替换区域,得到更新后的待编码的当前帧图像,其中,替换区域为参考帧图像中与噪声区域对应的区域。

通过上述装置,采用第一确定模块42确定待编码的当前帧图像的第一灰度图像,与参考帧图像的第二灰度图像;计算模块44计算得到第一灰度图像和第二灰度图像的像素之间的欧氏距离;;第二确定模块46根据欧氏距离确定当前帧图像的第一灰度图像的噪声区域;替换模块48将当前帧图像的噪声区域替换为参考帧图像的替换区域,得到更新后的待编码的当前帧图像,其中,替换区域为参考帧图像中与噪声区域对应的区域的方式,通过当前帧图像的第一灰度图像和参考帧图像的第二灰度图像的像素点之间的欧氏距离,确定当前帧图像中的噪声区域,并将噪声区域对应的参考帧图像的替换区域,将当前帧图像的噪声区域进行替换,实现了对当前帧图像的去噪,避免了当前帧图像的噪声区域导致的编码冗余,达到了对当前帧图像进行有效去噪,并有效精简当前帧的编码的目的,从而实现了降低当前帧的编码码流的技术效果,进而解决了相关技术中图像编码掺杂由噪声,产生冗余编码,导致编码码流增加的技术问题。

根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述中任意一项的图像处理方法。

根据本发明实施例的另一方面,还提供了一种计算机存储介质,计算机存储介质包括存储的程序,其中,在程序运行时控制计算机存储介质所在设备执行上述中任意一项的图像处理方法。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取计算机存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

相关技术
  • 图像处理方法、图像处理器及使用该图像处理器的立体图像显示装置
  • 图像处理装置、图像处理方法、图像处理程序、记录了图像处理程序的记录介质、及图像处理用处理器
技术分类

06120112295605