图像处理方法、装置、电子设备和存储介质
文献发布时间:2024-01-17 01:15:20
技术领域
本公开涉及图像处理技术领域,具体涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
近年来,终端设备的拍照功能不断发展,而用户对于图像画质的需求也在不断增加。在使用终端设备进行拍照时,复杂的背景环境和受限的拍照传感器,会使拍出的图像有噪声、模糊、分辨率低等退化现象,最终影响图像画质效果,所以图像在显示到屏幕前会经过许多相关的图像增强算法来消除这些退化的影响,但受限于终端设备的运算能力,这些图像增强算法会增加终端设备的时间消耗和功耗,因此终端设备在拍照时无法同时满足图像的精度和运算速度。
发明内容
为克服相关技术中存在的问题,本公开实施例提供一种图像处理方法、装置、电子设备和存储介质,用以解决相关技术中的缺陷。
根据本公开实施例的第一方面,提供一种图像处理方法,包括:
获取待处理图像;
将所述待处理图像拆分为多个分支图像,其中,所述分支图像的图像信息包括所述待处理图像的图像信息中连续多个比特位所表示的图像信息;
将多个所述分支图像分别输入至对应的图像处理模型,每个所述图像处理模型输出对应的所述分支图像的处理结果;
将多个所述分支图像的处理结果进行融合处理,得到所述待处理图像的处理结果。
在一个实施例中,所述将所述待处理图像拆分为多个分支图像,包括:
将所述待处理图像的像素的第一浮点数由十进制转换为N进制;
分别按照每个所述分支图像的比特位范围从所述第一浮点数中截取连续多个比特位,并将所述连续多个比特位组成的N进制的第二浮点数转换为十进制;
将所述待处理图像的像素的浮点数更新为所述分支图像对应的第二浮点数,得到所述分支图像。
在一个实施例中,多个所述分支图像的比特位范围的并集为所述待处理图像的全部比特位;和/或,
多个所述分支图像的比特位范围的宽度之和大于或等于所述待处理图像的比特位宽度。
在一个实施例中,所述图像处理模型与对应的待处理图像的多个连续比特位相匹配。
在一个实施例中,所述将多个所述分支图像的处理结果进行融合处理,得到所述待处理图像的处理结果,包括:
将每个所述分支图像的处理结果的像素的第三浮点数由十进制转换为N进制;
分别按照每个所述分支图像的比特位范围,将每个所述分支图像的处理结果的像素的第三浮点数添加至第四浮点数的对应比特位中;
将所述第四浮点数由N进制转换为十进制,并将所述待处理图像的像素的浮点数更新为所述第四浮点数,得到所述待处理图像的处理结果。
在一个实施例中,包括:
从训练集中获取样本图像和对应的标签图像;
将所述样本图像拆分为多个样本分支图像,并将所述标签图像拆分为多个标签分支图像,其中,每个所述样本分支图像包括所述样本图像的连续多个比特位,每个所述标签分支图像包括所述标签图像的连续多个比特位;
将多个所述样本分支图像分别输入至对应的图像处理模型,每个所述图像处理模型输出对应的所述样本分支图像的处理结果;
根据所述样本分支图像的处理结果和对应的所述标签分支图像确定第一网络损失值,并根据所述第一网络损失值调整对应的所述图像处理模型的网络参数。
在一个实施例中,包括:
将多个所述样本分支图像的处理结果进行融合处理,得到所述样本图像的处理结果;
根据所述样本图像的处理结果和对应的所述标签图像确定第二网络损失值,并根据所述第二网络损失值调整每个所述图像处理模型的网络参数。
在一个实施例中,包括:
分别根据每个所述样本分支图像,对对应的所述图像处理模型进行量化处理。
根据本公开实施例的第二方面,提供一种图像处理装置,包括:
获取模块,用于获取待处理图像;
拆分模块,用于将所述待处理图像拆分为多个分支图像,其中,所述分支图像的图像信息包括所述待处理图像的图像信息中连续多个比特位所表示的图像信息;
处理模块,用于将多个所述分支图像分别输入至对应的图像处理模型,每个所述图像处理模型输出对应的所述分支图像的处理结果;
融合模块,用于将多个所述分支图像的处理结果进行融合处理,得到所述待处理图像的处理结果。
在一个实施例中,所述拆分模块用于:
将所述待处理图像的像素的第一浮点数由十进制转换为N进制;
分别按照每个所述分支图像的比特位范围从所述第一浮点数中截取连续多个比特位,并将所述连续多个比特位组成的N进制的第二浮点数转换为十进制;
将所述待处理图像的像素的浮点数更新为所述分支图像对应的第二浮点数,得到所述分支图像。
在一个实施例中,多个所述分支图像的比特位范围的并集为所述待处理图像的全部比特位,且多个所述分支图像的比特位范围的宽度之和大于或等于所述待处理图像的比特位宽度。
在一个实施例中,所述图像处理模型与对应的待处理图像的多个连续比特位相匹配。
在一个实施例中,所述融合模块用于:
将每个所述分支图像的处理结果的像素的第三浮点数由十进制转换为N进制;
分别按照每个所述分支图像的比特位范围,将每个所述分支图像的处理结果的像素的第三浮点数添加至第四浮点数的对应比特位中;
将所述第四浮点数由N进制转换为十进制,并将所述待处理图像的像素的浮点数更新为所述第四浮点数,得到所述待处理图像的处理结果。
在一个实施例中,包括第一训练模块,用于:
从训练集中获取样本图像和对应的标签图像;
将所述样本图像拆分为多个样本分支图像,并将所述标签图像拆分为多个标签分支图像,其中,每个所述样本分支图像包括所述样本图像的连续多个比特位,每个所述标签分支图像包括所述标签图像的连续多个比特位;
将多个所述样本分支图像分别输入至对应的图像处理模型,每个所述图像处理模型输出对应的所述样本分支图像的处理结果;
根据所述样本分支图像的处理结果和对应的所述标签分支图像确定第一网络损失值,并根据所述第一网络损失值调整对应的所述图像处理模型的网络参数。
在一个实施例中,包括第二训练模块,用于:
将多个所述样本分支图像的处理结果进行融合处理,得到所述样本图像的处理结果;
根据所述样本图像的处理结果和对应的所述标签图像确定第二网络损失值,并根据所述第二网络损失值调整每个所述图像处理模型的网络参数。
在一个实施例中,包括量化模块,用于:
分别根据每个所述样本分支图像,对对应的所述图像处理模型进行量化处理。
根据本公开实施例的第三方面,提供一种电子设备,所述电子设备包括存储器、处理器,所述存储器用于存储可在处理器上运行的计算机指令,所述处理器用于在执行所述计算机指令时基于第一方面所述的图像处理方法。
根据本公开实施例的第六方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现第一方面所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开通过获取待处理图像,并将所述待处理图像拆分为多个分支图像,然后将多个所述分支图像分别输入至对应的图像处理模型,每个所述图像处理模型输出对应的所述分支图像的处理结果,最后再将多个所述分支图像的处理结果进行融合处理,得到所述待处理图像的处理结果。由于所述分支图像的图像信息包括所述待处理图像的图像信息中连续多个比特位所表示的图像信息,因此每个分支图像可以携带待处理图像的部分特性,而每个分支图像被不同的图像处理模型进行处理,则可以使图像处理模块的处理内容和强度与其对应的分支图像所携带的图像特性相适应,从而保证图像处理的精度;而且相对于相关技术中对待处理图像执行全部处理内容,本申请中的图像处理模块所针对的分支图像比特位较小,且处理内容为部分处理内容,从而降低了图像处理的功耗,提高了图像处理的效率。也就是说,本申请提供的图像处理方法能够在较低功耗的情况下,高效且高精度的进行图像处理,若将其应用于终端设备的拍照场景下,可以消除图像的噪声、模糊、分辨率低等退化现象,提高图像的画质,即终端设备在拍照时能够同时满足图像的精度和运算速度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本公开一示例性实施例示出的图像处理方法的流程图;
图2是本公开一示例性实施例示出的图像拆分过程的示意图;
图3是本公开一示例性实施例示出的图像增强过程的流程图;
图4是本公开一示例性实施例示出的图像处理装置的结构示意图;
图5是本公开一示例性实施例示出的电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
近年来,终端设备的拍照功能不断发展,而用户对于图像画质的需求也在不断增加。在使用终端设备进行拍照时,复杂的背景环境和受限的拍照传感器,会使拍出的图像有噪声、模糊、分辨率低等退化现象,最终影响图像画质效果,所以图像在显示到屏幕前会经过许多相关的图像增强算法来消除这些退化的影响,但受限于终端设备的运算能力,这些图像增强算法会增加终端设备的时间消耗和功耗,因此终端设备在拍照时无法同时满足图像的精度和运算速度。
例如,针对终端设备运算慢、功耗高的问题,最常用的解决办法是模型加速,如量化、剪枝、蒸馏等,其中量化又因为速度快、操作简单被大量使用。模型量化是一种将浮点计算转成低比特定点计算的技术,可以有效的降低模型计算强度、参数大小和内存消耗,但模型量化是一种近似算法方法,精度损失是一个严峻的问题。模型量化常用于检测、分割、识别等任务中,因为这些任务只需要输出掩膜、置信度等语义信息,不要求很高的精度。但对于图像增强任务,算法的输出是一张完整的图像,像素级的误差都会带来观感上的不适。因此当前的模型量化处理虽然能够解决运算慢和功耗高的问题,但是无法满足图像的精度要求。
基于此,第一方面,本公开至少一个实施例提供了一种图像处理方法,请参照附图1,其示出了该方法的流程,包括步骤S101和步骤S104。
其中,该图像处理方法可以用于对待处理图像进行图像增强,例如对终端设备拍照得到的图像进行图像增强处理,以消除图像的噪声、模糊、分辨率低等退化问题。
该方法可以由终端设备或服务器等电子设备执行,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)手持设备、计算设备、车载设备、可穿戴设备等,该方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者,可以通过服务器执行该方法,服务器可以为本地服务器、云端服务器等。
在步骤S101中,获取待处理图像。
其中,待处理图像可以为终端设备拍照所得到的,且未显示在屏幕上的图像,也就是说,待处理图像需要经过本实施例提供的方法进行处理后才会显示在屏幕上。待处理图像可以是其他应用程序中或者其他场景下需要处理的图像。
在步骤S102中,将所述待处理图像拆分为多个分支图像,其中,所述分支图像的图像信息包括所述待处理图像的图像信息中连续多个比特位所表示的图像信息。
其中,待处理图像的比特位可以为64位、32位、16位等。可以按照比特位对其进行拆分,例如将64位比特位的待处理图像拆分为四个16比特位的分支图像,或者将32位比特位的待处理图像拆分为两个8比特位的分支图像和一个16比特位的分支图像,或者将16位比特位的待处理图像拆分为两个8比特位的分支图像。相邻的分支图像可以被其他比特位隔开、或者相交、或者部分重合,优选的,相邻的分支图像相交。
在一个可能的实施例中,可以按照下述方式将所述待处理图像拆分为多个分支图像:首先,将所述待处理图像的像素的第一浮点数由十进制转换为N进制;接下来,分别按照每个所述分支图像的比特位范围从所述第一浮点数中截取连续多个比特位,并将所述连续多个比特位组成的N进制的第二浮点数转换为十进制;最后,将所述待处理图像的像素的浮点数更新为所述分支图像对应的第二浮点数,得到所述分支图像。其中,N进制为非十进制,例如二进制、八进制、十六进制等。每个分支图像的比特位范围预先设置。待处理图像中的每个像素均按照上述实施例中的方式进行拆分,而且每个分支图像均按照上述方式拆分得到。
优选的,多个所述分支图像的比特位范围的并集为所述待处理图像的全部比特位,也就是说,多个分支图像需要涵盖待处理图像的全部比特位,从而可以使待处理图像的全部特性均转移至分支图像中,从而避免拆分待处理图像的过程中丢失信息。
优选的,多个所述分支图像的比特位范围的宽度之和大于或等于所述待处理图像的比特位宽度,也就是说,多个分支图像所截取的比特位可以相交或重合。
以图2所示的拆分过程为例,待处理图像的某个像素的32比特位的第一浮点数为123456789,将其转换为二进制后为一个32位的二进制数,然后将该32位的二进制数中的前8位截取作为第一个分支图像中该像素的第二浮点数,该第二浮点数转换为十进制后为7,然后将该32位的二进制数中的中间16位截取作为第二个分支图像中该像素的第二浮点数,该第二浮点数转换为十进制后为23501,最后将该32位的二进制数中的最后8位截取作为第三个分支图像中该像素的第二浮点数,该第二浮点数转换为十进制后为21。
需要注意的是,图2所示的某个像素的32比特位的第一浮点数也可以按照其他方式进行拆分。例如,将其对应的32位的二进制数的前16位作为第一个分支图像中该像素的第二浮点数,并将其对应的32位的二进制数的后16位作为第二个分支图像中该像素的第二浮点数。再例如,将其对应的32位的二进制数的全部32位作为第一个分支图像中该像素的第二浮点数,将其对应的32位的二进制数的后16位作为第二个分支图像中该像素的第二浮点数。再例如,将其对应的32位的二进制数的前16位作为第一个分支图像中该像素的第二浮点数,将其对应的32位的二进制数的第9位至24位作为第二个分支图像中该像素的第二浮点数,将其对应的32位的二进制数的后16位作为第三个分支图像中该像素的第二浮点数。
在步骤S103中,将多个所述分支图像分别输入至对应的图像处理模型,每个所述图像处理模型输出对应的所述分支图像的处理结果。
其中,图像处理模型可以预先完成训练,而且图像处理模型与对应的待处理图像的多个连续比特位相匹配,也就是说,图像处理模型的处理内容或者处理任务需要与分支图像的特性相匹配。
一个像素的浮点数的低位大多存储的是高频信息,如噪声、纹理等,是图像增强的主要处理区间。而像素的浮点数的中位和高位则存储的是低频信息,如灰度、轮廓等,在图像增强时基本保持不动。根据上述浮点数的特点,可以赋予不同分支图像的处理模型特定的任务,中位和高位的分支图像对应的图像处理模型进行较少的运算处理,其目的是为了保留原始输入信息,稳定输出图像的效果,低位的分支图像对应的图像处理模型进行较多的运算处理,其功能是高强度的去噪、去模糊等,而且由于中位和高位的分支图像的存在,其不用在意信息的丢失。中高位支路(即中位和高位的分支图像的处理过程)计算量小,剪枝简单,学习难度低,几乎没有量化误差,大部分计算都在低位支路(即低位的分支图像的处理过程)上,所以整体结构的速度很快,且精度不会降低。
以图2所示的拆分结果为例,第一个分支图像和第二个分支图像,即像素的第二浮点数为7和23501的分支图像对应的图像处理模型进行较少的运算处理,其目的是为了保留原始输入信息,稳定输出图像的效果,而第三个分支图像,即像素的第二浮点数为21的分支图像对应的图像处理模型进行较多的运算处理,其功能是高强度的去噪、去模糊等。
在步骤S104中,将多个所述分支图像的处理结果进行融合处理,得到所述待处理图像的处理结果。
其中,可以按照步骤S102中的拆分过程的逆过程进行融合处理,或者使用预先训练的融合网络进行融合处理。
以拆分过程的逆过程为例,具体可以按照下述方式进行融合:首先,将每个所述分支图像的处理结果的像素的第三浮点数由十进制转换为N进制;接下来,分别按照每个所述分支图像的比特位范围,将每个所述分支图像的处理结果的像素的第三浮点数添加至第四浮点数的对应比特位中;最后,将所述第四浮点数由N进制转换为十进制,并将所述待处理图像的像素的浮点数更新为所述第四浮点数,得到所述待处理图像的处理结果。其中,N进制为非十进制,例如二进制、八进制、十六进制等。分支图像的比特位范围与拆分过程中分支图像的比特位范围相同。分支图像中的每个像素均按照上述实施例中的方式进行融合。
本公开通过获取待处理图像,并将所述待处理图像拆分为多个分支图像,然后将多个所述分支图像分别输入至对应的图像处理模型,每个所述图像处理模型输出对应的所述分支图像的处理结果,最后再将多个所述分支图像的处理结果进行融合处理,得到所述待处理图像的处理结果。由于所述分支图像的图像信息包括所述待处理图像的图像信息中连续多个比特位所表示的图像信息,因此每个分支图像可以携带待处理图像的部分特性,而每个分支图像被不同的图像处理模型进行处理,则可以使图像处理模块的处理内容和强度与其对应的分支图像所携带的图像特性相适应,从而保证图像处理的精度;而且相对于相关技术中对待处理图像执行全部处理内容,本申请中的图像处理模块所针对的分支图像比特位较小,且处理内容为部分处理内容,从而降低了图像处理的功耗,提高了图像处理的效率。也就是说,本申请提供的图像处理方法能够在较低功耗的情况下,高效且高精度的进行图像处理,若将其应用于终端设备的拍照场景下,可以消除图像的噪声、模糊、分辨率低等退化现象,提高图像的画质,即对图像增强处理进行了加速。
而且本公开所提供的将待处理图像拆分、处理、融合的处理思路,可以适用于任何图像增强任务的任何模型,且可以根据不同的去噪、去模糊、去摩尔纹等任务,可以调节支路之间的分配比例、拆分数量等从而适应不同的任务目标,使方案更具鲁棒性和泛化性。可以在终端设备的拍照过程中对图像增强过程进行加速,充分利用深度学习技术的优势,弥补图像增强过程中高功耗、速度慢的缺点,消除终端设备呈现中的噪声、模糊等退化现象,提升图像的质量。
请参照附图3,其示例性的示出了应用本申请提供的图像处理方法进行图像增强的完整过程,首先,对32bit的输入图像进行bit支路拆分,从而得到高8位分支图像、中16位分支图像和低8位分支图像,每条分支图像形成一个图像处理支路,即高8位支路、中16位支路和低8位支路,在高8位支路中,高8位分支图像输入任务为保留信息、稳定输出的8bit小模型中,在中16位支路中,中16位图像输入任务为保留信息、兼顾增强的16bit中模型中,在低8位支路中,低8位分支图像输入任务为高强度图像增强的8bit大模型中,最后三条支路中的模型所输出的处理结果进行bit支路融合,形成32bit的输出图像,输出图像相对于输入图像得到了增强,且该过程高效高精度。
本实施例提出的加速方法,通过bit拆分策略,将高bit信息拆分为多条支路,赋予每条支路不同的任务和特性,来针对性的对噪声、细节、纹理的高强度增强处理,对灰度、轮廓的保留处理,从而减少量化误差。而且通过拆分裁剪的方式将高bit数据变为低bit数据,相比于直接缩放,能够保证其数值范围在对应支路可接受的范围内,量化误差尽可能的少。
本公开的一些实施例中,包括下述图像处理模型的训练过程:首先,从训练集中获取样本图像和对应的标签图像;接下来,将所述样本图像拆分为多个样本分支图像,并将所述标签图像拆分为多个标签分支图像,其中,每个所述样本分支图像包括所述样本图像的连续多个比特位,每个所述标签分支图像包括所述标签图像的连续多个比特位;再接下来,将多个所述样本分支图像分别输入至对应的图像处理模型,每个所述图像处理模型输出对应的所述样本分支图像的处理结果;根据所述样本分支图像的处理结果和对应的所述标签分支图像确定第一网络损失值,并根据所述第一网络损失值调整对应的所述图像处理模型的网络参数。
其中,样本图像和标签图像是对应相同场景的不同质量的图像,样本图像的质量较低,标签图像的质量较高。标签图像就是样本图像进行处理的目标。样本图像的拆分过程可以与步骤S102中介绍的待处理图像的拆分过程相同,也可以与步骤S102中介绍的待处理图像的拆分过程不同。标签分支图像生成的方式和样本分支图像生成的方式相同,保证信息的对等,这样模型可以正确的认识到自己的任务目标,最终输出才会满足我们的要求。
在对不同支路的图像处理模型进行训练时,可以设置不同的超参数、例如不同的学习率、不通的迭代次数等。
另外,在完成每个支路的图像处理模型的训练后,可以将多个所述样本分支图像的处理结果进行融合处理,得到所述样本图像的处理结果;然后根据所述样本图像的处理结果和对应的所述标签图像确定第二网络损失值,并根据所述第二网络损失值调整每个所述图像处理模型的网络参数。
其中,样本分支图像的处理结果的融合处理过程,可以与步骤S104中介绍的分支图像的处理结果的融合过程相同,也可以与步骤S104中介绍的分支图像的处理结果的融合过程不同。
本实施例提供多精度、多阶段的模型训练方式,多阶段即先将每个支路单独训练,使其适应自己的独特任务,达到收敛状态,然后再将多个支路融合,一起联合训练,这样既保证了模型收敛,又能够正确指导每条支路处理好自己的任务,并且每个支路单独训练时,都可以应用更适合自己任务的超参数,使模型更好更快的收敛。多阶段的训练方法可以使模型更好、更快的收敛,从而加快训练速度,使模型更快的迭代出新版本,训练体验更好。
多精度即是将标签图像进行拆分得到多个标签分支图像,并分别作为每个支路的图像处理模型的标签,这样模型可以正确的认识到自己的任务目标,最终输出才会满足我们的要求。相比于传统的单一精度量化,本方案提出并行混合精度的结构,赋予不同支路不同的任务、数据、训练参数等,使模型更具针对性,通过保留信息、减少量化误差等来提高最终的成像质量,增加用户体验。
本公开的一些实施例中,在完成图像处理模型的训练后,可以分别根据每个所述样本分支图像,对对应的所述图像处理模型进行量化处理。
由于并行混合精度结构将输入进行了拆分,所以实际静态量化时的量化数据也要经过拆分,且每个支路要单独量化。通过拆分裁剪的方式将高比特位的数据变为低比特位的数据,相比于直接缩放,能够保证其数值范围在对应支路可接受的范围内,量化误差尽可能的少。每个支路的图像处理模型单独量化后,再组合拼接为最终模型。
根据本公开实施例的第二方面,提供一种图像处理装置,请参照附图4包括:
获取模块401,用于获取待处理图像;
拆分模块402,用于将所述待处理图像拆分为多个分支图像,其中,所述分支图像的图像信息包括所述待处理图像的图像信息中连续多个比特位所表示的图像信息;
处理模块403,用于将多个所述分支图像分别输入至对应的图像处理模型,每个所述图像处理模型输出对应的所述分支图像的处理结果;
融合模块404,用于将多个所述分支图像的处理结果进行融合处理,得到所述待处理图像的处理结果。
在本公开的一些实施例中,所述拆分模块用于:
将所述待处理图像的像素的第一浮点数由十进制转换为N进制;
分别按照每个所述分支图像的比特位范围从所述第一浮点数中截取连续多个比特位,并将所述连续多个比特位组成的N进制的第二浮点数转换为十进制;
将所述待处理图像的像素的浮点数更新为所述分支图像对应的第二浮点数,得到所述分支图像。
在本公开的一些实施例中,多个所述分支图像的比特位范围的并集为所述待处理图像的全部比特位,且多个所述分支图像的比特位范围的宽度之和大于或等于所述待处理图像的比特位宽度。
在本公开的一些实施例中,所述图像处理模型与对应的待处理图像的多个连续比特位相匹配。
在本公开的一些实施例中,所述融合模块用于:
将每个所述分支图像的处理结果的像素的第三浮点数由十进制转换为N进制;
分别按照每个所述分支图像的比特位范围,将每个所述分支图像的处理结果的像素的第三浮点数添加至第四浮点数的对应比特位中;
将所述第四浮点数由N进制转换为十进制,并将所述待处理图像的像素的浮点数更新为所述第四浮点数,得到所述待处理图像的处理结果。
在本公开的一些实施例中,包括第一训练模块,用于:
从训练集中获取样本图像和对应的标签图像;
将所述样本图像拆分为多个样本分支图像,并将所述标签图像拆分为多个标签分支图像,其中,每个所述样本分支图像包括所述样本图像的连续多个比特位,每个所述标签分支图像包括所述标签图像的连续多个比特位;
将多个所述样本分支图像分别输入至对应的图像处理模型,每个所述图像处理模型输出对应的所述样本分支图像的处理结果;
根据所述样本分支图像的处理结果和对应的所述标签分支图像确定第一网络损失值,并根据所述第一网络损失值调整对应的所述图像处理模型的网络参数。
在本公开的一些实施例中,包括第二训练模块,用于:
将多个所述样本分支图像的处理结果进行融合处理,得到所述样本图像的处理结果;
根据所述样本图像的处理结果和对应的所述标签图像确定第二网络损失值,并根据所述第二网络损失值调整每个所述图像处理模型的网络参数。
在本公开的一些实施例中,包括量化模块,用于:
分别根据每个所述样本分支图像,对对应的所述图像处理模型进行量化处理。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在第一方面有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
根据本公开实施例的第三方面,请参照附图5,其示例性的示出了一种电子设备的框图。例如,装置500可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图5,装置500可以包括以下一个或多个组件:处理组件502,存储器504,电源组件506,多媒体组件508,音频组件510,输入/输出(I/O)的接口512,传感器组件514,以及通信组件516。
处理组件502通常控制装置500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件502可以包括一个或多个处理器520来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理部件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件506为装置500的各种组件提供电力。电力组件506可以包括电源管理系统,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触控面板(TP)。如果屏幕包括触控面板,屏幕可以被实现为触控屏,以接收来自用户的输入信号。触控面板包括一个或多个触控传感器以感测触控、滑动和触控面板上的手势。所述触控传感器可以不仅感测触控或滑动动作的边界,而且检测与所述触控或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当装置500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为装置500提供各个方面的状态评估。例如,传感器组件514可以检测到装置500的打开/关闭状态,组件的相对定位,例如所述组件为装置500的显示器和小键盘,传感器组件514可以检测装置500或装置500一个组件的位置改变,用户与装置500接触的存在或不存在,装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络,如WiFi,2G或3G,4G或5G或它们的组合。在一个示例性实施例中,通信部件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件516包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述电子设备的供电方法。
第四方面,本公开在示例性实施例中,提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由装置500的处理器520执行以完成上述电子设备的供电方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
- 夜景图像处理方法、装置、电子设备及存储介质
- 人脸图像的处理方法及装置、电子设备和存储介质
- 图像处理方法和装置、电子设备、计算机可读存储介质
- 图像处理方法、装置、电子设备及计算机可读存储介质
- 图像处理方法、装置、存储介质及电子设备
- 图像处理方法、图像处理装置、电子设备和存储介质
- 图像处理方法、图像处理装置、电子设备和可读存储介质