图像处理方法、装置、计算机设备及存储介质

技术领域

本申请实施例涉及计算机技术领域，特别涉及一种图像处理方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术和人工智能技术的发展，网络模型的应用也越来越广泛，例如，在图像处理领域，基于图像处理模型对图像进行去噪、色度均衡、分割等处理。相关技术中，通常是由技术人员设计好网络模型的网络结构，然后基于训练数据训练网络模型，后续即可使用训练好的网络模型。但是，技术人员设计的网络模型依赖于主观经验，导致设计出的网络模型准确性较差。

发明内容

本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质，能够提高选取的目标算子的准确性，提高构建的图像处理模型的准确性。技术方案如下：

根据本申请实施例的一方面，提供了一种图像处理方法，所述方法包括：

获取原始图像处理模型，所述原始图像处理模型包括多个节点、每两个节点之间的多个算子和映射函数；

在训练得到所述原始图像处理模型中每个算子的第一权重参数后，基于所述映射函数，分别将所述每个算子的第一权重参数映射为第二权重参数，以使每两个节点之间的多个算子的第二权重参数离散分布；

基于所述每个算子的第二权重参数，选取每两个节点之间的目标算子；

基于所述多个节点和每两个节点之间的目标算子，构建目标图像处理模型；

调用所述目标图像处理模型，对任一图像进行处理。

根据本申请实施例的另一方面，提供了一种图像处理装置，所述装置包括：

模型获取模块，用于获取原始图像处理模型，所述原始图像处理模型包括多个节点、每两个节点之间的多个算子和映射函数；

权重获取模块，用于在训练得到所述原始图像处理模型中每个算子的第一权重参数后，基于所述映射函数，分别将所述每个算子的第一权重参数映射为第二权重参数，以使每两个节点之间的多个算子的第二权重参数离散分布；

算子选取模块，用于基于所述每个算子的第二权重参数，选取每两个节点之间的目标算子；

模型构建模块，用于基于所述多个节点和每两个节点之间的目标算子，构建目标图像处理模型；

图像处理模块，用于调用所述目标图像处理模型，对任一图像进行处理。

根据本申请实施例的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条程序代码，所述至少一条程序代码用于被所述处理器执行以实现如上述方面所述的图像处理方法。

根据本申请实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如上述方面所述的图像处理方法。

根据本申请实施例的另一方面，提供了一种计算机程序产品，该计算机程序产品存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述方面所述的图像处理方法。

根据本申请实施例的另一方面，提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片在计算机设备上运行时，用于实现上述方面所述的图像处理方法。

本申请实施例提供的图像处理方法、装置、计算机设备及存储介质，通过训练原始图像处理模型对每个算子的第一权重参数进行优化，基于映射函数将优化后的多个算子的第一权重参数映射为离散分布的第二权重参数，然后基于每个算子的第二权重参数选择目标算子，来构建目标图像处理模型，实现了自动构建目标图像处理模型，无需人工设计模型的网络结构，并且，离散分布的多个第二权重参数之间不互相牵制，避免了映射后多个第二权重参数均收敛于同一数值，使不同的第二权重参数之间存在明显区别，从而能够准确地选取出的目标算子，提高了目标算子的准确性，从而提高了构建的目标图像处理模型的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个示例性实施例提供的一种实施环境的示意图；

图2示出了本申请一个示例性实施例提供的一种图像处理方法的流程图；

图3示出了本申请一个示例性实施例提供的一种目标图像处理模型构建方法的流程图；

图4示出了本申请一个示例性实施例提供的一种网络结构的示意图；

图5示出了本申请一个示例性实施例提供的一种训练原始图像处理模型的示意图；

图6示出了本申请一个示例性实施例提供的一种目标图像处理模型构建过程的示意图；

图7示出了本申请一个示例性实施例提供的一种图像处理方法的示意图；

图8示出了本申请一个示例性实施例提供的一种目标图像处理模型的示意图；

图9示出了本申请一个示例性实施例提供的一种图像处理装置的结构框图；

图10示出了本申请一个示例性实施例提供的一种图像处理装置的结构框图；

图11示出了本申请一个示例性实施例提供的一种终端的结构方框图；

图12示出了本申请一个示例性实施例提供的一种服务器的结构方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请实施例提供了一种图像处理方法，执行主体为计算机设备，计算机设备首先构建包括多个节点和多个算子的原始图像处理模型，再对该原始图像处理模型进行训练，基于训练结果从多个算子中选取目标算子，然后基于多个节点和选取的目标算子构建目标图像处理模型，之后即可调用该目标图像处理模型对任一图像进行处理。

在一些实施例中，该计算机设备为终端，例如终端为手机、台式电脑、笔记本电脑、平板电脑、智能电视、智能音箱、车载终端、智能机器人等多种类型的终端。或者，该计算机设备为服务器，该服务器可以为一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务器中心。或者，参见图1，计算机设备包括终端101与服务器102，终端101训练原始图像处理模型，得到目标图像处理模型，然后使用该目标图像处理模型，或者终端101得到目标图像处理模型之后，还能够将该目标图像处理模型发送给服务器102或其他终端，由服务器102或其他终端使用该目标图像处理模型；或者，服务器102训练原始图像处理模型，得到目标图像处理模型，然后使用该目标图像处理模型，或者将目标图像处理模型发送给终端101，终端101使用该目标图像处理模型。

图2示出了本申请一个示例性实施例提供的一种图像处理方法的流程图，参见图2，该方法由计算机设备执行，该方法包括：

201、获取原始图像处理模型。

计算机设备获取待训练的原始图像处理模型，该原始图像处理模型包括多个节点、每两个节点之间的多个算子和映射函数。其中，该映射函数用于对原始图像处理模型中每个算子的权重参数进行映射，该权重参数表示算子的重要程度，算子对应的权重参数越大，表示该算子越重要。节点表示待处理的特征，算子是指将连接的一个节点中待处理的特征变换为另一个特征，变换之后的特征即为该算子连接的另一个节点表示的特征。

202、在训练得到原始图像处理模型中每个算子的第一权重参数后，基于映射函数，分别将每个算子的第一权重参数映射为第二权重参数，以使每两个节点之间的多个算子的第二权重参数离散分布。

计算机设备对原始图像处理模型进行训练，在训练过程中不断更新每个算子的第一权重参数，直至得到每个算子收敛的第一权重参数，然后基于映射函数，将每个第一权重参数映射为第二权重参数，该第二权重参数与第一权重参数的区别在于，每两个节点之间的多个算子的第二权重参数是离散分布的，从而能够明确区分多个第二权重参数的大小。

203、基于每个算子的第二权重参数，选取每两个节点之间的目标算子。

由于原始图像处理模型中每两个节点之间有多个算子，但是最终需要构建的目标图像处理模型无需用到该多个算子中的每个算子，因此，按照多个算子的重要程度，从多个算子中选取出目标算子。并且，由于多个算子的第二权重参数是离散分布的，因此，能够方便地确定多个第二权重参数中较大的第二权重参数。

204、基于多个节点和每两个节点之间的目标算子，构建目标图像处理模型。

计算机设备确定了每两个节点之间的目标算子之后，根据多个节点和每两个节点之间的目标算子，来构建目标图像处理模型。后续在使用该目标图像处理模型时，对于每个节点，将该节点对应的特征作为该节点与下一个节点之间的目标算子的输入，利用目标算子对该特征进行处理，将处理后的特征输入至下一个节点，从而在目标图像处理模型中实现利用目标算子对特征的处理。

205、调用目标图像处理模型，对任一图像进行处理。

构建得到的目标图像处理模型能够对任一图像进行去噪、去马赛克、色度均衡、分割、复原、去云、去雨、去雾等处理，本申请实施例对目标图像处理模型的作用不做限制。

本申请实施例提供了一种图像处理方法，通过训练原始图像处理模型对每个算子的第一权重参数进行优化，基于映射函数将优化后的多个算子的第一权重参数映射为离散分布的第二权重参数，然后基于每个算子的第二权重参数选择目标算子，来构建目标图像处理模型，从而实现了自动构建目标图像处理模型，无需人工设计模型的网络结构，并且，离散分布的多个第二权重参数之间不互相牵制，避免了映射后多个第二权重参数均收敛于同一数值，使不同的第二权重参数之间存在明显区别，从而能够准确地选取出对应的目标算子，提高了目标算子的准确性，从而提高了构建的目标图像处理模型的准确性，使该目标图像处理模型能够对原始图像进行更加准确地处理。

上述图2所示的实施例仅是简单介绍了目标图像处理模型的构建过程，下面通过图3所示的实施例，对原始图像处理模型的训练过程进行详细介绍。

图3示出了本申请一个示例性实施例提供的一种目标图像处理模型构建方法的流程图，参见图3，该方法由计算机设备执行，该方法包括：

301、获取原始图像处理模型。

计算机设备获取待训练的原始图像处理模型，该原始图像处理模型包括多个节点、每两个节点之间的多个算子和映射函数。

其中，映射函数用于对原始图像处理模型中每个算子的第一权重参数进行映射，例如映射函数为sigmoid函数，该sigmoid函数能够将输入的数值映射到0-1范围内，且在同时输入多个数值的情况下，sigmoid函数能够对多个数值分别进行映射，即多个数值的映射互不影响。在本申请实施例中，sigmoid函数能够分别将每个第一权重参数映射为对应的第二权重参数，使映射后的多个第二权重参数离散分布。

第一权重参数表示算子的重要程度，算子的第一权重参数越大，表示该算子越重要。在一些实施例中，原始图像处理模型中每个算子的第一权重参数为任一数值，例如，第一权重参数为1、2、3等数值，在原始图像处理模型的训练过程中能够对第一权重参数进行更新。

算子是指将连接的一个节点中待处理的特征变换为另一个特征，变换之后的特征即为该算子连接的另一个节点表示的特征。例如，算子包括卷积算子、池化算子、全连接算子等多种类型的算子，本申请实施例对算子的类型不做限制。对于每个算子，算子中包括算子参数，原始图像处理模型中每个算子的算子参数为任意数值，在对原始图像处理模型的训练过程中能够对算子参数进行更新。

在一些实施例中，计算机设备先确定待构建的模型中需要用到的节点，然后确定多个节点中每两个节点之间的多个算子，以及确定每个算子的第一权重参数，基于多个节点、每两个节点之间的多个算子以及每个算子的第一权重参数，构建原始图像处理模型。

对于多个节点，计算机设备首先确定需要用到的节点的数量，然后确定该多个节点的排列方式。对于每个节点，计算机设备确定该节点与其他节点之间的算子，从而确定在多个节点中每两个节点之间的多个算子。在一些实施例中，每两个节点之间具有先后顺序，对于每两个节点之间的算子来说，将每两个节点中第一个节点作为算子的输入，第二个节点作为算子的输出。需要说明的是，由于每个节点均与多个算子连接，且在算子是该节点之前的算子的情况下，该节点即为算子的输出，在算子是该节点之后的算子的情况下，该节点即为算子的输入。

例如，参见图4所示的网络结构的示意图，该网络结构包括两个输入、三个节点和一个输出，即包括输入节点A、输入节点B、节点1、节点2、节点3以及输出节点C。其中，输入节点A、输入节点B和输出节点C也是该网络结构中的节点，节点1、节点2和节点3是该网络结构中的中间节点。每两个节点之间的连线表示算子，连线的箭头表示特征处理顺序，对于节点1和节点2来说，将节点1作为节点1与节点2之间的算子的输入，算子的输出即为节点2。

在一些实施例中，每个算子具有对应的算子参数，计算机设备基于多个节点、每两个节点之间的多个算子、每个算子的第一权重参数以及算子参数，构建原始图像处理模型。其中，初始的算子参数为任一数值，在原始图像处理模型的训练过程中能够对算子参数进行更新。

在一些实施例中，计算机设备在搜索空间中构建原始图像处理模型，该搜索空间中包括多个节点和多个算子，基在搜索空间中选取节点和算子来构建原始图像处理模型。例如，采用DARTS(Differentiable Architecture Search，可微神经网络搜索)构建原始图像处理模型，该DARTS是一种基于松弛连续化的，使用梯度下降进行搜索的神经网络架构搜索算法。

302、基于训练数据，对原始图像处理模型进行训练，得到每个算子的第一权重参数和算子参数。

计算机设备获取训练数据，并基于该训练数据对原始图像处理模型中每个算子的第一权重参数和算子参数进行训练。其中，训练数据包括样本图像和该样本图像对应的目标图像。

在一些实施例中，计算机设备将样本图像输入至原始图像处理模型，基于该原始图像处理模型对该样本图像进行处理，得到样本图像对应的预测图像。然后确定该预测图像与目标图像之间的差异，该差异越小，表示原始图像处理模型的准确度越高。因此，计算机设备根据该差异，调整原始图像处理模型中至少一个算子的第一权重参数和算子参数，然后继续基于其他样本图像和目标图像对原始图像处理模型进行训练，以减小预测图像与目标图像之间的差异，从而得到更加准确的原始图像处理模型。例如，采用梯度下降法、Adam(Adaptive Moment Estimation，自适应矩估计)优化算法、锐度感知最小化优化算法或其他优化算法调整第一权重参数和算子参数。

在一些实施例中，由于原始图像中包括多个节点，该多个节点之间具有先后顺序，计算机设备将样本图像输入至原始图像处理模型的第一个节点中，分别基于第一个节点与下一个节点之间的每个算子，对样本图像进行处理，按照多个算子的第一权重参数，对多个算子的处理结果进行加权求和，得到下一个节点的处理结果，直至得到原始图像处理模型的最后一个节点的处理结果，将最后一个节点的处理结果确定为预测图像。

在一些实施例中，计算机设备保持原始图像处理模型中的第一权重参数和算子参数中的第一种参数不变，对原始图像处理模型中的第二种参数进行训练，分别得到每个算子的第二种参数，保持每个算子的第二种参数不变，对原始图像处理模型中的第一种参数进行训练，分别得到每个算子的第一种参数，直至得到的每个算子参数和每个第一权重参数均收敛。其中，在第一种参数为第一权重参数的情况下，第二种参数为算子参数；在第一种参数为算子参数的情况下，第二种参数为第一权重参数。

也即是，计算机设备在原始图像处理模型中的第一权重参数不变的情况下，基于训练数据，对原始图像处理模型中的算子参数进行训练，分别得到每个算子的算子参数；然后再在每个算子的算子参数不变的情况下，基于训练数据，对原始图像处理模型中的权重参数进行训练，分别得到每个算子的第一权重参数，直至得到的每个算子参数和每个第一权重参数均收敛。也即是，第一权重参数和算子参数交替训练，直至每个算子参数和每个第一权重参数均收敛。例如，参见图5，保持每个算子的算子参数α、β、γ等不变，分别更新算子1、算子2、算子3和算子4的权重参数，然后再保持每个算子的权重参数不变，更新算子参数α、β、γ等。

上述实施方式仅是以训练一次第一权重参数，然后再训练一次算子参数交替训练为例进行说明，在另一实施例中，能够先在第一权重参数不变的情况下，训练多次算子参数，然后再在算子参数不变的情况下，训练多次第一权重参数的交替训练方式进行训练，也即是，计算机设备在原始图像处理模型中的第一权重参数不变的情况下，基于训练数据，对原始图像处理模型进行训练，分别得到每个算子的算子参数，在对算子参数的训练次数达到第一次数的情况下，再在每个算子的算子参数不变的情况下，基于训练数据，对原始图像处理模型进行训练，分别得到每个算子的第一权重参数，然后在对第一权重参数的训练次数达到第二次数的情况下，继续对算子参数进行训练。其中，第一次数和第二次数均为大于1的任一次数，第一次数与第二次数可以相同，也可以不同。在一些实施例中，考虑到原始图像处理模型中的第一权重参数的数量远小于算子参数的数量，因此，第一次数大于第二次数。

需要说明的是，上述实施例中仅是以先训练算子参数为例进行说明，在另一实施例中，能够先训练第一权重参数，即先保持原始图像处理模型中每个算子的算子参数不变，基于训练数据，对原始图像处理模型中每个算子的第一权重参数进行训练，分别得到每个算子的第一权重参数，在第一权重参数的训练次数达到第二次数的情况下，保持每个算子的第一权重参数不变，基于训练数据，对原始图像处理模型中每个算子的算子参数进行训练，得到每个算子的算子参数，直至得到的算子参数和第一权重参数均收敛。

或者，在另一实施例中，同时训练每个算子的第一权重参数和算子参数，本申请实施例对原始图像处理模型的训练方式不做限制。

在一些实施例中，计算机设备基于损失函数和训练数据，来对原始图像处理模型进行训练，在损失函数的输出达到最小值的情况下，得到每个算子的第一权重参数和算子参数。例如，损失函数为：

L＝L

其中，L表示损失函数，L

303、基于映射函数，分别将每个算子的第一权重参数映射为第二权重参数，以使每两个节点之间的多个算子的第二权重参数离散分布。

本申请实施例中，基于映射函数对训练得到的每个算子的第一权重参数进行映射，得到每个第一权重参数对应的第二权重参数，该第二权重参数的取值范围为0-1，且映射函数分别对每个第一权重参数进行映射，即多个第一权重参数相互独立地被映射到0-1范围内，在映射过程中，多个第一权重参数中任两个第一权重参数之间互不影响，因此得到的多个算子的第二权重参数是离散分布的，从而使得到的多个第二权重参数之间差距较大。例如，本申请中的映射函数为sigmoid函数。

在一些实施例中，计算机设备得到第二权重参数之后，对每两个节点之间的多个算子的第二权重参数进行正则化(Regularization)处理，进一步对多个算子的第二权重参数进行离散。对于每个第二权重参数，获取第二权重参数与第一阈值之间的差值的平方，确定正则化后的第二权重参数，第一阈值大于0小于1。

例如，计算机设备基于约束函数，对多个第二权重参数进行正则化处理，该约束函数满足以下条件：(1)约束函数在定义域范围内可微；(2)在第二权重参数取0.5时，约束函数能够达到最大，且该约束函数在0.5处向两边单调递减；(3)在第二权重参数取0.5时，约束函数的倒数趋近于0。

例如，约束函数为：

其中，L

该约束函数中，在定义域范围内可微，在第二权重参数的取值为0.5时，约束函数的输出值为0，第二权重参数的取值大于0.5或小于0.5时，输出值小于0，且单调递减，且第二权重参数的取值为0.5时，约束函数的倒数为0，因此满足上述约束函数应满足的条件。

304、基于每个算子的第二权重参数，从每两个节点之间的多个算子中，选取目标算子。

由于原始图像处理模型中每两个节点之间有多个算子，但是最终需要构建的目标图像处理模型中只需要用到该多个算子中的至少一个算子，因此，按照多个算子的重要程度，从多个算子中选取出目标算子。并且，由于多个算子的第二权重参数是离散分布的，因此，能够方便地确定多个第二权重参数中较大的第二权重参数。

在一些实施例中，计算机设备基于每个算子的第二权重参数的大小来选取目标算子。即计算机设备从每两个节点之间的多个算子中，选取目标数量的目标算子，选取出的目标算子的第二权重参数大于未被选取的算子的第二权重参数，该目标数量为任一数量，例如，目标数量为1、2、3、4或其他数量。可选地，计算机设备对每两个节点之间的多个算子的第二权重参数按照从大到小的顺序排列，从第一个第二权重参数对应的算子开始依次选取目标数量个算子作为目标算子，或者计算机设备也能够采用其他方式从多个算子中选取目标数量的目标算子。

其中，在目标数量为1的情况下，计算机设备从每两个节点之间的多个算子中，选取第二权重参数最大的目标算子。

在一些实施例中，计算机设备基于每个算子的第二权重参数是否具有上升趋势来选取目标算子。即计算机设备从每两个节点之间的多个算子中，选取第二权重参数具有上升趋势的目标算子，第二权重参数具有上升趋势是指在原始图像处理模型的训练过程中，随着训练次数的增多而逐渐增大的第二权重参数。

可选地，第二权重参数具有上升趋势是指从原始图像处理模型第一次训练开始，每次训练后的第二权重参数都大于上一次训练后的第二权重参数，例如，经过5次训练，第一次训练后第二权重参数为1，之后几次训练后的第二权重参数依次为1.2、1.4、1.6、1.8，则确定该算子的第二权重参数具有上升趋势；或者，第二权重参数具有上升趋势是指最后一次训练得到的第二权重参数大于初始的第二权重参数，中间训练过程中，第二权重参数大小可存在波动，例如，经过5次训练，第一次训练后第二权重参数为1，之后几次训练后的第二权重参数依次为1.2、1.4、1.6、1.4；或者，第二权重参数具有上升趋势是指在最终得到第二权重参数之前的连续多次训练过程中，每次训练后的第二权重参数都大于上一次训练后的第二权重参数，例如，连续三次训练过程中第二权重参数都是增大的，经过5次训练，第一次训练后第二权重参数为1，之后几次训练后的第二权重参数依次为0.8、1、1.2、1.4。

需要说明的是，计算机设备选取第二权重参数具有上升趋势的算子作为目标算子时，并不限制每两个节点之间选取的目标算子的数量，例如，两个节点之间的5个算子中有两个算子对应的第二权重参数具有上升趋势，则选取具有上升趋势的这两个算子作为目标算子，另外两个节点之间的5个算子中有1个算子对应的第二权重参数具有上升趋势，则选取具有上升趋势的这1个算子作为目标算子。

在一些实施例中，计算机设备基于每个算子的第二权重参数的大小，以及是否具有上升趋势来选取目标算子。即计算机设备从每两个节点之间的多个算子中，选取第二权重参数具有上升趋势的多个候选算子，再从多个候选算子中选取目标数量的目标算子，目标算子的第二权重参数大于未被选取的候选算子的第二权重参数。其中选取具有上升趋势的候选算子的方式与上述选取具有上升趋势的目标算子的方式同理，从多个候选算子中选取第二权重参数较大的目标算子的方式与上述从多个算子中选取第二权重参数较大的多个目标算子的方式同理，在此不再赘述。

相关技术中，得到多个算子的第一权重参数之后，采用softmax函数对多个第一权重参数进行映射，该softmax函数能够将输入的数值映射到0-1范围内，且在同时输入多个数值的情况下，softmax函数能够保证该多个数值映射后的数值之和为1。由于softmax函数在映射时，多个第一权重参数之间相互依赖，且由于多个算子的第一权重参数最终收敛的值较为相近，映射后得到的第二权重参数均收敛到0.167，难以基于第二权重参数从多个算子中选取出目标算子。而本申请中所采用的映射函数能够对多个第一权重参数进行离散，使得到的多个第二权重参数离散分布，因此不存在多个第二权重参数收敛于同一数值的情况，便于从多个算子中选取目标算子。

例如，参见图6所示的目标图像处理模型构建过程的示意图，原始图像处理模型中包括节点1、节点2、节点3和节点4，每两个节点之间均有三个算子，图6中采用两个节点之间的连接线表示对应的算子，连接线的箭头方向指示算子的输入和输出。每个算子初始的第一权重参数均为1，计算机设备对该原始图像处理模型中每个算子的第一权重参数进行训练，得到训练后的原始图像处理模型中每个算子的第二权重参数，然后从每两个节点之间的多个算子中选取第二权重参数最大的目标算子，后续即可根据4个节点和每两个节点之间的目标算子，确定目标图像处理模型。

305、基于多个节点和每两个节点之间的目标算子，构建目标图像处理模型。

计算机设备确定每两个节点之间的目标算子之后，根据多个节点和每两个节点之间的目标算子，构建目标图像处理模型。其中，从每两个节点之间选取的目标算子为一个或多个。

在一些实施例中，在每两个节点之间的目标算子为每两个节点之间的第二权重参数最大的算子的情况下，与其他算子相比，该目标算子更加重要，也即是基于目标算子对上一个节点的输出进行处理，更加合适，因此基于该多个节点、每两个节点之间的目标算子和每个目标算子的算子参数，构建的目标图像处理模型的准确性更高。

在一些实施例中，由于在之前的训练过程中，原始图像处理模型中包括目标算子以及其他算子，因此训练目标算子的算子参数时会受到其他算子的影响。因此为了提高目标图像处理模型的准确性，避免其他算子对目标算子的算子参数的影响，计算机设备构建目标图像处理模型之后，继续采用训练数据，对目标图像处理模型中的算子参数进行训练，直至目标图像处理模型中的算子参数收敛，此时得到的目标图像处理模型的准确性更高。

需要说明的是，构建目标图像处理模型之后，对目标图像处理模型继续进行训练所采用的训练数据与对原始图像处理模型进行训练所采用的训练数据可以相同，也可以不同。

本申请实施例提供了一种图像处理方法，通过训练原始图像处理模型对每个算子的第一权重参数进行优化，基于映射函数将优化后的多个算子的第一权重参数映射为离散分布的第二权重参数，然后基于每个算子的第二权重参数选择目标算子，来构建目标图像处理模型，从而实现了自动构建目标图像处理模型，无需人工设计模型的网络结构，并且，离散分布的多个第二权重参数之间不互相牵制，避免了映射后多个第二权重参数均收敛于同一数值，使不同的第二权重参数之间存在明显区别，从而能够准确地选取出对应的第二权重参数最大的目标算子，提高了目标算子的准确性，从而提高了构建的目标图像处理模型的准确性。

并且，在将第一权重参数映射为第二权重参数之后，继续对第二权重参数进行正则化处理，使多个算子的第二权重参数更加离散，从而更加便于基于第二权重参数选取目标算子，进一步提高了目标算子的准确性。

并且，本申请中权重参数和算子参数交替训练，能够避免训练过程中权重参数和算子参数相互影响，在充分训练算子参数的情况下，保证权重参数不会过拟合，提高了原始图像处理模型的准确性。

需要说明的是，上述步骤301-305对构建目标图像处理模型的过程进行了说明，参见图7，在构建目标图像处理模型之后，计算机设备还能够调用该目标图像处理模型对图像进行处理。

306、调用目标图像处理模型，对第一图像进行处理，得到该第一图像对应的第二图像。

其中，第一图像为任一图像。目标图像处理模型可应用于任一图像处理场景，例如，目标图像处理模型用于对图像进行去噪，将第一图像输入至目标图像处理模型，得到去噪后的第二图像；或者，目标图像处理模型用于对图像进行色度均衡，将第一图像输入至目标图像处理模型，得到色度均衡后的第二图像；或者，目标图像处理模型用于去马赛克，将第一图像输入至目标图像处理模型，得到去马赛克后的第二图像，当然，目标图像处理模型还能够对第一图像进行分割处理、识别处理、复原、去云、去雨、去雾等其他处理，本申请实施例对目标图像处理模型的作用不做限制。

在一些实施例中，计算机设备基于第一图像与第二图像之间的峰值信噪比(PulseSignal Noise Ratio，PSNR)和结构相似性(Structural Similarity，SSIM)来确定第二图像处理模型的性能。其中，峰值信噪比用于表示图像是否失真，峰值信噪比越大，表示图像的质量越好，即目标图像处理模型的性能越高；结构相似性用于表示两个图像之间的相似度，结构相似性越大，表示图像的质量越好，即目标图像处理模型的性能越高。

在一些实施例中，计算机设备将第一图像输入至目标图像处理模型，基于目标图像处理模型中的第一节点与第二节点之间的目标算子，对第一节点的节点数据进行处理，得到目标算子的处理结果，将目标算子的处理结果确定为第二节点的节点数据；在得到目标图像处理模型中最后一个节点的节点数据的情况下，将最后一个节点的处理结果确定为第一图像对应的第二图像。其中，第一节点为目标图像处理模型中的第一节点，第二节点是与该第一节点连接的第一节点。在第一节点为目标图像处理模型中的第一个节点的情况下，该第一节点的节点数据即为输入的第一图像，在第一节点不是第一个节点的情况下，该第一节点的节点数据即为与该第一节点连接的、位于该第一节点之前的目标算子输出的处理结果，也即是节点数据为图像或图像对应的图像特征。

例如，参见图6所示的目标图像处理模型，该目标图像处理模型中包括4个节点，将第一图像输入至节点1中，然后按照目标图像处理模型中每两个节点之间的连接线指示的处理流向，先基于节点1与节点2之间的目标算子分别对第一图像进行处理，得到节点2的处理结果1，基于节点1与节点3之间的目标算子对该第一图像进行处理，将得到的处理结果2输入至节点3，基于节点2与节点3之间的目标算子对处理结果1进行处理，将得到的处理结果3输入至节点3，将处理结果2和处理结果3作为节点3的处理结果4，然后，基于节点1与节点4之间的目标算子对该第一图像进行处理，将得到的处理结果5输入至节点4，基于节点2与节点4之间的目标算子对处理结果1进行处理，将得到的处理结果6输入至节点5，基于节点3与节点4之间的目标算子对处理结果4进行处理，将得到的处理结果7输入至节点4，将处理结果5、处理结果6和处理结果7作为节点4的处理结果，然后基于该节点4的处理结果确定对应的第二图像。

在一些实施例中，第一节点与第二节点之间具有多个目标算子时，计算机设备基于第一节点与第二节点之间的多个目标算子，分别对第一节点的节点数据进行处理，得到多个目标算子的处理结果，基于多个目标算子的第二权重参数，对多个目标算子的处理结果进行加权求和，将加权求和得到的处理结果确定为第二节点的节点数据。其中，每个目标算子分别对第一节点的节点数据进行处理，各目标算子之间互不干扰。

在一些实施例中，目标图像处理模型为U型网络，U型网络是一种深度学习框架，U型网络的输入和输出尺寸保持不变。该目标图像处理模型包括n个下采样网络和n个上采样网络，则计算机设备调用目标图像处理模型，对第一图像进行处理，得到第一图像对应的第二图像，包括：将第一图像输入至第1个下采样网络中，基于第1个下采样网络对该第一图像进行下采样，得到第1个下采样特征；基于第k个下采样网络，对上一个下采样网络输出的下采样特征进行下采样，得到第k个下采样特征，直至第n个下采样网络输出第n个下采样特征；对第n个下采样特征进行恒等映射，得到第n个映射特征；将第n个映射特征输入至第1个上采样网络中，基于第1个上采样网络对第n个映射特征进行上采样，得到第1个上采样特征；基于第k个上采样网络，对上一个上采样网络输出的上采样特征和第(n+1-k)个映射特征进行上采样，得到第k个上采样特征，直至得到第n个上采样网络输出第二图像；其中，目标图像处理模型中的n个下采样网络和n个上采样网络依次连接，n为大于1的正整数，k为大于1且不大于n的第一正整数。其中，第n个下采样特征与对应的第n个映射特征相同。

对于目标图像处理模型中的每个下采样网络和每个上采样网络，下采样网络和上采样网络均包括多个节点和每两个节点之间的目标算子，每个下采样网络和每个上采样网络的处理过程，与上述目标图像处理模型基于第一节点、第二节点及第一节点与第二节点之间的目标算子对输入的第一图像的处理过程类似。

例如，参见图8，目标图像处理模型中包括下采样网络801、下采样网络802、下采样网络803、下采样网络804、上采样网络805、上采样网络806、上采样网络807和上采样网络808，网络801-808之间依次连接。将第一图像输入下采样网络801中，多个下采样网络依次进行处理，且每个下采样网络的处理结果经过恒等映射后会输入到对应的上采样网络中，实现对下采样网络的处理结果的重复利用，最终目标图像处理模型中最后一个上采样网络808输出第二图像。

其中，以上采样网络808为例，将下采样网络801的输出作为上采样网络808的输入1，上一个上采样网络807的输出作为该上采样网络808的输入2，基于输入节点A与节点1之间的目标算子1对输入1进行处理，基于输入节点B与节点1之间的目标算子2对输入2进行处理，将目标算子1和目标算子2的输出作为节点1的节点数据，同理，基于节点2与输入节点A、输入节点B和节点1之间的目标算子，得到节点2的节点数据，基于节点3与输入节点A、输入节点B、节点1和节点2之间的目标算子，得到节点3的节点数据，基于输出节点C与节点1、节点2和节点3之间的目标算子，得到输出节点C的节点数据，该输出节点C的节点数据即为输入的图像对应的第二图像。对于其他上采样网络或下采样网络，采用与上采样网络808类似的方式得到对应的处理结果。图8仅是以每两个节点之间包括一个目标算子为例进行说明，在另一实施例中，咩两个节点之间可包括多个目标算子，基于多个目标算子对上一个节点的节点数据进行处理，得到下一个节点的节点数据。

在一些实施例中，下采样特征和上采样特征是特征图的形式，参见图8，在第一个下采样网络之前通过一个步长为2的卷积和一个线性激活算子组合实现第一图像的特征图尺寸的2倍下降，从而减少处理的特征图数据量；在最后一个上采样网络之后通过一个步长为2的转置卷积和一个线性激活算子组合实现特征图尺寸的2倍上升，以恢复特征图的数据量；在最后一个下采样网络与第一个上采样网络之间，通过一个步长为1的卷积和一个线性激活算子组合，实现将最后一个下采样网络输出的特征图进行进一步的进行线性组合，从而输出第一个上采样网络。

在一些实施例中，本申请实施例中得到的目标图像处理模型能够应用于ISP(Image Signal Process，图像信号处理)模块，该ISP是指计算机设备内部配置的、用于对拍摄的图像进行处理的模块。例如，计算机设备为具有拍摄功能的终端，则将目标图像处理模型应用在该终端中的ISP模块中，终端通过摄像头采集到第一图像之后经过该ISP模块对采集的图像进行处理，得到第二图像。

本申请实施例提供了一种图像处理方法，通过训练原始图像处理模型对每个算子的第一权重参数进行优化，基于映射函数将优化后的多个算子的第一权重参数映射为离散分布的第二权重参数，然后基于每个算子的第二权重参数选择目标算子，来构建目标图像处理模型，从而实现了自动构建目标图像处理模型，无需人工设计模型的网络结构，并且，离散分布的多个第二权重参数之间不互相牵制，避免了映射后多个第二权重参数均收敛于同一数值，使不同的第二权重参数之间存在明显区别，从而能够准确地选取出对应的第二权重参数最大的目标算子，提高了目标算子的准确性，从而提高了构建的目标图像处理模型的准确性。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图9出了本申请一个示例性实施例提供的图像处理装置的结构框图。该图像处理装置应用于计算机设备，参见图9，该图像处理装置包括：

模型获取模块901，用于获取原始图像处理模型，原始图像处理模型包括多个节点、每两个节点之间的多个算子和映射函数；

权重获取模块902，用于在训练得到原始图像处理模型中每个算子的第一权重参数后，基于映射函数，分别将每个算子的第一权重参数映射为第二权重参数，以使每两个节点之间的多个算子的第二权重参数离散分布；

算子选取模块903，用于基于每个算子的第二权重参数，选取每两个节点之间的目标算子；

模型构建模块904，用于基于多个节点和每两个节点之间的目标算子，构建目标图像处理模型；

图像处理模块905，用于调用目标图像处理模型，对任一图像进行处理。

本申请实施例提供的装置，通过训练原始图像处理模型对每个算子的第一权重参数进行优化，基于映射函数将优化后的多个算子的第一权重参数映射为离散分布的第二权重参数，然后基于每个算子的第二权重参数选择目标算子，来构建目标图像处理模型，从而实现了自动构建目标图像处理模型，无需人工设计模型的网络结构，并且，离散分布的多个第二权重参数之间不互相牵制，避免了映射后多个第二权重参数均收敛于同一数值，使不同的第二权重参数之间存在明显区别，从而能够准确地选取出对应的第二权重参数最大的目标算子，提高了目标算子的准确性，从而提高了构建的目标图像处理模型的准确性。

在一些实施例中，参见图10，算子选取模块903，用于：

从每两个节点之间的多个算子中，选取目标数量的目标算子，目标算子的第二权重参数大于未被选取的算子的第二权重参数；或者，

从每两个节点之间的多个算子中，选取第二权重参数具有上升趋势的目标算子，第二权重参数具有上升趋势是指在原始图像处理模型的训练过程中，随着训练次数的增多而逐渐增大的第二权重参数；或者，

从每两个节点之间的多个算子中，选取第二权重参数具有上升趋势的多个候选算子，从多个候选算子中选取目标数量的目标算子，目标算子的第二权重参数大于未被选取的候选算子的第二权重参数。

在一些实施例中，参见图10，该装置还包括：

正则化模块906，用于对每两个节点之间的多个算子的第二权重参数进行正则化处理。

在一些实施例中，参见图10，正则化模块906，用于对于每个第二权重参数，获取第二权重参数与第一阈值之间的差值的平方，确定正则化后的第二权重参数，第一阈值大于0小于1。

在一些实施例中，参见图10，该装置还包括：

第一训练模块907，用于对原始图像处理模型进行训练，分别得到每个算子的第一权重参数和算子参数，以使每个算子的第一权重参数和算子参数收敛。

在一些实施例中，参见图10，该装置还包括：

第一训练模块907，用于保持原始图像处理模型中的第一权重参数和算子参数中的第一种参数不变，对原始图像处理模型中的第二种参数进行训练，分别得到每个算子的第二种参数，保持每个算子的第二种参数不变，对原始图像处理模型中的第一种参数进行训练，分别得到每个算子的第一种参数，直至得到的每个算子参数和每个第一权重参数均收敛，其中，在第一种参数为第一权重参数的情况下，第二种参数为算子参数，在第一种参数为算子参数的情况下，第一种参数为第一权重参数。

在一些实施例中，参见图10，该装置还包括：

第二训练模块908，用于基于训练数据，对目标图像处理模型中每个目标算子的算子参数进行训练，直至每个目标算子的算子参数收敛，训练数据包括样本图像和样本图像对应的目标图像。

在一些实施例中，图像处理模块905，用于：

将第一图像输入至目标图像处理模型；

基于目标图像处理模型中的第一节点与第二节点之间的目标算子，对第一节点的节点数据进行处理，得到目标算子的处理结果，将目标算子的处理结果确定为第二节点的节点数据，第一节点为目标图像处理模型中的任一节点；

在得到目标图像处理模型中最后一个节点的节点数据的情况下，将最后一个节点的节点数据确定为第一图像对应的目标图像。

在一些实施例中，第一节点与第二节点之间具有多个目标算子，图像处理模块905，用于：

基于第一节点与第二节点之间的多个目标算子，分别对第一节点的节点数据进行处理，得到多个目标算子的处理结果；

基于多个目标算子的第二权重参数，对多个目标算子的处理结果进行加权求和，将加权求和得到的处理结果确定为第二节点的节点数据。

在一些实施例中，目标图像处理模型包括n个下采样网络和n个上采样网络，参见图10，下采样网络和上采样网络均包括多个节点和每两个节点之间的目标算子，该图像处理模块905，用于：

将第一图像输入至第1个下采样网络中，基于第1个下采样网络对图像进行下采样，得到第1个下采样特征；

基于第k个下采样网络，对上一个下采样网络输出的下采样特征进行下采样，得到第k个下采样特征，直至第n个下采样网络输出第n个下采样特征；

对第n个下采样特征进行恒等映射，得到第n个映射下采样特征；

将第n个映射下采样特征输入至第1个上采样网络中，基于第1个上采样网络对第n个映射下采样特征进行上采样，得到第1个上采样特征；

基于第k个上采样网络，对上一个上采样网络输出的上采样特征和第(n+1-k)个映射下采样特征进行上采样，得到第k个上采样特征，直至得到第n个上采样网络输出第一图像对应的第二图像；

其中，n为大于1的正整数，k为大于1且不大于n的任一正整数。

在一些实施例中，参见图10，该装置还包括：

评估模块909，用于获取第一图像与第二图像之间的峰值信噪比，峰值信噪比用于表示第二图像是否失真；或者，

评估模块909，用于获取第一图像与第二图像之间的结构相似性，结构相似性用于表示第一图像与第二图像之间的相似度。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器；该存储器存储有至少一条程序代码，该至少一条程序代码用于被处理器执行以实现如上述各个方法实施例提供的图像处理方法。

在一些实施例中，该计算机设备为终端，请参考图11，其示出了本申请一个示例性实施例提供的终端的结构方框图。在一些实施例中，终端1100是智能手机、平板电脑、可穿戴设备等能够作为无线站点接入无线局域网的终端。本申请中的终端1100至少包括一个或多个以下部件：处理器1110、存储器1120和至少两个无线链路1130。

在一些实施例中，处理器1110包括一个或者多个处理核心。处理器1110利用各种接口和线路连接整个终端1100内的各个部分，通过运行或执行存储在存储器1120内的程序代码，以及调用存储在存储器1120内的数据，执行终端1100的各种功能和处理数据。在一些实施例中，处理器1110采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器1110能集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。能够理解的是，上述调制解调器也能不集成到处理器1110中，单独通过一块芯片进行实现。

在一些实施例中，该处理器1110用于控制至少两个无线链路1130的工作状况，相应的，该处理器1110为集成了无线保真(Wireless Fidelity，Wi-Fi)芯片的处理器。其中，该Wi-Fi芯片为具有双Wi-Fi处理能力的芯片。例如，该Wi-Fi芯片为双频双发(Dual BandDual Concurrent，DBDC)芯片，或者，双频同步(Dual Band Simultaneous，DBS)芯片等。

在一些实施例中，存储器1120包括随机存储器(Random Access Memory，RAM)，在一些实施例中，存储器1120包括只读存储器(Read-Only Memory，ROM)。在一些实施例中，该存储器1120包括非瞬时性计算机可读介质(non-transitory computer-readable storagemedium)。存储器1120可用于存储程序代码。存储器1120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储根据终端1100的使用所创建的数据(比如音频数据、电话本)等。

在一些实施例中，存储器1120中存储有不同的无线链路1130的接收信标帧的接收方案。以及，不同的无线链路1130连接的接入节点的标识、无线链路1130的标识等。

该至少两个无线链路1130用于连接不同的接入节点(Access Point，AP)。接收AP下发的下行数据。其中，该不同的接入节点为同一路由器中的接入节点或者不同路由器中的接入节点。

在一些实施例中，终端1100中还包括显示屏。显示屏是用于显示用户界面的显示组件。在一些实施例中，该显示屏为具有触控功能的显示屏，通过触控功能，用户可以使用手指、触摸笔等任何适合的物体在显示屏上进行触控操作。在一些实施例中，显示屏通常设置在终端1100的前面板。在一些实施例中，显示屏被设计成为全面屏、曲面屏、异型屏、双面屏或折叠屏。在一些实施例中，显示屏还被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合等，本实施例对此不加以限定。

除此之外，本领域技术人员能够理解，上述附图所示出的终端1100的结构并不构成对终端1100的限定，终端1100包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端1100中还包括麦克风、扬声器、输入单元、传感器、音频电路、模块、电源、蓝牙模块等部件，在此不再赘述。

在一些实施例中，该计算机设备为服务器，请参考图12，其示出了本申请一个示例性实施例提供的服务器的结构方框图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1201和一个或一个以上的存储器1202，其中，所述存储器1202中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器1201加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

本申请还提供一种计算机可读介质，该计算机可读介质存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现如上各个实施例示出的图像处理方法。

本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现如上各个实施例示出的图像处理方法。

根据本申请实施例的另一方面，提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片在终端设备上运行时，用于实现上述方面所述的图像处理方法。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的图像处理方法中全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。