图像处理方法、模型训练方法、装置、设备和存储介质

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法、模型训练方法、装置、设备和存储介质。

背景技术

随着电子设备中图像拍摄功能的普及，用户经常需要使用电子设备拍摄一些移动的目标对象，例如处于跳跃、奔跑等状态的人或动物等，这时，电子设备拍摄到的图像经常会出现模糊拖影，使得图像拍摄效果不佳。

为了消除图像中由于目标对象移动带来的模糊拖影，通常采用在图像拍摄过程中提升快门的方式辅助拍摄出清晰的图像，但是，通过此方式来改善图像中的模糊拖影，只能部分消除移动对象的模糊拖影，且在提升快门的同时会带来非常严重的噪声，因此导致图像质量不佳。

发明内容

本申请实施例的目的是提供一种图像处理方法、模型训练方法、装置、设备和存储介质，能够解决图像质量不佳的问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：

获取第一图像，所述第一图像中包括目标对象；

识别所述第一图像中与所述目标对象对应的多个关键点，得到与所述目标对象对应的关键点信息，其中，所述关键点信息包括所述多个关键点中每个关键点的关键点位置和关键点置信度；

根据所述关键点信息识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度；

基于所述区域位置和所述区域模糊度，对所述第一图像进行模糊去除处理，得到第二图像。

第二方面，本申请实施例提供了一种模型训练方法，该方法包括：

获取样本图像及其对应的图像标签，所述样本图像中包括第一对象，所述图像标签包括所述样本图像中模糊区域的区域位置标签和区域模糊度标签；

识别所述样本图像中与所述第一对象对应的多个关键点，得到与所述第一对象对应的关键点信息，其中，所述关键点信息包括所述多个关键点中每个关键点的关键点位置和关键点置信度；

将所述样本图像和所述关键点信息输入至目标神经网络模型，由所述目标神经网络模型根据所述关键点信息识别所述样本图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度；

基于所述区域位置和所述区域模糊度，按照所述图像标签训练所述目标神经网络模型，得到模糊度识别模型。

第三方面，本申请实施例提供了一种图像处理装置，该装置包括：

图像获取模块，用于获取第一图像，所述第一图像中包括目标对象；

关键点识别模块，用于识别所述第一图像中与所述目标对象对应的多个关键点，得到与所述目标对象对应的关键点信息，其中，所述关键点信息包括所述多个关键点中每个关键点的关键点位置和关键点置信度；

区域识别模块，用于根据所述关键点信息识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度；

图像处理模块，用于基于所述区域位置和所述区域模糊度，对所述第一图像进行模糊去除处理，得到第二图像。

第四方面，本申请实施例提供了一种模型训练装置，该装置包括：

标签获取模块，用于获取样本图像及其对应的图像标签，所述样本图像中包括第一对象，所述图像标签包括所述样本图像中模糊区域的区域位置标签和区域模糊度标签；

第一识别模块，用于识别所述样本图像中与所述第一对象对应的多个关键点，得到与所述第一对象对应的关键点信息，其中，所述关键点信息包括所述多个关键点中每个关键点的关键点位置和关键点置信度；

第二识别模块，用于将所述样本图像和所述关键点信息输入至目标神经网络模型，由所述目标神经网络模型根据所述关键点信息识别所述样本图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度；

模型训练模块，用于基于所述区域位置和所述区域模糊度，按照所述图像标签训练所述目标神经网络模型，得到模糊度识别模型。

第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面和/或第二方面所述的方法的步骤。

第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面和/或第二方面所述的方法的步骤。

第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面和/或第二方面所述的方法。

第八方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面和/或第二方面所述的方法。

在本申请实施例中，通过识别与第一图像中目标对象对应的多个关键点的关键点位置和关键点置信度，并利用该多个关键点的关键点位置和关键点置信度，能够识别得到第一图像中的至少一个模糊区域对应的区域位置和区域模糊度，如此，基于该区域位置和区域模糊度对第一图像进行模糊去除处理时，可以精确定位到第一图像中的模糊区域，并对模糊区域进行精确地模糊去除处理，而不会引入过多的噪声，从而能够提高图像的去模糊处理的效果，提高图像质量。

附图说明

图1是本申请一个实施例提供的图像处理方法的流程图；

图2是本申请提供的图像处理的一种架构图；

图3是本申请另一个实施例提供的图像处理方法的流程图；

图4a是本申请提供的第一图像关键点的示意图；

图4b是本申请提供的关键点热度图的示意图；

图5是本申请提供的第一图像中目标区域位置的示意图；

图6是本申请提供的模糊度模型的处理过程示意图；

图7是本申请一个实施例提供的模型训练方法的流程图；

图8是本申请一个实施例提供的图像处理装置的结构框图；

图9是本申请一个实施例提供的模型训练装置的结构框图；

图10是本申请一个实施例提供的电子设备的结构框图；

图11为实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、模型训练方法、装置、设备和存储介质进行详细地说明。

本申请所提供的图像处理方法，可以应用于对存在模糊拖影的图像进行处理的场景中，下面结合图1-图6对本申请实施例提供的图像处理方法进行详细说明。需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理方法。

图1是本申请一个实施例提供的图像处理方法的流程图。

如图1所示，该图像处理方法可以包括步骤：S110-S140，下面进行具体说明。

S110，获取第一图像，所述第一图像中包括目标对象。

本申请实施例中，第一图像可以是针对处于移动状态的目标对象拍摄的图像，其中，目标对象可以是人物、动物、物体等，在此不作限定。另外，该第一图像可以是RGB图像，包含RGB图像数据。

示例性地，获取第一图像的方式包括但不限于利用图像采集装置采集得到，或者从预设的图像存储地址中获取等。

S120，识别第一图像中与目标对象对应的多个关键点，得到与目标对象对应的关键点信息，其中，关键点信息包括多个关键点中每个关键点的关键点位置和关键点置信度。

这里，可通过设置关键点识别模型，利用关键点识别模型对目标对象对应的关键点进行识别。基于此，在一些实施方式中，上述S120具体可以包括：

将第一图像输入至关键点识别模型，通过关键点识别模型识别第一图像中与目标对象对应的多个关键点，得到与目标对象对应的关键点信息。

本申请实施例中，关键点识别模型可以是经训练的用于识别目标对象中包含的关键点的模型。该关键点识别模型可以是一个模型，也即，利用一个模型识别整个目标对象所包含的关键点。当然，该关键点识别模型也可以包括多个模型，也即，针对目标对象中的不同区域使用不同的关键点识别模型进行关键点识别，以提高识别精度和识别准确度。

示例性地，可将第一图像的RGB图像数据输入至关键点识别模型中，通过该关键点识别模型可以对其中目标对象包含的关键点进行识别处理，进而输出得到与该目标对象对应的关键点信息。其中，目标对象包含的关键点的数量可以有多个，相应地，关键点信息具体可包括目标对象中每个关键点对应的关键点位置和关键点置信度。这里，关键点置信度可以是该关键点被标记在正确位置上的可信程度。

需要说明的是，本申请中通过使用关键点识别模型识别得到的关键点位置和关键点置信度，作为后续步骤中模糊度识别模型的输入特征，从而可以达到任务回溯的目的，也即利用下游任务反推以达到提升目标任务的准确度的目的。

S130，根据关键点信息识别第一图像中的至少一个模糊区域，得到与至少一个模糊区域分别对应的区域位置和区域模糊度。

这里，可通过设置模糊度识别模型，利用模糊度识别模型对第一图像中的模糊区域进行识别。基于此，在一些实施方式中，上述S130具体可以包括：

将第一图像和关键点信息输入至模糊度识别模型，由模糊度识别模型根据关键点信息识别第一图像中的至少一个模糊区域，得到与至少一个模糊区域分别对应的区域位置和区域模糊度。

本申请实施例中，模糊度识别模型可以是经训练的用于识别图像中包含的模糊区域的模型。该模糊度识别模型可以包括多个卷积层，将第一图像的图像数据和关键点信息等作为输入特征输入至该模糊度识别模型后，可经过该多个卷积层，通过矩阵运算Feature

在一些具体例子中，将第一图像的RGB图像数据、第一图像中目标对象所包含的关键点对应的关键点位置和关键点置信度等信息并联，输入至模糊度识别模型中，通过模型中包含的多个卷积层进行卷积操作，输出得到用于标识模糊区域的区域位置的掩码图，以及用于标识每个模糊区域对应的区域模糊度的得分。

此外，还可根据模糊度识别模型输出的结果进行解析，具体地，可按照区域模糊度的具体值区分每个模糊区域的类型，区分标准例如可以是，区域模糊度在[0,0.3)为清晰，[0.3,0.8)为中轻度模糊，[0.8,1.0)为重度模糊。另外，可选地，模糊度识别模型输出得到的模糊区域的区域位置，具体可以是区域模糊度在[0.3,0.8)以及[0.8,1.0)区间的模糊区域的区域位置。

如此，相较于现有的二分类网络模型，本申请实施例提供的模糊度识别模型不仅可以输出图像所属的模糊类别，同时可以输出图像中模糊区域的位置信息，从而可以为后续的模糊去除处理提供更多更有效的数据。

S140，基于区域位置和区域模糊度，对第一图像进行模糊去除处理，得到第二图像。

这里，利用区域位置和区域模糊度，可对第一图像中的每个模糊区域进行准确地模糊去除处理，进而得到目标对象清晰的第二图像。其中，针对不同的区域模糊度，可采用不同的图像处理模型，且模糊去除处理的方式包括但不限于将第一图像以及用于标识模糊区域的区域位置的掩码图，输入至预设的图像处理模型，利用图像处理模型进行处理。

由此，通过识别与第一图像中目标对象对应的多个关键点的关键点位置和关键点置信度，并利用该多个关键点的关键点位置和关键点置信度，能够识别得到第一图像中的至少一个模糊区域对应的区域位置和区域模糊度，如此，基于该区域位置和区域模糊度对第一图像进行模糊去除处理时，可以精确定位到第一图像中的模糊区域，并对模糊区域进行精确地模糊去除处理，而不会引入过多的噪声，从而能够提高图像的去模糊处理的效果，提高图像质量。

另外，在一些实施方式中，上述S140具体可以包括：

根据区域模糊度，对第一图像进行模糊度分类，得到与第一图像对应的目标模糊度类型；

获取与目标模糊度类型对应的目标图像处理模型；

将第一图像和区域位置输入至目标图像处理模型中，由目标图像处理模型根据区域位置对第一图像进行模糊去除处理，得到第二图像。

这里，图像处理模型可以包括模糊去除模型，或者分段式超清处理模型等，针对不同的应用场景可采用不同的图像处理模型。

示例性地，在对多个图像进行上述模糊识别处理后，可按照每个图像中的最高区域模糊度对图像进行模糊度分类。例如，若第一图像中的最高区域模糊度在[0.8,1.0)区间内，则可确定第一图像对应的目标模糊度类型为重度模糊，若第一图像中的最高区域模糊度在[0.3,0.8)区间内，则可确定第一图像对应的目标模糊度类型为中轻度模糊。

在一个具体例子中，以模糊去除场景为例，针对不同的模糊度类型可对应设置不同的模糊去除模型。如图2所示，对于中轻度模糊的图像可输入到第一模糊去除模型21中，对于重度模糊的图像可输入到第二模糊去除模型22中，其中，第一模糊去除模型21可以为经典的编解码(encoder-decoder)结构，第二模糊去除模型22的结构与第一模糊去除模型21类似，但规模是第一模糊去除模型21的两倍，也即，第二模糊去除模型22可以是两个第一模糊去除模型21串联得到的模型。

另外，在第二模糊去除模型22中还可包括小波卷积模块以及人脸注意力模块，使得第二模糊去除模型22具有更强的模糊去除能力。其中，小波卷积模块可以是将小波变换算法写入卷积层中，在小波变换前后分别加入1x1的卷积，这样有助于使特征得到更好地恢复。此外，针对目标对象是人物的情况，可在第二模糊去除模型22的最后加入人脸注意力模块，通过该模块中的人脸注意力机制，并在训练过程中利用人脸判别损失函数，恢复难以重建的人脸特征。

如此，通过将第一图像及其对应的模糊区域掩码图(也即区域位置)，输入至与第一图像所属目标模糊度类型对应的模糊去除模型中，可以输出得到无移动模糊的第二图像。

在另一个具体例子中，以图像超清处理场景为例，在根据图像的模糊识别结果对图像进行模糊度分类，得到与该图像对应的模糊度类型后，可使用分段式超清处理模型，针对不同的模糊度类型进行不同的超清处理模型的训练，如此，可以大幅度提升超清处理模型的精度。在得到经训练的超清处理模型后，超清处理模型可根据图像的模糊度类型进行有针对性的超清处理，输出得到超清结果图。

另外，在一些实施方式中，在目标对象为人物的情况下，上述关键点识别模型具体可以包括人脸关键点识别子模型和人体关键点识别子模型。

基于此，如图3所示，上述将第一图像输入至关键点识别模型，通过关键点识别模型识别第一图像中与目标对象对应的多个关键点，得到与目标对象对应的关键点信息的步骤，具体可以包括如下子步骤：

S1201，将第一图像输入至人脸关键点识别子模型，通过人脸关键点识别子模型识别第一图像中人物的面部区域对应的人脸关键点，得到与面部区域对应的人脸关键点信息；

S1202，将第一图像输入至人体关键点识别子模型，通过人体关键点识别子模型识别第一图像中人物的人体区域对应的人体关键点，得到与人体区域对应的人体关键点信息；

S1203，根据人脸关键点信息和人体关键点信息，确定与人物对应的关键点信息。

这里，针对人脸，也即人物的面部区域，本申请实施例提供了一种人脸关键点识别子模型，用于识别该区域内的关键点。其中，人脸关键点识别子模型可以是具有468点的3D密集关键点模型，且除了可以提供人脸关键点位置，例如人脸关键点坐标信息之外，还可输出每个人脸关键点对应的人脸关键点置信度。该人脸关键点位置和人脸关键点置信度可以是该人脸关键点识别子模型的两个分支，其中，人脸关键点置信度可用于判断预测的人脸关键点的位置是否准确，当人脸关键点置信度低于设定阈值时，可视为需要重新预测。

在一些具体例子中，当人脸关键点识别子模型输出的某个人脸关键点的人脸关键点置信度为0.9-1.0之间，即可确定其预测的人脸关键点位置可信度非常高，而若人脸关键点置信度在0.0-0.2之间，即可确定该预测的人脸关键点位置非常不可信。

另外，针对整个人体，也即人物的人体区域，本申请实施例提供了一种人体关键点识别子模型，用于识别包含面部区域在内的整个人体区域内的人体关键点，其中，人体关键点识别子模型可以是具有32个点位的人体关键点模型，且与人脸关键点识别子模型类似地，人体关键点识别子模型同样可以输出与每个人脸关键点分别对应的人脸关键点位置和人脸关键点置信度。为表简洁，在此不再赘述。

如此，通过将第一图像分别输入至人脸关键点识别子模型和人体关键点识别子模型，可得到包含人脸关键点位置和人脸关键点置信度的人脸关键点信息，以及包含人体关键点位置和人体关键点置信度的人体关键点信息。基于此，可基于上述两种关键点信息，综合确定得到与人物对应的关键点信息。

这样，通过针对人物的不同区域选用不同的关键点识别模型进行有针对性的关键点识别，可以使识别得到的关键点信息更加准确，从而可在后续步骤中提高模糊区域识别的准确性。

基于此，在一些实施方式中，上述S1203具体可以包括：

将人体关键点信息中与面部区域对应的目标人体关键点信息，替换为人脸关键点信息，得到与人物对应的关键点信息。

这里，由于人物的人体区域可包括面部区域和身体区域，因此，对应地，人体关键点信息中可包括与人物的身体区域对应的关键点信息，以及与人物的面部区域对应的关键点信息(也即目标人体关键点信息)。

由于人脸关键点识别子模型输出的关键点信息对人物的面部区域更具有针对性，因此，可将人体关键点信息中的目标人体关键点信息，替换为对面部区域更具有针对性的人脸关键点信息，进而将人体关键点信息中除目标人体关键点信息之外的其他关键点信息，以及人脸关键点信息，作为与人物对应的关键点信息。

在一些具体例子中，可将人体关键点识别子模型识别到的32个关键点中，与面部区域对应的11个关键点的关键点信息，替换为人脸关键点识别子模型识别到的468个关键点对应的关键点信息，得到最终确定的关键点信息。

如此，通过关键点信息替换，可充分利用每个区域的更为精确的关键点信息，得到最终的关键点信息，从而提高人物关键点的识别准确度。

另外，在一些实施方式中，上述S1201具体可以包括：

将第一图像输入至人脸关键点识别子模型，通过人脸关键点识别子模型识别第一图像中人物的面部区域对应的多个人脸关键点，得到与多个人脸关键点对应的人脸关键点信息；

计算人物的面部区域占第一图像的面积之比；

在面积之比小于预设比例的情况下，将面部区域作为目标人脸关键点，并基于多个人脸关键点对应的人脸关键点信息，确定与目标人脸关键点对应的目标人脸关键点信息；

将目标人脸关键点信息确定为与面部区域对应的人脸关键点信息。

这里，预设比例例如可以是1/4，该预设比例的具体取值可根据多次实验得到。

示例性地，在将第一图像输入至人脸关键点识别子模型之前或之后，可计算第一图像中任务的面部区域占第一图像的面积之比，若面部区域面积占整个第一图像的1/4及以上时，也即面积之比大于或等于1/4时，可对每个人脸关键点单独进行置信度计算，即一个人脸关键点对应一个置信度；若面部区域面积占整个第一图像的1/4以下时，也即面积之比小于1/4时，可将整个面部区域作为一个整体进行置信度计算，即整个面部区域作为一个目标人脸关键点，并利用人脸关键点识别子模型输出的与多个人脸关键点对应的关键点置信度，计算该目标人脸关键点对应的关键点置信度。其中，目标人脸关键点对应的关键点位置可以是该面部区域的中心位置，目标人脸关键点对应的关键点置信度可以取多个人脸关键点对应的关键点置信度的平均值。

如此，通过在人物的面部区域面积占比过小的情况下，将整个面部区域作为一个整体进行关键点的位置识别和置信度计算，可以在确保面部区域人脸关键点识别准确度的同时，去除过于集中的人脸关键点对应的冗余关键点信息，方便后续模糊区域计算。

基于此，在一些实施方式中，上述S1203具体可以包括：

确定第一图像是否包括人物的全部身体区域；

在确定第一图像包括人物的全部身体区域的情况下，将人体关键点信息中与面部区域对应的目标人体关键点信息，替换为目标人脸关键点信息，得到与人物对应的关键点信息。

这里，在第一图像包含人物的全部身体区域，也即第一图像为该人物的全身照的情况下，可将人体关键点信息中与面部区域对应的目标人体关键点信息，直接替换为上述目标人脸关键点信息，这是因为，当图像中包含人物的全身，该人物的面部区域会相对占比较小，例如面积占比小于整个图像的1/4，此时，可通过将人体关键点信息中，与面部区域的11个人体关键点的关键点信息替换为上述目标人脸关键点信息，以便进行后续的模糊度识别处理。

另外，为了提高模糊度识别的准确性，在一些实施方式中，上述将第一图像和关键点信息输入至模糊度识别模型，由模糊度识别模型根据关键点信息识别第一图像中的至少一个模糊区域，得到与至少一个模糊区域分别对应的区域位置和区域模糊度的步骤，具体可以包括：

获取第一图像中目标对象对应的头部角度信息，其中，头部角度信息包括自旋转角、俯仰角和倾斜角中的至少一个信息；

根据关键点信息和头部角度信息，生成关键点热度图；

将第一图像和关键点热度图输入至模糊度识别模型，由模糊度识别模型根据关键点热度图识别第一图像中的至少一个模糊区域，得到与至少一个模糊区域分别对应的区域位置和区域模糊度。

这里，头部角度信息可以通过对第一图像中的目标对象进行头部姿态识别得到。其中，头部角度信息可以包括头部的自旋转角(yaw)、俯仰角(pitch)和倾斜角(roll)中的至少一个信息。

示例性地，可将每个关键点对应的关键点位置、关键点置信度以及头部角度信息代入如下公式(1)，生成关键点热度图。其中，生成的关键点热度图的大小在尺寸上与原第一图像的大小保持一致，且首先全图置为0像素值，然后在目标对象的关键点的相应位置处计算全图相应于关键点的像素值。

在上述公式(1)中，F(x,y)为关键点热度图，xk及yk指关键点位置坐标，x及y则表示本张图像中所有的坐标点，θ(包括θ

具体地，当头部角度信息中的任意角度大于或等于75度时，A的数值可以为0.5，其余情况下A的数值可以保持为1，通过整张图的计算可以得到一个关键点区域中心值最大，非常接近1，而在关键点向四周散去时数值会越来越小，在远处会成为0的关键点热度图。例如针对图4a所示的具有关键点信息的图像，通过上述过程，可生成如图4b所示的关键点热度图。

如此，通过加入头部角度信息，结合根据头部角度信息确定的权重可对关键点置信度进行加权调节，从而可避免出现目标对象在大姿态的情况下关键点置信度较低的问题，提高模糊度识别的准确性。

基于此，为了进一步提高模糊度识别的准确性，在上述将第一图像和关键点热度图输入至模糊度识别模型，由模糊度识别模型根据关键点热度图识别第一图像中的至少一个模糊区域，得到与至少一个模糊区域分别对应的区域位置和区域模糊度的步骤之前，本申请实施例提供的图像处理方法还可以包括：

根据多个关键点中每个关键点的关键点位置，确定第一图像中与目标对象对应的目标区域位置。

相应地，上述将第一图像和关键点热度图输入至模糊度识别模型，由模糊度识别模型根据关键点热度图识别第一图像中的至少一个模糊区域，得到与至少一个模糊区域分别对应的区域位置和区域模糊度的步骤，具体可以包括：

将第一图像、关键点热度图以及目标区域位置输入至模糊度识别模型，由模糊度识别模型根据关键点热度图和目标区域位置识别第一图像中的至少一个模糊区域，得到与至少一个模糊区域分别对应的区域位置和区域模糊度。

这里，确定与目标对象对应的目标区域位置的方式包括但不限于，根据多个关键点中每个关键点的关键点位置，确定该多个关键点对应的外接矩形的区域位置，作为该目标区域位置。

示例性地，针对如图4a所示的关键点位置，可确定如图5所示的包含所有关键点的外接矩形，进而可确定目标对象的大体区域，该外接矩形的位置也即目标区域位置。

在一些具体例子中，如图6所示，可将第一图像的RGB原图、关键点热度图(heatmap1)以及目标区域位置进行并联后，同时输入到模糊度识别模型中，经过模糊度识别模型中的多层卷积操作，利用矩阵运算Feature

如此，通过上述目标区域位置的确定，可进一步强调第一图像中目标对象的主体区域的位置，从而可以提升模糊度识别模型对该目标对象主体区域的关注度。

图7是本申请一个实施例提供的模型训练方法的流程图。

如图7所示，该模型训练方法可以包括如下步骤：

S710，获取样本图像及其对应的图像标签，样本图像中包括第一对象，图像标签包括样本图像中模糊区域的区域位置标签和区域模糊度标签；

S720，识别样本图像中与第一对象对应的多个关键点，得到与第一对象对应的关键点信息，其中，关键点信息包括多个关键点中每个关键点的关键点位置和关键点置信度；

S730，将样本图像和关键点信息输入至目标神经网络模型，由目标神经网络模型根据关键点信息识别样本图像中的至少一个模糊区域，得到与至少一个模糊区域分别对应的区域位置和区域模糊度；

S740，基于区域位置和区域模糊度，按照图像标签训练目标神经网络模型，得到模糊度识别模型。

这里，本申请实施例中模糊度识别模型的训练过程与上述模糊度识别模型的使用过程大致相同，区别在于，训练时输入的第一图像为具有样本标签的样本图像，且在模糊度识别模型输出模糊区域热度图后，可使用损失函数L1 loss进行迭代，以调节模糊度识别模型的模型参数。具体地，可以使用模糊区域热度图与对应的样本标签的模糊度类别及模糊区域位置进行对比，以缩减模型输出与样本标签之间的差距为目的而进行训练，直至模型收敛。在训练完成后，在实际使用过程中，只需要获取到待处理图像的关键点信息以及姿态信息，即可按前述实施例中所提供的图像处理方法处理逻辑输入到模糊度识别模型中，直到模糊度识别模型预测出模糊区域位置以及对应的模糊度类型，即可直接续接到图像处理模型进行模糊去除处理，得到清晰的图像。

如此，通过获取样本图像及其对应的图像标签，进而利用识别到的样本图像中与第一对象对应的关键点信息，作为目标神经网络模型的输入特征，并结合图像标签对该目标神经网络模型进行训练，得到能够识别模糊区域对应的区域位置以及区域模糊度的模糊度识别模型，这样可以方便用户使用该模糊度识别模型精确定位到图像中的模糊区域，并对该模糊区域进行精确地模糊去除处理，而不会引入过多的噪声，从而为提高图像的去模糊处理的效果、提高图像质量提供模型基础。

需要说明的是，上述本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。

基于相同的发明构思，本申请还提供了一种图像处理装置。下面结合图8和图9对本申请实施例提供的图像处理装置以及模型训练装置进行详细说明。

图8是本申请一个实施例提供的图像处理装置的结构框图。

如图8所示，图像处理装置800可以包括：

图像获取模块801，用于获取包含目标对象的第一图像；

关键点识别模块802，用于识别所述第一图像中与所述目标对象对应的多个关键点，得到与所述目标对象对应的关键点信息，其中，所述关键点信息包括所述多个关键点中每个关键点的关键点位置和关键点置信度；

区域识别模块803，用于根据所述关键点信息识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度；

图像处理模块804，用于基于所述区域位置和所述区域模糊度，对所述第一图像进行处理，得到第二图像。

下面对上述图像处理装置800进行详细说明，具体如下所示：

在其中一个实施例中，所述关键点识别模块802包括：

第一识别子模块，用于将所述第一图像输入至关键点识别模型，通过所述关键点识别模型识别所述第一图像中与所述目标对象对应的多个关键点，得到与所述目标对象对应的关键点信息。

在其中一个实施例中，所述目标对象包括人物，所述关键点识别模型包括人脸关键点识别子模型和人体关键点识别子模型；

所述第一识别子模块包括：

第一识别单元，用于将所述第一图像输入至所述人脸关键点识别子模型，通过所述人脸关键点识别子模型识别所述第一图像中所述人物的面部区域对应的人脸关键点，得到与所述面部区域对应的人脸关键点信息；

第二识别单元，用于将所述第一图像输入至所述人体关键点识别子模型，通过所述人体关键点识别子模型识别所述第一图像中所述人物的人体区域对应的人体关键点，得到与所述人体区域对应的人体关键点信息；

关键点确定单元，用于根据所述人脸关键点信息和所述人体关键点信息，确定与所述人物对应的关键点信息。

在其中一个实施例中，所述关键点确定单元包括：

第一替换子单元，用于将所述人体关键点信息中与所述面部区域对应的目标人体关键点信息，替换为所述人脸关键点信息，得到与所述人物对应的关键点信息。

在其中一个实施例中，所述第一识别单元包括：

第一识别子单元，用于将所述第一图像输入至所述人脸关键点识别子模型，通过所述人脸关键点识别子模型识别所述第一图像中所述人物的面部区域对应的多个人脸关键点，得到与所述多个人脸关键点对应的人脸关键点信息；

占比计算子单元，用于计算所述人物的面部区域占所述第一图像的面积之比；

关键点处理子单元，用于在所述面积之比小于预设比例的情况下，将所述面部区域作为目标人脸关键点，并基于所述多个人脸关键点对应的人脸关键点信息，确定与所述目标人脸关键点对应的目标人脸关键点信息；

第一确定子单元，用于将所述目标人脸关键点信息确定为与所述面部区域对应的人脸关键点信息。

在其中一个实施例中，所述关键点确定单元包括：

第二确定子单元，用于确定所述第一图像是否包括所述人物的全部身体区域；

第二替换子单元，用于在确定所述第一图像包括所述人物的全部身体区域的情况下，将所述人体关键点信息中与所述面部区域对应的目标人体关键点信息，替换为所述目标人脸关键点信息，得到与所述人物对应的关键点信息。

在其中一个实施例中，所述区域识别模块803包括：

第二识别子模块，用于将所述第一图像和所述关键点信息输入至模糊度识别模型，由所述模糊度识别模型根据所述关键点信息识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度。

在其中一个实施例中，所述第二识别子模块包括：

角度获取单元，用于获取所述第一图像中所述目标对象对应的头部角度信息，其中，所述头部角度信息包括自旋转角、俯仰角和倾斜角中的至少一个信息；

热度图生成单元，用于根据所述关键点信息和所述头部角度信息，生成关键点热度图；

区域识别单元，用于将所述第一图像和所述关键点热度图输入至所述模糊度识别模型，由所述模糊度识别模型根据所述关键点热度图识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度。

在其中一个实施例中，所述第二识别子模块还包括：

位置区域单元，用于在将所述第一图像和所述关键点热度图输入至所述模糊度识别模型，由所述模糊度识别模型根据所述关键点热度图识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度之前，根据所述多个关键点中每个关键点的关键点位置，确定所述第一图像中与所述目标对象对应的目标区域位置；

所述区域识别单元包括：

第二识别子单元，用于将所述第一图像、所述关键点热度图以及所述目标区域位置输入至所述模糊度识别模型，由所述模糊度识别模型根据所述关键点热度图和所述目标区域位置识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度。

在其中一个实施例中，所述图像处理模块804包括：

图像分类子模块，用于根据所述区域模糊度，对所述第一图像进行模糊度分类，得到与所述第一图像对应的目标模糊度类型；

模型获取子模块，用于获取与所述目标模糊度类型对应的目标图像处理模型；

模糊去除子模块，用于将所述第一图像和所述区域位置输入至所述目标图像处理模型中，通过所述目标图像处理模型根据所述区域位置对所述第一图像进行模糊去除处理，得到所述第二图像。

由此，通过识别与第一图像中目标对象对应的多个关键点的关键点位置和关键点置信度，并利用该多个关键点的关键点位置和关键点置信度，能够识别得到第一图像中的至少一个模糊区域对应的区域位置和区域模糊度，如此，基于该区域位置和区域模糊度对第一图像进行模糊去除处理时，可以精确定位到第一图像中的模糊区域，并对模糊区域进行精确地模糊去除处理，而不会引入过多的噪声，从而能够提高图像的去模糊处理的效果，提高图像质量。

图9是本申请一个实施例提供的模型训练装置的结构框图。

如图9所示，模型训练装置900可以包括：

标签获取模块901，用于获取样本图像及其对应的图像标签，所述样本图像中包括第一对象，所述图像标签包括所述样本图像中模糊区域的区域位置标签和区域模糊度标签；

第一识别模块902，用于识别所述样本图像中与所述第一对象对应的多个关键点，得到与所述第一对象对应的关键点信息，其中，所述关键点信息包括所述多个关键点中每个关键点的关键点位置和关键点置信度；

第二识别模块903，用于将所述样本图像和所述关键点信息输入至目标神经网络模型，由所述目标神经网络模型根据所述关键点信息识别所述样本图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度；

模型训练模块904，用于基于所述区域位置和所述区域模糊度，按照所述图像标签训练所述目标神经网络模型，得到模糊度识别模型。

如此，通过获取样本图像及其对应的图像标签，进而利用识别到的样本图像中与第一对象对应的关键点信息，作为目标神经网络模型的输入特征，并结合图像标签对该目标神经网络模型进行训练，得到能够识别模糊区域对应的区域位置以及区域模糊度的模糊度识别模型，这样可以方便用户使用该模糊度识别模型精确定位到图像中的模糊区域，并对该模糊区域进行精确地模糊去除处理，而不会引入过多的噪声，从而为提高图像的去模糊处理的效果、提高图像质量提供模型基础。

本申请实施例中的图像处理装置和模型训练装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置和模型训练装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置和模型训练装置能够实现图1至图7的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选的，如图10所示，本申请实施例还提供一种电子设备1000，包括处理器1001和存储器1002，存储在存储器1002上存储有可在处理器1001上运行的程序或指令，该程序或指令被处理器1001执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图11为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109、以及处理器1110等部件。

本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1110，用于获取第一图像，所述第一图像中包括目标对象；识别所述第一图像中与所述目标对象对应的多个关键点，得到与所述目标对象对应的关键点信息，其中，所述关键点信息包括所述多个关键点中每个关键点的关键点位置和关键点置信度；根据所述关键点信息识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度；基于所述区域位置和所述区域模糊度，对所述第一图像进行模糊去除处理，得到第二图像。

由此，通过识别与第一图像中目标对象对应的多个关键点的关键点位置和关键点置信度，并利用该多个关键点的关键点位置和关键点置信度，能够识别得到第一图像中的至少一个模糊区域对应的区域位置和区域模糊度，如此，基于该区域位置和区域模糊度对第一图像进行模糊去除处理时，可以精确定位到第一图像中的模糊区域，并对模糊区域进行精确地模糊去除处理，而不会引入过多的噪声，从而能够提高图像的去模糊处理的效果，提高图像质量。

可选的，处理器1110，还用于将所述第一图像输入至关键点识别模型，通过所述关键点识别模型识别所述第一图像中与所述目标对象对应的多个关键点，得到与所述目标对象对应的关键点信息。

可选的，处理器1110，还用于将所述第一图像输入至所述人脸关键点识别子模型，通过所述人脸关键点识别子模型识别所述第一图像中所述人物的面部区域对应的人脸关键点，得到与所述面部区域对应的人脸关键点信息；将所述第一图像输入至所述人体关键点识别子模型，通过所述人体关键点识别子模型识别所述第一图像中所述人物的人体区域对应的人体关键点，得到与所述人体区域对应的人体关键点信息；根据所述人脸关键点信息和所述人体关键点信息，确定与所述人物对应的关键点信息。

可选的，处理器1110，还用于将所述人体关键点信息中与所述面部区域对应的目标人体关键点信息，替换为所述人脸关键点信息，得到与所述人物对应的关键点信息。

可选的，处理器1110，还用于将所述第一图像输入至所述人脸关键点识别子模型，通过所述人脸关键点识别子模型识别所述第一图像中所述人物的面部区域对应的多个人脸关键点，得到与所述多个人脸关键点对应的人脸关键点信息；计算所述人物的面部区域占所述第一图像的面积之比；在所述面积之比小于预设比例的情况下，将所述面部区域作为目标人脸关键点，并基于所述多个人脸关键点对应的人脸关键点信息，确定与所述目标人脸关键点对应的目标人脸关键点信息；将所述目标人脸关键点信息确定为与所述面部区域对应的人脸关键点信息。

可选的，处理器1110，还用于确定所述第一图像是否包括所述人物的全部身体区域；在确定所述第一图像包括所述人物的全部身体区域的情况下，将所述人体关键点信息中与所述面部区域对应的目标人体关键点信息，替换为所述目标人脸关键点信息，得到与所述人物对应的关键点信息。

可选的，处理器1110，还用于将所述第一图像和所述关键点信息输入至模糊度识别模型，由所述模糊度识别模型根据所述关键点信息识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度。

可选的，处理器1110，还用于获取所述第一图像中所述目标对象对应的头部角度信息，其中，所述头部角度信息包括自旋转角、俯仰角和倾斜角中的至少一个信息；根据所述关键点信息和所述头部角度信息，生成关键点热度图；将所述第一图像和所述关键点热度图输入至所述模糊度识别模型，由所述模糊度识别模型根据所述关键点热度图识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度。

可选的，处理器1110，还用于根据所述多个关键点中每个关键点的关键点位置，确定所述第一图像中与所述目标对象对应的目标区域位置；将所述第一图像、所述关键点热度图以及所述目标区域位置输入至所述模糊度识别模型，由所述模糊度识别模型根据所述关键点热度图和所述目标区域位置识别所述第一图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度。

可选的，处理器1110，还用于根据所述区域模糊度，对所述第一图像进行模糊度分类，得到与所述第一图像对应的目标模糊度类型；获取与所述目标模糊度类型对应的目标图像处理模型；将所述第一图像和所述区域位置输入至所述目标图像处理模型中，通过所述目标图像处理模型根据所述区域位置对所述第一图像进行模糊去除处理，得到所述第二图像。

由此，通过针对人物的不同区域选用不同的关键点识别模型进行有针对性的关键点识别，可以使识别得到的关键点信息更加准确，从而可在后续步骤中提高模糊区域识别的准确性。

另外，处理器1110还可用于获取样本图像及其对应的图像标签，所述样本图像中包括第一对象，所述图像标签包括所述样本图像中模糊区域的区域位置标签和区域模糊度标签；识别所述样本图像中与所述第一对象对应的多个关键点，得到与所述第一对象对应的关键点信息，其中，所述关键点信息包括所述多个关键点中每个关键点的关键点位置和关键点置信度；将所述样本图像和所述关键点信息输入至目标神经网络模型，由所述目标神经网络模型根据所述关键点信息识别所述样本图像中的至少一个模糊区域，得到与所述至少一个模糊区域分别对应的区域位置和区域模糊度；基于所述区域位置和所述区域模糊度，按照所述图像标签训练所述目标神经网络模型，得到模糊度识别模型。

如此，通过获取样本图像及其对应的图像标签，进而利用识别到的样本图像中与第一对象对应的关键点信息，作为目标神经网络模型的输入特征，并结合图像标签对该目标神经网络模型进行训练，得到能够识别模糊区域对应的区域位置以及区域模糊度的模糊度识别模型，这样可以方便用户使用该模糊度识别模型精确定位到图像中的模糊区域，并对该模糊区域进行精确地模糊去除处理，而不会引入过多的噪声，从而为提高图像的去模糊处理的效果、提高图像质量提供模型基础。

应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。

处理器1110可可包括一个或多个处理单元；可选的，处理器1110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。