图像处理方法及装置、图像处理模型的训练方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法及装置、图像处理模型的训练方法及装置。

背景技术

随着移动终端技术的发展和用户的需求，全面屏终端已经成为重要的发展趋势。在相关技术中，终端设备设置有前置摄像头，且终端设备的显示屏上安装前置摄像头的部位一般设置有槽或孔，以使该前置摄像头可以采集外部图像。然而，终端设备的显示屏上形成的槽或孔，使得显示屏的屏占比降低。

对于使用全面屏进行显示的移动终端，屏下摄像头逐渐成为了实现全面屏的较佳方案。屏下摄像头是在显示屏不开孔的情况下，把前置摄像头隐藏在显示屏下方，在使用的时候，摄像头可以透过显示屏的透光区域实现取景拍摄。

然而发明人经研究发现，在现有屏下摄像头的方案中，显示屏的显示效果较差。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法及装置、图像处理模型的训练方法及装置，能够有效改善复原后图像的质量，提升图像的清晰度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种图像处理方法，所述方法应用于电子设备，所述方法包括：获取原始衍射图像；将所述原始衍射图像输入至图像处理模型；通过所述图像处理模型对所述原始衍射图像进行复原处理，得到所述原始衍射图像对应的目标标准图像。

进一步，所述通过所述图像处理模型对所述原始衍射图像进行复原处理，得到所述原始衍射图像对应的目标标准图像的步骤，包括：通过所述图像处理模型检测所述原始衍射图像中各像素点的亮度值；基于检测的亮度值确定所述原始衍射图像中包含目标光源的光斑区域；基于所述光斑区域对所述原始衍射图像进行复原处理，得到所述原始衍射图像对应的目标标准图像。

进一步，所述基于所述光斑区域对所述原始衍射图像进行复原处理的步骤，包括：对所述光斑区域进行衍射条纹的去除，得到所述原始衍射图像对应的待复原图像；对所述待复原图像进行清晰度处理，得到目标标准图像。

进一步，所述基于检测的亮度值确定所述原始衍射图像中包含目标光源的光斑区域的步骤，包括：根据检测的亮度值大于预设亮度阈值的像素点的位置，确定所述原始衍射图像上的亮度区域；判断所述亮度区域的外接圆的半径是否大于预设半径；如果是，将所述亮度区域确定为包含目标光源的光斑区域。

进一步，所述获取原始衍射图像的步骤，包括：通过所述电子设备带有的屏下摄像头采集原始衍射图像。

进一步，所述图像处理模型为基于图像样本对训练得到的，所述图像样本对包括通过屏上摄像头拍摄指定场景的样本标准图像和所述样本标准图像对应的样本衍射图像；其中，所述样本衍射图像为基于所述样本标准图像模拟屏下摄像头拍摄所述指定场景得到的图像，或者为通过屏下摄像头拍摄所述指定场景得到的图像。

进一步，所述电子设备包括显示屏，所述显示屏包括多个发光单元和多个透光区域；其中，每个所述发光单元包括预设数量的子像素；所述多个发光单元中的多个子像素间隔排布，以在所述子像素间形成多个透光区域，所述多个透光区域中包括至少两个非重复性的第一透光区域。

进一步，多个所述发光单元中的任意一个子像素，与多个所述透光区域中的任意一个透光区域相互分离。

进一步，所述透光区域通过以下一种或多种方式进行排布：

至少两个所述第一透光区域之间具有不同的尺寸参数、外形参数、姿态参数、位置分布参数；

每个所述第一透光区域与其他透光区域之间具有不同的尺寸参数、外形参数、姿态参数、位置分布参数；

所有所述透光区域具有不同的尺寸参数、外形参数、姿态参数、位置分布参数。

进一步，所述电子设备包括显示屏，所述显示屏包括多个发光单元和多个透光区域；其中，每个所述发光单元包括预设数量的子像素；至少两个所述发光单元的多个子像素呈非重复性分布。

进一步，非重复性分布的多个子像素的间隙里形成至少两个非重复性分布的透光区域。

进一步，所述发光单元通过以下一种或多种方式进行排布：

至少两个发光单元的多个子像素具有不同的尺寸参数、外形参数、姿态参数、位置分布参数；

至少两个发光单元的多个子像素与其他发光单元的多个子像素具有不同的尺寸参数、外形参数、姿态参数、位置分布参数；

所有发光单元的多个子像素均具有不同的尺寸参数、外形参数、姿态参数、位置分布参数。

进一步，所述电子设备为带有屏下摄像头的电子设备。

第二方面，本发明实施例还提供一种图像处理模型的训练方法，所述方法包括：向图像处理模型输入图像样本对，其中，所述图像样本对包括样本标准图像和所述样本标准图像对应的样本衍射图像；通过所述图像处理模型对所述样本衍射图像进行复原处理，得到所述样本衍射图像的复原图像；根据所述复原图像和所述样本标准图像，确定所述图像处理模型对应的损失函数值；根据所述损失函数值，对所述图像处理模型的参数进行迭代更新。

进一步，所述根据所述损失函数值，对所述图像处理模型的参数进行迭代更新，包括：判断所述损失函数值是否收敛至预设值，和/或所述迭代更新是否达到预设次数；当所述损失函数值收敛至预设值，和/或所述迭代更新达到预设次数时，得到训练后的图像处理模型。

进一步，所述根据所述复原图像和所述样本标准图像，确定所述图像处理模型对应的损失函数值，包括：计算所述复原图像和所述样本标准图像之间的相似度，根据所述相似度确定所述图像处理模型对应的损失函数值。

进一步，所述图像样本对的获取方法包括：通过屏上摄像头对指定场景进行拍摄，得到所述样本标准图像；通过所述屏上摄像头透过显示屏幕对黑暗背景中的目标光源进行拍摄，得到目标光源图像；将所述目标光源图像与所述样本标准图像进行卷积操作，得到所述样本衍射图像。

进一步，所述通过所述屏上摄像头透过显示屏幕对黑暗背景中的目标光源进行拍摄，得到目标光源图像，包括：通过所述屏上摄像头透过所述显示屏幕对预设方案中的目标光源进行拍摄，得到候选目标光源图像；其中，所述预设方案为在黑暗背景中对至少一个目标光源进行空间排列的方案，在不同的所述预设方案中，目标光源的数量和/或目标光源的空间排列方式不同，且不同所述预设方案对应的所述候选目标光源图像不同；将所述候选目标光源图像中的至少一张候选目标光源图像，确定为所述目标光源图像。

进一步，在所述将所述目标光源图像与所述样本标准图像进行卷积操作的步骤之前，所述方法还包括：对所述目标光源图像进行降噪处理。

进一步，所述显示屏幕为与上述图像处理方法中电子设备的显示屏相同的显示屏幕。

进一步，所述图像样本对的获取方法包括：通过屏上摄像头按照预设的拍摄角度对指定场景进行拍摄，得到所述样本标准图像；通过屏下摄像头按照所述拍摄角度对所述指定场景进行拍摄，得到所述样本衍射图像。

第三方面，本发明实施例提供了一种图像处理装置，所述装置应用于电子设备，所述装置包括：图像采集模块，用于获取原始衍射图像；图像输入模块，用于将所述原始衍射图像输入至图像处理模型；图像复原模块，用于通过所述图像处理模型对所述原始衍射图像进行复原处理，得到所述原始衍射图像对应的目标标准图像。

第四方面，本发明实施例提供了一种图像处理模型的训练装置，所述装置包括：输入模块，用于向图像处理模型输入图像样本对，其中，所述图像样本对包括样本标准图像和所述样本标准图像对应的样本衍射图像；复原模块，用于通过所述图像处理模型对所述样本衍射图像进行复原处理，得到所述样本衍射图像的复原图像；计算模块，用于根据所述复原图像和所述样本标准图像，确定所述图像处理模型对应的损失函数值；更新模块，用于根据所述损失函数值，对所述图像处理模型的参数进行迭代更新。

第五方面，本发明实施例提供了一种图像处理系统，所述系统包括处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法，或者执行如第二方面任一项所述的方法。

第六方面，本发明实施例提供了一种电子设备，所述电子设备包括显示屏和屏下摄像头，还包括如第五方面所述的图像处理系统；所述显示屏包括多个发光单元和多个透光区域；其中，每个所述发光单元包括多个子像素。

进一步，所述多个发光单元中的多个子像素之间存在间隙，以在所述间隙形成所述多个透光区域，所述多个透光区域中包括至少两个非重复性的第一透光区域。

进一步，至少两个所述发光单元的多个子像素呈非重复性分布。

第七方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤，或者执行如第二方面任一项所述的方法的步骤。

本发明实施例提供了一种电子设备，该电子设备包括显示屏和屏下摄像头；其中，显示屏包括多个发光单元和多个透光区域；每个发光单元包括预设数量的子像素；多个透光区域非重复性地排列在多个发光单元的子像素之间，以使目标光源透过显示屏生成的衍射条纹图像为均匀分布的条纹图像；对于均匀分布的条纹图像便于准确地判断其规律性，从而在图像处理过程中能够降低图像复原的难度。

本发明实施例提供了一种图像处理方法及装置，该图像处理方法将获取的原始衍射图像输入图像处理模型，通过图像处理模型对原始衍射图像进行复原以得到原始衍射图像对应的目标标准图像。本实施例提供的上述图像处理方式，能够直接利用图像处理模型对原始衍射图像进行复原，有效简化了图像复原的方式并能够提高复原后目标标准图像的清晰度，从而有效改善了显示屏对图像的显示效果。

本发明实施例提供了一种图像处理模型的训练方法及装置，该训练方法将图像样本对输入到图像处理模型，通过图像处理模型对样本衍射图像进行复原处理，得到样本衍射图像的复原图像；根据复原图像和样本标准图像，确定图像处理模型对应的损失函数值，对图像处理模型的参数进行迭代更新。本实施例提供的上述训练方式中，将具有对应关系的样本标准图像和样本衍射图像作为训练数据，可以降低图像样本对中两幅图像的差异性，也即提高了图像样本对的质量，较高质量的图像样本对有助于提高图像处理模型的训练效果，能够提高图像处理模型的训练效率和准确率。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种显示屏的结构示意图；

图3示出了本发明实施例所提供的一种图像处理方法的流程图；

图4示出了本发明实施例所提供的一种原始衍射图像的示意图；

图5示出了本发明实施例所提供的一种目标标准图像的示意图；

图6示出了本发明实施例所提供的一种图像处理模型的训练方法流程图；

图7示出了本发明实施例所提供的一种目标光源图像拍摄场景示意图；

图8示出了本发明实施例所提供的一种图像处理装置的结构框图；

图9示出了本发明实施例所提供的一种图像处理模型的训练装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一般地，显示屏的的发光单元中的子像素是重复排列的，例如，多个发光单元中的每个发光单元的子像素的排布完全相同，或者多个发光单元作为一个像素模块，多个该多个发光单元组成的像素模块中每个像素模块中的子像素的排布完全相同。然而对于屏下摄像头而言，当外部目标光源透过屏幕后，通过屏下摄像头采集的图像会形成“雨滴”状的衍射条纹，该衍射条纹由中心向外是非均匀衰减的，致使摄像头拍摄的图像中会相应出现非均匀分布的模糊现象。在图像复原过程中，由于非均匀衍射条纹很难去除，复原图像的清晰度效果很差，对复原图像的质量造成严重影响。

在屏下摄像头的方案中，发明人研究发现，一般显示屏的结构方式会形成非均匀衍射条纹，由于该衍射条纹的规律性无法准确判断，因此无法准确识别并消除图像中的衍射条纹，从而致使包含目标光源的图像很难复原，复原后图像的清晰度效果很差，严重影响复原图像的质量。基于此，为改善以上问题至少之一，本发明实施例提供了一种图像处理方法及装置、图像处理模型的训练方法及装置，能够有效改善复原后图像的质量，提升图像的清晰度，该技术可以应用于各种屏下摄像产品中，诸如手机、电脑、摄像机和生物医学成像设备等。为便于理解，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的图像处理方法及装置、图像处理模型的训练方法及装置的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图1示出的部分组件，也可以具有图1未示出的其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的一种图像处理方法及装置、图像处理模型的训练方法及装置的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端上。

实施例二：

本实施例提供了一种图像处理方法，该方法可应用于电子设备。为了更好地理解本公开的技术方案，首先基于上述实施例对电子设备进行描述。

在一种可能的结构中，该电子设备可以包括显示屏，参照如图2所示的显示屏的结构示意图，显示屏可以包括多个发光单元和多个透光区域。其中，每个发光单元包括预设数量的子像素；参照图2左侧放大的发光单元的示例，每个发光单元可以包括R(红色)、G(绿色)、B(蓝色)三个子像素；当然，发光单元还可以为其它组成形式，诸如还可以包括R(红色)、G(绿色)、B(蓝色)、W(白色)四个子像素，本实施例对此不进行限制。

在实际应用中，可以将多个发光单元以矩阵、品字形等方式排列。该排列方式与现有常规显示屏(即不考虑屏下摄像头的显示屏)中发光单元的排列方式相同，由此可以直接利用现有技术生产制造显示屏，避免可能出现的技术困难，而且，可以使得本实施例中的显示屏与没有屏下摄像头的显示屏的显示效果相近，有利于给用户带来较好的视觉体验。当然多个发光单元还可以以其他规则或不规则的方式进行排列，本发明实施例对此不作限定。

考虑到当外部目标光源透过显示屏时，现有显示屏上重复排列的透光区域容易造成非均匀衍射条纹，并影响拍摄图像的效果。基于此，多个发光单元中的多个子像素之间存在间隙，以在该间隙形成多个透光区域，多个透光区域中包括至少两个非重复性的第一透光区域。

可以理解地，在一些实施例中，同一个发光单元的多个子像素之间可以形成该间隙，或者两个发光单元的子像素之间可以形成间隙。其中，同一个发光单元内部的多个子像素中可能存在至少两个子像素连接设置，不存在间隙。其中，相邻两个子像素之间的间隙里可能存在一个或者多个透光部，也可能不存在透光部。示例地，多个发光单元的多个子像素之间分离，以在该多个子像素的分离区域形成间隙。该多个第一发光单元的多个子像素的部分子像素之间的间隙内设置有一个或多个所述透光部。示例地，至少一个发光单元的多个子像素之间不存在间隙，边缘相互连接设置；或者不同发光单元的多个子像素之间不分离，边缘连接设置。

例如，将显示屏划分为多个发光单元，和发光单元之间的非发光区域，多个透光区域即位于非发光区域，且中包括至少两个非重复性的第一透光区域。具体可以包括多个第一透光区域非重复性分部，或者多个透光区域相对于多个像素区域非重复性分部、非均匀分部。

关于多个第一透光区域非重复性分布的方式，可以通过以下一种或多种方式进行排布：

第一种方式，至少两个第一透光区域之间具有不同的尺寸参数、外形参数、姿态参数、位置分布参数；

第二种方式，每个第一透光区域与其他透光区域之间具有不同的尺寸参数、外形参数、姿态参数、位置分布参数；

第三种方式，所有透光区域各自具有不同的尺寸参数、外形参数、姿态参数、位置分布参数。

其中，不同的尺寸参数是指透光区域的大小差异；不同的外形参数是指透光区域各自的形状不同，例如圆形、矩形、多边形等；不同的姿态参数是指透光区域具有不同的旋转角度；不同的位置分布参数是指透光区域的排列方式不对齐，具有一定的错位偏差。

在此不再一一罗列，由此可以看出，透光区域与透光区域之间的相对位置关系是没有规律的，透光区域与对应发光单元中各子像素之间的相对位置关系是没有规律的，同类子像素(如R子像素)之间的相对位置关系是没有规律的，也即透光区域的排列是随机的，具有非重复性。以上所描述的透光区域与子像素之间的排列关系，是指在视觉层面上透光区域和子像素都是在显示屏的发光面上，所以可以将透光区域和子像素视为在同一个二维平面上，并不限定构成子像素的阴极、阳极、发光材料等层级结构。

此外，可以理解的是，为了保证显示屏的显示效果，上述透光区域与子像素不能重叠，也即多个发光单元中的任意一个子像素，与多个透光区域中的任意一个透光区域相互分离。

在另一种实施方式中，为避免外部目标光源透过显示屏时造成非均匀衍射条纹，将显示屏设置为至少两个发光单元的多个子像素呈非重复性分布。

关于发光单元中多个子像素非重复性分部的方式，可以通过以下一种或多种方式进行排布：

第一种方式，至少两个发光单元的多个子像素具有不同的尺寸参数、外形参数、姿态参数、位置分布参数；

第二种方式，至少两个发光单元的多个子像素与其他发光单元的多个子像素具有不同的尺寸参数、外形参数、姿态参数、位置分布参数；

第三种方式，所有发光单元的多个子像素均具有不同的尺寸参数、外形参数、姿态参数、位置分布参数。

其中，不同的尺寸参数是指子像素的大小差异；不同的外形参数是指子像素各自的形状不同，例如圆形、矩形、多边形等；不同的姿态参数是指子像素具有不同的旋转角度；不同的位置分布参数是指子像素的排列方式不对齐，具有一定的错位偏差。

进一步的，还可以将上述两种避免非均匀衍射条纹的方式相结合，在非重复性分布的多个子像素的间隙里，形成至少两个非重复性分布的透光区域。

通过在子像素间形成多个非重复性的第一透光区域，或者将至少两个发光单元的多个子像素呈非重复性分布，可以使外部的目标光源通过透光口形成的衍射条纹的亮度均匀分布。在此情况下，可以使目标光源透过显示屏生成的衍射条纹图像为均匀分布的条纹图像，从而屏下摄像头透过显示屏拍摄的图像为呈现均匀分布现象的模糊图像；对于均匀分布的条纹图像便于准确地判断其规律性，从而在图像处理过程中能够降低图像复原的难度，通过简单的图像处理方法即可还原上述模糊图像。需要说明的是，该目标光源通常可选用点光源、线型光源等容易产生衍射的光源。

基于以上结构的显示屏，本实施例中的电子设备还可以为带有屏下摄像头的电子设备。该显示屏可以是OLED显示屏，屏下摄像头所在区域是透明的OLED显示屏，当该区域不显示画面时，将会呈现透明的状态，使得外界的环境光线可以透过透明的OLED显示屏到达屏下摄像头，从而最终实现成像。基于摄像头与OLED显示屏之间的位置关系，相当于将摄像头隐藏设置于OLED显示屏的下方，由此可以将该摄像头称为屏下摄像头。此外，在OLED显示屏和屏下摄像头之间可能还设置有电路层、基底层等结构。

在实际应用中，屏下摄像头可以为电子设备内部的摄像头，即电子设备、显示屏和屏下摄像头为一体结构；此外，屏下摄像头还可以为独立于电子设备之外的摄像头，诸如一个独立摄像头结构或者其它设备中的摄像头，也即屏下摄像头与具有显示屏的电子设备为组合结构。

根据上述实施例所提供的电子设备，本发明实施例提供一种应用该电子设备的图像处理方法。参照如图3所示的图像处理方法流程图，该方法具体包括如下步骤S302至步骤S306：

步骤S302，获取原始衍射图像。其中，原始衍射图像可以为在实际拍摄场景中，通过电子设备带有的屏下摄像头采集得到的图像。由于屏下摄像头是设置于显示屏下侧，从而可以认为屏下摄像头是透过显示屏拍摄的原始衍射图像。上述拍摄场景为任何有光的场景，诸如存在目标光源的场景。以存在目标光源的拍摄场景为例，可提供如图4所示的原始衍射图像的示意图，该原始衍射图像中目标光源区域出现有明显的衍射条纹，且原始衍射图像整体较为模糊。当然，基于衍射的物理意义可以理解，在不存在目标光源的拍摄场景中，通过屏下摄像头拍摄的原始衍射图像中也会出现衍射条纹。

步骤S304，将原始衍射图像输入至图像处理模型。其中，该图像处理模型诸如为LeNet、R-CNN(Region-CNN)或Resnet等神经网络模型。

在实际应用中，图像处理模型为基于图像样本对预先训练得到的；图像样本对包括同一场景对应的样本标准图像和样本衍射图像。样本标准图像可以理解为通过屏上摄像头拍摄指定场景得到的图像；该屏上摄像头不应简单地认为是设置于显示屏上方的摄像头，它只是相对于上述屏下摄像头而定义的“屏上”。通常，该屏上摄像头可以为生产应用中常规的拍摄设备，诸如摄像机、手机的后置摄像头等等。由于样本标准图像为通过屏上摄像头拍摄的图像，故也可以将样本标准图像称为屏上图像；屏上摄像头不会受到显示屏对拍摄的不良影响，在此情况下，样本标准图像是清晰度较好地高质量图像。

样本衍射图像为基于样本标准图像模拟屏下摄像头拍摄指定场景得到的图像，或者为通过屏下摄像头拍摄指定场景得到的图像。由于样本衍射图像为屏下摄像头或者模拟屏下摄像头拍摄的图像，故也可以将样本衍射图像称为屏下图像，且该样本衍射图像一般为包含衍射条纹的模糊图像。

需要说明的是，本步骤中用于拍摄并得到样本衍射图像的屏下摄像头，与步骤S302中用于采集原始衍射图像的屏下摄像头，不一定是同一个屏下摄像头。

步骤S306，通过图像处理模型对原始衍射图像进行复原处理，得到原始衍射图像对应的目标标准图像。

在一种可能的实现方式中，可以通过图像处理模型对原始衍射图像中的衍射条纹进行消除，然后对消除衍射条纹之后的图像进行复原，以得到清晰度较高的目标标准图像。所得到的目标标准图像可参照图5所示，其为原始衍射图像对应的复原图像，清晰度有明显提升。

本发明实施例提供的上述图像处理方法，能够直接利用图像处理模型对原始衍射图像进行复原，有效简化了图像复原的方式并能够提高复原后目标标准图像的清晰度，从而有效改善了显示屏对图像的显示效果。

为了便于理解，本实施例对上述步骤S306中原始衍射图像的复原方式展开描述。图像处理模型可以基于预设的图像复原算法(例如维纳滤波、正则滤波和盲区卷积等)对输入的原始衍射图像进行复原处理，以得到目标标准图像。

相对于不包含目标光源的原始衍射图像，包含目标光源的原始衍射图像出现衍射条纹的现象会更加明显，为了更好地提升针对包含目标光源的原始衍射图像的复原效果，本实施例还可以提供另一种原始衍射图像的复原方式，参照如下步骤(1)至步骤(3)所示：

(1)通过图像处理模型检测原始衍射图像中各像素点的亮度值。

(2)基于检测的亮度值确定原始衍射图像中包含目标光源的光斑区域。在具体实现时，可以首先根据检测的亮度值大于预设亮度阈值的像素点的位置，确定原始衍射图像上的亮度区域；然后判断亮度区域的外接圆的半径是否大于预设半径。在亮度区域的外接圆的半径大于预设半径(如r＞2mm)的情况下，表示该亮度区域有较高可能性为包含目标光源的区域，从而将该亮度区域确定为包含目标光源的光斑区域。如果亮度区域的外接圆的半径不大于预设半径，表明该亮度区域可能是噪声或者其他干扰光线等造成的，从而不将该亮度区域确定为光斑区域。

(3)基于光斑区域对原始衍射图像进行复原处理，得到原始衍射图像对应的目标标准图像。

在一种可能的实施方式中，可以通过如下具体过程进行复原处理：首先，对光斑区域进行衍射条纹的去除，得到原始衍射图像对应的待复原图像。在一张原始衍射图像中可能存在至少一个光斑区域，去除各个光斑区域中的衍射条纹以得到原始衍射图像对应的待复原图像。由于显示屏中透光区域与子像素为非重复性排列，使得衍射条纹为亮度均匀分布的条纹，在此情况下，可以有效降低衍射条纹的去除难度。

然后，对待复原图像进行清晰度处理，得到目标标准图像。在实际应用中，可以基于Lucy-Richardson图像复原方法、维纳滤波或约束最小平方滤波等等多种方法对待复原图像进行清晰度处理，以得到画质好、清晰度高的目标标准图像。

综合以上描述，本实施例提供上述图像处理方法，能够直接利用图像处理模型对原始衍射图像进行复原，有效简化了图像复原的方式并能够提高复原后目标标准图像的清晰度，从而有效改善了显示屏对图像的显示效果。进一步基于所应用的电子设备，该电子设备中的显示屏具有非重复性透光区域，从而能够获取到易于复原处理的原始衍射图像，然后再通过图像处理模型对原始衍射图像进行复原，不但能够提高复原后图像的清晰度和改善显示屏的显示效果，还能够基于易于复原处理的原始衍射图像，有效提高图像复原的效果。

为了使图像处理模型可以直接应用于对原始衍射图像的复原，输出较为清晰的目标标准图像，需要事先训练该图像处理模型，以最终确定图像处理模型中可满足要求的参数。利用已训练得到的参数，图像处理模型对原始衍射图像的复原结果能够达到预期的图像质量要求。本实施例给出了一种图像处理模型的训练方法，参照图6所示的图像处理模型的训练流程图，该方法具体可参照如下步骤S602至步骤S610：

步骤S602，获取图像样本对；其中，图像样本对包括样本标准图像和样本标准图像对应的样本衍射图像。在一种实施例中，图像样本对包括通过屏上摄像头拍摄指定场景的样本标准图像和样本标准图像对应的样本衍射图像，样本衍射图像为基于样本标准图像模拟屏下摄像头拍摄指定场景得到的图像，或者为通过屏下摄像头拍摄指定场景得到的图像；可以理解，样本标准图像和样本衍射图像所对应的指定场景为同一场景。

需要说明的是，本步骤是属于图像处理模型训练的准备阶段，本步骤的目的是准备好图像样本对。如果已有可用的图像样本对，则可以跳过本步骤，直接进行步骤S604。

步骤S604，向图像处理模型输入图像样本对。

参照上述实施例，图像样本对包括样本标准图像和样本标准图像对应的样本衍射图像，例如该样本标准图像和样本衍射图像为同一场景对应的屏上图像和屏下图像。

步骤S606，通过图像处理模型对样本衍射图像进行复原处理，得到样本衍射图像的复原图像。

步骤S608，根据复原图像和样本标准图像，确定图像处理模型对应的损失函数值。

具体的，可以通过计算复原图像和样本标准图像之间的相似度，根据相似度确定图像处理模型对应的损失函数值。在具体实现时，可通过余弦相似度算法、直方图算法或结构相似性度量算法等多种相似度算法计算复原图像和样本标准图像之间的相似度。

步骤S610，根据损失函数值，对图像处理模型的参数进行迭代更新。

因为进行一次参数更新，不一定能将图像处理模型达到预期的效果，所以需要进行迭代更新。具体的，首先判断损失函数值是否收敛至预设值，或者，迭代更新是否达到预设次数。当损失函数值收敛至预设值，或者迭代更新达到预设次数时，则可以结束训练，得到训练后的图像处理模型。

例如，先判断损失函数值是否收敛至预设值。如果已经收敛至预设值，则可以结束训练，得到训练后的图像处理模型；如果还未收敛至预设值，则对图像处理模型的参数继续进行迭代更新。此外，还可以设定迭代次数，当达到预设的迭代次数，且损失函数值降低至预设值时，结束训练。

另外，还可以将损失函数值的收敛情况和迭代次数综合考虑，必须在损失函数值已经收敛至预设值，且迭代更新达到了预设次数时，才可结束训练。

本实施例提供的上述训练方式中，将具有对应关系的样本标准图像和样本衍射图像作为训练数据，可以降低图像样本对中两幅图像的差异性，也即提高了图像样本对的质量，较高质量的图像样本对有助于提高图像处理模型的训练效果；同时，将相似度作为损失函数值，降低了损失函数的计算难度，能够提高图像处理模型的训练效率。

在上述图像处理模型的训练过程中，需要依赖大量、高质量、多样化的图像样本对作为训练数据，基于此，本实施例接下来提供两种图像样本对的获取方式。

获取方式一：通过屏上摄像头按照预设的拍摄角度对指定场景进行拍摄，得到样本标准图像；以及，通过屏下摄像头按照拍摄角度对指定场景进行拍摄，得到样本衍射图像。

在该图像样本对的获取方式中，屏上摄像头和屏下摄像头的拍摄角度、拍摄的指定场景均相同，由此得到的样本标准图像和样本衍射图像基本相同，能够作为图像处理模型的训练数据。该获取方式简单易操作，对用户的工作能力要求低。

获取方式二：考虑到样本标准图像和样本衍射图像可能因图像内容、拍摄角度等偏差，对图像处理模型的训练效果造成不利影响，并在实际应用中导致复原后图像的质量较差。为了避免上述问题，本实施例可参照如下方式获取匹配度较好的样本标准图像和样本衍射图像，包括：

首先通过屏上摄像头对指定场景进行拍摄，得到样本标准图像。然后通过屏上摄像头透过显示屏幕对黑暗背景中的目标光源进行拍摄，得到目标光源图像；为了提高样本衍射图像与屏下摄像头所拍摄的真实屏下图像之间的模拟逼真度，显示屏幕为与电子设备的显示屏相同的显示屏幕。最后将目标光源图像与样本标准图像进行卷积操作，得到样本衍射图像。

上述方式中，基于样本标准图像来生成模拟屏下图像的样本衍射图像，能够避免样本标准图像与样本衍射图像之间的偏差，从而基于该图像样本对训练得到的图像处理模型能够具有更好的复原效果，提升复原图像的清晰度和图像质量。

为了更好的理解候选目标光源图像，在此提供一种候选目标光源图像的获取方式。参照图7所示的目标光源图像拍摄场景示意图，展示了依次排列的屏上摄像头、显示屏幕和目标光源；其中，屏上摄像头和显示屏幕相当于模拟屏下摄像头透过显示屏的拍摄方式。基于图7所示的场景，获取候选目标光源图像的方式包括：通过屏上摄像头透过显示屏幕对预设方案中的目标光源进行拍摄，得到候选目标光源图像；其中，预设方案为在黑暗背景中对至少一个目标光源进行空间排列的方案，且在不同的预设方案中，目标光源的数量和/或目标光源的空间排列方式不同。诸如预设方案一为黑暗背景中的一个目标光源，该目标光源的空间排列方式为与显示屏幕相距指定距离；预设方案二为黑暗背景中的三个目标光源，三个目标光源的空间排列方式为按照一定距离排成一列、一行或者排成三角形；预设方案三为黑暗背景中的n(n为大于1的任意值)个目标光源，n个目标光源的空间排列方式可能有多种，诸如排成多列、随机分布等等。可以按照实际生活场景(如办公室的工作场景、家庭生活场景、户外场景等)提供多种预设方案，获取每种预设方案对应的候选目标光源图像，从而提高候选目标光源图像的多样性。

将候选目标光源图像中的至少一张候选目标光源图像，确定为目标光源图像。在候选目标光源图像具有多样性的基础上，不同的候选目标光源图像与不同的指定场景中的样本标准图像之间有多种组合方式，可以方便快捷地得到大量图像样本对，提升了图像样本对的数量和多样性，基于丰富的图像样本对能够提高图像处理模型的图像复原效果。在其他的实施方式中，也可以将多张候选目标光源图像，确定为目标光源图像。

在实际应用中，还可以对目标光源图像进行降噪处理，并采用降噪处理后的目标光源图像与样本标准图像进行卷积操作，从而能够得到质量更好的样本衍射图像。

根据以上描述，本实施例所获取的图像样本对具有质量高和多样化的特点，有助于更好地训练图像处理模型，从而提高图像处理模型在实际应用中的图像复原效果，有效改善复原后图像的清晰度和画面质量。

实施例三：

基于上述实施例所提供的图像处理方法，本实施例提供一种图像处理装置，参见图8所示的一种图像处理装置的结构框图，该装置应用于带有屏下摄像头的电子设备，该装置包括：

图像采集模块802，用于获取原始衍射图像。

图像输入模块804，用于将原始衍射图像输入至图像处理模型。

图像复原模块806，用于通过图像处理模型对原始衍射图像进行复原处理，得到原始衍射图像对应的目标标准图像。

本发明实施例提供的上述图像处理装置，能够直接利用图像处理模型对原始衍射图像进行复原，有效简化了图像复原的方式并能够提高复原后目标标准图像的清晰度，从而有效改善了显示屏对图像的显示效果。

在一些实施方式中，上述图像复原模块806进一步用于：通过图像处理模型检测原始衍射图像中各像素点的亮度值；基于检测的亮度值确定原始衍射图像中包含目标光源的光斑区域；基于光斑区域对原始衍射图像进行复原处理，得到原始衍射图像对应的目标标准图像。

在一些实施方式中，上述图像复原模块806进一步用于：对光斑区域进行衍射条纹的去除，得到原始衍射图像对应的待复原图像；对待复原图像进行清晰度处理，得到目标标准图像。

在一些实施方式中，上述图像复原模块806进一步用于：根据检测的亮度值大于预设亮度阈值的像素点的位置，确定原始衍射图像上的亮度区域；判断亮度区域的外接圆的半径是否大于预设半径；如果是，将亮度区域确定为包含目标光源的光斑区域。

在一些实施方式中，上述图像采集模块802进一步用于：通过电子设备带有的屏下摄像头采集原始衍射图像。

在一些实施方式中，上述图像处理模型为基于图像样本对训练得到的，图像样本对包括通过屏上摄像头拍摄指定场景的样本标准图像和样本标准图像对应的样本衍射图像；其中，样本衍射图像为基于样本标准图像模拟屏下摄像头拍摄指定场景得到的图像，或者为通过屏下摄像头拍摄指定场景得到的图像。

在一些实施方式中，上述电子设备包括显示屏，显示屏包括多个发光单元和多个透光区域；其中，每个发光单元包括预设数量的子像素；多个透光区域非重复性地排列在多个发光单元的子像素之间，以使目标光源透过显示屏生成的衍射条纹图像为均匀分布的条纹图像。

在一些实施方式中，上述多个发光单元中的任意一个子像素，与多个透光区域中的任意一个透光区域相互分离。

在一些实施方式中，上述电子设备为带有屏下摄像头的电子设备。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例二中的图像处理方法相同，为简要描述，本实施例部分未提及之处，可参考前述实施例二中相应内容。

实施例四：

基于上述实施例所提供的图像处理模型的训练方法，本实施例提供一种图像处理模型的训练装置，参见图9所示的一种图像处理模型的训练装置的结构框图，该装置包括：

输入模块904，用于向图像处理模型输入图像样本对，其中，所述图像样本对包括样本标准图像和所述样本标准图像对应的样本衍射图像；

复原模块906，用于通过图像处理模型对样本衍射图像进行复原处理，得到样本衍射图像的复原图像；

计算模块908，用于根据所述复原图像和所述样本标准图像，确定所述图像处理模型对应的损失函数值；

更新模块910，用于根据所述损失函数值，对所述图像处理模型的参数进行迭代更新。

本实施例提供的上述图像处理模型的训练装置，将具有对应关系的样本标准图像和样本衍射图像作为训练数据，可以降低图像样本对中两幅图像的差异性，也即提高了图像样本对的质量，较高质量的图像样本对有助于提高图像处理模型的训练效果；同时，将相似度作为损失函数值，降低了损失函数的计算难度，能够提高图像处理模型的训练效率。

在一些实施方式中，该训练装置还可以包括获取模块902，用于：通过屏上摄像头对指定场景进行拍摄，得到样本标准图像；将候选目标光源图像中的至少一张候选目标光源图像确定为目标光源图像；其中，候选目标光源图像为通过屏上摄像头透过显示屏幕对黑暗背景中的目标光源进行拍摄得到的图像；将目标光源图像与样本标准图像进行卷积操作，得到样本衍射图像。

在一些实施方式中，上述训练数据获取模块902进一步用于：通过屏上摄像头透过显示屏幕对预设方案中的目标光源进行拍摄，得到多张候选目标光源图像；其中，预设方案为在黑暗背景中对至少一个目标光源进行空间排列的方案，在不同的预设方案中，目标光源的数量和/或目标光源的空间排列方式不同，且不同预设方案对应的候选目标光源图像不同。

在一些实施方式中，上述训练数据获取模块902进一步用于：对目标光源图像或候选目标光源图像进行降噪处理。

在一些实施方式中，上述显示屏幕为与实施例二的图像处理方法中电子设备的显示屏相同的显示屏幕。

在一些实施方式中，上述训练数据获取模块902进一步用于：通过屏上摄像头按照预设的拍摄角度对指定场景进行拍摄，得到样本标准图像；通过屏下摄像头按照拍摄角度对指定场景进行拍摄，得到样本衍射图像。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例二中的图像处理模型的训练方法相同，为简要描述，本实施例部分未提及之处，可参考前述实施例二中相应内容。

实施例五：

基于前述实施例，本实施例给出了一种图像处理系统，该系统包括：处理器和存储设备；其中，存储设备上存储有计算机程序，计算机程序在被处理器运行时执行如实施例二所提供的任一项图像处理方法，或者执行如实施例二所提供的任一项图像处理模型的训练方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

实施例六：

基于前述实施例，本实施提供一种电子设备，该电子设备包括显示屏和屏下摄像头，还包括上述实施例提供的图像处理系统。显示屏包括多个发光单元和多个透光区域，其中，每个发光单元包括多个子像素。

进一步，多个发光单元中的多个子像素之间存在间隙，以在间隙形成多个透光区域，多个透光区域中包括至少两个非重复性的第一透光区域。

进一步，至少两个发光单元的多个子像素呈非重复性分布。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述实施例二提供的任一项图像处理方法的步骤，或者执行如实施例二所提供的任一项图像处理模型的训练方法的步骤。

本发明实施例所提供的一种图像处理方法及装置、图像处理模型的训练方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。