图像处理方法、装置、设备、存储介质及程序产品

技术领域

本申请涉及人工智能技术领域，具体涉及一种图像处理方法、图像处理装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

生成式模型，是近年来在人工智能领域中备受瞩目的一项技术。它不仅可以用于语音合成、图像生成等领域，还能够应用于自然语言处理、机器翻译等方面。

其中，图像生成作为生成式模型的一种重要应用，可以用于生成各种类型的图像，例如生成人脸图像、艺术画作、肢体图像等。根据不同的图像生成需求，可以使用不同的生成式模型。然而，在相关技术中，通过生成式模型进行肢体图像的生成时，通常关注于生成的肢体图像的纹理质量，导致生成的肢体图像的肢体姿势单一，灵活性较差。

发明内容

本申请实施例提供一种图像处理方法、图像处理装置、电子设备、计算机可读存储介质及计算机产品，可以提高生成肢体图像的灵活性。

第一方面，本申请提供的图像处理方法，包括：

获取参考肢体纹理图像，参考肢体纹理图像用于指示期望生成肢体图像的纹理；

获取参考肢体姿势信息，参考肢体姿势信息用于指示期望生成肢体图像的姿势；

确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像；

根据参考肢体纹理图像和参考肢体姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。

第二方面，本申请提供的图像处理装置，包括：

纹理获取模块，用于获取参考肢体纹理图像，参考肢体纹理图像用于指示期望生成肢体图像的纹理；

姿势获取模块，用于获取参考肢体姿势信息，参考肢体姿势信息用于指示期望生成肢体图像的姿势；

噪声获取模块，用于确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像；

图像降噪模块，用于根据参考肢体纹理图像和参考肢体姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。

可选的，在一实施例中，图像降噪模块用于通过噪声预测模型，提取参考肢体纹理图像的纹理特征，以及提取参考肢体姿势信息的姿势特征；以及根据纹理特征和姿势特征，通过噪声预测模型获取高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。

可选的，在一实施例中，图像降噪模块用于通过噪声预测模型，融合纹理特征和姿势特征，得到融合特征；以及根据融合特征，通过噪声预测模型获取高斯噪声图像在第T个时间步的预测高斯噪声，并根据第T个时间步的预测高斯噪声，对高斯噪声图像进行降噪处理，得到第T-1个时间步降噪图像；以及根据融合特征，通过噪声预测模型获取第t个时间步降噪图像在第t个时间步的预测高斯噪声，并根据第t个时间步的预测高斯噪声，对第t个时间步降噪图像进行降噪处理，得到第t-1个时间步降噪图像，t∈[T-1，1]；以及根据第0个时间步降噪图像，得到对应的肢体图像。

可选的，在一实施例中，图像降噪模块用于根据纹理特征和姿势特征，通过噪声预测模型进行交叉注意力运算，得到注意力权重；以及根据注意力权重，通过噪声预测模型对纹理特征进行加权运算，得到融合特征。

可选的，在一实施例中，图像降噪模块用于将纹理特征作为键特征和值特征，将姿势特征作为查询特征，通过噪声预测模型进行交叉注意力运算，得到注意力权重。

可选的，在一实施例中，本申请提供的图像处理装置还包括第一模型训练模块，用于获取样本肢体图像，以及获取对应样本肢体图像的样本参考肢体纹理图像和样本参考肢体姿势信息；以及获取对应样本肢体图像的样本高斯噪声，并根据样本高斯噪声，对样本肢体图像进行加噪处理，得到样本加噪图像；以及根据样本参考肢体纹理图像和样本参考肢体姿势信息，通过噪声预测模型获取样本肢体图像在样本时间步的样本预测高斯噪声；以及根据样本预测高斯噪声和样本高斯噪声的差异，更新噪声预测模型的网络参数，直至满足第一预设停止条件。

可选的，在一实施例中，纹理获取模块用于确定目标功能模型的训练需求，获取符合训练需求的参考肢体纹理图像；

姿势获取模块用于获取符合训练需求的参考肢体姿势信息；

本申请提供的图像处理装置还包括第二模型训练模块，用于将生成的肢体图像作为训练样本训练目标功能模型，直至满足第二预设停止条件。

可选的，在一实施例中，纹理获取模块用于获取表演对象的肢体的纹理图像作为参考肢体纹理图像；

姿势获取模块用于获取表演对象的肢体的姿势信息作为参考肢体姿势信息；

本申请提供的图像处理装置还包括贴图模块，用于根据肢体图像，生成对应表演对象的虚拟形象模型的肢体贴图，并将肢体贴图添加至虚拟形象模型。

可选的，在一实施例中，纹理获取模块用于获取目标对象的待修复对象图像，待修复对象图像中的肢体区域被遮挡；以及获取对应待修复对象图像的历史对象图像，历史对象图像中的肢体区域未被遮挡；以及截取历史对象图像中肢体区域的图像内容作为参考肢体纹理图像；

姿势获取模块用于根据目标对象在历史对象图像中的肢体姿势信息，预测目标对象在待修复对象图像中的肢体姿势信息作为参考肢体姿势信息；

本申请提供的图像处理装置还包括修复模块，用于根据肢体图像，对待修复对象图像进行修复，得到目标对象的修复图像。

第三方面，本申请提供的电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器用于运行存储器内的计算机程序，实现本申请所提供的图像处理方法中的步骤。

第四方面，本申请提供的计算机可读存储介质，存储有计算机程序，该计算机程序适于处理器运行，实现本申请所提供的图像处理方法中的步骤。

第五方面，本申请提供的计算机程序产品，包括计算机程序，该计算机程序适于处理器运行，实现本申请所提供的图像处理方法中的步骤。

本申请提供的图像处理方案，获取到用于指示期望生成肢体图像的纹理的参考肢体纹理图像，以及获取到用于指示期望生成肢体图像的姿势的参考肢体姿势纹理图像，然后确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像，最后以获取到的参考肢体纹理图像和参考肢体姿势信息为引导，通过噪声预测模型获取到高斯噪声图像“被添加”的预测高斯噪声，并根据该预测高斯噪声对高斯噪声图像进行降噪处理，生成对应的肢体图像。以此，通过将肢体的纹理和姿势解耦，分别作为肢体图像的生成引导，能够有效控制生成肢体图像的纹理和姿势，从而可以生成具有期望姿势和期望纹理的肢体图像，达到提高肢体图像的生成灵活性的目的。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的图像处理系统的场景示意图；

图1b是本申请实施例提供的图像处理方法的流程示示意图；

图1c是本申请实施例中生成肢体图像的示例图；

图1d是本申请实施例中提供的噪声预测模型的一结构示意图；

图1e是本申请实施例中提供的噪声预测模型的另一结构示意图；

图1f是本申请实施例中对虚拟形象模型进行贴图的示例图；

图2是本申请实施例提供的图像处理方法的另一流程示意图；

图3是本申请实施例提供的图像处理装置的一结构示意图；

图4是本申请实施例提供的电子设备的结构示意图。

具体实施方式

需要说明的是，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其他具体实施例。

本申请以下描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

本申请以下描述中，所涉及的术语“第一第二第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一第二第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

需要说明的是，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能、感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等技术。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括机器学习(Machine Learning，ML)技术，其中，深度学习(DeepLearning，DL)是机器学习中一个新的研究方向，它被引入机器学习以使其更接近于最初的目标，即人工智能。目前，深度学习主要应用在机器视觉、自然语言处理等领域。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音数据的解释有很大的帮助。利用深度学习技术，以及对应的训练集，能够训练得到实现不同功能的网络模型。比如，以生成式模型为例，基于不同类型的训练集，可以训练得到能够生成不同类型内容的生成式模型，比如能够生成图像的生成式模型、能够生成文字的生成式模型以及能够生成语音的生成式模型等。

本申请涉及人工智能技术的生成式模型技术领域，提供一种图像处理方法、图像处理装置、电子设备、计算机可读存储介质以及计算机程序产品。其中，图像处理方法可由图像处理装置执行，或者由集成了该图像处理装置的电子设备执行。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，以下所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请结合参照图1a，本申请还提供一图像处理系统，该图像处理系统包括电子设备100，用于执行本申请提供的图像处理方法。电子设备100可以为任何配置有处理器而具备处理能力的设备，比如智能手机、平板电脑、掌上电脑、笔记本电脑、虚拟现实设备、增强现实设备或者混合现实设备等具备处理器的移动式设备，或者台式电脑、电视、服务器、工业设备等具备处理器的固定式设备，其中，获取到用于指示期望生成肢体图像的纹理的参考肢体纹理图像，用于指示期望生成肢体图像的姿势的参考肢体姿势信息，以及确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像，最后，根据获取到的参考肢体纹理图像和参考肢体姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。

另外，如图1a所示，该图像处理系统还可以包括存储器200，用于存储图像处理过程中的相关数据，比如，获取到的参考肢体纹理图像、参考肢体姿势信息、高斯噪声图像，预测得到的预测高斯噪声，以及最终进行降噪处理所生成的肢体图像。

需要说明的是，以上描述的图像处理系统仅仅是一个示例，是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着图像处理系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

请参照图1b，图1b是本实施例提供的图像处理方法的一流程示意图，如图1b所示，该图像处理方法的流程可以如下：

在110中，获取参考肢体纹理图像，参考肢体纹理图像用于指示期望生成肢体图像的纹理。

应当说明的是，本申请提供的图像处理方法适于进行肢体图像的生成，在生成过程中对肢体的纹理和姿势进行解耦生成，从而生成姿势可控的肢体图像。其中，根据实际需要，可以生成手掌、脚掌等肢体部位的肢体图像。

如上，本申请为了生成姿势可控的肢体图像，分别获取用于引导生成肢体图像纹理的纹理信息和引导生成肢体图像姿势的姿势信息。其中，获取用于指示期望生成肢体图像的纹理的肢体纹理图像，记为参考肢体纹理图像。此处对于该参考肢体纹理图像的获取方式不作具体限制，可以是通过输入组件(比如键盘、鼠标、触控屏或触控板等)接收输入的参考肢体纹理图像，也可以是通过图像采集组件(比如摄像头)采集得到参考肢体纹理图像，也可以是接收外部设备发送的参考肢体纹理图像等。

在120中，获取参考肢体姿势信息，参考肢体姿势信息用于指示期望生成肢体图像的姿势。

本实施例中，还获取用于指示期望生成肢体图像的姿势的肢体姿势信息，记为参考肢体姿势信息。此处对于该参考肢体姿势信息的获取方式不作具体限制，可以是通过输入组件(比如键盘、鼠标、触控屏或触控板等)接收输入的参考肢体姿势信息，也可以是通过图像采集组件(比如摄像头)采集得到参考肢体姿势信息，也可以是接收外部设备发送的参考肢体姿势信息等。

比如，通过输入组件接收输入的外部肢体图像，提取该外部肢体图像的姿势信息作为参考肢体姿势信息；

又比如，通过图像采集组件对外部对象进行图像采集，采集得到至少包括外部对象肢体区域的对象图像，根据该对象图像提取得到外部对象的肢体姿势信息，作为参考肢体姿势信息。

在130中，确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像。

高斯噪声(gauss noise)是指概率密度函数服从高斯分布(即正态分布)的一类噪声，其与椒盐噪声类似(Salt And Pepper Noise)，高斯噪声也是数字图像的一个常见噪声。椒盐噪声是出现位置随机，但噪点深度基本固定的噪声，而高斯噪声与其相反，是几乎每一个位置上都出现噪声，但噪点深度随机的噪声。顾名思义，高斯噪声图像就是图像内容为纯高斯噪声的图像。

本实施例中，还确定期望生成肢体图像的图像尺寸，包括图像的长和宽，记为目标图像尺寸。此处对于该目标图像尺寸的获取方式不作具体限制，可以是通过输入组件(比如键盘、鼠标、触控屏或触控板等)接收输入的目标图像尺寸，也可以获取缺省配置的图像尺寸作为目标图像尺寸等。

如上，在确定期望生成肢体图像的目标图像尺寸之后，进一步获取到图像尺寸为目标图像尺寸的高斯噪声图像。其中，目标图像尺寸的高斯噪声图像可以随机生成，也即根据目标图像尺寸，产生服从方差为1，均值为0的高斯分别的随机噪声矩阵，得到目标图像尺寸的高斯噪声图像。

在140中，根据参考肢体纹理图像和参考肢体姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。

应当说明的是，本实施例中预训练有噪声预测模型，该噪声预测模型通过扩散模型的方式训练得到，其在训练过程中，对于添加有高斯噪声的样本肢体图像，根据样本参考肢体纹理图像以及样本参考肢体姿势信息的引导，学习预测其中添加的高斯噪声的能力，从而在应用过程中，向其输入高斯噪声图像，根据参考肢体纹理图像和参考肢体姿势信息的引导，预测该高斯噪声图像“被添加”的高斯噪声，从高斯噪声图像中减去“被添加”的高斯噪声，即可重建得到纹理符合参考肢体纹理图像且姿势符合参考肢体姿势信息的肢体图像。

相应的，在获取到用于指示期望生成肢体图像的纹理的参考肢体纹理图像、用于指示期望生成肢体图像的姿势的参考姿势信息以及目标图像尺寸的高斯噪声图像之后，将参考肢体纹理图像和参考肢体姿势信息作为引导，通过预训练的噪声预测模型，预测该高斯噪声图像“被添加”的高斯噪声，记为预测高斯噪声，并根据该预测高斯噪声，对高斯噪声图像进行降噪处理，也即从中减去“被添加”的高斯噪声，得到纹理符合参考肢体纹理图像且姿势符合参考肢体姿势信息的肢体图像。

比如，请参照图1c，以生成手掌图像为例，获取到的参考肢体纹理图像为手掌图像，获取到的参考肢体姿势信息为手掌关键点位置矩阵，根据该参考肢体姿势信息和参考肢体纹理图像的引导，通过噪声预测模型预测到高斯噪声图像被添加的预测高斯噪声，相应从高斯噪声图像中减去该预测高斯噪声图像，得到得到纹理符合参考肢体纹理图像且姿势符合参考肢体姿势信息的手掌图像。

可选的，在一实施例中，根据参考肢体纹理图像和参考肢体姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像，包括：

通过噪声预测模型，提取参考肢体纹理图像的纹理特征，以及提取参考肢体姿势信息的姿势特征；

根据纹理特征和姿势特征，通过噪声预测模型获取高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。

请参照图1d，噪声预测模型可以包括纹理编码器、姿势编码器、噪声编码器(图中未示出)以及噪声预测器，其中，纹理编码器被配置为将输入的肢体纹理图像映射到隐空间，实现对肢体纹理图像的纹理特征的提取；姿势编码器被配置为将输入的肢体姿势信息映射到隐空间，实现对肢体姿势信息的姿势特征的提取；噪声编码器被配置为将输入的高斯噪声图像映射到隐空间，实现对高斯噪声图像的噪声分布特征的提取；噪声预测器被配置为根据纹理特征和姿势特征的引导，根据噪声分布特征预测高斯噪声图像被添加的高斯噪声。

应当说明的是，隐空间是压缩数据的一个表示，其作用是为了找到模式(pattern)而学习数据特征并且简化数据表示。数据压缩的目的是学习数据中较重要的信息，也即学习如何存储所有相关信息并且忽略噪音，从而去掉多余的信息从而关注最关键的特征，这种压缩后的状态就是数据的隐空间表示，也即特征，或者称为隐变量，顾名思义“隐”就是隐藏的，也就是没有物理含义的变量或者空间，一般不具有可解释性。比如神经网络中，输入层的输入数据和输出层的输出数据都是物理世界中的真实数据，有具体的含义，如本申请的输入数据参考肢体纹理图像和参考肢体姿势信息有具体的含义，输出数据预测高斯噪声有具体的含义。

此外，本实施例对于纹理编码器、姿势编码器以及噪声预测器的网络结构不作具体限制，可由本领域技术人员根据实际需要进行配置。

示例性的，纹理编码器由三个残差块连接而成，残差块由卷积层、标准化层(或称批量规范化层)以及激活函数层(比如ReLu函数，即Linear rectification function，线性整流函数)连接得到；姿势编码器也由三个残差块连接而成；噪声编码器也可由三个残差块连接而成；噪声预测器由三层逆卷积层连接得到。其中，对于纹理编码器，可以分别获取三个残差块的输出的不同尺度的特征作为提取得到的纹理特征；对于姿势编码器，可以获取最后一个残差块输出的特征作为姿势特征；对于噪声编码器，可以获取最后一个残差块输出的特征作为噪声分布特征。

本实施例中，可以将获取到的参考肢体纹理图像输入到噪声预测模型的纹理编码器，通过纹理编码器将参考肢体纹理图像映射到隐空间，从而提取得到参考肢体图像的纹理特征；可以将获取到的参考肢体姿势信息输入到噪声预测模型的姿势编码器，通过姿势编码器将参考肢体姿势信息映射到隐空间，从而提前得到参考肢体姿势信息的姿势特征；可以将获取到高斯噪声图像输入到噪声预测模型的噪声编码器，通过噪声编码器将高斯噪声图像映射到隐空间，从而提前得到高斯噪声图像的噪声分布特征。在提取得到参考肢体纹理图像的纹理特征、参考肢体姿势信息的姿势特征以及高斯噪声图像的噪声分布特征之后，进一步基于噪声分布特征，并根据纹理特征、姿势特征的引导，通过噪声编码器预测得到高斯噪声图像“被添加”的预测高斯噪声。最后，从高斯噪声图像中减去预测高斯噪声，即生成对应的肢体图像。

可选的，在一实施例中，根据纹理特征和姿势特征，通过噪声预测模型获取高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像，包括：

通过噪声预测模型，融合纹理特征和姿势特征，得到融合特征；

根据融合特征，通过噪声预测模型获取高斯噪声图像在第T个时间步的预测高斯噪声，并根据第T个时间步的预测高斯噪声，对高斯噪声图像进行降噪处理，得到第T-1个时间步降噪图像；

根据融合特征，通过噪声预测模型获取第t个时间步降噪图像在第t个时间步的预测高斯噪声，并根据第t个时间步的预测高斯噪声，对第t个时间步降噪图像进行降噪处理，得到第t-1个时间步降噪图像，t∈[T-1，1]；

根据第0个时间步降噪图像，得到对应的肢体图像。

请参照图1e，噪声预测模型还包括特征融合网络，特征融合网络被配置为将输入的纹理特征和姿势特征融合，得到融合特征。此处对于特征融合网络的特征融合方式不作限制，可由本领域技术人员根据实际需要选取。

此外，还应当说明的是，高斯噪声图像可以看做是由最终生成的肢体图像在T个时间步分别添加高斯噪声而得到，噪声预测器在于预测每一时间步添加至肢体图像的高斯噪声，从而反向逐时间步的从高斯噪声图像中减去预测得到的高斯噪声，最终得到“原始”的肢体图像。

相应的，在本实施例中，通过噪声预测模型的特征融合网络，融合参考肢体纹理图像的纹理特征和参考肢体姿势信息的姿势特征，得到融合特征；将融合特征和高斯噪声图像的噪声分布特征拼接后输入噪声预测器，基于高斯噪声图像的噪声分布特征，并根据融合特征的引导，通过噪声编码器预测得到高斯噪声图像在第T个时间步“被添加”的预测高斯噪声，并从高斯噪声图像中减去该第T个时间步“被添加”的预测高斯噪声，得到第T-1个时间步降噪图像；通过噪声预测模型的噪声编码器将第t个时间步降噪图像映射到隐空间，提取得到第t个时间步降噪图像的噪声分布特征，再将融合特征和第t个时间步降噪图像的噪声分布特征拼接后输入噪声预测器，基于第t个时间步降噪图像的噪声分布特征，并根据融合特征的引导，通过噪声编码器预测得到第t个时间步降噪图像在第t-1个时间步“被添加”的预测高斯噪声，并从第t个时间步降噪图像中减去该第t-1个时间步“被添加”的预测高斯噪声，得到第t-1个时间步降噪图像，其中，t∈[T-1，1]；如此，最终得到第0个时间步降噪图像，并根据该第0个时间步降噪图像，得到对应的肢体图像，比如直接将第0个时间步降噪图像作为生成的肢体图像。应当说明的是，T取值为正整数，此处对T的具体取值不作限制，可由本领域技术人员根据实际需要进行配置，比如，本实施例中配置T为1000。

可选的，在一实施例中，通过噪声预测模型，融合纹理特征和姿势特征，得到融合特征，包括：

根据纹理特征和姿势特征，通过噪声预测模型进行交叉注意力运算，得到注意力权重；

根据注意力权重，通过噪声预测模型对纹理特征进行加权运算，得到融合特征。

本实施例提供一种基于注意力增强的特征融合方式。根据参考肢体纹理图像的纹理特征和参考肢体姿势信息的姿势特征，通过噪声预测模型的特征融合网络进行交叉注意力运算，得到注意力权重，再根据该注意力权重，通过噪声预测模型的特征融合网络对纹理特征进行加权运算，得到融合特征。

其中，将纹理特征作为键特征和值特征，将姿势特征作为查询特征，通过噪声预测模型进行交叉注意力运算，得到注意力权重

示例性的，特征融合网络由多个子层组成，分别为空间映射层、交叉注意力层、权重映射层以及加权运算层。其中，空间映射层包括三个参数矩阵，分别为查询空间参数矩阵、键空间参数矩阵和值空间参数矩阵，这三个参数矩阵中的矩阵元素通过预先训练确定。相应的，通过空间映射层中的查询空间参数矩阵，将参考肢体姿势信息的姿势特征映射到查询空间，得到对应的查询矩阵；通过空间映射层中的键空间参数矩阵，将参考肢体纹理图像的纹理特征映射到键空间，得到对应的键特征；以及通过空间映射层中的值空间参数矩阵，将参考肢体纹理图像的纹理特征映射到值空间，得到对应的值特征。

如上，在将参考肢体纹理图像的纹理特征映射到键空间和值空间，以及将参考肢体姿势信息的姿势特征映射到查询空间之后，进一步根据参考肢体纹理图像的纹理特征对应的值特征和键特征，通过交叉注意力层获取得到对应查询特征的注意力分布矩阵，该注意力分布矩阵用于描述查询特征对应的注意力分布。其中，交叉注意力执行的操作可以表示为：

其中，A

如上，在获得注意力分布矩阵之后，进一步通过权重映射层将注意力分布矩阵映射为注意力权重。其中，权重映射层执行的操作可以表示为：

W

其中，W

最后，通过加权运算层，对注意力权重和由纹理特征映射得到的值特征进行加权运算，得到融合特征，可以表示为：

F

其中，F

可选的，在一实施例中，获取参考肢体纹理图像之前，还包括：

获取样本肢体图像，以及获取对应样本肢体图像的样本参考肢体纹理图像和样本参考肢体姿势信息；

获取对应样本肢体图像的样本高斯噪声，并根据样本高斯噪声，对样本肢体图像进行加噪处理，得到样本加噪图像；

根据样本参考肢体纹理图像和样本参考肢体姿势信息，通过噪声预测模型获取样本肢体图像在样本时间步的样本预测高斯噪声；

根据样本预测高斯噪声和样本高斯噪声的差异，更新噪声预测模型的网络参数，直至满足第一预设停止条件。

本实施例还提供一种可选的噪声预测模型的训练方式。其中，获取样本肢体图像，及其对应的样本参考肢体纹理图像和样本参考肢体姿势信息，此处对于获取的样本肢体图像的数量及其对应的样本参考肢体纹理图像和样本参考肢体姿势信息的数量不作限制，可由本领域技术人员根据实际需要选取。

对于一样本肢体图像，首先，随机选择一样本时间步，用于表征添加噪声的水平；然后，根据该样本肢体图像采样得到对应该样本时间步的样本高斯噪声，并将该样本高斯噪声添加至样本肢体图像，得到样本加噪图像；然后，根据样本参考肢体纹理图像和样本参考肢体姿势信息，通过噪声预测模型获取样本肢体图像在样本时间步的样本预测高斯噪声；最后，根据样本预测高斯噪声和样本高斯噪声之间的差异，对噪声预测模型的网络参数进行更新，直至满足第一预设停止条件，此处对于第一预设停止条件的配置不作具体限制，比如，可以配置第一预设停止条件为噪声预测模型收敛，也可以配置第一预设停止条件为对噪声预测模型的网络参数的更新次数达到第一预设次数等。

可选的，在一实施例中，获取参考肢体纹理图像，包括：

确定目标功能模型的训练需求，获取符合训练需求的参考肢体纹理图像；

获取参考肢体姿势信息，包括：

获取符合训练需求的参考肢体姿势信息；

根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像之后，还包括：

将生成的肢体图像作为训练样本训练目标功能模型，直至满足第二预设停止条件。

本实施例提供一可选的生成肢体图像的应用，将生成的肢体图像用于其它功能模型的训练。

其中，将需要训练的功能模型记为目标功能模型，相应确定目标功能模型的训练需求，该训练需求至少用于描述期望目标功能模型实现的目标功能，以及实现该目标功能所需的样本图像的肢体纹理和肢体姿势。

相应的，本实施例中，获取符合训练需求的肢体纹理图像作为参考肢体纹理图像，以及符合训练需求的肢体姿势信息作为参考肢体姿势信息。比如，假设期望目标功能模型实现的目标功能为手势识别，则手势识别功能所需的样本图像需要呈现特定的肢体姿势，相应获取呈现特定的肢体姿势的肢体姿势信息作为参考肢体姿势信息，以及随机获取肢体纹理图像作为参考肢体纹理图像。

基于以上获取到的参考肢体纹理图像和参考肢体姿势信息，生成对应的肢体图像之后，将生成的肢体图像作为训练样本训练目标功能模型，直至满足第二预设停止条件。此处对于第二预设停止条件的配置不作具体限制，比如，可以配置第二预设停止条件为目标功能模型收敛，也可以配置第二预设停止条件为对目标功能模型的网络参数的更新次数达到第二预设次数等。以此，通过此种方式获取训练样本训练目标功能模型，能够降低训练样本的获取成本，从而降低目标功能模型的训练成本。

可选的，在一实施例中，获取参考肢体纹理图像，包括：

获取表演对象的肢体的纹理图像作为参考肢体纹理图像；

获取参考肢体姿势信息，包括：

获取表演对象的肢体的姿势信息作为参考肢体姿势信息；

根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像之后，还包括：

根据肢体图像，生成对应表演对象的虚拟形象模型的肢体贴图，并将肢体贴图添加至虚拟形象模型。

随着生成式人工智能技术的发展，数字人的应用也发散开来，比如数字人新闻主播等身份型数字人，其形象造型以及肢体动作均基于真实主持人生成，可谓克隆出一个主持人形象播报新闻代替真人。目前，除了身份型数字人之外，还存在另一类数字人形态，即服务型数字人，它既是多媒体的人工智能助手，又替代了真人服务，广泛应用于金融、客服领域，以虚拟客服、虚拟导游、智能助手以及虚拟陪伴助手的身份出现。目前，数字人背后使用的驱动方式可分为两种，分别是真人驱动和算法驱动。其中，真人驱动通过视频采集系统传来的表演对象的音视频，叠加动作捕捉设备采集表演对象的表情和动作，从而驱动数字人和表演对象一样说话和行动。后者则通过人工智能技术训练人物模型，再由文本驱动生成对应影像视频。

本实施例本提供另一可选的生成肢体图像的应用，将生成的肢体图像用于数字人的驱动中。

其中，获取表演对象的肢体的纹理图像作为参考肢体纹理图像，以及获取表演对象的肢体的姿势信息作为参考肢体姿势信息。比如，请参照图1f，在表演对象现实表演时，实时通过图像采集组件对表演对象的肢体进行拍摄，将拍摄得到的表演对象的肢体的纹理图像作为参考肢体纹理图像，以及实时通过动作捕捉组件对表演对象的肢体动作进行捕捉，将捕捉得到的肢体姿势信息作为参考肢体姿势信息。

基于以上获取到的参考肢体纹理图像和参考肢体姿势信息，生成对应的肢体图像之后，根据生成的肢体图像，进一步生成对应表演对象的虚拟形象模型的肢体贴图，并将生成的肢体贴图添加至该虚拟形象模型。以此，能够获得与表演者实际表演姿势匹配的肢体贴图，从而提高虚拟形象模型的显示效果。

可选的，在一实施例中，获取参考肢体纹理图像，包括：

获取目标对象的待修复对象图像，待修复对象图像中的肢体区域被遮挡；

获取对应待修复对象图像的历史对象图像，历史对象图像中的肢体区域未被遮挡；

截取历史对象图像中肢体区域的图像内容作为参考肢体纹理图像；

获取参考肢体姿势信息，包括：

根据目标对象在历史对象图像中的肢体姿势信息，预测目标对象在待修复对象图像中的肢体姿势信息作为参考肢体姿势信息；

根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像之后，还包括：

根据肢体图像，对待修复对象图像进行修复，得到目标对象的修复图像。

本实施例提供又一可选的生成肢体图像的应用，将生成的肢体图像用于对图像的内容修复中。

其中，获取到目标对象的待修复对象图像，目标对象在该待修复对象图像中的肢体区域被遮挡，以及获取对应待修复对象图像的历史对象图像，目标对象在该历史对象图像中的肢体区域未被遮挡，比如，以目标对象为舞蹈表演者为例，对于拍摄得到的该舞蹈表演者的表演视频，有部分图像存在肢体区域被遮挡的情况，相应可以从该表演视频中获取到肢体区域被遮挡的图像作为待修复对象图像，以及获取该待修复对象图像之前肢体区域未被遮挡的历史对象图像。此外，从历史对象图像中的肢体区域截取出图像内容作为参考肢体纹理图像，以及获取目标对象在历史对象图像中的肢体姿势信息，预测目标对象在待修复对象图像中的肢体姿势信息作为参考肢体姿势信息。比如，可以将目标对象在历史对象图像中的肢体姿势信息，输入预训练的肢体姿势预测模型中进行姿势预测，相应预测得到目标对象在待修复对象图像中的肢体姿势信息。

基于以上获取到的参考肢体纹理图像和参考肢体姿势信息，生成对应的肢体图像之后，根据生成的肢体图像，对待修复对象图像进行修复，比如直接将待修对象图像的肢体区域的图像内容替换为生成的肢体图像的图像内容，实现对其图像内容的修复，得到目标对象的肢体区域未被遮挡的修复图像。

由上可知，本申请提供的图像处理方案，获取到用于指示期望生成肢体图像的纹理的参考肢体纹理图像，以及获取到用于指示期望生成肢体图像的姿势的参考肢体姿势纹理图像，然后确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像，最后以获取到的参考肢体纹理图像和参考肢体姿势信息为引导，通过噪声预测模型获取到高斯噪声图像“被添加”的预测高斯噪声，并根据该预测高斯噪声对高斯噪声图像进行降噪处理，生成对应的肢体图像。以此，通过将肢体的纹理和姿势解耦，分别作为肢体图像的生成引导，能够有效控制生成肢体图像的纹理和姿势，从而可以生成具有期望姿势和期望纹理的肢体图像，达到提高肢体图像的生成灵活性的目的。

请参照图2，以下以电子设备为执行主体，肢体图像为手掌图像为例，对本申请提供的图像处理方法进行说明，如图2所示，该图像处理方法的流程还可以如下：

在210中，电子设备确定手势识别模型的训练需求。

手势识别模型为期望对存在手掌的图像进行手势识别，得到该图像的手势类别的神经网络模型，此处对于该手势识别模型的网络结构不作限制，可由本领域技术人员根据实际需要进行配置。

训练需求至少用于描述期望手势识别模型所要实现的目标功能，以及实现该目标功能所需的样本图像的相关描述信息。可以理解的是，手势也即手掌所呈现的具有特定含义的姿势，而对于手掌的纹理则无特别要求。基于此，以上相关描述信息至少描述需要何种姿势的手势图像作为样本图像以及样本图像的尺寸大小等，可以对手掌纹理进行限定，也可以不对手掌纹理进行限定。相应的，在本实施例中，电子设备首先确定手势识别模型的训练需求。

在220中，电子设备获取符合训练需求的参考手掌纹理图像和参考手掌姿势信息。

如上，基于获取到的训练需求，电子设备进一步获取符合该训练需求的手掌纹理图像作为参考手掌纹理图像，以及获取符合该训练需求的手掌姿势信息作为参考手掌姿势信息。

本实施例对于该参考手掌纹理图像的获取方式不作具体限制，可以是通过输入组件(比如键盘、鼠标、触控屏或触控板等)接收输入的参考手掌纹理图像，也可以是通过图像采集组件(比如摄像头)采集得到参考手掌纹理图像，也可以是接收外部设备发送的参考手掌纹理图像等。

此外，本实施例中对于该参考手掌姿势信息的获取方式不作具体限制，可以是通过输入组件(比如键盘、鼠标、触控屏或触控板等)接收输入的参考手掌姿势信息，也可以是通过图像采集组件(比如摄像头)采集得到参考手掌姿势信息，也可以是接收外部设备发送的参考手掌姿势信息等。

在230中，电子设备根据训练需求，确定生成手掌图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像。

本实施例中，电子设备还根据以上获取到的训练需求，确定期望生成手掌图像的图像尺寸，包括生成手掌图像的长和宽，记为目标图像尺寸。

在确定期望生成手掌图像的目标图像尺寸之后，电子设备进一步获取到图像尺寸为目标图像尺寸的高斯噪声图像。其中，目标图像尺寸的高斯噪声图像可以随机生成，也即根据目标图像尺寸，产生服从方差为1，均值为0的高斯分别的随机噪声矩阵，得到目标图像尺寸的高斯噪声图像。

在240中，电子设备根据参考手掌纹理图像和参考手掌姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的手掌图像。

应当说明的是，本实施例中预训练有噪声预测模型，该噪声预测模型通过扩散模型的方式训练得到，其在训练过程中，对于添加有高斯噪声的样本手掌图像，根据样本参考手掌纹理图像以及样本参考手掌姿势信息的引导，学习预测其中添加的高斯噪声的能力，从而在应用过程中，向其输入高斯噪声图像，根据参考手掌纹理图像和参考手掌姿势信息的引导，预测该高斯噪声图像“被添加”的高斯噪声，从高斯噪声图像中减去“被添加”的高斯噪声，即可重建得到纹理符合参考手掌纹理图像且姿势符合参考手掌姿势信息的手掌图像。

相应的，在获取到用于指示期望生成手掌图像的纹理的参考手掌纹理图像、用于指示期望生成手掌图像的姿势的参考姿势信息以及目标图像尺寸的高斯噪声图像之后，电子设备将参考手掌纹理图像和参考手掌姿势信息作为引导，通过预训练的噪声预测模型，预测该高斯噪声图像“被添加”的高斯噪声，记为预测高斯噪声，并根据该预测高斯噪声，对高斯噪声图像进行降噪处理，也即从中减去“被添加”的高斯噪声，得到纹理符合参考手掌纹理图像且姿势符合参考手掌姿势信息的手掌图像。

在250中，电子设备将生成的手掌图像作为训练样本训练手势识别模型，直至满足第二预设停止条件。

如上，在生成手掌图像之后，电子设备将生成的肢体图像作为训练样本训练手势识别模型，直至满足第二预设停止条件。此处对于第二预设停止条件的配置不作具体限制，比如，可以配置第二预设停止条件为手势识别模型收敛，也可以配置第二预设停止条件为对手势识别模型的网络参数的更新次数达到第二预设次数等。以此，通过此种方式获取训练样本训练手势识别模型，能够降低训练样本的获取成本，从而降低手势识别模型的训练成本。

为便于更好的实施以上图像处理方法，本申请实施例还提供一种对应的图像处理装置。其中名词的含义与上述图像处理方法中相同，具体实现细节请参考以上方法实施例中的说明。

请参照图3，图3为本申请实施例提供的图像处理装置的结构示意图，该图像处理装置可以包括纹理获取模块310、姿势获取模块320、噪声获取模块330和图像降噪模块340，其中，

纹理获取模块310，用于获取参考肢体纹理图像，参考肢体纹理图像用于指示期望生成肢体图像的纹理；

姿势获取模块320，用于获取参考肢体姿势信息，参考肢体姿势信息用于指示期望生成肢体图像的姿势；

噪声获取模块330，用于确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像；

图像降噪模块340，用于根据参考肢体纹理图像和参考肢体姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。

可选的，在一实施例中，图像降噪模块340用于通过噪声预测模型，提取参考肢体纹理图像的纹理特征，以及提取参考肢体姿势信息的姿势特征；以及根据纹理特征和姿势特征，通过噪声预测模型获取高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。

可选的，在一实施例中，图像降噪模块340用于通过噪声预测模型，融合纹理特征和姿势特征，得到融合特征；以及根据融合特征，通过噪声预测模型获取高斯噪声图像在第T个时间步的预测高斯噪声，并根据第T个时间步的预测高斯噪声，对高斯噪声图像进行降噪处理，得到第T-1个时间步降噪图像；以及根据融合特征，通过噪声预测模型获取第t个时间步降噪图像在第t个时间步的预测高斯噪声，并根据第t个时间步的预测高斯噪声，对第t个时间步降噪图像进行降噪处理，得到第t-1个时间步降噪图像，t∈[T-1，1]；以及根据第0个时间步降噪图像，得到对应的肢体图像。

可选的，在一实施例中，图像降噪模块340用于根据纹理特征和姿势特征，通过噪声预测模型进行交叉注意力运算，得到注意力权重；以及根据注意力权重，通过噪声预测模型对纹理特征进行加权运算，得到融合特征。

可选的，在一实施例中，图像降噪模块340用于将纹理特征作为键特征和值特征，将姿势特征作为查询特征，通过噪声预测模型进行交叉注意力运算，得到注意力权重。

可选的，在一实施例中，本申请提供的图像处理装置还包括第一模型训练模块，用于获取样本肢体图像，以及获取对应样本肢体图像的样本参考肢体纹理图像和样本参考肢体姿势信息；以及获取对应样本肢体图像的样本高斯噪声，并根据样本高斯噪声，对样本肢体图像进行加噪处理，得到样本加噪图像；以及根据样本参考肢体纹理图像和样本参考肢体姿势信息，通过噪声预测模型获取样本肢体图像在样本时间步的样本预测高斯噪声；以及根据样本预测高斯噪声和样本高斯噪声的差异，更新噪声预测模型的网络参数，直至满足第一预设停止条件。

可选的，在一实施例中，纹理获取模块310用于确定目标功能模型的训练需求，获取符合训练需求的参考肢体纹理图像；

姿势获取模块320用于获取符合训练需求的参考肢体姿势信息；

本申请提供的图像处理装置还包括第二模型训练模块，用于将生成的肢体图像作为训练样本训练目标功能模型，直至满足第二预设停止条件。

可选的，在一实施例中，纹理获取模块310用于获取表演对象的肢体的纹理图像作为参考肢体纹理图像；

姿势获取模块320用于获取表演对象的肢体的姿势信息作为参考肢体姿势信息；

本申请提供的图像处理装置还包括贴图模块，用于根据肢体图像，生成对应表演对象的虚拟形象模型的肢体贴图，并将肢体贴图添加至虚拟形象模型。

可选的，在一实施例中，纹理获取模块310用于获取目标对象的待修复对象图像，待修复对象图像中的肢体区域被遮挡；以及获取对应待修复对象图像的历史对象图像，历史对象图像中的肢体区域未被遮挡；以及截取历史对象图像中肢体区域的图像内容作为参考肢体纹理图像；

姿势获取模块320用于根据目标对象在历史对象图像中的肢体姿势信息，预测目标对象在待修复对象图像中的肢体姿势信息作为参考肢体姿势信息；

本申请提供的图像处理装置还包括修复模块，用于根据肢体图像，对待修复对象图像进行修复，得到目标对象的修复图像。

以上各个模块的具体实施可参见前面的实施例，在此不再赘述。

本申请实施例还提供一种电子设备，包括存储器和处理器，其中处理器通过调用存储器中存储的计算机程序，用于执行以上实施例提供的图像处理方法中的步骤。

请参照图4，图4为本申请实施例提供的电子设备的结构示意图。

该电子设备可以包括一个或者一个以上处理核心的处理器101、一个或一个以上计算机可读存储介质的存储器102、电源103和输入单元104等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器101是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行电子设备的各种功能和处理数据。可选的，处理器101可包括一个或多个处理核心；可选的，处理器101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器101中。

存储器102可用于存储软件程序以及模块，处理器101通过运行存储在存储器102的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器102还可以包括存储器控制器，以提供处理器101对存储器102的访问。

电子设备还包括给各个部件供电的电源103，可选的，电源103可以通过电源管理系统与处理器101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源103还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元104，该输入单元104可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，该电子设备还可以包括显示单元、图像采集组件等，在此不再赘述。具体在本实施例中，处理器101会将一个或一个以上的计算机程序对应的可执行代码加载到存储器102中，并由处理器101来执行本申请提供的图像处理方法中的步骤，比如：

获取参考肢体纹理图像，参考肢体纹理图像用于指示期望生成肢体图像的纹理；

获取参考肢体姿势信息，参考肢体姿势信息用于指示期望生成肢体图像的姿势；

确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像；

根据参考肢体纹理图像和参考肢体姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。

本申请还提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在本申请实施例提供的电子设备的处理器上执行时，使得电子设备的处理器实现本申请提供的图像处理方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)或者随机存取器(Random Access Memory，RAM)等。

本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在本申请实施例提供的电子设备的处理器上执行时，使得电子设备的处理器实现本申请提供的图像处理方法中的步骤。

以上对本申请所提供的图像处理方法、图像处理装置、电子设备、计算机可读存储介质及计算机程序产品进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

应当说明的是，当本申请以上实施例运用到具体产品或技术中时，涉及到用户的相关数据，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。