基于运动估计注意力的光场重建模型训练方法及相关设备

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于运动估计注意力的光场重建模型训练方法及相关设备。

背景技术

超分辨率重建(SR)是一种通过一幅或多幅低分辨率图像恢复高分辨率图像的技术。超分辨率概念最早是由Harris和Goodman于20世纪60年代针对图像光学系统提出的，是指恢复单幅图像中因为超出光学系统限带传递函数而丢失的极限分辨率之外的图像信息。随着人们对完美成像技术的不懈追求，对图像清晰度的需求不断增加，如何提高光场图像分辨率在计算机视觉中具有重要意义。

发明内容

本发明实施例提供的基于运动估计注意力的光场重建模型训练方法及相关设备，至少可充分利用不同图像中的详细纹理来重建高分辨率图像。

根据本申请的一个方面，提供了一种基于运动估计注意力的光场重建模型训练方法，包括：获取光场的时序图像数据集；在所述时序图像数据集中确定目标图像，生成所述目标图像对应的运动矢量图，按照所述运动矢量图，计算所述目标图像对应的注意力参数；基于所述注意力参数生成所述目标图像对应的目标重建图像，将所述目标图像和所述目标重建图像作为一组训练集数据，以得到训练集；利用所述训练集进行模型训练，得到基于运动估计注意力的光场重建模型。

根据本申请的一个方面，还提供了一种基于运动估计注意力的光场重建方法，包括：获取待处理光场数据；利用基于运动估计注意力的光场重建模型处理所述待处理光场数据，得到光场重建结果；其中，所述基于运动估计注意力的光场重建模型按照上述的方法得到。

根据本申请的一个方面，还提供了一种基于运动估计注意力的光场重建模型训练装置，该装置包括：获取模块，用于获取光场的时序图像数据集；运动估计模块，用于在所述时序图像数据集中确定目标图像，生成所述目标图像对应的运动矢量图，按照所述运动矢量图，计算所述目标图像对应的注意力参数；计算模块，用于基于所述注意力参数生成所述目标图像对应的目标重建图像，将所述目标图像和所述目标重建图像作为一组训练集数据，以得到训练集；训练模块，用于利用所述训练集进行模型训练，得到基于运动估计注意力的光场重建模型。

根据本申请的另一个方面，还提供了一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上述的方法。

根据本申请的另一个方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述的方法步骤。

本发明实施例的有益效果：

本发明实施例，获取光场的时序图像数据集；在所述时序图像数据集中确定目标图像，生成所述目标图像对应的运动矢量图，按照所述运动矢量图，计算所述目标图像对应的注意力参数；基于所述注意力参数生成所述目标图像对应的目标重建图像，将所述目标图像和所述目标重建图像作为一组训练集数据，以得到训练集；利用所述训练集进行模型训练，得到基于运动估计注意力的光场重建模型。本发明实施例基于时序图像数据集中目标图像对应的运动矢量图来计算目标图像对应的注意力参数，可以利用图像中的远距离信息，快速地得到目标图像对应的目标重建图像，提升重建效率和重建质量。

本发明的一个或多个实施例的细节在以下附图和描述中提出，以使本发明的其他特征、目的和优点更加简明易懂。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1是本发明实施例的基于运动估计注意力的光场重建模型训练方法流程图；

图2是本发明实施例的实施流程示意图；

图3是本发明实施例的重建效果示意图；

图4是本发明实施例的优化的光场重建模型结构示意图；

图5是本实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本实施例的实施例。虽然附图中显示了本实施例的某些实施例，然而应当理解的是，本实施例可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本实施例。应当理解的是，本实施例的附图及实施例仅用于示例性作用，并非用于限制本实施例的保护范围。

光是这个世界主要的信息载体，视觉对光的观察也是人类认识这个世界的主要手段。随着光学成像技术的发展，现代光学成像范式发生了巨大的变化。经典成像系统模拟了人眼的工作原理，其所成的像与人类视觉直接感知到的信息基本一致。而如今针对某个特定需求记录特定的信息并经过特定的数据处理得到满意的图像的方法开始流行。这种成像范式称为计算成像，是当代光学成像技术的发展方向之一，也是光学界和计算机学界研究交汇的热点。光场成像拓展了经典光学成像的信息维度，为成像技术的提升和突破提供了更多的可能性，在成像领域内受到了越来越多的关注。随着应用领域的扩大化和应用场景的复杂化，光场成像的重要性日益凸显。

光场采集需要记录经过光场空间内的任一点的不同方向的光线。而普通相机成像时只能记录一个方向的光线。因此，必须对普通相机在时间、空间、孔径等维度上进行拓展，进而获得对多个方向光线进行采集的能力。常见的采集光场信息的设备有两种。第一种是序列成像设备。普通相机单次成像可以记录一个方向的光线，如果改变相机姿态同时进行多次成像，则可通过时序图像记录空间的光场信息。故利用机械设备控制相机的运动，可以完整地记录静态目标的光场。多次成像获得图像序列所需的时间较长，难以应对运动目标，同时所需的机械设备往往较为沉重，不便移动。因此，研究者开发了一系列单相机光场采集系统，并基于光场相机的单次成像实现了光场采集。而这就是第二种设备：光场相机。虽然光场相机具有便携、低成本的优点，但无论采用何种结构，光场相机的角度分辨率是通过牺牲其空间分辨率获得的。因此，光场重建时常常考虑使用计算成像技术进行超分辨率。

运动估计是通过一定的数学方法，计算多幅图像中的目标或背景的运动矢量，以利于运动补偿计算的一类数字图像处理技术。运动估计可以融合低分辨率视频中多个帧来重建高分辨率视频，充分利用多帧图像之间的互补信息，突破成像设备的限制。

基于以上背景，本发明提供了一种基于运动估计注意力的光场重建模型训练方法及相关设备，该方法具有更高的准确性和鲁棒性，并且复杂程度低，实现简单，具有较快的计算速度。

在本发明实施例中提供了一种基于运动估计注意力的光场重建模型训练方法。该方法可以Pytorch（一个开源的深度学习框架）和MMCV（MegaMetaConsistent Vision，一个基于PyTorch的开源计算机视觉库）为实现平台。图1是根据本申请实施例的基于运动估计注意力的光场重建模型训练方法的流程图，下面对图1中所涉及到的步骤进行说明。

步骤S101，获取光场的时序图像数据集。

在本发明实施例中，时序图像数据集中包括一系列按照时间顺序排列的图像，用于表示光场场景随时间变化的过程。时序图像数据集可以预先准备好，在执行本方案时获取预先准备的时序图像数据集，提升数据处理效率。

步骤S102，在所述时序图像数据集中确定目标图像，生成所述目标图像对应的运动矢量图，按照所述运动矢量图，计算所述目标图像对应的注意力参数。

在本发明实施例中，目标图像是当前需要进行处理的图像，是从时序图像数据集中选定的某一个图像。运动矢量图用于描述目标图像的上一帧图像与目标图像之间的变化情况。运动矢量图中包括多个运动矢量，每个运动矢量用于描述目标图像的上一帧图像的局部区域与目标图像的局部区域之间的变化情况。将目标图像的所有的运动矢量连接在一起用矩阵表示，得到目标图像对应的运动矢量图。

按照所述运动矢量图，计算所述目标图像对应的注意力参数，即，可以按照运动矢量划分目标图像的方式，计算目标图像对应的注意力参数。

在该步骤中，通过运动矢量图中的运动矢量作为索引，可以快速有效的找到图像序列中相邻帧之间的运动信息，它可以反映图像序列中的运动轨迹和方向。按照运动矢量图，计算所述目标图像对应的注意力参数，从而只对同一运动矢量上的像素块计算注意力，极大地减小了进行高分辨率重建所需的计算量，提升重建效率，另外，基于运动矢量图计算注意力参数，可以直接利用一个图像序列中的远距离信息，提升重建的准确性。

步骤S103，基于所述注意力参数生成所述目标图像对应的目标重建图像，将所述目标图像和所述目标重建图像作为一组训练集数据，以得到训练集。

在本发明实施例中，训练集中包括多组训练集数据，每一组训练集数据包括目标图像和基于该目标图像得到的目标重建图像。对时序图像数据集中的各图像分别生成训练集数据，最终得到训练集。

步骤S104，利用所述训练集进行模型训练，得到基于运动估计注意力的光场重建模型。

在本发明实施例中，基于运动估计注意力的光场重建模型可以用于基于低分辨率图像预测高分辨率图像，以提升光场数据重建的效率和质量。

需要说明的是，可以根据实际需求对训练过程所需的参数进行设置，例如，训练时，初始化网络并输入参数。其中，输入patch大小设置为8，输入图像尺寸为64×64像素，光场图像序列的长度为289。训练总迭代次数为40K。训练中前5K次迭代中固定了运动估计模型H的权重以防止模式崩塌。

本发明实施例，获取光场的时序图像数据集；在所述时序图像数据集中确定目标图像，生成所述目标图像对应的运动矢量图，按照所述运动矢量图，计算所述目标图像对应的注意力参数；基于所述注意力参数生成所述目标图像对应的目标重建图像，将所述目标图像和所述目标重建图像作为一组训练集数据，以得到训练集；利用所述训练集进行模型训练，得到基于运动估计注意力的光场重建模型。本发明实施例基于时序图像数据集中目标图像对应的运动矢量图来计算目标图像对应的注意力参数，可以利用图像中的远距离信息，快速地得到目标图像对应的目标重建图像，提升重建效率和重建质量。

在一种可能的实施方式中，获取光场的时序图像数据集，可以按照如下步骤执行：获取光场数据集；将所述光场数据集的子孔径图像转换为宏像素图像；将所述宏像素图像转换为光场的时序图像数据集。

在该可能的实施方式中，光场数据集是四维光场数据，用于从角度维度和空间维度描述光场。光场数据集可以是序列成像设备采集得到的多角度图像，每一帧图像包含不同角度的视图。光场数据集可以采用已有的数据集，例如，可以采用Stanford (New) LightField数据集，Stanford (New) Light Field数据集总共包含12个光场场景，每个光场包含17×17个镜头，分辨率为1024×1024。

需要说明的是，在训练之前，为了提高处理速度，去除图像中无关紧要的部分，对光场数据集进行裁剪和16倍的降采样。为了提高系统的鲁棒性和识别精度，对训练数据进行图像增强。本发明实施例可以采用剪切（shearing）方法对光场进行增强，剪切量

子孔径图像是指在光场成像等应用中，由一个较大的孔径被分割为多个较小的子孔径来捕获的数据。这些数据可以组合起来形成最终的高分辨率图像。光场的子孔径图像通常不是时序图，它们是同一时刻不同视角下的图像。将光场数据集的子孔径图像转换为宏像素图像，即将多个子孔径图像融合，得到宏像素图像。在光场成像中，一个典型的宏像素图像可以看作是四维的，因为光场包含了空间

为了便于处理和显示，宏像素图像通常被投影或采样到更低维度的空间。例如，它可以被转换为一组连续的2D图像（如从不同视角观察的同一场景），即将所述宏像素图像转换为光场的时序图像数据集。

在该可能的实施方式中，利用结构化的子孔径图像空间信息，可以获得高空间分辨率的光场图像。需要说明的是，一般的光场超分辨率重建方法假定多幅图像的获取是相互独立的，而四维光场中子孔径图像高度结构化，不能够认为是彼此独立的。有人指出结构化的光场中某些深度的光线信息缺失严重，从理论上不能够重建出高分辨率的图像，而非结构化的光场采样有利于稳定的超分辨率重建。本发明实施例有效规避了这个缺陷。

在一种可能的实施方式中，按照所述运动矢量图，计算所述目标图像对应的注意力参数，可以按照如下步骤执行：将所述运动矢量图中同一行的运动矢量确定为目标运动矢量；按照所述目标运动矢量提取所述目标图像的目标特征，根据所述目标特征计算注意力参数；其中，所述目标特征包括图像关注特征、图像键值特征和图像内容特征。

在该可能的实施方式中，将所述运动矢量图中同一行的运动矢量确定为目标运动矢量，按照所述目标运动矢量提取所述目标图像的目标特征，根据所述目标特征计算注意力参数，即运动矢量图为矩阵，可以分别基于矩阵中各行元素对应的特征，计算注意力参数。其中，注意力参数，是用于计算Transformer 模型的注意力权重的数据。

在 Transformer 模型中，queries、keys 以及 values 是用于计算注意力权重的三个关键元素。在该可能的实施方式中，图像关注特征，即queries，是图像中某个区域的特征描述。图像键值特征，即keys，表示图像中不同位置或特征的描述。图像内容特征，即values，包含了图像不同区域的详细特征。

在本发明实施例中，运动估计Transformer以运动矢量为索引计算标记之间的注意力，通过运动矢量作为索引，可以快速有效的找到序列中相邻帧之间的运动信息，它可以反映图像序列中的运动轨迹和方向。注意力是通过嵌入网络提取的

其中，

本发明实施例中，运动估计Transformer以运动矢量为索引计算标记之间的注意力。运动估计Transformer从低分辨率图像中获取运动估计注意力。对于每一张低分辨率图像

在现有方案中，注意力取置信度的加权和，为了减少加权和所引入的模糊，在一种可能的实施方式中，根据所述目标特征计算注意力参数，可以按照如下步骤执行：按照如下公式计算硬注意力参数和软注意力参数：

其中，/>

。

在本发明实施例中，根据图像关注特征和图像键值特征计算硬注意力参数，硬注意力沿着运动矢量选择最相关的标记，来减少加权和所引入的模糊。根据图像关注特征和图像键值特征计算软注意力参数，使用软注意力来生成相关patch的置信度图，当硬注意力得不到准确的结果时，软注意力可以减少不相关标记的影响。

在一种可能的实施方式中，生成所述目标图像对应的运动矢量图，可以按照如下步骤执行：利用运动估计网络生成所述目标图像的上一时刻图像与所述目标图像之间的时空相关数据；对所述上一时刻图像的运动矢量图和所述时空相关数据进行插值处理，得到所述目标图像对应的运动矢量图。

块匹配运动估计算法根据一定的匹配准则，在前一张图像内找出与当前图像块中最相似的块，由匹配块与当前块的相对位置计算出运动矢量。在该可能的实施方式中，利用运动估计网络，基于块匹配运动估计算法，沿着时间维度将相关的视觉标记连接在一起，从而形成块运动矢量来描述光场中的物体视差。时空相关数据用于描述两个图像之间的相对运动情况。

轨迹

其中，

将所有的运动矢量连接在一起用矩阵表示，在每个时刻提出一个块匹配运动矢量图来表示各个运动矢量。每输入一张图片，都用运动估计模型H更新块匹配运动矢量图。t时刻的块匹配运动矢量图的矩阵形式如下所示：

使用一个轻量级的运动估计网络H产生运动矢量。运动矢量会在新的图像加入时进行更新，所以块匹配运动矢量图也需要相应地更新。第T+1张图输入后，首先使用一个轻量级的运动估计网络H来建立T+1时刻的运动矢量图与之前的运动矢量图

由参数为/>

然后，由前一时刻运动矢量图和时空相关性

。

在该可能的实施方式中，使用运动估计从光场图像序列中构造几个预对齐的运动矢量，对齐的本质是将参考帧和支持帧进行内容上的匹配，而预对齐是基于patch的对齐，它会在每一个patch的轨迹中寻找在时间域上最接近（相当于最小化对齐误差）patch作为对齐结果。本发明实施例，只在相关的运动矢量的视觉标记上学习自注意力，现有方案难以利用相对较远的图像中的详细纹理，而本发明实施例显著降低了计算成本，并使Transformer能够提取长距离特征。

在一种可能的实施方式中，还可以执行如下步骤：在所述基于运动估计注意力的光场重建模型中添加双三次插值上采样结构，得到优化的光场重建模型。

在该可能的实施方式中，双三次插值是一种常用的图像缩放和重采样方法，它在放大或缩小图像时能够产生相对平滑的结果。双三次插值上采样结构，用于对输入的图像进行上采样。在基于运动估计注意力的光场重建模型中添加双三次插值上采样结构，从而基于运动估计注意力的光场重建模型可基于输入的低分辨率图像生成一个预测结果，双三次插值上采样结构可以基于输入的低分辨率图像得到一个计算结果，将该预测结果和该计算结果求和，得到优化的光场重建模型的输出结果。

在具体实施时，本发明实施例将运动估计Transformer的结果输入一个60层的残差网络R，然后是像素混洗层，依次将特征图调整到所需的大小。再加双三次上采样结构U重建高分辨率光场。整个本发明模型的结构可以表示为：

。参见图4所示的优化的光场重建模型结构示意图，可以使用重建网络R从运动估计Transformer产生的注意力中重建高分辨率光场。重建网络R与特征提取网络相同，采用60层残差网络重建图像。最后，使用双三次插值(Bicubic)上采样结构U对低分辨率图像上采样并与重建结果相加，作为超分辨率模型的输出结果。图4中，/>

图2展示了本发明实施例的实施流程示意图，如图2所示，在计算损失函数优化参数的步骤，使用余弦退火(Cosine annealing)和Adam（Adaptive Moment Estimation，一种用于优化神经网络的算法）方法训练超分辨率模型，学习率分别设为

优化时，本发明实施例使用Charbonnier penalty损失作为损失函数，损失函数如下所示：

在完成训练后，可以使用两个数据集对训练好的模型进行测试：MPI Light FieldArchive（一个公开可用光场数据集）和DSLF（Dense and Sparse Light Field，一种用于表示和处理光场的混合方法）。MPI Light Field Archive每个光场有100个镜头，图像分辨率为970×720，DSLF每个光场有193个镜头，图像分辨率为1280×720。测试时，在两个数据集中分别选一个光场输入模型，生成运动矢量，再经过运动估计Transformer和重建网络，最终得到重建的高分辨率光场图像。图3以MPI Light Field Archive中的一个光景图像为例，展示了本发明实施例的重建效果示意图。

将本发明实施例与其他三种先进模型检测结果进行对比。为了公正地评估模型性能，采用两种不同的评价指标1)峰值信噪比(PSNR)和2)结构相似度指数(SSIM)评估模型性能。将本发明实施例提出的超分辨率与以下几种先进的方法对比：HDDRNet（HierarchicalDepth Disparity Regression Network，一种用于立体匹配和深度估计的神经网络架构）、LLFF（Local Light Field Fusion，一种用于从多个视角合成高质量的光场图像的方法）和DA2N（Depth-Aware Attentional 2D Network，一种用于深度估计和光场合成的神经网络架构）。比较结果如表1和表2所示，其中：

表1为本发明实施例的PSNR定量分析对比表：

表2为本发明实施例的SSIM定量分析对比表：

本发明实施例充分利用了不同图像中的详细纹理来重建高分辨率图像，充分利用较远的子孔径图像间的信息，大大提高了重建质量。其技术效果包括：第一，一般的运动估计方法由于梯度消失，缺乏长距离的建模能力。本发明实施例采用的块匹配运动矢量图使本发明实施例可以直接利用一个图像序列中的远距离信息。第二，本发明实施例以一种有效的方式将相关的视觉标记沿着相同的运动矢量连接在一起使用整个序列信息来恢复丢失的纹理。这是一种能够高效利用子孔径图像间信息的有效方法，以利用相关标记的纹理来产生更精细的结果。第三，针对普通Transformer计算整个图像的注意力，使得计算量随着图像序列规模快速增加的问题，构造运动矢量，利用运动矢量索引对齐视觉标记。运动估计Transformer只对同一运动矢量上的像素块使用Transformer，极大地提高了计算速度，使得实时重建成为可能。

本发明提供了一种基于运动估计注意力的光场重建模型训练方法及相关设备，该方法可以有效地利用光场中的信息重建高分辨率光场图像，超分辨率重建的准确性和鲁棒性也有所提升。相比一般的光场超分辨率方法，本发明解决了光场采集设备笨重的问题，又避免了结构化的光场图像信息缺失严重，在一定深度上不能够重建出高分辨率的图像的问题，有利于稳定的超分辨率重建。

基于本发明实施例提供的上述方法，本发明实施例还提供一种基于运动估计注意力的光场重建方法，包括：获取待处理光场数据；利用基于运动估计注意力的光场重建模型处理所述待处理光场数据，得到光场重建结果；其中，所述基于运动估计注意力的光场重建模型按照上述的方法得到。

基于本发明实施例提供的上述方法，本发明实施例还提供一种基于运动估计注意力的光场重建模型训练装置，该装置包括：获取模块，用于获取光场的时序图像数据集；运动估计模块，用于在所述时序图像数据集中确定目标图像，生成所述目标图像对应的运动矢量图，按照所述运动矢量图，计算所述目标图像对应的注意力参数；计算模块，用于基于所述注意力参数生成所述目标图像对应的目标重建图像，将所述目标图像和所述目标重建图像作为一组训练集数据，以得到训练集；训练模块，用于利用所述训练集进行模型训练，得到基于运动估计注意力的光场重建模型。

在一种可能的实施方式中，获取光场的时序图像数据集，包括：获取光场数据集；将所述光场数据集的子孔径图像转换为宏像素图像；将所述宏像素图像转换为光场的时序图像数据集。

在一种可能的实施方式中，按照所述运动矢量图，计算所述目标图像对应的注意力参数，包括：将所述运动矢量图中同一行的运动矢量确定为目标运动矢量；按照所述目标运动矢量提取所述目标图像的目标特征，根据所述目标特征计算注意力参数；其中，所述目标特征包括图像关注特征、图像键值特征和图像内容特征。

在一种可能的实施方式中，根据所述目标特征计算注意力参数，包括：按照如下公式计算硬注意力参数和软注意力参数：

在一种可能的实施方式中，生成所述目标图像对应的运动矢量图，包括：利用运动估计网络生成所述目标图像的上一时刻图像与所述目标图像之间的时空相关数据；对所述上一时刻图像的运动矢量图和所述时空相关数据进行插值处理，得到所述目标图像对应的运动矢量图。

在一种可能的实施方式中，还包括：在所述基于运动估计注意力的光场重建模型中添加双三次插值上采样结构，得到优化的光场重建模型。

本发明实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。上述存储器存储有能够被上述至少一个处理器执行的计算机程序，上述计算机程序在被上述至少一个处理器执行时用于使电子设备执行本发明实施例的方法。

本发明实施例还提供一种存储有计算机程序的非瞬时机器可读介质，其中，上述计算机程序在被计算机的处理器执行时用于使上述计算机执行本发明实施例的方法。

本发明实施例还提供一种计算机程序产品，包括计算机程序，其中，计算机程序在被计算机的处理器执行时用于使计算机执行本发明实施例的方法。

参考图5，现将描述可以作为本发明实施例的服务器或客户端的电子设备的结构框图，其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备包括计算单元701，其可以根据存储在只读存储器（ROM）702中的计算机程序或者从存储单元708加载到随机访问存储器（RAM）703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。

电子设备中的多个部件连接至I/O接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备输入信息的任何类型的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于CPU、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理。例如，在一些实施例中，本发明的方法实施例可被实现为计算机程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备上。在一些实施例中，计算单元701可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行上述的方法。

用于实施本发明实施例的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得计算机程序当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明实施例的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读信号介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

需要说明的是，本发明实施例使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。本发明实施例中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本发明实施例所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

本发明实施例所提供的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的保护范围在此方面不受限制。

“实施例”一词在本说明书中指的是结合实施例描述的具体特征、结构或特性可以包括在本发明的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见。尤其，对于装置、设备、系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。