视频处理方法、装置及电子设备

技术领域

本发明涉及视频处理技术领域，更具体地，涉及一种视频处理方法、一种视频处理装置、一种电子设备以及一种计算机可读存储介质。

背景技术

受时间久远、技术受限等因素的影响，老电影、老电视剧等老旧影片的播放质量不甚理想，例如存在图像不清、播放不流畅等问题。因此，需要对老旧影片进行处理以提升其播放质量。

人工修复老旧影片的方式费时费力、成本较高、处理结果不稳定，尤其难以适用于老电视剧等时长较长的老旧影片。如果基于图像处理等算法对老旧影片进行自动处理，则需要提出一种能够从整体上提升老旧影片播放质量的技术方案。

发明内容

本发明的一个目的是提供一种视频处理的新技术方案。

根据本发明的第一方面，提供了一种视频处理方法，包括：

获取第一视频中的原始图像帧；

在所述原始图像帧中确定出第一区域，其中，所述原始图像帧包括第一区域和第二区域，所述原始图像帧中的第一区域处于欠曝状态，所述原始图像帧中的第二区域未处于欠曝状态；

对所述原始图像帧进行增强处理，得到目标图像帧，其中，所述增强处理用于将图像中不同区域的曝光状态调整至曝光正常状态，所述目标图像帧中的第一区域和第二区域均处于曝光正常状态；

根据所述目标图像帧，生成第二视频。

可选地，所述对所述原始图像帧进行增强处理，得到目标图像帧，包括：

通过对所述原始图像帧进行对比度增强处理，得到辅助图像帧，其中，所述辅助图像帧中的第一区域处于曝光正常状态，所述辅助图形帧中的第二区域处于过曝状态；

对所述原始图像帧和所述辅助图像帧进行图像融合，得到所述目标图像帧。

可选地，所述对所述原始图像帧和所述辅助图像帧进行融合，得到所述目标图像帧，包括：

获取所述原始图像的光照权重信息，其中，所述光照权重信息用于指示所述原始图像中的每个像素点对应的光照权重，所述光照权重与对应像素点的亮度相关；

根据所述光照权重信息对所述原始图像和所述辅助图像帧进行图像融合，得到所述目标图像帧。

可选地，在通过对所述原始图像帧进行对比度增强处理，得到辅助图像帧之前，所述方法还包括：

对所述原始图像帧进行去噪处理，得到更新后的原始图像帧，其中，所述去噪处理用于降低图像的噪声；

基于所述更新后的原始图像帧，执行所述通过对所述原始图像帧进行对比度增强处理，得到辅助图像帧的步骤。

可选地，在通过对所述原始图像帧进行对比度增强处理，得到辅助图像帧之前，所述方法包括：

对所述原始图像帧进行边缘增强处理，得到更新后的原始图像帧，其中，所述边缘增强处理用于提升图像中轮廓边缘的清晰度；

基于更新后的所述原始图像帧，执行通过对所述原始图像帧进行对比度增强处理，得到辅助图像帧的步骤。

可选地，在所述对所述原始图像帧和所述辅助图像帧进行融合，得到所述目标图像帧之后，所述方法还包括：

对所述目标图像帧进行超分辨率处理，其中，所述超分辨率处理用于提高图像的分辨率。

可选地，在所述根据所述目标图像帧，生成第二视频之后，还包括：

对所述第二视频进行超帧率处理，得到用于播放的第三视频，其中，所述超帧率处理用于提高视频的帧率。

根据本发明的第二方面，提供了一种视频处理装置，包括：

图像提取模块，用于获取第一视频中的原始图像帧；

图像分析模块，用于在所述原始图像帧中确定出第一区域，其中，所述原始图像帧包括第一区域和第二区域，所述原始图像帧中的第一区域处于欠曝状态，所述原始图像帧中的第二区域未处于欠曝状态；

增强处理模块，用于对所述原始图像帧进行增强处理，得到目标图像帧，其中，所述增强处理用于将图像中不同区域的曝光状态调整至曝光正常状态，所述目标图像帧中的第一区域和第二区域均处于曝光正常状态；

视频生成模块，用于根据所述目标图像帧，生成第二视频。

根据本发明的第三方面，提供了一种电子设备，包括：

存储器，用于存储可执行命令；

处理器，用于在所述可执行命令的控制下，执行本发明第一方面所述的方法。

根据本发明的第四方面，提供了一种计算机可读存储介质，其特征在于，存储有可执行命令，所述可执行命令被处理器执行时，实现本发明第一方面所述的方法。

本实施例中的视频处理方法，通过对原始图像帧进行增强处理，将原始图像帧中的欠曝区域调整为曝光正常状态的同时，还防止原始图像帧中曝光正常状态的区域出现过曝，有利于提升视频的图像质量。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1示出了可用于实现本发明实施例的电子设备的示意图。

图2示出了根据本发明实施例的视频处理方法的流程图。

图3示出了根据本发明实施例的视频处理方法的具体例子的流程图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<硬件配置>

图1示出了可用于实现本发明实施例的电子设备的硬件配置的示意图。

电子设备1100可以是便携式电脑、台式计算机、平板电脑等。

如图1所示，电子设备1100可以包括处理器1110、存储器1120、接口装置1130、通信装置1140、显示装置1150和输入装置1160。处理器1110可以是中央处理器CPU、微处理器MCU等。存储器1120例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1130例如包括USB接口、耳机接口等。通信装置1140例如能够进行有线或无线通信。显示装置1150例如是液晶显示屏、触摸显示屏等。输入装置1160例如可以包括触摸屏、键盘等。

应用于本说明书的实施例中，电子设备1100的存储器1120用于存储指令，该指令用于控制处理器1110进行操作以支持实现根据本说明书任意实施例的视频处理方法。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

本领域技术人员应当理解，尽管在图1中示出了电子设备1100的多个装置，但是，本说明书实施例的电子设备1100可以仅涉及其中的部分装置，例如，只涉及处理器1110、存储器1120、显示装置1150、输入装置1160等。

图1所示的电子设备1100仅是解释性的，并且决不是为了要限制本说明书、其应用或用途。

<方法实施例>

本实施例提供了一种视频处理方法，该方法例如由图1中的电子设备1100实施。如图2所示，该方法包括以下步骤S1100-S1400。

在步骤S1100中，获取第一视频中的原始图像帧。

本实施例中，第一视频是需要进行画质提升的视频，例如是老电影、老电视剧等类型的视频。

图像帧是组成视频的最小单位。一个图像帧是一幅静止图片。基于人眼的视觉暂留效应，将多个图像帧按顺序快速播放可以形成视频。本实施例中的原始图像帧是用于形成第一视频的图像帧，其数量为多个。

本实施例中，可以利用专门的视频处理工具，获取第一视频中的原始图像帧。例如，可以利用视频处理软件FFmpeg将视频切割为多个图像帧。FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它提供了录制、转换以及流化音视频的完整解决方案。在一个例子中，通过FFmpeg软件中的“ffmpeg-i video.mpgimage％d.jpg”命令，可以将视频分解成图片序列，从而得到第一视频中的原始图像帧。

在步骤S1200中，在原始图像帧中确定出第一区域，其中，原始图像帧包括第一区域和第二区域，原始图像帧中的第一区域处于欠曝状态，原始图像帧中的第二区域未处于欠曝状态。

通常来说，由于拍摄技术、环境等因素的影响，拍摄得到的照片会出现欠曝或者过曝等非正常曝光的情况。其中，欠曝是指曝光不足，表现为图像中较暗区域的细节缺失，过曝是指曝光过度，表现为图像中较亮区域的细节缺失。老电影、老电视剧等类型的视频通常存在欠曝问题。

本实施例中，可以先将原始图像帧划分为多个子区域，再判断每一子区域的曝光状态，确定出处于欠曝状态的区域，即第一区域。

在划分子区域时，可以将原始图像帧均匀划分为多个网格，网格形状例如是正方形、正六边形等，将每个网格作为一个子区域。

在划分子区域时，还可以先确定出原始图像帧中的图像轮廓，将每个图像轮廓内的区域作为一个子区域。

在判断曝光状态时，可以结合拍摄环境、根据子区域内像素的平均值进行判断。例如，对于白天拍摄的图像，如果子区域内像素的平均值超过120并且不超过150，则判断子区域处于曝光正常状态，如果子区域内像素的平均值不超过120，则判断子区域处于欠曝状态，如果子区域内像素的平均值超过150，则判断子区域处于过曝状态。

在判断曝光状态时，还可以根据子区域的亮度分布进行判断。例如，如果子区域的亮度直方图的峰值集中的右侧，则判断子区域处于过曝状态，如果子区域的亮度直方图的峰值集中在左侧，则判断子区域处于欠曝状态，如果子区域的亮度直方图的峰值分布均匀，则判断子区域处于曝光正常状态。

在步骤S1300中，对原始图像帧进行增强处理，得到目标图像帧，其中，增强处理用于将图像中不同区域的曝光状态调整至曝光正常状态，目标图像帧中的第一区域和第二区域均处于曝光正常状态。

本实施例中，对原始图像帧进行增强处理，该增强处理可以将图像中国不同区域的曝光状态调整至曝光正常状态。目标图像帧中的第一区域与原始图像帧中的第一区域相对应，目标图像帧中的第二区域与原始图像帧中的第二区域相对应。

在一个实施例中，步骤S1300进一步包括：通过对原始图像帧进行对比度增强处理，得到辅助图像帧，其中，辅助图像帧中的第一区域处于曝光正常状态，辅助图形帧中的第二区域处于过曝状态；对原始图像帧和辅助图像帧进行图像融合，得到目标图像帧。

比度增强处理的现有技术中常用的处理方法，这种方式在将原本处于欠曝状态的区域调整为曝光正常状态的同时，往往会将原本处于曝光正常状态的区域调整为过曝状态。

本实施例中，通过对原始图像帧进行对比度增强处理，得到辅助图像帧。其中，对比度增强处理可以采用直方图均衡化、灰度变换等具体方法。

本实施例中，通过对原始图像帧和辅助图像帧进行图像融合，得到目标图像帧。其中，图像融合是指综合两个图像的信息得到目标图像的过程。

在一个实施例中，图像融合的过程包括：获取原始图像帧的光照权重信息，其中，光照权重信息用于指示原始图像帧中的每个像素点对应的光照权重，光照权重与对应像素点的亮度相关；根据光照权重信息对原始图像帧和辅助图像帧进行图像融合，得到目标图像帧。

上述光照权重信息能够表征原始图像帧的明暗强度，光照权重与对应像素点的亮度可以成正相关或负相关。可选地，光照权重信息可以用权重图像来表征，权重图像的大小与原始图像的大小一致；以光照权重与对应像素点的亮度成正相关为例，权重图像中与原始图像帧中较暗区域(第一区域)对应的光照权重较小，而与原始图像帧中较亮区域(第二区域)对应的光照权重则较大。

可选地，上述原始图像帧和权重图像均可以表示为图像矩阵(二维矩阵)的形式，图像矩阵的行对应图像的高(单位为像素)，图像矩阵的列对应图像的宽(单位为像素)，原始图像帧的图像矩阵中的元素对应原始图像帧的像素点的像素值，权重图像的图像矩阵中的元素(光照权重)与原始图像帧中像素点的亮度有关。原始图像帧的图像矩阵与权重图像的图像矩阵在行数和列数上均是相同的，二者在同一位置下的两个元素对应原始图像中的同一个像素点。

在对原始图像帧和辅助图像帧进行图像融合时，可以基于光照权重信息分别为原始图像帧和辅助图像帧分配不同的融合权重，使得对于光照较弱的区域(第一区域)，原始图像帧的融合权重较小，辅助图像帧的融合权重较大；而对于光照较强的区域(第二区域)，原始图像帧的融合权重较大，辅助图像帧的融合权重较小。这样能够保证原始图像中曝光正常区域或过曝区域的部分图像亮度保持不变，而较暗区域的部分图像得到增强，也即保证原始图像中较暗区域(第一区域)的增强，较亮区域(第二区域)在图像增强后不过度曝光，图像色彩不失真，从而有效改善了现有技术中存在的图像中较暗区域的增强效果不足，较亮区域又容易过度增强，导致颜色失真的问题。

在一个例子中，可以逐像素对辅助图像帧和原始图像帧进行融合。例如，对于原始图像帧中的像素A1(该像素的像素值记为a1)和辅助图像帧中的像素A2(该像素的像素值记为a2)，假设像素A1的光照权重为p，像素A1和像素A2融合得到像素A3，则像素A3的像素值a3＝a1*p+a2*(1-p)。

本实施例中，光照权重与对应像素点的亮度相关，例如，亮度较大的像素点对应的光照权重也较大。在一个例子中，原始图像帧中第一区域内像素的光照权重为0，第二区域内像素的光照权重为1。在另外一个例子中，原始图像帧中第一区域内像素的光照权重为0.2，第二区域内像素的光照权重为0.7。

容易理解，本实施例中的光照权重使得在融合过程中，原始图像帧中第一区域对目标图像帧的贡献较小，原始图像帧中第二区域对目标图像帧的贡献较大。因此，目标图像帧在提高了原始图像帧中第一区域亮度的同时，还能够有效保留原始图像帧中第二区域的亮度信息，防止出现过曝现象。

在步骤S1400中，根据目标图像帧生成第二视频。

本实施例中，将目标图像帧按顺序拼接为视频，即获得了处理后的视频即第二视频。

本实施例中的视频处理方法，通过对原始图像帧进行增强处理，将原始图像帧中的欠曝区域调整为曝光正常状态的同时，还防止原始图像帧中曝光正常状态的区域出现过曝，有利于提升视频的图像质量。

在一个实施例中，在通过对原始图像帧进行对比度增强处理，得到辅助图像帧之前，上述视频处理方法还包括：对原始图像帧进行去噪处理，得到更新后的原始图像帧，其中，去噪处理用于降低图像的噪声；基于更新后的原始图像帧，执行通过对原始图像帧进行对比度增强处理，得到辅助图像帧的步骤。

图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。图像噪声产生的原因通常涉及多个方面。例如，在图像采集阶段，由于光电自身特性、设备机械运动、器材材料、设备电路等内部原因，以及电磁波干扰等外部原因，都会引起图像噪声。图像采集完成后，在图像数据的传输、解压等环节还会带来新的噪声。图像噪声会影响老旧影片的画面质量。

本实施例中，针对原始图像帧中的噪声进行去噪处理。可以采用均值滤波器、自适应维纳滤波器、中值滤波器、形态学噪声滤除器、小波去噪等手段去除图像中的噪声。

在一个实施例中，对原始图像帧进行减少图像噪声的去噪处理，包括：通过预先训练的去噪模型，对原始图像帧进行减少图像噪声的去噪处理。

本实施例中，基于神经网络模型，对图像帧中由采集噪声、压缩噪声等形成的混合噪声进行去噪处理。

在一个实施例中，在进行去噪处理之前，先生成去噪模型。生成去噪模型的过程包括：在原始图像中加入随机强度的噪声，获得噪声图像；根据原始图像和噪声图像对卷积神经网络模型进行训练，获得去噪模型。

本实施例中，原始图像是画面质量较高的图片。在原始图像中加入的随机噪声例如是高斯噪声、椒盐噪声等。

本实施例中，采用卷积神经网络的形式生成去噪模型。卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习(deep learning)的代表算法之一。

本实施例中，根据原始图像和噪声图像形成训练数据集，对卷积神经网络进行训练，其中，噪声图像作为卷积神经网络的输入，原始图像作为神经网络的输出。训练好的卷积神经网络模型即为去噪模型。

在一个实施例中，在通过对原始图像帧进行对比度增强处理，得到辅助图像帧之前，上述视频处理方法还包括：对原始图像帧进行边缘增强处理，得到更新后的原始图像帧，其中，边缘增强处理用于提升图像中轮廓边缘的清晰度；基于更新后的原始图像帧，执行通过对原始图像帧进行对比度增强处理，得到辅助图像帧的步骤。

早期视频中，不同区域的边缘界限较为模糊。本实施例中对图像帧进行边缘增强处理，有利于提高视频的清晰度。

本实施例中，可以通高通滤波、空域微分等方法进行边缘增强处理。在一个例子中，采用空域微分法进行边缘增强处理，通过梯度模算子计算梯度值，由于边缘处灰度的变化较大，对应的梯度值也较大，因此加强梯度值大的像素灰度值就可以突出边缘处细节，从而达到边缘增强的目的。

在一个实施例中，在对原始图像帧和辅助图像帧进行融合，得到目标图像帧之后，上述视频处理方法还包括：对目标图像帧进行超分辨率处理，其中，超分辨率处理用于提高图像的分辨率。

受硬件条件的限制，早期视频的分辨率大小有限。本实施例中对图像帧进行超分辨率处理，获得分辨率更高的图像，有利于适应现在的显示设备。

本实施例中，可以基于稀疏编码方法、自模范方法、贝叶斯方法、金字塔算法、深度学习方法等，对图像帧进行超分辨率处理。

在本发明的一个实施例中，超分辨率处理包括：通过预先训练的超分辨率模型，对暗场增强处理后的目标图像帧进行提高图像分辨率的超分辨率处理。

本实施例中，基于神经网络模型对目标图像帧进行超分辨率处理。

在一个实施例中，在进行超分辨率处理之前，先生成超分辨率模型。生成超分辨率模型的过程包括：对样本图像进行压缩，获得低分辨率图像；根据样本图像和低分辨率图像对卷积神经网络模型进行训练，获得超分辨率模型。

本实施例中，选择高分辨率图片作为样本图像。

本实施例中，通过对样本图像进行质量压缩，获得低分辨率图像。

本实施例中，根据样本图像和低分辨率图像形成训练数据集，对卷积神经网络进行训练，其中，低分辨率图像作为卷积神经网络的输入，样本图像作为神经网络的输出。训练好的卷积神经网络模型即为超分辨率模型。

在一个实施例中，在根据目标图像帧，生成第二视频之后，还包括：对第二视频进行超帧率处理，得到用于播放的第三视频，其中，超帧率处理用于提高视频的帧率。

早期影片的帧率通常较低，这会对视频播放的流畅度造成影响。本实施例中对视频进行超帧率处理，使视频播放更加流畅。

本实施例中，可以采用简单的帧率提升算法、含有运动补偿的帧率提升算法、基于自回归模型的帧率提升算法等方法进行超帧率处理。

在一个例子中，采用简单帧率提升算法中的帧平均方法进行超帧率处理，即，将第二视频的相邻两帧的加权平均结果作为插值帧并增加到两帧之间，将第二视频的原有帧和插值处理得到的插值帧按顺序拼接，从而得到第三视频。

图3示出了本实施例中视频处理方法实施的具体例子。参见图3，电子设备首先利用FFmpeg视频处理工具将视频切割为多个图像帧，即执行步骤S101。对于每个图像帧，电子设备将该图像帧输入预先训练的卷积神经网络模型，获得去噪后的图像帧，即执行步骤S102。对于去噪后的每个图像帧，电子设备采用基于滤波或者矩阵的边缘锐化方法，对该图像帧进行边缘锐化处理，即执行步骤S103。对于边缘增强后的每个图像帧，电子设备通过现有的图像增强方法构建辅助图像，并将图像帧和辅助图形按照特定权重进行融合，提高图像帧中弱亮度区域的图像质量，保持图像帧中强亮度区域的亮度不变，即执行步骤S105。对于暗场增强处理后的每个图像帧，电子设备将该图像帧输入预先训练的卷积神经网络，获得分辨率更高的图像帧，即执行步骤S106。对于超分辨率处理后的多个图像帧，电子设备基于自回归模型的帧率提升算法在其中插入新的图像帧，即执行步骤S107。对于插帧处理后的多个图像帧，电子设备将这些图像帧按顺序拼接为视频，从而获得处理后的视频，即执行步骤S108。

<装置实施例>

本实施例提供一种视频处理装置，包括图像提取模块、图像分析模块、增强处理模块和视频生成模块。

图像提取模块，用于获取第一视频中的原始图像帧。

图像分析模块，用于在原始图像帧中确定出第一区域，其中，原始图像帧包括第一区域和第二区域，原始图像帧中的第一区域处于欠曝状态，原始图像帧中的第二区域未处于欠曝状态。

增强处理模块，用于对原始图像帧进行增强处理，得到目标图像帧，其中，增强处理用于将图像中不同区域的曝光状态调整至曝光正常状态，目标图像帧中的第一区域和第二区域均处于曝光正常状态。

视频生成模块，用于根据目标图像帧，生成第二视频。

在一个实施例中，增强处理模块在对原始图像帧进行增强处理，得到目标图像帧时，用于：通过对原始图像帧进行对比度增强处理，得到辅助图像帧，其中，辅助图像帧中的第一区域处于曝光正常状态，辅助图形帧中的第二区域处于过曝状态；对原始图像帧和辅助图像帧进行图像融合，得到目标图像帧。

在一个实施例中，增强处理模块在对原始图像帧和辅助图像帧进行融合，得到目标图像帧时，用于：获取原始图像的光照权重信息，其中，光照权重信息用于指示原始图像中的每个像素点对应的光照权重，光照权重与对应像素点的亮度相关；根据光照权重信息对原始图像和辅助图像帧进行图像融合，得到目标图像帧。

在一个实施例中，视频处理装置还包括去噪处理模块，该去噪处理模块用于：在通过对原始图像帧进行对比度增强处理，得到辅助图像帧之前，对原始图像帧进行去噪处理，得到更新后的原始图像帧，其中，去噪处理用于降低图像的噪声。增强处理模块基于更新后的原始图像帧，执行通过对原始图像帧进行对比度增强处理，得到辅助图像帧的步骤。

在一个实施例中，视频处理装置还包括边缘增强处理模块，该边缘增强处理模块用于：在通过对原始图像帧进行对比度增强处理，得到辅助图像帧之前，对原始图像帧进行边缘增强处理，得到更新后的原始图像帧，其中，边缘增强处理用于提升图像中轮廓边缘的清晰度。增强处理模块基于更新后的原始图像帧，执行通过对原始图像帧进行对比度增强处理，得到辅助图像帧的步骤。

在一个实施例中，视频处理装置还包括超分辨率模块，该超分辨率模块用于：在对原始图像帧和辅助图像帧进行融合，得到目标图像帧之后，对目标图像帧进行超分辨率处理，其中，超分辨率处理用于提高图像的分辨率。

在一个实施例中，视频处理装置还包括超帧率模块，该超帧率模块用于：在根据目标图像帧，生成第二视频之后，对第二视频进行超帧率处理，得到用于播放的第三视频，其中，超帧率处理用于提高视频的帧率。

<电子设备实施例>

本实施例提供一种电子设备，该电子设备包括存储器和处理器。

存储器用于存储可执行命令。

处理器用于在可执行命令的控制下，执行本发明方法实施例描述的方法。

<计算机可读存储介质实施例>

本实施例提供一种计算机可读存储介质，该介质存储有可执行命令，该可执行命令被处理器执行时，执行如本发明方法实施例描述的方法。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。