用于多模态数据的文本提示方法及装置、家电设备、介质

技术领域

本申请涉及自然语言理解技术领域，例如涉及一种用于多模态数据的文本提示方法及装置、家电设备、存储介质。

背景技术

目前，随着人工智能技术的发展，家电设备诸如冰箱也更加智能化。为提升家电设备的信息交互能力，需要对家电设备接收的多模态信息进行分析处理以准确的获得与多模态信息关联的用户意图，从而更好地实现家电设备的信息交互。因此，如何更准确地从多模态信息中分析获得有效的信息，提高信息交互的效率成为当前亟需解决的技术难题。

为实现多模态信息的准确分析，相关技术一般对由文本和语音、图像、视频、音视频构成的多模态信息进行模型训练，根据模型训练的结果从而多模态信息中提取出文本信息。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

然而，相关技术所采用的模型训练中的模型的输出的可靠性受限于模型的数据量，因此，在前述模型的数据量不足时，模型训练生成的文本信息的可靠性不高且准确性较差，不利于信息交互。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于多模态数据的文本提示方法、装置、家电设备和介质，以提升多模态信息中文本信息提取的准确性和可靠性。

在一些实施例中，所述方法包括：用于多模态数据的文本提示方法，包括：获得多模态数据关联的文本特征向量，并，获得多模态数据关联的第一文本嵌入向量和第二文本嵌入向量；根据文本特征向量和第一文本嵌入向量，获得第一文本提示向量；根据文本特征向量和第二文本嵌入向量，获得第二文本提示向量；融合第一文本提示向量和第二文本提示向量，获得融合文本信息。

在一些实施例中，所述装置包括：包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行如上述的用于多模态数据的文本提示方法。

在一些实施例中，所述家电设备，包括：设备本体；如上述的用于多模态数据的文本提示装置，被安装于所述设备本体。

在一些实施例中，所述存储介质，存储有程序指令，所述程序指令在运行时，执行如上述的用于多模态数据的文本提示方法。

本公开实施例提供的用于多模态数据的文本提示方法、装置、家电设备和介质，可以实现以下技术效果：

通过获得多模态数据关联的第一文本嵌入向量和第二文本嵌入向量，可充分提取出多模态数据中的语音文本特征和图像文本特征。再根据文本编码特征和第一文本嵌入向量获得第一文本提示向量，并根据文本特征向量和第二文本嵌入向量获得第二文本提示向量，以分别获得最优的语音提示和图像提示。最后，融合第一文本提示向量和第二文本提示向量，获得融合文本信息，从而实现高质量的文本输出。如此，本公开实施例能够充分地提取出多模态数据中的文本信息，提升多模态信息中文本信息提取的准确性和可靠性。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的一个用于多模态数据的文本提示方法的示意图；

图2是本公开实施例提供的另一个用于多模态数据的文本提示方法的示意图；

图3是本公开实施例提供的另一个用于多模态数据的文本提示方法的示意图；

图4是本公开实施例提供的另一个用于多模态数据的文本提示方法的示意图；

图5是本公开实施例提供的另一个用于多模态数据的文本提示方法的示意图；

图6是本公开实施例提供的一个用于多模态数据的文本提示装置的示意图；

图7是本公开实施例提供的一个家电设备的示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

除非另有说明，术语“多个”表示两个或两个以上。

本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。

术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。

术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。

本公开实施例中，智能家电设备是指将微处理器、传感器技术、网络通信技术引入家电设备后形成的家电产品，具有智能控制、智能感知及智能应用的特征，智能家电设备的运作过程往往依赖于物联网、互联网以及电子芯片等现代技术的应用和处理，例如智能家电设备可以通过连接电子设备，实现用户对智能家电设备的远程控制和管理。

公开实施例中，终端设备是指具有无线连接功能的电子设备，终端设备可以通过连接互联网，与如上的智能家电设备进行通信连接，也可以直接通过蓝牙、wifi等方式与如上的智能家电设备进行通信连接。在一些实施例中，终端设备例如为移动设备、电脑、或悬浮车中内置的车载设备等，或其任意组合。移动设备例如可以包括手机、智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备等，或其任意组合，其中，可穿戴设备例如包括：智能手表、智能手环、计步器等。

本公开实施例中，家电设备可以是一种具有音频采集、视频采集、与用户交互界面多种交互方式的冰箱。冰箱上设有具有音频采集功能的麦克风或者拾音器、具有视频拍摄功能的摄像头、具有语音交互功能的扬声器、具有文字或图形界面交互的交互屏幕。交互屏幕可以设置于冰箱门体上。在具体应用中，可通过摄像头记录用户的操作以获得视频，可通过扬声器播放音频，通过麦克风获得音频。

此外，该冰箱还可以通过客户端与用户交互。客户端可以为手机，也可以为安装于手机的软件。其中，软件包括APP(Application，应用程序)、信息采集工具以及触控屏中的部分或者全部。冰箱与客户端之间可通过无线网络或者有线网络连接。

多模态数据包括语音、文本、图像、视频和音视频等。多模态数据所包括的上述数据可以为在线数据或者离线数据。

结合图1所示，本公开实施例提供一种用于多模态数据的文本提示方法，包括：

S01，处理器获得多模态数据关联的文本特征向量，并，获得多模态数据关联的第一文本嵌入向量和第二文本嵌入向量。

S02，处理器根据文本特征向量和第一文本嵌入向量，获得第一文本提示向量。

S03，处理器根据文本特征向量和第二文本嵌入向量，获得第二文本提示向量。

其中，根据文本特征向量和第二文本嵌入向量，获得第二文本提示向量与根据文本特征向量和第一文本嵌入向量，获得第一文本提示向量之间的顺序不做限定。

S04，处理器融合第一文本提示向量和第二文本提示向量，获得融合文本信息。

采用本公开实施例提供的用于多模态数据的文本提示方法，通过获得多模态数据关联的第一文本嵌入向量和第二文本嵌入向量，可充分提取出多模态数据中的语音文本特征和图像文本特征。再根据文本编码特征和第一文本嵌入向量获得第一文本提示向量，并根据文本特征向量和第二文本嵌入向量获得第二文本提示向量，以分别获得最优的语音提示和图像提示。最后，融合第一文本提示向量和第二文本提示向量，获得融合文本信息，从而实现高质量的文本输出。如此，本公开实施例能够充分地提取出多模态数据中的文本信息，提升多模态信息中文本信息提取的准确性和可靠性。

需要说明的是，本公开实施例的执行主体为处理器，该执行主体可以配置于家电设备，也可以配置于与家电设备通信连接的服务器。本公开实施例对此可不做具体限定。

可选地，结合图2所示，处理器获得多模态数据关联的第一文本嵌入向量和第二文本嵌入向量，包括：

S11，处理器确定多模态数据的文本特征向量。

S12，处理器对文本特征向量进行文本嵌入处理，获得第一嵌入向量。

该步骤中，第一嵌入向量可以为二进制格式的嵌入向量。作为一种示例，处理器对文本特征向量进行文本嵌入处理，获得第一嵌入向量，包括：处理器通过文本嵌入(textembedding)层对文本特征向量进行嵌入处理，获得第一嵌入向量。通过文本嵌入层对文本特征向量进行文本嵌入处理以获得第一嵌入向量。如此，便于获得最优的语音提示。

S13，处理器对文本特征向量进行图像嵌入处理，获得第二嵌入向量。

该步骤中，处理器对文本特征向量进行图像嵌入处理，获得第二嵌入向量，包括：处理器通过图像嵌入(image embedding)层对文本特征向量进行图像嵌入处理，获得第二嵌入向量。通过图像嵌入层对文本特征向量进行文本嵌入处理以获得第二嵌入向量。如此，便于获得最优的图像提示。

这样，本公开实施例确定出多模态数据的文本特征向量后，分别进行文本嵌入处理获得第一嵌入向量、进行图像嵌入处理获得第二嵌入向量，可充分提取出多模态数据中的语音文本特征和图像文本特征，有利于后续语音提示和图像提示的生成，从而实现多模态数据中文本信息的有效提取，提升多模态信息中文本信息提取的准确性和可靠性。

结合图3所示，多模态数据包括原始文本、音视频数据和图像数据。处理器确定多模态数据的文本特征向量，包括：

S21，处理器对音视频数据进行语音识别处理，获得语音文本。

S22，处理器对图像数据输入至CLIP(Contrastive Language–Image Pre-training，语言图像预训练)模型进行文本提取处理，获得图像文本。

该步骤中，采用CLIP模型从图像数据中提取获得图像文本，利用CLIP模型可将文本和图像的特征映射至共享的向量空间中，且CLIP模型具有较强的语义能力且具备图像和文本内容的高级语义理解特性，因此，采用CLIP模型进行文本提取，能够实现图像文本的精准提取。

S23，处理器利用带有Mask(掩码)的Bi-encoder双向编码器对原始文本和语音文本、图像文本进行编码处理，获得多模态数据的文本特征向量。

该步骤中，原始文本表示多模态数据中所包含的文本数据。

这样，本公开实施例通过对音视频数据进行语音识别处理以生成语音文本，并，对图像数据进行文本提取处理以生成图像文本。再对原始文本和语音文本、图像文本三种来源的文本进行编码处理，获得多模态数据的文本特征向量，可对三种来源的文本进行模型参数共享，以通过向量空间的共享提取出时空序列，使得字、词、短语和句子中的有用信息和上下文信息通过获得的文本特征向量得以充分地体现，有利于后续语音提示和图像提示的生成，更有利于输出高质量的文本信息。

可选地，Bi-encoder双向编码模型是一种用于自然语言处理的深度学习模型，它采用双向编码的结构，将输入的数据编码成一个固定长度的向量表示，同时将待匹配的数据也编码成一个向量表示。在相似度计算时，使用编码后的向量表示计算两个句子之间的相似度得分。Bi-encoder双向编码模型的优点是计算速度快、效果好，适用于文本匹配、语义检索、问答系统等自然语言处理任务。其中，本公开实施例应用的Bi-encoder双向编码模型为共享参数的Bi-encoder双向编码模型。

在一种示例中，Bi-encoder双向编码模型是基于Transformer模型的Bi-encoder双向编码模型，或者是基于bert的Bi-encoder双向编码模型。

利用带有Mask的双向Bi-encoder双向编码器对原始文本和语音文本、图像文本进行编码处理，获得多模态数据的文本特征向量，可对三种来源的文本进行模型参数共享，以通过向量空间的共享提取出时空序列，使得字、词、短语和句子中的有用信息和上下文信息通过获得的文本特征向量得以充分地体现，有利于后续语音提示和图像提示的生成。同时，有利于降低内存资源的占用，降低计算的复杂度。

结合图4所示，处理器对音视频数据进行语音识别处理，获得语音文本，包括：

S31，处理器确定音视频数据中的有效语音数据。

该步骤中，有效语音数据包括来自麦克风阵列的有效语音数据。

S32，处理器对有效语音数据进行语音特征提取，获得语音特征。

S33，处理器对语音特征进行语音编码，获得语音编码数据。

该步骤中，处理器利用语音编码器对语音特征进行语音编码。语音编码器包括但不限于Wav2vec(WAV to Vector，波形到向量)编码器。如此，通过Wav2vec编码器对语音特征进行语音编码，实现语音特征的语音信号的向量转换，以获取到语音特征的语音信号对应的语音编码向量，有利于提升获得精准的语音编码数据。

S34，处理器对语音编码数据进行语音解码，将解码数据作为语音文本。

该步骤中，处理器利用Transformer模型对语音编码数据进行语音解码。Transformer模型包括解码器。该解码器包括有多层自注意力机制和前馈神经网络层，用于学习输入数据中的上下文信息并生成输出数据。在一种示例中，Transformer模型包括多层Transformer结构。如此，在语音编码过程中，可消除冗余语音信号。由于来自麦克风阵列的有效语音数据可以为来自多个麦克风的语音数据，因此，采用多层Transformer结构形成的多个通道对每个麦克风对应的语音数据进行处理。

这样，使语音文本包含丰富的高层语音特征，提高语音文本生成的准确性。

可选地，结合图5所示，处理器对有效语音数据进行语音特征提取，获得语音特征，包括：

S41，处理器提取有效语音数据中的纯净语音数据。

S42，处理器对纯净语音数据进行混响过滤处理，获得过滤数据。

S43，处理器对纯净语音数据进行噪声消除处理，获得去噪数据。

该步骤中，在有效语音数据包括来自麦克风阵列的有效语音数据的情况下，处理器对有效语音数据进行语音特征提取，获得语音特征，包括：处理器对有效语音数据进行噪声消除处理和混响过滤处理，分别获得第一语音数据和第二语音数据。处理器对第一语音数据和第二语音数据进行特征提取，以获得语音特征。

在一种示例中，处理器对纯净语音数据进行混响过滤处理和噪声消除处理，包括：处理器输入纯净语音数据至BiLSTM(Bidirectional Long Short-Term Memory，双向长短期记忆网络)神经网络以进行混响过滤处理和噪声消除处理，分别获得第一语音数据和第二语音数据。如此，利用BiLSTM神经网络，能提取有效语音数据中的时空序列及含有上下文信息的语音数据，同时，BiLSTM神经网络可对输入的纯净语音数据中的冗余语音数据进行筛选，实现噪声消除和混响过滤。其中，BiLSTM神经网络为：长短期记忆(Long ShortTermMemory，LSTM)网络，本质上是一种循环神经网络(Recurrent Neural Networks，RNN)，它由一系列LSTM单元(LSTM Uni)组成，可以将输入信息的状态包含在输出状态中并通过循环结构转移到下一个状态，使得整个网络有了“记忆”特性，从而实现对前文的信息进行记忆并应用于当前输出的计算过程中。

S44，处理器利用多通道多尺寸神经网络对过滤数据和去噪数据进行语音识别，获得语音特征。

这样，利用多通道多尺寸神经网络对两路语音数据进行特征提取，可使输出的语音特征包含有丰富的高层语音特征。其中，多通道多尺寸神经网络可以包括但不限于深度卷积神经网络。深度卷积神经网络(Deep Convolutional Neural Network，DCNN)主要用于处理具有网格结构数据的任务，例如图像和语音识别。深度卷积神经网络模型通过多层卷积层和池化层来提取输入数据的特征，并通过全连接层进行分类或回归。卷积层用于检测输入数据中的局部特征，池化层用于减小特征图的空间尺寸，从而减少模型的参数量。通过多个卷积层和池化层的堆叠，深度卷积神经网络可以提取更高级别的抽象特征。

可选地，处理器确定音视频数据中的有效语音数据，包括：

处理器提取音视频数据中的纯净音视频数据。

处理器对纯净音视频数据进行分离，获得音视频数据中的纯净语音数据。其中，纯净音视频数据包括音视频数据和纯净语音数据。

处理器将纯净语音数据进行有效时长的处理，将经过处理的纯净语音数据作为音视频数据的有效语音数据。

这样，本公开实施例从音视频数据中提取出纯净音视频数据后，对纯净音视频数据进行音视频数据和纯净语音数据的分离处理，获得纯净语音数据。再将纯净语音数据进行有效时长处理，将经过处理的纯净语音数据作为音视频数据的有效语音数据。有利于实现有效语音数据的精准提取。

可选地，处理器根据文本特征向量和第一文本嵌入向量，获得第一文本提示向量，包括：

处理器将文本特征向量和第一文本嵌入向量输入至语言预训练模型进行模型训练，获得第一文本提示向量。

可选地，处理器根据文本特征向量和第二文本嵌入向量，获得第二文本提示向量，包括：

处理器将文本特征向量和第二文本嵌入向量输入至视觉预训练模型进行模型训练，获得第二文本提示向量。

这样，本公开实施例将文本特征向量和第一文本嵌入向量输入至语言预训练模型进行模型训练，有利于增强第一文本提示向量中字、词、短语和句子中有用信息和上下文信息的关联性。通过将文本特征向量和第二文本嵌入向量输入至视觉预训练模型进行模型训练，有利于增强第二文本提示向量中字、词、短语和句子中有用信息和上下文信息的关联性。

可选地，第一文本提示向量包括语言提示向量，第二文本提示向量包括视觉提示向量。语言预训练模型包括Transformer模型。视觉预训练模型包括vi-tansformer模型。如此，有利于生成带有上下文信息和特定语境的语言提示向量，以及有利于生成带有上下文信息和视觉提示向量。在一种示例中，语言训练模型可通过将教师模型的预训练模型参数迁移至学生模型进行模型蒸馏获得。视觉模型也可以通过模型蒸馏方式获得。

可选地，处理器融合第一文本提示向量和第二文本提示向量，获得融合文本信息，包括：

处理器利用UNet网络模型融合第一文本提示向量和第二文本提示向量，获得融合文本信息。

这样，UNet网络模型属于潜在空间扩散网络模型，本公开实施例利用UNet网络模型对输入的第一文本提示向量和第二文本提示向量进行前向过滤-逆向验证的方式，将输入的第一文本提示向量和第二文本提示向量映射至对应的向量空间，在融合文本信息的同时，有效地去除两文本提示向量中的噪声，以获得准确反映文本的融合文本信息。如此，本公开实施例借助于UNet网络模型的文本融合作用以及有效降噪的特点，保证融合文本信息提取的高准确率以及有效性。

可选地，UNet网络模型配置有带有Mask的编码器和带有多头注意力机制的解码器。处理器融合第一文本提示向量和第二文本提示向量，获得融合文本信息，包括：

在需要输出文本的情况下，处理器利用带有Mask的编码器融合第一文本提示向量和第二文本提示向量，获得携带文本的融合文本信息；或者，

在需要输出图像的情况下，处理器利用带有Mask的编码器和带有多头注意力机制的解码器融合第一文本提示向量和第二文本提示向量，获得携带图像的融合文本信息；

在需要输出语音的情况下，处理器将携带有图像的融合文本信息进行语音合成处理，获得语音。

这样，带有Mask的编码器和带有多头注意力机制的解码器的UNet网络模型具备前向过滤-逆向验证能力，从而具备高质量的图像表示能力和文本表示能力。本公开实施例通过选用带有Mask的编码器和带有多头注意力机制的解码器，可输出高质量的携带图像的融合文本信息以及输出高质量的携带文本的融合文本信息。同时，本公开实施例可根据输出的信息类型选择前述带有Mask的编码器和/或带有多头注意力机制的解码器，以对应生成携带文本的融合文本信息和携带图像的融合文本信息、语音中的部分或者全部。如此，本公开实施例可根据具体的输出需求选取对应的信息输出，提升多模态信息中文本信息提取的适用范围。

结合图6所示，本公开实施例提供一种用于多模态数据的文本提示装置300，包括处理器(processor)100和存储器(memory)101。可选地，该装置还可以包括通信接口(Communication Interface)102和总线103。其中，处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的逻辑指令，以执行上述实施例的用于多模态数据的文本提示方法。

此外，上述的存储器101中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于多模态数据的文本提示方法。

存储器101可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器。

结合图7所示，本公开实施例提供了一种家电设备600，包括：设备本体，包含上述的用于多模态数据的文本提示装置300。用于多模态数据的文本提示装置300被安装于设备本体。这里所表述的安装关系，并不仅限于在产品内部放置，还包括了与产品的其他元器件的安装连接，包括但不限于物理连接、电性连接或者信号传输连接等。本领域技术人员可以理解的是，用于多模态数据的文本提示装置300可以适配于可行的产品主体，进而实现其他可行的实施例。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于多模态数据的文本提示方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。