用于确定序列数据之间的数据相似度的方法和装置

技术领域

本说明书实施例通常涉及计算机技术领域，尤其涉及用于确定序列数据之间的数据相似度的方法和装置及用于侵权判定的方法和装置。

背景技术

随着人工智能技术的飞速发展，在诸如视频、音频、文本、图像等领域常常需要计算相似度，以用于数据匹配、侵权判定等。现有的视频相似度计算技术中，通常采用均匀采样的方式对所提取的各帧提取帧特征向量，并根据所提取的帧特征向量来确定视频之间的相似度。虽然现有技术提供了确定视频之间的相似度的一种方法，但由于该方法的相似度确定的准确性往往十分依赖于针对各个帧所提取的帧特征向量的表征能力的高低以及进行匹配的帧的数量是否足够，因而难以实现较为快速地获取准确的相似度结果。

发明内容

鉴于上述，本说明书实施例提供了一种用于确定序列数据之间的数据相似度的方法和装置及用于侵权判定的方法和装置。利用该方法、装置，可以实现对序列数据之间的数据相似度的确定，以提高序列数据之间的相似度的确定准确性和效率。

根据本说明书的实施例的一个方面，提供一种用于确定序列数据之间的数据相似度的方法，包括：获取待查询序列数据中的各个数据元素的数据特征向量；基于所述待查询序列数据的各个数据元素的数据特征向量以及参考序列数据库中的各个参考序列数据的数据元素的数据特征向量，从各个参考序列数据中选择第一数目个目标参考序列数据；对所述待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强，其中，特征增强后的各个数据元素的数据特征向量融合有第一局部邻域信息和第二局部邻域信息，所述第一局部邻域信息与同一序列数据的数据元素对应，所述第二局部邻域信息与待查询序列数据的数据元素和目标参考序列数据的数据元素之间的交互对应；以及根据所述待查询序列数据的各个数据元素的经过特征增强后的数据特征向量以及各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量，确定所述待查询序列数据和各个目标参考序列数据之间的相似度。

根据本说明书的实施例的另一个方面，提供一种用于侵权判定的方法，包括：如上所述的用于确定序列数据之间的数据相似度的方法；响应于所述待查询序列数据和各个目标参考序列数据之间存在大于预定阈值的相似度，确定所述待查询序列数据为侵权数据。

根据本说明书的实施例的又一个方面，提供一种用于确定序列数据之间的数据相似度的装置，包括：特征获取单元，被配置为获取待查询序列数据中的各个数据元素的数据特征向量；数据选取单元，被配置为基于所述待查询序列数据的各个数据元素的数据特征向量以及参考序列数据库中的各个参考序列数据的数据元素的数据特征向量，从各个参考序列数据中选择第一数目个目标参考序列数据；特征增强单元，被配置为对所述待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强，其中，特征增强后的各个数据元素的数据特征向量融合有第一局部邻域信息和第二局部邻域信息，所述第一局部邻域信息与同一序列数据的数据元素对应，所述第二局部邻域信息与待查询序列数据的数据元素和目标参考序列数据的数据元素之间的交互对应；以及相似度确定单元，被配置为根据所述待查询序列数据的各个数据元素的经过特征增强后的数据特征向量以及各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量，确定所述待查询序列数据和各个目标参考序列数据之间的相似度。

根据本说明书的实施例的再一个方面，提供一种用于侵权判定的装置，包括：如上所述的用于确定序列数据之间的数据相似度的装置；侵权判定单元，被配置为响应于所述待查询序列数据和各个目标参考序列数据之间存在大于预定阈值的相似度，确定所述待查询序列数据为侵权数据。

根据本说明书的实施例的另一方面，提供一种用于确定序列数据之间的数据相似度的装置，包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于确定序列数据之间的数据相似度的方法。

根据本说明书的实施例的另一方面，提供一种用于侵权判定的装置，包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于侵权判定的方法。

根据本说明书的实施例的另一方面，提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的用于确定序列数据之间的数据相似度的方法和/或用于侵权判定的方法。

根据本说明书的实施例的另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行来实现如上所述的用于确定序列数据之间的数据相似度的方法和/或用于侵权判定的方法。

附图说明

通过参照下面的附图，可以实现对于本说明书内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。

图1示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的方法和装置、用于侵权判定的方法和装置的示例性架构。

图2示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的方法的一个示例的流程图。

图3示出了根据本说明书的实施例的各个数据元素的数据特征向量进行特征增强的过程的一个示例的示意图。

图4示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的方法的又一个示例的流程图。

图5示出了根据本说明书的实施例的待查询序列数据和各个目标参考序列数据之间的相似度的确定过程的一个示例的示意图。

图6示出了根据本说明书的实施例的待查询序列数据和各个目标参考序列数据之间的相似度的确定过程的又一个示例的示意图。

图7示出了根据本说明书的实施例的目标参考序列数据的选择过程的一个示例的示意图。

图8示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的方法的应用场景的一个示例的示意图。

图9示出了根据本说明书的实施例的用于侵权判定的方法的一个示例的流程图。

图10示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的装置的一个示例的方框图。

图11示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的装置的又一个示例的方框图。

图12示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的装置中相似度确定单元的一个示例的方框图。

图13示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的装置中相似度确定模块的一个示例的方框图。

图14示出了根据本说明书的实施例的用于侵权判定的装置的一个示例的方框图。

图15示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的装置的一个示例的方框图。

图16示出了本说明书的实施例的用于侵权判定的装置的示意图。

具体实施方式

以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书实施例内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

在本说明书中，术语“序列数据”可以指有先后次序的一组数据。术语“数据元素”可以指组成上述“序列数据”的单元。例如，可以将视频、音频、文本、图像等视为“序列数据”。从而，所对应的“数据元素”可以是视频帧、音频帧、语句或词符(token)、像素或像素组。

在本说明书中，术语“特征增强”可以指通过各种方式对特征进行处理，以提高特征的表达能力，便于显示、观察或进一步分析与处理。

在本说明书中，术语“图神经网络(Graph Neural Networks，GNN)”可以指一种连接模型，其可以通过网络中节点之间的信息传递的方式来获取图中的依存关系，并通过从节点任意深度的邻居来更新该节点的状态。

下面将结合附图来详细描述根据本说明书实施例的用于确定序列数据之间的数据相似度的方法和装置、用于侵权判定的方法和装置。

图1示出了根据本说明书实施例的用于确定序列数据之间的数据相似度的方法和装置、用于侵权判定的方法和装置的示例性架构100。

在图1中，网络110被应用于在终端设备120和应用服务器130之间进行互连。

网络110可以是能够对网络实体进行互连的任何类型的网络。网络110可以是单个网络或各种网络的组合。在覆盖范围方面，网络110可以是局域网(LAN)、广域网(WAN)等。在承载介质方面，网络110可以是有线网络、无线网络等。在数据交换技术方面，网络110可以是电路交换网络、分组交换网络等。

终端设备120可以是能够连接到网络110、访问网络110上的服务器或网站、处理数据或信号等的任何类型的电子计算设备。例如，终端设备120可以是台式计算机、笔记本电脑、平板电脑、智能电话等。尽管在图1中仅示出了一个终端设备，但是应当理解，可以有不同数量的终端设备连接到网络110。

在一种实施方式中，终端设备120可以由用户使用。终端设备120可以包括可为用户提供各种服务的应用客户端(例如应用客户端121)。在一些情况下，应用客户端121可以与应用服务器130进行交互。例如，应用客户端121可以将用户输入的消息传送到应用服务器130，并且从应用服务器130接收与上述消息相关联的响应。然而，应当理解，在其它情况下，应用客户端121也可以在本地生成对用户输入的消息的响应，而不是与应用服务器130进行交互。在本文中，“消息”可以指任何输入信息，例如来自用户输入的待查询序列数据1211等。

应用服务器130可以与参考序列数据库131连接。其中，参考序列数据库131中可以包括各个参考序列数据的数据元素的数据特征向量。

应当理解，图1中所示的所有网络实体都是示例性的，根据具体的应用需求，架构100中可以涉及任何其它网络实体。

图2示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的方法200的流程图。

如图2所示，在210，获取待查询序列数据中的各个数据元素的数据特征向量。

在本实施例中，可以通过各种方式获取待查询序列数据中的各个数据元素的数据特征向量。作为示例，可以直接从通信连接的电子设备或本地获取待查询序列数据中的各个数据元素的数据特征向量。作为又一示例，也可以通过各种用于处理序列数据的特征提取方法对从通信连接的电子设备或本地获取的待查询序列数据中的各个数据元素进行特征提取，得到各个数据元素的数据特征向量。其中，上述待查询序列数据可以是用于确定数据相似度的序列数据之一。上述数据特征向量通常可以用于表征数据元素本身的内容和数据元素在上述待查询序列数据中所处的位置。例如，通过卷积神经网络(ConvolutionalNeural Networks,CNN)、循环神经网络(Recurrent Neural Network,RNN)、长短期记忆网络(Long Short-Term Memory,LSTM)、门循环单元(Gate Recurrent Unit，GRU)等针对数据元素提取的数据特征向量。作为示例，待查询序列数据可以是待查询音频数据。上述待查询序列数据中的数据元素可以是待查询音频数据中的音频帧。相应地，上述待查询序列数据中的数据元素的数据特征向量可以是音频帧的帧特征向量。作为又一示例，待查询序列数据可以是待查询文本。上述待查询序列数据中的数据元素可以是待查询文本中的语句或词符。相应地，上述待查询序列数据中的数据元素的数据特征向量可以是待查询文本中的语句或词符对应的词嵌入(word embedding)。作为再一示例，待查询序列数据可以是待查询图像。上述待查询序列数据中的数据元素可以是待查询图像中的图像块(patch)。相应地，上述待查询序列数据中的数据元素的数据特征向量可以是待查询图像中的图像块对应的特征向量。

可选地，上述待查询序列数据可以包括待查询视频数据。上述待查询序列数据中的数据元素可以包括上述待查询视频数据中的视频帧。相应地，上述待查询序列数据中的数据元素的数据特征向量可以包括待查询视频数据中的视频帧的帧特征向量。

可选地，上述待查询序列数据可以包括上述待查询视频数据中的视频关键帧。其中，上述视频关键帧可以通过各种检测视频中的关键帧的方式来确定。通常，上述视频关键帧之间的间隔非均匀。

在220，基于待查询序列数据的各个数据元素的数据特征向量以及参考序列数据库中的各个参考序列数据的数据元素的数据特征向量，从各个参考序列数据中选择第一数目个目标参考序列数据。

在本实施例中，可以首先确定待查询序列数据的各个数据元素的数据特征向量以及参考序列数据库中的各个参考序列数据的数据元素的数据特征向量之间的相似度。其中，上述参考序列数据库中的各个参考序列数据的数据元素可以是与上述待查询序列数据类型一致、待确定数据相似度的序列数据。作为示例，待查询序列数据可以是待查询音频数据。上述待查询序列数据中的数据元素可以是待查询音频数据中的音频帧。相应地，上述待查询序列数据中的数据元素的数据特征向量可以是音频帧的帧特征向量。作为又一示例，待查询序列数据可以是待查询文本。上述待查询序列数据中的数据元素可以是待查询文本中的语句或词符。相应地，上述待查询序列数据中的数据元素的数据特征向量可以是待查询文本中的语句或词符对应的词嵌入(word embedding)。作为再一示例，待查询序列数据可以是待查询图像。上述待查询序列数据中的数据元素可以是待查询图像中的图像块(patch)。相应地，上述待查询序列数据中的数据元素的数据特征向量可以是待查询图像中的图像块对应的特征向量。

可选地，上述参考序列数据可以包括参考视频数据。上述参考序列数据中的数据元素可以包括上述参考视频数据中的视频帧。相应地，上述参考序列数据中的数据元素的数据特征向量可以包括参考视频数据中的视频帧的帧特征向量。

可选地，上述参考序列数据中的数据元素可以包括上述参考视频数据中的视频关键帧。其中，上述视频关键帧可以通过各种检测视频中的关键帧的方式来确定。通常，上述视频关键帧之间的间隔非均匀。

在本实施例中，上述参考序列数据库中可以存储有多个参考序列数据的数据元素的数据特征向量。即，数据特征向量与数据元素相对应。上述数据元素与所属于的参考序列数据相对应。例如，参考序列数据库中可以存储有多个视频帧与帧特征向量之间的对应关系，以及视频帧与所属于的参考视频之间的对应关系。针对上述待查询序列数据的各个数据元素，可以根据该数据元素的数据特征向量与参考序列数据库中的各个参考序列数据的数据元素的数据特征向量之间的相似度，通过各种方式从上述参考序列数据库中的各个参考序列数据中选择第一数目个目标参考序列数据。作为示例，对于待查询序列数据x的数据元素t

在230，对待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强。

在本实施例中，可以通过各种方式对上述待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强。其中，上述特征增强后的各个数据元素的数据特征向量可以融合有第一局部邻域信息和第二局部邻域信息。上述第一局部邻域信息可以与同一序列数据的数据元素对应。上述第一局部邻域信息可以用于表征数据元素与属于同一序列数据的其他数据元素之间的交互。上述第二局部邻域信息可以与待查询序列数据的数据元素和目标参考序列数据的数据元素之间的交互对应。作为示例，针对上述待查询序列数据x的数据元素t

其中，α

需要说明的是，上述与该数据元素t

相应地，针对参考序列数据1的数据元素a，可以根据与该数据元素a属于同一序列数据的数据元素(例如数据元素c、数据元素d)的数据特征向量(例如f

可以理解，针对参考序列数据1的其他数据元素以及其他目标参考序列数据的各个数据元素，可以采用与上述类似的方式来对各个数据元素的数据特征向量进行特征增强，此处不再赘述。

可选地，由于可以通过上述步骤220基于待查询序列数据对应的数据特征向量和参考序列数据库中各参考序列数据对应的数据特征向量之间的相似度进行筛选，因而各个目标参考序列数据所包含的各个数据元素可以是上述参考序列数据库中对应参考序列数据的数据元素的子集。即，目标参考序列数据中进行特征增强的数据特征向量所对应的数据元素可以是上述参考序列数据库中该参考序列数据所包含的数据元素中一部分数据元素。

可以理解，当两两序列数据(例如查询视频与任一目标参考序列数据)进行特征增强时，待查询序列数据的各个数据元素的经过特征增强后的数据特征向量可以因与之共同进行特征增强的目标参考序列数据的不同而不同。

下面参考图3，图3示出了根据本说明书的实施例的各个数据元素的数据特征向量进行特征增强的过程300的一个示例的示意图。

在本实施例中，可以将待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量提供给图神经网络，以通过图神经网络的信息传递机制对待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强。具体地，针对各个目标参考序列数据，可以将该目标参考序列数据的各个数据元素的数据特征向量和上述待查询序列数据的各个数据元素的数据特征向量提供给图神经网络，从而得到融合有第一局部邻域信息和第二局部邻域信息的经过特征增强后的数据特征向量。

作为示例，如图3所示，将待查询序列数据310的各个数据元素的数据特征向量311和参考序列数据1(如图中320所示)的各个数据元素的数据特征向量321提供给图神经网络330。利用图神经网络的信息传递机制，数据特征向量311和数据特征向量321分别进行第一局部邻域信息的融合(如图340所示)以及数据特征向量311和数据特征向量321共同进行第二局部邻域信息的融合(如图350所示)，从而得到待查询序列数据310的各个数据元素的经过特征增强后的数据特征向量312以及参考序列数据1的各个数据元素的经过特征增强后的数据特征向量322。同理，可以将待查询序列数据的各个数据元素的数据特征向量分别与其他目标参考序列数据的各个数据元素的数据特征向量提供给图神经网络，从而得到待查询序列数据的各个数据元素的经过特征增强后的数据特征向量以及各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量。

需要说明的是，上述对第一局部邻域信息和第二局部邻域信息的融合可以采用并行或串行的方式。即，可以先分别对待查询序列数据的各个数据元素的数据特征向量和该目标参考序列数据的各个数据元素的数据特征向量进行第一局部邻域信息和第二局部邻域信息的融合，再将待查询序列数据的各个数据元素的、分别融合有第一局部邻域信息和第二局部邻域信息的数据特征向量进行融合，从而得到待查询序列的各个数据元素的经过特征增强后的数据特征向量。也可以先分别对待查询序列数据的各个数据元素的数据特征向量和该目标参考序列数据的各个数据元素的数据特征向量进行第一局部邻域信息的融合，再将待查询序列数据的各个数据元素的、融合有第一局部邻域信息的数据特征向量与该目标参考序列数据的各个数据元素的、融合有第一局部邻域信息的数据特征向量进行第二局部邻域信息的融合，从而得到待查询序列的各个数据元素的经过特征增强后的数据特征向量。同理，也可以得到该目标参考序列的各个数据元素的经过特征增强后的数据特征向量。

基于前述，本方案可以利用图神经网络的信息传递机制来实现各个数据元素的数据特征向量进行特征增强，从而丰富了融合有第一局部邻域信息和第二局部邻域信息的数据特征向量的生成方式，有助于提升所确定的序列数据之间的数据相似度的准确性。

在本实施例的一些可选的实现方式中，上述图神经网络可以包括用于融合上述第一局部邻域信息的图自注意力(self-attention)层和用于融合上述第二局部邻域信息的图交叉注意力(cross-attention)层。作为示例，图3中所示出的340和350可以分别用于表征上述图自注意力层和图交叉注意力层的实现机制。

可选地，上述图神经网络可以包括多个图注意力层。上述每个图注意力层可以包括上述图自注意力层和图交叉注意力层。从而，可以将前一图注意力层的输出作为下一图注意力层的输入，每个图注意力层的输入和输出之间的映射关系可以参考图3中所示出的340和350的相关描述。

基于上述可选的实现方式，提供了一种基于注意力机制的图神经网络的示例性实现形式，丰富了特征增强的实现途径。并可以通过多层图神经网络来学习序列数据间的关联信息，从而有助于进一步提升所确定的序列数据之间的数据相似度的准确性。,

回到图2，在240，根据待查询序列数据的各个数据元素的经过特征增强后的数据特征向量以及各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量，确定待查询序列数据和各个目标参考序列数据之间的相似度。

在本实施例中，根据待查询序列数据的各个数据元素的经过特征增强后的数据特征向量以及各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量，可以通过各种方式确定待查询序列数据和各个目标参考序列数据之间的相似度。作为示例，针对各个目标参考序列数据，可以确定该目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量与待查询序列数据的各个数据元素的经过特征增强后的数据特征向量之间的相似度。而后，可以将上述所确定的相似度的平均值、中位数、最大值等确定为该目标参考序列数据和上述待查询序列数据之间的相似度。从而，可以得到上述各个目标参考序列数据和上述待查询序列数据之间的相似度。

继续参见图4，图4示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的方法400的一个示例的流程图。

如图4所示，在410，获取待查询序列数据中的各个数据元素的数据特征向量。

在本实施例中，上述待查询序列数据中的各个数据元素分别对应有用于表征数据元素在待查询序列数据中的位置的序列位置特征向量。其中，上述序列位置特征向量可以是各种形式。上述待查询数据、待查询序列数据中的数据元素和数据特征向量可以参考前述图2所示的实施例的步骤210的相关描述，此处不再赘述。

在420，基于待查询序列数据的各个数据元素的数据特征向量以及参考序列数据库中的各个参考序列数据的数据元素的数据特征向量，从各个参考序列数据中选择第一数目个目标参考序列数据。

在本实施例中，上述参考序列数据库中的各个参考序列数据中的各个数据元素分别对应有用于表征数据元素在各个参考序列数据中的位置的序列位置特征向量。其中，上述序列位置特征向量的形式通常与步骤410中待查询序列数据中的各个数据元素所对应的序列位置特征向量的形式一致。

需要说明的是，上述第一数目个目标参考序列数据的选择过程可以参考前述图2实施例中步骤220的相应描述，此处不再赘述。

在430，将待查询序列数据以及各个目标参考序列数据中的各个数据元素的数据特征向量与对应的经过编码后的序列位置特征向量进行融合。

在本实施例中，可以通过各种位置编码(Positional Encoding)方式对上述各个数据元素所对应的序列位置特征向量分别进行编码，例如位置归一化(即编码为0～1之间的数值)、正余弦函数编码等。而后，可以通过各种方式将待查询序列数据与其对应的经过编码后的序列位置特征向量进行融合。同理，可以采用与上述方式一致的向量融合方式将各个目标参考序列数据中的各个数据元素的数据特征向量与其对应的经过编码后的序列位置特征向量进行融合。作为示例，针对各个目标参考序列数据，可以将该目标参考序列数据中的各个数据元素的数据特征向量与其对应的经过编码后的序列位置特征向量进行逐元素操作(例如add操作或加权求和)，得到各个目标参考序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量。作为又一示例，针对各个目标参考序列数据，可以将该目标参考序列数据中的各个数据元素的数据特征向量与其对应的经过编码后的序列位置特征向量进行连接(例如concat操作)，得到各个目标参考序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量。同理，可以得到上述待查询序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量。

在440，将待查询序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量和各个目标参考序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量提供给图神经网络，对待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强。

在本实施例中，上述图神经网络可以包括基于Transformer模型的图神经网络。并且，上述图神经网络可以包括用于融合上述第一局部邻域信息的图自注意力层和用于融合上述第二局部邻域信息的图交叉注意力层。特征增强后的各个数据元素的数据特征向量可以融合有第一局部邻域信息和第二局部邻域信息。上述第一局部邻域信息和第二局部邻域信息可以参考前述图2实施例中步骤220的相关描述，此处不再赘述。

需要说明的是，上述各个数据元素的数据特征向量的特征增强过程可以参考前述图2实施例中步骤230或图3实施例中的相应描述，只是将各个数据元素的数据特征向量相应替换为各个数据元素的融合有序列位置特征向量的数据特征向量，此处不再赘述。

在450，根据待查询序列数据的各个数据元素的经过特征增强后的数据特征向量以及各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量，确定待查询序列数据和各个目标参考序列数据之间的相似度。

在本实施例中，上述待查询序列数据和各个目标参考序列数据之间的相似度的确定过程可以参考前述图2实施例中步骤240的相应描述，只是将各个数据元素的经过特征增强后的数据特征向量相应替换为上述步骤440所得到的各个数据元素的经过特征增强后的融合有序列位置特征向量的数据特征向量，此处不再赘述。

基于前述，本方案可以通过基于Transformer模型的图神经网络与融合有序列位置特征向量的数据特征向量之间的相互配合，保留各个数据元素在原序列数据中的位置信息，从而丰富了特征增强的方式，进而也有助于进一步提升所确定的序列数据之间的数据相似度的准确性。,

继续参见图5，图5示出了根据本说明书的实施例的待查询序列数据和各个目标参考序列数据之间的相似度的确定过程500的示意图。

如图5所示，在510，基于待查询序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量和各个目标参考序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量，确定待查询序列数据与各个目标参考序列数据之间的第一相似度矩阵。

在本实施例中，针对各个目标参考序列数据，可以确定上述待查询序列数据与该目标参考序列数据之间的第一相似度矩阵。其中，上述第一相似度矩阵中的行和列可以分别与上述待查询序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量和该目标参考序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量相对应(也可以相反，即转置矩阵)。从而，上述第一相似度矩阵中的元素(例如可以用S

在520，基于待查询序列数据的各个数据元素的经过特征增强后的数据特征向量和各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量，确定待查询序列数据与各个目标参考序列数据之间的第二相似度矩阵。

在本实施例中，针对各个目标参考序列数据，可以通过与上述步骤510类似的方式确定上述待查询序列数据与该目标参考序列数据之间的第二相似度矩阵。其中，上述第二相似度矩阵中的行和列可以分别与上述待查询序列数据的各个数据元素的经过特征增强后的数据特征向量和该目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量相对应(也可以相反，即转置矩阵)。从而，上述第二相似度矩阵中的元素(例如可以用S

需要说明的是，上述待查询序列数据的各个数据元素的经过特征增强后的数据特征向量和各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量可以根据上述图4所示的实施例中步骤440所得到。

在530，基于第一相似度矩阵和第二相似度矩阵，确定待查询序列数据和各个目标参考序列数据之间的相似度。

在本实施例中，针对各个目标参考序列数据，基于该目标参考序列数据对应的第一相似度矩阵和第二相似度矩阵，可以通过各种方式确定待查询序列数据和该目标参考序列数据之间的相似度。作为示例，可以分别确定上述第一相似度矩阵和第二相似度矩阵中各元素的平均值。然后将上述第一相似度矩阵对应的平均值与上述第二相似度矩阵对应的平均值进行加权求和的结果作为上述待查询序列数据和该目标参考序列数据之间的相似度。

基于前述，本方案可以综合特征增强前后的数据特征向量之间的相似度来最终确定待查询序列数据和各目标参考序列数据之间的相似度，从而有助于提升相似度确定的准确性。

图6示出了根据本说明书的实施例的待查询序列数据和各个目标参考序列数据之间的相似度的确定过程600的示意图。

如图6所示，在610，将第一相似度矩阵和第二相似度矩阵叠加融合，得到第三相似度矩阵。

在本实施例中，针对各个目标参考序列数据，可以通过各种方式将该目标参考序列数据对应的第一相似度矩阵和第二相似度矩阵叠加融合，得到第三相似度矩阵。其中，上述叠加融合的方式可以是两个矩阵中对应位置的元素逐个操作，上述操作可以包括但不限于以下至少一项：取较大值，取较小值，取平均值，加权求和。

在本实施例的一些可选的实现方式中，可以基于attention机制对上述第一相似度矩阵和上述第二相似度矩阵进行叠加融合，得到第三相似度矩阵。作为示例，针对各个目标参考序列数据，可以将该目标参考序列数据对应的第一相似度矩阵和第二相似度矩阵提供给与上述图神经网络共同训练的注意力(attention)网络，即将该目标参考序列数据对应的第一相似度矩阵中的各元素与上述注意力网络训练得到的相应权重相乘再与第二相似度矩阵中的各元素与上述注意力网络训练得到的相应权重相乘的结果相加，从而得到该目标参考序列数据对应的第三相似度矩阵。

在620，基于第三相似度矩阵，确定待查询序列数据和各个目标参考序列数据之间的相似度。

在本实施例中，针对各个目标参考序列数据，基于该目标参考序列数据对应的第三相似度矩阵，可以通过各种方式确定待查询序列数据和该目标参考序列数据之间的相似度。作为示例，当上述第三相似度矩阵的行与上述待查询序列数据的各个数据元素相对应时，可以从上述第三相似度矩阵的每一行中选取数值最大的元素作为该行对应的相似度。而后，可以将各行对应的相似度的平均值确定为待查询序列数据和该目标参考序列数据之间的相似度。同理，可以确定上述待查询序列数据和其他各个目标参考序列数据之间的相似度。

基于上述可选的实现方式，提供了将第一相似度矩阵和第二相似度矩阵叠加融合成第三相似度矩阵，以及基于第三相似度矩阵确定待查询序列数据和各个目标参考序列数据之间的相似度的方案，从而有助于进一步提升所确定的序列数据之间的数据相似度的准确性。

图7示出了根据本说明书的实施例的目标参考序列数据的选择过程700的示意图。

如图7所示，在710，根据待查询序列数据的各个数据元素的数据特征向量以及参考序列数据库中的各个参考序列数据的数据元素的数据特征向量之间的相似度，从参考序列数据库中选择第二数目个候选数据元素。

在本实施例中，针对待查询序列数据的各个数据元素的数据特征向量，从上述参考序列数据库中选取数据特征向量与该数据元素的数据特征向量之间的相似度满足预设选取条件的数据元素作为候选数据元素。其中，上述预设选取条件例如可以是相似度大于预设阈值，也可以是相似度最高的前N(N为正整数，例如可以为上述第二数目与待查询序列数据中所包含的数据元素的数目之比)个。从而，可以从参考序列数据库中选择第二数目个候选数据元素。可以理解，上述第二数目通常不小于上述第一数目。

在720，基于参考序列数据库中的参考序列数据所包含的候选数据元素的数目，从参考序列数据库中选择第一数目个目标参考序列数据。

在本实施例中，可以将上述候选数据元素按照所属于的参考序列数据进行计数，得到上述参考序列数据库中包含有候选数据元素的各个参考序列数据所包含的候选数据元素的数目。作为示例，上述第二数目个候选数据元素例如可以包括参考序列数据1的数据元素a、参考序列数据1的数据元素c、参考序列数据1的数据元素d、参考序列数据2的数据元素f、参考序列数据3的数据元素k、参考序列数据3的数据元素s。从而，参考序列数据库中参考序列数据1、参考序列数据2、参考序列数据3所包含的候选数据元素的数目可以分别为3个、1个、2个。

在本实施例中，基于参考序列数据库中的参考序列数据所包含的候选数据元素的数目，可以通过各种方式从参考序列数据库中选择第一数目个目标参考序列数据。作为示例，可以选取所包含的候选数据元素的数目最多的前第一数目个参考序列数据作为目标参考序列数据。作为又一示例，针对上述参考序列数据库中包含有候选数据元素的各个参考序列数据，可以根据该参考序列数据所包含的候选数据元素的数目和所包含的候选数据元素的数据特征向量与待查询序列数据中相应数据元素的数据特征向量之间的相似度来确定该参考序列数据的得分。其中，上述得分例如可以根据数目得分和相似度得分来综合计算。上述数目得分例如可以根据上述参考序列数据库中包含有候选数据元素的各个参考序列数据所包含的候选数据元素的数目对该参考序列数据所包含的候选数据元素的数目进行归一化，得到取值区间为[0,1]的数目得分。上述相似度得分例如可以是该参考序列数据所包含的各个候选数据元素的数据特征向量与待查询序列数据中相应数据元素的数据特征向量之间的相似度的平均值。之后，可以选取得分最高的前第一数目个参考序列数据或者得分大于预定阈值的参考序列数据作为目标参考序列数据。

基于上述可选的实现方式，提供了将基于相似度的候选数据元素确定方法和基于参考序列数据库中的参考序列数据所包含的候选数据元素的数目的目标参考序列数据的选取方法进行融合的方案，从而可以兼顾效率与准确性。

图8示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的方法的应用场景800的示意图。

如图8所示，可以首先获取查询视频中的各个关键帧的帧特征向量(如图8中810所示)。其中，上述查询视频中例如可以包括N(N为正整数)个关键帧，所对应的帧特征向量可以用f

需要说明的是，上述特征增强过程和查询视频分别与参考视频1～参考视频T之间的相似度的确定过程可以参考前述实施例中的相应描述，此处不再赘述。可以理解，查询视频的各个关键帧的经过特征增强后的数据特征向量可以因与之共同进行特征增强的参考视频(例如目标参考视频中的任一)的不同而不同。

基于上述可选的实现方式，提供了一种基于特征增强来确定视频相似度的方法，将关键帧而非均匀帧与特征增强方式进行有机结合，在保证准确性的前提下减少了计算量。并且通过特征增强来挖掘不同视频之间的关联和同一视频内各关键帧之间的关联，从而增强帧特征向量的表征能力，从而能够在诸如关键帧个数较少的短视频相似匹配等领域显著提高视频相似度计算的准确性。

利用图1-图8中公开的用于确定序列数据之间的数据相似度的方法，可以将各个数据元素的、融合有与同一序列数据的数据元素对应的第一局部邻域信息和与待查询序列数据的数据元素和目标参考序列数据的数据元素之间的交互对应的第二局部邻域信息的、数据特征向量作为序列数据之间的相似度的确定依据。与单纯使用从序列数据中均匀抽取的数据元素的数据特征向量作为相似度的确定依据相比，由于可以通过特征增强来挖掘不同序列数据之间的关联和同一序列数据内各数据元素之间的关联，因而增强了数据特征向量的表征能力。从而有助于实现通过较少的、具有更强表征能力的数据特征向量来高效、准确地确定序列数据之间的相似度。

图9示出了根据本说明书的实施例的用于侵权判定的方法900的流程图。

如图9所示，在910，获取待查询序列数据中的各个数据元素的数据特征向量。

在920，基于待查询序列数据的各个数据元素的数据特征向量以及参考序列数据库中的各个参考序列数据的数据元素的数据特征向量，从各个参考序列数据中选择第一数目个目标参考序列数据。

在930，对待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强。

在940，根据待查询序列数据的各个数据元素的经过特征增强后的数据特征向量以及各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量，确定待查询序列数据和各个目标参考序列数据之间的相似度。

需要说明的是，上述步骤910至步骤940可以参考前述图2实施例中步骤210至步骤240的相关描述，此处不再赘述。

在950，响应于待查询序列数据和各个目标参考序列数据之间存在大于预定阈值的相似度，确定待查询序列数据为侵权数据。

在本实施例中，响应于待查询序列数据和各个目标参考序列数据之间存在大于预定阈值的相似度，可以确定上述待查询序列数据为侵权数据。

基于上述，提供了可以应用于文档、图像、音频、视频等领域的侵权判定方法，以更为高效、准确地发现所上传或使用的各种序列数据是否涉嫌抄袭。

图10示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的装置1000的一个示例的方框图。该装置实施例可以与图2-图8所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图10所示，用于确定序列数据之间的数据相似度的装置1000可以包括特征获取单元1010、数据选取单元1020、特征增强单元1030和相似度确定单元1040。

特征获取单元1010，被配置为获取待查询序列数据中的各个数据元素的数据特征向量。特征获取单元1010的操作可以参考上面图2描述的210的操作。

数据选取单元1020，被配置为基于待查询序列数据的各个数据元素的数据特征向量以及参考序列数据库中的各个参考序列数据的数据元素的数据特征向量，从各个参考序列数据中选择第一数目个目标参考序列数据。数据选取单元1020的操作可以参考上面图2描述的220的操作。

在一个示例中，数据选取单元1020可以被进一步配置为：根据待查询序列数据的各个数据元素的数据特征向量以及参考序列数据库中的各个参考序列数据的数据元素的数据特征向量之间的相似度，从参考序列数据库中选择第二数目个候选数据元素，其中，第二数目不小于上述第一数目；基于参考序列数据库中的参考序列数据所包含的候选数据元素的数目，从参考序列数据库中选择第一数目个目标参考序列数据。数据选取单元1020的操作可以参考上面图7描述的目标参考序列数据的选择过程。

在一个示例中，上述待查询序列数据和参考序列数据可以分别包括待查询视频数据和参考视频数据。上述待查询序列数据和参考序列数据中的数据元素可以分别包括待查询视频数据和参考视频数据中的视频关键帧。

特征增强单元1030，被配置为对待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强。其中，特征增强后的各个数据元素的数据特征向量可以融合有第一局部邻域信息和第二局部邻域信息。上述第一局部邻域信息可以与同一序列数据的数据元素对应。上述第二局部邻域信息可以与待查询序列数据的数据元素和目标参考序列数据的数据元素之间的交互对应。特征增强单元1030的操作可以参考上面图2描述的230的操作。

在一个示例中，上述特征增强单元1030可以被进一步配置为：将待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量提供给图神经网络，对待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强。特征增强单元1030的操作可以参考上面图3描述的特征增强的过程。

在一个示例中，上述图神经网络可以包括用于融合上述第一局部邻域信息的图自注意力层和用于融合上述第二局部邻域信息的图交叉注意力层。

相似度确定单元1040，可以被配置为根据待查询序列数据的各个数据元素的经过特征增强后的数据特征向量以及各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量，确定待查询序列数据和各个目标参考序列数据之间的相似度。相似度确定单元1040的操作可以参考上面图2描述的240的操作。

图11示出了根据本说明书的实施例的用于确定序列数据之间的数据相似度的装置1100的一个示例的方框图。该装置实施例可以与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图11所示，用于确定序列数据之间的数据相似度的装置1100包括特征获取单元1110、数据选取单元1120、向量融合单元1130、特征增强单元1140和相似度确定单元1150。

上述图神经网络可以包括基于Transformer模型的图神经网络。各个数据元素可以分别对应有用于表征数据元素在序列数据中的位置的序列位置特征向量。

向量融合单元1130，可以被配置为将待查询序列数据以及各个目标参考序列数据中的各个数据元素的数据特征向量与对应的经过编码后的序列位置特征向量进行融合。向量融合单元1130的操作可以参考上面图4描述的430的操作。

特征增强单元1140可以被进一步配置为：将待查询序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量和各个目标参考序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量提供给图神经网络，对待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强。特征增强单元1140的操作可以参考上面图4描述的440的操作。

特征获取单元1110、数据选取单元1120和相似度确定单元1150可以分别参考图10的实施例中特征获取单元1010、数据选取单元1020和相似度确定单元1040的相应描述，此处不再赘述。

图12示出了根据本说明书的实施例的相似度确定单元1200的一个示例的方框图。该装置实施例可以与图5所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图12所示，上述相似度确定单元1200包括第一相似度确定模块1210、第二相似度确定模块1220和相似度确定模块1230。

第一相似度确定模块1210，可以被配置为基于待查询序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量和各个目标参考序列数据的各个数据元素的融合有序列位置特征向量的数据特征向量，确定待查询序列数据与各个目标参考序列数据之间的第一相似度矩阵。第一相似度确定模块1210的操作可以参考上面图5描述的510的操作。

第二相似度确定模块1220，可以被配置为基于待查询序列数据的各个数据元素的经过特征增强后的数据特征向量和各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量，确定待查询序列数据与各个目标参考序列数据之间的第二相似度矩阵。第二相似度确定模块1220的操作可以参考上面图5描述的520的操作。

相似度确定模块1230，可以被配置为基于第一相似度矩阵和第二相似度矩阵，确定待查询序列数据和各个目标参考序列数据之间的相似度。相似度确定模块1230的操作可以参考上面图5描述的530的操作。

图13示出了根据本说明书的实施例的相似度确定模块1300的一个示例的方框图。该装置实施例可以与图6所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图13所示，上述相似度确定模块1300包括相似度叠加子模块1310和相似度确定子模块1320。

相似度叠加子模块1310，可以被配置为将第一相似度矩阵和第二相似度矩阵叠加融合，得到第三相似度矩阵。相似度叠加子模块1310的操作可以参考上面图6描述的610的操作。

在一个示例中，相似度叠加子模块1310可以被进一步配置成：基于attention机制对第一相似度矩阵和第二相似度矩阵进行叠加融合，得到第三相似度矩阵。相似度叠加子模块1310的操作可以参考上面图6描述的步骤620的可选的实现方式的操作。

相似度确定子模块1320，可以被配置为基于第三相似度矩阵，确定待查询序列数据和各个目标参考序列数据之间的相似度。相似度确定子模块1320的操作可以参考上面图6描述的620的操作。

图14示出了根据本说明书的实施例的用于侵权判定的装置1400的一个示例的方框图。该装置实施例可以与图9所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图14所示，用于侵权判定的装置1400包括用于确定序列数据之间的数据相似度的装置1410和侵权判定单元1420。

用于确定序列数据之间的数据相似度的装置1410可以参考上面图10至图13的实施例中的相应描述。

侵权判定单元1420，被配置为响应于待查询序列数据和各个目标参考序列数据之间存在大于预定阈值的相似度，确定待查询序列数据为侵权数据。侵权判定单元1420的操作可以参考上面图9描述的950的操作。

以上参照图1到图14，对根据本说明书实施例的用于确定序列数据之间的数据相似度的方法和装置、以及用于侵权判定的方法和装置的实施例进行了描述。

本说明书实施例的用于确定序列数据之间的数据相似度的装置和用于侵权判定的装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本说明书实施例中，用于确定序列数据之间的数据相似度的装置和用于侵权判定的装置例如可以利用电子设备实现。

图15示出了本说明书的实施例的用于确定序列数据之间的数据相似度的装置1500的示意图。

如图15所示，用于确定序列数据之间的数据相似度的装置1500可以包括至少一个处理器1510、存储器(例如，非易失性存储器)1520、内存1530和通信接口1540，并且至少一个处理器1510、存储器1520、内存1530和通信接口1540经由总线1550连接在一起。至少一个处理器1510执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器1510：获取待查询序列数据中的各个数据元素的数据特征向量；基于待查询序列数据的各个数据元素的数据特征向量以及参考序列数据库中的各个参考序列数据的数据元素的数据特征向量，从各个参考序列数据中选择第一数目个目标参考序列数据；对待查询序列数据的各个数据元素的数据特征向量和各个目标参考序列数据的各个数据元素的数据特征向量进行特征增强，其中，特征增强后的各个数据元素的数据特征向量融合有第一局部邻域信息和第二局部邻域信息，第一局部邻域信息与同一序列数据的数据元素对应，第二局部邻域信息与待查询序列数据的数据元素和目标参考序列数据的数据元素之间的交互对应；以及根据待查询序列数据的各个数据元素的经过特征增强后的数据特征向量以及各个目标参考序列数据的各个数据元素的经过特征增强后的数据特征向量，确定待查询序列数据和各个目标参考序列数据之间的相似度。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器1510进行本说明书的各个实施例中以上结合图1-8描述的各种操作和功能。

图16示出了本说明书的实施例的用于侵权判定的装置1600的示意图。

如图16所示，用于侵权判定的装置1600可以包括至少一个处理器1610、存储器(例如，非易失性存储器)1620、内存1630和通信接口1640，并且至少一个处理器1610、存储器1620、内存1630和通信接口1640经由总线1650连接在一起。至少一个处理器1610执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器1610：执行如前所述的用于确定序列数据之间的数据相似度的方法；响应于待查询序列数据和各个目标参考序列数据之间存在大于预定阈值的相似度，确定待查询序列数据为侵权数据。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器1610进行本说明书的各个实施例中以上结合图9描述的各种操作和功能。

根据一个实施例，提供了一种例如计算机可读介质的程序产品。计算机可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被计算机执行时，使得计算机执行本说明书的各个实施例中以上结合图1-9描述的各种操作和功能。

具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

本说明书各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写，包括面向对象编程语言，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB、NET以及Python等，常规程序化编程语言如C语言、Visual Basic 2003、Perl、COBOL2002、PHP以及ABAP，动态编程语言如Python、Ruby和Groovy，或者其他编程语言等。该程序编码可以在用户计算机上运行，或者作为独立的软件包在用户计算机上运行，或者部分在用户计算机上运行另一部分在远程计算机运行，或者全部在远程计算机或服务器上运行。在后一种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或者在云计算环境中，或者作为服务使用，比如软件即服务(SaaS)。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

以上结合附图详细描述了本说明书的实施例的可选实施方式，但是，本说明书的实施例并不限于上述实施方式中的具体细节，在本说明书的实施例的技术构思范围内，可以对本说明书的实施例的技术方案进行多种简单变型，这些简单变型均属于本说明书的实施例的保护范围。

本说明书内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本说明书内容。对于本领域普通技术人员来说，对本说明书内容进行的各种修改是显而易见的，并且，也可以在不脱离本说明书内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本说明书内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。