多媒体资源的处理方法、装置、电子设备及存储介质

技术领域

本公开总体说来涉及数据处理技术领域，更具体地讲，涉及一种多媒体资源的处理方法、装置、电子设备及存储介质。

背景技术

随着电子技术的发展，获取信息的渠道越来越丰富。用户可通过终端发布多媒体资源来向其他终端推荐好用的物品，例如，用户可以通过终端从物品库中手动选择想要推荐的物品，并将所选择的物品与该多媒体资源绑定，从而其他终端可便捷地获知、获取好用的物品。

发明内容

本公开的示例性实施例在于提供一种多媒体资源的处理方法、装置、电子设备及存储介质，能够自动、精准地从预设物品库中检索与目标终端上传的多媒体资源中的物品相匹配的匹配物品，并通知目标终端在目标多媒体资源中添加与该物品的匹配物品对应的触控元素。

根据本公开实施例的第一方面，提供一种多媒体资源的处理方法，所述处理方法包括：通过目标终端上传目标多媒体资源，其中，所述目标多媒体资源中记录有至少一个物品的描述信息，且所述目标多媒体资源中未包含属于所述至少一个物品的触控元素，所述触控元素用于在被执行触控操作时展示所述至少一个物品的物品信息；接收服务端下发的通知消息，其中，所述通知消息用于通知所述目标终端在所述目标多媒体资源中添加属于所述至少一个物品的触控元素。

可选地，所述处理方法还包括：响应于对所述通知消息的操作，显示所述目标多媒体资源的编辑页面；响应于在所述编辑页面中接收到的触控元素添加操作，在所述目标多媒体资源中添加属于所述至少一个物品的触控元素；其中，所述编辑页面包括至少一个候选触控元素的标识信息。

可选地，在所述目标多媒体资源满足预设条件的情况下，接收所述服务端下发的通知消息；其中，所述预设条件包括：被发布的时长小于预设时长。

根据本公开实施例的第二方面，提供一种多媒体资源的处理方法，所述处理方法包括：获取目标终端发送的目标多媒体资源，其中，所述目标多媒体资源中记录有至少一个物品的描述信息，且所述目标多媒体资源中未包含属于所述至少一个物品的触控元素，所述触控元素用于在被执行触控操作时展示所述至少一个物品的物品信息；从预设物品库中检索与所述至少一个物品相匹配的匹配物品；响应于检索到所述匹配物品，通知所述目标终端在所述目标多媒体资源中添加属于所述至少一个物品的触控元素。

可选地，所述至少一个物品的描述信息包括以下项之中的至少一项：所述至少一个物品的图像信息、所述至少一个物品的音频描述信息、所述至少一个物品的文本描述信息；所述至少一个物品的物品信息包括：预设物品库中与所述至少一个物品相匹配的匹配物品的介绍信息和/或从所述预设物品库获取所述匹配物品的引导信息。

可选地，从预设物品库中检索与所述至少一个物品相匹配的匹配物品的步骤包括：确定所述目标多媒体资源包含的预设类型的物品；从包含的所述预设类型的物品中确定所述目标多媒体资源所推荐的物品，作为所述至少一个物品；从所述预设物品库中检索与所述至少一个物品相匹配的匹配物品。

可选地，在所述目标多媒体资源为视频或图像的情况下，确定所述目标多媒体资源包含的预设类型的物品的步骤包括：从所述目标多媒体资源中获取所述预设类型的物品的物品图像；对获取的所有物品图像进行聚类，得到至少一个类别，其中，每个类别分别对应于一款物品；将各个类别对应的物品确定为所述目标多媒体资源包含的所述预设类型的物品。

可选地，从包含的所述预设类型的物品中确定所述目标多媒体资源所推荐的物品作为所述至少一个物品的步骤包括：针对包含的所述预设类型的物品中的每款物品，根据该物品的推荐信息，确定该物品是否是所述目标多媒体资源所推荐的物品；其中，物品的推荐信息包括以下项之中的至少一项：该物品在所述目标多媒体资源中出现的频次、该物品在所述目标多媒体资源中的出现时长占比、该物品在所述目标多媒体资源中的画面占比、该物品所属的类目与所述目标多媒体资源所推荐的类目的匹配关系。

可选地，从所述预设物品库中检索与所述至少一个物品相匹配的匹配物品的步骤包括：从所述预设物品库中检索，特征向量与所述至少一个物品的特征向量的相似度超过预设阈值的物品，作为所述匹配物品；其中，所述至少一个物品的特征向量是从该物品的描述信息中提取得到的。

根据本公开实施例的第三方面，提供一种多媒体资源的处理装置，所述处理装置包括：资源上传单元，被配置为通过目标终端上传目标多媒体资源，其中，所述目标多媒体资源中记录有至少一个物品的描述信息，且所述目标多媒体资源中未包含属于所述至少一个物品的触控元素，所述触控元素用于在被执行触控操作时展示所述至少一个物品的物品信息；消息接收单元，被配置为接收服务端下发的通知消息，其中，所述通知消息用于通知所述目标终端在所述目标多媒体资源中添加属于所述至少一个物品的触控元素。

可选地，所述处理装置还包括：触控元素添加单元，被配置为响应于对所述通知消息的操作，显示所述目标多媒体资源的编辑页面；响应于在所述编辑页面中接收到的触控元素添加操作，在所述目标多媒体资源中添加属于所述至少一个物品的触控元素；其中，所述编辑页面包括至少一个候选触控元素的标识信息。

可选地，在所述目标多媒体资源满足预设条件的情况下，消息接收单元接收所述服务端下发的通知消息；其中，所述预设条件包括：被发布的时长小于预设时长。

根据本公开实施例的第四方面，提供一种多媒体资源的处理装置，所述处理装置包括：资源获取单元，被配置为获取目标终端上传的目标多媒体资源，其中，所述目标多媒体资源中记录有至少一个物品的描述信息，且所述目标多媒体资源中未包含属于所述至少一个物品的触控元素，所述触控元素用于在被执行触控操作时展示所述至少一个物品的物品信息；物品检索单元，被配置为从预设物品库中检索与所述至少一个物品相匹配的匹配物品；通知单元，被配置为响应于检索到所述匹配物品，通知所述目标终端在所述目标多媒体资源中添加属于所述至少一个物品的触控元素。

可选地，所述至少一个物品的描述信息包括以下项之中的至少一项：所述至少一个物品的图像信息、所述至少一个物品的音频描述信息、所述至少一个物品的文本描述信息；所述至少一个物品的物品信息包括：预设物品库中与所述至少一个物品相匹配的匹配物品的介绍信息和/或从所述预设物品库获取所述匹配物品的引导信息。

可选地，物品检索单元被配置为：确定所述目标多媒体资源包含的预设类型的物品；从包含的所述预设类型的物品中确定所述目标多媒体资源所推荐的物品，作为所述至少一个物品；从所述预设物品库中检索与所述至少一个物品相匹配的匹配物品。

可选地，在所述目标多媒体资源为视频或图像的情况下，物品检索单元被配置为：从所述目标多媒体资源中获取所述预设类型的物品的物品图像；对获取的所有物品图像进行聚类，得到至少一个类别，其中，每个类别分别对应于一款物品；将各个类别对应的物品确定为所述目标多媒体资源包含的所述预设类型的物品。

可选地，物品检索单元被配置为：针对包含的所述预设类型的物品中的每款物品，根据该物品的推荐信息，确定该物品是否是所述目标多媒体资源所推荐的物品；其中，物品的推荐信息包括以下项之中的至少一项：该物品在所述目标多媒体资源中出现的频次、该物品在所述目标多媒体资源中的出现时长占比、该物品在所述目标多媒体资源中的画面占比、该物品所属的类目与所述目标多媒体资源所推荐的类目的匹配关系。

可选地，物品检索单元被配置为：从所述预设物品库中检索，特征向量与所述至少一个物品的特征向量的相似度超过预设阈值的物品，作为所述匹配物品；其中，所述至少一个物品的特征向量是从该物品的描述信息中提取得到的。

根据本公开实施例的第五方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的多媒体资源的处理方法。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，当述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的多媒体资源的处理方法。

根据本公开示例性实施例的多媒体资源的处理方法、装置、电子设备及存储介质，能够自动、精准地从预设物品库中检索与目标终端上传的多媒体资源中的物品相匹配的匹配物品，并通知目标终端在目标多媒体资源中添加与该物品的匹配物品对应的触控元素。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1示出根据本公开示例性实施例的多媒体资源的处理方法的流程图；

图2示出根据本公开的另一示例性实施例的多媒体资源的处理方法的流程图；

图3示出根据本公开示例性实施例的从预设物品库中检索与所述至少一个物品相匹配的匹配物品的方法的流程图；

图4示出根据本公开示例性实施例的检索与所述至少一个物品相匹配的匹配物品的方法的示例；

图5示出根据本公开示例性实施例的多媒体资源的处理方法的示例；

图6示出根据本公开示例性实施例的多媒体资源的处理装置的结构框图；

图7示出根据本公开的另一示例性实施例的多媒体资源的处理装置的结构框图；

图8示出根据本公开示例性实施例的电子设备的结构框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：（1）包括A；（2）包括B；（3）包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：（1）执行步骤一；（2）执行步骤二；（3）执行步骤一和步骤二。

需要说明的是，本公开所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于展示的数据、分析的数据等），均为经用户授权或者经过各方充分授权的信息和数据。

图1示出根据本公开示例性实施例的多媒体资源的处理方法的流程图。作为示例，根据本公开示例性实施例的多媒体资源的处理方法可由用户终端来执行。

参照图1，在步骤S101，通过目标终端上传目标多媒体资源。

所述目标多媒体资源中记录有至少一个物品的描述信息，且所述目标多媒体资源中未包含属于所述至少一个物品的触控元素，所述触控元素用于在被执行触控操作时展示所述至少一个物品的物品信息。

作为示例，所述至少一个物品的描述信息可包括但不限于以下项之中的至少一项：所述至少一个物品的图像信息、所述至少一个物品的音频描述信息、所述至少一个物品的文本描述信息。

作为示例，所述至少一个物品的物品信息可包括但不限于：预设物品库中与所述至少一个物品相匹配的匹配物品的介绍信息和/或从所述预设物品库获取所述匹配物品的引导信息。与所述至少一个物品相匹配的匹配物品可理解为与所述至少一个物品相同或相似的物品。

作为示例，所述至少一个物品的物品信息可包含：所述至少一个物品的全部或部分的描述信息。

在步骤S102，接收服务端下发的通知消息。

所述通知消息用于通知所述目标终端在所述目标多媒体资源中添加属于所述至少一个物品的触控元素。

作为示例，服务端可针对上传的全部或部分多媒体资源下发对应的通知消息。作为示例，在所述目标多媒体资源满足预设条件的情况下，才可接收所述服务端下发的通知消息。例如，所述预设条件可包括：被发布的时长小于预设时长。

此外，作为示例，根据本公开示例性实施例的多媒体资源的处理方法还可包括：响应于对所述通知消息的操作，显示所述目标多媒体资源的编辑页面；响应于在所述编辑页面中接收到的触控元素添加操作，在所述目标多媒体资源中添加属于所述至少一个物品的触控元素；其中，所述编辑页面包括至少一个候选触控元素的标识信息。

所述至少一个候选触控元素的标识信息可由服务端提供。

作为示例，不同候选触控元素对应的匹配物品不同。

根据本公开的示例性实施例，可在目标多媒体资源被浏览的过程中，在目标多媒体资源的特定区域显示属于所述至少一个物品的触控元素。例如，当目标多媒体资源为视频时，可在播放包括所述至少一个物品的描述信息的视频帧时，显示属于所述至少一个物品的触控元素。

图2示出根据本公开示例性实施例的多媒体资源的处理方法的流程图。作为示例，根据本公开示例性实施例的多媒体资源的处理方法可由服务端执行。

参照图2，在步骤S201，获取目标终端发送的目标多媒体资源。

所述目标多媒体资源中记录有至少一个物品的描述信息，且所述目标多媒体资源中未包含属于所述至少一个物品的触控元素，所述触控元素用于在被执行触控操作时展示所述至少一个物品的物品信息。

作为示例，目标多媒体资源可为已发布或待发布的多媒体资源。

作为示例，目标终端可为能够通过多媒体资源发布平台发布多媒体资源的终端。

作为示例，目标多媒体资源的类型可包括但不限于以下项之中的至少一项：视频、图像、图文。

作为示例，目标多媒体资源可包括未绑定物品（即，未包含属于所述至少一个物品的触控元素）的多媒体资源和/或物品绑定失败的多媒体资源。例如，物品绑定失败可由于用户通过终端手动绑定的匹配物品与多媒体资源的内容匹配度低所导致。

作为示例，待发布的目标多媒体资源可包括：请求发布的目标多媒体资源。

作为示例，所述至少一个物品的描述信息可包括但不限于以下项之中的至少一项：所述至少一个物品的图像信息、所述至少一个物品的音频描述信息、所述至少一个物品的文本描述信息。

作为示例，所述至少一个物品的物品信息可包括：预设物品库中与所述至少一个物品相匹配的匹配物品的介绍信息和/或从所述预设物品库获取所述匹配物品的引导信息。

在步骤S202，从预设物品库中检索与所述至少一个物品相匹配的匹配物品。

作为示例，可基于所述至少一个物品的描述信息及目标多媒体资源的信息，预设物品库中检索与所述至少一个物品相匹配的匹配物品。

作为示例，目标多媒体资源的信息可包括目标多媒体资源的图像信息、音频信息、文本信息之中的至少一项。

作为示例，目标多媒体资源的文本信息可包括但不限于以下项之中的至少一项：从目标多媒体资源的图像中识别到的文本信息（例如，字幕等）、目标多媒体资源本身包括的文本信息、目标多媒体资源的文本描述信息（例如，介绍信息、标题等）、从目标多媒体资源的语音中识别到的文本信息。

例如，在目标多媒体资源为视频的情况下，目标多媒体资源的图像即目标多媒体资源的视频帧，在目标多媒体资源为图像的情况下，目标多媒体资源的图像即目标多媒体资源本身。

作为示例，物品的类型可包括但不限于以下项之中的至少一项：同种物品、物品组合、物品套装。

作为示例，步骤S202可包括：判断目标多媒体资源是否满足推荐物品的条件（即，识别目标终端是否可以通过目标多媒体资源推荐物品）；在确定目标多媒体资源满足推荐物品的条件的情况下，从所述预设物品库中检索与所述至少一个物品相匹配的匹配物品。

可选地，上述推荐物品的条件包括目标多媒体资源中包含物品的信息满足预定条件。具体地，该预定条件包括下述至少之一：目标多媒体资源中包含物品的特定信息，或，包含物品的信息的信息量达到阈值。

作为一种可选的示例，若目标多媒体资源中包含物品的信息的视频帧占据该目标多媒体资源全部帧的比例超过预定比例，如，30%（该比例可基于历史经验获得，本申请对此不作限制），则确定目标多媒体资源中包含信息的信息量达到阈值，从而确定出该目标多媒体资源满足推荐物品的条件。

作为另一种可选的示例，若目标多媒体资源中包含物品的信息的视频片段的总时长超过该目标多媒体资源时长的预定比例，如，上述视频片段的总时长超过该目标多媒体资源总时长的30%或更多（该比例可基于历史经验获得，本申请对此不作限制），则确定目标多媒体资源中包含信息的信息量达到阈值，从而确定出该目标多媒体资源满足推荐物品的条件。这里的视频片段可以为一个片段或多个片段，若视频片段为多个，则这里的视频片段的总时长则为多个视频片段的时长之和。另外，这里的片段不限定在物理上真实分隔的片段，该片段的最小单元可以是1个视频帧，若目标多媒体资源中存在1个或连续多个视频帧中存在物品的信息，该1个或连续多个视频帧可以是上述的视频片段。

作为另一种可选的示例，物品的特定信息可以为物品的评价信息，具体地，若目标多媒体资源中包含指向物品的特定描述信息，则确定该目标多媒体资源满足推荐物品的条件。具体地，该特定描述信息可以为物品的评价信息。例如，目标多媒体资源中包含某物品的价格评价信息（便宜或贵等）、或性能评价信息（好用不好用、待机时长、颜色好看不好看、轻便或笨重等）等。

需要说明的是，上述的物品可以为单一物品，也可以为多个物品的集合，或多个物品的复合。

作为再一种可选的示例，可使用识别模型（例如，基于深度学习的识别模型）来判断目标多媒体资源是否满足推荐物品的条件。例如，可将目标多媒体资源的图像信息、音频信息、文本信息之中的至少一项输入识别模型，得到识别模型输出的判断结果。

下面将会结合图3来描述步骤S202的示例性实施例，此处暂不展开。

在步骤S203，响应于检索到所述匹配物品，通知所述目标终端在所述目标多媒体资源中添加属于所述至少一个物品的触控元素。

此外，作为示例，根据本公开示例性实施例的多媒体资源的处理方法还可包括：按照待绑定物品、已绑定物品、物品绑定失败三种类型，向目标终端展示已发布的多媒体资源的类型。

此外，作为示例，根据本公开示例性实施例的多媒体资源的处理方法还可包括：向目标终端提供与检索到的匹配物品对应的至少一个候选触控元素的标识信息。

作为示例，可定时或当检测到目标终端发布了或请求发布多媒体资源时，执行根据本公开示例性实施例的多媒体资源的处理方法。

图3示出根据本公开示例性实施例的从预设物品库中检索与所述至少一个物品相匹配的匹配物品的方法的流程图。

如图3所示，在步骤S301，确定目标多媒体资源包含的预设类型的物品。

作为示例，在目标多媒体资源为视频或图像的情况下，步骤S301可包括：从目标多媒体资源中获取预设类型的物品的物品图像；然后，对获取的所有物品图像进行聚类，得到至少一个类别；接下来，将各个类别对应的物品确定为目标多媒体资源包含的预设类型的物品。每个类别分别对应于一款物品，不同类别所对应的物品不同。例如，在目标多媒体资源为视频的情况下，从目标多媒体资源的视频帧中获取预设类型的物品的物品图像。

作为示例，在目标多媒体资源为视频的情况下，从目标多媒体资源中获取预设类型的物品的物品图像的步骤可包括：从目标多媒体资源的视频帧中识别出预设类型的物品的位置信息（例如，包括物品的矩形框的坐标），然后，根据物品的位置信息从图像中获取物品的物品图像。

作为示例，在目标多媒体资源为图像的情况下，从目标多媒体资源中获取预设类型的物品的物品图像的步骤可包括：从目标多媒体资源中识别出预设类型的物品的位置信息（例如，包括物品的矩形框的坐标），然后，根据物品的位置信息从目标多媒体资源中获取物品的物品图像。

作为示例，可通过物品检测模型（例如，基于深度学习的目标检测模型）来从目标多媒体资源的图像中识别出预设类型的物品的位置信息。例如，在目标多媒体资源为视频的情况下，目标多媒体资源的图像即目标多媒体资源的视频帧，在目标多媒体资源为图像的情况下，目标多媒体资源的图像即目标多媒体资源本身。

作为示例，对获取的所有物品图像进行聚类的步骤可包括：根据目标多媒体资源的信息中与物品图像相关联的信息（例如，与物品图像相关联的文本信息）及物品图像本身的内容，对所有物品图像进行聚类。

作为示例，可通过基于同款物品数据训练得到的物品特征抽取模型（例如，基于深度学习的物品特征抽取模型）抽取物品图像对应的多维特征向量，特征向量的相似性可用于判断物品是否是同款，从而可基于物品图像对应的特征向量对物品图像进行聚类。例如，物品特征抽取模型的输入可为物品图像及目标多媒体资源的信息中与该物品图像相关联的信息。

在步骤S302，从包含的预设类型的物品中确定目标多媒体资源所推荐的物品，作为所述至少一个物品。

作为示例，可针对包含的预设类型的物品中的每款物品，根据该物品的推荐信息，确定该物品是否是目标多媒体资源所推荐的物品，换言之，根据该物品的推荐信息，判断该物品是否满足推荐条件。

作为示例，物品的推荐信息可为用于表征目标多媒体资源推荐该物品的明显程度的信息。

作为示例，物品的推荐信息可包括但不限于以下项之中的至少一项：该物品在目标多媒体资源中出现的频次、该物品在目标多媒体资源中的出现时长占比、该物品在目标多媒体资源中的画面占比（例如，视频帧中的画面占比、图像中的画面占比、图文中的画面占比等）、该物品所属的类目与目标多媒体资源所推荐的类目的匹配关系。

作为示例，物品所属的类目与目标多媒体资源所推荐的类目的匹配关系可为：目标多媒体资源所推荐的类目是否包括物品所属的类目。作为示例，在目标多媒体资源所推荐的类目包括物品所属的类目的情况下，该物品才有可能被确定为目标多媒体资源所推荐的物品，例如，具体再基于该物品在目标多媒体资源中出现的频次、该物品在目标多媒体资源中的出现时长占比、该物品在目标多媒体资源中的画面占比等进一步确定其是否为目标多媒体资源所推荐的物品。

作为示例，目标多媒体资源所推荐的类目可基于目标多媒体资源的图像信息、语音信息、文本信息之中的至少一项而确定。例如，可根据目标多媒体资源的标题确定目标多媒体资源所推荐的类目为服装。

作为示例，可先判断目标多媒体资源是否满足推荐物品的条件；在确定目标多媒体资源满足推荐物品的条件的情况下，确定目标多媒体资源所推荐的类目。

作为示例，可通过基于视频图像和文本训练得到的多模态视频分类模型，确定目标多媒体资源所推荐的类目。

作为示例，可通过基于物品图像和文本训练得到的物品分类模型，得到每款物品所属的类目。例如，可将每款物品的物品图像和目标多媒体资源的信息中与该款物品相关联的信息输入物品分类模型，得到每款物品所属的类目。

在步骤S303，从所述预设物品库中检索与所述至少一个物品相匹配的匹配物品。

作为示例，可从预设物品库中检索与所述至少一个物品相同或相似的物品，作为匹配物品。

作为示例，可从预设物品库中检索，特征向量与所述至少一个物品的特征向量的相似度超过预设阈值的物品，作为所述匹配物品。

可从目标多媒体资源的信息中提取得到所述至少一个物品的特征向量。作为示例，所述至少一个物品的特征向量是从目标多媒体资源的与该物品相关联的信息（例如，该物品的描述信息）中提取得到的。作为示例，所述至少一个物品的特征向量可为通过上述物品检索模型得到的特征向量。

根据本公开的示例性实施例，提供了一种为多媒体资源智能推荐绑定物品的方法，能够提升多媒体资源绑定物品的效率，而且智能推荐的绑定物品与多媒体资源内容匹配度较高。

图4示出根据本公开示例性实施例的检索与所述至少一个物品相匹配的匹配物品的方法的示例。这里，目标多媒体资源为视频。

如图4所示，视频抽帧的步骤包括：从视频中抽得多张连续的视频帧，帧之间的时间间隔通常相等，以保证视频中出现的物品均在抽得的图像帧中。

文字识别OCR、语音识别ASR的步骤包括：识别视频中出现的文本、将视频的音频转换为文本。

物品检测模型：通过基于深度学习的目标检测模型，识别视频帧中出现的物品，得到物品在图像中的坐标，进而得到视频帧中的物品框（即，物品图像），以使每个物品由一个矩形框表示。

物品特征抽取模型：通过基于同款物品数据训练得到的深度学习物品特征抽取模型抽取物品框的多维特征向量，特征向量之间的相似性可以用于评判物品是否是同款。

多物品框聚类的步骤包括：因为视频画面的连续性，存在同一款物品在多个视频帧中出现的情况，因此可基于物品框的多维特征向量，对物品框进行聚类，每一款物品由一个聚类表示。

物品分类模型：通过基于物品图像和文本训练得到的深度学习物品分类模型，得到物品框的类目。

视频识别模型：通过基于视频图像和文本训练得到的深度学习视频识别模型，判断目标多媒体资源是否满足推荐物品的条件。

多模态视频分类模型：通过基于视频图像和文本训练得到的深度学习视频分类模型，确定视频主要推荐的物品类目（即，视频所推荐的类目）。

判断的步骤包括：一个视频中可能出现多个物品，结合物品框的出现次数、占比等信息，以及物品框类目与视频所推荐的类目的匹配关系，来确定推荐的物品。

检索的步骤包括：根据预设物品库的物品索引，从预设物品库中检索与推荐的物品相匹配的匹配物品。例如，可基于物品特征抽取模型抽取的预设物品库中的各个物品的特征向量，来构建预设物品库的物品索引。例如，可通过比对推荐的物品的特征向量和预设物品库中的各个物品的特征向量，从预设物品库中检索相匹配的物品。

图5示出根据本公开示例性实施例的多媒体资源的处理方法的示例。

如图5所示，算法平台接收终端发布视频的消息，针对未绑定物品的视频从预设物品库检索相匹配的物品（以下，也称为匹配的物品），针对匹配到的物品评分，最终产出评分top10的物品列表，然后将这些信息发给视频发布平台，由视频发布平台负责落库存储。

关于终端触达，终端触达的模式主要有两种，一种是生产阶段实时触达，一种是每日定时触达。

实时触达：一个新的视频在发布后的一定时间内是最佳曝光期，实时触达可以引导用户通过终端更及时地去为视频绑定物品。为了避免给终端带来过多打扰，触达可使用频控策略，每个终端一天可仅触达一次，频控规则校验通过后直接给终端发触达消息。

定时触达：每日预设时间段全量扫描待绑定物品的视频数据库DB，如果匹配的物品没有被删除并且频控规则过滤通过后，则开始触达终端。

作为示例，触达方式可主要包括APP端外推送、端内消息（平台消息等）、短信、电话等，端外推送和端内消息可以直接引导终端进入待绑定物品视频管理页面。

作为示例，在终端的待绑定物品视频管理页面，可以显示最近一段时间的待绑定物品视频列表。例如，可按照待绑定、绑定成功、绑定失败三个区域分页显示各类型的已发布视频。

作为示例，默认选择评分最高的匹配物品做绑定（即，在多媒体资源中添加与匹配物品对应的触控元素），但终端可以响应用户操作替换默认绑定的物品；替换物品时，物品选择器优先展示算法匹配的物品，并按照评分从高到低进行排序显示。

此外，作为示例，如果预设物品库中目标物品已下架，会自动将物品上架。

根据本公开的示例性实施例，提供了一种对已上传的多媒体资源后置召回绑定推荐物品的方法，可针对已发布但没有绑定推荐物品的多媒体资源，做到后置捞取，提醒终端绑定物品，并精准从预设物品库检索相匹配的物品推荐给终端进行绑定，丰富了多媒体资源绑定推荐物品的场景。

图6示出根据本公开示例性实施例的多媒体资源的处理装置的结构框图。

如图6所示，根据本公开示例性实施例的多媒体资源的处理装置10包括：资源上传单元101和消息接收单元102。

具体说来，资源上传单元101被配置为通过目标终端上传目标多媒体资源，其中，所述目标多媒体资源中记录有至少一个物品的描述信息，且所述目标多媒体资源中未包含属于所述至少一个物品的触控元素，所述触控元素用于在被执行触控操作时展示所述至少一个物品的物品信息。

消息接收单元102被配置为接收服务端下发的通知消息，其中，所述通知消息用于通知所述目标终端在所述目标多媒体资源中添加属于所述至少一个物品的触控元素。

作为示例，根据本公开示例性实施例的多媒体资源的处理装置10还可包括：触控元素添加单元（未示出），触控元素添加单元被配置为响应于对所述通知消息的操作，显示所述目标多媒体资源的编辑页面；响应于在所述编辑页面中接收到的触控元素添加操作，在所述目标多媒体资源中添加属于所述至少一个物品的触控元素；其中，所述编辑页面包括至少一个候选触控元素的标识信息。

作为示例，在所述目标多媒体资源满足预设条件的情况下，消息接收单元102接收所述服务端下发的通知消息；其中，所述预设条件包括：被发布的时长小于预设时长。

图7示出根据本公开的另一示例性实施例的多媒体资源的处理装置20的结构框图。

如图7所示，根据本公开的另一示例性实施例的多媒体资源的处理装置20包括：资源获取单元201、物品检索单元202、通知单元203。

具体说来，资源获取单元201被配置为获取目标终端上传的目标多媒体资源，其中，所述目标多媒体资源中记录有至少一个物品的描述信息，且所述目标多媒体资源中未包含属于所述至少一个物品的触控元素，所述触控元素用于在被执行触控操作时展示所述至少一个物品的物品信息。

物品检索单元202被配置为从预设物品库中检索与所述至少一个物品相匹配的匹配物品。

通知单元203被配置为响应于检索到所述匹配物品，通知所述目标终端在所述目标多媒体资源中添加属于所述至少一个物品的触控元素。

作为示例，所述至少一个物品的描述信息可包括以下项之中的至少一项：所述至少一个物品的图像信息、所述至少一个物品的音频描述信息、所述至少一个物品的文本描述信息；所述至少一个物品的物品信息可包括：预设物品库中与所述至少一个物品相匹配的匹配物品的介绍信息和/或从所述预设物品库获取所述匹配物品的引导信息。

作为示例，物品检索单元202可被配置为：确定所述目标多媒体资源包含的预设类型的物品；从包含的所述预设类型的物品中确定所述目标多媒体资源所推荐的物品，作为所述至少一个物品；从所述预设物品库中检索与所述至少一个物品相匹配的匹配物品。

作为示例，在所述目标多媒体资源为视频或图像的情况下，物品检索单元202可被配置为：从所述目标多媒体资源中获取所述预设类型的物品的物品图像；对获取的所有物品图像进行聚类，得到至少一个类别，其中，每个类别分别对应于一款物品；将各个类别对应的物品确定为所述目标多媒体资源包含的所述预设类型的物品。

作为示例，物品检索单元202可被配置为：针对包含的所述预设类型的物品中的每款物品，根据该物品的推荐信息，确定该物品是否是所述目标多媒体资源所推荐的物品；其中，物品的推荐信息包括以下项之中的至少一项：该物品在所述目标多媒体资源中出现的频次、该物品在所述目标多媒体资源中的出现时长占比、该物品在所述目标多媒体资源中的画面占比、该物品所属的类目与所述目标多媒体资源所推荐的类目的匹配关系。

作为示例，物品检索单元202可被配置为：从所述预设物品库中检索，特征向量与所述至少一个物品的特征向量的相似度超过预设阈值的物品，作为所述匹配物品；其中，所述至少一个物品的特征向量是从该物品的描述信息中提取得到的。

作为示例，物品检索单元202可被配置为：判断目标多媒体资源是否满足推荐物品的条件；在确定目标多媒体资源满足推荐物品的条件的情况下，从所述预设物品库中检索与所述至少一个物品相匹配的匹配物品。

关于上述实施例中的处理装置10和20，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

此外，应该理解，根据本公开示例性实施例的处理装置10和20中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列（FPGA）或专用集成电路（ASIC）来实现各个单元。

图8示出根据本公开示例性实施例的电子设备的结构框图。参照图8，该电子设备30包括：至少一个存储器301和至少一个处理器302，所述至少一个存储器301中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器302执行时，执行如上述示例性实施例所述的多媒体资源的处理方法。

作为示例，电子设备30可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备30并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令（或指令集）的装置或电路的集合体。电子设备30还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程（例如，经由无线传输）以接口互联的便携式电子设备。

在电子设备30中，处理器302可包括中央处理器（CPU）、图形处理器（GPU）、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器302还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器302可运行存储在存储器301中的指令或代码，其中，存储器301还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器301可与处理器302集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器301可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器301和处理器302可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器302能够读取存储在存储器中的文件。

此外，电子设备30还可包括多媒体资源显示器（诸如，液晶显示器）和用户交互接口（诸如，键盘、鼠标、触摸输入装置等）。电子设备30的所有组件可经由总线和/或网络而彼此连接。

根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行如上述示例性实施例所述的多媒体资源的处理方法。这里的计算机可读存储介质的示例包括：只读存储器（ROM）、随机存取可编程只读存储器（PROM）、电可擦除可编程只读存储器（EEPROM）、随机存取存储器（RAM）、动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器（HDD）、固态硬盘（SSD）、卡式存储器（诸如，多媒体卡、安全数字（SD）卡或极速数字（XD）卡）、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由至少一个处理器执行以完成如上述示例性实施例所述的多媒体资源的处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。