账号推荐方法、装置、电子设备、存储介质及程序产品

技术领域

本申请涉及互联网技术领域，具体涉及一种账号推荐方法、装置、电子设备、存储介质及程序产品。

背景技术

随着互联网的发展，视频软件上的视频越来越丰富，吸引了大量的用户观看视频软件上的视频和拍摄上传视频，使得视频软件上的账号越来越多。

用户在观看视频时，通常会喜欢某种类型账号下发布的视频，比如，用户比较喜欢看综艺，则用户会观看综艺类的账号发布的综艺视频。然而，随着视频软件上账号的增多，用户找到满足自己需求的账号的难度增大。为了满足用户的需求，会为用户推荐账号，但是，目前账号推荐的算法的准确度较低。

发明内容

本申请实施例提供一种账号推荐方法、装置、电子设备、存储介质及程序产品，可以解决账号推荐算法的准确度较低的技术问题。

一种账号推荐方法，包括：

获取视频交互系统中对象账号的关联账号以及上述关联账号的已发布视频，上述关联账号为上述视频交互系统中与上述对象账号具有关联关系的账号；

对上述关联账号的账号信息进行文本模态信息识别，得到上述关联账号的至少两个文本模态属性信息；

对至少两个上述文本模态属性信息进行融合提取处理，得到上述关联账号的第一文本模态特征；

对上述已发布视频进行视觉特征提取，得到上述关联账号的视觉模态特征，以及对上述已发布视频的标题进行文本特征提取，得到上述关联账号的第二文本模态特征；

对上述视觉模态特征、上述第一文本模态特征以及上述第二文本模态特征进行特征融合处理，得到上述关联账号的目标多模态账号特征；

获取待推荐账号的多模态账号特征，并根据上述待推荐账号的多模态账号特征以及上述目标多模态账号特征，向上述对象账号进行账号推荐。

一种模型训练方法，包括：

获取视频交互系统中各个训练样本账号以及各个上述训练样本账号在上述视频交互系统中已发布的样本视频；

对上述训练样本账号的账号信息进行文本模态信息识别，得到上述训练样本账号的至少两个样本文本模态属性信息；

对至少两个上述样本文本模态属性信息进行融合提取处理，得到上述训练样本账号的第一样本文本模态特征；

对上述样本视频进行视觉特征提取，得到上述训练样本账号的样本视觉模态特征，以及对上述样本视频的标题进行文本特征提取，得到上述训练样本账号的第二样本文本模态特征；

对上述样本视觉模态特征、上述第一样本文本模态特征以及上述第二样本文本模态特征进行上述特征融合处理，得到上述训练样本账号的样本多模态账号特征；

根据各个上述样本多模态账号特征，对待训练账号特征模型进行训练，得到上述已训练账号特征模型，上述已训练账号特征模型用于提取账号的多模态账号特征。

相应地，本申请实施例提供一种账号推荐装置，包括：

账号获取模块，用于获取视频交互系统中对象账号的关联账号以及上述关联账号的已发布视频，上述关联账号为上述视频交互系统中与上述对象账号具有关联关系的账号；

信息识别模块，用于对上述关联账号的账号信息进行文本模态信息识别，得到上述关联账号的至少两个文本模态属性信息；

融合提取模块，用于对至少两个上述文本模态属性信息进行融合提取处理，得到上述关联账号的第一文本模态特征；

特征提取模块，用于对上述已发布视频进行视觉特征提取，得到上述关联账号的视觉模态特征，以及对上述已发布视频的标题进行文本特征提取，得到上述关联账号的第二文本模态特征；

特征融合模块，用于对上述视觉模态特征、上述第一文本模态特征以及上述第二文本模态特征进行特征融合处理，得到上述关联账号的目标多模态账号特征；

账号推荐模块，用于获取待推荐账号的多模态账号特征，并根据上述待推荐账号的多模态账号特征以及上述目标多模态账号特征，向上述对象账号进行账号推荐。

可选地，融合提取模块具体用于执行：

分别对至少两个上述文本模态属性信息进行特征提取，得到每个上述文本模态属性信息对应的文本属性特征；

对各个上述文本属性特征进行文本特征融合处理，得到上述关联账号的第一文本模态特征。

可选地，融合提取模块具体用于执行：

获取每个上述文本属性特征对应的属性权重；

根据每个上述文本属性特征对应的属性权重，对至少两个上述文本属性特征进行文本特征融合处理，得到上述关联账号的第一文本模态特征。

可选地，上述文本模态属性信息包括上述关联账号的账号名称和账号描述信息。

相应地，融合提取模块具体用于执行：

获取上述已发布视频的标题与上述账号名称之间的第一关联度信息，以及获取上述已发布视频的标题与上述账号描述信息之间的第二关联度信息；

根据上述第一关联度和上述第二关联度，确定上述账号名称对应的属性权重和上述账号描述信息对应的属性权重。

可选地，融合提取模块具体用于执行：

对至少两个上述文本模态属性信息进行信息融合处理，得到上述关联账号的属性文本信息；

对上述属性文本信息进行词特征提取，得到上述属性文本信息的各个词特征；

根据上述词特征，确定上述关联账号的第一文本模态特征。

可选地，融合提取模块具体用于执行：

从各个上述词特征中筛选出中心词对应的词特征，并确定上述中心词对应的词特征在上述属性文本信息中对应的上文词特征和下文词特征；

对上述上文词特征、下文词特征以及上述中心词对应的词特征进行拼接处理，得到上述中心词的目标词特征；

根据上述中心词的目标词特征，确定上述关联账号的第一文本模态特征。

可选地，账号获取模块具体用于执行：

获取视频交互系统中对象账号的关联账号以及上述关联账号在上述视频交互系统中发布的所有视频；

确定上述所有视频中各个视频的发布时间；

从上述所有视频中筛选出预设数量的发布时间最晚的视频，得到上述关联账号的已发布视频。

可选地，特征融合模块具体用于执行：

对上述视觉模态特征、上述第一文本模态特征以及上述第二文本模态特征进行特征融合处理，得到上述关联账号的初始多模态账号特征；

对上述初始多模态账号特征进行权重计算，得到上述初始多模态账号特征中每个特征的权重，上述权重表征上述初始多模态账号特征中每个特征在账号推荐过程中的重要程度；

根据上述初始多模态账号特征中每个特征的权重，对上述初始多模态账号特征进行特征调整处理，得到上述关联账号的目标多模态账号特征。

可选地，特征融合模块具体用于执行：

对上述初始多模态账号特征进行降维处理，得到上述关联账号的降维多模态账号特征；

对上述降维多模态账号特征进行非线性运算，得到上述关联账号的非线性多模态账号特征；

根据上述非线性多模态账号特征，计算上述初始多模态账号特征中每个特征的权重。

可选地，特征融合模块具体用于执行：

对上述非线性多模态账号特征进行升维处理，得到上述关联账号的候选多模态账号特征；

将上述候选多模态账号特征中每个特征映射为目标数值区间内的权重，得到上述初始多模态账号特征中每个特征的权重。

相应地，本申请实施例提供一种账号推荐装置，包括：

样本账号获取模块，用于获取视频交互系统中各个训练样本账号以及各个上述训练样本账号在上述视频交互系统中已发布的样本视频；

样本信息识别模块，用于对上述训练样本账号的账号信息进行文本模态信息识别，得到上述训练样本账号的至少两个样本文本模态属性信息；

样本融合提取模块，用于对至少两个上述样本文本模态属性信息进行融合提取处理，得到上述训练样本账号的第一样本文本模态特征；

样本特征提取模块，用于对上述样本视频进行视觉特征提取，得到上述训练样本账号的样本视觉模态特征，以及对上述样本视频的标题进行文本特征提取，得到上述训练样本账号的第二样本文本模态特征；

样本特征融合模块，用于对上述样本视觉模态特征、上述第一样本文本模态特征以及上述第二样本文本模态特征进行上述特征融合处理，得到上述训练样本账号的样本多模态账号特征；

特征模型训练模块，用于根据各个上述样本多模态账号特征，对待训练账号特征模型进行训练，得到上述已训练账号特征模型，上述已训练账号特征模型用于提取账号的多模态账号特征。

此外，本申请实施例还提供一种电子设备，包括处理器和存储器，上述存储器存储有计算机程序，上述处理器用于运行上述存储器内的计算机程序实现本申请实施例提供的账号推荐方法或模型训练方法。

此外，本申请实施例还提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序适于处理器进行加载，以执行本申请实施例所提供的任一种账号推荐方法或模型训练方法。

此外，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请实施例所提供的任一种账号推荐方法或模型训练方法。

在本申请实施例中，先获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频，关联账号为视频交互系统中与对象账号具有关联关系的账号。其次，对关联账号的账号信息进行文本模态信息识别，得到关联账号的至少两个文本模态属性信息。接着，对至少两个文本模态属性信息进行融合提取处理，得到关联账号的第一文本模态特征。然后，对已发布视频进行视觉特征提取，得到关联账号的视觉模态特征，以及对已发布视频的标题进行文本特征提取，得到关联账号的第二文本模态特征。再者，对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的目标多模态账号特征。最后，获取待推荐账号的多模态账号特征，并根据待推荐账号的多模态账号特征以及目标多模态账号特征，向对象账号进行账号推荐。

即在本申请实施例中，通过对关联账号的账号信息进行文本模态信息识别，得到关联账号的至少两个文本模态属性信息，并对至少两个文本模态属性信息进行融合提取处理，得到关联账号的第一文本模态特征，通过对已发布视频进行视觉特征提取，得到关联账号的视觉模态特征，以及通过对已发布视频的标题进行文本特征提取，得到关联账号的第二文本模态特征，最后对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的目标多模态账号特征，以便可以通过目标多模态账号特征和待推荐账号的多模态账号特征，向对象账号进行账号推荐，实现通过目标多模态账号特征进行账号推荐，提高账号推荐的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的账号推荐过程的场景示意图；

图2是本申请实施例提供的账号推荐方法的流程示意图；

图3是本申请实施例提供的TextRCNN模型的结构示意图；

图4是本申请实施例提供的模型训练方法的流程示意图；

图5是本申请实施例提供的另一种模型训练方法的流程示意图；

图6是本申请实施例提供的另一种账号推荐方法的流程示意图；

图7是本申请实施例提供的已发布视频的标题和封面图的示意图；

图8是本申请实施例提供的已训练账号特征模型的结构示意图；

图9是本申请实施例提供的待推荐账号发布的视频的示意图；

图10是本申请实施例提供的账号推荐装置的结构示意图；

图11是本申请实施例提供的模型训练装置的结构示意图；

图12是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种账号推荐方法、装置、电子设备、存储介质及程序产品。其中，存储介质为计算机可读存储介质，程序产品为计算机程序产品。该账号推荐装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

并且，其中多个服务器可组成为一区块链，而服务器为区块链上的节点。

终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、飞行器等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

例如，如图1所示，服务器获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频，然后，对关联账号的账号信息进行文本模态信息识别，得到关联账号的至少两个文本模态属性信息，并对至少两个文本模态属性信息进行融合提取处理，得到关联账号的第一文本模态特征。接着，服务器对已发布视频进行视觉特征提取，得到关联账号的视觉模态特征，以及对已发布视频的标题进行文本特征提取，得到关联账号的第二文本模态特征。其次，服务器对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的目标多模态账号特征。最后，服务器根据待推荐账号的多模态账号特征以及目标多模态账号特征，向对象账号进行账号推荐，并将向对象账号推荐的账号发送至登录对象账号的终端，终端再将向对象账号推荐的账号进行显示。

另外，本申请实施例中的“多个”指两个或两个以上。本申请实施例中的“第一”和“第二”等用于区分描述，而不能理解为暗示相对重要性。

在本申请的具体实施方式中，涉及到用户信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、试教学习等技术。

本申请实施例提供的方案涉及人工智能的计算机视觉技术、自然语言处理以及机器学习等技术，具体通过如下实施例进行说明。

需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

在本实施例中，将从账号推荐装置的角度进行描述，为了方便对本申请的账号推荐方法进行说明，以下将以账号推荐装置集成在服务器中进行详细说明，即以服务器作为执行主体进行详细说明。

请参阅图2，图2是本申请一实施例提供的账号推荐方法的流程示意图。该账号推荐方法可以包括：

S201、获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频，关联账号为视频交互系统中与对象账号具有关联关系的账号。

视频交互系统指用户可以拍摄上传视频以及观看视频的系统，其可以由计算机硬件、计算机软件以及网络组成。视频交互系统可以包括至少一个终端和至少一个服务器，终端上具备用于视频交互的客户端，服务器为用于视频交互的客户端的服务器。

比如，用于视频交互的客户端为视频应用程序，则视频交互系统可以包括已安装视频应用程序的多个终端和视频应用程序的服务器。

针对用于视频交互的客户端的形式，可以根据实际情况进行选择，比如，用于视频交互的客户端可以为应用程序的形式、小程序的形式以及网页的形式等，本实施例在此不做限定。

对象账号指可以表明用户身份的字符串。关联账号为视频交互系统中与对象账号具有关联关系的账号，可以理解为关联账号为对象账号在视频交互系统中已关注的账号，或者，关联账号为视频交互系统中与对象账号具有关联关系的账号，也可以理解为关联账号为对象账号在视频交互系统中的间接关注账号，比如，账号A关注账号B，账号B关注账号C，则账号C为账号A的间接关注账号。

应理解，对象账号和关联账号可以指同一个账号。比如，存在账号A、账号B以及账号C，账号B关注账号A，账号A关注账号C，当账号B为对象账号时，关联账号为账号A，当账号A为对象账号时，关联账号为账号C，即账号A既可以为关联账号，也可以为对象账号。

又比如，存在账号A和账号B，账号A关注账号B，账号B也关注了账号A。当账号A为对象账号时，关联账号为账号B，当账号B为对象账号时，账号A为关联账号。

服务器可以周期性地获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频，又或者，服务器也可以在检测到对象账号在视频交互系统中存在新的关联账号时，获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频。又或者，服务器也可以在接收到推荐指令时，根据推荐指令，获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频。

对于获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频的方式，可以根据实际情况进行选择，本实施例在此不做限定。

需要说明的是，关联账号的已发布视频，可以指关联账号在视频交互系统中发布的所有视频。或者，为了减少后续的计算量，关联账号的已发布视频，也可以指关联账号在视频交互系统中发布的部分视频。

当关联账号的已发布视频为关联账号在视频交互中发布的部分视频时，获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频，包括：

获取视频交互系统中对象账号的关联账号以及关联账号在视频交互系统中发布的所有视频；

确定所有视频中各个视频的发布时间；

从所有视频中筛选出预设数量的发布时间最晚的视频，得到关联账号的已发布视频。

比如，预设数量为3，关联账号在视频交互系统中发布的所有视频包括视频1、视频2、视频3以及视频4，视频1的发布时间为a月5号，视频2的发布时间为a月8号，视频3的发布时间为a月18号，视频4的发布时间为a月20号，则预设数量的发布时间最晚的视频为视频2、视频3以及视频4。

由于关联账号最近在视频交互系统中发布的视频，可以表示关联账号最近的动态，因此，可以将所有视频中预设数量的发布时间最晚的视频，作为关联账号的已发布视频，使得在减少后续的计算量的同时，可以保持推荐的准确度。

又或者，当关联账号的已发布视频为关联账号在视频交互中发布的部分视频时，获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频的过程也可以为：

获取视频交互系统中对象账号的关联账号以及关联账号在视频交互系统中发布的所有视频；

确定对象账号针对所有视频中各个视频的播放时长；

从所有视频中筛选出第一预设数量的播放时长最长的视频，得到关联账号的已发布视频。

当对象账号对应的用户观看视频的时间越长时，意味着对象账号对应的用户喜欢该视频的程度越高，则播放时长越长的视频，越能表示对象账号对应的用户的喜好。所以，在本实施例中，可以根据对象账号针对关联账号的所有视频中各个视频的播放时长，从所有视频中筛选出第一预设数量的播放时长最长的视频，得到关联账号的已发布视频，使得在减少后续的计算量的同时，可以保持推荐的准确度。

S202、对关联账号的账号信息进行文本模态信息识别，得到关联账号的至少两个文本模态属性信息。

关联账号的账号信息指表明关联账号属性的信息，比如，关联账号的账号信息可以包括关联账号的名称、关联账号的账号描述信息、关联账号所属的区域信息、关联账号的粉丝数量、关联账号的点赞数，关联账号对应的用户的性别以及关联账号对应的用户的年龄中的至少两个。

文本模态属性信息可以为关联账号的一个账号信息，比如，当文本模态属性信息包括两个时，两个文本模态属性信息可以为关联账号的名称和关联账号的账号描述信息。

又比如，当文本模态属性信息包括三个时，三个文本模态属性信息可以为关联账号的名称、关联账号的账号描述信息以及关联账号对应的用户的性别，即此时增加了关联账号对应的用户的信息，以提高第一文本模态特征的泛化性，从而提高目标多模态账号特征的泛化性。

模态是指某些事情发生或经历的方式，如果事情存在经历多种方式，则该事情存在多种模态，也即该事情存在多种模态信息。模态可以为文本模态、音频模态以及视频模态等。比如，视频包括标题、视频流、音频等多种模态信息。账号包括视频流、账号描述信息等多种模态信息。

对关联账号的账号信息进行文本模态信息识别，得到关联账号的至少两个文本模态属性信息，可以指从对关联账号的账号信息中提取出关联账号的至少两个文本模态属性信息。

对关联账号的账号信息进行文本模态信息识别的方式，可以根据实际情况进行选择，比如，文本模态信息识别可以为语义识别，即可以对关联账号的账号信息进行语义识别，从而得到关联账号的至少两个文本模态属性信息，又比如，由于账号信息中不同的信息存储在不同的位置，因此，文本模态信息识别也可以为位置识别，即对关联账号的账号信息进行位置识别，得到账号信息中各个信息的位置，根据账号信息中各个信息的位置，从账号信息中筛选出关联账号的至少两个文本模态属性信息。本实施例在此不做限定。

S203、对至少两个文本模态属性信息进行融合提取处理，得到关联账号的第一文本模态特征。

在一些实施例中，服务器可以分别对至少两个文本模态属性信息进行特征提取，得到每个文本模态属性信息对应的文本属性特征，然后，服务器可以对各个文本属性特征进行文本特征融合处理，得到关联账号的第一文本模态特征。

其中，文本特征融合处理可以为文本拼接处理或加权融合处理。当文本特征融合处理为文本拼接处理时，服务器在得到每个文本模态属性信息对应的文本属性特征之后，可以直接将各个文本属性特征进行文本拼接处理，从而得到关联账号的第一文本模态特征。

当文本特征融合处理为加权融合处理时，对各个文本属性特征进行文本特征融合处理，得到关联账号的第一文本模态特征，包括：

获取每个文本属性特征对应的属性权重；

根据每个文本属性特征对应的属性权重，对至少两个文本属性特征进行文本特征融合处理，得到关联账号的第一文本模态特征。

服务器在得到文本属性特征对应的属性权重之后，可以将文本属性特征和文本属性特征对应的权重进行乘法融合处理，得到属性特征调整结果，然后再将各个属性特征调整结果进行加法融合处理，从而得到关联账号的第一文本模态特征。

在本实施例中，不同文本属性特征对应不同的属性权重，使得可以采用属性权重表征文本属性特征在第一文本模态特征中所占的比例，提高第一文本模态特征的准确度。

应理解，每个文本属性特征对应的属性权重可以是固定或者动态变化的。当每个文本属性特征对应的属性权重是固定时，服务器可以获取预设权重表，预设权重表包括预设文本属性特征和预设文本属性特征对应的属性权重，服务器再将预设权重表中，与文本属性特征匹配的预设文本属性特征对应的属性权重，作为文本属性特征对应的属性权重。

当每个文本属性特征对应的属性权重是动态变化且文本模态属性信息包括关联账号的账号名称和账号描述信息时，获取每个文本属性特征对应的属性权重，包括：

获取已发布视频的标题与账号名称之间的第一关联度信息，以及获取已发布视频的标题与账号描述信息之间的第二关联度信息；

根据第一关联度和第二关联度，确定账号名称对应的属性权重和账号描述信息对应的属性权重。

服务器可以先获取账号名称对应的历史属性权重和账号描述信息对应的历史属性权重，然后根据第一关联度和第二关联度，对账号名称对应的历史属性权重和账号描述信息对应的历史属性权重进行调整，得到账号名称对应的属性权重和账号描述信息对应的属性权重。

由于已发布视频的标题可以表示已发布视频的类型，对象账号对应的用户最终观看的也是视频，因此，可以根据已发布视频的标题对账号名称对应的属性权重和账号描述信息对应的属性权重进行调整，从而提高后续进行账号推荐的准确度。

比如，账号描述信息的历史属性权重大于账号名称的历史属性权重，第一关联度大于第二关联度且第一关联度和第二关联度之间的差值超出预设差值范围，则将账号描述信息的历史属性权重调小，将账号名称对应的历史属性权重调大，以使账号描述信息的属性权重小于账号名称的属性权重。

又比如，账号描述信息的历史属性权重大于账号名称的历史属性权重，第一关联度与第二关联度之间的差值在预设差值范围内，则直接将账号描述信息的历史属性权重作为账号描述信息的属性权重，将账号名称的历史属性权重作为账号名称的属性权重。

又比如，账号描述信息的历史属性权重小于账号名称的历史属性权重，第一关联度小于第二关联度且第一关联度和第二关联度之间的差值超出预设差值范围，则将账号描述信息的历史属性权重调大，将账号名称对应的历史属性权重调小，以使账号描述信息的属性权重大于账号名称的属性权重。

第一关联度可以为已发布视频的标题与账号名称之间的相似度，第二关联度可以为已发布视频的标题与账号描述信息之间的相似度。

在另一些实施例中，对至少两个文本模态属性信息进行融合提取处理，得到关联账号的第一文本模态特征，包括：

对至少两个文本模态属性信息进行信息融合处理，得到关联账号的属性文本信息；

对属性文本信息进行词特征提取，得到属性文本信息的各个词特征；

根据词特征，确定关联账号的第一文本模态特征。

对至少两个文本模态属性信息进行信息融合处理，可以理解为对至少两个文本模态属性信息进行信息拼接处理。比如，文本模态属性信息包括两个，两个文本模态属性信息分别为账号名称和账号描述信息，账号名称为摄影师Q，账号描述信息为弘扬传统文化，则对摄影师Q和弘扬传统文化进行信息拼接处理之后，得到的属性文本信息为“摄影师Q。弘扬传统文化。”。

在本实施例中，先对至少两个文本模态属性信息进行信息融合处理，得到关联账号的属性文本信息，然后对属性文本信息进行词特征提取，得到属性文本信息的各个词特征，使得可以根据词特征，确定关联账号的第一文本模态特征，从而减少确定关联账号的第一文本账号特征的计算量。

在另一些实施例中，根据词特征，确定关联账号的第一文本模态特征，包括：

从各个词特征中筛选出中心词对应的词特征，并确定中心词对应的词特征在属性文本信息中对应的上文词特征和下文词特征；

对上文词特征、下文词特征以及中心词对应的词特征进行拼接处理，得到中心词的目标词特征；

根据中心词的目标词特征，确定关联账号的第一文本模态特征。

本实施例通过对上文词特征、下文词特征以及中心词对应的词特征进行拼接处理，得到中心词的目标词特征，然后根据中心词的目标词特征，确定关联账号的第一文本模态特征，实现根据中心词的上下文特征，确定第一文本模态特征，提高第一文本模态特征的准确度，从而提高后续进行账号推荐的准确度。

其中，服务器可以通过循环神经网络(Recurrent Neural Network,RNN)确定中心词对应的词特征在属性文本信息中对应的上文词特征和下文词特征,对上文词特征、下文词特征以及中心词对应的词特征进行拼接处理，得到中心词的目标词特征。

然而，循环神经网络是有偏模型，下文词特征的重要性要高于上文词特征，而实际上一个文本中的重要部分可以在出现在该文本中的任何位置，导致得到的第一文本模态特征的准确度不高。

所以，在另一些实施例中，服务器可以确定与中心词的词特征相邻的词特征，得到词特征组，比如，当中心词的词特征为e(w

然后服务器对中心词的词特征在词特征组中对应的左相邻词特征以及左相邻词特征对应的上文词特征进行非线性映射，得到中心词的词特征对应的上文词特征，也即是将左相邻词特征以及左相邻词特征对应的上文词特征代入以下公式中进行映射，得到中心词的词特征对应的上文词特征：

c

c

服务器对中心词的词特征在词特征组中对应的右相邻词特征以及右相邻词特征对应的下文词特征进行非线性映射，得到中心词的词特征对应的下文词特征，也即是将右相邻词特征以及右相邻词特征对应的下文词特征代入以下公式中进行映射，得到中心词的词特征对应的下文词特征：

c

c

最后，服务器对上文词特征、下文词特征以及中心词对应的词特征进行拼接处理的过程可以为：

x

根据中心词的目标词特征，确定关联账号的第一文本模态特征的过程可以为：对中心词的目标词特征进行池化处理，得到关联账号的第一文本模态特征。其中，池化处理可以为最大池化或平均池化。当池化处理为最大池化时，可以将中心词的目标词特征代入以下公式中，从而得到关联账号的第一文本模态特征：

x

在本实施例中，先确定与中心词的词特征相邻的词特征，得到词特征组，即先得到中心词的词特征的上下文信息，然后再通过左相邻词特征以及左相邻词特征对应的上文词特征，确定中心词的词特征对应的上文词特征，通过右相邻词特征以及右相邻词特征对应的下文词特征，确定中心词的词特征的下文词特征，最后对上文词特征、下文词特征以及中心词对应的词特征进行拼接处理以及池化处理，使得可以自动从属性文本信息筛选出重要的词，以便解决循环神经网络有偏的问题，从而使得得到的第一文本模态特征的准确度更高，进而使得后续进行账号推荐的准确度更高。

需要说明的是，本实施例中可以通过TextRCNN模型执行上述步骤，以得到词特征组、中心词的词特征的上文词特征和下文词特征。TextRCNN模型结合了循环神经网络和卷积神经网络(Convolutional Neural Networks，CNN)的优点，卷积神经网络是无偏模型，可以通过最大池化来自动筛选文本中重要的词，可以解决循环神经网络有偏的问题。因此，在本实施例中，可以通过TextRCNN模型，确定词特征组以及中心词的词特征的上文词特征和下文词特征。

TextRCNN模型的结构可以如图3所示。图3中的y

需要说明的是，中心词可以为属性文本信息中的任意一个词，比如，属性文本信息为“弘扬传统文化和戏曲文化”，则中心词可以为弘扬、传统、文化、和、戏曲、文化中的任意一个。中心词的词特征、左相邻词特征以及右相邻词特征可以为同一个词对应的词特征。比如，当中心词的词特征为中心词“传统”对应的词特征时，左相邻词特征为“弘扬”对应的词特征，右相邻词特征为“文化”对应的词特征。当中心词的词特征为中心词“文化”对应的词特征时，左相邻词特征为“传统”对应的词特征，右相邻词特征为“和”对应的词特征。

S204、对已发布视频进行视觉特征提取，得到关联账号的视觉模态特征，以及对已发布视频的标题进行文本特征提取，得到关联账号的第二文本模态特征。

其中，服务器可以对已发布视频中至少一帧图像进行视觉特征提取，从而得到关联账号的视觉模态特征，或者，为了提高后续账号推荐的准确度，也可以对已发布视频的封面图进行视觉特征提取，从而得到关联账号的视觉模态特征。

对于对已发布视频进行视觉特征提取的方法，可以根据实际情况进行选择，比如，可以通过backbone网络对已发布视频进行视觉特征提取，或者通过方向梯度直方图法(Histogram of Oriented Gradient，HOG)对已发布视频进行视觉特征提取，本实施例在此不做限定。

对已发布视频的标题进行文本特征提取的方法，可以根据实际情况进行选择，比如，可以通过TextRCNN模型对已发布视频的标题进行文本特征提取，或者，通过独热编码算法对已发布视频的标题进行文本特征提取，本实施例在此不做限定。

需要说明的是，当已发布视频存在多个时，可以先将多个已发布视频中的封面图进行拼接，得到封面图拼接结果，然后再对封面图拼接结果进行视觉特征提取。可以先将各个已发布视频的标题进行拼接，得到标题拼接结果，再对标题拼接结果进行文本特征提取。

S205、对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的目标多模态账号特征。

服务器可以直接将视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征拼接，以实现特征融合处理，从而得到目标多模态账号特征。

又或者，服务器也可以获取视觉模态特征对应的视觉权重，第一文本模态特征对应的第一文本权重以及第二文本模态特征的第二文本权重，然后将视觉权重和视觉模态特征进行相乘，得到目标视觉模态特征，将第一文本权重与第一文本模态特征进行相乘，得到目标第一文本模态特征，将第二文本权重与第二文本模态特征进行相乘，得到目标第二文本模态特征，最后将目标视觉模态特征、目标第一文本模态特征以及目标第二文本模态特征进行特征拼接，得到目标多模态账号特征。

其中，视觉权重、第一文本权重以及第二文本权重可以根据推荐的账号的关注结果进行调整。比如，视觉权重大于第一文本权重，第一文本权重大于第二文本权重，如果根据目标多模态账号特征向对象账号进行推荐之后，对象账号关注了推荐的账号，则可以无需调整视觉权重、第一文本权重以及第二文本权重。

如果根据目标多模态账号特征向对象账号进行推荐之后，对象账号没有关注推荐的账号，则可以调小视觉权重，调大第一文本权重和第二文本权重，以使第一文本权重和第二文本权重均大于视觉权重，第二文本权重小于第一文本权重。

在本实施例，根据推荐的账号的关注结果对视觉权重、第一文本权重以及第二文本权重进行调整，以便根据每个对象账号对应的用户，对视觉权重、第一文本权重以及第二文本权重进行适应性地调整，也即是，刚开始不同对象账号的关联账号的视觉权重、第一文本权重以及第二文本权重可以是相同的，然后再根据每个对象账号对应的用户对推荐的账号的关注结果，对视觉权重、第一文本权重以及第二文本权重进行调整，使得视觉权重、第一文本权重以及第二文本权重可以随着对象账号的变化而变化，进一步提高账号推荐的准确度。

在一些实施例中，对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的目标多模态账号特征，包括：

对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的初始多模态账号特征；

对初始多模态账号特征进行权重计算，得到初始多模态账号特征中每个特征的权重，权重表征初始多模态账号特征中每个特征在账号推荐过程中的重要程度；

根据初始多模态账号特征中每个特征的权重，对初始多模态账号特征进行特征调整处理，得到关联账号的目标多模态账号特征。

在本实施例中，通过初始多模态账号特征中每个特征在账号推荐过程中的重要程度，对初始多模态账号特征进行特征调整处理，比如，初始多模态账号特征中特征在账号推荐过程中的重要程度越高，初始多模态账号特征中特征的权重越大，以便越重要的特征在目标多模态账号特征中的比例越大，从而提高根据目标多模态账号特征进行账号推荐的准确度。

其中，根据初始多模态账号特征中每个特征的权重，对初始多模态账号特征进行特征调整处理的过程可以为：

初始多模态账号特征中每个特征的权重与初始多模态账号特征中每个特征进行相乘，以实现对初始多模态账号特征进行特征调整处理，得到目标多模态账号特征。比如，初始多模态账号特征为[1，1，1]，初始多模态账号特征中每个特征的权重为[1，0.5，0.3]，则目标多模态账号特征为[1*1，1*0.5，1*0.3]，也即是，目标多模态账号特征为[1，0.5，0.3]。

在另一些实施例中，对初始多模态账号特征进行权重计算，得到初始多模态账号特征中每个特征的权重，包括：

对初始多模态账号特征进行降维处理，得到关联账号的降维多模态账号特征；

对降维多模态账号特征进行非线性运算，得到关联账号的非线性多模态账号特征；

根据非线性多模态账号特征，计算初始多模态账号特征中每个特征的权重。

在本实施例中，对初始多模态账号特征进行降维处理，减少后续进行权重计算的计算量，并且，对降维多模态账号特征进行非线性运算，得到降维多模态账号特征中的非线性信息，使得根据非线性多模态账号特征，计算初始多模态账号特征中每个特征的权重时，可以提高初始多模态账号特征中每个特征的权重的准确度。

在另一些实施例中，根据非线性多模态账号特征，计算初始多模态账号特征中每个特征的权重，包括：

对非线性多模态账号特征进行升维处理，得到关联账号的候选多模态账号特征；

将候选多模态账号特征中每个特征映射为目标数值区间内的权重，得到初始多模态账号特征中每个特征的权重。

为了减少特征的丢失，在对降维多模态账号特征进行非线性运算，得到关联账号的非线性多模态账号特征之后，可以对非线性多模态账号特征进行升维处理，得到关联账号的候选多模态账号特征，然后将候选多模态账号特征中每个特征映射为目标数值区间内的权重，得到初始多模态账号特征中每个特征的权重。

目标数值区间可以根据实际情况进行选择，比如，可以将目标数值区间设置为[0，1]，本实施例在此不做限定。

应理解，本申请实施例中也可以通过SENet神经网络，对初始多模态账号特征进行降维处理，得到关联账号的降维多模态账号特征，对降维多模态账号特征进行非线性运算，得到关联账号的非线性多模态账号特征，对非线性多模态账号特征进行升维处理，得到关联账号的候选多模态账号特征，以及将候选多模态账号特征中每个特征映射为目标数值区间内的权重，得到初始多模态账号特征中每个特征的权重。

S206、获取待推荐账号的多模态账号特征，并根据待推荐账号的多模态账号特征以及目标多模态账号特征，向对象账号进行账号推荐。

待推荐账号的多模态账号特征的获取过程，可以参照目标多模态账号特征的获取过程，本实施例在此不再赘述。

服务器可以计算多模态账号特征与目标多模态账号特征之间的账号相似度，然后将大于预设账号相似度的账号相似度对应的多模态账号特征作为推荐多模态账号特征，然后将推荐多模态账号特征对应的待推荐账号推荐给对象账号。

在本实施例中，通过目标多模态账号特征进行账号推荐，即使关联账号发布的视频迥异，也可以准确地进行账号推荐。

并且，本申请实施例可以解决账号的“冷启动”问题。在视频交互系统上每天会产生较多的新账号，这些新账号发布的视频一般没有用户观看和关注，如果根据相关技术，当没有用户观看和关注时，无法将这些新账号推荐给用户，而在本申请实施例中，即使没有用户观看新账号发布的视频和关注新账号，也可以得到新账号的多模态账号特征，使得可以根据新账号的多模态账号特征，将新账号推荐给用户，即将对象账号对关联账号的偏好行为迁移和泛化至新账号上，从而解决账号的“冷启动”问题。

可选地，服务器在将推荐多模态账号特征对应的待推荐账号推荐给对象账号之后，如果对象账号关注推荐多模态账号特征对应的待推荐账号，则服务器可以将推荐多模态账号特征对应的待推荐账号发布的视频推荐给对象账号。或者，服务器在将推荐多模态账号特征对应的待推荐账号推荐给对象账号之后，也可以直接将推荐多模态账号特征对应的待推荐账号发布的视频，推荐给对象账号。

在本实施例中，并不是只根据视频的特征进行视频推荐，而是通过构造目标多模态账号特征，然后根据目标多模态账号特征进行账号推荐，通过账号推荐从而实现视频推荐。并且，通过目标多模态账号特征进行账号推荐，可以提高账号推荐的准确度，从而提高视频推荐的准确度。

由以上可知，在本申请实施例中，先获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频，关联账号为视频交互系统中与对象账号具有关联关系的账号。其次，对关联账号的账号信息进行文本模态信息识别，得到关联账号的至少两个文本模态属性信息。接着，对至少两个文本模态属性信息进行融合提取处理，得到关联账号的第一文本模态特征。然后，对已发布视频进行视觉特征提取，得到关联账号的视觉模态特征，以及对已发布视频的标题进行文本特征提取，得到关联账号的第二文本模态特征。再者，对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的目标多模态账号特征。最后，获取待推荐账号的多模态账号特征，并根据待推荐账号的多模态账号特征以及目标多模态账号特征，向对象账号进行账号推荐。

即在本申请实施例中，通过对关联账号的账号信息进行文本模态信息识别，得到关联账号的至少两个文本模态属性信息，并对至少两个文本模态属性信息进行融合提取处理，得到关联账号的第一文本模态特征，通过对已发布视频进行视觉特征提取，得到关联账号的视觉模态特征，以及通过对已发布视频的标题进行文本特征提取，得到关联账号的第二文本模态特征，最后对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的目标多模态账号特征，以便可以通过目标多模态账号特征和待推荐账号的多模态账号特征，向对象账号进行账号推荐，实现通过目标多模态账号特征进行账号推荐，提高账号推荐的准确度。

请参阅图4，图4是本申请一实施例提供的模型训练方法的流程示意图，该已训练账号特征模型用于确定关联账号的目标多模态特征。模型训练方法可以包括：

S401、获取视频交互系统中各个训练样本账号以及各个训练样本账号在视频交互系统中已发布的样本视频。

由于随着时间的变化，每个样本对象账号关注的账号也会发生变化，因此，服务器可以对样本对象账号关注的样本关联账号进行切割，得到样本对象账号在预设时间区间内关注的样本关联账号，并将样本对象账号在预设时间区间内关注的样本关联账号作为训练样本账号。

S402、对训练样本账号的账号信息进行文本模态信息识别，得到训练样本账号的至少两个样本文本模态属性信息。

S403、对至少两个样本文本模态属性信息进行融合提取处理，得到训练样本账号的第一样本文本模态特征。

S404、对样本视频进行视觉特征提取，得到训练样本账号的样本视觉模态特征，以及对样本视频的标题进行文本特征提取，得到训练样本账号的第二样本文本模态特征。

S405、对样本视觉模态特征、第一样本文本模态特征以及第二样本文本模态特征进行特征融合处理，得到训练样本账号的样本多模态账号特征。

服务器执行步骤S401-S405的过程，具体可以参照上述账号推荐方法实施例，本实施例在此不再赘述。

S406、根据各个样本多模态账号特征，对待训练账号特征模型进行训练，得到已训练账号特征模型，已训练账号特征模型用于提取账号的多模态账号特征。

服务器在得到各个样本多模态账号特征之后，可以计算各个样本多模态账号特征之间的相似度，然后根据各个样本多模态账号特征之间的相似度，确定目标损失值，并获取已训练次数，如果已训练次数大于预设次数，则停止训练，将待训练账号特征模型作为已训练账号特征模型，如果已训练次数小于或等于预设次数，则根据目标损失值更新待训练账号特征模型的网络参数，并返回执行步骤S401。

或者，目标损失值可以为度量学习损失值(metric learning)，服务器在根据各个样本多模态账号特征，确定度量学习损失值之后，若度量学习损失值不满足预设条件，则根据度量学习损失值更新待训练账号特征模型的网络参数，并返回执行获取视频交互系统中各个训练样本账号以及各个训练样本账号在视频交互系统中已发布的样本视频的步骤；若度量学习损失值满足预设条件，则将待训练账号特征模型作为已训练账号特征模型。

应理解，度量学习损失值可以包括三元损失值，根据各个样本多模态账号特征，确定度量学习损失值，包括：

计算各个训练样本账号之间的相似度，并从训练样本账号中筛选出中心样本账号；

将与中心样本账号的相似度大于预设相似度的训练样本账号，作为中心样本账号的中心正样本账号，将与中心样本账号的相似度小于或等于预设相似度的训练样本账号，作为中心样本账号的中心负样本账号；

根据中心样本账号的样本多模态账号特征、中心正样本账号的样本多模态账号特征以及中心负样本账号的样本多模态账号特征，确定子三元损失值；

根据各个子三元损失值，确定三元损失值。

在本实施例中，根据中心样本账号、中心正样本账号和中心负样本账号构建三元组，然后计算中心样本账号的样本多模态账号特征与中心正样本账号的样本多模态账号特征之间的第一相似度，以及中心样本账号的样本多模态账号特征与中心负样本账号的样本多模态账号特征之间的第二相似度，最后根据第一相似度和第二相似度计算子三元损失值，从而使得被一个账号同时关注的账号的多模态账号特征之间的空间距离近可能地近，而没有被一个账号同时关注的账号的多模态账号特征之间的空间距离近可能地远，进而使得当通过已训练账号特征模型确定账号的多模态账号特征时，得到的账号的多模态账号特征的准确度更高。

需要说明的是，计算各个训练样本账号之间的相似度的方法，可以根据实际情况进行选择，比如，可以通过基于物品的协同过滤算法(Item-based CollaborativeFiltering，ICF)，或者，通过方面层级隐向量的协同过滤算法(Aspect-levelCollaborative Filtering，ACF)算法，本实施例在此不做限定。

当通过基于物品的协同过滤算法计算各个训练样本账号之间的相似度时，可以通过各个训练样本账号之间的粉丝数计算各个训练样本账号之间的相似度，即计算各个训练样本账号之间的相似度的过程可以为：

α表示训练样本账号M和训练样本账号V的相似度，fans_M表示训练样本账号M的粉丝数，即表示训练样本账号M对应的样本对象账号的数量，fans_V表示训练样本账号V的粉丝数，即表示训练样本账号V对应的样本对象账号的数量，fans_inter表示训练样本账号M和训练样本账号V共同的粉丝的数量，即表示同时关注训练样本账号M和训练样本账号V的样本对象账号的数量。

应理解，如果不存在与中心样本账号的相似度小于或等于预设相似度的训练样本账号，服务器则可以随机选取训练样本账号作为中心样本账号的中心负样本账号。

在本实施例中，先获取视频交互系统中各个训练样本账号以及各个训练样本账号在视频交互系统中已发布的样本视频，然后对训练样本账号的账号信息进行文本模态信息识别，得到训练样本账号的至少两个样本文本模态属性信息。其次，对至少两个样本文本模态属性信息进行融合提取处理，得到训练样本账号的第一样本文本模态特征。然后对样本视频进行视觉特征提取，得到训练样本账号的样本视觉模态特征，以及对样本视频的标题进行文本特征提取，得到训练样本账号的第二样本文本模态特征，并对样本视觉模态特征、第一样本文本模态特征以及第二样本文本模态特征进行特征融合处理，得到训练样本账号的样本多模态账号特征。最后根据各个样本多模态账号特征，对待训练账号特征模型进行训练，得到已训练账号特征模型，以便可以通过已训练账号特征模型提取账号的多模态账号特征，然后根据账号的多模态账号特征进行账号推荐，提高账号推荐的准确度。

根据上述实施例所描述的方法，以下将举例作进一步详细说明。

请参阅图5，图5为本申请实施例提供的模型训练方法的流程示意图。该模型训练方法流程可以包括：

S501、服务器获取视频交互系统中各个训练样本账号以及各个训练样本账号在视频交互系统中已发布的样本视频。

S502、服务器对训练样本账号的账号信息进行文本模态信息识别，得到训练样本账号的样本账号名称和样本账号描述信息。

S503、服务器对样本账号名称和样本账号描述信息进行信息融合处理，得到训练样本账号对应的样本属性文本信息，并对样本属性文本信息进行词特征提取，得到样本属性文本信息的各个样本词特征。

S504、服务器通过待训练账号特征模型中第一TextRCNN层，对各个样本词特征进行文本特征提取，得到训练样本账号的第一样本文本模态特征。

服务器通过待训练账号特征模型中第一TextRCNN层，对各个样本词特征进行文本特征提取，得到训练样本账号的第一样本文本模态特征的过程可以为：

从各个样本词特征中筛选出样本中心词对应的词特征，并确定样本中心词对应的样本词特征在样本属性文本信息中对应的样本上文词特征和样本下文词特征；

对样本上文词特征、样本下文词特征以及样本中心词对应的样本词特征进行拼接处理，得到样本中心词的样本目标词特征；

根据样本中心词的样本目标词特征，确定训练样本账号的第一样本文本模态特征。

S505、服务器通过待训练账号特征模型中backbone层，对样本视频的封面图进行视觉特征提取，得到训练样本账号的样本视觉模态特征。

S506、服务器通过待训练账号特征模型中第二TextRCNN层，对样本视频的标题进行文本特征提取，得到训练样本账号的第二样本文本模态特征。

通过待训练账号特征模型中第二TextRCNN层，对样本视频的标题进行文本特征提取的而过程，具体可以参照通过待训练账号特征模型中第一TextRCNN层，对各个样本词特征进行文本特征提取的过程，本实施例在此不再赘述。

S507、服务器通过待训练账号特征模型中特征融合层，对样本视觉模态特征、第一样本文本模态特征以及第二样本文本模态特征进行特征融合处理，得到训练样本账号的初始样本多模态账号特征。

S508、服务器通过待训练账号特征模型中SENet层，对初始样本多模态账号特征进行降维处理，得到训练样本账号的降维样本多模态账号特征，并对降维样本多模态账号特征进行非线性运算，得到训练样本账号的非线性样本多模态账号特征。

S509、服务器通过待训练账号特征模型中SENet层，对非线性样本多模态账号特征进行升维处理，得到训练样本账号的候选样本多模态账号特征，并将候选样本多模态账号特征中每个特征映射为目标数值区间内的权重，得到初始样本多模态账号特征中每个特征的权重。

S5010、服务器通过待训练账号特征模型中SENet层，根据初始样本多模态账号特征中每个特征的权重，对初始样本多模态账号特征进行特征调整处理，得到训练样本账号的样本多模态账号特征。

S5011、服务器计算各个训练样本账号之间的相似度，并从训练样本账号中筛选出中心样本账号。

S5012、服务器将与中心样本账号的相似度大于预设相似度的训练样本账号，作为中心样本账号的中心正样本账号，将与中心样本账号的相似度小于或等于预设相似度的训练样本账号，作为中心样本账号的中心负样本账号。

S5013、服务器根据中心样本账号的样本多模态账号特征、中心正样本账号的样本多模态账号特征以及中心负样本账号的样本多模态账号特征，确定子三元损失值，并根据各个子三元损失值，确定三元损失值。

S5014、若三元损失值不满足预设条件，服务器则根据三元损失值更新待训练账号特征模型的网络参数，并返回执行步骤S501。

根据三元损失值更新待训练账号特征模型的网络参数，使得被一个账号同时关注的账号的多模态账号特征之间的空间距离近可能地近，而没有被一个账号同时关注的账号的多模态账号特征之间的空间距离近可能地远，使得多模态账号特征中特征在账号推荐过程中的重要程度越高，多模态账号特征中特征的权重越大，多模态账号特征中特征在账号推荐过程中的重要程度越低，多模态账号特征中特征的权重越小，进而使得当通过已训练账号特征模型确定多模态账号特征时，得到的多模态账号特征的准确度更高。

S5015、若三元损失值满足预设条件，服务器则将待训练账号特征模型作为已训练账号特征模型。

在本申请实施例中，将5千万用户的对象账号所关注的训练样本账号作为训练集，使用其他5百万用户的对象账号所关注的账号作为测试集。在实际测试中，将对象账号的首个关注账号作为关联账号输入至已训练账号特征模型中，返回TopN相似账号，然后计算这TopN相似账号与对象账号实际所关注的账号的命中率(HitRate)。相对于average模型，已训练账号特征模型的HitRate(top50)从9.21％提升到14.53％，约5个百分点。

本实施例中具体的实现方式以及对应的有益效果，具体可以参照上述账号推荐方法实施例和模型训练方法实施例，本实例在此不再赘述。

请参阅图6，图6为本申请实施例提供的模型应用于账号推荐的方法流程示意图。该模型应用于账号推荐的方法流程可以包括：

S601、服务器获取视频交互系统中对象账号的关联账号以及关联账号在视频交互系统中发布的所有视频，关联账号为视频交互系统中与对象账号具有关联关系的账号。

S602、服务器确定所有视频中各个视频的发布时间，并从所有视频中筛选出预设数量的发布时间最晚的视频，得到关联账号的已发布视频。

S603、服务器对关联账号的账号信息进行文本模态信息识别，得到关联账号的账号名称和账号描述信息。

比如，如图7所示，账号名称为摄影师Q，账号描述信息为弘扬传统文化和戏曲文化。

S604、服务器账号名称和账号描述信息进行信息融合处理，得到属性文本信息，并对属性文本信息进行词特征提取，得到属性文本信息的各个词特征。

由于账号名称和账号描述信息具有极强的区分性和表征性，因此单独将账号名称和账号描述信息作为一路文本特征进行提取。

S605、服务器通过已训练账号特征模型中第一TextRCNN层，对各个词特征进行文本特征提取，得到关联账号的第一文本模态特征。

当通过Bert模型提取第一文本模态特征时，由于Bert模型过大，会抑制backbone层提取视觉模态特征，导致账号推荐的效果较差，因此，本申请实施例通过第一TextRCNN层提取第一文本模态特征，从而去提升账号推荐的效果。

比如，如图8所示，通过已训练账号特征模型中第一TextRCNN层，对各个词特征进行文本特征提取，得到关联账号的第一文本模态特征。

通过已训练账号特征模型中第一TextRCNN层，对各个词特征进行文本特征提取，得到关联账号的第一文本模态特征的过程可以为：

从各个词特征中筛选出中心词对应的词特征，并确定中心词对应的词特征在属性文本信息中对应的上文词特征和下文词特征；

对上文词特征、下文词特征以及中心词对应的词特征进行拼接处理，得到中心词的目标词特征；

根据中心词的目标词特征，确定关联账号的第一文本模态特征。

S606、服务器通过已训练账号特征模型中backbone层，对已发布视频中的封面图进行视觉特征提取，得到关联账号的视觉模态特征。

比如，已发布视频的封面图可以如图7所示。backbone层可以包括InceptionResnetV2层和NeXtVLAD层。比如，如图8所示，服务器先通过InceptionResnetV2层对已发布视频的封面图进行视觉特征提取，得到关联账号的多个子视觉模态特征，然通过NeXtVLAD层对多个子视觉模态特征进行融合处理，得到关联账号的视觉模态特征。

需要说明的是，服务器可以先将多个已发布视频中的封面图进行拼接，得到封面图拼接结果，然后再对封面图拼接结果进行视觉特征提取。比如，如图8所示。

S607、服务器通过已训练账号特征模型中第二TextRCNN层，对已发布视频的标题进行文本特征提取，得到关联账号的第二文本模态特征。

比如，已发布视频的标题可以如图7所示。服务器可以先将各个已发布视频的标题进行拼接，得到标题拼接结果，再对标题拼接结果进行文本特征提取。

S608、服务器通过已训练账号特征模型中特征融合层，对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的初始多模态账号特征。

比如，当视觉模态特征、第一文本模态特征以及第二文本模态特征均为1024维度的特征时，初始多模态账号特征为3072(1024*3)维度的特征。

S609、服务器通过已训练账号特征模型中SENet层，对初始多模态账号特征进行降维处理，得到关联账号的降维多模态账号特征，并对降维多模态账号特征进行非线性运算，得到关联账号的非线性多模态账号特征。

S6010、服务器通过已训练账号特征模型中SENet层，对非线性多模态账号特征进行升维处理，得到关联账号的候选多模态账号特征，并将候选多模态账号特征中每个特征映射为目标数值区间内的权重，得到初始多模态账号特征中每个特征的权重。

特征的权重表征特征在账号推荐过程中的重要程度，特征在账号推荐过程中的重要程度越低，多模态账号特征中特征的权重越小，特征在账号推荐过程中的重要程度越高，多模态账号特征中特征的权重越大。

S6011、服务器通过已训练账号特征模型中SENet层，根据初始多模态账号特征中每个特征的权重，对初始多模态账号特征进行特征调整处理，得到关联账号的目标多模态账号特征。

S6012、服务器获取待推荐账号的多模态账号特征，并计算待推荐账号的多模态账号特征以及目标多模态账号特征之间的账号相似度。

S6013、服务器将大于预设账号相似度的账号相似度对应的多模态账号特征作为推荐多模态账号特征，并将推荐多模态账号特征对应的待推荐账号推荐给对象账号。

当对象账号关注推荐多模态账号特征对应的待推荐账号之后，推荐多模态账号特征对应的待推荐账号发布的视频可以如图9所示。

本实施例中具体的实现方式以及对应的有益效果，具体可以参照上述账号推荐方法实施例，本实施例在此不再赘述。

为便于更好的实施本申请实施例提供的账号推荐方法，本申请实施例还提供一种基于上述账号推荐方法的装置。其中名词的含义与上述账号推荐方法中相同，具体实现细节可以参考方法实施例中的说明。

例如，如图10所示，该账号推荐装置可以包括：

账号获取模块1001，用于获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频，关联账号为视频交互系统中与对象账号具有关联关系的账号；

信息识别模块1002，用于对关联账号的账号信息进行文本模态信息识别，得到关联账号的至少两个文本模态属性信息；

融合提取模块1003，用于对至少两个文本模态属性信息进行融合提取处理，得到关联账号的第一文本模态特征；

特征提取模块1004，用于对已发布视频进行视觉特征提取，得到关联账号的视觉模态特征，以及对已发布视频的标题进行文本特征提取，得到关联账号的第二文本模态特征；

特征融合模块1005，用于对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的目标多模态账号特征；

账号推荐模块1006，用于获取待推荐账号的多模态账号特征，并根据待推荐账号的多模态账号特征以及目标多模态账号特征，向对象账号进行账号推荐。

可选地，融合提取模块1003具体用于执行：

分别对至少两个文本模态属性信息进行特征提取，得到每个文本模态属性信息对应的文本属性特征；

对各个文本属性特征进行文本特征融合处理，得到关联账号的第一文本模态特征。

可选地，融合提取模块1003具体用于执行：

获取每个文本属性特征对应的属性权重；

根据每个文本属性特征对应的属性权重，对至少两个文本属性特征进行文本特征融合处理，得到关联账号的第一文本模态特征。

可选地，文本模态属性信息包括关联账号的账号名称和账号描述信息。

相应地，融合提取模块1003具体用于执行：

获取已发布视频的标题与账号名称之间的第一关联度信息，以及获取已发布视频的标题与账号描述信息之间的第二关联度信息；

根据第一关联度和第二关联度，确定账号名称对应的属性权重和账号描述信息对应的属性权重。

可选地，融合提取模块1003具体用于执行：

对至少两个文本模态属性信息进行信息融合处理，得到关联账号的属性文本信息；

对属性文本信息进行词特征提取，得到属性文本信息的各个词特征；

根据词特征，确定关联账号的第一文本模态特征。

可选地，融合提取模块1003具体用于执行：

从各个词特征中筛选出中心词对应的词特征，并确定中心词对应的词特征在属性文本信息中对应的上文词特征和下文词特征；

对上文词特征、下文词特征以及中心词对应的词特征进行拼接处理，得到中心词的目标词特征；

根据中心词的目标词特征，确定关联账号的第一文本模态特征。

可选地，账号获取模块1001具体用于执行：

获取视频交互系统中对象账号的关联账号以及关联账号在视频交互系统中发布的所有视频；

确定所有视频中各个视频的发布时间；

从所有视频中筛选出预设数量的发布时间最晚的视频，得到关联账号的已发布视频。

可选地，特征融合模块1005具体用于执行：

对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的初始多模态账号特征；

对初始多模态账号特征进行权重计算，得到初始多模态账号特征中每个特征的权重，权重表征初始多模态账号特征中每个特征在账号推荐过程中的重要程度；

根据初始多模态账号特征中每个特征的权重，对初始多模态账号特征进行特征调整处理，得到关联账号的目标多模态账号特征。

可选地，特征融合模块1005具体用于执行：

对初始多模态账号特征进行降维处理，得到关联账号的降维多模态账号特征；

对降维多模态账号特征进行非线性运算，得到关联账号的非线性多模态账号特征；

根据非线性多模态账号特征，计算初始多模态账号特征中每个特征的权重。

可选地，特征融合模块1005具体用于执行：

对非线性多模态账号特征进行升维处理，得到关联账号的候选多模态账号特征；

将候选多模态账号特征中每个特征映射为目标数值区间内的权重，得到初始多模态账号特征中每个特征的权重。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施方式以及对应的有益效果可参见前面的方法实施例，在此不再赘述。

为便于更好的实施本申请实施例提供的模型训练方法，本申请实施例还提供一种基于上述模型训练方法的装置。其中名词的含义与上述模型训练方法中相同，具体实现细节可以参考方法实施例中的说明。

例如，如图11所示，该模型训练装置可以包括：

样本账号获取模块1101，用于获取视频交互系统中各个训练样本账号以及各个训练样本账号在视频交互系统中已发布的样本视频；

样本信息识别模块1102，用于对训练样本账号的账号信息进行文本模态信息识别，得到训练样本账号的至少两个样本文本模态属性信息；

样本融合提取模块1103，用于对至少两个样本文本模态属性信息进行融合提取处理，得到训练样本账号的第一样本文本模态特征；

样本特征提取模块1104，用于对样本视频进行视觉特征提取，得到训练样本账号的样本视觉模态特征，以及对样本视频的标题进行文本特征提取，得到训练样本账号的第二样本文本模态特征；

样本特征融合模块1105，用于对样本视觉模态特征、第一样本文本模态特征以及第二样本文本模态特征进行特征融合处理，得到训练样本账号的样本多模态账号特征；

特征模型训练模块1106，用于根据各个样本多模态账号特征，对待训练账号特征模型进行训练，得到已训练账号特征模型，已训练账号特征模型用于提取账号的多模态账号特征。

可选地，特征模型训练模块1106具体用于执行：

根据各个样本多模态账号特征，确定度量学习损失值；

若度量学习损失值不满足预设条件，则根据度量学习损失值更新待训练账号特征模型的网络参数，并返回执行获取视频交互系统中各个训练样本账号以及各个训练样本账号在视频交互系统中已发布的样本视频的步骤；

若度量学习损失值满足预设条件，则将待训练账号特征模型作为已训练账号特征模型。

可选地，度量学习损失值包括三元损失值。相应地，特征模型训练模块1106具体用于执行：

计算各个训练样本账号之间的相似度，并从训练样本账号中筛选出中心样本账号；

将与中心样本账号的相似度大于预设相似度的训练样本账号，作为中心样本账号的中心正样本账号，将与中心样本账号的相似度小于或等于预设相似度的训练样本账号，作为中心样本账号的中心负样本账号；

根据中心样本账号的样本多模态账号特征、中心正样本账号的样本多模态账号特征以及中心负样本账号的样本多模态账号特征，确定子三元损失值；

根据各个子三元损失值，确定三元损失值。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施方式以及对应的有益效果可参见前面的方法实施例，在此不再赘述。

本申请实施例还提供一种电子设备，该电子设备可以是服务器或终端等，如图12所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器1201、一个或一个以上计算机可读存储介质的存储器1202、电源1203和输入单元1204等部件。本领域技术人员可以理解，图12中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器1201是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1202内的计算机程序和/或模块，以及调用存储在存储器1202内的数据，执行电子设备的各种功能和处理数据。可选的，处理器1201可包括一个或多个处理核心；优选的，处理器1201可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1201中。

存储器1202可用于存储计算机程序以及模块，处理器1201通过运行存储在存储器1202的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器1202可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器1202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1202还可以包括存储器控制器，以提供处理器1201对存储器1202的访问。

电子设备还包括给各个部件供电的电源1203，优选的，电源1203可以通过电源管理系统与处理器1201逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1203还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元1204，该输入单元1204可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器1201会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器1202中，并由处理器1201来运行存储在存储器1202中的计算机程序，从而实现各种功能，比如：

获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频，关联账号为视频交互系统中与对象账号具有关联关系的账号；

对关联账号的账号信息进行文本模态信息识别，得到关联账号的至少两个文本模态属性信息；

对至少两个文本模态属性信息进行融合提取处理，得到关联账号的第一文本模态特征；

对已发布视频进行视觉特征提取，得到关联账号的视觉模态特征，以及对已发布视频的标题进行文本特征提取，得到关联账号的第二文本模态特征；

对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的目标多模态账号特征；

获取待推荐账号的多模态账号特征，并根据待推荐账号的多模态账号特征以及目标多模态账号特征，向对象账号进行账号推荐。

以上各个操作的具体实施方式以及对应的有益效果可参见上文对账号推荐方法和模型训练方法的详细描述，在此不作赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种账号推荐方法中的步骤或模型训练方法中的步骤。例如，该计算机程序可以执行如下步骤：

获取视频交互系统中对象账号的关联账号以及关联账号的已发布视频，关联账号为视频交互系统中与对象账号具有关联关系的账号；

对关联账号的账号信息进行文本模态信息识别，得到关联账号的至少两个文本模态属性信息；

对至少两个文本模态属性信息进行融合提取处理，得到关联账号的第一文本模态特征；

对已发布视频进行视觉特征提取，得到关联账号的视觉模态特征，以及对已发布视频的标题进行文本特征提取，得到关联账号的第二文本模态特征；

对视觉模态特征、第一文本模态特征以及第二文本模态特征进行特征融合处理，得到关联账号的目标多模态账号特征；

获取待推荐账号的多模态账号特征，并根据待推荐账号的多模态账号特征以及目标多模态账号特征，向对象账号进行账号推荐。

以上各个操作的具体实施方式以及对应的有益效果可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种账号推荐方法中的步骤或模型训练方法中的步骤，因此，可以实现本申请实施例所提供的任一种账号推荐方法或模型训练方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述账号推荐方法或模型训练方法。

以上对本申请实施例所提供的一种账号推荐方法、装置、电子设备、存储介质及程序产品进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。