多媒体推荐系统、方法、装置及设备
文献发布时间:2023-06-19 11:35:49
技术领域
本公开涉及互联网技术领域,特别涉及一种多媒体推荐系统、方法、装置及设备。
背景技术
如今,随着互联网技术的发展,终端上的娱乐应用越来越多。例如,终端上安装短视频应用,用户可以通过该短视频应用观看短视频。为了提高短视频的曝光率,该短视频应用还可以为用户推荐一些用户可能感兴趣的短视频。其中,该短视频应用在为用户推荐短视频时,可以借助于多媒体推荐系统确定用户对待推荐的多个短视频的感兴趣的概率,根据用户对每个短视频的感兴趣的概率,为用户推荐用户感兴趣的短视频。
发明内容
本公开实施例提供了一种多媒体推荐系统、方法、装置及设备,能够解决相关技术中多媒体推荐系统的信息推荐效率低的问题。所述技术方案如下:
第一方面,提供了一种多媒体推荐系统,所述多媒体推荐系统包括:推荐装置和特征服务装置;
所述推荐装置,用于在接收携带有用户信息和多个多媒体信息的推荐处理请求之后,获取所述用户信息对应的用户特征,向所述特征服务装置发送多媒体信息的信息标识;
所述特征服务装置,用于读取与各多媒体信息的信息标识对应的多媒体特征,将读取到的多媒体特征返回至所述推荐装置;
所述推荐装置,还用于将用户特征和读取到的多媒体特征进行拼接,得到拼接特征,根据所述拼接特征获取所述用户信息与各多媒体信息的匹配程度。
在一种可能的实现方式中,所述推荐装置包括M个推荐单元,M为大于1的整数;
每个推荐单元,用于获取对应的用户信息的用户特征,以及,向所述特征服务装置发送所述多个多媒体信息中的部分多媒体信息的信息标识,且任意两个推荐单元对应的部分多媒体信息之间不存在交集;
所述每个推荐单元,还用于将用户特征与所述特征服务装置返回的对应多媒体信息的多媒体特征进行拼接,得到拼接特征;并根据所述拼接特征,确定所述用户信息与对应多媒体信息的匹配程度;
所述推荐装置还用于将各推荐单元得到的用户信息与对应多媒体信息的匹配程度进行合并之后,返回给推荐处理请求的发送方。
在另一种可能的实现方式中,所述特征服务装置包括N个特征服务单元,N为大于1的整数;
每个特征服务单元用于存储部分多媒体特征,且任意两个特征服务单元存储的部分多媒体特征之间不存在交集;
所述特征服务单元,还用于从其存储的部分多媒体特征中,读取与接收到的多媒体信息的信息标识对应的多媒体特征,将读取到的多媒体特征返回至对应的推荐单元。
在另一种可能的实现方式中,所述推荐装置还包括请求处理单元;
所述请求处理单元,用于接收所述推荐处理请求,将所述推荐处理请求中的所述用户信息和所述多个多媒体信息分配给所述M个推荐单元,且任意两个推荐单元所分配的多媒体信息之间不存在交集。
在另一种可能的实现方式中,所述每个推荐单元,还用于将所述用户信息与所述部分多媒体信息中各多媒体信息的匹配程度发送给所述请求处理单元;
所述请求处理单元,还用于根据所述用户信息与所述多个媒体体信息中各多媒体信息的匹配程度,将所述多个多媒体信息进行排序,输出排序后的所述多个多媒体信息。
在另一种可能的实现方式中,所述多媒体推荐系统还包括:线下特征训练装置;
所述线下特征训练装置,用于训练多媒体特征,将所述多媒体特征同步到所述N个特征服务单元。
在一种可能的实现方式中,所述线下特征训练装置还用于当增加多媒体特征时,确定所述多媒体特征被存储的特征服务单元,将所述多媒体特征存储到对应的特征服务单元。
第二方面,提供了一种多媒体推荐方法,所述方法应用在推荐装置中,所述方法包括:
接收携带有用户信息和多个多媒体信息的推荐处理请求,获取所述用户信息对应的用户特征,向特征服务装置发送多媒体信息的信息标识;
将所述用户特征和所述特征服务装置读取到的多媒体特征进行拼接,得到拼接特征,根据所述拼接特征获取所述用户信息与各多媒体信息的匹配程度。
在一种可能的实现方式中,所述推荐装置包括M个推荐单元,M为大于1的整数;
所述向特征服务装置发送多媒体信息的信息标识,包括:
将所述多个多媒体信息分配给所述M个推荐单元,且任意两个推荐单元分配的多媒体信息之间不存在交集,通过所述M个推荐单元分别向所述特征服务装置发送多媒体信息的信息标识;
所述将所述用户特征和所述特征服务装置读取到的多媒体特征进行拼接,得到拼接特征,根据所述拼接特征获取所述用户信息与各多媒体信息的匹配程度,包括:
通过所述M个推荐单元分别将所述用户特征和所述特征服务装置返回的对应多媒体信息的多媒体特征进行拼接,得到拼接特征;根据所述拼接特征,获取所述用户信息与对应多媒体信息的匹配程度。
在另一种可能的实现方式中,所述根据所述拼接特征,获取所述用户信息与各多媒体信息的匹配程度,包括:
将所述拼接特征输入概率预测模型中,得到所述用户信息与各多媒体信息的匹配程度。
在另一种可能的实现方式中,所述将所述多个多媒体信息分配给所述M个推荐单元,包括:
将所述多个多媒体信息平均分配给所述M个推荐单元;或者,根据所述每个推荐单元的负载,将所述多个多媒体信息按照负载均衡的原则分配给所述M个推荐单元。
在另一种可能的实现方式中,所述获取所述用户信息与各多媒体信息的匹配程度之后,所述方法还包括:
根据所述用户信息与各多媒体信息的匹配程度,将所述多个多媒体信息进行排序,输出排序后的所述多个多媒体信息。
第三方面,提供了另一种多媒体推荐方法,所述方法应用在特征服务装置中,所述方法包括:
接收推荐装置发送的每个多媒体信息的信息标识;
根据所述每个多媒体信息的信息标识,读取与各多媒体信息的信息标识对应的多媒体特征;
将读取到的多媒体特征返回至所述推荐装置。
在一种可能的实现方式中,所述特征服务装置包括N个特征服务单元,N为大于1的整数;每个特征服务单元存储部分多媒体特征,且任意两个特征服务单元存储的部分多媒体特征之间不存在交集;
所述根据所述每个多媒体信息的信息标识,读取与各多媒体信息的信息标识对应的多媒体特征,包括:
通过所述N个特征服务单元分别从其存储的部分多媒体特征中读取与所述多媒体信息的信息标识对应的多媒体特征;
所述将读取到的多媒体特征返回至所述推荐装置,包括:
通过所述N个特征服务单元分别将读取到的多媒体特征返回至所述推荐装置。
第四方面,提供了另一种多媒体推荐方法,所述方法应用在线下特征训练装置中,所述方法包括:
训练多媒体特征,将所述多媒体特征同步到特征服务装置中;其中,所述特征服务装置包括N个特征服务单元,N为大于1的整数;每个特征服务单元存储部分多媒体特征,且任意两个特征服务单元存储的部分多媒体特征之间不存在交集;
当增加多媒体特征时,确定所述多媒体特征被存储的特征服务单元;
将所述多媒体特征存储到确定出的特征服务单元。
在一种可能的实现方式中,所述当增加多媒体特征时,确定所述多媒体特征被存储的特征服务单元,包括:
当增加多媒体特征时,对所述多媒体特征进行哈希hash运算,得到所述多媒体特征的哈希值;根据所述哈希值,对所述N进行映射,得到所述多媒体特征被存储的特征服务单元。
第五方面,提供了一种推荐装置,所述装置包括:
推荐处理请求接收模块,被配置为执行携带有用户信息和多个多媒体信息的推荐处理请求;
用户特征获取模块,被配置为执行获取所述用户信息对应的用户特征;
信息标识发送模块,被配置为执行向特征服务装置发送多媒体信息的信息标识;
匹配程度获取模块,被配置为执行将所述用户特征和所述特征服务装置读取到的多媒体特征进行拼接,得到拼接特征,根据所述拼接特征获取所述用户信息与各多媒体信息的匹配程度。
在一种可能的实现方式中,所述推荐装置包括M个推荐单元,M为大于1的整数;
所述信息标识发送模块,还被配置为执行将所述多个多媒体信息分配给所述M个推荐单元,且任意两个推荐单元分配的多媒体信息之间不存在交集,通过所述M个推荐单元分别向所述特征服务装置发送多媒体信息的信息标识;
所述匹配程度获取模块,被配置为执行通过所述M个推荐单元分别将所述用户特征和所述特征服务装置返回的对应多媒体信息的多媒体特征进行拼接,得到拼接特征;根据所述拼接特征,获取所述用户信息与各多媒体信息的匹配程度。
在另一种可能的实现方式中,所述匹配程度获取模块,被配置为执行将所述拼接特征输入概率预测模型中,得到所述用户信息与各多媒体信息的匹配程度。
在另一种可能的实现方式中,所述信息标识发送模块,被配置为执行将所述多个多媒体信息平均分配给所述M个推荐单元;或者,根据所述每个推荐单元的负载,将所述多个多媒体信息按照负载均衡的原则分配给所述M个推荐单元。
在另一种可能的实现方式中,所述装置还包括:
多媒体信息输出模块,被配置为执行根据所述用户信息与各多媒体信息的匹配程度,将所述多个多媒体信息进行排序,输出排序后的所述多个多媒体信息。
第六方面,提供了一种特征服务装置,所述装置包括:
信息标识接收模块,被配置为执行接收推荐装置发送的每个多媒体信息的信息标识;
多媒体特征读取模块,被配置为执行根据所述每个多媒体信息的信息标识,读取与各多媒体信息的信息标识对应的多媒体特征;
多媒体特征发送模块,被配置为执行将读取到的多媒体特征返回至所述推荐装置。
在一种可能的实现方式中,所述特征服务装置包括N个特征服务单元,N为大于1的整数;每个特征服务单元存储部分多媒体特征,且任意两个特征服务单元存储的部分多媒体特征之间不存在交集;
所述多媒体特征读取模块,被配置为执行通过所述N个特征服务单元分别从其存储的部分多媒体特征中读取与所述多媒体信息的信息标识对应的多媒体特征;
所述多媒体特征发送模块,被配置为执行通过所述N个特征服务单元分别将读取到的多媒体特征返回至所述推荐装置。
第七方面,提供了一种线下特征训练装置,所述装置包括:
特征训练模块,被配置为执行训练多媒体特征,将所述多媒体特征同步到特征服务装置中;其中,所述特征服务装置包括N个特征服务单元,N为大于1的整数;每个特征服务单元存储部分多媒体特征,且任意两个特征服务单元存储的部分多媒体特征之间不存在交集;
特征服务单元确定模块,被配置为执行当增加多媒体特征时,确定所述多媒体特征被存储的特征服务单元;
特征存储模块,被配置为执行将所述多媒体特征存储到确定出的特征服务单元。
在一种可能的实现方式中,所述特征服务单元确定模块,被配置为执行当增加多媒体特征时,对所述多媒体特征进行哈希hash运算,得到所述多媒体特征的哈希值;根据所述哈希值,对所述N进行映射,得到所述多媒体特征被存储的特征服务单元。
第八方面,提供了一种多媒体推荐设备,所述设备包括:一个或多个处理器;用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器;其中,所述一个或多个处理器被配置为执行上述任一项所述的多媒体推荐方法。
第九方面,提供了一种非临时性计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,所述指令被服务器的处理器执行时实现上述任一项所述的多媒体推荐方法。
本公开实施例提供的技术方案带来的有益效果是:
在本公开实施例中,多媒体推荐系统包括:推荐装置和特征服务装置;所述推荐装置,用于在接收携带有用户信息和多个多媒体信息的推荐处理请求之后,获取所述用户信息对应的用户特征,向所述特征服务装置发送多媒体信息的信息标识;所述特征服务装置,用于读取与各多媒体信息的信息标识对应的多媒体特征,将读取到的多媒体特征返回至所述推荐装置;所述推荐装置,还用于将用户特征和读取到的多媒体特征进行拼接,得到拼接特征,根据所述拼接特征获取所述用户信息与各多媒体信息的匹配程度。由于多媒体推荐系统包括推荐装置和特征服务装置,推荐装置负责获取多媒体信息的信息标识和用户信息与各多媒体信息的匹配程度,特征服务装置负责存储特征和根据信息标识读取特征,相较于通过一个装置来存储特征、进行特征读取和获取匹配度,提高了多媒体推荐系统进行信息推荐的效率。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种实施环境的示意图;
图2是本公开实施例提供的一种多媒体推荐系统的示意图;
图3是本公开实施例提供的一种多媒体推荐系统的示意图;
图4是本公开实施例提供的一种多媒体推荐系统的示意图;
图5是本公开实施例提供的一种多媒体推荐系统的示意图;
图6是本公开实施例提供的一种多媒体推荐方法的流程图;
图7是本公开实施例提供的一种多媒体推荐方法的流程图;
图8是本公开实施例提供的一种多媒体推荐方法的流程图;
图9是本公开实施例提供的一种推荐装置的框图;
图10是本公开实施例提供的一种特征服务装置的框图;
图11是本公开实施例提供的一种线下特征训练装置的框图;
图12是本公开实施例提供的一种多媒体推荐设备的结构示意图。
附图标记分别表示:
10-终端,20-多媒体服务器,30-多媒体推荐系统,31-推荐装置,32-特征服务装置,33-线下特征训练装置,311-推荐单元,312-请求处理单元,321-特征服务单元。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
图1是本公开实施例提供的一种应用场景的示意图。参见图1,该应用场景包括终端10、多媒体服务器20和多媒体推荐系统30。其中,终端10和多媒体服务器20之间通过无线或者有线网络连接。并且,终端10上安装多媒体提供服务的多媒体应用,终端10对应的用户可以通过该多媒体应用实现例如数据传输、消息交互等功能。多媒体服务器20与该多媒体推荐系统30连接。其中,终端10可以为电脑、手机、平板电脑或者其他电子设备。多媒体应用可以为短视频应用或者音频播放应用等。
当终端10通过多媒体应用登录多媒体服务器20时,多媒体服务器20可以借助于多媒体推荐系统30为终端10推荐多媒体信息。相应的,多媒体服务器20,用于向该多媒体推荐系统30发送推荐处理请求,推荐处理请求中携带用户的多媒体信息。多媒体信息至少包括多个多媒体信息,还可以包括用户信息。
用户信息可以包括用户的性别、年龄、生活区域、职业、学校、专业、学历、喜欢的学科、喜欢的食物、喜欢的明星、喜欢的美妆博主、喜欢的影视类型、喜欢的综艺、喜欢的歌曲类型、喜欢的动物、喜欢的旅游胜地、喜欢的品牌、喜欢的运动项目等中的至少一项。
多媒体信息可以包括视频信息和音频信息中的至少一项。视频信息可以包括短视频。音频信息可以包括歌曲、有声小说、评书、相声等中的至少一项,本公开以多媒体信息为短视频为例进行说明。
多媒体推荐系统30接收多媒体服务器20发送的推荐处理请求,根据用户信息和多媒体信息获取用户信息与各多媒体信息的匹配程度。在一种可能的实现方式中,多媒体推荐系统30将用户信息与各多媒体信息的匹配程度发送给多媒体服务器20。多媒体服务器20根据用户信息与各多媒体信息的匹配程度为用户推荐多媒体信息。
在另一种可能的实现方式中,多媒体推荐系统30根据用户信息与各多媒体信息的匹配程度,将多个多媒体信息进行排序,将排序后的多个多媒体信息发送给多媒体服务器20。多媒体服务器20根据排序后的每个多媒体信息为用户推荐多媒体信息。
例如,当该多媒体应用为短视频应用时,相应的,多媒体服务器20为短视频应用服务器。当用户通过终端10上的该短视频应用观看短视频时,短视频应用服务器向该多媒体推荐系统30发送推荐处理请求。多媒体推荐系统30根据推荐处理请求中的用户信息和多个短视频获取用户信息与各短视频的匹配程度,多媒体推荐系统30还可以根据用户信息与各短视频的匹配程度,将多个短视频进行排序,将排序后的多个短视频发送给短视频应用服务器。短视频应用服务器接收排序后的多个短视频后,将排序后的多个短视频依次推荐给终端10。
图2是本公开实施例提供的一种多媒体推荐系统的示意图。参见图2,多媒体推荐系统包括:推荐装置和特征服务装置,推荐装置与特征服务装置连接;
推荐装置,用于在接收携带有用户信息和多个多媒体信息的推荐处理请求之后,获取用户信息对应的用户特征,向特征服务装置发送多媒体信息的信息标识;
特征服务装置,用于读取与各多媒体信息的信息标识对应的多媒体特征,将读取到的多媒体特征返回至推荐装置;
推荐装置,还用于将用户特征和读取到的多媒体特征进行拼接,得到拼接特征,根据拼接特征获取用户信息与各多媒体信息的匹配程度。
在本公开实施例中,多媒体推荐系统包括:推荐装置和特征服务装置;推荐装置,用于在接收携带有用户信息和多个多媒体信息的推荐处理请求之后,获取用户信息对应的用户特征,向特征服务装置发送多媒体信息的信息标识;特征服务装置,用于读取与各多媒体信息的信息标识对应的多媒体特征,将读取到的多媒体特征返回至推荐装置;推荐装置,还用于将用户特征和读取到的多媒体特征进行拼接,得到拼接特征,根据拼接特征获取用户信息与各多媒体信息的匹配程度。由于多媒体推荐系统包括推荐装置和特征服务装置,推荐装置负责获取多媒体信息的信息标识和用户信息与各多媒体信息的匹配程度,特征服务装置负责存储特征和根据信息标识读取特征,相较于通过一个装置来存储特征、进行特征读取和获取匹配度,提高了多媒体推荐系统进行信息推荐的效率。
在一种可能的实现方式中,推荐装置获取用户信息对应的用户特征的方式可以为:推荐装置从该用户信息中抽象出用户的用户特征。
其中,当用户信息包括用户的性别、年龄、生活区域、职业、学校、专业、学历、喜欢的学科、喜欢的食物、喜欢的明星、喜欢的美妆博主、喜欢的影视类型、喜欢的综艺、喜欢的歌曲类型、喜欢的动物、喜欢的旅游胜地、喜欢的品牌、喜欢的运动项目等中的至少一项时,用户信息对应的用户特征包括用户的性别特征、年龄特征、区域特征、职业特征、学校特征、专业特征、学历特征、学科特征、食物特征、明星特征、美妆博主特征、影视类型特征、综艺特征、歌曲特征、动物特征、旅游胜地特征、品牌特征、运动项目特征等中的至少一个。
推荐装置还用于向特征服务装置发送用户的用户特征。
推荐装置还用于根据多个多媒体信息,获取每个多媒体信息的信息标识。实现方式可以为:推荐装置从每个多媒体信息中抽象出多媒体信息的信息标识。其中,多媒体信息的信息标识可以包括性别信息标识、年龄信息标识、区域信息标识、职业信息标识、学校信息标识、专业信息标识、学历信息标识、学科信息标识、食物信息标识、明星信息标识、美妆博主信息标识、影视类型信息标识、综艺信息标识、歌曲信息标识、动物信息标识、旅游胜地信息标识、品牌信息标识、运动项目信息标识等中的一个或多个。当然,信息标识还可以包括其他,例如,建筑信息标识、文化信息标识等,本公开对多媒体信息的信息标识的内容和数量不做限制。
例如,当多媒体信息为短视频,且该短视频的内容为某体育明星参加某综艺的视频片段时,推荐装置根据该多媒体信息,获取该多媒体信息的信息标识的方式可以为:推荐装置获取该短视频中该体育明星的性别信息标识:“男”、年龄信息标识:“45岁”、区域信息标识:“中国”、职业信息标识:“乒乓球教练”、专业信息标识:“乒乓球”、学历信息标识:“大学”、明星信息标识:“张三”、综艺信息标识:“体育之星”等,将“男”、“45岁”、“中国”、“乒乓球教练”、“乒乓球”“大学”、“张三”、“体育之星”作为该短视频的的信息标识。
特征服务装置还用于接收推荐装置发送的每个多媒体信息的信息标识,并读取与各多媒体信息的信息标识对应的多媒体特征。
特征服务装置还用于存储多媒体特征,即用于存储每个多媒体特征的信息标识与特征值的对应关系。相应的,特征服务装置读取与各多媒体信息的信息标识对应的多媒体特征的方式为:特征服务装置根据每个多媒体信息的信息标识,从信息标识与特征值的对应关系中读取每个信息标识对应的的特征值。
特征服务装置还用于存储用户特征与特征值的对应关系。特征服务装置还用于接收推荐装置发送的用户特征,根据接收到的用户特征,从用户特征与特征值的对应关系中读取用户特征对应的特征值。
在本公开实施例中,由于多媒体推荐系统包括推荐装置和特征服务装置,特征服务装置负责存储特征和根据信息标识返回特征,也即特征服务装置作为多媒体推荐系统中存储及返回特征值的独立模块,从而特征服务装置不仅可以被该多媒体推荐系统使用,还可以被其他多媒体推荐系统使用。并且,推荐装置不需要存储特征以及进行特征值读取,节省了推荐装置的空间,相比于通过一个模块来读取特征和获取信息匹配度,推荐装置节省了2/3的内存,方便对推荐装置进行优化。
在一种可能的实现方式中,特征服务装置用于在读取到用户特征的特征值和每个多媒体信息的多媒体特征的特征值时,将读取到的用户特征的特征值和每个多媒体信息的多媒体特征的特征值返回至推荐装置。推荐装置用于将用户特征的特征值与每个多媒体信息的多媒体特征的特征值进行拼接,得到拼接特征,根据拼接特征,确定用户信息与每个多媒体信息的匹配程度。
其中,推荐装置中包括概率预测模型,相应的,推荐装置根据拼接特征,确定用户信息与每个多媒体信息的匹配程度的方式可以为:推荐装置将拼接特征输入概率预测模型,得到概率预测模型输出的用户信息与每个多媒体信息匹配的概率值,将对应的概率值作为用户信息与对应多媒体信息的匹配程度。
该概率预测模型可以为DNN(Deep Neural Networks,深度神经网络)模型、CNN(Convolutional Neural Networks,卷积神经网络)模型、RNN(Recurrent NeuralNetworks,循环神经网络)模型或者其他神经网络模型等,本公开对具体采用哪种模型作为概率预测模型不做限制。
其中,推荐装置还用于向多媒体服务器输出用户信息与每个多媒体信息的匹配程度。从而多媒体服务器可以根据该用户信息与每个多媒体信息的匹配程度,进行多媒体信息的推荐。当多媒体信息为短视频时,多媒体服务器可以根据该用户信息与每个多媒体信息的匹配程度为用户推荐短视频,从而提高用户的浏览量,增加短视频的曝光度。
在一种可能的实现方式中,多媒体推荐系统还包括线下特征训练装置,线下特征训练装置和特征服务装置连接。线下特征训练装置,用于训练多媒体特征,将多媒体特征同步到特征服务装置。
图3是本公开实施例提供的一种多媒体推荐系统的示意图。参见图3,推荐装置包括M个推荐单元,M为大于1的整数;
每个推荐单元与特征服务装置连接;
每个推荐单元,用于获取对应的用户信息的用户特征和多个多媒体信息中的部分多媒体信息的信息标识;向特征服务装置发送多个多媒体信息中的部分多媒体信息的信息标识,且任意两个推荐单元对应的部分多媒体信息之间不存在交集。
每个推荐单元,还用于将用户特征与特征服务装置返回的对应多媒体信息的多媒体特征进行拼接,得到拼接特征;根据拼接特征,确定用户信息与对应多媒体信息的匹配程度。
推荐装置还用于将各推荐单元得到的用户信息与对应多媒体信息的匹配程度进行合并之后,返回给推荐处理请求的发送方。
每个推荐单元还用于向特征服务装置发送对应的用户信息的用户特征。
推荐单元的数量可以根据需要配置,在本公开实施例中,以推荐单元的数量为8为例进行说明。例如,参考图3,推荐单元的数量为8,分别为推荐单元0,推荐单元1,······,推荐单元7。并且,推荐单元就是将推荐装置进行分片得到的infer shard(预估分片)。
其中,每个推荐单元处理的多媒体信息的数量可以相同,也可以不同;并且,每个推荐单元处理的多媒体信息的数量可以由独立的请求处理单元分配。相应的,参见图4,该推荐装置还包括请求处理单元;请求处理单元与每个推荐单元连接;请求处理单元用于接收推荐处理请求,将推荐处理请求中的用户信息和多个多媒体信息分配给M个推荐单元,且任意两个推荐单元所分配的多媒体信息之间不存在交集。
其中,请求处理单元将推荐处理请求中的用户信息和多个多媒体信息分配给M个推荐单元处理的方式为:
在一种可能的实现方式中,请求处理单元根据多个多媒体信息的数量以及推荐单元的数量将推荐处理请求中的用户信息和多个多媒体信息平均分配给M个推荐单元处理。
例如,多媒体信息的数量为16,推荐单元的数量为8,则请求处理单元根据多媒体信息的数量和推荐单元的数量将推荐处理请求中的用户信息和多个多媒体信息平均分配给M个推荐单元处理的方式为:请求处理单元给每个推荐单元分配用户信息和2个多媒体信息。
在另一种可能的实现方式中,请求处理单元根据每个推荐单元的负载信息分配用户信息和多个多媒体信息,进一步的,根据每个推荐单元的负载,将用户信息和多个多媒体信息按照负载均衡的原则分配给M个推荐单元处理。相应的,请求处理单元在分配用户信息和多媒体信息前,获取每个推荐单元的负载信息,根据每个推荐单元的负载信息,从每个推荐单元中确定出负载最小的一个推荐单元,将用户信息和多个多媒体信息分配给该推荐单元处理。或者,根据每个推荐单元的负载信息,分别确定每个推荐单元分配的多媒体信息的数量,使负载大的推荐单元分配的多媒体信息的数量少,负载小的推荐单元分配的多媒体信息的数量多。
其中,多媒体信息的数量可以为任意数量。在本公开实施例中,以多媒体信息的数量为8、推荐单元的数量为8为例进行说明,相应的,每个推荐单元获取用户信息的用户特征和多个多媒体信息中的部分多媒体信息的信息标识,向特征服务装置发送用户特征和多个多媒体信息中的部分多媒体信息的信息标识的实施方式可以为:
推荐单元0根据用户信息获取用户特征,根据第一个多媒体信息获取第一个多媒体信息的信息标识,将用户特征和第一个多媒体信息的信息标识发送给特征服务装置。推荐单元1根据用户信息获取用户特征,根据第二个多媒体信息获取第二个多媒体信息的信息标识,将用户特征和第二个多媒体信息的信息标识发送给特征服务装置,以此类推。
每个推荐单元用于将特征服务装置返回的用户特征的特征值和对应多媒体信息的多媒体特征的特征值进行拼接。
其中,每个推荐单元,将用户特征的特征值和对应多媒体信息的多媒体特征的特征值进行拼接,得到部分多媒体信息中的每个多媒体信息对应的拼接特征的方式为:
对于任意一个推荐单元和该推荐单元对应的部分多媒体信息中的任意一个多媒体信息,该推荐单元将用户的每个用户特征对应的每一个用户特征的特征值和该多媒体信息的每个对应的多媒体特征的特征值进行拼接,得到该多媒体信息对应的拼接特征。本公开以推荐单元0为例进行说明。
例如,用户特征的数量为3,分别为:性别特征:“男”、职业特征:“运动员”、专业特征:“羽毛球”,“男”对应的用户特征的特征值为“A”,“运动员”对应的用户特征的特征值为“B”,“羽毛球”对应的用户特征的特征值为“C”。推荐单元0对应一个多媒体信息,该多媒体信息的性别信息标识“男”对应的特征值为“a”,职业信息标识“运动员”对应的特征值为“b”,专业信息标识“羽毛球”对应的特征值为“c”。推荐单元0将“A”和“a”拼接,“B”和“b”拼接,“C”和“c”拼接,得到该多媒体信息对应的拼接特征。
在一种可能的实现方式中,每个推荐单元都包括概率预测模型,每个推荐单元,用于将拼接特征输入该概率预测模型中,输出用户与对应部分多媒体信息中的每个多媒体信息的匹配程度。
相应的,每个推荐单元将拼接特征输入概率预测模型中,输出用户与对应部分多媒体信息中的每个多媒体信息的匹配程度的方式为:每个推荐单元将部分多媒体信息中的每个多媒体信息对应的拼接特征输入概率预测模型,得到概率预测模型输出的用户信息与对应部分多媒体信息中的每个多媒体信息匹配的概率值,将对应的概率值作为用户信息与对应部分多媒体信息中的每个多媒体信息的匹配程度。
以推荐单元0为例,推荐单元0将“A”和“a”拼接,“B”和“b”拼接,“C”和“c”拼接,从而得到的多媒体信息对应的拼接特征输入概率预测模型,即得到概率预测模型输出的用户信息与该多媒体信息的匹配程度。
在本公开实施例中,推荐装置包括多个推荐单元,每个推荐单元只负责获取部分多媒体信息的信息标识,如此多个多媒体信息分摊给每个推荐单元,多个推荐单元同步处理,提高了推荐装置的服务吞吐量,降低了服务耗时。
在一种可能的实现方式中,每个推荐单元还用于将用户信息与对应部分多媒体信息中的每个多媒体信息的匹配程度发送给请求处理单元。请求处理单元还用于接收每个推荐单元发送的用户信息与部分多媒体信息中的每个多媒体信息的匹配程度,输出用户信息与每个多媒体信息的匹配程度。
在一种可能的实现方式中,请求处理单元还用于根据用户信息与每个多媒体信息的匹配程度,将多个多媒体信息进行排序,输出排序后的多个多媒体信息。其中,请求处理单元将多个多媒体信息进行排序的方式可以为:请求处理单元根据用户信息与每个多媒体信息的匹配程度,将匹配程度高的多媒体信息排到前面,将匹配程度低的多媒体信息排到后面。例如,若匹配程度为用户信息与多媒体信息匹配的概率值,请求处理单元则将对应概率值大的多媒体信息排到前面,将对应概率值小的多媒体信息排到后面。
在本公开实施例中,请求处理单元通过接收每个推荐单元发送的用户信息与对应部分多媒体信息中的每个多媒体信息的匹配程度,根据用户信息与每个多媒体信息的匹配程度,将多个多媒体信息进行排序,输出排序后的多个多媒体信息,方便了多媒体服务器根据该多媒体推荐系统的输出进行多媒体信息推荐。
需要说明的一点是,在本公开中,推荐装置处理的是推荐处理请求中的全量信息,即全部的用户信息和多媒体信息,而每个推荐单元只处理全量信息中的一部分,且每个推荐单元负责处理的信息之间无交叉,如此将推荐处理请求中需要处理的信息分摊到多个推荐单元上,多个推荐单元同步处理,极大地提高了信息处理的速度,从而提高了多媒体推荐系统的多媒体推荐效率。
参见图5,特征服务装置包括N个特征服务单元,N为大于1的整数;每个特征服务单元与每个推荐单元连接。
每个特征服务单元用于存储部分多媒体特征,且任意两个特征服务单元存储的部分多媒体特征之间不存在交集;
特征服务单元,还用于从其存储的部分多媒体特征中,读取与接收到的多媒体信息的信息标识对应的多媒体特征,将读取到的多媒体特征返回至对应的推荐单元。
特征服务单元的数量和推荐单元的数量可以相同,也可以不相同。并且,推荐单元和特征服务单元的数量可以根据需要配置,在本公开实施例中,以推荐单元和特征服务单元的数量相同,且均为8,即M和N都等于8为例进行说明。例如,继续参考图5,推荐单元的数量为8,分别为推荐单元0,推荐单元1,······,推荐单元7。特征服务单元的数量为8,分别为特征服务单元0,特征服务单元1,······,特征服务单元7。并且,特征服务单元就是将特征服务装置进行分片得到的Parameter shard(参数分片)。
其中,每个推荐单元和每个特征服务单元连接,推荐单元0分别和特征服务单元0、特征服务单元1、······、特征服务单元7连接,推荐单元1分别和特征服务单元0、特征服务单元1、······、特征服务单元7连接,以此类推。
在本公开实施例中,通过每个特征服务单元存储全量多媒体特征中的部分特征,且每个特征服务单元存储的特征与其他特征服务单元存储的特征之间没有重复的特征,线上特征服务装置可以存储更多的特征,从而提高了多媒体推荐的准确性,保证线上收益和线下训练的收益相同。例如,线下特征训练装置所训练离线特征的数量有340亿,现有技术中,线上只能存储60亿特征,在本公开中,当特征服务单元的数量为8时,每个特征服务单元只需要存储42.5亿的特征,使得线上特征数量和线下特征数量相同,保证了线上收益和线下收益一致。
在一种可能的实现方式中,当特征服务装置包括多个特征服务单元时,每个推荐单元将用户特征和多个多媒体信息中对应的部分多媒体信息的信息标识发送给特征服务装置的实施方式可以为:每个推荐单元将用户特征和该推荐单元对应的部分多媒体信息的信息标识发送给每个特征服务单元。
例如,在本公开实施例中,以推荐单元的数量为8,特征服务单元的数量为8进行说明,推荐单元0将获取到的用户特征和对应的部分多媒体信息的信息标识分别发送给特征服务单元0、特征服务单元1、······、特征服务单元7。推荐单元1将获取到的用户特征和对应的部分多媒体信息的信息标识分别发送给特征服务单元0、特征服务单元1、······、特征服务单元7,以此类推。
特征服务单元,用于接收每个推荐单元发送的对应部分多媒体信息中的每个多媒体信息的信息标识,根据接收到的每个多媒体信息的信息标识,从其存储的部分多媒体特征中,读取与接收到的多媒体信息的信息标识对应的多媒体特征,将读取到的多媒体特征返回至对应的推荐单元。
在一种可能的实现方式中,每个特征服务单元存储部分多媒体特征中每个多媒体特征的信息标识与特征值的对应关系。相应的,特征服务单元根据接收到的每个多媒体信息的信息标识,从其存储的部分多媒体特征中,读取与接收到的多媒体信息的信息标识对应的多媒体特征的方式为:特征服务单元根据接收到的每个多媒体信息的信息标识,从信息标识与特征值的对应关系中读取每个多媒体信息的多媒体特征的特征值。
特征服务单元还用于存储部分用户特征与特征值的对应关系。特征服务单元还用于接收每个推荐单元发送的对应的用户特征,根据接收到的用户特征,从用户特征与特征值的对应关系中读取用户特征对应的特征值。
相应的,对于任一多媒体信息对应的信息标识,如果特征服务单元存储有该信息标识对应的多媒体特征的特征值,向发送该信息标识的推荐单元返回该信息标识对应的多媒体特征的特征值;如果特征服务单元存储有用户特征对应的特征值,向发送该用户特征的推荐单元返回该用户特征的特征值。
需要说明的一点是,信息标识与特征值的对应关系可以为键-值对。其中,键为该键-值对所对应的多媒体特征的信息标识,值为该键-值对所对应的多媒体特征的特征值。
在一种可能的实现方式中,线下特征训练装置,还用于当增加多媒体特征时,确定该多媒体特征被存储的特征服务单元,将该多媒体特征存储到对应的特征服务单元。该过程的实施方式可以为:
当增加多媒体特征时,线下特征训练装置对多媒体特征的信息标识进行哈希hash运算,得到多媒体特征的哈希值,根据哈希值对特征服务单元的数量N进行映射,得到多媒体特征被存储的特征服务单元,将该多媒体特征发送至对应的特征服务单元。
在一种可能的实现方式中,特征服务单元存储对应的多媒体特征的方式可以为:特征服务单元将该多媒体特征编码为预定义的格式,从而将多媒体特征转换为键-值对(key-value pair),存储该键-值对。
在本公开实施例中,通过当增加多媒体特征时,线下特征训练装置确定该多媒体特征被存储的特征服务单元,只有该特征服务单元存储该多媒体特征,每个特征训练模块不存储重复的特征,扩大了线上特征服务装置的特征量,从而提升了线上业务指标。并且线下特征训练装置只需要给特征服务单元传输特征,而不需要给推荐单元传输特征,使得数据传输的压力减少了83.5%。
图6是本公开实施例提供的一种多媒体推荐方法的流程图。参见图6,该多媒体推荐方法可以应用在推荐装置中,该实施例包括:
在步骤601中,接收携带有用户信息和多个多媒体信息的推荐处理请求,获取用户信息对应的用户特征,向特征服务装置发送多媒体信息的信息标识。
在步骤602中,将用户特征和特征服务装置读取到的多媒体特征进行拼接,得到拼接特征,根据拼接特征获取用户信息与各多媒体信息的匹配程度。
在本公开实施例中,推荐装置通过向特征服务装置发送多媒体信息的信息标识,基于特征服务装置读取的多媒体特征来获取用户信息与多媒体信息的匹配程度,从而推荐装置不用存储多媒体特征以及读取特征,极大地节省了推荐装置的容量,从而可以提高推荐装置获取用户信息与各多媒体信息的匹配程度的效率。
在一种可能的实现方式中,推荐装置包括M个推荐单元,M为大于1的整数;
向特征服务装置发送多媒体信息的信息标识,包括:
将多个多媒体信息分配给M个推荐单元,且任意两个推荐单元分配的多媒体信息之间不存在交集,通过M个推荐单元分别向特征服务装置发送多媒体信息的信息标识;
将用户特征和特征服务装置读取到的多媒体特征进行拼接,得到拼接特征,根据拼接特征获取用户信息与各多媒体信息的匹配程度,包括:
通过M个推荐单元分别将用户特征和特征服务装置返回的对应多媒体信息的多媒体特征进行拼接,得到拼接特征;根据拼接特征,获取用户信息与对应多媒体信息的匹配程度。
在另一种可能的实现方式中,根据拼接特征,获取用户信息与各多媒体信息的匹配程度,包括:
将拼接特征输入概率预测模型中,得到用户信息与各多媒体信息的匹配程度。
在另一种可能的实现方式中,将多个多媒体信息分配给M个推荐单元,包括:
将多个多媒体信息平均分配给M个推荐单元;或者,根据每个推荐单元的负载,将多个多媒体信息按照负载均衡的原则分配给M个推荐单元。
在另一种可能的实现方式中,获取用户信息与各多媒体信息的匹配程度之后,方法还包括:
根据用户信息与各多媒体信息的匹配程度,将多个多媒体信息进行排序,输出排序后的多个多媒体信息。
图7是本公开实施例提供的一种多媒体推荐方法的流程图。参见图7,该多媒体推荐方法可以应用在特征服务装置中,方法包括:
在步骤701中,接收推荐装置发送的每个多媒体信息的信息标识。
在步骤702中,根据每个多媒体信息的信息标识,读取与各多媒体信息的信息标识对应的多媒体特征。
在步骤703中,将读取到的多媒体特征返回至推荐装置。
在本公开实施例中,特征服务装置通过根据推荐装置发送的多媒体信息的信息标识读取对应的多媒体特征,将读取到的多媒体特征返回至推荐装置,从而推荐装置不用存储和读取特征,节省了推荐装置的容量,提高了推荐装置信息处理的效率。另一方面,特征服务装置通过根据信息标识读取特征,然后将特征返回信息标识的发送方,即实现了独立的特征读取,从而可以为不同的推荐装置提供特征读取的服务。
在一种可能的实现方式中,特征服务装置包括N个特征服务单元,N为大于1的整数;每个特征服务单元存储部分多媒体特征,且任意两个特征服务单元存储的部分多媒体特征之间不存在交集;
根据每个多媒体信息的信息标识,读取与各多媒体信息的信息标识对应的多媒体特征,包括:
通过N个特征服务单元分别从其存储的部分多媒体特征中读取与多媒体信息的信息标识对应的多媒体特征;
将读取到的多媒体特征返回至推荐装置,包括:
通过N个特征服务单元分别将读取到的多媒体特征返回至推荐装置。
图8是本公开实施例提供的一种多媒体推荐方法的流程图。参见图8,该多媒体推荐方法可以应用在线下特征训练装置中,方法包括:
在步骤801中,训练多媒体特征,将多媒体特征同步到特征服务装置中;其中,特征服务装置包括N个特征服务单元,N为大于1的整数;每个特征服务单元存储部分多媒体特征,且任意两个特征服务单元存储的部分多媒体特征之间不存在交集。
在步骤802中,当增加多媒体特征时,确定多媒体特征被存储的特征服务单元。
在步骤803中,将多媒体特征存储到确定出的特征服务单元。
在本公开实施例中,线下特征训练装置通过训练多媒体特征,将多媒体特征同步到线上的特征服务装置中,从而不断地增加了线上特征的存储量。另一方面,线下特征训练装置通过当增加多媒体特征时,确定多媒体特征被存储的特征服务单元,将多媒体特征存储到确定出的特征服务单元,使得线上特征服务装置的多个特征服务单元之间不存储重复的特征,极大地提升了线上特征的存储量,从而保证了后续多媒体推荐系统在基于线上多媒体特征进行多媒体推荐时,信息推荐的准确率。
在一种可能的实现方式中,当增加多媒体特征时,确定多媒体特征被存储的特征服务单元,包括:
当增加多媒体特征时,对多媒体特征进行哈希hash运算,得到多媒体特征的哈希值;根据哈希值,对N进行映射,得到多媒体特征被存储的特征服务单元。
图9是本公开实施例提供的一种推荐装置的框图。参见图9,该装置包括:
推荐处理请求接收模块901,被配置为执行携带有用户信息和多个多媒体信息的推荐处理请求。
用户特征获取模块902,被配置为执行获取用户信息对应的用户特征。
信息标识发送模块903,被配置为执行向特征服务装置发送多媒体信息的信息标识。
匹配程度获取模块904,被配置为执行将用户特征和特征服务装置读取到的多媒体特征进行拼接,得到拼接特征,根据拼接特征获取用户信息与各多媒体信息的匹配程度。
在本公开实施例中,推荐装置通过向特征服务装置发送多媒体信息的信息标识,基于特征服务装置读取的多媒体特征来获取用户信息与多媒体信息的匹配程度,从而推荐装置不用存储多媒体特征以及读取特征,极大地节省了推荐装置的容量,从而可以提高推荐装置获取用户信息与各多媒体信息的匹配程度的效率。
在一种可能的实现方式中,推荐装置包括M个推荐单元,M为大于1的整数;
信息标识发送模块,还被配置为执行将多个多媒体信息分配给M个推荐单元,且任意两个推荐单元分配的多媒体信息之间不存在交集,通过M个推荐单元分别向特征服务装置发送多媒体信息的信息标识;
匹配程度获取模块904,被配置为执行通过M个推荐单元分别将用户特征和特征服务装置返回的对应多媒体信息的多媒体特征进行拼接,得到拼接特征;根据拼接特征,获取用户信息与各多媒体信息的匹配程度。
在另一种可能的实现方式中,匹配程度获取模块904,被配置为执行将拼接特征输入概率预测模型中,得到用户信息与各多媒体信息的匹配程度。
在另一种可能的实现方式中,信息标识发送模块,被配置为执行将多个多媒体信息平均分配给M个推荐单元;或者,根据每个推荐单元的负载,将多个多媒体信息按照负载均衡的原则分配给M个推荐单元。
在另一种可能的实现方式中,装置还包括:
多媒体信息输出模块,被配置为执行根据用户信息与各多媒体信息的匹配程度,将多个多媒体信息进行排序,输出排序后的多个多媒体信息。
图10是本公开实施例提供的一种特征服务装置的框图。参见图10,该装置包括:
信息标识接收模块1001,被配置为执行接收推荐装置发送的每个多媒体信息的信息标识。
多媒体特征读取模块1002,被配置为执行根据每个多媒体信息的信息标识,读取与各多媒体信息的信息标识对应的多媒体特征。
多媒体特征发送模块1003,被配置为执行将读取到的多媒体特征返回至推荐装置。
在本公开实施例中,特征服务装置通过根据推荐装置发送的多媒体信息的信息标识读取对应的多媒体特征,将读取到的多媒体特征返回至推荐装置,从而推荐装置不用存储和读取特征,节省了推荐装置的容量,提高了推荐装置信息处理的效率。另一方面,特征服务装置通过根据信息标识读取特征,然后将特征返回信息标识的发送方,即实现了独立的特征读取,从而可以为不同的推荐装置提供特征读取的服务。
在一种可能的实现方式中,特征服务装置包括N个特征服务单元,N为大于1的整数;每个特征服务单元存储部分多媒体特征,且任意两个特征服务单元存储的部分多媒体特征之间不存在交集;
多媒体特征读取模块1002,被配置为执行通过N个特征服务单元分别从其存储的部分多媒体特征中读取与多媒体信息的信息标识对应的多媒体特征;
多媒体特征发送模块1003,被配置为执行通过N个特征服务单元分别将读取到的多媒体特征返回至推荐装置。
图11是本公开实施例提供的一种线下特征训练装置的框图。参见图11,该装置包括:
特征训练模块1101,被配置为执行训练多媒体特征,将多媒体特征同步到特征服务装置中;其中,特征服务装置包括N个特征服务单元,N为大于1的整数;每个特征服务单元存储部分多媒体特征,且任意两个特征服务单元存储的部分多媒体特征之间不存在交集。
特征服务单元确定模块1102,被配置为执行当增加多媒体特征时,确定多媒体特征被存储的特征服务单元。
特征存储模块1103,被配置为执行将多媒体特征存储到确定出的特征服务单元。
在本公开实施例中,线下特征训练装置通过训练多媒体特征,将多媒体特征同步到线上的特征服务装置中,从而不断地增加了线上特征的存储量。另一方面,线下特征训练装置通过当增加多媒体特征时,确定多媒体特征被存储的特征服务单元,将多媒体特征存储到确定出的特征服务单元,使得线上特征服务装置的多个特征服务单元之间不存储重复的特征,极大地提升了线上特征的存储量,从而保证了后续多媒体推荐系统在基于线上多媒体特征进行多媒体推荐时,信息推荐的准确率。
在一种可能的实现方式中,特征服务单元确定模块1102,被配置为执行当增加多媒体特征时,对多媒体特征进行哈希hash运算,得到多媒体特征的哈希值;根据哈希值,对N进行映射,得到多媒体特征被存储的特征服务单元。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的推荐装置、特征服务装置以及线下特征训练装置在进行多媒体推荐时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
图12是本公开实施例提供的一种多媒体推荐设备的结构示意图,该多媒体推荐设备1200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)1201和一个或一个以上的存储器1202,其中,该存储器1202中存储有至少一条指令,该至少一条指令由该处理器1201加载并执行以实现上述各个方法实施例提供的方法。当然,该多媒体推荐设备1200还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该多媒体推荐设备1200还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成上述实施例中多媒体推荐方法。例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
- 多媒体推荐系统、方法、装置及设备
- 控制多媒体设备的方法、装置及多媒体设备