多媒体推荐方法、装置、设备及存储介质

技术领域

本发明涉及互联网技术领域，尤其涉及一种多媒体推荐方法、装置、设备及存储介质。

背景技术

目前，同类的广告推荐技术的适用场景以线上广告为主，基于用户在网站或者应用程序上的行为日志构建用户画像，使用该用户画像进行广告召回、广告排序及广告重拍，但并未运用线下交易的实时数据进行广告推荐，现有技术中，若直接将线下的交易记录作为用户的行为日志使用，则会导致行为日志中的数据不足，进而使得广告推荐的精准度低下。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种多媒体推荐方法、装置、设备及存储介质，旨在解决如何提高多媒体推荐的精准度的技术问题。

为实现上述目的，本发明提供了一种多媒体推荐方法，所述多媒体推荐方法包括：

获取线下的商户消费信息，并对所述商户消费信息进行筛选，获得用户交易数据和商家交易数据；

对所述用户交易数据进行独热编码处理，获得用户特征向量，并对所述商家交易数据进行独热编码处理，获得商家特征向量；

根据所述商户消费信息、所述用户特征向量及所述商家特征向量确定多媒体匹配分值；

根据所述多媒体匹配分值查找对应的多媒体资源，并对所述多媒体资源进行推荐。

可选地，所述获取线下的商户消费信息，并对所述商户消费信息进行筛选，获得用户交易数据和商家交易数据的步骤，包括：

获取线下的商户消费信息，并根据所述商户消费信息确定用户消费信息和商家消费信息；

按照第一预设数据维度对所述用户消费信息进行筛选，获得用户交易数据；

按照第二预设数据维度对所述商家消费信息进行筛选，获得商家交易数据。

可选地，所述根据所述商户消费信息、所述用户特征向量及所述商家特征向量确定多媒体匹配分值的步骤，包括：

通过所述用户交易数据对所述用户特征向量进行聚合，获得用户二维嵌入矩阵；

通过所述商家交易数据对所述商户特征向量进行聚合，获得商家二维嵌入矩阵；

根据所述商户消费信息、所述用户二维嵌入矩阵及所述商家二维嵌入矩阵确定多媒体匹配分值。

可选地，所述根据所述商户消费信息、所述用户二维嵌入矩阵及所述商家二维嵌入矩阵确定多媒体匹配分值的步骤，包括：

根据所述商户消费信息确定商家交易信息、商家数量及用户属性特征数量；

根据所述商家交易信息、所述商家数量、所述用户属性特征数量、所述用户二维嵌入矩阵及所述商家二维嵌入矩阵确定商户综合向量；

根据所述商户综合向量确定多媒体匹配分值。

可选地，所述根据所述商户综合向量确定多媒体匹配分值的步骤，包括：

获取目标多媒体信息，并根据所述目标多媒体信息提取多媒体特征信息；

根据所述多媒体特征信息生成多媒体向量；

根据所述商户综合向量和所述多媒体向量确定多媒体匹配分值。

可选地，所述根据所述多媒体匹配分值查找对应的多媒体资源，并对所述多媒体资源进行推荐的步骤，包括：

根据所述用户交易数据对所述多媒体匹配分值按照从大到小的顺序进行排序，获得商家多媒体推荐排序结果；

根据所述商家交易数据对所述多媒体匹配分值按照从大到小的顺序进行排序，获得用户多媒体推荐排序结果；

根据所述商家多媒体推荐排序结果和所述用户多媒体推荐排序结果查找对应的多媒体资源，并对所述多媒体资源进行推荐。

可选地，所述对所述多媒体资源进行推荐的步骤，包括：

根据预设多媒体推荐规则从所述多媒体资源中选取目标多媒体资源；

对所述目标多媒体资源进行推荐。

此外，为实现上述目的，本发明还提出一种多媒体推荐装置，所述多媒体推荐装置包括：

获取模块，用于获取线下的商户消费信息，并对所述商户消费信息进行筛选，获得用户交易数据和商家交易数据；

处理模块，用于对所述用户交易数据进行独热编码处理，获得用户特征向量，并对所述商家交易数据进行独热编码处理，获得商家特征向量；

确定模块，用于根据所述商户消费信息、所述用户特征向量及所述商家特征向量确定多媒体匹配分值；

推荐模块，用于根据所述多媒体匹配分值查找对应的多媒体资源，并对所述多媒体资源进行推荐。

此外，为实现上述目的，本发明还提出一种多媒体推荐设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多媒体推荐程序，所述多媒体推荐程序配置为实现如上文所述的多媒体推荐方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有多媒体推荐程序，所述多媒体推荐程序被处理器执行时实现如上文所述的多媒体推荐方法的步骤。

本发明首先获取线下的商户消费信息，并对商户消费信息进行筛选，获得用户交易数据和商家交易数据，然后分别对用户交易数据和商家交易数据进行独热编码处理，获得用户特征向量和商家特征向量，之后根据商户消费信息、用户特征向量及商家特征向量确定多媒体匹配分值，最后根据多媒体匹配分值查找多媒体资源，对多媒体资源进行推荐。相较于现有技术，仅仅通过收集线上的应用日志进行多媒体推荐方式，并未运行线下交易数据进行多媒体推荐，而本发明中根据线下的商户消费信息、用户特征向量及商家特征向量确定多媒体匹配分值，最后根据多媒体匹配分值查找对应的多媒体资源，并对多媒体资源进行推荐，从而提高了多媒体推荐的精准度，进而提升了使用者的体验感。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的多媒体推荐设备的结构示意图；

图2为本发明多媒体推荐方法第一实施例的流程示意图；

图3为本发明多媒体推荐方法第二实施例的流程示意图；

图4为本发明多媒体推荐装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的多媒体推荐设备结构示意图。

如图1所示，该多媒体推荐设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(K eyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIrele ss-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Ra ndomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(N on-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对多媒体推荐设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及多媒体推荐程序。

在图1所示的多媒体推荐设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明多媒体推荐设备中的处理器1001、存储器1005可以设置在多媒体推荐设备中，所述多媒体推荐设备通过处理器1001调用存储器1005中存储的多媒体推荐程序，并执行本发明实施例提供的多媒体推荐方法。

本发明实施例提供了一种多媒体推荐方法，参照图2，图2为本发明多媒体推荐方法第一实施例的流程示意图。

本实施例中，所述多媒体推荐方法包括以下步骤：

步骤S10：获取线下的商户消费信息，并对所述商户消费信息进行筛选，获得用户交易数据和商家交易数据。

易于理解的是，本实施例的执行主体可以是具有数据处理、网络通讯和程序运行等功能的多媒体推荐设备，也可以为其他具有相似功能的计算机设备等，本实施例并不加以限制。

需要说明的是，商户消费信息可以为商家消费信息和用户消费信息，商家消费信息包括商户标识、消费物品标识及消费金额，用户消费信息包括用户标识、消费物品标识及消费金额等，本实施例并不加以限制。

用户交易数据可以理解为多个用户在同一商家进行的交易数据，商家交易数据可以理解为一个用户在多个商家进行的交易数据。

获取线下的商户消费信息，并对商户消费信息进行筛选，获得用户交易数据和商家交易数据的步骤为，获取线下的商户消费信息，并根据所述商户消费信息确定用户消费信息和商家消费信息，按照第一预设数据维度对用户消费信息进行筛选，获得用户交易数据；按照第二预设数据维度对商家消费信息进行筛选，获得商家交易数据，其中第一预设数据维度和第二预设数据维度可一致，第一预设数据维度和第二预设数据维度可以为用户标识、商家标识、消费物品标识及消费金额等。

假设第一预设数据维度为用户标识、商家标识、消费物品标识及消费金额，则用户交易数据可以为用户a1，商家b1，消费物品c1，消费金额50；用户a2，商家b1，消费物品c1，消费金额40；假设第二预设数据维度为用户标识、商家标识、消费物品标识及消费金额，则商家交易数据可以为用户a1，商家b1，消费物品c1，消费金额50；用户a1，商家b2，消费物品c2，消费金额40等。

步骤S20：对所述用户交易数据进行独热编码处理，获得用户特征向量，并对所述商家交易数据进行独热编码处理，获得商家特征向量。

应理解的是，独热编码是根据同一类别的数据生成一组二值向量，类别数据中期待的对应二值向量为1，其余为零。假设我们要预测鸢尾花种类，已知有三种分别为山鸢尾、变色鸢尾、维吉尼亚鸢尾。根据给定的一组鸢尾花的数据，我们可以预测其种类是哪一种，对训练数据编码，若向量为(1,0,0)，则表示种类是山鸢尾等。

对用户交易数据进行独热编码处理，获得用户特征向量，该用户特征向量可以为((0,1,0,1,.......)、(0,1,0,1,.......))，其中，用户特征向量中存在多个用户和同一商家，商家特征向量中存在同一用户和多个商家等。

步骤S30：根据所述商户消费信息、所述用户特征向量及所述商家特征向量确定多媒体匹配分值。

多媒体匹配分值为用户匹配多媒体的对应分值或商家匹配多媒体的对应分值，其中多媒体可以为广告等。

根据商户消费信息、用户特征向量及商家特征向量确定多媒体匹配分值的步骤为，通过用户交易数据对用户特征向量进行聚合，获得用户二维嵌入矩阵；通过商家交易数据对商户特征向量进行聚合，获得商家二维嵌入矩阵；根据商户消费信息、用户二维嵌入矩阵及商家二维嵌入矩阵确定多媒体匹配分值。

用户二维嵌入矩阵可以为

应理解的是，把用户二维嵌入矩阵和商家二维嵌入矩阵带入本发明改造后的嵌入层进行计算，得到嵌入后的商户综合向量，可以用于后续的召回，过滤，排序，重排等。

多路召回的本质就是如何通过算法来计算「两两相似性」(例如，用户与用户的相似性、商品与商品的相似性等等)。召回目前在推荐系统中是一个重要的模块，在「整个流程的一环」，数据流「漏斗的顶部」。召回做的好，后面精排的效果也不会太差，反之召回很差排序再好也无法达到不错的效果。并且相比优化精排算法、建立新的数据模型、或者开发实验新的特征，优化召回操作简单、方便实验，有四两拨千斤的效果。其实在推荐系统的早期个性化推荐就直接基于召回来做的，根据召回商品相似度高低推荐；包括现在也是有很多非个性化的场景也是直接使用召回推荐，比如电商的商品详情页的相似推荐。过滤(约束)：过滤掉不符合平台规则及相关法规的内容。排序的目标是为了按某个指标进去排名最终给出最后的推荐.先假定我们在排序阶段的主要目标是预估用户的点击率。这个部分可能是推荐系统在线模块中，与在学校学习的机器学习课程中最为类似的一个部分了。因为在这个部分我们可以假定，训练数据集已经存储好；且这个部分在服务执行的时候，不需要像召回一样做那么多特殊的处理。重排：在推荐系统的最后阶段，系统可以对候选者重新排序以考虑其他标准或约束。一种重新排序的方法是使用过滤器来删除一些候选人。

根据商户消费信息、用户二维嵌入矩阵及商家二维嵌入矩阵确定多媒体匹配分值的处理方式为，根据商户消费信息确定商家交易信息、商家数量及用户属性特征数量，根据商家交易信息、商家数量、用户属性特征数量、用户二维嵌入矩阵及商家二维嵌入矩阵确定商户综合向量，根据商户综合向量确定多媒体匹配分值。

根据所述商家交易信息、所述商家数量、所述用户属性特征数量、所述用户二维嵌入矩阵及所述商家二维嵌入矩阵，通过预设向量公式计算商户综合向量。

预设向量公式为：

式中，v为商户综合向量，m为商家交易信息，N为商家数量，K为用户属性特征数量(用户的其余特征的个数)，x为用户二维嵌入矩阵，y为商家二维嵌入矩阵，e为自然对数，α、λ、p、i及j均为模型动态参数，其中，用户的其余特征为性别或年龄等人口属性特征。

根据商户综合向量确定多媒体匹配分值的步骤为，获取目标多媒体信息，并根据目标多媒体信息提取多媒体特征信息，然后根据多媒体特征信息生成多媒体向量，最后根据商户综合向量和多媒体向量确定多媒体匹配分值。

需要说明的是，对媒体向量可以为广告向量，广告向量根据广告的特征生成，其中，广告特征可以为广告行业分类/广告历史效果(优/中/差)等，假设一个金融分类效果较好的广告可以被独热编码标注为(0,0,1,1,0,0)，(0,0,1,1,0,0)为多媒体向量。

根据商户综合向量和多媒体向量通过预设匹配分值公式计算多媒体匹配分值。

预设匹配分值公式为：

式中，l为多媒体匹配分值，v为商户综合向量，n为多媒体向量。

多媒体匹配度分值的高低可作为广告排序的依据，根据分值的大小决定最终推荐的广告，最终给用户在某个商家下消费的场景给出更优的广告推荐，从而达到用户体验与商业价值的提升。

步骤S40：根据所述多媒体匹配分值查找对应的多媒体资源，并对所述多媒体资源进行推荐。

需要说明的是，多媒体资源预先存储至多媒体资源库中，多媒体资源库中存在多个广告信息等。

根据多媒体匹配分值查找对应的多媒体资源，并对多媒体资源进行推荐的步骤为，根据用户交易数据对多媒体匹配分值按照从大到小的顺序进行排序，获得商家多媒体推荐排序结果，根据商家交易数据对多媒体匹配分值按照从大到小的顺序进行排序，获得用户多媒体推荐排序结果；根据商家多媒体推荐排序结果和用户多媒体推荐排序结果查找对应的多媒体资源，并对多媒体资源进行推荐。

对多媒体资源进行推荐的步骤为，根据预设多媒体推荐规则从多媒体资源中选取目标多媒体资源，之后对目标多媒体资源进行推荐，其中，预设多媒体推荐规则可以为将多媒体匹配分值排名第一对应的多媒体资源进行推荐，还可以为将多媒体匹配分值排名前三对应的多媒体资源进行推荐等。

在本实施例中，可以为根据用户交易数据对多媒体匹配分值(广告匹配分值)按照从大到小的顺序进行排序，获得商家广告推荐排序结果；根据商家交易数据对广告匹配分值按照从大到小的顺序进行排序，获得用户广告推荐排序结果；根据商家广告推荐排序结果对商家进行广告推荐，并根据用户广告推荐排序结果对用户进行广告推荐。

在具体实现中，还可以根据预设商家广告推荐规则和商家广告推荐排序结果确定第一目标广告，并根据第一目标广告对商家进行广告推荐；根据预设用户广告推荐规则和用户广告推荐排序结果确定第二目标广告，并根据第二目标广告对用户进行广告推荐。其中，第一目标广告和第二目标广告可以为单个广告，还可以为多个广告等。

本发明将业界广告系统中的用户行为日志相关模块替换成了商家消费记录相关的日志，并额外增加了对消费序列进行嵌入编码的模块，嵌入最初是来源于拓扑学的概念，近年常被应用于机器学习里领域。比如三维空间的球体是一个二维流形嵌入在三维空间。之所以说他是一个二维流形，是因为球上的任意一个点只需要用一个二维的经纬度来表达就可以了，这可以称为一个三维空间的球体到二维空间的嵌入。

在机器学习领域里，自然的原始数据是低维的流形嵌入于原始数据所在的高维空间。那么，深度学习的任务就是把高维原始数据(例如，图像、句子等)映射到低维流形，使得高维的原始数据被映射到低维流形之后变得可分，而这个映射就叫嵌入。具体应用到本技术就是商户消费记录序列到用户特征向量的嵌入。

本发明对嵌入编码模型进行了深入的改造，使用了独特的数据处理方式，并改造原有嵌入映射的模型的变化函数，使得在本模型能够利用稀疏零散用户线下商户的消费记录并后续用于广告推荐系统。对比业界常见的方案里，独创的使用了线下商家的支付交易数据用于支付后广告，在业界常见多路召回，过滤，排序，重排模块之前增加了消费序列进行嵌入编码模块，独创的使用了改造后的嵌入编码模型对用户在线下的，对于业界场景从能更精准的广告推荐，对于业内模型各项指标(例如，点击率、转化率等)都有提升。

在本实施例中，首先获取线下的商户消费信息，并对商户消费信息进行筛选，获得用户交易数据和商家交易数据，然后分别对用户交易数据和商家交易数据进行独热编码处理，获得用户特征向量和商家特征向量，之后根据商户消费信息、用户特征向量及商家特征向量确定多媒体匹配分值，最后根据多媒体匹配分值查找多媒体资源，对多媒体资源进行推荐。相较于现有技术，仅仅通过收集线上的应用日志进行多媒体推荐方式，并未运行线下交易数据进行多媒体推荐，而本实施例中根据线下的商户消费信息、用户特征向量及商家特征向量确定多媒体匹配分值，最后根据多媒体匹配分值查找对应的多媒体资源，并对多媒体资源进行推荐，从而提高了多媒体推荐的精准度，进而提升了使用者的体验感。

参考图3，图3为本发明多媒体推荐方法第二实施例的流程示意图。

基于上述第一实施例，在本实施例中，所述步骤S30，还包括：

步骤S301：通过所述用户交易数据对所述用户特征向量进行聚合，获得用户二维嵌入矩阵。

用户交易数据可以为用户a1，商家b1，消费物品c1，消费金额50；用户a2，商家b1，消费物品c1，消费金额40。之后对用户交易数据进行独热编码处理，获得用户特征向量，该用户特征向量可以为((0,1,0,1,.......)、(0,1,0,1,.......))，其中，用户特征向量中存在多个用户和同一商家等。

用户二维嵌入矩阵可以为

步骤S302：通过所述商家交易数据对所述商户特征向量进行聚合，获得商家二维嵌入矩阵。

商家交易数据可以为用户a1，商家b1，消费物品c1，消费金额50；用户a1，商家b2，消费物品c2，消费金额40等。之后对商家交易数据进行独热编码处理，获得商家特征向量，商家特征向量中存在同一用户和多个商家，最后通过商家交易数据对商户特征向量进行聚合，获得商家二维嵌入矩阵。

商家二维嵌入矩阵可以为

步骤S303：根据所述商户消费信息、所述用户二维嵌入矩阵及所述商家二维嵌入矩阵确定多媒体匹配分值。

多媒体匹配分值为用户匹配多媒体的对应分值或商家匹配多媒体的对应分值，其中多媒体可以为广告等。

应理解的是，把用户二维嵌入矩阵和商家二维嵌入矩阵带入本发明改造后的嵌入层进行计算，得到嵌入后的商户综合向量，可以用于后续的召回，过滤，排序，重排等。

根据商户消费信息、用户二维嵌入矩阵及商家二维嵌入矩阵确定多媒体匹配分值的处理方式为，根据商户消费信息确定商家交易信息、商家数量及用户属性特征数量，根据商家交易信息、商家数量、用户属性特征数量、用户二维嵌入矩阵及商家二维嵌入矩阵确定商户综合向量，根据商户综合向量确定多媒体匹配分值。

根据所述商家交易信息、所述商家数量、所述用户属性特征数量、所述用户二维嵌入矩阵及所述商家二维嵌入矩阵，通过预设向量公式计算商户综合向量。

预设向量公式为：

式中，v为商户综合向量，m为商家交易信息，N为商家数量，K为用户属性特征数量(用户的其余特征的个数)，x为用户二维嵌入矩阵，y为商家二维嵌入矩阵，e为自然对数，α、λ、p、i及j均为模型动态参数，其中，用户的其余特征为性别或年龄等人口属性特征。

根据商户综合向量确定多媒体匹配分值的步骤为，获取目标多媒体信息，并根据目标多媒体信息提取多媒体特征信息，然后根据多媒体特征信息生成多媒体向量，最后根据商户综合向量和多媒体向量确定多媒体匹配分值。

需要说明的是，对媒体向量可以为广告向量，广告向量根据广告的特征生成，其中，广告特征可以为广告行业分类/广告历史效果(优/中/差)等，假设一个金融分类效果较好的广告可以被独热编码标注为(0,0,1,1,0,0)，(0,0,1,1,0,0)为多媒体向量。

根据商户综合向量和多媒体向量通过预设匹配分值公式计算多媒体匹配分值。

预设匹配分值公式为：

式中，l为多媒体匹配分值，v为商户综合向量，n为多媒体向量。

多媒体匹配度分值的高低可作为广告排序的依据，根据分值的大小决定最终推荐的广告，最终给用户在某个商家下消费的场景给出更优的广告推荐，从而达到用户体验与商业价值的提升。

在本实施例中，首先通过用户交易数据对用户特征向量进行聚合，获得用户二维嵌入矩阵，然后通过商家交易数据对商户特征向量进行聚合，获得商家二维嵌入矩阵，之后根据商户消费信息、用户二维嵌入矩阵及商家二维嵌入矩阵确定多媒体匹配分值，相较于现有技术中，直接将线下的交易记录作为用户的行为日志使用，导致行为日志中的数据不足，而本实施例中，在业界常见多路召回，过滤，排序，重排模块之前增加了消费序列进行嵌入编码模块，独创的使用了改造后的嵌入编码模型对用户在线下的，对于业界场景从能更精准的广告推荐，从而提升了业内模型各项指标。

参照图4，图4为本发明多媒体推荐装置第一实施例的结构框图。

如图4所示，本发明实施例提出的多媒体推荐装置包括：

获取模块4001，用于获取线下的商户消费信息，并对所述商户消费信息进行筛选，获得用户交易数据和商家交易数据。

需要说明的是，商户消费信息可以为商家消费信息和用户消费信息，商家消费信息包括商户标识、消费物品标识及消费金额，用户消费信息包括用户标识、消费物品标识及消费金额等，本实施例并不加以限制。

用户交易数据可以理解为多个用户在同一商家进行的交易数据，商家交易数据可以理解为一个用户在多个商家进行的交易数据。

获取线下的商户消费信息，并对商户消费信息进行筛选，获得用户交易数据和商家交易数据的步骤为，获取线下的商户消费信息，并根据所述商户消费信息确定用户消费信息和商家消费信息，按照第一预设数据维度对用户消费信息进行筛选，获得用户交易数据；按照第二预设数据维度对商家消费信息进行筛选，获得商家交易数据，其中第一预设数据维度和第二预设数据维度可一致，第一预设数据维度和第二预设数据维度可以为用户标识、商家标识、消费物品标识及消费金额等。

假设第一预设数据维度为用户标识、商家标识、消费物品标识及消费金额，则用户交易数据可以为用户a1，商家b1，消费物品c1，消费金额50；用户a2，商家b1，消费物品c1，消费金额40；假设第二预设数据维度为用户标识、商家标识、消费物品标识及消费金额，则商家交易数据可以为用户a1，商家b1，消费物品c1，消费金额50；用户a1，商家b2，消费物品c2，消费金额40等。

处理模块4002，用于对所述用户交易数据进行独热编码处理，获得用户特征向量，并对所述商家交易数据进行独热编码处理，获得商家特征向量。

应理解的是，独热编码是根据同一类别的数据生成一组二值向量，类别数据中期待的对应二值向量为1，其余为零。假设我们要预测鸢尾花种类，已知有三种分别为山鸢尾、变色鸢尾、维吉尼亚鸢尾。根据给定的一组鸢尾花的数据，我们可以预测其种类是哪一种，对训练数据编码，若向量为(1,0,0)，则表示种类是山鸢尾等。

对用户交易数据进行独热编码处理，获得用户特征向量，该用户特征向量可以为((0,1,0,1,.......)、(0,1,0,1,.......))，其中，用户特征向量中存在多个用户和同一商家，商家特征向量中存在同一用户和多个商家等。

确定模块4003，用于根据所述商户消费信息、所述用户特征向量及所述商家特征向量确定多媒体匹配分值。

多媒体匹配分值为用户匹配多媒体的对应分值或商家匹配多媒体的对应分值，其中多媒体可以为广告等。

根据商户消费信息、用户特征向量及商家特征向量确定多媒体匹配分值的步骤为，通过用户交易数据对用户特征向量进行聚合，获得用户二维嵌入矩阵；通过商家交易数据对商户特征向量进行聚合，获得商家二维嵌入矩阵；根据商户消费信息、用户二维嵌入矩阵及商家二维嵌入矩阵确定多媒体匹配分值。

用户二维嵌入矩阵可以为

应理解的是，把用户二维嵌入矩阵和商家二维嵌入矩阵带入本发明改造后的嵌入层进行计算，得到嵌入后的商户综合向量，可以用于后续的召回，过滤，排序，重排等。

多路召回的本质就是如何通过算法来计算「两两相似性」(例如，用户与用户的相似性、商品与商品的相似性等等)。召回目前在推荐系统中是一个重要的模块，在「整个流程的一环」，数据流「漏斗的顶部」。召回做的好，后面精排的效果也不会太差，反之召回很差排序再好也无法达到不错的效果。并且相比优化精排算法、建立新的数据模型、或者开发实验新的特征，优化召回操作简单、方便实验，有四两拨千斤的效果。其实在推荐系统的早期个性化推荐就直接基于召回来做的，根据召回商品相似度高低推荐；包括现在也是有很多非个性化的场景也是直接使用召回推荐，比如电商的商品详情页的相似推荐。过滤(约束)：过滤掉不符合平台规则及相关法规的内容。排序的目标是为了按某个指标进去排名最终给出最后的推荐.先假定我们在排序阶段的主要目标是预估用户的点击率。这个部分可能是推荐系统在线模块中，与在学校学习的机器学习课程中最为类似的一个部分了。因为在这个部分我们可以假定，训练数据集已经存储好；且这个部分在服务执行的时候，不需要像召回一样做那么多特殊的处理。重排：在推荐系统的最后阶段，系统可以对候选者重新排序以考虑其他标准或约束。一种重新排序的方法是使用过滤器来删除一些候选人。

根据商户消费信息、用户二维嵌入矩阵及商家二维嵌入矩阵确定多媒体匹配分值的处理方式为，根据商户消费信息确定商家交易信息、商家数量及用户属性特征数量，根据商家交易信息、商家数量、用户属性特征数量、用户二维嵌入矩阵及商家二维嵌入矩阵确定商户综合向量，根据商户综合向量确定多媒体匹配分值。

根据所述商家交易信息、所述商家数量、所述用户属性特征数量、所述用户二维嵌入矩阵及所述商家二维嵌入矩阵，通过预设向量公式计算商户综合向量。

预设向量公式为：

式中，v为商户综合向量，m为商家交易信息，N为商家数量，K为用户属性特征数量(用户的其余特征的个数)，x为用户二维嵌入矩阵，y为商家二维嵌入矩阵，e为自然对数，α、λ、p、i及j均为模型动态参数，其中，用户的其余特征为性别或年龄等人口属性特征。

根据商户综合向量确定多媒体匹配分值的步骤为，获取目标多媒体信息，并根据目标多媒体信息提取多媒体特征信息，然后根据多媒体特征信息生成多媒体向量，最后根据商户综合向量和多媒体向量确定多媒体匹配分值。

需要说明的是，对媒体向量可以为广告向量，广告向量根据广告的特征生成，其中，广告特征可以为广告行业分类/广告历史效果(优/中/差)等，假设一个金融分类效果较好的广告可以被独热编码标注为(0,0,1,1,0,0)，(0,0,1,1,0,0)为多媒体向量。

根据商户综合向量和多媒体向量通过预设匹配分值公式计算多媒体匹配分值。

预设匹配分值公式为：

式中，l为多媒体匹配分值，v为商户综合向量，n为多媒体向量。

多媒体匹配度分值的高低可作为广告排序的依据，根据分值的大小决定最终推荐的广告，最终给用户在某个商家下消费的场景给出更优的广告推荐，从而达到用户体验与商业价值的提升。

推荐模块4004，用于根据所述多媒体匹配分值查找对应的多媒体资源，并对所述多媒体资源进行推荐。

需要说明的是，多媒体资源预先存储至多媒体资源库中，多媒体资源库中存在多个广告信息等。

根据多媒体匹配分值查找对应的多媒体资源，并对多媒体资源进行推荐的步骤为，根据用户交易数据对多媒体匹配分值按照从大到小的顺序进行排序，获得商家多媒体推荐排序结果，根据商家交易数据对多媒体匹配分值按照从大到小的顺序进行排序，获得用户多媒体推荐排序结果；根据商家多媒体推荐排序结果和用户多媒体推荐排序结果查找对应的多媒体资源，并对多媒体资源进行推荐。

对多媒体资源进行推荐的步骤为，根据预设多媒体推荐规则从多媒体资源中选取目标多媒体资源，之后对目标多媒体资源进行推荐，其中，预设多媒体推荐规则可以为将多媒体匹配分值排名第一对应的多媒体资源进行推荐，还可以为将多媒体匹配分值排名前三对应的多媒体资源进行推荐等。

在本实施例中，可以为根据用户交易数据对多媒体匹配分值(广告匹配分值)按照从大到小的顺序进行排序，获得商家广告推荐排序结果；根据商家交易数据对广告匹配分值按照从大到小的顺序进行排序，获得用户广告推荐排序结果；根据商家广告推荐排序结果对商家进行广告推荐，并根据用户广告推荐排序结果对用户进行广告推荐。

在具体实现中，还可以根据预设商家广告推荐规则和商家广告推荐排序结果确定第一目标广告，并根据第一目标广告对商家进行广告推荐；根据预设用户广告推荐规则和用户广告推荐排序结果确定第二目标广告，并根据第二目标广告对用户进行广告推荐。其中，第一目标广告和第二目标广告可以为单个广告，还可以为多个广告等。

本发明将业界广告系统中的用户行为日志相关模块替换成了商家消费记录相关的日志，并额外增加了对消费序列进行嵌入编码的模块，嵌入最初是来源于拓扑学的概念，近年常被应用于机器学习里领域。比如三维空间的球体是一个二维流形嵌入在三维空间。之所以说他是一个二维流形，是因为球上的任意一个点只需要用一个二维的经纬度来表达就可以了，这可以称为一个三维空间的球体到二维空间的嵌入。

在机器学习领域里，自然的原始数据是低维的流形嵌入于原始数据所在的高维空间。那么，深度学习的任务就是把高维原始数据(例如，图像、句子等)映射到低维流形，使得高维的原始数据被映射到低维流形之后变得可分，而这个映射就叫嵌入。具体应用到本技术就是商户消费记录序列到用户特征向量的嵌入。

本发明对嵌入编码模型进行了深入的改造，使用了独特的数据处理方式，并改造原有嵌入映射的模型的变化函数，使得在本模型能够利用稀疏零散用户线下商户的消费记录并后续用于广告推荐系统。对比业界常见的方案里，独创的使用了线下商家的支付交易数据用于支付后广告，在业界常见多路召回，过滤，排序，重排模块之前增加了消费序列进行嵌入编码模块，独创的使用了改造后的嵌入编码模型对用户在线下的，对于业界场景从能更精准的广告推荐，对于业内模型各项指标(例如，点击率、转化率等)都有提升。

在本实施例中，首先获取线下的商户消费信息，并对商户消费信息进行筛选，获得用户交易数据和商家交易数据，然后分别对用户交易数据和商家交易数据进行独热编码处理，获得用户特征向量和商家特征向量，之后根据商户消费信息、用户特征向量及商家特征向量确定多媒体匹配分值，最后根据多媒体匹配分值查找多媒体资源，对多媒体资源进行推荐。相较于现有技术，仅仅通过收集线上的应用日志进行多媒体推荐方式，并未运行线下交易数据进行多媒体推荐，而本实施例中根据线下的商户消费信息、用户特征向量及商家特征向量确定多媒体匹配分值，最后根据多媒体匹配分值查找对应的多媒体资源，并对多媒体资源进行推荐，从而提高了多媒体推荐的精准度，进而提升了使用者的体验感。

本发明多媒体推荐装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。