基于降噪与提示调节的多行为推荐方法及系统

技术领域

本发明涉及多行为推荐技术领域，特别涉及一种基于降噪与提示调节的多行为推荐方法、系统、设备和介质。

背景技术

在多行为推荐中，用户与项目之间的交互具有多种类型(如，点击，添加购物车，和购买)。通常，辅助行为(即，点击和添加购物车)的交互记录较多，而目标行为(即，购买)相对较少。因此，大量的辅助行为可能会为推荐模型引入不相关的信息，降低模型对用户目标行为推荐的精度。具体地，大量的辅助行为会引起两个关键挑战：

1、辅助行为中的噪声交互：在现实推荐场景中，辅助行为中的某些用户与项目的交互是带有噪声的，如意外交互。这些噪声交互不能准确反映用户的兴趣，从而对模型学得的多行为知识产生了负面影响。因此，将学得的知识向目标行为推荐迁移时，数据集中辅助行为的比例越大，噪声的负面影响就会越大，从而影响推荐精度。然而，实际场景中往往缺少标注噪声交互的监督信号，使得这一挑战难以被解决。

2、多行为之间的语义鸿沟：尽管用户项目交互在多行为下有重叠，目标行为的语义特征仍与辅助行为有所不同。例如，在电子商务场景中，大量的点击最终不会转换为购买。因此，在大量的辅助行为下学得的知识，将被过度挤压在辅助行为的语义空间中，从而导致了拟合多行为之间语义鸿沟的内在挑战，即在这样的知识中，如何有效地提取目标行为特定的语义，并将这种语义迁移到目标行为推荐中，同时不破坏知识的信息量。

发明内容

本发明提供一种基于降噪与提示调节的多行为推荐方法及系统，现有多行为推荐方法中的辅助行为可能会为推荐模型引入不相关的信息，降低模型对用户目标行为推荐的精度的技术问题。

本发明一方面实施例提供一种基于降噪与提示调节的多行为推荐方法，包括：

步骤S1，获取用户与项目的多行为交互数据以构建数据集，并对所述数据集进行预处理划分为训练集和测试集；

步骤S2，构建基于降噪与提示调节的多行为推荐框架，并利用所述训练集对所述基于降噪与提示调节的多行为推荐框架进行训练，其中，所述基于降噪与提示调节的多行为推荐框架包括嵌入层、模式增强图编码器、行为感知降噪模块和预测层；

步骤S3，将目标用户输入到训练后的基于降噪与提示调节的多行为推荐框架中，根据其预测层计算待推荐项目相对于所述目标用户的推荐得分，根据所述推荐得分将项目推荐给所述目标用户。

本发明另一方面实施例提供一种基于降噪与提示调节的多行为推荐系统，包括：

预处理模块，用于获取用户与项目的多行为交互数据以构建数据集，并对所述数据集进行预处理划分为训练集和测试集；

训练模块，用于构建基于降噪与提示调节的多行为推荐框架，并利用所述训练集对所述基于降噪与提示调节的多行为推荐框架进行训练，其中，所述基于降噪与提示调节的多行为推荐框架包括嵌入层、模式增强图编码器、行为感知降噪模块和预测层；

推荐模块，用于将目标用户输入到训练后的基于降噪与提示调节的多行为推荐框架中，根据其预测层计算待推荐项目相对于所述目标用户的推荐得分，根据所述推荐得分将项目推荐给所述目标用户。

本发明的技术方案，至少实现了如下有益的技术效果：

(1)使用三阶段学习方法，在第一阶段，通过模式增强的图编码器，以数据驱动的方式学习复杂模式，用于指导行为感知降噪模块识别辅助行为中的固有噪声，并生成降噪的用户项目多行为交互数据，用于后续阶段；在第二阶段和第三阶段，使用轻量级的微调方法和连续的深度提示调节方法，高效地削弱辅助行为中噪声的影响，并缓解行为之间的语义差距；该方法无需任何额外的监督信号(标记噪声数据标签)，并调节或添加少量可学习参数，高效地对辅助行为降噪并缓解行为语义差距以提升多行为推荐性能；

(2)与现有技术相比，通过对辅助行为进行降噪并弥合辅助行为与目标行为之间的语义鸿沟以改进多行为推荐性能。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的基于降噪与提示调节的多行为推荐方法的流程图；

图2是本发明一个实施例的基于降噪与提示调节的多行为推荐框架图，(a)为构建的关系图，(b)为基于降噪与提示调节的多行为推荐框架图的第一阶段，(c)为基于降噪与提示调节的多行为推荐框架图的第二阶段，(d)基于降噪与提示调节的多行为推荐框架图的第三阶段；

图3是本发明一个实施例的基于降噪与提示调节的多行为推荐系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于降噪与提示调节的多行为推荐方法及系统，首先将参照附图描述根据本发明实施例提出的基于降噪与提示调节的多行为推荐方法。

图1是本发明一个实施例的基于降噪与提示调节的多行为推荐方法的流程图。

如图1所示，该基于降噪与提示调节的多行为推荐方法包括以下步骤：

在步骤S1中，获取用户与项目的多行为交互数据以构建数据集，并对数据集进行预处理划分为训练集和测试集。

进一步地，在本发明的一个实施例中，步骤S1具体包括：

步骤S101，获取用户与项目的多行为交互数据，以提取用户ID、用户的多行为交互记录和项目ID信息，构建出数据集；

步骤S102，过滤数据集中交互少的用户以及冷门的项目；

步骤S103，按照时间将过滤后的数据集划分为训练集和测试集。

具体地，先从用户项目多行为交互中提取用户ID、用户的多行为交互记录以及项目ID信息，以构建数据集；过滤数据集中交互过少的用户以及过于冷门的项目，例如交互项目总数少于2的用户，被交互次数少于5的项目；按时间将过滤后的用户多行为交互数据划分为训练集和测试集，例如将用户在目标行为下最近的20％交互划分为测试集，将其余历史数据划分为训练集。

在步骤S2中，构建基于降噪与提示调节的多行为推荐框架，并利用训练集对基于降噪与提示调节的多行为推荐框架进行训练，其中，基于降噪与提示调节的多行为推荐框架包括嵌入层、模式增强图编码器、行为感知降噪模块和预测层。

进一步地，本发明实施例的步骤S2具体包括：

步骤S201，根据训练集构建用户项目多行为图、项目关系图和用户关系图。

也就是说，根据训练集中所有用户与项目的多行为交互数据，构建用户项目多行为图、项目关系图以及用户关系图，其中，

如图2(a)所示，用户与项目的多行为交互数据记为

用户项目多行为图记为

项目关系图记为

用户关系图记为

步骤S202，依次构建嵌入层、模式增强图编码器、行为感知降噪模块和预测层，得到基于降噪与提示调节的多行为推荐框架。

具体地，先构建嵌入层：根据构建初始化嵌入表，通过可学习参数，将ID的独热编码映射为稠密向量：

其中，

再构建模式增强图编码器，模式增强图编码器包括用户关系聚合层、用户项目交互聚合层和项目关系聚合层，其中，

用户关系聚合层用于学习相似用户的行为模式，并生成层具体的编码向量：

其中，

其中，Conv

项目关系聚合层用于学习项目的顺序模式，并生成层具体的编码向量：

其中，

其中，Conv

用户项目交互聚合层用于学习用户与项目之间的多行为模式，并生成层具体的编码向量：

其中

接下来构建行为感知降噪模块，行为感知降噪模块由一种行为感知图解码器作为判别器，执行信息还原任务。该行为感知图解码器以行为嵌入、行为感知用户表征与项目表征作为输入，并输出参数化的用户项目多行为图：

其中，

最后构建预测层，并将嵌入层、模式增强图编码器、行为感知降噪模块和预测层搭建出基于降噪与提示调节的多行为推荐框架。

步骤S203，构建基于降噪与提示调节的多行为推荐框架的第一阶段，并获得降噪的用户项目多行为图。

进一步地，在本发明的一个实施例中，步骤S203具体包括：

在嵌入层中获得第一用户、第一项目、第一辅助行为和第一目标行为的嵌入；

将第一用户的嵌入、第一项目嵌入、用户项目多行为图、项目关系图和用户关系图分别输入到模式增强图编码器中，获得第一行为感知用户表征与项目表征、第一多行为用户表征与项目表征；

将第一行为感知用户表征与项目表征输入至行为感知降噪模块中，获得第一参数化的用户项目多行为图；

根据第一参数化的用户项目多行为图，对用户项目多行为图中辅助行为的边权重施行二值化操作，并重置用户项目多行为图中目标行为的边权重，获得降噪的用户项目多行为图。

具体地，如图2(b)所示，将用户与项目的嵌入以及步骤S201所述的三类图，分别输入到模式增强图编码器的三类聚合层中，获得第一行为感知用户表征与项目表征，以及第一多行为用户表征与项目表征；

需要说明的是，行为感知用户表征与项目表征，以及多行为用户表征与项目表征为模式增强图编码器的三类聚合层得到的每一层的不同编码融合而成。例如，使用门控网络：

其中，σ(·)为激活函数，例如Sigmoid激活函数，

并通过拼接每一层的用户嵌入与项目嵌入，得到最终的行为感知用户嵌入与项目嵌入、多行为用户嵌入与项目嵌入：

其中，f

将行为感知用户表征与项目表征共同输入到行为感知降噪模块中，获得第一参数化的用户项目多行为图；

根据第一参数化的用户项目多行为图，对用户项目多行为图中辅助行为的边权重施行二值化操作，并重置图中目标行为的边权重，获得降噪的用户项目多行为图；

其中，对用户项目多行为图中辅助行为的边权重施行二值化操作为：将介于0与1之间的边权重，二值化为0或1。例如，通过阈值拦截法：当

其中，重置用户项目多行为图中目标行为的边权重为：将参数化图中目标行为的边权重置为、用户项目多行为图中目标行为的边权重。

步骤S204，利用训练集对第一阶段进行训练。

进一步地，在本发明的一个实施例中，步骤S204具体包括：

将训练集输入到第一阶段中，得到第一行为感知用户表征与项目表征、第一多行为用户表征与项目表征；

将第二行为感知用户表征与项目表征输入到行为感知降噪模块中，获得第二参数化的用户项目多行为图；

将第一参数化的用户项目多行为交互图和用户项目多行为交互图输入至交叉熵损失函数中；

将第一多行为用户表征与项目表征输入至贝叶斯个性化排名损失函数中；

最小化交叉熵损失函数和贝叶斯个性化排名损失函数，以联合训练第一阶段。

具体地，将训练集中的数据输入到基于降噪与提示调节的多行为推荐框架的第一阶段，获得第二行为感知用户表征与项目表征、第二多行为用户表征与项目表征；

将第二行为感知用户表征与项目表征输入到行为感知降噪模块中，获得第二参数化的用户项目多行为图；

将第二参数化的用户项目多行为交互图和用户项目多行为交互图输入到交叉熵损失函数中；

输入后的交叉熵损失函数为：

将第二多行为用户表征与项目表征输入至贝叶斯个性化排名损失函数中；

输入后的贝叶斯个性化排名损失函数为：

其中，sim(·)为相似度计算函数，例如内积相似度或神经网络，u∈U,i

最小化输入后的交叉熵损失函数与输入后的贝叶斯个性化排名损失函数，联合训练步基于降噪与提示调节的多行为推荐框架的第一阶段。

步骤S205，根据训练后的第一阶段构建基于降噪与提示调节的多行为推荐框架的第二阶段。

进一步地，在本发明的一个实施例中，步骤S205具体包括：

加载并冻结训练后的第一阶段中的全部可学习参数；

在嵌入层中获得第二用户、第二项目、第二辅助行为和第二目标行为的嵌入；

剪枝模式增强图编码器仅保留用户项目交互聚合层，并重新初始化和更新用户项目交互聚合层的可学习参数，以构建图编码器；

将第二用户、第二项目、第二辅助行为和第二目标行为的嵌入和降噪的用户项目多行为图输入至图编码器中，获得第二多行为用户表征与项目表征。

具体地，如图2(c)所示，加载并冻结训练后的基于降噪与提示调节的多行为推荐框架的第一阶段中的全部可学习参数；

根据嵌入层获得用户、项目、辅助行为以及目标行为的嵌入；

构建图编码器，剪枝模式增强图编码器仅保留用户项目交互聚合层，并重新初始化以及更新用户项目交互聚合层的可学习参数；

将用户、项目、辅助行为以及目标行为的嵌入与降噪的用户项目多行为图，输入到图编码器中，获得第三多行为用户表征与项目表征；

步骤S206，利用训练集对第二阶段进行训练。

进一步地，在本发明的一个实施例中，步骤S206具体包括：

将训练集输入至第二阶段中得到第二多行为用户表征与项目表征；

将第二多行为用户表征与项目表征输入贝叶斯个性化排名损失函数中，并最小化输入后的贝叶斯个性化排名损失函数，以训练第二阶段。

具体地，将训练集中的数据输入到基于降噪与提示调节的多行为推荐框架的第二阶段，获得第三多行为用户表征与项目表征；

将第三多行为用户表征与项目表征，输入贝叶斯个性化排名损失函数，并最小化输入后的贝叶斯个性化排名损失函数，训练基于降噪与提示调节的多行为推荐框架的第二阶段；

其中，输入后的贝叶斯个性化排名损失函数为：

其中，u∈U,i

步骤S207，根据训练后的第二阶段构建基于降噪与提示调节的多行为推荐框架的第三阶段。

进一步地，在本发明的一个实施例中，步骤S207具体包括：

加载并冻结第二阶段中的全部可学习参数；

根据嵌入层获得第二用户、第二项目、第二辅助行为和第二目标行为的嵌入；

将第二辅助行为的嵌入和第二目标行为的嵌入融合为提示嵌入，并更新第二目标行为的嵌入的可学习参数；

将提示嵌入逐层添加到第二阶段构建的图编码器中；

将降噪的用户项目多行为图与第二用户的嵌入、项目的嵌入输入到图编码器中，获得第三多行为用户表征与项目表征。

具体地，如图2(d)所示，加载并冻结训练后的基于降噪与提示调节的多行为推荐框架的第二阶段中全部可学习参数；

根据嵌入层，获得用户、项目、辅助行为以及目标行为的嵌入；

将辅助行为的嵌入与目标行为的嵌入融合为提示嵌入，并更新目标行为嵌入的可学习参数；

辅助行为嵌入与目标行为嵌入融合为提示嵌入方法为无额外可学习参数的融合方法，例如池化操作：

将提示嵌入逐层添加到图编码器中，其中，将提示嵌入逐层添加到图编码器的过程为：

将提示嵌入逐层添加到图编码器的方法可为直接相加、逐层拼接、投影融合等方式。例如，直接相加：

将降噪的用户项目多行为图与用户嵌入与项目嵌入输入到图编码器中，获得第四多行为用户表征与项目表征。

步骤S208，利用训练集对第三阶段进行训练。

进一步地，在本发明的一个实施例中，步骤S208具体包括：

将训练集输入至第三阶段得到第三多行为用户表征与项目表征；

将第三多行为用户表征与项目表征输入到用户在目标行为下的贝叶斯个性化排名损失函数中，并最小化该损失函数以训练所述第三阶段。

具体地，将训练集中的数据输入到基于降噪与提示调节的多行为推荐框架的第三阶段，得到第六多行为用户表征与项目表征；

最小化用户在目标行为下的贝叶斯个性化排名损失函数，训练基于降噪与提示调节的多行为推荐框架的第三阶段。

其中，当前贝叶斯个性化排名损失函数为：

在步骤S3中，将目标用户输入到训练后的基于降噪与提示调节的多行为推荐框架中，根据其预测层计算待推荐项目相对于目标用户的推荐得分，根据推荐得分将项目推荐给目标用户。

具体地，将目标用户输入到训练后的基于降噪与提示调节的多行为推荐框架中，根据其预测层计算待推荐项目相对于目标用户的推荐得分，将所述项目推荐得分进行排序，将得分最高的前K个项目推荐给用户。

根据本发明实施例提出的基于降噪与提示调节的多行为推荐方法，通过三阶段学习方法构建降噪与提示调节框架，在第一阶段，首先利用训练集用户与项目的多行为交互数据构建用户项目多行为图、项目关系图以及用户关系图，并通过模式增强的图编码器学习行为感知的用户与项目表征，最后将用户与项目表征输入降噪模块并输出降噪的用户项目多行为图，用于降噪与提示调节框架的后续阶段，在第二和第三阶段分别使用基于剪枝和基于提示的两种轻量级微调方法，进一步降噪并弥合行为间的语义鸿沟，从而大大提高目标行为下的推荐性能；同时，无需任何额外的监督信号(标记噪声数据标签)，并调节或添加少量可学习参数，高效地对辅助行为降噪并缓解行为语义差距以提升多行为推荐性能。

其次参照附图描述根据本发明实施例提出的基于降噪与提示调节的多行为推荐系统。

图3是本发明一个实施例的基于降噪与提示调节的多行为推荐系统的结构示意图。

如图3所示，该系统10包括：预处理模块100、训练模块200和推荐模块300。

其中，预处理模块100用于获取用户与项目的多行为交互数据以构建数据集，并对数据集进行预处理划分为训练集和测试集。

在本发明的一个实施例中，预处理模块100具有用于：

获取用户与项目的多行为交互数据，以提取用户ID、用户的多行为交互记录和项目ID信息，构建出数据集；

过滤数据集中交互少的用户以及冷门的项目；

按照时间将过滤后的数据集划分为训练集和测试集。

训练模块200用于构建基于降噪与提示调节的多行为推荐框架，并利用训练集对基于降噪与提示调节的多行为推荐框架进行训练，其中，基于降噪与提示调节的多行为推荐框架包括嵌入层、模式增强图编码器、行为感知降噪模块和预测层。

在本发明的一个实施例中，训练模块200具体用于：

根据训练集构建用户项目多行为图、项目关系图和用户关系图；

依次构建嵌入层、模式增强图编码器、行为感知降噪模块和预测层，得到基于降噪与提示调节的多行为推荐框架，其中，模式增强图编码器包括用户关系聚合层、用户项目交互聚合层和项目关系聚合层；

构建基于降噪与提示调节的多行为推荐框架的第一阶段，并获得降噪的用户项目多行为图；

利用训练集对第一阶段进行训练；

根据训练后的第一阶段构建基于降噪与提示调节的多行为推荐框架的第二阶段；

利用训练集对第二阶段进行训练；

根据训练后的第二阶段构建基于降噪与提示调节的多行为推荐框架的第三阶段；

利用训练集对第三阶段进行训练。

推荐模块300用于将目标用户输入到训练后的基于降噪与提示调节的多行为推荐框架中，根据其预测层计算待推荐项目相对于目标用户的推荐得分，根据推荐得分将项目推荐给目标用户。

需要说明的是，前述对基于降噪与提示调节的多行为推荐方法实施例的解释说明也适用于该实施例的基于降噪与提示调节的多行为推荐系统，此处不再赘述。

根据本发明实施例提出的基于降噪与提示调节的多行为推荐系统，通过三阶段学习方法构建降噪与提示调节框架，在第一阶段，首先利用训练集用户与项目的多行为交互数据构建用户项目多行为图、项目关系图以及用户关系图，并通过模式增强的图编码器学习行为感知的用户与项目表征，最后将用户与项目表征输入降噪模块并输出降噪的用户项目多行为图，用于降噪与提示调节框架的后续阶段，在第二和第三阶段分别使用基于剪枝和基于提示的两种轻量级微调方法，进一步降噪并弥合行为间的语义鸿沟，从而大大提高目标行为下的推荐性能；同时，无需任何额外的监督信号(标记噪声数据标签)，并调节或添加少量可学习参数，高效地对辅助行为降噪并缓解行为语义差距以提升多行为推荐性能。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。