基于时空信息表示的下一兴趣点推荐方法

技术领域

本发明涉及推荐技术领域，尤其涉及一种基于时空信息表示的下一兴趣点推荐方法。

背景技术

智能设备以及移动互联网的普及促进了Foursquare、Gowalla、Yelp、Twitter、微信和微博等基于位置的社交网络(Location-based Social Networks，LBSNs)的日益壮大，吸引了大量的用户。人们通过LBSNs平台提供的签到功能对地点进行签到，将自己的动态和实时位置分享给好友，并发表与地点相关的意见、照片和评论等信息与朋友进行互动，这种社交方式日益渗透到公众的日常生活当中，逐渐演变为人们生活中一种重要的交流方式。

作为LBSNs的核心功能之一，下一兴趣点推荐技术具有较为广泛的应用场景，在人们的生活中发挥着至关重要的作用。于政府而言，通过预测人们下一个要访问的兴趣点，政府可以设计更加合理的交通规划和调度策略，以缓解交通堵塞和人群聚集；对于打车拼车、外卖配送等平台，下一兴趣点预测技术可以准确的帮助司机或外卖骑手有效地规避拥堵路段、提前规划出行；于商家而言，店铺信息以及优惠券可以准确地发放给可能到访的目标用户，从而避免盲目的大规模的广告宣传，实现定向广告投放，节省宣传成本；对于用户，下一兴趣点推荐技术可以辅助用户决策，提高用户体验。作为推荐系统的一个独立子领域，下一兴趣点推荐应用广泛，可以为用户提供更好的用户体验以及第三方服务，因此近年来获得了学术界和工业界的广泛关注。

在下一兴趣点推荐任务中，用户的兴趣爱好可以分为长期偏好和短期偏好。长期偏好是指从用户历史轨迹中挖掘到的用户的综合兴趣，依赖于所有的历史签到记录；而短期偏好是指受最近访问的兴趣点的影响，用户短期范围内的兴趣偏好，更倾向于最近的签到记录。用户签到的时间包含两方面的信息。一方面，时间戳反映了用户访问兴趣点的绝对时间，包括年、月、周、日、小时等不同粒度的周期；另一方面，签到之间的时间间隔反映了两次签到之间的关联程度。因此，合理地利用时间信息可以更好地挖掘用户的移动规律。为了利用时间信息建模人类移动的周期性，一些模型提出对时间进行嵌入式表示，如TMCA将时间以小时为粒度进行划分，并且对工作日和周末进行了区分，由此将时间表示为维度为48的独热向量，作为模型的输入。但该模型仅考虑了小时和周为周期，而忽略了以月和日为周期的信息，且认为相邻时段之间是相互独立的，并没有考虑其邻近性。此外，推荐任务中TMCA、TiSASRec、STAN等方法在模型设计中通过学习时间间隔与地理距离的表示来利用时空信息，但当前模型学习时间间隔与地理距离表示的能力有限，不能揭示真实的时间或地理距离效应对人类移动的影响。

与商品推荐、新闻推荐以及音乐推荐等纯线上交互的数字产品推荐不同，用户签到行为不具有浏览、点击等隐式反馈数据，人类活动受现实因素的影响表现出复杂的转移规律，且数据集自身具有稀疏性，因此，下一兴趣点推荐任务具有较大的挑战性。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于时空信息表示的下一兴趣点推荐方法，以提高下一兴趣点推荐的性能。

一方面，本发明提供了一种基于时空信息表示的下一兴趣点推荐方法，包括如下步骤：

个性化签到时间戳的月、周、日、小时四种粒度的周期信息，对于所述四种粒度任一粒度的周期表示，采用注意力机制自适应地将签到时刻t所在时段与相邻时段的表示相结合，得到所述粒度所在时段对于用户u的个性化表示；

利用所述粒度所在时段对于用户u的个性化表示，采用注意力机制计算得到所述时刻t对于所述用户u的时间个性化表示；

使用时间编码函数将签到时间戳映射到向量空间，以时间编码表示Φ(t计算时间间隔，用来衡量两个时间戳之间的联系；

根据所述用户u的时间个性化表示、所述时间编码表示及用户u签到兴趣点的嵌入式表示，计算用户签到序列的嵌入式表示S

将因果卷积与Transformer结合起来增强用户签到序列的局部信息，以所述用户u的签到兴趣点的嵌入式表示为输入，得到因果卷积增强后的嵌入

′

式表示S

计算签到兴趣点的地理距离的嵌入式表示，得到空间关系的嵌入式表示E

′

结合所述S

利用所述用户u新的签到序列表示，计算用户u在所述时刻t对兴趣点的偏好。

另一方面，本发明还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述方法。

技术效果：

本发明针对基于时空信息表示的下一兴趣点推荐问题，设计了个性化的四种粒度周期表示，并结合时间的编码表示和地理距离的嵌入式表示，在计算签到之间的注意力时考虑时间间隔与地理距离的表示，以在建模用户长期偏好时利用时空信息，利用因果卷积进行局部信息增强，提高了下一兴趣点推荐的性能。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明实施例中单个用户连续签到活动示意图；

图2是本发明实施例STIRSAN模型示意图；

图3.a是本发明实施例NYC数据集中以月为粒度的签到兴趣点类别的热力图；

图3.b是本发明实施例NYC数据集中以日为粒度的签到兴趣点类别的热力图；

图3.c是本发明实施例NYC数据集中以周为粒度的签到兴趣点类别的热力图；

图3.d是本发明实施例NYC数据集中以小时为粒度的签到兴趣点类别的热力图；

图4是本发明实施例因果卷积示意图；

图5.a是本发明实施例NYC数据集中Recall@10随维度变化的趋势图；

图5.b是本发明实施例NYC数据集中Recall@20随维度变化的趋势图；

图6是本发明实施例TKY数据集中维度对STIRSAN的影响示意图；

图7是本发明实施例TKY数据集中序列长度对STIRSAN的影响示意图；

图8.a是本发明实施例中以Month周期表示相似度热力图；

图8.b是本发明实施例中以Date周期表示相似度热力图；

图8.c是本发明实施例中以DayofWeek周期表示相似度热力图；

图8.d是本发明实施例中以Hour周期表示相似度热力图；

图9.a是本发明实施例中地理距离与空间关系示例1热力图；

图9.b是本发明实施例中地理距离与空间关系示例2热力图；

图9.c是本发明实施例中地理距离与空间关系示例3热力图；

图9.d是本发明实施例中地理距离与空间关系示例4热力图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

本发明实施例中，变量及其数学表示式有如下定义：用U＝u

ΔD

其中，R表示地球半径，为6371km。所以签到序列内部两两之间的地理间隔ΔD表示为：

/>

下一兴趣点推荐是指给定用户u的签到记录tra(u)，预测用户下一时刻访问的兴趣点。

本发明实施例提供了一种基于时空信息表示的下一兴趣点推荐方法，包括如下步骤：

个性化签到时间戳的月、周、日、小时四种粒度的周期信息，对于所述四种粒度任一粒度的周期表示，采用注意力机制自适应地将签到时刻t所在时段与相邻时段的表示相结合，得到所述粒度所在时段对于用户u的个性化表示；

利用所述粒度所在时段对于用户u的个性化表示，采用注意力机制计算得到所述时刻t对于所述用户u的时间个性化表示；

使用时间编码函数将签到时间戳映射到向量空间，以时间编码表示Φ(t)计算时间间隔，用来衡量两个时间戳之间的联系；

根据所述用户u的时间个性化表示、所述时间编码表示及用户u签到兴趣点的嵌入式表示，计算用户签到序列的嵌入式表示S

将因果卷积与Transformer结合起来增强用户签到序列的局部信息，以所述用户u的签到兴趣点的嵌入式表示为输入，得到因果卷积增强后的嵌入式表示S′

计算签到兴趣点的地理距离的嵌入式表示，得到空间关系的嵌入式表示E

结合所述S

利用所述Z

本发明实施例利用人们的出行呈现出多粒度的周期性，考虑多粒度周期信息对用户的个性化影响，设计了个性化的四种粒度周期表示，并结合时间的编码表示和地理距离的嵌入式表示，分别基于Bochner理论和AutoDis方法对签到之间的时间间隔和地理距离进行编码表示和嵌入式表示，克服现有工作的不足，并在计算self-attention时考虑签到之间的时间间隔与地理距离的表示以捕获时空效应。此外，该方法利用因果卷积增强Transformer对局部序列的感知，利用因果卷积进行局部信息增强，提高了下一兴趣点推荐的性能。

下面结合附图对本实施例进行介绍，图1为实施例数据集中单个用户签到活动示意图。其中p

图2为本发明一个优选实施例模型结构示意图，图中标记定义为：DistanceInterval Embedding：地理距离嵌入式表示；Inputs：输入；Input Embedding：签到兴趣点的嵌入式表示；Causal Convolution Layer：因果卷积层；User embedding：用户嵌入式表示；Time Interval Encoding：时间编码表示；PMGP：时刻t对用户u的个性化表示编码；Positional Encoding：位置编码表示；Self-Attention Layer：自注意力层；Feed-ForwardNetwork：前馈网络层；Dropout：模型泛化；LayerNorm Layer:层归一化。其中，Dropout是指在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，缓解过拟合现象的发生。

本发明实施例中原始数据为用户的签到记录，包含用户编号，兴趣地点编号，兴趣地点种类，兴趣地点经纬度等信息。用户的签到记录可以被视为按照时间排列的兴趣点序列，下一兴趣点推荐任务本质上可以看作序列预测问题。将原始数据集根据用户编号进行分组，并按签到时间先后顺序进行排序，生成每个用户的签到序列数据。对每个用户，将其第[2,N]次签到作为测试集，利用其[2,N-1]次签到作为输入序列来预测第N次的签到兴趣点。

对于用户u，提取其签到时间子属性Month、DayOfWeek、Date、Hour。对用户u进行嵌入式表示得到e

参照图3.a～图3.d可以看出，相邻时段表现出的签到兴趣点的类别是相似的，因此相邻时段应该具有比较相似的表示。所以本发明实施例中，对于粒度s，采用注意力机制自适应地将时刻t所在时段与相邻时段的表示相结合，得到所述粒度所在时段对于用户u的个性化表示。

为得到所述时刻t对用户u的最终表示，即得到个性化多粒度周期的表示，对于所述四种粒度的周期表示，采用注意力机制计算得到所述时刻t对于所述用户u的时间个性化表示。

由于时间间隔在表达时间效应和揭示序列模式方面发挥着重要作用，故本发明实施例考虑时间间隔的表示，以时间编码表示Φ(t)计算时间间隔，用来衡量两个时间戳之间的联系。

由于Transformer天然地擅长于捕获序列中的长期的、全局的依赖，但是Transformer并不擅长于提取细粒度的局部信息，而卷积操作能够很好地探索局部信息，因此为了克服Transformer的弊端，STIRSAN将因果卷积与Transformer结合起来以增强序列中的局部信息。与传统卷积操作不同的是，因果卷积旨在保证计算过程中不会有未来时刻的信息泄露，为了实现因果卷积，需要在序列前补长度为(kernel size-1)个0，并对序列最后多余的输出进行截断以保证卷积前后序列长度一致。这样就可以实现t时刻卷积的输入仅包含本身及之前时刻的信息，而不包含t+1时刻及以后的信息。图4为卷积核大小为3的因果卷积示意图，得到因果卷积后的结果为

地理距离的嵌入式表示是下一兴趣点推荐问题中的另一重要因素。对于连续的数值特征的嵌入式表示，一个简单的解决方案是将数值特征作为分类特征，并为每个数值特征分配一个独立的嵌入向量，但该方法存在严重的缺陷，如参数量大、低频特征训练不足等，为了减少模型参数，域嵌入方法对于同一类特征的所有特征值共享一到三个嵌入式表示，通过与特征值相乘、线性插值法等变换得到各特征值的表示。但该类方法模型的容量比较低导致性能的下降。因此本发明设计了一种元嵌入H∈R

STIRSAN通过计算self-attention来为轨迹中的各次签到分配不同的权重以聚合历史签到的表示。时空感知的self-attention的输入为所述用户签到序列的嵌入式表示为S

利用上述步骤得到的所述用户u新的签到序列表示，运用潜在因子模型计算用户u在所述时刻t对兴趣点的偏好；进行模型训练，学习模型参数，预测下一兴趣点。

以S＝{Month,DayOfWeek,Date,Hour表示四种粒度周期信息的集合，

s∈S，s表示集合中的元素，即所述的四种粒度之一，在本发明的一个优选实施例中，对于粒度s，用户u在所述时刻t的嵌入式表示为

其中，E

对于粒度s，将所述时刻t的相邻m时段对于用户u的个性化表示为

其中，

其中，

对于粒度s，采用注意力机制自适应地将所述时刻t所在时段与相邻m时段的表示相结合，粒度s所在时段对于用户u的个性化表示为：

其中，对应于粒度s，

作为优选，注意力系数α

其中，r

在本发明的另一个优选实施例中，采用注意力机制计算得到所述时刻t对于用户u的时间个性化表示T

其中，

T

用户签到的时间间隔反映了两次签到之间的关联程度，在表达时间效应和揭示序列模式方面发挥着重要作用，合理地利用时间信息可以更好地挖掘用户的移动规律，时间戳反映了用户访问兴趣点的绝对时间，需要对时间戳信息进行处理以表达时间间隔，在本发明的另一个优选实施例中，使用时间编码函数将时间戳映射为向量，即Φ：t→R

ψ(t

其中，K为时间核函数，<,>表示点积操作。ψ(t

基于Bochner理论以及蒙特卡洛积分，式(1)中的Φ(t)可以通过式(2)中的Φ

在本发明的另一个优选实施例中，利用所述用户u的时间个性化表示、所述时间编码表示及用户u的各次签到兴趣点的嵌入式表示，计算用户u签到序列的嵌入式表示为：

其中，N为用户u的签到次数，

其中，

为所述用户u在t

在本发明的另一个优选实施例中，为了捕获地理距离与元嵌入之间复杂的联系，设计了一个可微的自动离散模块：

γ

其中，V为元嵌入的个数，ΔD

因此，第i次签到与第j次签到兴趣点之间的地理距离ΔD

通过加权平均的方式，得到第i次签到与第j次签到兴趣点之间的地理距离ΔD

E

其中，映射矩阵W

加权平均的方式会使得相关的元嵌入更有利于提供丰富的信息，而无关的元嵌入在很大程度上会被忽略。

在本发明的另一个优选实施例中，结合所述用户签到序列的嵌入式表示为S

/>

其中，

在本发明的另一个优选实施例中，采用前馈神经网络(Feed-Forward Network，FFN)为所述用户u新的签到序列表示Z

其中，

为了加速训练过程、防止训练过程中出现过拟合和梯度消失等现象，引入LayerNorm、Dropout和残差连接等技巧，所述用户u的签到序列的优化表示

其中，N为用户u的签到次数，

作为优选，运用潜在因子模型来计算用户u在t

其中,

进行模型训练，预测下一兴趣点，得到用户u在t时刻对各个兴趣点的偏好后，按偏好值从高到低的顺序输出兴趣点，可用来对用户要访问的下一兴趣点进行推荐或对各兴趣点进行预测。

为了学习模型的参数，采用BPR损失函数：

其中，训练集样本D＝(u,l

下面对本发明实施例建立的STIRSAN模型，使用top K的召回率Recall@K和平均倒数排名(Mean Reciprocal Rank，MRR)两个评价指标来评估模型的性能。

(1)召回率Recall@K

召回率指的是模型预测出的正样本占所有正样本的比率。在下一兴趣点推荐中指的是，将模型对各兴趣点的预测值降序排列后，标签在top K的比率。Recall@K的计算方式为：

其中，K∈{1,5,10,20}，

(2)MRR

MRR是指正样本在所有样本中排名的倒数的平均值，反映了模型整体的排序能力。MRR的计算方式为：

其中，rank

本发明实施例在Foursquare-NYC和Foursquare-TKY两个真实世界的数据集中评估STIRSAN模型。对数据集进行了预处理，删除了签到次数少于5次的不活跃用户，以及被签到少于5次的兴趣点。数据集统计信息统计信息如下：

表1数据集统计信息

实验中对于每位用户仅使用其最近的N次访问，将数据集分为训练集与测试集，其中每名用户的[1,N-1]次签到作为训练集，第[2,N]次签到作为测试集，其中利用第[2,N-1]次签到作为输入序列来预测第N次的签到兴趣点。

实验结果

本发明主要利用时空信息表示来进行下一兴趣点的推荐，本实验部分主要有两个实验，(1)本发明实施例模型与5个基线模型的对比实验。(2)设计消融实验，验证本发明实施例模型各个模块的有效性。(3)设计实验验证模型的鲁棒性和可解释性。

在下一兴趣点推荐性能的对比试验中，我们将本发明实施例建立的STIRSAN模型与以下模型进行对比：

(1)TMCA模型：采用基于LSTM的编码器-解码器结构，提出两种注意力机制自适应地选择相关的历史签到和上下文因素。

(2)DeepMove模型：提出使用注意力机制从历史签到中获得相关信息以建模长期用户偏好，使用RNN建模短期偏好。

(3)LSTPM模型：利用当前轨迹与历史轨迹的时间和空间相关性建模长期偏好，在建模短期偏好时利用geo-dilated RNN捕获非连续签到之间的地理联系。

(4)STAN模型：基于Transformer的下一兴趣点推荐模型，考虑非连续签到之间的时间间隔与地理距离，利用线性插值法学习不同时间间隔与地理距离的表示。

(5)TiSASRec模型：基于Transformer的序列推荐模型，对不同用户的时间间隔进行个性化处理得到相对时间间隔，在计算self-attention时考虑不同时间间隔的影响。

STIRSAN模型的超参设置为：r

表2各模型参数量对比

在NYC和TKY两个数据集中，STIRSAN与基线模型在下一兴趣点推荐任务中的实验结果如表3、表4所示，表格中加黑的数据为最高的实验结果。

表3 NYC数据集上的推荐性能对比实验

表4 TKY数据集上的推荐性能对比实验

由表3、表4可知，本发明实施例的STIRSAN模型性能显著高于基线模型。在NYC数据集中，STIRSAN在5个评价指标Recall@1、Recall@5、Recall@10、Recall@20以及MRR上分别高于基线模型1.7％、4.07％、3.32％、0.56％和3.14％；在TKY数据集中，STIRSAN在Recall@5、Recall@10及MRR指标上分别高于基线模型2.48％、2.23％和1.11％，而在Recall@1和Recall@20上与最优的基线模型相近，分别相差0.37％和0.92％。

结合表2来看，STIRSAN模型的参数量显著低于TMCA、DeepMove、LSTPM和STAN，与TiSASRec模型的参数量相当。STIRSAN以较少的参数量取得了显著优越的性能，这说明STIRSAN模型性能的提升是通过挖掘签到数据内部的规律，而非过多参数的拟合。

为了验证各模块的有效性，本发明实施例设置了以下STIRSAN模型的变种来进行消融实验：

(1)STIRSAN w/o CAC：STIRSAN模型的变体，即去掉对局部序列信息进行增强的因果卷积；

(2)STIRSAN w/o PMGP：STIRSAN模型的变体，即去掉个性化的多粒度周期表示；

(3)STIRSAN w/o TIE：STIRSAN模型的变体，即去掉签到之间的时间间隔的影响；

(4)STIRSAN w/o DIE：STIRSAN模型的变体，即去掉签到之间的地理距离的嵌入式表示。

得到消融实验结果如表5、表6所示。

表5 NYC数据集上消融实验结果

表6 TKY数据集上消融实验结果

表5、表6列出了STIRSAN各个变种模型的实验结果。可以看到在NYC和TKY两个数据集上表现出较为一致的趋势，即因果卷积、多粒度周期信息表示学习、时间间隔与地理距离的表示等各模块均有助于STIRSAN模型性能的提升。

利用因果卷积对Transformer进行局部序列增强对于模型性能的提升最大，对于NYC数据集Recall@1和MRR分别提高了2.12％和2.22％；对于TKY数据集则分别提高了2.18％和2.1％。结合表3、表4，可以看到在两个数据集中不使用因果卷积的STIRSAN w/oCAC的Recall@10和Recall@20均高于基于LSTM的DeepMove和LSTPM，但是Recall@1、Recall@5及MRR指标低于基于LSTM的对比模型。除了本文提出的STIRSAN，同样是基于Transformer的TiSASRec模型型也表现出同样的现象，即Recall@10和Recall@20显著高于基于LSTM的DeepMove、LSTPM等对比模型，但是对于更能说明推荐准确性的指标Recall@1和Recall@5，基于Transformer的模型却不如基于LSTM的模型。这表明Transformer擅长于捕获长期依赖，对于局部信息不敏感。而对于下一兴趣点推荐任务而言，用户最近的访问，即短期偏好，对于下一兴趣点预测至关重要。因此在精准推荐方面基于Transformer的模型不如基于LSTM的模型。因此STIRSAN将因果卷积与Transformer进行结合，以加强签到序列中的局部信息，从而进一步挖掘用户的短期偏好，而实验结果也证明了因果卷积增强的Transformer极大地提高了推荐的准确率。

接下来，为验证模型的鲁棒性，本发明实施例分别在不同维度和序列长度下将SIRSAN与基线模型进行对比。并对STIRSAN模型学到的周期表示和空间关系进行可视化以证明模型的可解释性。

(1)维度对实验结果的影响

图5.a～图5.b直观地展示了在NYC数据集上各模型的Recall@10和Recall@20随维度变化的趋势；图6展示了TKY数据集中STIRSAN模型在不同向量维度下的性能。整体而言，在两个数据集中STIRSAN的结果随维度变化均较为平缓，且绝大多数情况下都高于基线模型，说明STIRSAN模型对于向量维度变化比较鲁棒。

(2)序列长度对实验结果的影响

图7直观地展示了TKY数据集中序列长度变化对STIRSAN模型的影响，随着序列长度的减小，STIRSAN的性能有所下降，但变化较为平缓，所以STIRSAN模型对于序列长度比较鲁棒。

(3)各粒度周期关系的可视化

图8.a～图8.d分别展示了STIRSAN模型学到的各粒度周期表示余弦相似度的热力图，从图中可以观察到各周期中相邻时段的表示比较相似。以图8.d为例，可以清楚地看到24小时被大致分为4-14时和15-3时，其中又可细分为8-11时、11-14时、14-18时、19-23时等。这与日常生活中对于时间的划分也比较一致。

(4)空间关系E

图9.a～图9.d展示了随机挑选的四位用户签到之间地理距离热力图以及STIRSAN模型学到的空间关系E

综上所述，本发明实施例所提出的基于时空信息表示的下一兴趣点推荐模型在推荐性能上优于其他对比实验，从而证明了本发明实施例的有效性，能够应用到下一兴趣点的推荐任务中；此外，通过消融实验验证了本发明实施例提出的多粒度的周期表示、签到之间时间间隔、地理距离的表示以及对局部序列信息进行增强的因果卷积的有效性。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。