基于视觉偏好特征的个性化旅游路线推荐方法及装置

技术领域

本发明涉及计算机技术领域，特别是指一种基于视觉偏好特征的个性化旅游路线推荐方法及装置。

背景技术

个性化旅游路线推荐方法致力于推荐符合游客偏好的一系列景点。尤其当人们前往陌生城市游玩时，往往需要参考很多信息来选择感兴趣的景点并制定游玩路线，而旅游路线推荐方法则能有效解决信息过载问题，快速规划出符合用户偏好的旅游路线。

大数据时代产生的位置签到、地理标记照片（geo-tagged photo，即记录有照片拍摄时间和拍摄地点的照片）、评论、评分、游记等海量数据极大地便利和推动了旅游路线推荐方法的发展。

现有的旅游路线推荐算法主要分为协同过滤、数学建模、机器学习和深度学习等方法。通常，这些算法需要构建景点特征、用户偏好或旅游路线特征。

目前，旅游路线推荐方法主要利用历史旅游记录中的时间、地理、文本等信息构建景点特征和用户偏好，而极少利用视觉信息；也有少量的考虑景点视觉信息基于传统的数学建模或机器学习方法建立的个性化旅游路线推荐系统，例如利用从照片中提取的景点视觉特征选取景点的代表性照片，或者利用景点视觉特征预测用户对景点的访问兴趣并以此为基础建立整数规划模型。

然而，已有的考虑景点视觉信息的旅游路线推荐方法部分没有直接利用视觉信息，而仅将其作为辅助信息提供给用户，部分依然采用传统的数学建模方法，导致不能很好利用视觉信息提高旅游路线推荐的性能。

发明内容

有鉴于此，本发明的目的在于提出一种基于视觉偏好特征的个性化旅游路线推荐方法及装置，可以利用视觉信息，基于视觉偏好特征并结合深度学习方法为用户进行个性化旅游路线推荐，提高旅游路线推荐的性能。

基于上述目的，本发明提供一种基于视觉偏好特征的个性化旅游路线推荐方法，包括：

利用预先训练得到的卷积神经网络模型从用户上传的地理标记照片中提取用户视觉特征；

针对目标城市的每个景点，根据所述用户视觉特征与该景点的景点视觉特征之间的相似度，确定用户对该景点的视觉偏好特征，其中，该景点的景点视觉特征是利用所述卷积神经网络模型从该景点的地理标记照片中提取的；

基于所述用户对所述目标城市的各景点的视觉偏好特征，为所述用户推荐个性化旅游路线。

较佳地，所述基于所述用户对所述目标城市的各景点的视觉偏好特征，为所述用户推荐个性化旅游路线，具体包括：

基于双向长短时记忆网络的编码器，学习所述视觉偏好特征的隐藏信息，输出隐状态；

基于注意力机制的长短时记忆网络的解码器，根据所述隐状态以及起始景点输出解码的旅游路线。

较佳地，在所述根据所述隐状态以及起始景点输出解码的旅游路线之后，还包括：

对于解码得到的旅游路线，利用beam search算法计算出最终的个性化旅游路线推荐给所述用户。

较佳地，所述利用预先训练得到的卷积神经网络模型从用户上传的地理标记照片中提取用户视觉特征，具体包括：

利用所述卷积神经网络模型对用户

将多张照片对应的初始用户视觉特征，在每一维特征上进行平均，得到最终的用户视觉特征

较佳地，所述景点视觉特征具体根据如下方法提取：

通过所述卷积神经网络模型对不同用户在目标城市的景点

将地理标记照片集

本发明还提供一种基于视觉偏好特征的个性化旅游路线推荐装置，包括：

视觉特征提取模块，用于利用预先训练得到的卷积神经网络模型从用户上传的地理标记照片中提取用户视觉特征；

视觉偏好确定模块，用于针对目标城市的每个景点，根据所述用户视觉特征与该景点的景点视觉特征之间的相似度，确定用户对该景点的视觉偏好特征，其中，该景点的景点视觉特征是利用所述卷积神经网络模型从该景点的地理标记照片中提取的；

旅游路线推荐模块，用于基于所述用户对所述目标城市的各景点的视觉偏好特征，为所述用户推荐个性化旅游路线。

本发明还提供一种电子设备，包括中央处理单元、信号处理和存储单元，以及存储在信号处理和存储单元上并可在中央处理单元上运行的计算机程序，其中所述中央处理单元执行所述程序时实现如上所述的基于视觉偏好特征的个性化旅游路线推荐方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的基于视觉偏好特征的个性化旅游路线推荐方法的步骤。

本发明的技术方案中，利用预先训练得到的卷积神经网络模型从用户上传的地理标记照片中提取用户视觉特征；针对目标城市的每个景点，根据所述用户视觉特征与该景点的景点视觉特征之间的相似度，确定用户对该景点的视觉偏好特征，其中，该景点的景点视觉特征是利用所述卷积神经网络模型从该景点的地理标记照片中提取的；基于所述用户对所述目标城市的各景点的视觉偏好特征，为所述用户推荐个性化旅游路线。由于可以利用视觉信息，基于视觉偏好特征并结合深度学习方法为用户进行个性化旅游路线推荐，提高旅游路线推荐的性能；也就是说，根据用户的视觉偏好特征进行旅游路线推荐，可以更好地符合用户个人的兴趣与爱好，从而提高推荐路线中景点及其顺序的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于视觉偏好特征的个性化旅游路线推荐方法流程图；

图2为本发明实施例提供的一种编码器-解码器结构示意图；

图3为本发明实施例提供的一种基于视觉偏好特征的个性化旅游路线推荐装置内部结构示意图；

图4为本发明实施例提供的一种电子设备硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本发明的发明人考虑到，地理标记照片包含的时间、地理坐标及标签等丰富的元数据为旅游路线推荐算法提供了广泛的数据来源，近年来评论、评分和游记等文本信息也被广泛用于构建景点特征与用户偏好，但是现有的旅游路线推荐算法大多忽略了视觉信息。事实上，社交平台上的地理标记照片或游记中的照片不仅客观地展示了景点特征，也反映了拍摄者的主观选择。相比需要对文本进行语义分析来获取用户的情感倾向与情感强度，照片蕴含的丰富视觉信息则直观地反映出用户的兴趣所在。

基于上述分析，本发明技术方案提供一种利用景点视觉信息、基于视觉偏好特征的个性化旅游路线推荐方法，通过用户拍摄的景点照片捕捉用户对不同景点的视觉偏好，基于此构建深度学习模型，为用户推荐个性化旅游路线。本发明提供的推荐方法包含用户视觉偏好构建模块、编码器-解码器模块和旅游路线推荐模块。具体来说，利用卷积神经网络ResNet50提取视觉特征并构建用户视觉偏好特征，建立包含Bi-LSTM编码器和注意力机制LSTM解码器的深度学习模型，在推荐阶段采用beam search算法生成推荐路线。本发明可以提高推荐路线中景点及其顺序的准确性。

下面结合附图详细说明本发明实施例的技术方案。

给定用户集合U的历史景点访问记录R和拍摄的地理标记照片集合P，对于用户

为解决上述问题，本发明实施例提供的一种基于视觉偏好特征的个性化旅游路线推荐方法，具体流程如图1所示，包括如下步骤：

步骤S101：利用预先训练得到的卷积神经网络模型从用户上传的地理标记照片中提取用户视觉特征；

本步骤中，利用预先训练得到的卷积神经网络模型对用户

类似地，还可利用预先训练得到的卷积神经网络模型，从目标城市的每个景点的地理标记照片中提取景点视觉特征。具体地，通过所述卷积神经网络模型对不同用户在目标城市对景点

上述的卷积神经网络模型可以包括：多层卷积层，以及一层映射函数为

ResNet（深度残差网络）是为了应对网络加深时出现退化问题，即网络深度增加后网络训练损失也增大的问题而提出的一种卷积神经网络模型，主要特点是使用包含直连结构的残差块。不同的ResNet模型结构不同，其中ResNet50共包含49层卷积层和一层全连接层。改进的ResNet50模型删除了全连接层，并增加了一层

步骤S102：根据提取的用户视觉特征和景点视觉特征，确定所述用户的视觉偏好特征；

本步骤中，针对目标城市的每个景点，根据所述用户视觉特征与该景点的景点视觉特征之间的相似度，确定用户对该景点的视觉偏好特征。其中，所述景点的景点视觉特征是利用上述的卷积神经网络模型从所述景点的地理标记照片中提取的；

具体地，通过计算用户视觉特征

（式1）

其中，

对于任一用户

上述的卷积神经网络模型可以是通过多个用户上传的、多个城市的地理标记照片集进行预先训练得到的。

步骤S103：基于所述用户对所述目标城市的各景点的视觉偏好特征，为所述用户推荐个性化旅游路线。

本步骤中，可以基于双向长短时记忆网络（Bi-LSTM）的编码器，学习所述视觉偏好特征的隐藏信息，输出隐状态；基于注意力机制的长短时记忆网络（LSTM）的解码器，根据所述隐状态以及起始景点输出解码的旅游路线。LSTM（长短时记忆网络），是循环神经网络（Recurrent Neural Network，RNN）的一种变体。

因为用户视觉偏好特征

编码器-解码器结构如图2所示。编码器将输入编码成中间状态，解码器将中间状态解码成输出，具体来说，编码器最后时刻的隐状态用作解码器的初始隐状态。编码器和解码器各有一个输入，例如，在机器翻译任务中，编码器输入源句（如一句英文），解码器输出目标句（如一句法文）。在本发明的技术方案中，输入1为用户视觉特征，输入2为起始景点或上一时刻解码器的输出景点，编码器输入用户视觉特征，输出隐状态到解码器，解码器根据输入的起始景点或上一时刻的输出景点以及编码器输出的隐状态，计算当前时刻输出各景点的概率并输出概率最大的景点，重复这一过程直到景点数达到最大路线长度，即可以输出解码的旅游路线。

Bi-LSTM编码器包含一个前向LSTM层和一个反向LSTM层，前向LSTM层正向读取用户视觉偏好

解码器采用单向的LSTM网络。对于每个时间步i（区别于编码器输入序列的时间步t，其中

（式2）

输出景点

（式3）

在原始解码器中，每一时刻i的上下文向量

（式4）

权重参数

（式5）

其中

解码器输出每一时刻概率最大的景点，直到输出的景点数达到最大路线长度，即得到旅游路线。

更优地，在实际推荐过程中，利用beam search（集束搜索）算法计算出最终的旅游路线，以便以更大概率生成全局最优的景点序列，作为最终的个性化旅游路线推荐给所述用户。

为了生成最佳旅游路线，需要最大化推荐路线的概率，目标函数为：

在训练阶段，采用贪心算法输出当前概率最大的景点

Beam search算法有一个束宽（beam width）参数k，在每个时刻只保留最优的k个选项，将这k个选项分别和全部候选选项（大小为N）组合生成kN个选项并保留最优的k个选项。

在推荐时为了避免路径中出现重复景点，在每个时刻只将当前的k条路线与概率最大的Top-k个未曾出现在路线中的景点组合，并保留最优的k条新路线，最终基于

基于上述的基于视觉偏好特征的个性化旅游路线推荐方法，本发明实施例提供的一种基于视觉偏好特征的个性化旅游路线推荐装置，结构如图3所示，包括：视觉特征提取模块301、视觉偏好确定模块302、旅游路线推荐模块303。

视觉特征提取模块301用于利用预先训练得到的卷积神经网络模型从用户上传的地理标记照片中提取用户视觉特征；

视觉偏好确定模块302用于针对目标城市的每个景点，根据所述用户视觉特征与该景点的景点视觉特征之间的相似度，确定用户对该景点的视觉偏好特征；其中，该景点的景点视觉特征是利用所述卷积神经网络模型从该景点的地理标记照片中提取的；

旅游路线推荐模块303用于基于所述用户对所述目标城市的各景点的视觉偏好特征，为所述用户推荐个性化旅游路线。具体地，旅游路线推荐模块303可以基于双向长短时记忆网络的编码器，学习所述视觉偏好特征的隐藏信息，输出隐状态；基于注意力机制的长短时记忆网络的解码器，根据所述隐状态以及起始景点输出解码的旅游路线；对于解码得到的旅游路线，利用beam search算法计算出最终的个性化旅游路线推荐给所述用户。

上述基于视觉偏好特征的个性化旅游路线推荐装置中各模块的功能的实现方法可参考上述图1所示流程各步骤中的方法，此处不再赘述。

本发明的技术方案中，利用预先训练得到的卷积神经网络模型从用户上传的地理标记照片中提取用户视觉特征；针对目标城市的每个景点，根据所述用户视觉特征与该景点的景点视觉特征之间的相似度，确定用户对该景点的视觉偏好特征，其中，该景点的景点视觉特征是利用所述卷积神经网络模型从该景点的地理标记照片中提取的；基于所述用户对所述目标城市的各景点的视觉偏好特征，为所述用户推荐个性化旅游路线。由于可以利用视觉信息，基于视觉偏好特征并结合深度学习方法为用户进行个性化旅游路线推荐，提高旅游路线推荐的性能；也就是说，根据用户的视觉偏好特征进行旅游路线推荐，可以更好地符合用户个人的兴趣与爱好，从而提高推荐路线中景点及其顺序的准确性。

在验证时，使用YFCC100M数据集和Lim等人整理出的旅游路线数据集中多伦多、大阪、格拉斯哥、爱丁堡4个不同城市的数据。由表1可知，对于指标F

其中F

表1 不同推荐方法在4个城市集上的F

表2 不同推荐方法在4个城市集上的pairs-F

从结果来看，本发明提出的技术方案在两个指标上的综合表现优于其它6种对比模型，这说明利用景点视觉信息能够很好地捕捉用户偏好，因此能有效提高推荐景点的准确度；另一方面，基于本发明的LSTM的Seq2Seq模型能够挖掘出历史旅游路线中的景点序列特征，因而在推荐景点的序列性上也有不错的表现。

图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU（Central Processing Unit，中央处理单元）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的基于视觉偏好特征的个性化旅游路线推荐方法。

存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，可以与非线性接收机相连，从非线性接收机接收信息，实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。

总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输 出接口1030和通信接口1040）之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的基于视觉偏好特征的个性化旅游路线推荐方法的步骤。

本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital， SD）卡，闪存卡（Flash Card）等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中基于视觉偏好特征的个性化旅游路线推荐方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。

本发明的技术方案中，从互联网评论数据中提取用户需求信息，包括：产品特征的名称、用户观点词、否定词；基于产品特征的用户观点词、否定词，计算所述产品特征的用户态度和讨论热度；基于产品特征的用户态度和讨论热度，通过Kano模型得到所述产品特征的需求分析结果。从而可以应用互联网评论数据对产品特征进行需求分析，并利用Kano模型针对产品特征划分的不同需求类型，从而促进产品开发方对用户需求的深入了解与把握，可以对产品特征进行相应的后续规划与处理，快速适应用户需求。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。