一种基于GCN与强化学习的智能路径推荐方法

技术领域

本发明属于计算机数据挖掘领域，特别涉及了一种智能路径推荐方法。

背景技术

随着大数据时代的到来，越来越多的数据被收集利用，为社会创造了更多价值。其中，RFID等定位技术、智能移动设备以及时空数据库技术的发展，使得交通大数据可以便捷、准确、规范地采集并存储管理，基于位置的服务得以实现。在智慧交通、智慧城市等领域交通数据已被广泛使用，如何更好地利用交通数据，方便人们出行、优化城市交通状况，成为了普遍关注的问题。

近年人工智能技术的发展为大数据的处理、分析、挖掘带来了新的动力，在交通数据挖掘方面，常用的技术包括：循环神经网络如RNN、LSTM，图神经网络如GCN、GAT、STGCN，强化学习方法如DQN、VIN等。循环神经网络注重具有连续性的历史数据的挖掘，应用于使用历史轨迹预测用户位置、制订符合历史行为习惯的路径，以及使用历史通行数据进行交通流向预测等任务；图卷积网络方法常用于交通流量预测等任务，可以直接应用于任意图结构而不需要网格化处理，是目前交通领域主流、最领先的研究方向之一；强化学习通过智能体与环境的交互学习最优行为，实时性高、扩展性高、可以实现协同合作，在无人驾驶、机器人自适应导航等任务中广泛应用。此外传统的启发式蚁群算法、新兴的数字孪生技术等也在交通数据挖掘中有所应用。

许多方法在不同场景中对交通数据进行了有效挖掘与利用，但研究者在将方法应用于现实场景时仍存在一些问题。例如，没有考虑交通情况需要完整建模，在交通问题中人们的出行是未来的行为，而交通状况具有复杂多变、时间位置敏感等特性，未来交通情况与时间、位置、邻近区域交通情况都有一定关系，因此方法需对未来交通状况有建模预测的能力。其次，对高维度交通数据蕴含的丰富时空语义信息利用率低，此前的路径推荐方法往往专注于单一目标，如使路径切合历史轨迹、理论时间代价最低等等，只使用到了数据的少量维度，而现实场景中道路拥挤程度、红绿灯等待时间、符合用户习惯的中间地点以及安全问题都是需要考虑现实因素，需要充分利用交通数据的多维、时空相关的信息。此外，部署于服务器端的方法也应考虑数据安全问题，对数据脱敏处理，以部分信息的模糊处理换取更高的安全性，在保证效率及与用户的交互时，结合用户行为偏好进行个性化推荐。

发明内容

为了解决上述背景技术提到的技术问题，本发明提出了一种基于GCN与强化学习的智能路径推荐方法，解决现有路径推荐方法对交通路网数据的多维语义信息利用不充分、不完全的问题。

为了实现上述技术目的，本发明的技术方案为：

一种基于GCN与强化学习的智能路径推荐方法，包括以下步骤：

(1)服务器构建初始的交通地图，抽象为全连通的路网G，用于记录图的顶点、边属性和权重矩阵；收集用户RFID格式的历史数据集R，其中每条数据记录R

(2)服务器将步骤(1)收集的离散的历史数据转化为连续的轨迹数据，并对连续的轨迹数据进行预处理；

(3)服务器利用图卷积网络GCN学习步骤(2)中预处理后的数据，获得对交通路网进行建模预测的能力；

(4)用户向服务器发起包含路径推荐查询起始点、终点和时间的三元组，以出行时间作为主要推荐因素，在用户、路网、服务器三方交互中，服务器使用强化学习模型分析学习用户特征及其对路网各项属性的敏感程度；

(5)服务器预测未来路网状况并进行符合用户特征与路网规律的智能路径推荐。

进一步地，在步骤(2)中，将离散的历史数据转化为连续的轨迹数据的方法如下：

步骤(1)中收集的RFID格式的历史数据集R为离散的点记录集合，遍历计算出所有单次的移动记录H

进一步地，在步骤(2)中，所述预处理包括去除冗余与孤立数据、清洗错误数据、填充数据缺失以及归一化。

进一步地，通过遍历比较去除冗余与孤立数据；使用限速作为阈值清洗错误数据；以误差10％为阈值进行数据缺失检测，并采用拉格朗日插值方法L(t)填充缺失：

其中，t表示当前时刻，t

进一步地，步骤(3)的具体过程如下：

(301)初始化用于路网顶点属性预测的图卷积网络GCN，顶点属性包括位置、出入度、时间片内交通总流量、各方向流量、堵塞概率和用户经行次数；初始化预测边属性的BPNN，边属性包括通行时间消耗、用户经行与暂停次数和安全程度；

(302)记路网顶点集属性为V

(V

E

其中，P(|)表示条件概率。

进一步地，步骤(4)的具体过程如下：

(401)服务器初始化用户特征多元组X＝{α

(402)服务器使用Yen's算法以边时间消耗为单一指标求得Top K最短路径集合{Tr

其中，G

(403)对步骤(402)中服务器给出的路径推荐，用户在实际行为中做出选择，达成了路网、服务器、用户之间的三方交互，服务器通过强化学习和损失函数更新用户特征多元组X：

L(θ)＝E

其中，L为损失函数，θ为迭代次数标记，y是强化学习模型当前迭代步骤的输出，E

(404)重复步骤(403)，在大量数据的强化学习训练下，服务器学会智能地在不同时间地点、交通场景中为用户提供个性化、具有倾向性差异的路径推荐。

采用上述技术方案带来的有益效果：

(1)本发明采用了GCN对路网进行建模预测，可以学习路网内在的时空特性，充分利用交通数据中时空相关的多维语义信息并进行预测；

(2)本发明在保证时间消耗的基础前提下，考虑了用户对路网所具有的各项属性的敏感度，使得推荐对于用户更具有个性化；

(3)本发明利用强化学习实现了具有学习能力的智能推荐，在路网-服务器-用户的三方交互中，服务器不断从路网环境与用户选择中学习用户行为，使得最后可以把握用户喜好与特征，使推荐更加符合环境要求与用户需求。

附图说明

图1是本发明方法的整体流程图；

图2是本发明中基于GCN的交通预测网络建模流程图；

图3是本发明中用户特征强化学习模型流程。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明设计了一种基于GCN与强化学习的智能路径推荐方法，如图1所示，步骤如下：

步骤1：服务器构建初始的交通地图，抽象为全连通的路网G，用于记录图的顶点、边属性和权重矩阵；收集用户RFID格式的历史数据集R，其中每条数据记录R

步骤2：服务器将步骤1收集的离散的历史数据转化为连续的轨迹数据，并对连续的轨迹数据进行预处理；

步骤3：服务器利用图卷积网络GCN学习步骤2中预处理后的数据，获得对交通路网进行建模预测的能力；

步骤4：用户向服务器发起包含路径推荐查询起始点、终点和时间的三元组{n,e,T}，以出行时间作为主要推荐因素，在用户、路网、服务器三方交互中，服务器使用强化学习模型分析学习用户特征及其对路网各项属性的敏感程度；

步骤5：服务器预测未来路网状况并进行符合用户特征与路网规律的智能路径推荐。

在本实施例中，优选地，在上述步骤2中，将离散的历史数据转化为连续的轨迹数据的方法如下：

步骤1中收集的RFID格式的历史数据集R为离散的点记录集合，遍历计算出所有单次的移动记录H

在本实施例中，优选地，在上述步骤2中，所述预处理包括去除冗余与孤立数据、清洗错误数据、填充数据缺失以及归一化。

进一步地，通过遍历比较去除冗余与孤立数据；使用限速作为阈值清洗错误数据；以误差10％为阈值进行数据缺失检测，并采用拉格朗日插值方法L(t)填充缺失：

其中，t表示当前时刻，t

为了更好地让神经网络学习数据，进行归一化处理：

其中，x′和x分别为归一化后、前的数据，x

在本实施例中，优选地，如图2所示，上述步骤3的具体过程如下：

301、初始化用于路网顶点属性预测的图卷积网络GCN，顶点属性包括位置、出入度、时间片内交通总流量、各方向流量、堵塞概率和用户经行次数；初始化预测边属性的BPNN，边属性包括通行时间消耗、用户经行与暂停次数和安全程度；

302、记路网顶点集属性为V

(V

E

其中，P(|)表示条件概率。

在本实施例中，优选地，如图3所示，上述步骤4的具体过程如下：

401、服务器初始化用户特征多元组X＝{α

402、服务器使用Yen's算法以边时间消耗为单一指标求得Top K最短路径集合{Tr

其中，G

403、对步骤402中服务器给出的路径推荐，用户在实际行为中做出选择，达成了路网、服务器、用户之间的三方交互，服务器通过强化学习和损失函数更新用户特征多元组X：

L(θ)＝E

其中，L为损失函数，θ为迭代次数标记，y是强化学习模型当前迭代步骤的输出，E

404、重复步骤403，在大量数据的强化学习训练下，服务器学会智能地在不同时间地点、交通场景中为用户提供个性化、具有倾向性差异的路径推荐。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。