一种基于强化学习的车路协同多跳方法

技术领域

本发明实施例涉及智能交通及自动驾驶技术领域，具体涉及一种基于强化学习的车路协同多跳方法。

背景技术

强化学习是一种通过试错学习以达到某个目标的机器学习方法。在车路协同中，强化学习可以用于实现车辆的智能驾驶和交通管理优化。在车路协同中，由于车辆之间的通信受到限制，多跳通信的消息从源节点到目标节点经过多个中间节点传递，多跳通信也被广泛应用于车辆之间的通信。

特别是发生道路交通事故时，需要及时将事故信息传递到行驶车辆，避开事故区域，减少交通拥堵和道路事故发生。

发明内容

鉴于上述问题，本发明实施例提供了一种基于强化学习的车路协同多跳方法，用于解决现有技术中存在的及时传递事故信息使车辆避开事故区域，减少交通拥堵和道路事故发生的问题。

根据本发明实施例的一个方面，提供了一种基于强化学习的车路协同多跳方法，所述方法包括：

获取道路事故信息；

向道路事故地点周围的中继节点建立多跳连接传递道路事故信息；

车辆接收来自中继节点的道路事故信息后，将道路事故信息和车辆行驶信息传递给周围车辆和中继节点；

中继节点接收车辆行驶信息，根据车辆行驶信息确定是否停止发送道路事故信息。

在一种可选的方式中，所述获取道路事故信息的步骤，具体包括：

利用车辆和道路设施的摄像头、雷达、红外线传感设备获取。

在一种可选的方式中，所述车辆行驶信息包括车辆位置、速度、行进路线、相邻车辆的距离变化。

在一种可选的方式中，所述车辆接收来自中继节点的道路事故信息后，将道路事故信息和车辆行驶信息传递给周围车辆和中继节点的步骤中，还包括：

所述车辆将收到的道路事故信息上传至云端服务器，并发送事故处理请求。

在一种可选的方式中，所述云端服务器生成避开事故区域的行驶路径，所述车辆接收来自云端服务器的行驶路径。

在一种可选的方式中，所述云端服务器根据接收到的相同道路事故信息的车辆位置与道路事故之间的距离，向距离道路事故半径最远的车辆发送向中继节点发送道路事故信息的指令。

在一种可选的方式中，所述云端服务器根据接收到的相同道路事故信息的车辆位置与道路事故之间的距离，向同一条道路上距离道路事故最远的车辆发送向中继节点发送道路事故信息的指令。

根据本发明实施例的另一方面，提供了一种基于强化学习的车路协同多跳装置，包括：

采集模块，用于获取道路事故信息；

发送模块，用于向道路事故地点周围的中继节点建立多跳连接传递道路事故信息；

车载交互模块，用于车辆接收来自中继节点的道路事故信息后，将道路事故信息和车辆行驶信息传递给周围车辆和中继节点；

判断模块，用于中继节点接收车辆行驶信息，根据车辆行驶信息确定是否停止发送道路事故信息。

根据本发明实施例的另一方面，提供了一种基于强化学习的车路协同多跳设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述任意一项所述的一种基于强化学习的车路协同多跳方法的操作。

根据本发明实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在一种基于强化学习的车路协同多跳设备/装置上运行时，使得一种基于强化学习的车路协同多跳设备/装置执行上述任意一项所述的一种基于强化学习的车路协同多跳的操作。

本发明实施例通过车辆自身和基础设施的各种传感器，获取道路事故信息，一旦检测到事故立即采集相关的道路事故信息。向周围的中继节点建立多跳连接，将道路事故信息从事故地点开始向外扩散，以达到最广范围的覆盖。车辆接收到来自中继节点的道路事故信息后，车辆会将该信息和自身行驶信息发送给周围车辆和中继节点，以便更多用户得知事故信息并采取应急措施。中继节点根据接收到的车辆行驶信息判断是否需要停止发送道路事故信息，以保证不会对正常的道路交通产生干扰或造成拥堵。该技术方案可以快速、准确地获取道路事故信息，有效避免信息滞后和误报情况的发生。通过多跳连接传递信息，可以扩大信息传播范围，提高道路交通安全性。车辆间的信息交互和多级过滤可以避免信息干扰和拥堵，提高信息传输效率。总之，该技术方案在实现道路事故信息快速传递的同时，还考虑了道路交通中的各种因素，达到了系统稳定、可靠、安全的目标。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明提供的一种基于强化学习的车路协同多跳方法的实施例的流程示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。

图1示出了本发明一种基于强化学习的车路协同多跳方法的第一实施例的流程图，该方法由一种基于强化学习的车路协同多跳装置执行。如图1所示，该方法包括以下步骤：

步骤110：获取道路事故信息。

其中，利用车辆和道路设施的摄像头、雷达、红外线传感设备获取道路事故信息。

例如：道路上布置有一定数量的摄像头，全天候24小时不间断地监控道路交通情况，特别是重要交叉口、路口和高速公路等易发生事故的区域。当出现交通事故时，摄像头可以及时捕捉到事故发生的画面。

在道路设施或者利用车辆中安装的雷达和红外线传感器，可通过反射和辐射等方式检测运动物体的位置和速度。当车辆发生事故时，传感器可以及时检测到车辆的位置和速度异常，从而判断是否发生了事故，并将相关信息发送给周围的车辆和中继节点，进一步扩大信息的覆盖范围。

步骤120：向道路事故地点周围的中继节点建立多跳连接传递道路事故信息。

例如：可以通过车上的设备向附近的几个中继节点发送消息，提供道路事故信息。中继节点将该消息转发到连接的其他中继节点。即使某些节点失效或断开连接，仍然可以通过其他节点来传递消息，从而提高了网络的容错性和可靠性。

步骤130：车辆接收来自中继节点的道路事故信息后，将道路事故信息和车辆行驶信息传递给周围车辆和中继节点。

其中，车辆行驶信息包括车辆位置、速度、行进路线、相邻车辆的距离变化。

例如：车辆可以将车辆行驶信息打包成一个数据包，并通过广播或单播的方式将它发送给周围的车辆和中继节点。接收到这个数据包的其他车辆和中继节点可以解析其中的信息，从而了解到道路事故和车辆行驶情况。

其中，所述车辆将收到的道路事故信息上传至云端服务器，并发送事故处理请求。

其中，所述云端服务器生成避开事故区域的行驶路径，所述车辆接收来自云端服务器的行驶路径。

例如：当道路事故发生时，周围区域的交通流量通常会增加，交通拥堵现象也会随之出现。通过向车辆发送绕过事故区域的行驶路径，车辆可以避开事故现场，减少拥堵的程度。并且云端服务器可以根据不同的车辆情况发送针对性的行驶路径，起到快速疏散和降低交通堵塞的作用。

其中，所述云端服务器根据接收到的相同道路事故信息的车辆位置与道路事故之间的距离，向距离道路事故半径最远的车辆发送向中继节点发送道路事故信息的指令。

例如：云端服务器会选择距离事故现场最远的车辆并向其发送指令，让其继续向中继节点发送道路事故信息的指令。这种方式可以快速将道路事故信息传递给最远距离的车辆并要求其向中继节点发送信息，从而减少主动查询导致的网络拥塞现象。同时，通过增加道路事故信息在整个网络中的传递次数，能够提高信息的可靠性和准确性，降低交通事故的风险。

或者，所述云端服务器根据接收到的相同道路事故信息的车辆位置与道路事故之间的距离，向同一条道路上距离道路事故最远的车辆发送向中继节点发送道路事故信息的指令。

例如：云端服务器会接收到这些车辆上传的道路事故信息，并根据这些信息计算出每辆车与事故现场之间的距离，由于这几辆车在同一条道路上行驶，因此只需要向距离事故最远的车辆发送信息，就可以在不影响其他车辆正常行驶的情况下，快速地将道路事故信息传递给其他车辆。每辆车都会通过中继节点接收到该信息，并采取相应措施。

步骤140：中继节点接收车辆行驶信息，根据车辆行驶信息确定是否停止发送道路事故信息。

本发明实施例通过车辆自身和基础设施的各种传感器，获取道路事故信息，一旦检测到事故立即采集相关的道路事故信息。向周围的中继节点建立多跳连接，将道路事故信息从事故地点开始向外扩散，以达到最广范围的覆盖。车辆接收到来自中继节点的道路事故信息后，车辆会将该信息和自身行驶信息发送给周围车辆和中继节点，以便更多用户得知事故信息并采取应急措施。中继节点根据接收到的车辆行驶信息判断是否需要停止发送道路事故信息，以保证不会对正常的道路交通产生干扰或造成拥堵。该技术方案可以快速、准确地获取道路事故信息，有效避免信息滞后和误报情况的发生。通过多跳连接传递信息，可以扩大信息传播范围，提高道路交通安全性。车辆间的信息交互和多级过滤可以避免信息干扰和拥堵，提高信息传输效率。总之，该技术方案在实现道路事故信息快速传递的同时，还考虑了道路交通中的各种因素，达到了系统稳定、可靠、安全的目标。

本发明一种基于强化学习的车路协同多跳装置的实施例的结构示意图。该装置包括：采集模块、发送模块、车载交互模块和判断模块。

采集模块，用于获取道路事故信息；

发送模块，用于向道路事故地点周围的中继节点建立多跳连接传递道路事故信息；

车载交互模块，用于车辆接收来自中继节点的道路事故信息后，将道路事故信息和车辆行驶信息传递给周围车辆和中继节点；

判断模块，用于中继节点接收车辆行驶信息，根据车辆行驶信息确定是否停止发送道路事故信息。

在一种可选的方式中，采集模块包括利用车辆和道路设施的摄像头、雷达、红外线传感设备获取。

在一种可选的方式中，所述车辆行驶信息包括车辆位置、速度、行进路线、相邻车辆的距离变化。

在一种可选的方式中，所述车载交互模块将所述车辆将收到的道路事故信息上传至云端服务器，并发送事故处理请求。

在一种可选的方式中，所述云端服务器生成避开事故区域的行驶路径，所述车辆接收来自云端服务器的行驶路径。

在一种可选的方式中，所述云端服务器根据接收到的相同道路事故信息的车辆位置与道路事故之间的距离，向距离道路事故半径最远的车辆发送向中继节点发送道路事故信息的指令。

在一种可选的方式中，所述云端服务器根据接收到的相同道路事故信息的车辆位置与道路事故之间的距离，向同一条道路上距离道路事故最远的车辆发送向中继节点发送道路事故信息的指令。

本发明实施例通过车辆自身和基础设施的各种传感器，获取道路事故信息，一旦检测到事故立即采集相关的道路事故信息。向周围的中继节点建立多跳连接，将道路事故信息从事故地点开始向外扩散，以达到最广范围的覆盖。车辆接收到来自中继节点的道路事故信息后，车辆会将该信息和自身行驶信息发送给周围车辆和中继节点，以便更多用户得知事故信息并采取应急措施。中继节点根据接收到的车辆行驶信息判断是否需要停止发送道路事故信息，以保证不会对正常的道路交通产生干扰或造成拥堵。该技术方案可以快速、准确地获取道路事故信息，有效避免信息滞后和误报情况的发生。通过多跳连接传递信息，可以扩大信息传播范围，提高道路交通安全性。车辆间的信息交互和多级过滤可以避免信息干扰和拥堵，提高信息传输效率。总之，该技术方案在实现道路事故信息快速传递的同时，还考虑了道路交通中的各种因素，达到了系统稳定、可靠、安全的目标。

在此处所提供的说明书中，说明了大量具体细节。然而能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。类似地，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。其中，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。