一种基于强化学习的露天矿卸载管理方法和系统

技术领域

本发明涉及矿区自动驾驶技术领域，应用于露天矿卸载管理，具体地说，涉及一种基于强化学习的露天矿卸载管理方法和系统。

背景技术

自动驾驶技术的逐步成熟和完善，正在为矿区运输带来前所未有的变革。在传统的露天矿开采过程中，矿用卡车的驾驶、调度和管理往往需要大量的人力物力，而且受限于人为因素，效率和安全性难以得到最佳保证。然而，随着自动驾驶技术的引入，露天矿运输正逐渐摆脱这些束缚，迎来更加智能、高效和安全的时代。在这个自动化过程中，卸载及其管理系统扮演了关键角色，任何偏差或误操作都可能导致物料损失、设备损坏或其他安全事故。

在现行的露天矿卸载管理系统下，系统会按照距离给卸载区入场点待卸载的矿卡分配距离最近的卸载点。但由于卸载区卸载规则较多，环境那变量复杂，矿卡分配的卸载点往往不是用时最短就能到达的，这会造成整体卸载效率的降低。同时，矿卡在卸载点卸载过程中遇到突发问题时，会将问题卸载点上传云平台，云平台再将问题卸载点下发给其他矿卡，让它们重新规划行进轨迹。但中间由于有云平台中转，容易导致周围车辆信息同步延时，未及时重新规划行车轨迹出现因安全圈相交的停车问题，既存在安全隐患又会大大降低卸载速度。此外，卸载点通常在一到两次卸载后，因为物料的堆积和残渣泄漏等情况导致卸载点不平整和挡土墙变动，需要重新平整卸载点以及其挡土墙，在现有的卸载管理系统中，此时便需要人工介入召唤推土机推土。但由人工判断何时召唤推土机入场，耗时耗力同时易出现纰漏，也容易出现单次推车只平整少数卸载点的问题，造成车辆损耗油耗增加。

针对现有技术的问题，本发明提供了一种基于强化学习的露天矿卸载管理方法和系统。

发明内容

针对目前现有技术的问题，本发明提供了一种基于强化学习的露天矿卸载管理方法，所述方法包含以下步骤：

通过卸载点智能分配模型，以耗时最短为原则，为矿用运载车辆分配目标卸载点；

当矿用运载车辆未在规定时间内到达所述目标卸载点，标记所述目标卸载点为不可用状态；

当矿用运载车辆在规定时间内到达所述目标卸载点，执行卸载操作，以完成卸载过程。

根据本发明的一个实施例，通过以下步骤构建所述卸载点智能分配模型：

对所述卸载点智能分配模型的基础参数进行定义，其中，所述基础参数包含：环境参数、动作主体参数、状态参数、动作参数、奖励参数；

以状态参数作为输入层，以奖励参数作为输出层，构建卸载点智能分配初始模型；

对所述卸载点智能分配初始模型进行模型训练，得到所述卸载点智能分配模型。

根据本发明的一个实施例，所述方法还包含：使用结合深度学习和Q-learning的强化学习算法DQN对所述卸载点智能分配初始模型进行模型训练，得到所述卸载点智能分配模型。

根据本发明的一个实施例，通过以下步骤为矿用运载车辆分配所述目标卸载点：

获取卸载区实时状态信息，其中，所述卸载区实时状态信息包含：每个卸载点的使用状态、卸载区内矿用运载车辆的数量、卸载区入场口与出场口的相对位置、卸载点在卸载区内的相对位置、卸载点的卸载顺序；

以所述卸载区实时状态信息作为所述卸载点智能分配模型的输入，输出矿用运载车辆的所述目标卸载点，其中，所述目标卸载点为卸载区内预计到达时间最短的卸载点。

根据本发明的一个实施例，所述方法还包含以下步骤：

针对当前矿用运载车辆，生成前往所述目标卸载点的行进路径，在前进过程中遇到障碍物时，重新规划所述行进路径，并将障碍物情况同时传送至云平台以及卸载区内其他车辆；

若因为障碍物导致无法重新规划所述行进路径或当前矿用运载车辆的行进时间超过预设最大时间，则将当前卸载点标记为不可用，并重新为当前矿用运载车辆分配可用卸载点。

根据本发明的一个实施例，所述卸载过程包含以下步骤：

通过矿用运载车辆前往挡土墙进行卸载，若行驶过程中遇见无法绕开的障碍物或挡土墙高度低于预设值，则发出安全距离报警，将当前卸载点标记为不可用，同时将挡土墙情况上报至云平台，等待云平台重新分配可用卸载点。

根据本发明的一个实施例，所述卸载过程包含以下步骤：

若矿用运载车辆已经到达挡土墙，在举斗卸载过程中发现导致无法继续卸载的问题，则将无法继续卸载的情况上报至云平台，并保持举斗状态，行驶到当前卸载点中心完成平地卸载，卸载完成后将消息上报至云平台，通过云平台将当前卸载点标记为不可用。

根据本发明的一个实施例，所述方法还包含以下步骤：

若当前可用卸载点数量低于设定值，则发出推土机调度指令，通过推土机对不可用卸载点进行修整，完成修整后对可用卸载点数量进行更新。

根据本发明的另一个方面，还提供了一种存储介质，其包含用于执行如上任一项所述的方法步骤的一系列指令。

根据本发明的另一个方面，还提供了一种基于强化学习的露天矿卸载管理系统，所述系统包含：云平台、矿用运载车辆、推土机，其中，所述云平台通过车云通信方式与所述矿用运载车辆以及所述推土机连接，所述矿用运载车辆之间、所述矿用运载车辆与所述推土机之间，通过车车通信方式连接；

所述云平台执行以下步骤：通过卸载点智能分配模型，以耗时最短为原则，为矿用运载车辆分配目标卸载点；当矿用运载车辆未在规定时间内到达所述目标卸载点，标记所述目标卸载点为不可用状态；若当前可用卸载点数量低于设定值，则发出推土机调度指令；

所述矿用运载车辆用于前往所述目标卸载点，在规定时间内到达所述目标卸载点时，执行卸载操作，以完成卸载过程；

所述推土机用于执行所述推土机调度指令，对不可用卸载点进行修整。

本发明提供了一种基于强化学习的露天矿卸载管理方法和系统，与现有技术相比，具备以下优势：

1）实时响应能力增强：采用车车协同技术，使得前导矿车在遭遇问题时能够实时通知后续矿车，避免了因信号延迟而产生的安全隐患；

2）自动化管理增效：通过车云协同技术，云平台能够基于实时数据自动分配最佳的卸载点，并在必要时自动指挥推土机进行维护，从而减少了手动介入的次数和时间；

3）安全性提升：直接的车车通讯模式能够及时调整行驶轨迹，减少了由于卸载点变动或其他未预期因素导致的风险；

4）整体作业效率提高：随着车车和车云的协同工作，整个矿区的物流流程更为流畅，避免了因地形变化或卸载点堆积导致的作业障碍，确保了矿业生产的连续性与稳定性。

综上，本发明通过引入强化学习算法，车车和车云协同技术，为露天矿的卸载作业提供了一个更高效、安全且自动化的管理解决方案。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。

图1显示了根据本发明的一个实施例的一种基于强化学习的露天矿卸载管理方法的步骤流程图；

图2显示了根据本发明的一个实施例的卸载区内卸载情况示意图；

图3显示了根据本发明的一个实施例的训练得到卸载点智能分配模型的步骤流程图；

图4显示了根据本发明的一个实施例的卸载点管理工作流程图；

图5显示了根据本发明的一个实施例的一种基于强化学习的露天矿卸载管理系统的组成示意图。

附图中，相同的部件使用相同的附图标记。另外，附图并未按照实际的比例绘制。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

为了确保每次卸载都能准确、高效地完成，卸载管理系统被引入，它可以精准地指派合适的卸载点给矿卡，同时确保卸载点以及其挡土墙的安全合规。此外，露天矿环境的复杂性，如变化的天气条件、地形的不均匀性和其他现场变数，都要求卸载管理系统具备高度的适应性和灵活性。因此，一个高效、可靠的卸载管理系统不仅可以大大提高露天矿的运输效率，还是确保矿区作业安全的重要保障。

现行的露天矿卸载管理系统存在以下缺陷：

1、在现行的露天矿卸载管理系统下，系统会按照距离给卸载区入场点待卸载的矿卡分配距离最近的卸载点。但由于卸载区卸载规则较多，环境变量复杂，矿卡分配的卸载点往往不是用时最短就能到达的，这会造成整体卸载效率的降低；

2、矿卡在卸载点卸载过程中遇到突发问题时，会将问题卸载点上传云平台，云平台再将问题卸载点下发给其他矿卡，让它们重新规划行进轨迹。但中间由于有云平台中转，容易导致周围车辆信息同步延时，未及时重新规划行车轨迹出现因安全圈相交的停车问题，既存在安全隐患又会大大降低卸载速度；

3、卸载点通常在一到两次卸载后，因为物料的堆积和残渣泄漏等情况导致卸载点不平整和挡土墙变动，需要重新平整卸载点以及其挡土墙，在现有的卸载管理系统中，此时便需要人工介入召唤推土机推土。但由人工判断何时召唤推土机入场，耗时耗力同时易出现纰漏，也容易出现单次推土机只平整少数卸载点的问题，造成车辆损耗油耗增加。

针对现有技术的上述缺陷，本发明提供一种创新的露天矿卸载管理系统和方法。在这个系统中，当矿车需要分配卸载点时，云平台会利用强化学习算法为其分配最佳的卸载点，以提高矿车运营效率。如果矿车在卸载过程中遇到问题，例如挡土墙高度不合适或周围有障碍物，它会向云平台和周围车辆发送信号，以及时调整行驶轨迹。同时，云平台会记录并标记故障卸载点，并在故障数量达到一定比例时，自动调度推土机来修复它们。

本发明的创新大幅提高了矿区运营的响应速度，确保了矿车在遇到问题时能够迅速得到反馈和调整，从而降低了安全风险。此外，通过自动化调度和管理，减少了人工干预的频率，提高了整体运营效率。最重要的是，车辆和云端的协同工作使得卸载区的运营更加顺畅，确保了矿业生产的连续性和稳定性。

图1显示了根据本发明的一个实施例的一种基于强化学习的露天矿卸载管理方法的步骤流程图。

如图1所示，在步骤S101中，通过卸载点智能分配模型，以耗时最短为原则，为矿用运载车辆分配目标卸载点。

在一个实施例中，在步骤S101中，当矿卡（矿用运载车辆）在卸载区入场点时，云平台调用基于DQN强化学习训练好的卸载点智能分配模型为其分配目标卸载点，此时矿用运载车辆会被分配到达耗时最短的卸载点。

在传统的卸载点管理系统中，会给等待的矿卡分配距卸载区入场点最近的可用卸载点，但卸载区情况相对复杂（如图2所示，有一个入场口和一个出场口，位置可以互换，卸载点队列可能分布于卸载区的左侧或右侧，卸载顺序可能为自上而下或自下而上），通常给矿卡分配的并不是用时最短的卸载点。基于此，本发明在大量数据支持的基础上采用了深度Q网络（DQN）强化学习算法训练出的卸载点智能分配模型以优化卸载点的分配。

如图1所示，在步骤S102中，当矿用运载车辆未在规定时间内到达目标卸载点，标记目标卸载点为不可用状态。

在一个实施例中，在步骤S102中，云平台为矿用运载车辆分配目标卸载点后，矿用运载车辆会根据车内控制终端生成前往目标卸载点的行进路径，在前进过程中若遭遇障碍物则会绕道并重新归规划行进路径，若矿用运载车辆在预计到达时间（与当前目标卸载点匹配）内并未到达目标卸载点，则表征前往目标卸载点的道路并不通畅，云平台会将目标卸载点标记为不可用状态，并使用卸载点智能分配模型为矿用运载车辆重新分配可用卸载点。

需要说明的是，矿用运载车辆的车内控制终端可以使用现有技术中的路径规划方法对前往目标卸载点的行进路径进行规划，本发明不对此做出限制。

进一步地，当卸载区内不可用卸载点的数量超过一定比例时，云平台会自动发出推土机调度指令，呼叫推土机修整不可用卸载点，在推土机修整完毕之后，云平台会对可用卸载点的列表进行更新。例如，当卸载区不可用卸载点数量占比超过卸载区卸载点总数的预设阈值（例如90%）时，云平台会自动发出推土机调度指令。需要说明的是，在实际应用中，此处的预设阈值可以根据实际情况进行设定，本发明不对此做出限制。

在现有的卸载管理系统中，由人工判断何时召唤推土机入场，耗时耗力同时易出现纰漏，也容易出现单次推土机只平整少数卸载点的问题，造成车辆损耗油耗增加。本发明实现了推土机的智能调度，当卸载点不可用数量超过一定比例时，云平台会自动呼叫推土机修整卸载点。

如图1所示，在步骤S103中，当矿用运载车辆在规定时间内到达目标卸载点，执行卸载操作，以完成卸载过程。

在一个实施例中，在步骤S103中，当矿用运载车辆在规定时间内到达目标卸载点之后，矿用运载车辆会靠近挡土墙进行卸载操作，当矿用运载车辆在卸载点的卸载过程中遇见故障时（挡土墙过高或过低，挡土墙附近有障碍物），会同时向云平台和周围车辆（包括矿用运载车辆和推土机）发送信号，周围车辆会通过车车通信网络得到信息并迅速调整自身的行驶轨迹，云平台会将该卸载点标记为不可用状态。

在现有的卸载管理系统中，矿卡在卸载点卸载过程中遇到突发问题时，会将问题卸载点上传云平台，云平台再将问题卸载点下发给其他矿卡，让它们重新规划行进轨迹。但中间由于有云平台中转，容易导致周围车辆信息同步延时，未及时重新规划行车轨迹出现因安全圈相交的停车问题，既存在安全隐患又会大大降低卸载速度。本发明对卸载区内的故障播报方式进行了智能化改进，通过车车通信网络将故障实时播报至故障发生地附近车辆，使得附近车辆迅速调整自身的行驶轨迹。

图3显示了根据本发明的一个实施例的训练得到卸载点智能分配模型的步骤流程图。

在一个实施例中，通过以下步骤构建卸载点智能分配模型：对卸载点智能分配模型的基础参数进行定义，其中，基础参数包含：环境参数、动作主体参数、状态参数、动作参数、奖励参数；以状态参数作为输入层，以奖励参数作为输出层，构建卸载点智能分配初始模型；对卸载点智能分配初始模型进行模型训练，得到卸载点智能分配模型。

在一个实施例中，使用结合深度学习和Q-learning的强化学习算法DQN对卸载点智能分配初始模型进行模型训练，得到卸载点智能分配模型。

本发明在大量数据支持的基础上采用了深度Q网络（DQN）强化学习算法训练出的卸载点智能分配模型以优化卸载点的分配。DQN（Deep Q-Network）是一种结合了深度学习和Q-learning的强化学习算法。Q学习是一种值迭代算法，用于估计一个函数Q(s,a)，表示在状态s下采取动作a所能获得的预期未来总奖励。传统的Q学习使用表格来存储每个状态和动作的Q值，但当状态空间或动作空间很大时，这种方法就变得不切实际。DQN通过使用深度神经网络来估计这个Q函数来解决这个问题。DQN有以下两点创新：

1、经验回放：DQN存储代理的经验（状态、动作、奖励、新状态）并在训练时从这些经验中随机抽样。这样可以打破数据之间的时间相关性，并更好地利用以前的经验；

2、目标Q网络：DQN使用了两个相同的网络结构，但权重不同的神经网络。一个网络用于预测当前的Q值，另一个网络（称为目标网络）用于估计未来的Q值。目标网络的权重不是在每一步都更新，而是定期从主网络复制过来。这增加了学习的稳定性。

现有技术（刘全,翟建伟,章宗长等.深度强化学习综述[J].计算机学报,2018,41(01):1-27.）中提到“Mnih等人将卷积神经网络与传统RL中的Q学习算法相结合，提出了深度Q网络（DeepQ-Network，DQN）模型，该模型用于处理基于视觉感知的控制任务，是DRL领域的开创性工作”。

现有技术（CN116339316A）提到基于深度强化学习对深海采矿机器人的路径进行规划。现有技术（CN116923430A）提到无信号灯交叉路口多矿车通行策略方法。现有技术（CN115437257A）提到矿山智能开采数字孪生多智能体协同控制方法。现有技术（WO2022035441A1）提到基于深度强化学习的大规模异构挖矿车队鲁棒动态调度方法。现有技术（JP2022173452A）提到用于主车辆的导航系统、导航方法和程序。但是上述现有技术并不适用于露天矿卸载，因此目前并不存在将DQN算法应用于露天矿卸载管理的现有技术。本发明在大量数据支持的基础上采用了深度Q网络（DQN）强化学习算法训练出的卸载点智能分配模型以优化卸载点的分配，能够提升露天矿卸载管理的效率。

本发明选用DQN算法，能够适配露天矿卸载的实际情况，原因在于：

1、大状态空间：卸载区的多种可能配置（如图2所示），状态空间会很大，如果采用一般的强化学习算法，可能会使得分配卸载点的时间过长。而DQN可以有效地处理这样的高维状态，避免为每种状态动作组合维护一个值；

2、环境的不确定性：卸载点和矿用运载车辆的数量会实时动态变化，如果选用一般的强化学习算法，可能会无法处理这种不确定性。而DQN能够考虑这种不确定性，为不同情况下的矿用运载车辆提供最佳卸载点分配；

3、持续优化：通过经验回放，DQN可以从历史数据中持续学习和优化策略，而一般的强化学习算法并不具备经验回放能力；

4、灵活性与适应性：若卸载区的规则发生变化，如增加新的卸载点，DQN可以继续学习并适应新的环境，而一般的强化学习算法无法很好的适应新的环境。

基于以上原因，本发明选用DQN算法进行模型训练，得到卸载点智能分配模型。

如图3所示，对卸载点智能分配模型的基础参数进行定义，其中，基础参数包含：环境参数E、动作主体参数A、状态参数s、动作参数a、奖励参数r。

在一个实施例中，环境定义E中，环境是一个代理进行操作和观察结果的地方，它负责响应代理的动作并返回下一个状态和奖励。具体来说，环境参数的符号为E，表征卸载区内的卸载点、入场口和出场口。

在一个实施例中，代理定义A中，代理是在环境中进行动作的主体，其目标是通过与环境的交互最大化累积奖励。具体来说，动作主体参数的符号为A，代理负责为矿用运载车辆分配卸载点。

在一个实施例中，状态定义s中，每当矿用运载车辆准备进入卸载区时，代理需要知道环境的状态，具体来说，状态参数s一共有五个，分别是s

进一步地，每个卸载点的使用状态s

进一步地，卸载区内的矿卡数量s

进一步地，入口和出口相对位置s

进一步地，卸载点的位置s

进一步地，卸载的顺序s

在一个实施例中，动作定义a中，代理可以执行的操作集合。具体来说，动作参数a指分配矿卡到一个特定的卸载点。

在一个实施例中，奖励函数定义r中，奖励函数为代理在状态s采取动作a后给出奖励。具体来说，奖励参数r根据矿卡到达卸载点的时间来定义，用时短的分配得到较高的奖励，反之得到较低的奖励，低于平均用时的会获得惩罚。

如图3所示，以状态参数作为输入层，以奖励参数作为输出层，构建卸载点智能分配初始模型。

具体来说，使用深度神经网络来估计Q值，Q(s,a)表示状态s下采取动作a的预期奖励。输入层：代表状态s。输出层：有多个神经元，每个神经元对应一个动作的Q值。

如图3所示，对卸载点智能分配初始模型进行模型训练，得到卸载点智能分配模型。

在一个实施例中，通过以下步骤S31-S33进行模型训练：

S31、初始化。

在步骤S31中，对DQN模型（卸载点智能分配初始模型）权重θ进行初始化，初始化的方式可以是随机初始化或使用预训练模型。

在步骤S31中，对经验回放内存D进行初始化。具体来说，经验回放内存D用于存储（s，a，r，s′）的数据结构，经验回放的主要思想是存储代理的经验，然后从中随机抽样以减少经验之间的相关性。每次经验可以表示为一个四元组：（状态s, 动作a, 奖励r, 新状态s′）。在训练过程中，从经验回放内存D中随机抽样，然后使用这些样本来计算损失并更新神经网络的权重。

S32、训练循环。具体来说，步骤S32包含步骤S321-S323。

在步骤S321中，初始化状态参数s。

在步骤S322中，循环每一步。具体来说，步骤S322包含步骤S3221-S3228。

在步骤S3221中，选择动作参数a：使用ε-greedy策略从模型

在步骤S3222中，执行动作：在状态参数s中执行动作a，观察奖励r和新状态s'。

在步骤S3223中，存储经验：将（s，a，r，s′）存储到经验回放内存D中。

在步骤S3224中，随机抽样：从经验回放内存D中随机抽取一个批次的经验。

在步骤S3225中，计算Q目标值Q

；

其中，

在步骤S3226中，计算损失：使用均方误差(MSE)计算预测的Q值和目标Q值之间的差异L(θ)：

；

在步骤S3227中，更新权重：使用梯度下降或其他优化器来更新权重：

；

在步骤S3228中，更新状态: 设置s= s′。

在步骤S323中，减少探索率 (ε)：逐渐乘以一个衰减因子，使其随着时间减少。

S33、结束训练。具体来说，一旦达到固定的训练回合数，就保存并部署训练好的DQN模型作为卸载点智能分配模型。

图4显示了根据本发明的一个实施例的卸载点管理工作流程图。

如图4所示，矿卡等待入场，云平台通过强化学习分配卸载点。具体来说，通过卸载点智能分配模型，以耗时最短为原则，为矿用运载车辆分配目标卸载点。进一步地，当矿卡在卸载区入场点时，云平台便开始调用基于DQN强化学习训练好的卸载点智能分配模型为其分配卸载点，此时矿卡会被分配到达耗时最短的卸载点。

在一个实施例中，通过以下步骤为矿用运载车辆分配目标卸载点：获取卸载区实时状态信息，其中，卸载区实时状态信息包含：每个卸载点的使用状态、卸载区内矿用运载车辆的数量、卸载区入场口与出场口的相对位置、卸载点在卸载区内的相对位置、卸载点的卸载顺序；以卸载区实时状态信息作为卸载点智能分配模型的输入，输出矿用运载车辆的目标卸载点，其中，目标卸载点为卸载区内预计到达时间最短的卸载点。进一步地，目标卸载点为卸载区内可用卸载点中，预计到达时间最短的卸载点。

如图4所示，不存在可用卸载点或可用卸载点的数量低于设定值时，云平台呼叫推土机入场，对不可用卸载点进行修整，修整完毕后，对可用卸载点列表进行更新。具体来说，若当前可用卸载点数量低于设定值，则发出推土机调度指令，通过推土机对不可用卸载点进行修整，完成修整后对可用卸载点数量进行更新。

如图4所示，入场前往卸载点。具体来说，矿卡会根据车内控制终端生成前往卸载点的行进路径，在前进过程中若遭遇障碍物则会绕道并重新归规划行进路径。

在一个实施例中，针对当前矿用运载车辆，生成前往目标卸载点的行进路径，在前进过程中遇到障碍物时，重新规划行进路径，并将障碍物情况同时传送至云平台以及卸载区内其他车辆。具体来说，因为卸载区支持多车入场，可能有多车排队进入卸载区或同时存在多车卸载，当前车遭遇障碍物时，会实时将信息上报给云平台，同时也会实时将信息通过车车通信方式（V2Vcommunication，V2V通信）扩散给后车以及周围车辆。后车不必等待云端平台处理后再接收消息，可以直接重新通过自车的控制模块重新规划行进轨迹。

在一个实施例中，若因为障碍物导致无法重新规划行进路径或当前矿用运载车辆的行进时间超过预设最大时间，则将当前卸载点标记为不可用，并重新为当前矿用运载车辆分配可用卸载点。具体来说，若矿卡因为障碍物导致无法规划出行进路径或其行进时间超过了最大时间（与目标卸载点的预计到达时间匹配），云平台则会将卸载点直接标记为不可用，并重新为矿卡分配其他卸载点，若无可分配卸载点，车辆将会直接出场等待。云平台此时会触发推土机自动调度，将推土指令下发给推土机，呼叫推土机入场休整卸载点。推土机完成休整后，会告知云平台，云平台以此更新可用卸载点，并对卸载区入场点的矿卡再次分配卸载点。

如图4所示，当矿用运载车辆顺利到达卸载点时，卸载过程包含以下步骤：通过矿用运载车辆前往挡土墙进行卸载，若行驶过程中遇见无法绕开的障碍物或挡土墙高度低于预设值，则发出安全距离报警，将当前卸载点标记为不可用，同时将挡土墙情况上报至云平台，等待云平台重新分配可用卸载点。

如图4所示，当矿用运载车辆顺利到达卸载点时，卸载过程包含以下步骤：若矿用运载车辆已经到达挡土墙，在举斗卸载过程中发现导致无法继续卸载的问题，则将无法继续卸载的情况上报至云平台，并保持举斗状态，行驶到当前卸载点中心完成平地卸载，卸载完成后将消息上报至云平台，通过云平台将当前卸载点标记为不可用。

具体来说，在成功到达卸载点之后，矿卡靠近挡土墙进行卸载，若行驶过程中遇见无法绕开的障碍物或挡土墙高度过低出发安全距离报警，导致无法靠近挡土墙，会将信息实时上报给云端平台，此时平台会重新分配可用卸载点，并判断是否需要推土机入场。若在矿卡已经到达卸载点，举斗卸载过程中发现问题（下方物料堆积导致挡土墙过高，无法继续卸载）会将问题上报云平台，并保持举斗状态，行驶到卸载点中心完成平地卸载，完成后将消息上报云平台。此种异常状态的卸载会导致卸载点中心物料堆积，云平台会将卸载点标记为不可用。

如图4所示，卸载完成后，矿卡上报状态给云平台，由车端的控制模块规划出前往卸载区出场点的行进路径，完成卸载过程。

本发明提出了一种基于深度Q网络（DQN）的露天矿卸载区卸载点分配方法，基于露天矿卸载区情况复杂传统基于距离的分配方法分配的往往不是耗时最短的卸载点等问题，提出了基于强化学习的露天矿卸载区卸载点分配方法。该方法首先定义代理，环境，动作和奖励函数，之后再构建DQN模型。其次初始化模型权重和经验回放的内存，之后进行训练。DQN方法通过连续学习和迭代，可以实时地对矿车和卸载点的状态进行分析，确保在各种复杂情境下都能为矿车找到最佳的卸载点。由于强化学习的特性，该方法能够持续从每次的卸载过程中学习，不断优化其决策策略，以应对露天矿环境中可能出现的各种变化。

本发明提供的一种基于强化学习的露天矿卸载管理方法和系统还可以配合一种计算机可读取的存储介质，存储介质上存储有计算机程序，执行计算机程序以运行一种基于强化学习的露天矿卸载管理方法。计算机程序能够运行计算机指令，计算机指令包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

计算机可读取的存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。

需要说明的是，计算机可读取的存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读取的存储介质不包括电载波信号和电信信号。

图5显示了根据本发明的一个实施例的一种基于强化学习的露天矿卸载管理系统的组成示意图。

根据本发明的另一个方面，还提供了一种基于强化学习的露天矿卸载管理系统，系统包含：云平台（Cloud Platform）、矿用运载车辆（例如Truck1、Truck2）、推土机（例如Bulldozer1）。

如图5所示，云平台通过车云通信方式（Vehicle-to-Network，V2N Network）与矿用运载车辆以及推土机连接，矿用运载车辆之间、矿用运载车辆与推土机之间，通过车车通信方式（V2Vcommunication，V2V通信）连接。

云平台执行以下步骤：通过卸载点智能分配模型，以耗时最短为原则，为矿用运载车辆分配目标卸载点；当矿用运载车辆未在规定时间内到达目标卸载点，标记目标卸载点为不可用状态；若当前可用卸载点数量低于设定值，则发出推土机调度指令。

矿用运载车辆具备通信模块、控制模块以及感知模块，用于前往目标卸载点，在规定时间内到达目标卸载点时，执行卸载操作，以完成卸载过程。

推土机具备通信模块、控制模块以及感知模块，用于执行推土机调度指令，对不可用卸载点进行修整。

本发明提出了一种车车，车云协同和推土机自动调度的露天矿卸载管理系统，提出的卸载管理系统是一个综合性的解决方案，旨在解决露天矿卸载的实时管理和操作效率问题。该系统核心特点如下：

车车协同技术：当一辆矿车在前往卸载点或在卸载过程中遇到问题时，它能够通过专设的通信模块直接将故障信息发送给后续的矿车。这使得后续矿车能够及时地调整其行驶轨迹，避免前车遭遇的问题，确保矿车行驶的连续性和安全性；

车云协同技术：此技术涉及云端平台的应用，该平台能够基于实时数据为等待卸载的矿车分配最佳的卸载点。这不仅提高了卸载效率，还确保了矿车在最短时间内完成卸载任务；

推土机自动调度：系统能够监测卸载点的使用状态，当卸载点不可用数量达到某个预设的临界值时，系统将自动召唤推土机对卸载点进行维护和平整。这种自动化的调度方式减少了人工干预，确保卸载点始终处于最佳使用状态。

此卸载管理系统极大地提高了矿区作业的实时响应能力和整体作业效率，同时通过车车和车云的协同工作，保障了矿业生产的连续性和稳定性。

综上，本发明提供了一种基于强化学习的露天矿卸载管理方法和系统，与现有技术相比，具备以下优势：

1）实时响应能力增强：采用车车协同技术，使得前导矿车在遭遇问题时能够实时通知后续矿车，避免了因信号延迟而产生的安全隐患；

2）自动化管理增效：通过车云协同技术，云平台能够基于实时数据自动分配最佳的卸载点，并在必要时自动指挥推土机进行维护，从而减少了手动介入的次数和时间；

3）安全性提升：直接的车车通讯模式能够及时调整行驶轨迹，减少了由于卸载点变动或其他未预期因素导致的风险；

4）整体作业效率提高：随着车车和车云的协同工作，整个矿区的物流流程更为流畅，避免了因地形变化或卸载点堆积导致的作业障碍，确保了矿业生产的连续性与稳定性。

综上，本发明通过引入强化学习算法，车车和车云协同技术，为露天矿的卸载作业提供了一个更高效、安全且自动化的管理解决方案。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

某些术语在本申请文件中自始至终用来指示特定系统部件。如本领域的技术人员将认识到的那样，通常可以用不同的名称来指示相同的部件，因而本申请文件不意图区别那些只是在名称上不同而不是在功能方面不同的部件。在本申请文件中，以开放的形式使用术语“包括（comprise）”、“包含（include）”和“具有（have）”，并且因此应将其解释为意指“包括但不限于…”。此外，在本文中可能使用的术语“基本上”、“实质上”或者“近似地”涉及行业所接受的对相应术语的容差。如在本文中可能采用的术语“耦合”包括直接耦合和经由另外的组件、元件、电路、或者模块的间接耦合，其中对于间接耦合来说，介于其间的组件、元件、电路、或模块不更改信号的信息但是可调整其电流水平、电压水平、和/或功率水平。推断的耦合（例如其中一个元件通过推断耦合至另一个元件）包括以与“耦合”同样的方式在两个元件之间的直接和间接的耦合。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。