一种基于马尔科夫决策的交通决断协同方法

技术领域

本发明涉及机载防撞系统领域，更为具体的，涉及一种基于马尔科夫决策的交通决断协同方法。

背景技术

机载防撞系统作为安全可控与航空航天深度融合的产物，利用二次雷达及目标跟踪等技术，对空中威胁进行避撞规划与实时机动建议，满足民航对空域管控的安全性需求。作为系统核心之一的决断咨询协调处理技术，其处理策略执行的实时性与安全性直接决定着系统的优劣。

决断咨询协调处理策略执行的实时性与安全性直接决定着机载防撞系统的优劣，但就目前市场现有的设备TCAS II机载交通告警与防撞系统而言，由于其发布年限较久，难以满足更精确的GPS卫星数据源与更高密度空域的空中管控现状，同时TCAS II机载交通告警与防撞系统存在的硬编码方式导致其维护成本更高的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于马尔科夫决策的交通决断协同方法，使协同信息更加精确化、安全化，同时兼容现有的TCAS II机载交通告警与防撞系统，大幅降低虚警率，节省机载防撞算法维护成本等。

本发明的目的是通过以下方案实现的：

一种基于马尔科夫决策的交通决断协同方法，包括以下步骤：

S1，采用基于马尔科夫的决断咨询协调策略生成：以决断咨询组件生成的个体及全局咨询为输入，参考本机与入侵机状态因子，构建协调信息运算过程；根据垂直速率、咨询状态及入侵机信息计算最佳协调信息，选择最佳协调策略，根据最佳协调策略本机应答机中进行点对点输出给目标机；所述决断咨询组件包括机载防撞决断咨询组件；

S2，基于主动协调的应答策略处理；

S3，基于决断咨询协调信息的决策咨询生成。

进一步地，在步骤S1中，所述以决断咨询组件生成的个体及全局咨询为输入，包括步骤：获取本机当前及前周期决断咨询状态，ACAS X系统使用马尔科夫决策将概率动态模型和多目标效用模型作为输入，并对模型进行离散化处理，使用代价函数与动态规划的方法反推出整个相遇过程的最优决策，生成所述个体及全局咨询。

进一步地，在步骤S1中，所述参考本机与入侵机状态因子，构建协调信息运算过程，包括步骤：协调信息生成的来源为本机决断咨询状态，具体包括t周期全局决断咨询

再建立有效垂直速度选择模型以获取不同状态下最优垂直速度建议；所述有效垂直速度选择模型包括如下情况：

当

当

当

进一步地，在步骤S1中，所述根据垂直速率、咨询状态及入侵机信息计算最佳协调信息，包括步骤：

针对入侵机个体选择的最优垂直速率参数，分别进行如下协调信息设置的多项基本输出元素选择：

垂直速率方位选择：该方位由最大垂直速率及最小垂直速率绝对值大小决定，若|V

垂直决断咨询补充VRC选择：首先判定入侵机是否为装备具有TCAS系统、ACAS X系统、具有回复能力的CAS系统或具有回复能力的DAA系统，然后根据垂直速率方位计算VRC；

取消垂直决断咨询补充CVC选择：将周期垂直速率方位与当前垂直速率方位为输入，构建CVC决断咨询编码算法，生成最佳取消咨询补充策略；

垂直方向比特VSB算法加密：以CVC*4+VRC+1为下标，查找校验表S[0,14,7,9,11,5,12,2,13,3,10,4,6,8,1,15]的数据结果。

进一步地，在步骤S1中，所述选择最佳协调策略，根据最佳协调策略本机应答机中进行点对点输出，包括步骤：将当前周期的VRC、CVC与VSB组包发送给本机应答机，通过应答机UF16-UDS30点对点询问入侵机，告知对方本机协调信息以便入侵机根据当前状况进行机动或应答。

进一步地，在步骤S2中，包括子步骤：当接收到入侵机发送的UF16-UDS30点名协调时，以入侵机的CVC、VRC与VSB为输入，结合S模式地址与时间戳，进行合规合理性判断操作。

进一步地，所述进行合规合理性判断操作，具体包括步骤：

S21，协调报文正确性及合规性检查：首先判定接收的UF16询问的入侵机是否存在于航迹中，根据接收的CVC与VRC计算校验值VSB，判定当前报文的完整性与正确性，接着同步判定CVC与VRC的合理性，当同时满足上述三个条件时，记录当前协调的时间戳；

S22，更新入侵机的VRC：首先轮询目标数据库和所有入侵者，确保目标在TRM已请求更新且在STM监视跟踪模块的数据库中能找到对应目标，如果ID匹配且入侵者配备了具有决策咨询能力的TCAS系统，则将使用STM数据库中的目标更新入侵者VRC，以确保在在线成本估算中使用最近接收到的协调数据；由本机的空中交通警戒与防撞系统所发送的协调询问被威胁飞机的S模式应答机所接收，该应答机发送一条协调应答消息作为技术上的告知收到并将相关消息传输到威胁飞机的空中交通警戒与防撞系统单元以便处理；

S23，协调超时检查：从内存中检索的目标以及包含协调数据的生成报告时间作为输入，如果报告时间与上次已知协调更新时间之差大于设定值，则重置该目标的协调数据，并删除垂直意图。

进一步地，在步骤S3中，所述基于决断咨询协调信息的决策咨询生成，包括步骤：基于协调信息的ACAS X决断咨询，兼容TCAS II机载交通告警与防撞系统的协同交互。

进一步地，所述基于协调信息的ACAS X决断咨询，兼容TCAS II机载交通告警与防撞系统的协同交互，包括子步骤：以本机为标的物，本机具有较目标机更高的S模式地址，步骤S3包含以下两个阶段周期：

首次RA决策生成周期：本机检测到目标机为入侵机，并确认该目标机是否具备协同功能；当本机首先进行RA决断时，若目标机在此之前曾发送过协同报文，则本机选择与其相反的机动方向；若目标机未发送过协同报文，本机则选择TRM模块生成的机动建议，并将本机协同信息发送给目标机，目标机应答并储存该协同报文。

非首次RA决策生成周期：本机核对来自目标机的协同报文去确认目标机是否发起了不兼容的方向；若不兼容，则本机需反向以确保与目标机方向兼容；目标机不需核对与本机协同报文是否兼容；在本处理周期结束时，各机显示所选的RA。

进一步地，在首次RA决策生成周期中，在一段时间后，当目标机进行RA决断时，已检测到本机为威胁飞机，且设本机已在目标机探测到本机为威胁飞机的设定时间内预先发送了高度交叉的意向报文，目标机根据自身决断运行；若选择的方向也是高度交叉的，则方向是兼容的；若选择的方向是非高度交叉的，本机将被迫反向，从交叉转为非交叉；若上述条件均不满足，目标机则选择与本机的意向兼容的方向，然后其协同信息发送给本机应答机，本机应答后并存储该协同报文，在本处理周期结束时各飞机显示所选的RA。

本发明的有益效果包括：

本发明技术方案采用基于马尔科夫的交通决断协同，使多源空中监视数据进行整合，并使用MDP模型下的决断咨询为标的生成协同策略，使协同信息更加精确化、安全化，同时兼容现有的TCAS II机载交通告警与防撞系统，大幅降低虚警率，节省机载防撞算法维护成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的基于马尔科夫的交通决断协同流程图；

图2为本发明实施例的基于决断咨询的协调策略生成示意图；

图3为本发明实施例的异步协同处理流程图；

图4为本发明实施例的同步协同处理流程图。

具体实施方式

下面结合附图和实施例对发明进一步说明。本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

基于背景中现有技术缺点考虑，本发明技术方案提供一种基于马尔科夫决策的交通决断协同方法，采用基于马尔科夫的交通决断协同，使多源空中监视数据进行整合，并使用MDP模型下的决断咨询为标的生成协同策略，使协同信息更加精确化、安全化，同时兼容现有的TCAS II机载交通告警与防撞系统，大幅降低虚警率，节省机载防撞算法维护成本。

在进一步的构思中，以基于概率论的空中模型，根据ACAS X中的威胁处理模块生成交通决断协同策略，以RF数据链与空中威胁目标进行协同逻辑处理，最后根据协同数据判定当前的RA咨询策略与激动建议，同时达到与空中现有机载防撞设备协同策略进行兼容。

本发明技术方案的一种基于马尔科夫决策的交通决断协同方法，如图1所示，包括以下步骤：

S1：采用基于马尔科夫的决断咨询协调策略生成；

S2：基于主动协调的应答策略处理；

S3：基于决断咨询协调信息的决策咨询生成。

进一步的具体实施过程，所述步骤S1具体为:以机载防撞决断咨询组件生成的个体及全局咨询为输入，参考本机与入侵机状态因子，构建协调信息运算模块，选择最佳协调策略，最终用于本机应答机中UF16-UDS30的点对点输出。如图1所示，该过程包含以下4个步骤:

(1)获取本机当前及前周期决断咨询状态

(2)有效垂直速率选择

(3)根据垂直速率、咨询状态及入侵机信息计算最佳协调信息

(4)采用应答机对入侵机进行点对点协调

ACAS X使用马尔科夫决策将概率动态模型和多目标效用模型作为输入，并对模型进行离散化处理，最终使用代价函数与动态规划的方法反推出整个相遇过程的最优决策，ACAS X原型中使用六个状态变量：h：入侵机相对本机的高度；

该模型假设入侵机随机加速度是独立的，每秒采样一次。入侵机的加速度

协调信息生成的来源为本机决断咨询状态，主要包含t周期全局决断咨询

a)当

b)当

c)当

当

表1决策咨询对应参数

针对入侵机个体选择的最优垂直速率参数，分别进行协调信息设置的4项基本输出元素选择：

a)垂直速率方位选择。该方位由最大垂直速率及最小垂直速率绝对值大小决定，若|V

b)VRC(垂直决断咨询补充)选择。首先判定入侵机是否为装备具有TCAS系统、ACASX系统、具有回复能力的CAS系统或具有回复能力的DAA系统，然后根据垂直速率方位计算VRC；

c)CVC(取消垂直决断咨询补充)选择。以上周期垂直速率方位与当前垂直速率方位为输入，构建CVC决断咨询编码算法，生成最佳取消咨询补充策略；

d)VSB(垂直方向比特)算法加密。为增加数据接收的准确性，以CVC*4+VRC+1为下标，查找校验表S[0,14,7,9,11,5,12,2,13,3,10,4,6,8,1,15]的数据结果。

最后，将当前周期的VRC、CVC与VSB组包发送给本机应答机，通过应答机UF16-UDS30点对点询问入侵机，告知对方本机协调信息以便入侵机根据当前状况进行机动或应答。

进一步的具体实施过程，所述步骤S2具体为：同理可得，当接收到入侵机发送的UF16-UDS30点名协调时，应以入侵机的CVC、VRC与VSB为输入，结合S模式地址与时间戳，进行合规合理性判断操作。如图2所示，该过程包含以下3个步骤：

(1)协调报文正确性及合规性检查。首先判定接收的UF16询问的入侵机是否存在于航迹中，根据接收的CVC与VRC计算校验值VSB,判定当前报文的完整性与正确性，接着同步判定CVC与VRC的合理性，当同时满足上述三个条件时，记录当前协调的时间戳，如CVC有效且CVC与VRC正相关则删除对应入侵机的协调意图，否则重新更新VRC；

(2)更新入侵机的VRC。接收所有有效TRM威胁处理模块中入侵机列表，使用最新VRC进行更新。首先轮询目标数据库和所有入侵者，确保目标在TRM已请求更新且在STM监视跟踪模块的数据库中能找到对应目标，如果ID匹配且入侵者配备了具有决策咨询能力的TCAS系统，则将使用STM数据库中的目标更新入侵者VRC，以确保在在线成本估算中使用最近接收到的协调数据。

由本机的空中交通警戒与防撞系统所发送的协调询问被威胁飞机的S模式应答机所接收，该应答机发送一条协调应答消息作为技术上的告知收到并将相关消息传输到威胁飞机的空中交通警戒与防撞系统单元以便处理。

表2决策咨询对应参数

(3)协调超时检查。从内存中检索的目标以及包含协调数据的生成报告时间作为输入。如果报告时间与上次已知协调更新时间之差大于6s，则重置该目标的协调数据，并删除垂直意图。

进一步的具体实施过程，所述步骤S3具体为：基于协调信息的决策咨询生成

基于协调信息的ACAS X决断咨询，兼容TCAS II机载交通告警与防撞系统的协同交互。如图3所示，以本机为标的物，该过程包含以下2个阶段周期:

(1)首次RA决策生成周期：如图3，图4所示，纵列代表本机(左)与目标机(右)；飞机间的箭头为协调报文；由上至下为时间轴，方框表示飞机完成协调处理的时间。图3表示标准的(非同时的)协调，图4表示同时的协调。

本机(左)(具有较高S模式地址)检测到目标机(右)为入侵机，并确认该目标机是否具备协同功能。当本机(左)首先进行RA决断时，若目标机(右)在此之前曾发送过协同报文，则本机(左)需选择与其相反的机动方向；若目标机(右)未发送过协同报文，本机(左)则选择TRM模块生成的机动建议，并将本机(左)协同信息发送给目标机(右)，目标机(右)应答并储存该协同报文。

一段时间后，当目标机(右)进行RA决断时，已检测到本机(左)为威胁飞机，因目标机S模式地址较小，故必要时可强迫较高S模式地址的飞机反转，但假如本机(左)已在目标机(右)探测到本机为威胁飞机的3秒内预先发送了高度交叉的意向报文，目标机(右)根据自身决断运行，若选择的方向也是高度交叉的，则方向是兼容的；若选择的方向是非高度交叉的，本机(左)将被迫反向，从交叉转为非交叉；若上述条件不满足，目标机(右)则选择与本机的意向兼容的方向，然后其协同信息发送给，本机(左)应答后并存储该协同报文。在处理周期结束时各飞机显示所选的RA。

(2)非首次RA决策生成周期：本机(左)因有较高的S模式地址，核对来自目标机(右)的协同报文去确认目标机(右)是否发起了不兼容的方向。若不兼容，则本机需反向以确保与目标机(右)方向兼容。目标机(右)因有较低的S模式地址，不需核对与本机协同报文是否兼容。在处理周期结束时，各机显示所选的RA。

实施例1

一种基于马尔科夫决策的交通决断协同方法，包括以下步骤：

S1，采用基于马尔科夫的决断咨询协调策略生成：以决断咨询组件生成的个体及全局咨询为输入，参考本机与入侵机状态因子，构建协调信息运算过程；根据垂直速率、咨询状态及入侵机信息计算最佳协调信息，选择最佳协调策略，根据最佳协调策略本机应答机中进行点对点输出给目标机；所述决断咨询组件包括机载防撞决断咨询组件；

S2，基于主动协调的应答策略处理；

S3，基于决断咨询协调信息的决策咨询生成。

实施例2

在实施例1的基础上，在步骤S1中，所述以决断咨询组件生成的个体及全局咨询为输入，包括步骤：获取本机当前及前周期决断咨询状态，ACAS X系统使用马尔科夫决策将概率动态模型和多目标效用模型作为输入，并对模型进行离散化处理，使用代价函数与动态规划的方法反推出整个相遇过程的最优决策，生成对应目标机个体及全局咨询。

实施例3

在实施例1的基础上，在步骤S1中，所述参考本机与入侵机状态因子，构建协调信息运算过程，包括步骤：协调信息生成的来源为本机决断咨询状态，具体包括t周期全局决断咨询

再建立有效垂直速度选择模型以获取不同状态下最优垂直速度建议；所述有效垂直速度选择模型包括如下情况：

当

当

当

实施例4

在实施例1的基础上，在步骤S1中，所述根据垂直速率、咨询状态及入侵机信息计算最佳协调信息，包括步骤：

针对入侵机个体选择的最优垂直速率参数，分别进行如下协调信息设置的多项基本输出元素选择：

垂直速率方位选择：该方位由最大垂直速率及最小垂直速率绝对值大小决定，若|V

垂直决断咨询补充VRC选择：首先判定入侵机是否为装备具有TCAS系统、ACAS X系统、具有回复能力的CAS系统或具有回复能力的DAA系统，然后根据垂直速率方位计算VRC；

取消垂直决断咨询补充CVC选择：将周期垂直速率方位与当前垂直速率方位为输入，构建CVC决断咨询编码算法，生成最佳取消咨询补充策略；

垂直方向比特VSB算法加密：以CVC*4+VRC+1为下标，查找校验表S[0,14,7,9,11,5,12,2,13,3,10,4,6,8,1,15]的数据结果。

实施例5

在实施例4的基础上，在步骤S1中，所述选择最佳协调策略，根据最佳协调策略本机应答机中进行点对点输出，包括步骤：将当前周期的VRC、CVC与VSB组包发送给本机应答机，通过应答机UF16-UDS30点对点询问入侵机，告知对方本机协调信息以便入侵机根据当前状况进行机动或应答。

实施例6

在实施例1的基础上，在步骤S2中，包括子步骤：当接收到入侵机发送的UF16-UDS30点名协调时，以入侵机的CVC、VRC与VSB为输入，结合S模式地址与时间戳，进行合规合理性判断操作。

实施例7

在实施例6的基础上，所述进行合规合理性判断操作，具体包括步骤：

S21，协调报文正确性及合规性检查：首先判定接收的UF16询问的入侵机是否存在于航迹中，根据接收的CVC与VRC计算校验值VSB，判定当前报文的完整性与正确性，接着同步判定CVC与VRC的合理性，当同时满足上述三个条件时，记录当前协调的时间戳；

S22，更新入侵机的VRC：接收所有有效TRM威胁处理模块中入侵机列表，使用最新VRC进行更新，首先轮询目标数据库和所有入侵者，确保目标在TRM已请求更新且在STM监视跟踪模块的数据库中能找到对应目标，如果ID匹配且入侵者配备了具有决策咨询能力的TCAS系统，则将使用STM数据库中的目标更新入侵者VRC，以确保在在线成本估算中使用最近接收到的协调数据；由本机的空中交通警戒与防撞系统所发送的协调询问被威胁飞机的S模式应答机所接收，该应答机发送一条协调应答消息作为技术上的告知收到并将相关消息传输到威胁飞机的空中交通警戒与防撞系统单元以便处理；

S23，协调超时检查：从内存中检索的目标以及包含协调数据的生成报告时间作为输入，如果报告时间与上次已知协调更新时间之差大于设定值，则重置该目标的协调数据，并删除垂直意图。

实施例8

在实施例1的基础上，在步骤S3中，所述基于决断咨询协调信息的决策咨询生成，包括步骤：基于协调信息的ACAS X决断咨询，兼容TCAS II机载交通告警与防撞系统的协同交互。

实施例9

在实施例8的基础上，所述基于协调信息的ACAS X决断咨询，兼容TCAS II机载交通告警与防撞系统的协同交互，包括子步骤：以本机为标的物，本机具有较目标机更高的S模式地址，步骤S3包含以下两个阶段周期：

首次RA决策生成周期：本机检测到目标机为入侵机，并确认该目标机是否具备协同功能；当本机首先进行RA决断时，若目标机在此之前曾发送过协同报文，则本机选择与其相反的机动方向；若目标机未发送过协同报文，本机则选择TRM模块生成的机动建议，并将本机协同信息发送给目标机，目标机应答并储存该协同报文。

非首次RA决策生成周期：本机核对来自目标机的协同报文去确认目标机是否发起了不兼容的方向；若不兼容，则本机需反向以确保与目标机方向兼容；目标机不需核对与本机协同报文是否兼容；在本处理周期结束时，各机显示所选的RA。

实施例10

在实施例9的基础上，在首次RA决策生成周期中，在一段时间后，当目标机进行RA决断时，已检测到本机为威胁飞机，因目标机S模式地址较小，故必要时可强迫较高S模式地址的飞机反转，但假如本机已在目标机探测到本机为威胁飞机的设定时间内预先发送了高度交叉的意向报文，目标机根据自身决断运行，且设本机已在目标机探测到本机为威胁飞机的设定时间内预先发送了高度交叉的意向报文，目标机根据自身决断运行；若选择的方向也是高度交叉的，则方向是兼容的；若选择的方向是非高度交叉的，本机将被迫反向，从交叉转为非交叉；若上述条件均不满足，目标机则选择与本机的意向兼容的方向，然后其协同信息发送给本机应答机，本机应答后并存储该协同报文，在本处理周期结束时各飞机显示所选的RA。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。