一种基于深度强化学习抑制角闪烁的测角雷达及测量方法

技术领域

本发明涉及测角雷达领域，特别涉及一种基于深度强化学习抑制角闪烁的测角雷达及测量方法，其主要应用于实现弹目交会场景中目标的角度跟踪，例如用于单脉冲测角过程中角度测量准确度提升、目标的角闪烁线偏差测量、目标的近远场角闪烁抑制以及实现弹目交会过程中目标的精准打击。

背景技术

角闪烁是目标的固有属性，是和RCS同等重要的目标特征信号之一。在弹目交会过程中，目标角闪烁现象严重，目标容易丢失从而导致导弹脱靶。50年代初，Howard和美国海军实验室相继提出了角闪烁概念。将复杂目标的角闪烁现象归结为信号波前畸变的结果。60年代，Lindsay等用相位梯度法定量地计算了角闪烁值。90年代，黄培康等证明在目标处于几何光学条件下，且媒质各向同性时，角闪烁的相前畸变概念和能流倾斜概念是一致的。

在远距离上，由热噪声引起的角度测量误差是主要误差成分，而在近距离上，目标角闪烁引起的测角误差占主导地位，并且近场角闪烁并非像远场与距离无关，而是更为复杂多变。因此对于制导雷达的角跟踪，末制导更多为近场情况，角闪烁是主要的误差源，必须加以抑制。尤其当导弹与目标处于高速相对运动状态时，角闪烁影响更为严重。因此研究角闪烁背景下的角度参数精确估计以及弹目交会场景下的目标跟踪问题对于提高制导雷达的制导精度有着重要意义。

发明内容

为解决上述技术问题，本发明提出一种基于深度强化学习抑制角闪烁的测角雷达及测量方法，其为一种通过相控阵调相抑制目标角闪烁的技术，在可控的较小相位调整范围内，实现对复杂目标角闪烁的精确测量以及抑制，实现测角雷达对目标的精准测角，实现弹目交会场景中的精确打击。

本发明为了达到上述发明目的采用如下技术方案：

一种基于深度强化学习抑制角闪烁的测角雷达，主要由相控阵测角雷达、相控阵波束赋形系统、单脉冲角度测量系统、深度强化学习训练系统和雷达目标电磁环境组成，

所述的相控阵测角雷达，用于产生电磁激励信号包括近场球面波或远场平面波，同时用于接收目标回波；

所述的相控阵波束赋形系统，是精密加工的幅相控制器和计算机，幅相控制器用于控制相控阵单元的幅度和相位，能够高精度调整其幅度相位，计算机调整幅相控制器同时还能控制相控阵和复杂目标的相对位置，通过调整雷达目标相对位置来模拟弹目交会过程；

所述的单脉冲角度测量系统，指雷达发射单个脉冲信号并接收回波，利用双指向法，先调整发射阵列的权值指向目标，再调整相控阵接收阵列的权值，接收目标回波，通过比较和差波束的幅值从而得到目标的角度信息；

所述的深度强化学习训练系统，指搭载了深度强化学习算法的计算机，发送指令给幅相控制器控制相控阵的发射接收权重，发送单脉冲测角指令，记录目标和波束幅值状态和发射阵列状态，奖励设置为回波幅值最大化和角闪烁线偏差最小化的加权，深度强化学习通过不断迭代训练调整相控阵的发射接收权值使奖励最大化；

所述的雷达目标电磁环境，包括复杂目标、弹目交会轨迹；复杂目标指目标尺度能与波长相比拟并且具有多个等效散射中心的扩展目标，其会产生角闪烁噪声，而角闪烁噪声会影响雷达目标跟踪，弹目交会轨迹模拟指模拟弹载雷达测量复杂目标在指定弹目交会轨迹下的目标角度位置信息的模拟过程。

进一步的，所述的基于深度强化学习抑制角闪烁的测角雷达在相控阵工作时，通过幅相控制器和计算机调整相控阵各个发射单元的幅度相位激励，将波束指向目标，再调整接收权值接收目标回波，同时不断调整相控阵测角雷达和复杂目标的位置来模拟弹目交会轨迹，同时测角雷达精准跟踪复杂目标。

进一步的，所述的基于深度强化学习抑制角闪烁的测角雷达在相控阵工作时，利用单脉冲测角的双指向法得到目标的和差波束，计算目标角度。

进一步的，通过深度强化学习训练调整相控阵测角雷达的发射接收权值，使接收到的和波束幅值最大，并且抑制降低复杂目标的近远场角闪烁，提高雷达跟踪精度。

进一步的，能用于指定弹目交会轨迹中的目标角度跟踪，该测角雷达能够智能调整发射接收权重，始终指向辅助目标，精确测量目标角度，精准预测目标位置，实现目标的精准打击。

进一步的，能通过一个单脉冲测量出目标的回波，再通过单脉冲测角测量目标角度，同时计算目标的角闪烁线偏差，利用深度强化学习训练雷达发射接收权重，最大化回波幅值，抑制目标角闪烁，提高测角精度。

本发明的技术原理如下：

本发明的一种基于深度强化学习抑制角闪烁的测角雷达的相控阵测角雷达工作时，智能调整发射接收权重，在指向目标的同时抑制目标角闪烁，同时不断调整相控阵测角雷达和复杂目标的相对位置，二者组合控制可作为基于深度强化学习抑制角闪烁的测角雷达使用的等效电磁环境。

基于深度强化学习抑制角闪烁的测角雷达在相控阵工作时，通过调整相控阵天线单元的幅度和相位，将雷达的波束集中指向复杂目标。基于深度强化学习抑制角闪烁的测角雷达通过调整雷达的位置，将复杂目标固定，相控阵测角雷达不断由远到近靠近目标，用于单脉冲测角模拟测试。基于深度强化学习抑制角闪烁的测角雷达实现的波束在近远场范围内智能连续可调，且调整量和相控阵与目标的相对位置存在关系，即最大化目标回波幅值抑制角闪烁。基于深度强化学习抑制角闪烁的测角雷达能应用于指定弹目交会轨迹中的目标角度跟踪，有效抑制目标角闪烁，提高跟踪精度。

相控阵激励源位于目标的远场时，电磁环境为平面波场，此时波束较易调整指向目标。相控阵激励源位于目标的近场时，电磁环境为球面波场，此时波束较难调整匹配目标，深度强化学习训练时间和成本都加大，近场角闪烁计算测量比远场更为复杂，需要找到一组最佳发射接收权值在指向目标的同时抑制目标角闪烁。

其中，复杂目标，不局限于缩比尺寸目标，例如飞机，舰船，导弹等。

其中，相控阵测角雷达的阵列设计，不局限于线阵，面阵，圆阵或者共形阵等不规则阵列。

其中，单脉冲测角方法不局限于双指向法，比相法，相位和差法。

其中，球面波前的工作频段，不局限于特定要求，最高频率依据实际跟踪雷达频率来确定，最低频率需至少满足波长与目标尺寸相比拟。

其中，相控阵测角雷达和复杂目标之间的相对运动，不局限于特定范围和实现方式，包括手动控制或电动控制实现或者计算机模拟点目标位置移动实现。

其中，训练实现的相控阵发射接收权重的连续调整，近场时完全匹配依赖于训练时间，远场时较易训练。

其中，基于深度强化学习抑制角闪烁的测角雷达所选用的相控阵激励源不局限于普通规则阵列天线，还包括共形阵天线等。

在微波和毫米波波段，通过深度强化学习训练相控阵发射接收权值，通过单脉冲测角测量目标角度信息，计算单脉冲雷达体制下的目标角闪烁线偏差奖励函数找到一组最佳发射接收权值在指向目标的同时，最大化回波幅值，最小化角闪烁线偏差。

计算机加载深度强化学习算法生成一个动作发给幅相转换器，来操纵每个天线单元的馈电相位和幅度，生成新的幅度相位分布，通过比较接收到的回波幅值和角闪烁线偏差值来调整发射接收权值，在波束指向了复杂目标后，再微调接收阵列的权重，在幅度较大的同时降低目标角闪烁线偏差，同时不断调整相控阵和复杂目标的相对位置，主机不断调整相控阵幅度相位分布，使波束始终指向目标的同时还抑制了目标角闪烁，精确测量目标角度信息。

深度强化学习奖励函数R

R

其中：Sum

角闪烁计算公式为：

e

其中：e

需要指出的是，式(1)和式(2)的计算公式均为几何光学意义上的近似表达。

本发明与现有技术相比的有益效果在于：

1、该基于深度强化学习抑制角闪烁的测角雷达通过训练可将目标角闪烁抑制到目标尺寸5％以下，能够智能调整发射波束指向目标，智能调整接收阵列权重接收回波，通过单脉冲测角精确测量目标角度，抑制弹目交会场景轨迹中目标的角闪烁，智能跟踪目标，达到弹目交会对抗胜利。

2、该基于深度强化学习抑制角闪烁的测角雷达相控阵的阵列设计，不局限于线阵，面阵，圆阵或者共形阵等不规则阵列，该相控阵测角雷达可以模拟指定弹目交会轨迹过程中的电磁响应，通过深度神经网络记录该电磁响应，同时发射单脉冲测量角度，搭载深度强化学习算法抑制目标角闪烁。

3、该基于深度强化学习抑制角闪烁的测角雷达可工作于较宽的无线电频段内，能用于常用的微波和毫米波波段。能覆盖S(2～4GHz)、C(4～8GHz)、X(8～12GHz)、Ku(12～18GHz)、K(18～27GHz)、Ka(27～40GHz)、U(40～60GHz)、V(60～90GHz)波段和W(75～110GHz)波段。

附图说明

图1是本发明的一种基于深度强化学习抑制角闪烁的测角雷达的框架示意图；

图2是本发明优选实例的基于深度强化学习抑制角闪烁的测角雷达原理图；

图3(a)，图3(b)是本发明经过深度强化学习训练之后的仿真结果图；其中，图3(a)为等幅等相发射接收权重和经过强化学习训练之后的发射接收权重的和波束幅值对比，图3(b)为等幅等相发射接收权重和经过强化学习训练之后的发射接收权重通过单脉冲测角计算出的角闪烁线偏差绝对值大小对比。

图中附图标记含义为：

图1中：1代表飞机目标，2代表导引头处的相控阵测角雷达，3代表导弹仿真模型。

图2中：4代表状态函数，5代表奖励函数，6代表动作，7代表收发共用相控阵测角雷达，8代表深度强化学习算法框架，9代表深度神经网络，10代表策略函数。

具体实施方式

本发明的一种基于深度强化学习抑制角闪烁的测角雷达，包括相控阵测角雷达、相控阵波束赋形系统、单脉冲角度测量系统、深度强化学习训练系统和雷达目标电磁环境；

所述的相控阵测角雷达用于产生电磁激励信号，包括近场球面波或远场平面波，同时用于接收目标回波；

所述的相控阵波束赋形系统是精密加工的幅相控制器和计算机，幅相控制器用于控制相控阵测角雷达每个天线单元的幅度和相位，高精度调整其幅度相位，计算机调整幅相控制器同时还能控制相控阵测角雷达和复杂目标的相对位置，通过调整相对位置来模拟弹目交会过程；

所述的单脉冲角度测量系统，用于使雷达发射单个脉冲信号并接收回波，利用单脉冲测角方法，先调整发射阵列的权值指向复杂目标，再调整相控阵测角雷达的接收阵列的权值，接收目标回波，通过比较和差波束的幅值从而得到复杂目标的角度信息；

所述的深度强化学习训练系统搭载包括深度强化学习算法的计算机，发送指令给幅相控制器，控制相控阵测角雷达的发射接收权重，发送单脉冲测角指令，记录复杂目标和波束幅值状态和发射阵列状态，奖励设置为回波幅值最大化和角闪烁线偏差最小化的加权，深度强化学习通过不断迭代训练调整相控阵的发射接收权值使奖励最大化；

所述的雷达目标电磁环境，包括复杂目标、弹目交会轨迹，复杂目标指目标尺度能与波长相比拟并且具有多个等效散射中心的扩展目标，其会产生角闪烁噪声，角闪烁噪声影响雷达目标跟踪，对弹目交会轨迹进行模拟，即模拟弹载雷达测量复杂目标在指定弹目交会轨迹下的目标角度位置信息的模拟过程。

下面结合附图以及具体实施方式进一步说明本发明。

如图1所示，复杂目标选择飞机目标1，以飞机目标为例扩展到复杂目标，选择导引头处的相控阵测角雷达2作为激励馈源，该相控阵测角雷达能够自适应波束赋形跟踪目标，工作于远场时，电磁环境为平面波场。当相控阵激励馈源工作于近场时，电磁环境为球面波场，发射接收权重需要调整的幅度相位比较复杂，需要训练时间及成本。导弹仿真模型3表示全尺寸仿真导弹，用于弹目交会场景仿真，相控阵测角雷达需要适应导弹形状。

图1中：A

计算机加载深度强化学习算法生成一个动作发给幅相控制器，来操纵相控阵测角雷达的每个天线单元的馈电相位和幅度，生成新的幅度相位分布，雷达发射一个单脉冲信号进行单脉冲测角，通过比较接收到的回波幅值来调整发射权重，使波束指向复杂目标，得到最大回波幅值后再微调发射接收权重，通过单脉冲测角计算在该姿态角、距离下的角闪烁线偏差，同时不断调整相控阵测角雷达和复杂目标的相对位置，计算机输出指令不断调整相控阵测角雷达发射接收阵列的幅度相位分布，达到回波幅值最大化和角闪烁线偏差最小的加权最大化，提高测角精度，抑制整个弹目交会过程中的目标角闪烁。

本发明优选实例：

如图2所示的基于深度强化学习抑制角闪烁的测角雷达相控阵测角雷达目标场景分布示意，工作频率15GHz，采用物理光学算法计算。复杂目标以隐身飞机目标为例，尺寸：21m，相控阵天线单元间距半个波长，实现近场球面波源由无穷远至10m距离范围内的连续覆盖。

其中，基于pytorch的深度强化学习模拟弹目交会环境，相控阵激励源发射和接收权重都由深度强化学习算法控制，算法发出单脉冲测角指令，调整相控阵测角雷达发射权重，相控阵激励源发射信号，再调整接收权重，接收目标回波，通过单脉冲测角原理计算出目标的角闪烁线偏差，对比之前的状态函数与奖励函数不断迭代优化，调整动作，改变相控阵发射权重使奖励最大化。

图2中，状态函数4设置为目标回波幅值，奖励函数5设置为回波幅值和目标角闪烁线偏差的加权，动作6改变每个天线单元幅度和相位，向目标发射信号，收发共用相控阵测角雷达7用于发射接收电磁波，深度强化学习算法框架8控制智能雷达发射接收阵列，控制信号的产生和回波的接收，深度神经网络9用于拟合状态和动作之间的策略；策略函数10在雷达目标场景当时状态下采取的动作能使奖励最大化的最佳策略。

如图3(a)，图3(b)所示的深度强化学习训练结果图，发射接收阵列分别赋两种权重，等幅等相权重和深度强化学习训练权重，由图3(a)可看出深度强化学习训练得到的发射接收权重在100m-10km范围内的和波束幅值大于等幅等相发射接收权重得到的和波束幅值，但是由图3(b)可得基于深度强化学习抑制角闪烁的测角雷达测出的角度精准指向了目标且其角闪烁线偏差均小于0.1m以下，说明该基于深度强化学习的单脉冲测角雷达精准测量了目标角度信息。

本发明未详细阐述的部分属于本领域公知技术。