一种基于深度学习网络的二维联合成像与自聚焦方法

技术领域

本发明涉及逆合成孔径雷达图像处理领域，尤其涉及一种基于深度学习网络的二维联合成像与自聚焦方法。

背景技术

逆合成孔径雷达(ISAR)具有获取非合作运动目标二维(2D)图像的能力，在现代军事和民用领域得到了广泛应用，精确的运动补偿是高分辨率ISAR成像的前提。如果目标运动没有得到精确补偿，则残余运动将导致剩余的相位误差出现，从而使得成像结果的散焦。

如今，深度学习(DL)技术已被引入ISAR成像领域，并被证明通过训练大量数据集设计深度网络，可以有效地获取高分辨率图像。它也被称为一种数据驱动方法。最常见的基于深度学习的成像方法一般是利用在计算机视觉等领域广泛应用的传统神经网络结构实现低分辨图像到高分辨图像的转变。因此，将卷积神经网络(CNN)、全连接CNN(FCNN)和UNet等典型的神经网络被应用于ISAR成像，获得了优于传统方法的高分辨率结果，

现有技术中，

[S.Wei,J.Liang,M.Wang,J.Shi,X.Zhang,andJinheRan.“AF-AMPNet:Adeep learningapproachforsparseapertureISARimagingandautofocusing,”IEEETrans.Geosci.RemoteSens.,vol.60,pp.5206514,Apr.2022.]提出了一种基于AMP的成像和相位误差估计深度网络；

[X.Li,X.Bai,andF.Zhou,High-ResolutionISARImagingandAutofocusingvia2D-ADMM-Net,RemoteSens.,vol.13,no.12,pp.2326,Jun.2021.]中研究了类似的工作，其中ADMM通过与相位误差补偿网络相结合而被展开为深度网络结构。

但是，这些网络只考虑跨距离方向上的相位误差估计。事实上，对于RSFISAR成像，相位误差存在于距离和方位向二维空间，需要一起补偿。

发明内容

为解决距离和方位向二维空间的相位误差较大的问题，成像精度不高，本发明提供一种基于深度学习网络的二维联合成像与自聚焦方法，其包括：

步骤S1，建立包含二维相位误差的二维降采样回波模型；

步骤S2，对所述二维降采样回波模型进行矩阵化l

步骤S21，固定所述二维降采样回波模型中的误差矩阵E并对所述二维降采样回波模型中的稀疏场景矩阵X进行l

步骤S22，固定所述的稀疏场景矩阵X，对所述误差矩阵进行l

步骤S23，通过S21以及S22的交替迭代优化，最终获得优化后的稀疏场景矩阵X以及优化后的误差矩阵E；

步骤S3，将所述步骤S2中的各子步骤展开为神经网络结构；

步骤S4，通过向所述神经网络结构中输入仿真数据集进行网络训练，获取模型的最优参数，并基于仿真数据训练好的网络模型对实测数据进行成像。

进一步地，步骤S1中，所述二维降采样回波模型以式(1)表示，

式(1)中，

进一步地，所述步骤S2中，还包括对二维降采样回波模型向量化，其中，

向量化后的二维降采样回波模型向量化以式(3)表示，

式(3)中，A为Kronecker积，x表示向量化稀疏场景矩阵，w表示稀疏化噪声矩阵，

进一步地，所述步骤S2中，对所述二维降采样回波模型进行矩阵化l

式(4)中a为拉格朗日乘子，d为惩罚参数，<’>表示内积，v为辅助变量，λ表示第一正则化参数，δ表示第二正则化参数。

进一步地，所述步骤S21中，对所述二维降采样回波模型中的稀疏场景矩阵X进行l

其中Z(·)表示收缩函数，X

进一步地，所述步骤S22中，对所述误差矩阵进行l

式(6)中，Y

进一步地，所述步骤S3中，将步骤S21以及步骤S22中的算法实现步骤展开为深度学习网络结果，所述神经网络结构中单个神经网络层的结构主要包括：X模块，用于实现步骤S21以及步骤S22中的稀疏场景矩阵X的更新，Z模块，用于实现步骤S21以及步骤S22中的辅助变量矩阵V的更新，A模块，用于实现步骤S21以及步骤S22中的拉格朗日矩阵A的更新，E模块，用于实现步骤S21以及步骤S22中的相位误差矩阵E的更新。

进一步地，所述步骤S4中，通过输入仿真数据集，对网络参数进行训练，通过损失函数来确定最佳优化参数，表示为，

式(7)中，Q为仿真训练集中训练数据的个数，

与现有技术相比，本发明通过建立二维稀疏条件下的二维降采样回波模型，用于ISAR成像和自动聚焦，为了获取更高效率，对所述向量化二维降采样回波模型进行矩阵化l

尤其，本发明充分利用二维耦合信息，构建二维稀疏条件下的二维降采样回波模型，用于联合自聚焦和高分辨率ISAR成像，并且将矩阵化l

附图说明

图1为发明实施例的基于深度学习网络的二维联合成像与自聚焦方法步骤图；

图2为发明实施例的神经网络结构示意图；

图3为发明实施例的神经网络单层结构示意图；

图4为发明实施例的标签图像与RD算法获得的测试数据成像对比图；

图5为发明实施例的信噪比为10dB时使用不同方法在不同2DSPRs条件下的成像结果图；

图6为发明实施例的2DSPR为(0.7，0.7)时，不同方法在不同SNR条件下的成像结果图；

图7为发明实施例的实测Yak-42飞机数据的标签图像与具有2D相位误差的不完整数据Yak-42数据成像对比图；

图8为发明实施例的SNR为10dB时，使用不同方法在不同2DSPRs条件下Yak-42飞机的成像结果图；

图9为发明实施例的不同方法在不同信噪比下Yak-42飞机成像结果图；

图10为发明实施例的使用RD方法获得的Boeing-727数据成像结果图；

图11为发明实施例的不同方法在不同2DSPRs条件下波音727飞机成像结果图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1所示，其为本发明实施例的基于深度学习网络的二维联合成像与自聚焦方法步骤图，本发明的基于深度学习网络的二维联合成像与自聚焦方法包括：

步骤S1，建立包含二维相位误差的二维降采样回波模型；

步骤S2，对所述二维降采样回波模型进行矩阵化l

步骤S21，固定所述二维降采样回波模型中的误差矩阵E并对所述二维降采样回波模型中的稀疏场景矩阵X进行l

步骤S22，固定所述的稀疏场景矩阵X，对所述误差矩阵进行l

步骤S23，通过S21以及S22的交替迭代优化，最终获得优化后的稀疏场景矩阵X以及优化后的误差矩阵E；

步骤S3，将所述步骤S2中的各子步骤展开为神经网络结构；

步骤S4，通过向所述神经网络结构中输入仿真数据集进行网络训练，获取模型的最优参数，并基于仿真数据训练好的网络模型对实测数据进行成像。

具体而言，本领域技术人员应当明白的是，基于步进频率信号的成像雷达系统需要发送Na个脉冲串，每个脉冲串包含N个窄带子脉冲，以获得ISAR成像结果。

步骤S1中，所述二维降采样回波模型以式(1)表示，

式(1)中，

表示需要恢复的稀疏场景，表示为：

代表二维误差矩阵，表示为：

具体而言，步骤S1中，所述二维降采样回波模型以式(1)表示，

式(1)中，

在本实施例中，E′表示误差矩阵，可以表示为：

X表示稀疏场景矩阵，

具体而言，还包括对二维降采样回波模型向量化，其中，

向量化后的二维降采样回波模型向量化以式(3)表示，

式(3)中，A为Kronecker积，x表示向量化稀疏场景矩阵，e表示矩阵E的向量化矩阵，w表示稀疏化噪声矩阵，

向量化二维降采样回波模型以式(3)表示，

式(4)中，diag{·}表示取对角运算，MH为矩阵的维度。

具体而言，所述步骤S2中，对所述二维降采样回波模型进行矩阵化l

式(4)中a为拉格朗日乘子，d为惩罚参数，<’>表示内积，v为辅助变量，λ表示第一正则化参数，δ表示第二正则化参数。

具体而言，所述步骤S21中，对所述二维降采样回波模型中的稀疏场景矩阵X进行l

所述步骤S21中，对所述二维降采样回波模型中的稀疏场景矩阵X进行l

其中Z(·)表示收缩函数，X

具体而言，所述步骤S22中，对所述误差矩阵进行l

式(6)中，Y

具体而言，所述步骤S3中，将步骤S21以及步骤S22中的算法实现步骤展开为深度学习网络结果，所述神经网络结构中单个神经网络层的结构主要包括：X模块，用于实现步骤S21以及步骤S22中的成像矩阵X的更新，Z模块，用于实现步骤S21以及步骤S22中的辅助矩阵V的更新，A模块，用于实现步骤S21以及步骤S22中的拉格朗日矩阵A的更新，E模块，用于实现步骤S21以及步骤S22中的相位误差矩阵E的更新，第l层网络中所述X模块，Z模块，A模块，E模块对应的实现式表示为：

式(8)中，angle(×)表示取相位运算，

X模块中的U函数模块用以根据更新后的二维误差矩阵E

第l层网络中所述Z函数模块用以更新输入的V

V

式(10)中，z

具体而言，所述步骤S4中，通过输入仿真数据集，对网络参数进行训练，通过损失函数来确定最佳优化参数，表示为，

式(11)中，Q为仿真训练集中训练数据的个数，

具体而言，请参阅图2所示，其为本发明的神经网络结构示意图，图3为一层网络中网络结构关系图，其中，X(Vl,Al,El；λl,δl)表示第l层神经网络中X的重构结构，Z(Xl,Al；λl,δl)表示第l层神经网络中的收缩函数，E(Xl)以及A(Xl,Vl；δl)分别表示第l层神经网络中的迭代计算。

本发明将验证现有技术中2D-IADIA算法成像方式与本发明中的神经网络结构成像方式，所述神经网络结构成像方式表达为2D-IADIANet，在不同二维采样率和信噪比条件下的有效性；

特别地，2DIADIANet和2DADNet使用相同的训练数据集，利用训练数据产生方法，产生Q＝40个场景，每个场景中随机产生100-500个散射点，且散射点强度服从高斯随机分布，场景的大小为128×128，通过场景数据反推得到回波数据，并添加二维随机相位误；另外，前20组数据用来训练模型，后20组数据用来测试训练的模型，初始ρ

实施例1

请参阅图4、图5所示，图4为发明实施例的标签图像与RD算法获得的测试数据成像对比图，图5为发明实施例的信噪比为10dB时使用不同方法在不同2DSPRs条件下的成像结果图，在本实施例中，在训练好的模型上，利用仿真数据进行测试，测试数据的原始标签如图4(a)所示，在测试数据中添加二维随机相位误差，并将稀疏率设置为(0.9,0.9)，利用传统RD算法获得的成像结果如图4(b)所示，显然，成像图像被大量虚假重建点覆盖，很难实现准确的目标识别。

对于图4中的仿真测试数据添加二维随机相位误差，SNR设置为10dB，使用上述四种不同方法对2DSPRs分别为(0.4,0.4)、(0.6,0.6)和(0.8,0.8)的数据进行成像处理，结果如图5所示，此外，相应的评估指标在表I中给出。

表1不同2DSPRS条件下仿真数据成像结果性能评价指标

图5中，每列给出的是不同方法的成像结果，每行是相同2DSPR条件下的相应结果，可以看出，在给定的三个采样率下，2D-ADNet获得的图像具有许多虚假散射点；这是因为该网络只能处理方位向随机相位误差，而对于二维相位误差，重建性能将受到显著影响；对于FCNN来说，它似乎具有良好的成像质量和干净的背景；但与真实图像相比，可以发现FCNN生成的图像丢失了大量的弱散射点，尤其是在低采样率的情况下。尽管2D-IADIA和2D-IADIANet的成像质量随着采样率的降低而逐渐恶化，但与其他算法相比，它们的虚假散射点较少，表明它们具有良好的重建性能；相比之下，得益于通过训练过程学习的自适应和分层优化参数，2D-IADIANet可以进一步提高成像性能；表1所示的评估指标也验证了所提出的基于网络的方法在给定的低采样率条件下的优越性能；此外，计算时间的比较表明，基于网络的方法通常具有较高的处理效率。特别是传统网络，即FCNN，处理时间最短；作为2D-IADIA的一种网络展开形式，2D-IADINet也极大地提高了计算效率，并实现了类似的性能，表明了在实时处理上的潜力。

实施例2

在本实施例中，仿真数据来源以及设置方式与实施例1相同，

进一步测试SNR对所提出的深度网络成像性能的影响；将回波数据的采样率保持在(0.7，0.7)，即大约49％的回波数据可用；使用不同方法在不同的噪声条件下的成像结果如图6所示；为了直观地比较成像结果，表2显示了四种方法在信噪比分别为5dB和0dB时的相应评估指标。

表2不同SNRs条件下仿真数据成像结果性能指标对比

2D-ADNet无法处理2D相位误差，其成像质量最差，尤其是在低信噪比(SNR＝0dB)的情况下。表2中的指标也验证了上述结论。FCNN可以实现良好的自动聚焦性能，但存在许多散射点缺失和大量伪弱散射点。可能的原因是，FCNN没有相应的相位误差校正网络，只建立了标签图像和测试图像之间的内部映射关系，很容易删除真实的弱散射点，保留虚假的散射点。相反，2D-IADIA及其网络扩展形式可以获得聚焦良好的图像。这是因为它们具有特殊的2D相位误差自校正操作。与2D-IADIA相比，2D-IADIANet通过网络学习而不是人工设置来获得最优参数，并且具有更好的噪声适应性。特别地，当信噪比为0dB时，基于网络方法的性能显著提高。表2中的评估指标进一步揭示了所提出的基于网络的方法的优势。

实施例3

请参阅图6，图7，图8，图9所示，图6为发明实施例的2DSPR为(0.7，0.7)时，不同方法在不同SNR条件下的成像结果图，图7为发明实施例的实测Yak-42飞机数据的标签图像与具有2D相位误差的不完整数据Yak-42数据成像对比图，图8为发明实施例的SNR为10dB时，使用不同方法在不同2DSPRs条件下Yak-42飞机的成像结果图，图9为发明实施例的不同方法在不同信噪比下Yak-42飞机成像结果图，在本实施例中，实测Yak-42飞机数据来测试所提网络的性能，需要指出的是，所提网络已经经过仿真数据的训练，以进一步验证所提出方法的泛化性能；由于原始实测数据具有高信噪比，因此假设实测数据没有噪声，且数据维度为128×128；为了便于比较，给出在数据完整且没有2D相位误差的情况下，传统的RD成像结果如图7(a)所示，图7(a)结果也可以作为标签图像；此外，图7(b)给出了添加2D相位误差的不完整数据的成像结果；从图7(b)可以看出，成像结果模糊且难以识别。

同样的，2D-ADNet的成像性能最差，尤其是在低采样率的情况下，生成的图像具有大量的噪声背景；特别是当2DSPR为(0.4,0.4)时，FCNN损失了大部分目标；随着采样率的增加，大部分散射点被保留；然而，与标签图像相比，可以发现FCNN方法获得的图像增强了弱散射点，使重建结果的对比度更高；这就是为什么FCNN具有最小的SSIM值(如表3所示)；请参阅图8所示，2D-IADIA和2D-IADIANet都可以在几乎没有噪声背景的情况下获得精细的成像结果。特别是在2DSPR为(0.4,0.4)的情况下，2D-IADIANet仍然获得了令人满意的结果，表明其对测量数据具有良好的泛化性能。

表3不同2DSPRS下YAK-42飞机成像结果性能评价指标

当采样率固定为(0.7，0.7)，通过四种不同方法获得的图像结果如图9所示，其中SNR分别设置为10、5和0dB。

表4不同snr条件下YAK-42飞机成像结果评价指标对比

实施例4

请参考图10，图11所示，图10为发明实施例的使用RD方法获得的Boeing-727数据成像结果图，图11为发明实施例的不同方法在不同2DSPRs条件下波音727飞机成像结果图，为了进一步验证所提网络的有效性，利用另一组Boeing-727实测数据进行实验；该数据集是通过步进频率雷达系统获得的，带宽为150MHz；它具有128个脉冲串，并且脉冲串具有128个子脉冲；原始数据完成了距离对准和相位聚焦处理，原始信噪比为7.12dB；请参阅图10显示了RD方法的完整数据成像结果；可以看出，现有的2D相位误差会导致成像结果的模糊和虚假散射点。

相似的是，在不同的2DSPRs条件下，四种不同方法的成像结果如图11所示。此外，由于波音727数据的信噪比较低，我们无法获得准确的目标图像。因此，所使用的RMSE、SSIM和PSNR指标不适用于该测量数据。因此，使用图像熵(IE)和图像对比度(IC)来评估成像质量，表5中列出了相应的评价指标。

表5不同2DSPRs条件下波音727飞机成像性能评价指标

对于基于Boeing-727数据的成像结果，2DADNet在所有三种采样条件下都表现出最差的成像性能；由于其微弱的相位误差补偿能力，恢复的图像被大量的伪点包围；与2DADNet相比，FCNN实现了背景更干净的图像；尽管成像结果具有较低的IE和较高的IC值，但仅保留了强散射点，并且丢失了许多弱散射点，这不利于目标识别；与其他两种方法相比，2D-IADIA和2DIADIANet可以在所有条件下获得相似且最佳的成像结果。与模拟数据和Yak-42数据类似，2DIADIANet可以提前减少时间消耗，

此外，由于参数自学习能力和层数较少，2D-IADIANet可以进一步提高计算效率，验证了所提出网络的有效性。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。