基于非线性积分算法的多元目标信息综合处理方法及装置

技术领域

本发明涉及目标探测技术领域。尤其一种基于非线性积分算法的多元目标信息综合处理方法及装置。

背景技术

多元目标信息指的是不同协议，不同时间点，不同接口，不同类型的数据，需要进行时间对准、空间对准，接口转换，提取有用信息，忽略冗余信息的综合处理方法，可通过深度神经网络来实现。

针对目标探测的实际需求研究多种传感器数据的一致性描述和对应，并进行深度融合，实现不同种类，不同环境下的动态目标定位，识别与跟踪。在目标识别中，为了提高识别准确度，需将所获取的多个参数综合起来分析，提高信息的冗余性和互补性，提高不同光照条件下目标识别精度是目前急需解决的问题。

发明内容

鉴于上述的分析，本发明旨在一种基于非线性积分算法的多元目标信息综合处理方法及装置，能够采用多摄像头和多传感器采集的多种特征对应与索引与预测，实现目标在不同光照情况下的检测与识别。

本发明提供的技术方案是：

本发明公开了一种基于非线性积分算法的多元目标信息综合处理方法，包括以下步骤：

采用多源传感设备对目标进行持续跟踪采集，获取包括目标影像数据和传感器数据在内的多源异构数据集；

对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感器数据进行预处理得到第二类目标数据；

采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；

通过非线性的模糊积分算法对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果。

进一步地，对多源异构数据集中的目标影像数据进行预处理包括影像配准、影像多视、影像滤波和辐射校正。

进一步地，所述对目标影像数据进行影像配准、影像多视和影像滤波包括：

1)将摄像设备中同一个摄像头在某一时间段内采集相同目标的影像数据按时间序列进行排列，选择时间最早或时间居中的影像作为主影像；

2)将除去主影像的其余影像与主影像进行配准；

3)对配准后的影像数据进行包括增强Lee滤波、Kuan滤波或自适应滤波在内的滤波处理，用于降低相干影像形成的斑点噪声；

4)最后根据距离向分辨率、方位向分辨率和中心入射角设置影像数据的多视比，使影像数据的地距方位向和距离向分辨率一致。

进一步地，所述辐射校正，通过以一幅清晰的目标影像为参考影像，将其它目标影像和参考影像进行灰度匹配校正，建立各波段之间的RPC模型；并将其它目标影像逐波段的归一化到参考影像，使其它目标影像和参考影像具有相同的辐射尺度。

进一步地，所述目标影像数据为由包括红外摄像头、可见光摄像头和SAR摄像头在内的摄像设备拍摄的数据；

所述传感数据为由包括温、湿度传感器以及速度传感器在内的传感器采集的数据。

进一步地，所述深度神经网络模型包括卷积神经网络和深度随机配置网络；

所述卷积神经网络用于对第一类目标数据进行特征目标识别和目标状态识别获取第一类目标识别信息；

所述深度随机配置网络用于对第二类目标数据进行目标状态识别获取第二类目标识别信息。

进一步地，所述模糊积分算法，包括：

步骤S401、根据所述第一类目标识别信息和第二类目标识别信息建立目标分类结果矩阵；目标分类结果矩阵的每一列表示不同样本对相同目标的识别结果，其中目标状态正常记为0，目标状态异常记为1，每个矩阵的每一行表示同一样本中不同目标的识别结果；

步骤S402、在目标分类结果矩阵中计算分类结果为1目标状态真实值为0的概率p

步骤S403、采用Choquet模糊积分对目标分类结果矩阵中的分类结果概率进行融合，获取最终的目标状态识别结果。

进一步地，Choquet模糊积分中，根据公式

本发明还公开了一种基于上述多元目标信息综合处理方法的多元目标信息综合处理装置，包括：

多源传感设备，用于对目标进行持续跟踪采集，获取包括目标影像数据和传感数据在内的多源异构数据集；

预处理模块，用于对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感数据进行预处理得到第二类目标数据；

神经网络模块，用于采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；

模糊积分模块，用于通过模糊积分对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果。

进一步地，所述多源传感设备包括摄像设备和传感器；

所述摄像设备包括红外摄像头、可见光摄像头和SAR摄像头

传感器包括温、湿度传感器以及速度传感器。本发明至少可实现以下有益效果之一：

本发明基于非线性积分算法的多元目标信息综合处理方法及装置有以下有益效果：

通过对多种摄像头和传感器采集目标的多种数据的融合，实现不同光照情况下的目标定位与识别，提高了识别准确率。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中的多元目标信息综合处理方法的流程图。

图2为本发明实施例中的多元目标信息综合处理装置的原理示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

如图1所示，本实施例中公开的一种基于非线性积分算法的多元目标信息综合处理方法，如图1所示，包括以下步骤：

步骤S1、采用多源传感设备对目标进行持续跟踪采集，获取包括目标影像数据和传感器数据在内的多源异构数据集；

具体的，所述多源传感设备包括摄像设备和传感器；

所述摄像设备包括红外摄像头、可见光摄像头和SAR摄像头；

所述传感器包括温、湿度传感器以及速度传感器。

可选的，所述红外摄像头、可见光摄像头和SAR摄像头可同时工作，采集的数据同时包括为红外图像、可见光图像和/或SAR影像的目标影像数据；

可选的，所述红外摄像头、可见光摄像头和SAR摄像头可根据光照情况或时间段分时工作，在不同的光照情况或时间段，采集的数据分别为红外图像、可见光图像和/或SAR的目标影像数据。

本实施例的传感器采集包括目标的所处环境信息、速度等多方面参数，作为获取目标更精确结果的支撑数据。

多源传感设备采集的多类的目标影像数据和传感器数据共同构成多源异构数据集。

步骤S2、对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感器数据进行预处理得到第二类目标数据；

具体的，对多源异构数据集中的目标影像数据进行预处理包括影像配准、影像多视、影像滤波和辐射校正后得到第一类目标数据；

对多源异构数据集中的传感器数据主要通过系统内的设备对数据进行滤波、整形处理，获取相应的第二类目标数据。

更具体的，所述对目标影像数据进行影像配准、影像多视和影像滤波包括：

1)将摄像设备中同一个摄像头在某一时间段内采集相同目标的影像数据按时间序列进行排列，选择时间最早或时间居中的影像作为主影像。

2)将除去主影像的其余影像与主影像进行配准。

具体的配准方式是使用图像处理软件，选择基础配准点，默认参数即可，其中，像元大小选择根据基础图像，运行输出配准后的影像结果。

3)对配准后的影像数据进行包括增强Lee滤波、Kuan滤波或自适应滤波在内的滤波处理，用于降低相干影像形成的斑点噪声。

相干影像的相干系数是同时利用影像对的幅度和相位信息形成的，能够直观反映两次成像过程中目标稳定性的估计。

4)最后根据距离向分辨率、方位向分辨率和中心入射角设置影像数据的多视比，使影像数据的地距方位向和距离向分辨率一致。

更具体的，预处理步骤中辐射校正采用相对辐射校正方法对图像数据实施处理；纠正因大气状况变化以及不同光照条件造成的差异，减小传感器状态产生的噪声。

所述相对辐射校正方法以所述一种摄像头采集的一幅清晰影像为参考影像，将其它时相影像(目标影像)和参考影像通过图像处理软件进行灰度匹配校正，建立各波段之间的RPC模型，并将目标影像逐波段的归一化到参考影像，使目标影像和参考影像具有相同的辐射尺度。

步骤S3、采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；

其中，第一类目标识别信息是对目标影像数据进行处理获得的目标状态识别结果，第二类目标识别信息是对传感数据进行处理获得的目标状态识别结果；

为了对采集的多种数据整合，获取大量采集数据之间的联系以识别出目标的状态，先对采集到的数据采用深度神经网络分类。所述深度神经网络模型包括卷积神经网络和深度随机配置网络；

所述卷积神经网络用于对第一类目标数据进行特征目标识别和目标状态识别获取第一类目标识别信息；

所述深度随机配置网络用于对第二类目标数据进行目标状态识别获取第二类目标识别信息。

更具体的，所述深度神经网络分类模块具体为：

1)按照预设时刻采集数据样本，并记录对应时刻的目标状态真实值，

2)建立卷积神经网络和深度随机配置网络，网络模型参数设为初始值；

3)确定网络模型中的层数和损失函数，所述损失函数用于反向传播时网络修正模型参数，直到损失函数收敛，模型建立完成；

4)按照预设时刻采集数据样本，并记录对应时刻的目标状态，所述数据样本分别输入到卷积神经网络和深度随机配置网络，对应得到第一分类结果和第二分类结果；

具体的，卷积神经网络和深度随机配置网络均包括连接到输入变量的输入层、隐藏层和产生输出变量的输出层；

具体的，损失函数是用来评估模型的预测值与真实值之间的差异程度，损失函数如下：

无论真实样本标签y是0还是1，L都表征了预测输出与样本标签y的差距，i表示样本数量的数量；

具体的，采用不同的卷积神经网络和深度随机配置网络两种网络分别对第一类目标数据和第二类目标数据进行处理，降低两类结果之间的干扰，以提高识别的准确性。

其中，卷积神经网络可以通过尽可能保留重要的参数，去掉大量不重要的参数,来达到更好的学习效果。深度随机配置网络在增量构建过程引入监督机制来分配隐含层参数以确保其无限逼近特性，具有易于实现、收敛速度快、泛化性能好等优点。

每个深度神经网络的多个样本的识别结果整理成表格形式，如表1所示：

表1 深度神经网络输出数据整理结果

具体的，上述表格中样本识别结果若和样本标签一致，则对应结果填写1，若不一致则填写0；

步骤S4、通过非线性的模糊积分算法对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果。

通过模糊积分算法获得优化的分类结果。通过结合不同传感器的样本集以及结合分类识别结果的特点和优势，可以获取较为详细的目标数据和准确的目标结果，可实现不同光照情况下的目标定位与识别演示。

具体的，模糊积分作为一种基于模糊测度的非线性数学方法，它具有考虑多源信息的重要程度进行融合的能力，本实施例的模糊积分算法采用Choquet模糊积分，具体的计算过程如下：

步骤S401、根据所述第一类目标识别信息和第二类目标识别信息建立目标分类结果矩阵；目标分类结果矩阵的每一列表示不同样本对相同目标的识别结果，其中目标状态正常记为0，目标状态异常记为1，每个矩阵的每一行表示同一样本中不同目标的识别结果；

步骤S402、在目标分类结果矩阵中计算分类结果为1目标状态真实值为0的概率p

目标分类结果矩阵中所述状态识别结果如表2所示

表2

步骤S403、采用Choquet模糊积分对目标分类结果矩阵中的分类结果概率进行融合，获取最终的目标状态识别结果。

具体包括以下步骤：

1)在给定论域Y＝{y

根据每个目标的每种分类结果的可信度获取模糊积分中的λ，结合模糊测度定义以及递推公式有：

获取目标状态的结果中，对应p

即，Choquet模糊积分中，根据公式

2)获取模糊积分中的模糊测度g；

将上式结果赋予目标状态结果可能性指标集E，其计算结果e

式中A

g(A

g(A

g

5)获取模糊积分值e，即得到最终的分类结果，公式为：

根据目标状态结果类型的可能性指标集E，其中，指标集包含n个目标可能性的目标状态结果，计算得到的模糊e是从属于指标集E中元素，从而根据计算结果确定目标状态类型，最终得出目标的分类结果。

综上所述，本实施例的方案通过多种摄像头和传感器采集目标的多种数据的融合，实现不同光照情况下的目标定位与识别，提高了识别正确率。

本实施例还公开了一种基于非线性积分算法的多元目标信息综合处理装置，如图2所示，包括：

多源传感设备，用于对目标进行持续跟踪采集，获取包括目标影像数据和传感数据在内的多源异构数据集；

具体的，所述多源传感设备包括摄像设备和传感器；

所述摄像设备包括红外摄像头、可见光摄像头和SAR摄像头

传感器包括温、湿度传感器以及速度传感器。

预处理模块，用于对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感数据进行预处理得到第二类目标数据；

具体的，预处理模块包括目标影像数据预处理模块和传感器数据预处理模块，

目标影像数据预处理模块，对多源异构数据集中的目标影像数据进行预处理包括影像配准、影像多视、影像滤波和辐射校正后得到第一类目标数据；

传感器数据预处理模块，对多源异构数据集中的传感器数据主要通过系统内的设备对数据进行滤波、整形处理，获取相应的第二类目标数据。

神经网络模块，用于采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；

神经网络模块包括卷积神经网络模块和深度随机配置网络模块；

所述卷积神经网络模块，用于对第一类目标数据进行目标状态识别获取第一类目标识别信息；

所述深度随机配置网络模块，用于对第二类目标数据进行目标状态识别获取第二类目标识别信息。

模糊积分模块，用于通过模糊积分对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果。

本实施例的具体技术细节和有益效果与上一实施例相同，请参照上一实施例，在此就不一一赘述了。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。