一种基于神经网络的安防图像高清恢复方法及系统

技术领域

本发明涉及安防检测技术领域，具体涉及一种基于神经网络的安防图像高清恢复方法及系统。

背景技术

目前广泛的安检手段主要有X射线等，尽管X射线具有良好的隐藏物品检测能力，但是，众所周知，X射线产生的强电离辐射会对人体带来伤害。虽然每次安检受到的辐射很小，但随着安检次数的增加，其危害也不容忽视。另外X射线辐射源管理也必须慎之又慎，其遗失会带来严重的公共安全问题。

因此，如何在安检中更加高效、可靠地识别隐藏违禁品日益成为迫切需求。

发明内容

本发明提供一种基于神经网络的安防图像高清恢复方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为了实现上述目的，本发明提供以下技术方案：

根据本发明第一方面实施例的一种基于神经网络的安防图像高清恢复方法，包括：

获取被动太赫兹雷达传感器采集的第一图像；

采用深度卷积神经网络模型对第一图像进行高清恢复，得到高分辨图像，所述深度卷积神经网络模型由SRCNN算法训练得到。

进一步，所述采用深度卷积神经网络模型对第一图像进行高清恢复，得到高分辨图像，包括：

获取由可见光视频摄像头采集的训练图像，所述训练图像包含人体携带违禁品过安检时拍摄的形态特征，所述违禁品包括闪存硬盘、手枪、手机、粉末和水杯其中至少一种；

对训练样本采用SRCNN算法进行模型训练，得到高清恢复模型；

将第一图像输入高清恢复模型，得到第一图像的高分辨图像。

进一步，所述对训练样本采用SRCNN算法进行模型训练，得到高清恢复模型，包括：

构建SRCNN算法的网络结构，所述SRCNN算法的网络结构包括：输入层、第一卷积层、第二卷积层和输出层；

将双立方插值后的训练图像输入构建好的SRCNN算法进行模型训练，得到训练模型；

将经过三立方插值后的测试图像输入训练模型进行测试，得到对比图像，所述测试图像由被动太赫兹雷达传感器采集得到，所述测试图像和训练图像同时采集；

当对比图像与训练图像之间的匹配度满足要求时，将所述训练模型作为高清恢复模型。

进一步，所述双立方插值后的训练图像的卷积核为1×1128，通道数为256，卷积特征图的输出数量是1个；

所述第一卷积层的卷积核为9×9，通道数为1，卷积特征图的输出数量是64个；

所述第二卷积层的卷积核为1×1，通道数为64，卷积特征图的输出数量是32个；

所述输出层的卷积核为5×5，通道数为32，卷积特征图的输出数量是1个。

进一步，所述测试图像的卷积核为1×1128，通道数为256。

进一步，所述测试图像的数量为101张。

进一步，所述训练模型的学习率为0.0015，训练图像的训练次数为18000，训练图像的张数为5。

进一步，所述匹配度包括所述对比图像与训练图像之间的峰值信噪比和结构相似性。

根据本发明第二方面实施例的一种基于神经网络的安防图像高清恢复系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一项所述的基于神经网络的安防图像高清恢复方法。

本发明的有益效果是：本发明公开一种基于神经网络的安防图像高清恢复方法及系统，首先获取被动太赫兹雷达传感器采集的第一图像，接着采用深度卷积神经网络模型对第一图像进行高清恢复，得到高分辨图像，本发明采用的深度卷积神经网络模型，可有效提升被动太赫兹雷达传感器采集的图像的分辨质量，有助于安检中高效、可靠地识别隐藏违禁品。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种基于神经网络的安防图像高清恢复方法的流程示意图；

图2是图1中实施例步骤S200的流程示意图；

图3是图2中实施例步骤S220的流程示意图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

参考图1，如图1所示为本发明实施例提供的一种基于神经网络的安防图像高清恢复方法，所述方法包括以下步骤：

步骤S100、获取被动太赫兹雷达传感器采集的第一图像；

步骤S200、采用深度卷积神经网络模型对第一图像进行高清恢复，得到高分辨图像。

其中，所述深度卷积神经网络模型由SRCNN算法训练得到。

本实施例中，为避免现有的安检技术中X射线带来的安全性问题，本发明采用更加安全的被动太赫兹雷达传感器进行图像采集和成像，可以理解，所述被动太赫兹雷达传感器采集的图像为被动太赫兹雷达图像。

具体地，被动太赫兹雷达通过接收人体主动辐射的电磁波来成像，如果乘客携带了某种物品，由于物品的“格挡”效应，对应部位的电磁波会被吸收或反射，因此电磁辐射会减弱或者消失，从而在图像中形成一个轮廓，依据这个轮廓可以来判定是哪种违禁品。但是，由于雷达设备自身的限制，被动式太赫兹图像分辨率异常低下，在不做任何处理以及没有先验信息的情况下，难以分辨出携带的是何种违禁品。因此对被动式太赫兹图像进行高清恢复，提升图像的分辨力，将更有利于对违禁品的识别、分类。

本实施例中，被动太赫兹雷达传感器采集的图像经过高清恢复，能为安检行业提供一种更可行更经济更安全的检测手段，本发明采用的深度卷积神经网络模型，可有效提升被动太赫兹雷达传感器采集的图像的分辨质量，有助于安检中高效、可靠地识别隐藏违禁品。

参考图2，在一个优选的实施例中，所述步骤S200包括：

步骤S210、获取由可见光视频摄像头采集的训练图像；

其中，所述训练图像包含人体携带违禁品过安检时拍摄的形态特征，所述违禁品包括闪存硬盘、手枪、手机、粉末和水杯其中至少一种；

步骤S220、对训练样本采用SRCNN算法进行模型训练，得到高清恢复模型；

步骤S230、将第一图像输入高清恢复模型，得到第一图像的高分辨图像。

其中，SRCNN(超分辨卷积神经网络)本来是用于光学图像高清恢复的算法，是ChaoDong等提出的基于深度学习的图像超分辨神经网络，本发明提供的实施例中，为了解决被动式太赫兹雷达采集的图像分辨率低下的问题，本发明在此基础上做了重大改进，即利用安检时可见光视频摄像头与被动太赫兹雷达传感器所获取的被检测者信息之间的关联性，使用与被动太赫兹雷达传感器采集得到的测试图像相对应的可见光视频摄像头采集的训练图像进行网络训练，然后再使用训练后的网络对被动太赫兹雷达传感器采集的第一图像进行高清恢复，以使网络能学习到更多的安检状态下人体的形态特征，从而更好的提取到被监测者携带违禁品的形态特征。可以理解，可见光视频摄像头采集的图像为可见光图像。

在一个优选的实施例中，所述步骤S220包括：

构建SRCNN算法的网络结构，所述SRCNN算法的网络结构包括：输入层、第一卷积层、第二卷积层和输出层；

将双立方插值后的训练图像输入构建好的SRCNN算法进行模型训练，得到训练模型；

将经过三立方插值后的测试图像输入训练模型进行测试，得到对比图像，所述测试图像由被动太赫兹雷达传感器采集得到，所述测试图像和训练图像同时采集；

当对比图像与训练图像之间的匹配度满足要求时，将所述训练模型作为高清恢复模型。

参考图3，如图3所示，所述步骤S220的一个具体示例如下：

步骤S221、构建SRCNN算法的网络结构；

其中，所述SRCNN算法的网络结构包括：输入层、第一卷积层、第二卷积层和输出层；

步骤S222、将双立方插值后的训练图像输入构建好的SRCNN算法进行模型训练，得到训练模型；

步骤S223、将经过三立方插值后的测试图像输入训练模型进行测试，得到对比图像；

其中，所述测试图像由被动太赫兹雷达传感器采集得到，所述测试图像和训练图像同时采集；

步骤S224、判断对比图像与训练图像之间的匹配度是否满足要求，若否，则执行步骤S222，若是，则执行步骤S225；

步骤S225、将所述训练模型作为高清恢复模型。

网络最优参数的学习与选择是性能改善的重点。在以往的被动太赫兹图像高清恢复中，一般都是采用传统的图像处理方法来进行高清恢复，在高清恢复方面原SRCNN算法并没有将将训练图像和测试图像联系起来，基于SRCNN深度学习技术提升被动太赫兹图像分辨力的技术尚未出现。本实施例中，采用被动太赫兹雷达传感器采集的测试图像对训练模型进行测试，在训练阶段，使用与所述测试图像同时采集的训练图像进行网络训练，在测试阶段则使用测试图像进行测试，因此，本发明将训练图像和测试图像联系起来，网络可以学习到更多、更准确的人体形态特征。训练得到的高清恢复模型中，训练集可见光图像和测试集被动太赫兹雷达图像之间具有强的关联性，即可见光视频摄像头和被动太赫兹雷达同时对被监测者进行图像采集，然后使用可见光视频摄像头采集的可见光图像进行知识学习，从而获取网络最优参数，最后对被动太赫兹雷达获取的图像进行高分辨恢复。

在一个优选的实施例中，所述匹配度包括所述对比图像与训练图像之间的峰值信噪比和结构相似性。

在一个优选的实施例中，所述双立方插值后的训练图像的卷积核为1×1128，通道数为256，卷积特征图的输出数量是1个；所述第一卷积层的卷积核为9×9，通道数为1，卷积特征图的输出数量是64个；所述第二卷积层的卷积核为1×1，通道数为64，卷积特征图的输出数量是32个；所述输出层的卷积核为5×5，通道数为32，卷积特征图的输出数量是1个。

在一个优选的实施例中，所述测试图像的卷积核为1×1128，通道数为256。

在一个优选的实施例中，所述测试图像的数量为101张。

在一个优选的实施例中，所述训练模型的学习率为0.0015，训练图像的训练次数为18000，训练图像的张数为5。

下面对本发明提供的实施例做具体说明，本发明提供的实施例采用了ChaoDong等提出的SRCNN模型进行被动式太赫兹图像高分辨恢复，采用的计算机编程语言为python语言，并且使用谷歌开发的深度学习框架Tensor-Flow进行网络的搭建。

具体地，SRCNN算法的网络结构包括：输入层(1×1128×256×1)、第一卷积层(9×9×1×64)、第二卷积层(1×1×64×32)和输出层(5×5×32×1)，输出层得到的特征图像即为SRCNN的高清恢复结果。SRCNN算法的网络结构具体如下：

(1)、输入层，输入为对第二训练图像进行双立方插值后的卷积图像，所述卷积图像的卷积核为1×1128，通道数为256，数量为1，即输出1个卷积特征图；

(2)、第一卷积层，输入为输入层输出的1个卷积特征图，使用9×9的卷积核，通道数为1，卷积特征图的数量是64个，这样得到的结果是输出64个卷积特征图；

(3)、第二卷积层，输入为第一卷积层输出的64个卷积特征图，使用1×1的卷积核，通道数是64，卷积特征图的数量变成32个，输出32个卷积特征图；

(4)、输出层，输入为第二卷积层输出的32个卷积特征图，使用了5×5的卷积核，卷积特征图的通道数是32，卷积核数量是1，输出层输出的卷积特征图即为高分辨图像。

训练参数的选择上，SRCNN算法的学习率(Learning-Rate)为0.0015，每个图像训练的次数(step)为18000，训练样本的数量为5；在5×18000次迭代后，得到的网络参数即为对被动太赫兹雷达传感器采集的第一图像进行高清恢复使用的网络参数；

测试阶段，使用的是经过三立方插值后的测试图像，所述测试图像的卷积核为1×1128，通道数为256，共计101张。由于被动太赫兹雷达传感器采集得到的测试图像不存在原始的高清图，因此训练模型的好坏通过对比图像与训练图像之间的匹配度即可进行判断，当对比图像与训练图像之间的匹配度满足要求时，将所述训练模型作为高清恢复模型。

其中，所述匹配度包括所述对比图像与训练图像之间的峰值信噪比(PeakSignaltoNoiseRatio，PSNR)和结构相似性(StructuralSimilarity，SSIM)；

具体地，分别计算对比图像与训练图像之间峰值信噪比和结构相似性，当计算得到的峰值信噪比和结构相似性均满足设定的阈值时，则判定所述训练模型满足要求，将满足要求的训练模型作为高清恢复模型，示例性的，峰值信噪比的设定阈值为30dB，结构相似性的设定阈值为0.9。

实验结果表明，该方法可有效的将282×64的原始低分辨被动太赫兹图像恢复到1128×256的高清图。

与图1的方法相对应，本发明实施例还提供一种基于神经网络的安防图像高清恢复系统，所述系统包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一实施例所述的基于神经网络的安防图像高清恢复方法。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

所称处理器可以是中央处理单元(Central-Processing-Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor，DSP)、专用集成电路(Application-Specific-Integrated-Circuit，ASIC)、现场可编程门阵列(Field-Programmable-Gate-Arr ay，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于神经网络的安防图像高清恢复系统的控制中心，利用各种接口和线路连接整个一种基于神经网络的安防图像高清恢复系统可运行装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于神经网络的安防图像高清恢复系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart-Media-Card，SMC)，安全数字(Secure-Digital，SD)卡，闪存卡(Flash-Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。