基于多特征的红外可见光多源图像增强系统

技术领域

本发明涉及图像处理技术领域，尤其是基于多特征的红外可见光多源图像增强系统。

背景技术

基于可见光的视频被广泛应用于电力现场作业安全监控，但基于可见光的现场作业视频安全监控，往往易受环境光照、姿态、表情、饰物等影响，无法准确对特定目标的识别、跟踪。而红外可见光图像具有较强的穿透力，不受光照影响，针对低照度、低能见度(雾气、光照不足)可见光条件下，亟需一种对于红外可见光图像的增强技术，解决背景复杂和低光照问题，提供不受环境光影响的、高质量的图像，提高作业人员检测、识别及跟踪准确率。

发明内容

本发明的目的是通过提出基于多特征的红外可见光多源图像增强系统，以解决上述背景技术中提出的缺陷。

本发明采用的技术方案如下：

提供基于多特征的红外可见光多源图像增强系统，包括：

图像采集模块：用于采集恶劣环境下的红外可见光图像数据；

预处理模块：用于对采集的红外可见光图像进行预处理操作；

特征提取模块：用于对预处理后的红外可见光图像进行特征提取操作；

特征增强模块：基于深度卷积神经网络进行红外可见光图像特征点的特征增强。

作为本发明的一种优选技术方案：所述恶劣环境包括存在雾气的环境或是光照不足的环境。

作为本发明的一种优选技术方案：所述预处理模块对采集的红外可见光图像进行分辨率统一处理，还进行红外可见光图像均值化处理。

作为本发明的一种优选技术方案：所述红外可见光图像均值化处理具体如下：

其中，

其中，x为经过均值处理后的红外可见光图像数据。

作为本发明的一种优选技术方案：所述特征提取模块基于特征提取函数提取红外可见光图像特征数据。

作为本发明的一种优选技术方案：所述特征提取函数y具体如下：

其中，x

其中，n

作为本发明的一种优选技术方案：所述特征提取函数取最小的d个特征值对应的特征向量组成的矩阵作为提取的红外可见光图像特征数据。

作为本发明的一种优选技术方案：所述深度卷积神经网络包括输入层、卷积层、池化层、LRN层、随机采样层、全连接层、softmax分类回归层和输出层。

作为本发明的一种优选技术方案：所述池化层采用一般池化中的max-pooling进行池化处理。

作为本发明的一种优选技术方案：所述卷积神经网络的卷积层计算如下：

其中，M

卷积层的输出图片维数N

其中，N

池化层的输出维数为：

其中，N

本发明提供的基于多特征的红外可见光多源图像增强系统，与现有技术相比，其有益效果有：

本发明基于深度卷积神经网络对红外可见光多源特征点进行提取处理，并经过卷积反复进行特征增强，使需要的目标差异特征最大化，提升识别准确度，为红外可见光图像识别提供不受环境光影响的、高质量的红外可见光图像，提高作业人员检测、识别及跟踪准确率，为远方监控人员提供更好的监控视频效果。

附图说明

图1为本发明优选实施例的系统框图；

图2为本发明优选实施例中深度卷积神经网络结构图。

图中各个标记的意义为：100、图像采集模块；200、预处理模块；300、特征提取模块；400、特征增强模块。

具体实施方式

需要说明的是，在不冲突的情况下，本实施例中的实施例及实施例中的特征可以相互组合，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明优选实施例提供了基于多特征的红外可见光多源图像增强系统，包括：

图像采集模块100：用于采集恶劣环境下的红外可见光图像数据；

预处理模块200：用于对采集的红外可见光图像进行预处理操作；

特征提取模块300：用于对预处理后的红外可见光图像进行特征提取操作；

特征增强模块400：基于深度卷积神经网络进行红外可见光图像特征点的特征增强。

所述恶劣环境包括存在雾气的环境或是光照不足的环境。

所述预处理模块200对采集的红外可见光图像进行分辨率统一处理，还进行红外可见光图像均值化处理。

所述红外可见光图像均值化处理具体如下：

其中，

其中，x为经过均值处理后的红外可见光图像数据。

所述特征提取模块300基于特征提取函数提取红外可见光图像特征数据。

所述特征提取函数y具体如下：

其中，x

其中，n

所述特征提取函数取最小的d个特征值对应的特征向量组成的矩阵作为提取的红外可见光图像特征数据。

所述深度卷积神经网络包括输入层、卷积层、池化层、LRN层、随机采样层、全连接层、softmax分类回归层和输出层。

所述池化层采用一般池化中的max-pooling进行池化处理。

所述卷积神经网络的卷积层计算如下：

其中，M

卷积层的输出图片维数N

其中，N

池化层的输出维数为：

其中，N

本实施例中，图像采集模块100使用Python爬虫技术获取10类共993张图片，分为200张图片的测试集和793张图片的训练集。预处理模块200对红外可见光图像进行分辨率的统一，变成256*256，然后将10类中各个类随机抽取20张放入测试集，剩余图片放入训练集，再进行均值计算：

其中,

其中，x为经过均值处理后的红外可见光图像数据。

将图片减去均值再进行训练，通过计算可以减少图片数据之间的相似性，从而大大提高训练的精度以及速度。

特征提取模块300基于特征提取函数y提取红外可见光图像特征数据：

其中，x

其中，n

特征增强模块400基于深度卷积神经网络进行红外可见光图像特征点的特征增强，参照图2，采用图2中包括5个卷积层conv、3个池化层pool、2个LRN层norm、2个随机采样层drop、3个全连接层fc和1个softmax分类回归线的深度卷积神经网络进行红外可见光图像的增强处理，其中卷积层参数为：cinv1、conv2、conv3、conv4、conv5的blob类型分别为[1，96，55，55]、[1，256，27，27]、[1，384，13，13]、[1，384，13，13]和[1，256，13，13]，步长分别为4、2、1、1、1；pool层的参数为：pool 1：[1，96，27，27]，pool2：[1，256，13，13]，pool5：[1，256，6，6]。

其中卷积层和ReLU层成对出现，ReLU激活函数的表达式为：y＝{0，max(x)}，当输入x＞0时，输入x本身，如果输入小于或等于0，则输出0。在x＞0时，ReLU函数的导数是恒定的，而tanh和sigmoid函数不是恒定的，所以ReLU函数避免了tanh和sigmoid函数在两端接近目标时导数变小，导致在训练神经网络时，BP反向传播误差而导致收敛减慢的问题。ReLU的优点是收敛快，求梯度简单，并且训练后具有稀疏性，可减少数据冗余，增强红外可见光图像特征的表达能力。

池化层一般在卷积层之后，再红外可见光图像卷积之后使用POOLING将小邻域内特征点整合后得到新的特征，通常卷积和池化是以conv-pool的形式存在，减少卷积之后造成的信息冗余，pool层又叫降采样层，一方面能够达到降维的目的，降低上一个卷积层输出的特征向量的维度，另一方面是能够减少过拟合。一般情况下pool层分为三种：一般池化、重叠池化和金字塔池化，一般池化又分为max-pooling、meanpooling和Stochastic-pooling，本发明采用max-pooling降低红外可见光图像的噪声，减少红外可见光图像的卷积输出结果对于输入的误差过于敏感的这种过拟合现象。且对于红外可见光图像来说，max-pooling可以保证特征的位置和旋转不变性，这是一种很好的特性，因为不论这个卷积之后得到的有效特征在哪个位置出现，都不用考虑其出现位置而能把它提取出来。并且max-pooling大大减少了模型的参数数量，而对于pool层之后的norm层来说，神经元的个数大大减少。

进行如下的计算：

卷积神经网络的卷积层计算如下：

其中，M

卷积层的输出图片维数N

其中，N

池化层的输出维数为：

其中，N

根据上述深度卷积网络的处理对红外可见光图像的特征点进行特征增强模式需要的目标差异特征最大化，提升识别准确度。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。