颜色迁移匹配特征的视频监控影像增强方法

技术领域

本发明涉及一种视频监控影像增强方法，特别涉及一种颜色迁移匹配特征的视频监控影像增强方法，属于视频监控影像增强技术领域。

背景技术

随着经济社会的高速发展，城镇化建设越来越快，城市的综合治理面临着巨大的挑战，大中型城市对社会公共事件与公共区域的监控手段和监测方式主要是安防视频监控系统。同时，随着视频监控系统在交通和安全等领域的广泛使用，针对监控场景下的影像增强处理，提高目标的辨识信息，显得日益重要。城市安防监控系统的效果与监控视频影像系统收集到的影像质量关系密切，在城市安防系统当中，高清晰度、高颜色信息的视频监控影像对于还原事件现场尤为重要，由于城市安防系统还处于发展阶段，有些方面的技术并不是非常成熟，通过视频监控系统采集到的影像并不理想，很多时候满足不了实际使用需要。

目前的城市安防监控视频影像在实际使用当中存在很多问题：第一，在夜晚，监控影像光线不足的情况下，整个画面由于路灯和车灯的影响，造成整个画面降质或偏色，影响对目标(车辆，行人)的识别；第二，光电传感器的非线性导致影像颜色缺失，在成像过程中，噪声、天气状况和光照等因素对影像质量的影响；第三，在存储和传输过程中，有限的网络带宽和服务器存储限制等情况也会造成影像信息的丢失和影像的块效应。通过监控探头采集到的影像和视频文件受到以上几个因素的影响，导致影像质量差，影响对目标(人与车)的辨识度，针对监控视频的彩色影像颜色增强方法具有重要的研发价值和广阔的运用空间。

城市安防监控系统针对监控影像的颜色增强技术，考虑到彩色影像跟灰度影像的区别，需要对彩色影像的不同颜色通道进行处理，达到对影像颜色信息进行增强的目的，与此同时减少影像由于饱和度增强，所产生的块效应，使监控影像在颜色校正和去块效应之间达到平衡。影像颜色迁移是以一副参照影像为模板处理目标影像，使得目标影像与参照影像有同样或类似的颜色，最简单的方法就是将参照影像的颜色信息直接映射到待处理影像上，实现两幅影像的颜色迁移，但这种方法很容易造成较大的失真。影像的颜色迁移一般分为两类：一种是彩色影像之间的颜色迁移，另一种是灰度影像与彩色影像之间的颜色迁移，前者也被称为影像的颜色校正，后者为灰度影像彩色化或上色。

现有技术最初的彩色影像增强方法是分别对彩色影像的每一个颜色分量进行增强处理，增强的方法一般是灰度影像增强法，然后将处理后的各个通道合到一起，得到增强后的彩色影像。但这种处理方法没有考虑到彩色影像各个通道之间的相关性，处理效果不理想，会造成影像颜色的失真和偏色。由于灰度影像的增强算法已较成熟，最初的彩色影像增强方法对亮度通道用灰度影像的增强算法进行处理，将影像的亮度通道用灰度影像增强算法处理以达到对彩色影像处理的效果。这种算法的缺点也显而易见，灰度影像算法的优劣，直接影响到整个影像处理的效果。现有技术有一些基于CLEAN的彩色影像增强算法，将CLEAN算法进行改进优化，使其用于实时对影像进行增强处理，使用保持色调不变的算法，对影像中出现的色调不一致进行校正；对亮度通道用CLAHE算法，对影像的像素用瑞丽分布重新分配。

现有技术在颜色迁移方向为两个方面：基于模板的颜色迁移算法、基于人工干预的颜色迁移算法，前者将模板影像的颜色特征转移到目标图像上，后者是一种半自动需要人工参与的彩色化算法，通过亮度和色度的相关性将人工标注的颜色扩散到所有未标注区域，从而完成目标影像的颜色迁移过程，基于模板的彩色化步骤简单，实现效率高，但是对色调复杂的影像效果不是太好；welsh提出一种基于像素邻域统计信息的颜色迁移方法，但该算法对参考模板依耐性太大，在参考影像与目标影像纹理差别太大时效果不好，传统的基于亮度通道进行颜色增强处理时，在增强颜色的同时，会造成影像颜色块效应，同时也会容易造成色偏，对影像色度不能很好的恢复；在使用颜色迁移的方法对影像进行颜色增强处理时，会遇到参考影像与待处理影像纹理不一致导致特征不容易匹配的问题，还有颜色的色偏问题，即参考影像与目标影像亮度一致而色度不一致的问题。

对于影像质量评价的标准各式各样，影像增强也没有一个科学的定义，影像增强的结果大部分依靠人眼视物特征主观对影像进行评价。因此，对于监控影像的增强，只能结合监控影像的特征，从城市安防行业对于监控视频影像增强的需求来选择合适的监控视频影像增强方法。所以，基于人眼视觉特征应用在监控视频影像的颜色增强算法很有必要，专门针对监控视频影像的颜色增强方法很有必要。

现有技术的影像增强方法不能很好的满足城市视频监控影像的应用需求，现有技术主要存在以下缺陷需要改进：

第一，城市监控视频影像光线不足的情况下，整个画面降质或偏色，影响对目标的识别；光电传感器的非线性导致影像颜色缺失，有限的网络带宽和服务器存储限制等情况也会造成影像信息的丢失和影像的块效应，现有技术通过监控探头采集到的影像和视频文件受到以上因素的影响，导致影像质量差，影响对目标的辨识度，高清晰低、低颜色信息的视频监控影像严重制约视频监控影像的运用；

第二，现有技术的彩色影像增强方法是分别对彩色影像的每一个颜色分量进行增强处理，增强的方法一般是灰度影像增强法，然后将处理后的各个通道合到一起，得到增强后的彩色影像，但这种处理方法没有考虑到彩色影像各个通道之间的相关性，处理效果不理想，会造成影像颜色的失真和偏色；

第三，现有技术在颜色迁移方向为两个方面：基于模板的颜色迁移算法、基于人工干预的颜色迁移算法，基于模板的彩色化对色调复杂的影像效果不是太好，对参考模板依耐性太大，在参考影像与目标影像纹理差别太大时效果不好，基于亮度通道进行颜色增强处理时，在增强颜色的同时，会造成影像颜色块效应，同时也会容易造成色偏，对影像色度不能很好的恢复；在使用颜色迁移的方法对影像进行颜色增强处理时，会遇到参考影像与待处理影像纹理不一致导致特征不容易匹配的问题，还有颜色的色偏问题，即参考影像与目标影像亮度一致而色度不一致的问题；

第四，用现有技术的颜色增强算法在监控视频影像上进行影像增强处理，根据实验结果对算法进行细致分析发现，现有技术的颜色增强算法满足不了实际监控视频影像处理需求，实际的视频监控影像中，通常会出现影像的颜色饱和度过低、色偏等问题，采用现有技术的方法如基于直方图处理的影像颜色增强和Retinex算法进行颜色增强会导致色度亮度不一致，进而出现颜色噪点和颜色块效应问题。所以需要提出一种新的解决方案来对监控视频影像进行颜色增强处理；

第五，在城市视频监控系统中，目标人物或目标车辆是最主要的两个关注点，然而，目标人物或车辆的影像质量不佳，降质的视频影像影响影像中关键信息的提取和处理，从而会对城市综治带来不利影响，影响工作效率，需要对这类影像进行影像增强处理，增强影像的细节信息，提高目标人物或车辆的辨识度，监控影像本身存在着诸如影像信息通道缺失，色偏严重，信息量不足，光照影响大的情况，对于这类情况，只针对这一幅影像的颜色增强，效果达不到实际需求，颜色恢复效果不佳。

发明内容

针对监控视频领域存在的各种各样的问题，比如一些户外监控只能在天气好时才能较好的工作，在大雾、沙尘、低光照等情况下影像质量退化严重，给各类监控造成了极大的困难，本发明充分利用监控系统的特有功能，就得对监控视频影像进行增强处理，增强视频监控降质影像的信息，提出一种基于纹理约束，用颜色转移的思想解决视频监控影像中出现的偏色、影像无色情况下的颜色增强问题，保持颜色不失真，模拟人眼视觉特性恢复彩色信息，针对监控视频影像用现有技术的颜色增强算法容易产生颜色失真和块效应的问题，用颜色迁移的方法对影像颜色进行增强处理，并且对颜色增强算法进行改进，用基于亮度纹理信息约束影像的颜色信息，实现对监控视频影像的颜色增强，解决现有技术的颜色增强应用于监控视频影像所产生的块效应和颜色不正常的问题。

为达到以上技术效果，本发明所采用的技术方案如下：

颜色迁移匹配特征的视频监控影像增强方法，分为三步：步骤1，特征点提取，通过高斯金字塔模型，对参照影像和目标影像由初始的低分辨率影像到高分辨率逐层迭代优化，得到整幅影像的高斯金字塔；步骤2，特征点匹配，通过计算参照影像和目标影像之间的欧氏距离，逐个寻找最近的特征点进行匹配；步骤3，基于步骤2中的得到的特征匹配点对初始影像进行颜色转移；本发明基于影像颜色增强的问题转化到通过参照影像和目标影像特征点进行颜色匹配的方法进行影像颜色增强的问题，通过增强目标影像纹理的颜色信息，对目标影像进行增强；

本发明将初始监控影像进行颜色饱和度增强作为颜色迁移的参照影像，对于颜色失真的部分以人工方式去掉不作为参照影像，将初始影像的灰度分量作为颜色迁移的目标影像，在此基础上通过影像颜色特征提取与匹配进行影像的颜色迁移，实现颜色增强并同时保证影像色度和亮度的一致性，消除颜色噪点和颜色块效应；

颜色迁移匹配特征的视频监控影像增强方法流程具体包括：

第1步，首先输入待处理的目标影像和参照影像，通过放缩得到一系列尺寸由小到大的影像，即空间金字塔；

第2步，从尺寸最小的影像开始进行特征点提取，按照从小到大的规则对空间金字塔影像逐层进行特征点提取；

第3步，将参照影像的特征点与待处理影像特征点进行特征点匹配，在参照影像特征点中找到与待处理影像特征点最接近的点，用欧氏距离进行度量；

第4步，将匹配后的特征点进行颜色赋值，得到处理后的影像，将目标影像的亮度通道和参照影像进行归一化操作，对于目标影像没有提取到特征点的像素与参照影像对应位置像素颜色空间进行归一化，将参照影像颜色通过转换赋值到目标影像上；

SIFT改进算法提取视频监控影像特征点的步骤包括：第一，构建不同的尺度空间，在不同的尺度空间检测特征点；第二，检测空间极值点；第三，定位关键点；第四，分配关键点方向；第五，关键点特征描述；第六，SIFT匹配。

颜色迁移匹配特征的视频监控影像增强方法，进一步的，颜色迁移匹配特征的影像增强方法架构：采用颜色迁移的改进方法对监控视频影像进行颜色增强，用增强饱和度的影像的颜色信息，对输入的影像的亮度通道进行颜色迁移，得到被增强影像颜色信息，同时颜色迁移使得颜色的过度自然；

本发明提出用特征点匹配的方法进行颜色迁移，实现对监控视频的颜色真实复原，颜色迁移匹配特征的影像增强方法架构主要包括：

第一步，对待处理的视频监控影像提取灰度通道；

第二步，增强原始待处理的视频监控影像的饱和度，得到饱和度增强后的影像；

第三步，将第一步提取灰度通道与第二步得到的饱和度增强后的影像进行融合，优化实现颜色迁移；

第四步，通过颜色迁移匹配特征，实现视频监控影像增强，得到颜色增强后的高保真视频监控影像。

颜色迁移匹配特征的视频监控影像增强方法，进一步的，视频监控影像颜色增强的核心是用颜色转移对影像进行颜色增强的处理，监控视频影像具有连续性，用需颜色矫正的影像前后几帧影像进行配准，以保证影像颜色的稳定性，作为待处理影像进行处理，采用的方法是通过特征点提取和特征点匹配进行颜色迁移，对目标影像进行特征点提取；初始参照影像的特征点颜色决定目标影像的特征点颜色，将目标影像的颜色特征点与初始影像的颜色特征点的匹配过程定义为匹配特征点过程，监控视频环境下目标影像和参照影像的颜色特征点的提取通过检测初始的SIFT特征点，并用对特征点进行迭代更新的方法，迭代更新采用高斯金字塔模型，获取最终稳定的颜色特征点，然后将待处理影像和参照影像进行特征点匹配，将参照影像的颜色传递给待处理影像，实现颜色增强。

颜色迁移匹配特征的视频监控影像增强方法，进一步的，提取SIFT局部特征：用特征提取的方法对视频监控影像做颜色迁移，SIFT点特征提取在各个不同尺度下的空间上检测局部不变的特征点，然后计算特征点的位置、大小、方向；

SIFT改进算法提取视频监控影像局部特征分解为四步：

步骤一，检测尺度空间极值：采用高斯微分函数检测目标影像，找到影像中潜在的旋转不变和尺度不变的特征点；

步骤二，定位关键点：在初始探测到的每个兴趣点的初始位置上，引入合精细模型对每个兴趣点进行拟合，找到一个确定的尺度和位置，那些越稳定的特征点越有可能被选择为关键点；

步骤三，确定方向：根据每个兴趣点的梯度方向，每个兴趣点都能找到一个或者多个不同的方向，然后根据每个关键点的尺度、位置和方向对影像的每个数据进行变换操作，保证每个特征点都具有一定的稳定性；

步骤四，描述特征点：在提取到的每个特征点周围，进行影像特征点的局部梯度计算，通过将不同方向的梯度转换成一种特征描述。

颜色迁移匹配特征的视频监控影像增强方法，进一步的，在影像不同的尺度空间下，寻找稳定局部不变的特征点，其中不同尺度下的空间变换通过高斯模糊算法实现，实现尺度变换通过高斯卷积核实现，本发明采用的高斯模糊算法为：通过采用正态分布模拟计算出一个可能存在的模糊模板，通过计算后的模版对原影像进行卷积操作，使初始影像变得模糊，N维空间正态分布方程为：

其中，d是正态分布的标准差参数，若影像越模糊和平滑，其对应的d值也越大，模板中心到每个模板元素的距离表示为模糊半径，用t表示，假设模糊模版大小为n*m，则对应的元素(x,y)在模板上的高斯计算式表示为：

将上式投射到在二维空间中，对应生成的曲面是从中心区域开始的同心圆，其中等高线呈正态分布，那些非零元素组成的卷积矩阵与初始原影像进行卷积变换，将初始影像进行平滑处理，其中每个像素值都由其周围相邻像素的平均值表示，高斯分布的峰值在初始的像素点出现，初始像素点具有最高的权重值，随着周围像素与初始像素的距离越来越远，其相应的像素权重值逐渐减小。

颜色迁移匹配特征的视频监控影像增强方法，进一步的，第一，构建不同的尺度空间，在不同的尺度空间检测特征点：不同尺度空间下特征点检测的算法是：首先构建一个影像处理模型，并初始化一个尺度参数，然后对尺度参数进行连续变换，获取在不同尺度空间的影像特征描述，对这些不同尺度空间的特征描述进行主轮廓特征提取，通过提取后的主轮廓构建一个特征向量，将影像变换到不同的分辨率和对影像进行边缘检测后再进行特征提取，尺度空间变换将单尺度的影像处理融合到多尺度变化的影像分析框架中，更容易获取影像稳定的不变特征，同时，影像质量随着尺度空间的变换而变化，尺度变换模拟出人眼视物从近到远的影像降质过程，影像尺度变换采用高斯卷积核实现，影像的尺度空间由一个变尺度的高斯函数F(x,y,σ)与影像J(x,y)卷积产生，即

H(x，y，σ)＝F(x，y，σ)*J(x，y)

其中H(x,y,σ)是高斯函数，并且尺度可变，x,y是空间坐标，即特征点的尺度坐标，σ的取值反应影像的平滑程度，小尺度的σ对应更关注影像的细节特征，大尺度的σ对应更关注影像的概貌特征，小的σ值对应精细尺度，大的σ值对应粗糙尺度，n,m表示高斯模板的维度由(6σ+1)×(6σ+1)确定，(x,y)代表影像的像素位置，*表示卷积运算，

尺度空间的变化通过高斯金字塔表示实现，其中，构建高斯金字塔分为二部分：一是在不同尺度下对原影像进行高斯模糊处理，二是对初始影像进行隔点采样处理。

影像的金字塔模型的处理方法为：首先对初始影像进行连续的降阶采样处理，得到由大到小一系列大小不同的影像序列，由此获得一个下到上构成的塔状模型，塔状模型的影像序列大小不一，其中金字塔的第一层为初始输入的原影像，金子塔的第一层为初始输入的原影像，金字塔的每一层影像由每次降采样所得到的新影像构成，经过m次采样处理构成一个共m层的金字塔，初始影像的大小和塔顶影像的大小决定金字塔的层数，其计算式为：

m＝log

其中N，M为对应的表示原影像的大小,金字塔塔顶的影像维数最低的对数值表示为r,对于一个初始影像大小为512*512的影像，其构建的金字塔上各层影像的大小为：当塔顶影像为2*2时，金字塔的层数为m＝8；当塔顶影像为4*4时，金字塔为7层；

体现尺度空间的连续性，在对高斯金字塔进行降采样的基础上加上高斯滤波处理，高斯金字塔上一组影像的底层影像由前一组影像的往前数的第三层影像进过隔点采样处理之后得到，对高斯金字塔上相邻的两层影像进行做差处理，然后进行极值检测，极值检测的影像由每一组影像的高斯差分影像得到。

颜色迁移匹配特征的视频监控影像增强方法，进一步的，第二，检测空间极值点：关键点是一些在DOG空间中计算的局部极值点，关键点的初始检测通过比较同一组内各DOG相邻二层影像，寻找二层影像中的极值点，通过将每一个像素与它周围像素的相邻点比较，看其是否完全大于周围尺度域的相邻点或完全小于极值，找到DOG函数空间的极值点，关键点的检测在相邻尺度进行比较，金字塔中间两层才能进行比较，从而进行不同尺度空间下的极值点检测；为保证在每组C个尺度中检测的极值点数目为C个，则每组DOG金字塔都构建C+2层影像，高斯金字塔的生成由DOG金字塔相邻两层做差获得，每组DOG金字塔都需C+3层影像，经过多层做差计算，DOG算子会产生较强的边缘响应，并且某些极值点响应较弱，需要剔除。

颜色迁移匹配特征的视频监控影像增强方法，进一步的，第三，定位关键点：得到的都是离散空间检测的极值点后，采用拟合函数对关键点进行精确定位，并且确定其尺度和位置，拟合通过三维二次函数实现，并且剔除一部分响应值较低的关键点和一些不够稳定的特征点，通过曲线拟合提高关键点的稳定性，并且提高关键点的抗噪能力；

保证关键点具有较高的稳定性，拟合不同尺度空间DOG函数用不同的曲线，其中拟合函数的泰勒展开式为：

其中，X＝(x，y，σ)

求解得，对应极值点

颜色迁移匹配特征的视频监控影像增强方法，进一步的，第四，分配关键点方向：进一步提高关键点的稳定性，获取旋转不变性的特征描述，根据影像的局部特征给每一个关键点分配一个不同的基准方向，并且通过计算影像梯度求取处理影像局部的稳定方向，对于在上一步中获取的关键点，计算该关键点在所在高斯金字塔3σ邻域窗口内像素的梯度和关键点的方向分布特征，其计算式分别为：

θ(x，y)＝tan

其中，σ表示关键点在尺度空间的坐标，y为每组金字塔层间的索引，σ

关键点所在的尺度空间值用H表示，按σ＝1.5σ

其中，每个关键点的邻域梯度的方向由直方图的高度表示，保留大于该直方图主方向峰值80％的方向，并以保留后的方向作为此特征点的辅方向，增强关键点匹配算法的稳定性，把特征点随机赋值成多份特征点，然后对离散的梯度方向直方图用插值拟合的方式处理，以此更精确的检测到每个特征点的方向及对应的角度值。

颜色迁移匹配特征的视频监控影像增强方法，进一步的，第五，关键点特征描述：通过以上步骤处理得到的每一个特征点，获取三个描述信息：位置、方向及尺度。接下来对每一个特征点建立一个特征描述子，并引入一个特征向量描述这个关键点，这个描述向量不仅包括该特征点信息，同时也包括该特征点邻域内对其描述子有贡献的像素点，而且描述符具有一定的特殊性和判别型，便于后面提高影像特征点匹配的结果，SIFT特征是一种关键点描述符，表示该特征点邻域高斯影像梯度统计结果，通过利用关键点位置对关键点周围影像区域进行分块，计算不同区域内的梯度，然后生成每个关键点特有的描述向量，这个向量表示该区域影像信息，且具有唯一性，然后按照影像中不同特征点的尺度对特征向量进行排序，得到描述SIFT特征的向量。

与现有技术相比，本发明的贡献和创新点在于：

第一，颜色迁移能够保证影像色度和亮度的一致性，不会出现颜色噪点和颜色块效应，因此本发明提出利用颜色迁移进行监控视频影像的颜色增强，但现有技术的颜色迁移是在两幅不同影像之间进行颜色传递，虽能增强颜色的主观质量，但得到的颜色信息并不一定客观真实，对于城市监控视频影像，必须保证影像颜色信息的真实性，因此参照影像必须包含跟目标影像相同的内容，初始监控影像虽颜色饱和度低，但仍然包含部分正确的颜色信息，因此本发明将初始监控影像进行颜色饱和度增强作为颜色迁移的参照影像，对于颜色失真的部分以人工方式去掉不作为参照影像，将初始影像的灰度分量作为颜色迁移的目标影像，在此基础上通过影像颜色特征提取与匹配进行影像的颜色迁移，实现颜色增强并同时保证影像色度和亮度的一致性，消除颜色噪点和颜色块效应。实验结果表明，本发明视频监控影像的颜色过度自然，与现有技术的颜色迁移方法相比，本发明不是在不同的两幅影像之间进行颜色传递，而是用原影像颜色信息对原影像灰度分量进行迁移，保证颜色的真实性和可靠性；

第二，本发明视频监控影像颜色增强的核心是用颜色转移对影像进行颜色增强的处理，为保证影像颜色的稳定性，用需颜色矫正的影像前后几帧影像进行配准，作为待处理影像进行处理，通过特征点提取和特征点匹配进行颜色迁移，对目标影像进行特征点提取，为达到目标影像和初始参照影像的颜色特征分布一致，将目标影像的颜色特征点与初始影像的颜色特征点的匹配过程定义为匹配特征点过程，针对监控视频环境下目标影像和参照影像的颜色特征点的提取，通过检测初始的SIFT特征点，并用对特征点进行迭代更新的方法，迭代更新采用的高斯金字塔模型，获取最终稳定的颜色特征点，然后将待处理影像和参照影像进行特征点匹配，将参照影像的颜色传递给待处理影像，实现颜色增强；实验表明，本发明方法明显优于现有技术的颜色增强算法，基于影像颜色增强的问题转化到通过参照影像和目标影像特征点进行颜色匹配的方法进行影像颜色增强的问题，本发明通过增强目标影像纹理的颜色信息，对目标影像进行增强，实验结果也证明了局部纹理信息对影像颜色增强有重要作用；

第三，针对监控视频领域存在的各种各样的问题，比如一些户外监控只能在天气好时才能较好的工作，在大雾、沙尘、低光照等情况下影像质量退化严重，给各类监控造成了极大的困难，本发明充分利用监控系统的特有功能，就得对监控视频影像进行增强处理，增强视频监控降质影像的信息，提出一种基于纹理约束，用颜色转移的思想解决视频监控影像中出现的偏色、影像无色情况下的颜色增强问题，保持颜色不失真，模拟人眼视觉特性恢复彩色信息，针对监控视频影像用现有技术的颜色增强算法容易产生颜色失真和块效应的问题，用颜色迁移的方法对影像颜色进行增强处理，并且对颜色增强算法进行改进，用基于亮度纹理信息约束影像的颜色信息，实现对监控视频影像的颜色增强，解决现有技术的颜色增强应用于监控视频影像所产生的块效应和颜色不正常的问题；

第四，本发明根据监控视频影像具有连续性和稳定性的特点，提出用颜色迁移的方法来解决监控影像下颜色增强的问题，将同一个场景下，监控影像质量好的影像的颜色特征迁移到需要增强的影像上，或将影像颜色信息较多但有块效应的影像颜色信息，通过颜色迁移从而对待处理影像进行颜色增强，在监控视频影像光线不足的情况下，整个画面也不会降质或偏色，不会导致影像颜色缺失，不会造成影像信息的丢失和影像的块效应，影像质量好，对目标的辨识度，高清晰高、高颜色信息的视频监控影像有利于视频监控影像的运用；

第五，本发明利用高斯金字塔对影像进行特征点提取，保证影像不同尺度下的特征点都能提取到，并用影像亮度纹理对颜色进行约束，减少影像由于颜色增强所带来的块效应，在保证影像颜色增强的同时，增强图像信息，充分考虑到彩色影像各个通道之间的相关性，不会造成影像颜色的失真和偏色，在参考影像与目标影像纹理差别太大时效果依然好，不会造成影像颜色块效应和色偏，目标人物或车辆的影像质量好，在保证影像颜色增强的同时，增强图像信息，实现影像清晰化处理，高质量的视频影像促进影像中关键信息的提取和处理，对城市综合管理提供有力支撑，提高综治工作效率。

附图说明

图1是颜色迁移匹配特征的影像增强方法架构图。

图2是本发明分配关键点方向的方式说明示意图。

图3是高斯金字塔对特征点进行迭代优化示意图。

图4是颜色迁移匹配特征的视频监控影像增强方法流程图。

图5是输入影像和饱和度增强后的输出影像示意图。

图6是本发明方法与其它方法结果对比示意图。

图7是颜色信息迁移校正前后效果对比示意图。

具体实施方式

下面结合附图，对本发明提供的颜色迁移匹配特征的视频监控影像增强方法的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。

随着经济社会的高速发展，城镇化建设越来越快，城市的综合治理面临巨大的挑战。城市视频监控系统作为智慧城市中不可缺少的一环，监控视频分析在安全防护和综合治理方面起着举足轻重的作用，而影像的颜色信息是视频分析最主要的依据之一，对于特定目标查找和线索发现具有重要意义。但在实际的视频监控影像中，通常会出现影像的颜色饱和度过低和色偏问题。现有技术的方法如基于直方图处理的影像颜色增强和Retinex算法颜色增强会导致色度亮度不一致，出现颜色噪点和颜色块效应。

颜色迁移是将参照影像的颜色传递到目标影像上，参照影像跟目标影像是不同影像，由于颜色迁移能够保证影像色度和亮度的一致性，不会出现颜色噪点和颜色块效应，因此本发明提出利用颜色迁移进行监控视频影像的颜色增强，但现有技术的颜色迁移是在两幅不同影像之间进行颜色传递，虽能增强颜色的主观质量，但得到的颜色信息并不一定客观真实。对于城市监控视频影像，必须保证影像颜色信息的真实性，因此参照影像必须包含跟目标影像相同的内容，初始监控影像虽颜色饱和度低，但仍然包含部分正确的颜色信息，因此本发明提出一种颜色迁移匹配特征的视频监控影像增强方法，将初始监控影像进行颜色饱和度增强作为颜色迁移的参照影像，对于颜色失真的部分以人工方式去掉不作为参照影像，将初始影像的灰度分量作为颜色迁移的目标影像，在此基础上通过影像颜色特征提取与匹配进行影像的颜色迁移，实现颜色增强并同时保证影像色度和亮度的一致性，消除颜色噪点和颜色块效应。

实验结果表明，与现有技术颜色增强方法相比，本发明引入并针对性改进颜色迁移方法，保证视频监控影像的颜色过度自然，与现有技术的颜色迁移方法相比，本发明不是在不同的两幅影像之间进行颜色传递，而是用原影像颜色信息对原影像灰度分量进行迁移，保证颜色的真实性和可靠性。

一、颜色迁移匹配特征的影像增强方法架构

城市综治中取得的监控视频，兴趣目标的辨识度越高越好，本发明针对视频监控条件下的影像增强，需要对影像中的车辆进行增强，以增强车辆的辨识度，对目标人物进行影像增强，以增强目标人物的信息，增强辨识度。但视频监控下的这类影像，目标本身的细节信息就很少，实际情况下很难增加目标的细节信息，因此，对影像进行增强，只能增强影像的视觉感知性，让人眼感觉看的更清楚。

由于现有技术的基于亮度的方法无法满足实际应用需求，使用现有技术影像颜色增强算法在监控影像上会造成块效应和噪声问题，监控视频影像虽然颜色信息较弱，但亮度通道的纹理清楚，将输入的影像饱和度增强，得到一幅颜色信息被放大的监控视频影像，这类影像在颜色信息被放大的同时，在影像上会产生块效应，导致整体影像降质。本发明采用颜色迁移的改进方法对监控视频影像进行颜色增强，架构如图1所示，用增强饱和度的影像的颜色信息，对输入的影像的亮度通道进行颜色迁移，得到被增强影像颜色信息，同时颜色迁移使得颜色的过度自然，不会出现由于现有技术的增强饱和度，而对影像造成的块效应。

本发明提出用特征点匹配的方法进行颜色迁移，解决视频监控影像颜色增强问题，实现对监控视频的颜色真实复原。颜色迁移匹配特征的影像增强方法架构图如图1，主要包括：

第一步，对待处理的视频监控影像提取灰度通道；

第二步，增强原始待处理的视频监控影像的饱和度，得到饱和度增强后的影像；

第三步，将第一步提取灰度通道与第二步得到的饱和度增强后的影像进行融合，优化实现颜色迁移；

第四步，通过颜色迁移匹配特征，实现视频监控影像增强，得到颜色增强后的高保真视频监控影像。

二、颜色迁移匹配特征的视频监控影像增强算法

视频监控影像颜色增强的核心是用颜色转移对影像进行颜色增强的处理，监控视频影像具有连续性，为保证影像颜色的稳定性，用需颜色矫正的影像前后几帧影像进行配准，作为待处理影像进行处理，采用的方法是通过特征点提取和特征点匹配进行颜色迁移，对目标影像进行特征点提取。为了达到目标影像和初始参照影像的颜色特征分布一致，即初始参照影像的特征点颜色决定目标影像的特征点颜色，将目标影像的颜色特征点与初始影像的颜色特征点的匹配过程定义为匹配特征点过程，针对监控视频环境下目标影像和参照影像的颜色特征点的提取，通过检测初始的SIFT特征点，并用对特征点进行迭代更新的方法，迭代更新采用的高斯金字塔模型，获取最终稳定的颜色特征点，然后将待处理影像和参照影像进行特征点匹配，将参照影像的颜色传递给待处理影像，实现颜色增强。

(一)提取SIFT局部特征

视频监控影像的关注对象是影像中的人物或车辆，特征对于视频监控影像极为重要，本发明用特征提取的方法对视频监控影像做颜色迁移，SIFT点特征提取在各个不同尺度下的空间上检测局部不变的特征点，然后计算特征点的位置、大小、方向，SIFT算法提取的特征点不会因为光照、形变和噪点因素变化。

1.本发明SIFT改进算法提取视频监控影像局部特征分解为四步：

步骤一，检测尺度空间极值：采用高斯微分函数检测目标影像，找到影像中潜在的旋转不变和尺度不变的特征点；

步骤二，定位关键点：在初始探测到的每个兴趣点的初始位置上，引入合精细模型对每个兴趣点进行拟合，找到一个确定的尺度和位置，那些越稳定的特征点越有可能被选择为关键点；

步骤三，确定方向：根据每个兴趣点的梯度方向，每个兴趣点都能找到一个或者多个不同的方向，然后根据每个关键点的尺度、位置和方向对影像的每个数据进行变换操作，保证每个特征点都具有一定的稳定性；

步骤四，描述特征点：在提取到的每个特征点周围，进行影像特征点的局部梯度计算，通过将不同方向的梯度转换成一种特征描述，这种描述在较大光照变化和局部形状变化的情况下，依具有很好的鲁棒性。

在影像不同的尺度空间下，寻找稳定局部不变的特征点，其中不同尺度下的空间变换通过高斯模糊算法实现，实现尺度变换通过高斯卷积核实现，本发明采用的高斯模糊算法为：通过采用正态分布模拟计算出一个可能存在的模糊模板，通过计算后的模版对原影像进行卷积操作，使初始影像变得模糊，N维空间正态分布方程为：

其中，d是正态分布的标准差参数，若影像越模糊和平滑，其对应的d值也越大，模板中心到每个模板元素的距离表示为模糊半径，用t表示，假设模糊模版大小为n*m，则对应的元素(x,y)在模板上的高斯计算式表示为：

将上式投射到在二维空间中，对应生成的曲面是从中心区域开始的同心圆，其中等高线呈正态分布，那些非零元素组成的卷积矩阵与初始原影像进行卷积变换，为防止过拟合，将初始影像进行平滑处理，其中每个像素值都由其周围相邻像素的平均值表示，高斯分布的峰值在初始的像素点出现，初始像素点具有最高的权重值，随着周围像素与初始像素的距离越来越远，其相应的像素权重值逐渐减小，高斯模糊处理的滤波器能很好的保留影像边缘效果。

2.SIFT改进算法提取视频监控影像特征点的步骤包括：

(1)第一，构建不同的尺度空间，在不同的尺度空间检测特征点：

不同尺度空间下特征点检测的算法是：首先构建一个影像处理模型，并初始化一个尺度参数，然后对尺度参数进行连续变换，获取在不同尺度空间的影像特征描述，对这些不同尺度空间的特征描述进行主轮廓特征提取，通过提取后的主轮廓构建一个特征向量，将影像变换到不同的分辨率和对影像进行边缘检测后再进行特征提取，尺度空间变换将单尺度的影像处理融合到多尺度变化的影像分析框架中，更容易获取影像稳定的不变特征，同时，影像质量随着尺度空间的变换而变化，尺度变换模拟出人眼视物从近到远的影像降质过程，影像尺度变换采用高斯卷积核实现，影像的尺度空间由一个变尺度的高斯函数F(x,y,σ)与影像J(x,y)卷积产生，即

H(x,y,σ)＝F(x,y,σ)*J(x,y)

其中H(x,y,σ)是高斯函数，并且尺度可变，x,y是空间坐标，即特征点的尺度坐标，σ的取值反应影像的平滑程度，小尺度的σ对应更关注影像的细节特征，大尺度的σ对应更关注影像的概貌特征，小的σ值对应精细尺度，大的σ值对应粗糙尺度，n,m表示高斯模板的维度由(6σ+1)×(6σ+1)确定，(x,y)代表影像的像素位置，*表示卷积运算，

尺度空间的变化通过高斯金字塔表示实现，其中，构建高斯金字塔分为二部分：一是在不同尺度下对原影像进行高斯模糊处理，二是对初始影像进行隔点采样处理。

影像的金字塔模型的处理方法为：首先对初始影像进行连续的降阶采样处理，得到由大到小一系列大小不同的影像序列，由此获得一个下到上构成的塔状模型，塔状模型的影像序列大小不一，其中金字塔的第一层为初始输入的原影像，金子塔的第一层为初始输入的原影像，金字塔的每一层影像由每次降采样所得到的新影像构成，经过m次采样处理构成一个共m层的金字塔，初始影像的大小和塔顶影像的大小决定金字塔的层数，其计算式为：

m＝log

其中N，M为对应的表示原影像的大小,金字塔塔顶的影像维数最低的对数值表示为r,对于一个初始影像大小为512*512的影像，其构建的金字塔上各层影像的大小为：当塔顶影像为2*2时，金字塔的层数为m＝8；当塔顶影像为4*4时，金字塔为7层。

为体现尺度空间的连续性，在对高斯金字塔进行降采样的基础上加上高斯滤波处理，高斯金字塔上一组影像的底层影像由前一组影像的往前数的第三层影像进过隔点采样处理之后得到，对高斯金字塔上相邻的两层影像进行做差处理，然后进行极值检测，极值检测的影像由每一组影像的高斯差分影像得到。

(2)第二，检测空间极值点：

关键点是一些在DOG空间中计算的局部极值点，关键点的初始检测通过比较同一组内各DOG相邻二层影像，寻找二层影像中的极值点，通过将每一个像素与它周围像素的相邻点比较，看其是否完全大于周围尺度域的相邻点或完全小于极值，找到DOG函数空间的极值点，关键点的检测在相邻尺度进行比较，金字塔中间两层才能进行比较，从而进行不同尺度空间下的极值点检测。为保证在每组C个尺度中检测的极值点数目为C个，则每组DOG金字塔都构建C+2层影像，高斯金字塔的生成由DOG金字塔相邻两层做差获得，每组DOG金字塔都需C+3层影像，实施例计算时C的取值为3.5，经过多层做差计算，产生的极值点并不一定就是稳定不变的特征点，DOG算子会产生较强的边缘响应，并且某些极值点响应较弱，需要被剔除。

(3)第三，定位关键点：

通过以上几步得到的都是离散空间检测的极值点，采用拟合函数对关键点进行精确定位，并且确定其尺度和位置，拟合通过三维二次函数实现，并且剔除一部分响应值较低的关键点和一些不够稳定的特征点，通过曲线拟合提高关键点的稳定性，并且提高关键点的抗噪能力；初始离散空间的极值点有可能不真实，例如连续空间极值点和二维函数离散空间得到的差别，子像素插值通过已知的离散空间经过无限插值生成连续空间极值，为保证关键点具有较高的稳定性，拟合不同尺度空间DOG函数用不同的曲线，其中拟合函数的泰勒展开式为：

其中，X＝(x，y，σ)

求解得，对应极值点

(4)第四，分配关键点方向：

为进一步提高关键点的稳定性，获取旋转不变性的特征描述，根据影像的局部特征给每一个关键点分配一个不同的基准方向，并且通过计算影像梯度求取处理影像局部的稳定方向，对于在上一步中获取的关键点，计算该关键点在所在高斯金字塔3σ邻域窗口内像素的梯度和关键点的方向分布特征，其计算式为：

θ(x，y)＝tan

其中，σ表示关键点在尺度空间的坐标，y为每组金字塔层间的索引，σ

关键点所在的尺度空间值用H表示，按σ＝1.5σ

其中，每个关键点的邻域梯度的方向由直方图的高度表示，保留大于该直方图主方向峰值80％的方向，并以保留后的方向作为此特征点的辅方向，增强关键点匹配算法的稳定性，实际操作中，把特征点随机赋值成多份特征点，然后对离散的梯度方向直方图用插值拟合的方式处理，以此更精确的检测到每个特征点的方向及对应的角度值。

(5)第五，关键点特征描述：

通过以上步骤处理得到的每一个特征点，获取三个描述信息：位置、方向及尺度。接下来对每一个特征点建立一个特征描述子，并引入一个特征向量描述这个关键点，这个描述向量不仅包括该特征点信息，同时也包括该特征点邻域内对其描述子有贡献的像素点，而且描述符具有一定的特殊性和判别型，便于后面提高影像特征点匹配的结果，SIFT特征是一种关键点描述符，表示该特征点邻域高斯影像梯度统计结果，通过利用关键点位置对关键点周围影像区域进行分块，计算不同区域内的梯度，然后生成每个关键点特有的描述向量，这个向量表示该区域影像信息，且具有唯一性，然后按照影像中不同特征点的尺度对特征向量进行排序，得到描述SIFT特征的向量。

(6)第六，SIFT匹配：

采用比较特征点最近邻和次近邻距离进行SIFT匹配，在待处理影像中遍历每个特征点，同时在参照影像中寻找跟其最接近的两个特征点，同时得到两个欧氏距离，用最近的欧氏距离跟次近的欧式距离做商得到一个比率B，通过设定临界值R，如果这个比率B低于临界值，认定这一对特征点正确匹配。

实施例比率B

对于准确度要求高的匹配：B＝0.4；

对于要求比较多的匹配点数：B＝0.6；

一般情况下：B＝0.5。

(二)影像特征点优化迭代匹配

迭代优化初始的特征点，为能够准确获取描述整个彩色影像的特征点，引入高斯金字塔进行迭代更新优化，高斯金字塔在不同的尺度下对影像进行分析。如图3所示，用高斯金字塔对特征点进行迭代优化：首先用SIFT选取最初等级的影像特征点，然后按照分辨率由低到高的顺序逐步更新特征点，从最上放影像开始提取特征点，然后逐层往下，最终得到整个影像的特征点，在每一步迭代优化中，通过当前参照影像和目标影像的特征点匹配进行颜色迁移，保证更新的特征点能最好的反应该等级下彩色影像特征。

(三)颜色迁移匹配特征的视频监控影像增强方法流程

颜色迁移匹配特征的视频监控影像增强方法流程图如4所示，具体包括：

第1步，首先输入待处理的目标影像和参照影像，通过放缩得到一系列尺寸由小到大的影像，即空间金字塔；

第2步，从尺寸最小的影像开始进行特征点提取，按照从小到大的规则对空间金字塔影像逐层进行特征点提取；

第3步，将参照影像的特征点与待处理影像特征点进行特征点匹配，在参照影像特征点中找到与待处理影像特征点最接近的点，用欧氏距离进行度量；

第4步，将匹配后的特征点进行颜色赋值，得到处理后的影像，将目标影像的亮度通道和参照影像进行归一化操作，对于目标影像没有提取到特征点的像素与参照影像对应位置像素颜色空间进行归一化，将参照影像颜色通过转换赋值到目标影像上。

三、实验结果及分析

输入影像和输出影像分别如图5(a)和图5(b)所示，Reinhard算法如图6(a)所示，在监控视频影像中产生了整体色偏，Welsh算法如图6(b)所示，在进行颜色迁移时，处理结果整体偏暗，这是因为输出结果的亮度通道的值是跟目标影像的亮度值相关，模糊聚类算法如图6(c)所示，在监控视频影像中的表现并不太好，因为模糊聚类算法在目标影像和待处理影像颜色信息都比较丰富时，才能产生多个聚类中心，输出更为理想丰富的颜色影像，由于监控视频影像普遍颜色信息不丰富，所以模糊聚类影像在监控视频影像下的应用效果不佳。本发明的方法如图6(d)所示，由于采用的是特征点匹配，并且对目标影像与参照影像进行亮度归一化，得到的结果色度和亮度值在视觉感官上明显优于现有技术的三种方法。

在实际监控视频影像中，由于监控视频影像颜色信息不丰富，对这类影像进行增强方案是增强其饱和度，但增强饱和度的监控视频影像会产生块效应，利用本发明的方法进行影像的颜色迁移后可以减少块效应，并且增强影像的颜色信息，如图5(b)是由图5(a)进行颜色饱和度增强后得到的，但饱和度增强后，影像的块效应明显，通过本发明方法后得到的输出影像，明显的减少了块效应，并且增强了影像的颜色信息。

在对影像进行颜色增强的时候，如图6(d)中框内区域的颜色是不正常的，经过分析发现这是由于目标影像和参照影像此区域都是有偏红的颜色信息，为了达到颜色校正的目的，对此区域颜色，通过SIFT点匹配，用跟它相邻区域的颜色信息进行迁移校正，得到处理后结果如图7所示。

本发明针对监控视频影像提出一种基于颜色迁移匹配特征的影像增强方法，分为三步：步骤1，特征点提取，通过高斯金字塔模型，对参照影像和目标影像由初始的低分辨率影像到高分辨率逐层迭代优化，得到整幅影像的高斯金字塔；步骤2，特征点匹配，通过计算参照影像和目标影像之间的欧氏距离，逐个寻找最近的特征点进行匹配；步骤3，基于步骤2中的得到的特征匹配点对初始影像进行颜色转移。实验表明，本发明提出方法明显优于现有技术的颜色增强算法，基于影像颜色增强的问题转化到通过参照影像和目标影像特征点进行颜色匹配的方法进行影像颜色增强的问题，本发明通过增强目标影像纹理的颜色信息，对目标影像进行增强，实验结果也证明了局部纹理信息对影像颜色增强有重要作用。