复杂环境下的多摄像机视频目标追踪方法

技术领域

本发明涉及一种视频目标追踪方法，特别涉及一种复杂环境下的多摄像机视频目标追踪方法，属于视频目标追踪技术领域。

背景技术

随着电子元器件、通信技术和多媒体技术的迅猛发展，视频图像获取设备被大量运用到我们的日常生活当中，人们对机器智能分析视频图像的需求越来越强烈，计算机视觉这门学科应运而生。计算机视觉是在图像处理基础上发展起来的新兴学科，目前其相关技术，已成功应用在工业智能化、智能机器人、医学图像处理、视频监控、人机交互等领域中。智能视频监控是计算机视觉主要应用之一，主要是指采用计算机从视频图像中获取相关信息，智能分析并作出相应决策的监控方式。由于其决策过程取决于视频图像源的信息提取，因此如何分析图像成为了该技术应用的关键问题。在传统的视频监控模式下，安保人员需要长时间的监视视频画面，远远超出人的接受能力，导致实际的视频监控效果低下。因此利用机器自主识别来改善监控效果，同时减轻安保人员的负担，是非常有必要的，拥有巨大的价值。

运动目标追踪是视频监控技术重要技术之一，近年来，尽管有一些目标追踪方法被提出，但是视频目标追踪方法仍然是非常具有挑战性，它仍然面临很多问题：一是长期追踪问题，现有技术的视频目标追踪方法都只能在短期内保证其准确性，随着追踪时间的推移，追踪将变得越来越不准确；二是鲁棒性问题，由于目标的姿态、光照变化以及遮挡等因素的影响，经常会造成目标追踪中出现追踪漂移甚至丢失追踪目标的情况。在当前实际的视频监控应用中，摄像机的布置一般都不止一个，而现有技术的视频目标追踪方法主要停留在单摄像机下的目标追踪，多摄像机下的追踪涉及较少。因此研发设计一种多摄像机下的长期目标追踪方法既具有研究意义又具有巨大的市场应用价值。

现有技术的视频压缩感知追踪方法的现状和不足，以及本发明拟解决的问题表现在：

随着视频目标追踪技术需求的逐渐增多以及越来越复杂多变的应用环境，对追踪方法的要求也越来越高，不仅要求追踪方法运行效率高效、追踪结果准确，还要求它们对于复杂多变的追踪环境具有很强的抗干扰能力，视频压缩感知追踪方法作为一个鲁棒性较高的算法，在这个方面仍有改进空间。

视频压缩感知追踪方法的追踪目标是由用户指定的，而选择目标时指定的追踪框的尺寸对于该算法来说非常重要，因为追踪框的尺寸自始至终都对视频压缩感知追踪方法产生着影响：一是它决定了目标取样框尺寸，追踪方法中追踪框内的目标就被视为追踪目标，视频压缩感知追踪方法在对目标进行压缩取样时其特征就是在追踪框内部获取，然后根据这些特征计算出目标的特征矩阵，因此追踪框的大小是影响目标取样的重要因素；二是它决定了正负样本的生成，追踪目标的正负样本都是在追踪框的周围进行取样产生，追踪框的尺寸影响着正负样本取样的范围和精确度；三是它决定了目标搜索的范围，检测器在检测目标时并不是在整个图像范围内获取候选检测目标，这样计算量太大且缺少目的性，时间上和空间上都不允许，因此视频压缩感知实时追踪方法是在上一帧目标位置周围进行目标搜索，因此追踪框的大小决定了目标搜索覆盖的范围。

然而现有技术的视频压缩感知追踪方法并没有智能调节目标追踪框尺寸的机制，目标追踪框不会随着目标尺寸的改变而改变，当目标尺寸发生显著变化时，追踪过程会出现一些问题：

第一，不能反映出目标的变化情况，物体的运动情况通常是无法预测的，好的追踪器除了能正确反映出目标的运动轨迹外，也应该能正确的反映出目标尺寸的变化情况，而视频压缩感知追踪方法的追踪框是固定的，不能及时准确的反映出目标尺寸的变化情况；

第二，引入更多的噪声，影响后续的目标追踪结果，当追踪目标尺寸产生显著变化时，追踪框范围内的样本已经不能反映真实目标的情况，当目标增大时，视频压缩感知追踪方法的追踪框标示的是目标的一小部分，只能对目标的局部进行取样追踪，算法的追踪结果尚在可接受的范围内，但是当目标缩小时，此时目标框范围内除了追踪目标之外，必然还有其它信息，例如：背景或是其它的运动目标，这些噪声会在追踪目标样本更新时引入到分类器中，进而对目标的追踪结果产生很大的影响，极端的情况下，当目标本身的信息只占整个追踪框很小的一部分时，追踪器将目标作为噪声处理，将占追踪框绝大部分的噪声作为追踪目标进行后续的追踪。

鉴于目标追踪框尺寸对该算法的重要性，本发明的改进使压缩感知方法感知目标的尺寸变化，并且动态调整目标框的大小，提高视频压缩感知追踪方法的抗噪能力以及精确度。

现有技术多摄像机的视频追踪方法的现状和不足，以及本发明拟解决的问题表现在：

在视频监控系统发展的短短几十年时间里，智能视频监控系统给人们的生活带来了翻天覆地的变化，有很多比较成熟的应用已经渗透到我们日常生活的方方面面，极大的节省了劳动力，例如应用在交通行业的车辆类型识别、车牌号识别、车流统计，金融领域的ATM监控、周边安全防范，还有森林防火监控领域的烟雾感应识别、明火隐患智能检测等，然而这些成熟的应用大多只涉及单台摄像机处理，不涉及多摄像机之间数据传递与共享，对于小区安防、平安城市这种大型的多摄像机监控系统应用来说，现有技术仍然是依靠人力去进行识别追踪，机器的辅助较少，智能化程度较低。

由于单个摄像机的观察范围十分有限，在单摄像机环境下，当目标的移动范围超出了摄像机的视野范围，追踪将不能继续。在目前大型的视频监控系统中，通常会布置大量的摄像机对一大片区域进行监控。显然，单摄像机下的追踪系统是不能够满足日益复杂的智能监系统的需求。

现有技术大多数的视频监控系统仍然停留在人工监视的状态，这种以人为主要的监控方式不仅被动，而且效率低下，经常由于人为的疏忽未能及时发现危机和问题，而错过了补救的最佳时机，不能发挥视频监控系统应该的功能。因此对多摄像机下的智能目标追踪系统的设计很研发就显的非常重要。

发明内容

针对现有技术的不足，本发明通过基于网页信息收集以及检索的理论与实践，解决了现有技术大多数的视频监控系统仍然停留在人工监视的状态，监控方式不仅被动，而且效率低下，经常由于人为的疏忽未能及时发现危机，错过了补救的最佳时机，不能发挥视频监控系统应该的功能的问题。多摄像机下的智能目标追踪系统涉及多摄像机之间数据传递与共享，对于小区安防、平安城市这种大型的多摄像机监控系统应用来说，不再依靠人力去进行识别追踪，机器辅助多，智能化程度高。避免了单个摄像机的观察范围十分有限，当目标的移动范围超出摄像机的视野范围，追踪将不能继续的问题。在目前大型的视频监控系统中，本发明的多摄像机视频目标追踪能够满足日益复杂的智能监系统的需求。

为达到以上技术效果，本发明所采用的技术方案如下：

复杂环境下的多摄像机视频目标追踪方法，基于视频压缩感知实时追踪方法进行改进，提出智能调整处理的视频压缩感知实时追踪方法，通过构建追踪目标图像金字塔，对多尺度下的目标进行取样，并进行机器学习，然后通过构建多尺度的搜索框，实现追踪目标框尺寸智能调整处理；本发明在智能调整处理的视频压缩感知实时追踪方法的基础上提出多摄像机下的视频压缩感知实时追踪系统，在单摄像机追踪系统的基础上通过引入网络通信、运动目标检测和匹配模块完成多摄像机的目标追踪系统；

智能调整处理的视频压缩感知方法架构包括：目标图像金字塔、基于图像金字塔的目标取样和学习、视频目标检测，多摄像机视频压缩感知实时追踪方法的框架包括：摄像机的网络拓扑结构设计、视频运动目标检测、运动目标精准匹配；

多摄像机视频压缩感知实时追踪方法流程：构建一个主进程作为整个网络的中央控制系统承担数据的存储转发以及输出追踪目标当前的位置信息，构建多个终端进程作为各个摄像机设备的控制进程，承担对采集到的图像进行背景建模，检测以及匹配运动目标，并且对处在可视范围内的目标进行追踪；在主进程和终端进程之间构建网络通信，传递追踪目标的相关特征参数以及当前所在位置信息，模拟多摄像机下的视频压缩感知实时追踪系统，主进程主要通过网络链接收发消息，统一管理多个摄像机终端，接收由各个摄像机终端进程发送的目标追踪数据和结果，并将这些数据转发到其它检测到目标运动的摄像机设备上，保证目标出现在系统中时能持续的对目标进行追踪；各个摄像机终端进程构建并更新自己的智能调整处理的背景模型，对自己监控范围的运动目标进行检测，检测到目标运动的摄像机就将相关追踪数据信息与主进程之间进行通信，判断运动目标是否就是需要追踪的目标，一旦确认目标就对目标进行持续追踪并向主进程发送追踪信息，其中，短期目标追踪方法采用智能调整处理视频压缩感知实时追踪方法。

复杂环境下的多摄像机视频目标追踪方法，进一步的，目标图像金字塔：将目标的可能变化也加入到样本之中进行分类，在目标大小发生显著变化时，调整目标框的大小，通过构建图像金字塔，预测目标的大小变化，并对相应的目标正负样本进行学习；本发明采用双线性内插法对原图像进行滤波，构建一个变化幅度小的图像金字塔预测目标变化；

双线性插值滤波为：图像像素点的色彩值由其4个最邻近的点通过加权得出，令(x,y)为放大图像中一个点的坐标，令u(x,y)表示它的灰度值，对于双线性内插，其所赋灰度值用表示为：

u(x,y)＝ex+fy+sxy+g

其中，4个系数由点(x,y)的4个最邻近点写出的4个未知方程式确定，采用双线性插值滤波构建图像金字塔，自由调整金字塔层级之间的变化幅度，以贴合追踪目标的变化幅度。

复杂环境下的多摄像机视频目标追踪方法，进一步的，基于图像金字塔的目标取样和学习：在构建图像金字塔后，对各个尺度下的目标进行取样，取样过程基于压缩感知理论，将取样扩展到整个图像金字塔中；

首先对原始目标图像进行取样，取样样本分为正负样本两类，将原始追踪框半径c范围内的样本框作为正样本，c与b范围间的样本框作为负样本进行取样，对于获取的正负样本采集它们的压缩特征作为其样本表示进行机器学习，压缩特征的采集通过在单个样本框内生成位置大小数量都随机的子框后累加灰度值得到；

视频压缩感知实时追踪方法采用非常稀疏的随机测量矩阵对原图像进行描述，具体取样流程是：首先在样本框内部生成2到3个小的取样框，这些小的取样框的大小和位置都是随机生成，然后将这些随机取样框内的灰度值进行累加，获取的值就是该样本的一个特征描述子，对目标重复进行m次的以上的取样过程，这m个特征描述子组成的m维特征向量为原目标的压缩表示；

本发明不仅获取原图像的随机取样矩阵，并且还要对其进行扩展，对多尺度下的原图像进行取样，构建扩展的随机取样矩阵，保持原有取样值和图像金字塔下其它层次取样值之间的关联度，其它尺度的取样框的大小由该层与原始图像层之间的大小比例关系决定，定义为：

其中D

J(x，y)＝sum(D(i，j))，0≤i≤x，0≤j≤y

其中J表示积分图像，D表示原始图像，采用图像积分图，快速获取一个矩形框的像素值之和，对于由点E(x,y),F(x,y’),S(x’,y),G(x’,y’)组成的矩形框，其像素值之和用积分图表示为：

sum(G)＝J

对图像金字塔的每一层图像分别计算积分图并进行相应的取样，对各个尺度下的目标图像取样完成之后，对采集到的压缩特征进行分类，分类器采用朴素贝叶斯分类器，分类完成之后对下一帧的目标进行检测。

复杂环境下的多摄像机视频目标追踪方法，进一步的，视频目标检测：完成对原始目标的正负样本取样和分类器构建后，提取下一帧图像进行目标检测，目标检测的过程是对候选框进行筛选分类的过程，找到目标可能的存在位置并对这些位置进行取样，并代入到分类器中进行运算，继而决定目标当前所在位置；

基于物体运动轨迹连续这一特征，目标在上一帧位置周围出现的概率很高，只需在目标上一帧位置周围生成候选框，候选框的生成范围由参数t确定，定义为：

Cyc(x，y)＝{(x，y)||(x+y)-(x

其中(x

生成候选框后，对这些候选框进行压缩取样，将取样获取的特征向量代入到朴素贝叶斯分类器中，求出各个特征的分类得分值，得分最高的向量其后验概率最大，将这个特征向量所对应的候选框作为当前帧目标的真实位置，之后采集当前目标周围的正负样本特征对分类器进行更新，供下一帧追踪分类时使用；

从构建目标图像金字塔到对目标进行正负取样分类，最后获取目标的真实位置这一过程就是智能调整处理的视频压缩感知方法的基本追踪流程，重复以上流程直到退出就是一次完整的目标追踪过程。

复杂环境下的多摄像机视频目标追踪方法，进一步的，智能调整处理视频压缩感知实时追踪方法主要由两部分组成，一部分是初始化部分，主要是在用户选取了追踪目标框之后，初始化相关数据结构和参数，并且生成子取样框和构建分类器，另一部分是追踪部分，主要是重复的判断目标当前位置和更新分类器；

主要函数包括：1)Init()：为初始化函数，它由一系列的子操作构成，主要包括初始化数据结构和参数，生成取样框子窗口，采集目标选择框周围的正负样本，构建分类器；2)HarrFeature()：生成初始样本的随机子特征框，根据设定的每个样本的重复取样次数m，共生成m组子特征框，金字塔图像的其它层级的子特征框按照各层图像与原始图像之间的比例生成；3)getNextFrame()：获取摄像机下一帧的图像；4)sampleRect(a,b)：在追踪框的a到b的范围内生成不同尺寸的样本框，样本框尺寸比例由金字塔层级之间的比例确定，正负样本的区别是由它们到追踪框的距离范围a、b确定；5)getFeatureValue()：利用图像积分图计算每个样本的样本值，计算出的样本值是一个m维的向量，每一维的值是由随机在该样本框内生成的随机子框的灰度特征值累加获取，这个m维向量就是对原样本的压缩感知取样，是这个样本框内图像数据的降维表示；6)classifierUpdate()：对输入的正负样本进行分类学习，获取每个维度上样本分布的期望和方差值，也能输入新的正负样本对分类器进行更新，更新时有一个学习比例权值决定新旧样本所占的权重值；7)processFrame()：智能调整处理视频压缩感知实时追踪方法的追踪过程的实现，计算目标可能位置的追踪框的特征值，利用构建好的分类器求得后验概率最高的候选框作为追踪框，最后在追踪框周围进行新的正负样本取样和分类器更新；8)radioClassifier()：通过输入的候选框计算当前帧可能的目标所在框的特征值，获取分类器得分最大的候选框，将此框作为这一帧目标的实际位置。

复杂环境下的多摄像机视频目标追踪方法，进一步的，摄像机的网络拓扑结构设计：在目标追踪过程中，如果目标只在一个摄像机中移动时，其外观变化连续性较强，利用最初的特征数据，就能顺利的对目标进行追踪；但当目标从一个摄像机消失，继而出现在另一个摄像机中时，其外观姿态通常变化较大，因此构建相应的网络，让追踪目标的特征信息能在各个摄像机之间进行传递，保证对追踪目标的及时匹配和持续追踪；

多摄像机追踪系统每台计算机控制多个摄像机终端，相当于一个集中式的网络结构，较大的监控系统根据摄像机的地理布置对摄像机进行分区，每个区域的摄像机由一台计算机进行处理，组成一个分布式或协作式的网络结构，端与端之间的通信采用TCP/IP协议。

复杂环境下的多摄像机视频目标追踪方法，进一步的，视频运动目标检测：构建目标检测机制，只需要在有运动目标出现时目标匹配即可，运动目标的检测是发现运动的目标，然后将运动的目标与正在追踪的目标相匹配，判断该运动目标是否是追踪目标；

运动目标的检测方法基于背景减除法，对背景进行建模，当运动物体出现时只需要将当前图像与建模的背景进行差分，就可检测到运动目标，并且得到目标相对完整的轮廓，针对背景的逐渐变化，采用智能调整处理的背景模型，其数学表示为：

当前背景＝c×前一帧图像+(1-c)×前一背景

其中c是背景更新参数，其取值直接影响背景的更新的速度和质量，采用背景减除法检测目标过程是将当前图像帧与构建的背景模型相减，然后采用指定的临界值对差分图像进行二值化处理，得到的相应的运动目标所在区域轮廓；采用临界值对差分图像进行处理，临界值的设定值对获取的目标轮廓的质量至关重要，根据目标和背景的颜色差异进行调整，当摄像机最初感知到运动物体时，目标尚未完全进入摄像区域，此时获取的目标特征并不完整，待目标完全进入摄像区域，再提取目标的轮廓信息，获取运动目标的轮廓后，获取该运动物体的所在矩形区域，但这个矩形框内的目标不一定就是追踪目标，需要系统根据其它摄像机留下的目标特征做进一步的匹配判断。

复杂环境下的多摄像机视频目标追踪方法，进一步的，运动目标精准匹配：检测到运动目标之后，对该运动目标进行匹配，判断它是否为当前正在追踪的目标，需要寻找一种具有光照、角度及尺度不变性的特征来检测是否是同一目标，并且运算速度要满足实时计算的需求，本发明采用改进SURF特征点满足该需求；

SURF特征点通过构建多尺度空间金字塔寻找像素的局部极值点，采用近似Hessian矩阵行列式构建图像金字塔，Hessian矩阵由函数及其偏导数组成，其数学表示为：

对于原图像上的一点J(x，y)在经过高斯滤波之后变为：

K(x，r)＝D(r)·J(x，r)

其中D(r)为高斯核，r为高斯方差，K(x，r)是图像在不同解析度的表示，滤波后的图像再进行Hessian近似计算为：

det(H

在利用Hessian矩阵获取图像金字塔之后，后面的特征点检测过程是将每个像素点和它领域内的26个点进行大小比较，如果这个点是其领域内的极大值或者极小值，就将它作为备选特征点，然后利用三维线性插值法获取亚像素级特征点，并采用临界值过滤掉一部分特征较弱的特征点，最后剩下的就是匹配时需要的特征较强的特征点。

复杂环境下的多摄像机视频目标追踪方法，进一步的，确定特征点之后计算这些特征点的主方向，SURF特征点主方向由其领域内的harr小波特征决定，即统计其领域内60度扇形范围内所有点的水平harr小波特征和垂直harr小波特征的总和，将最大值作为特征点的主方向，之后就会在特征点周围取一个正方形的框，框的边长为20c，c是特征点所在金字塔层的尺度，将这个框等分成4×4的子区域，分别计算他们水平方向和垂直方向的haar小波特征，然后得到的一个64维的向量，即为SURF算法中这个特征点的描述算子；

对于初始选择的追踪目标，保存它的SURF特征，对于检测到的运动目标也要提取它的SURF特征，并将两者进行匹配，如果匹配成功就认定出现在另一个摄像机中的目标是初始的追踪目标，利用智能调整处理的视频压缩感知方法对它进行重新取样和持续的追踪，如果不是，则舍弃这一运动目标，继续对其它运动目标进行判断；

成功匹配到追踪目标后，将目标当前所在区域作为初始追踪框，然后在此摄像机的输入图像序列下对目标进行追踪，直到目标从该摄像机中消失，其追踪的结果反馈给中央系统，由中央系统输出当前目标的所在位置。

复杂环境下的多摄像机视频目标追踪方法，进一步的，多摄像机视频压缩感知实时追踪方法流程中，主进程流程的主要函数包括：1)Init()：初始化程序函数，主要承担初始化追踪目标相关的存储变量，socket变量；2)listen()与accept()：socket编程中服务器端采用的相关函数，在采用socket()函数构建套接字，bind()函数绑定监听的端口后，采用listen()函数监听链接请求以及accept()函数接受链接请求，构建网络链接；3)CreateThread()：构建新的线程，构建线程是主进程会将新构建的socket链接发送给线程，每个线程承担处理一个摄像机终端进程发送的消息；4)CheckMsg()：封装recv()函数，检查是否有新的消息；5)Handle()：承担处理由终端系统进程发送的信息，包括接收并保存终端系统发送的追踪目标特征信息，当前所在摄像机位置及坐标，控制各个终端系统的检测状态；6)SendMsg()：将Handle()函数处理后的结果信息发送给各个终端系统进程。

与现有技术相比，本发明的贡献和创新点在于：

第一，本发明提供的复杂环境下的多摄像机视频目标追踪方法，相比现有技术其追踪的智能调整处理程度得到显著提升，对于目标追踪中出现的疑难问题，例如光照变化、目标遮挡以及噪声都有良好的抵抗能力，大幅提高了该算法在实际项目中的应用价值，提高了目标追踪方法应对复杂环境的能力，提高了方法本身的鲁棒性，本发明在此基础上提出多摄像机下的视频压缩感知实时追踪系统，在单摄像机追踪系统的基础上通过引入网络通信、运动目标检测和匹配模块完成多摄像机的目标追踪系统，当追踪目标从一个摄像机移动到另一个或者多个摄像机时，该系统能够准确检测出追踪目标并持续对目标进行追踪，多摄像机追踪可行性好，精确度和效率高；

第二，本发明提供的复杂环境下的多摄像机视频目标追踪方法，长期追踪效果好，不仅能在短期内保证其准确性，而且随着追踪时间的推移，追踪结果依然准确；鲁棒性好，不会由于目标的姿态、光照变化以及遮挡等因素的影响，出现追踪漂移甚至丢失追踪目标的情况,在当前实际的视频监控应用中，摄像机的布置一般都不止一个，本发明多摄像机下的长期目标追踪方法运行效率高效、追踪结果准确，对于复杂多变的追踪环境具有很强的抗干扰能力；

第三，本发明提供的复杂环境下的多摄像机视频目标追踪方法，视频压缩感知追踪方法具有智能调节目标追踪框尺寸的机制，目标追踪框随着目标尺寸的改变而改变，当目标尺寸发生显著变化时，追踪过程能反映出目标的变化情况，物体的运动情况通常是无法预测的，本发明的追踪器除了能正确反映出目标的运动轨迹外，也能正确的反映出目标尺寸的变化情况；避免引入更多的噪声，影响后续的目标追踪结果，当追踪目标尺寸产生显著变化时，追踪框范围内的样本能反映真实目标的情况，当目标增大或缩小时，目标框范围内除了追踪目标之外，不会有其它信息，本发明的改进使压缩感知方法感知目标的尺寸变化，并且动态调整目标框的大小，提高了视频压缩感知追踪方法的抗噪能力以及精确度；

第四，本发明提供的复杂环境下的多摄像机视频目标追踪方法，解决了现有技术大多数的视频监控系统仍然停留在人工监视的状态，监控方式不仅被动，而且效率低下，经常由于人为的疏忽未能及时发现危机，错过了补救的最佳时机，不能发挥视频监控系统应该的功能的问题。多摄像机下的智能目标追踪系统涉及多摄像机之间数据传递与共享，对于小区安防、平安城市这种大型的多摄像机监控系统应用来说，不再依靠人力去进行识别追踪，机器辅助多，智能化程度高。避免了单个摄像机的观察范围十分有限，当目标的移动范围超出摄像机的视野范围，追踪将不能继续的问题。在目前大型的视频监控系统中，本发明的多摄像机视频目标追踪能够满足日益复杂的智能监系统的需求。

附图说明

图1是智能调整处理的视频压缩感知实时追踪方法的流程示意图。

图2是多摄像机视频压缩感知实时追踪方法中央系统主流程图。

图3是多摄像机视频压缩感知实时追踪方法摄像机终端流程图。

具体实施方式

下面结合附图，对本发明提供的复杂环境下的多摄像机视频目标追踪方法的技术方案进行进一步的描述，使本领域的技术人员能更好的理解本发明并能够予以实施。

随着高性能计算机以及高性价比摄像机被广泛应用，人们对智能视频处理的要求越来越高。现有技术视频目标追踪方法大多对环境假设较为理想，对于目标追踪中出现的疑难问题，例如光照变化、目标遮挡以及噪声都没有良好的抵抗能力，大幅降低了这些算法在实际项目中的应用价值。提高目标追踪方法应对复杂环境的能力，提高方法本身的鲁棒性是视频目标追踪的关键。

本发明基于视频压缩感知实时追踪方法进行改进，提出智能调整处理的视频压缩感知实时追踪方法，通过构建追踪目标图像金字塔，对多尺度下的目标进行取样，并进行机器学习，然后通过构建多尺度的搜索框，实现追踪目标框尺寸智能调整处理。本发明对智能调整处理视频压缩感知实时追踪方法进行了仿真实验和分析，实验结果表明，智能调整处理视频压缩感知实时追踪方法相比原算法其追踪的智能调整处理程度得到显著提升。本发明在智能调整处理的视频压缩感知实时追踪方法的基础上提出多摄像机下的视频压缩感知实时追踪系统，在单摄像机追踪系统的基础上通过引入网络通信、运动目标检测和匹配模块完成多摄像机的目标追踪系统。最后对设计的多摄像机视频压缩感知实时追踪系统进行仿真实验与分析，实验结果表明，当追踪目标从一个摄像机移动到另一个或者多个摄像机时，该系统能够检测出追踪目标并持续对目标进行追踪，证明了本发明方法的可行性和高效性。

一、智能调整处理的视频压缩感知实时追踪方法

现有技术的视频实时追踪方法在周围环境干扰不大，目标运动情况单一时，有较高的追踪精准度，但在现实环境中，总是需要面对目标运动的随机性及环境带来的各种干扰。当目标大小发生变化或者目标被部分或完全遮挡时，现有技术的实时追踪方法的追踪效果很不理想。为此，本发明提出一种智能调整处理的视频压缩感知实时追踪方法，当目标靠近或者远离时能智能调节追踪框的大小以适应目标的大小变化，避免在追踪过程中引入大量误差，降低环境因素带来的影响。本发明对智能调整处理的视频压缩感知实时追踪方法的技术方案和实现过程进行详细描述，并通过仿真实验分析改进算法的性能及优势。

(一)智能调整处理的视频压缩感知方法架构

视频压缩感知实时追踪方法的追踪框随目标尺寸的变化而变化，检测器感知目标尺寸的大小变化，在机器学习时对目标尺寸的可能变化情况进行学习。方法改进主要通过构建目标图像金字塔，对目标进行多尺度取样学习，然后在进行目标搜索时，生成不同尺度的搜索框对目标进行搜索，将后验概率最高的搜索框作为当前目标的位置框，使得目标框根据目标尺寸智能调整处理变化。

1.目标图像金字塔

现有技术的视频实时追踪方法将目标追踪框作为下一帧搜索的中心，在一定的半径范围内搜索检测，将后验概率最大的候选框判定为目标的新位置。这样做虽然追踪了目标，但也忽视了目标的渐变过程，不能感知目标大小的变化。为此，本发明将目标的可能变化也加入到样本之中进行分类，在目标大小发生显著变化时，调整目标框的大小，通过构建图像金字塔，预测目标的大小变化，并对相应的目标正负样本进行学习。

图像金字塔是一个图像集合，集合中所有图像都是利用一定的取样规则，变换原始图像所得，取样又被分为向上取样和向下取样两种，高斯金字塔是向下取样获取尺寸较小的图像，拉普拉斯金字塔是向上取样，通过原图像重建一副尺寸更大图像。高斯金字塔的取样过程是利用高斯核对金字塔中的第i层进行卷积处理，然后删除该层图像的偶数行和偶数列，得到第i+1层图像，显然这种获取方式导致第i+1层图像必定是第i层图像的四分之一；而拉普拉斯金字塔相当于高斯金字塔的逆形式，它将第i+1层图像的每一行与每一列后面添加空白列，然后采用滤波器进行卷积估算这些丢失像素的近似值，得到第i层图像，相应的拉普拉斯金字塔构建的新图像是原图像的四倍。高斯金字塔和拉普拉斯金字塔四倍的变化速度相对于实际追踪过程中目标变化幅度来说过大了。

金字塔的变化幅度对应目标尺寸的变化速率，将变化幅度控制在一个较小的范围内，因此不能直接采用高斯和拉普拉斯金字塔。为此，本发明采用双线性内插法对原图像进行滤波，构建一个变化幅度小的图像金字塔预测目标变化。

双线性插值滤波为：图像像素点的色彩值由其4个最邻近的点通过加权得出，令(x,y)为放大图像中一个点的坐标，令u(x,y)表示它的灰度值，对于双线性内插，其所赋灰度值用表示为：

u(x,y)＝ex+fy+sxy+g

其中，4个系数由点(x,y)的4个最邻近点写出的4个未知方程式确定，采用双线性插值滤波构建图像金字塔，自由调整金字塔层级之间的变化幅度，以贴合追踪目标的变化幅度。具体为，其差值设为m个像素固定值，固定值适用与目标变化较为缓慢的情况，例如行人的移动，目标的变化过程一般为渐进式，因此构建的图像金字塔层数不能太多，过多的取样学习不仅会占用大量的运算资源和内存并且还会对最后分类精度产生影响，本发明向上向下分别取一至两层。

2.基于图像金字塔的目标取样和学习

在构建图像金字塔后，对各个尺度下的目标进行取样，取样过程基于压缩感知理论，将取样扩展到整个图像金字塔中。

首先对原始目标图像进行取样，取样样本分为正负样本两类，将原始追踪框半径c范围内的样本框作为正样本，c与b范围间的样本框作为负样本进行取样，对于获取的正负样本采集它们的压缩特征作为其样本表示进行机器学习，压缩特征的采集通过在单个样本框内生成位置大小数量都随机的子框后累加灰度值得到。

视频压缩感知实时追踪方法采用非常稀疏的随机测量矩阵对原图像进行描述，具体取样流程是：首先在样本框内部生成2到3个小的取样框，这些小的取样框的大小和位置都是随机生成，然后将这些随机取样框内的灰度值进行累加，获取的值就是该样本的一个特征描述子，对目标重复进行m次的以上的取样过程，这m个特征描述子组成的m维特征向量为原目标的压缩表示。

本发明的方法改进，不仅获取原图像的随机取样矩阵，并且还要对其进行扩展。对多尺度下的原图像进行取样，构建扩展的随机取样矩阵。为了尽可能的保持原有取样值和图像金字塔下其它层次取样值之间的关联度，其它尺度的取样框的大小由该层与原始图像层之间的大小比例关系决定，定义为：

其中D

J(x，y)＝sum(D(i，j))，0≤i≤x，0≤j≤y

其中J表示积分图像，D表示原始图像，采用图像积分图，快速获取一个矩形框的像素值之和，对于由点E(x，y)，F(x，y’)，S(x’，y)，G(x’，y’)组成的矩形框，其像素值之和用积分图表示为：

sum(G)＝J

采用积分图的主要优点是只需要对图像进行一次运算，就能快速获取图像内任意大小和位置的矩形框的像素值和。对于需要大量计算矩形框像素值和的压缩感知方法，采用积分图非常必要。对于智能调整处理的视频压缩感知方法，需要对图像金字塔的每一层图像分别计算积分图并进行相应的取样，对各个尺度下的目标图像取样完成之后，对采集到的压缩特征进行分类，分类器采用朴素贝叶斯分类器，分类完成之后对下一帧的目标进行检测。

3.视频目标检测

完成对原始目标的正负样本取样和分类器构建后，提取下一帧图像进行目标检测。目标检测的过程是对候选框进行筛选分类的过程，需要找到目标可能的存在位置并对这些位置进行取样，并代入到分类器中进行运算，继而决定目标当前所在位置。

候选框的生成的位置和尺寸决定目标检测时分类器是否能得到目标的真实位置，理论上生成越多的候选框分类时命中目标真实位置的概率就越高，但这需要大量的计算和存储空间，降低了运行速度，基于物体运动轨迹连续这一特征，目标在上一帧位置周围出现的概率很高，因此只需在目标上一帧位置周围生成候选框，候选框的生成范围由参数t确定，定义为：

Cyc(x，y)＝{(x，y)||(x+y)-(x

其中(x

生成候选框后，对这些候选框进行压缩取样，将取样获取的特征向量代入到朴素贝叶斯分类器中，求出各个特征的分类得分值，得分最高的向量其后验概率最大，将这个特征向量所对应的候选框作为当前帧目标的真实位置，之后采集当前目标周围的正负样本特征对分类器进行更新，供下一帧追踪分类时使用。

从构建目标图像金字塔到对目标进行正负取样分类，最后获取目标的真实位置这一过程就是智能调整处理的视频压缩感知方法的基本追踪流程，重复以上流程直到退出就是一次完整的目标追踪过程。

(二)方法流程实现

智能调整处理视频压缩感知实时追踪方法主要由两部分组成，一部分是初始化部分，主要是在用户选取了追踪目标框之后，初始化相关数据结构和参数，并且生成子取样框和构建分类器，另一部分是追踪部分，主要是重复的判断目标当前位置和更新分类器，具体的算法流程图如图1所示。

主要函数包括：1)Init()：为初始化函数，它由一系列的子操作构成，主要包括初始化数据结构和参数，生成取样框子窗口，采集目标选择框周围的正负样本，构建分类器；2)HarrFeature()：生成初始样本的随机子特征框，根据设定的每个样本的重复取样次数m，共生成m组子特征框，金字塔图像的其它层级的子特征框按照各层图像与原始图像之间的比例生成；3)getNextFrame()：获取摄像机下一帧的图像；4)sampleRect(a,b)：在追踪框的a到b的范围内生成不同尺寸的样本框，样本框尺寸比例由金字塔层级之间的比例确定，正负样本的区别是由它们到追踪框的距离范围a、b确定；5)getFeatureValue()：利用图像积分图计算每个样本的样本值，计算出的样本值是一个m维的向量，每一维的值是由随机在该样本框内生成的随机子框的灰度特征值累加获取，这个m维向量就是对原样本的压缩感知取样，是这个样本框内图像数据的降维表示；6)classifierUpdate()：对输入的正负样本进行分类学习，获取每个维度上样本分布的期望和方差值，也能输入新的正负样本对分类器进行更新，更新时有一个学习比例权值决定新旧样本所占的权重值；7)processFrame()：智能调整处理视频压缩感知实时追踪方法的追踪过程的实现，计算目标可能位置的追踪框的特征值，利用构建好的分类器求得后验概率最高的候选框作为追踪框，最后在追踪框周围进行新的正负样本取样和分类器更新；8)radioClassifier()：通过输入的候选框计算当前帧可能的目标所在框的特征值，获取分类器得分最大的候选框，将此框作为这一帧目标的实际位置。

二、多摄像机的视频压缩感知实时追踪方法

目标追踪必然考虑目标的移动范围，在单摄像机追踪系统中，目标的移动范围仅限于单个摄像机的可视范围内，但这个范围对于实际的应用来说是远远不够。本发明分析单摄像机追踪系统的不足，提出多摄像机追踪系统设计的必要性，然后对比分析两种系统之间的不同以及在多摄像机追踪系统中需要解决的问题及相应的方法，最后通过仿真实验分析和验证多摄像机下的追踪方法的有效性。

(一)多摄像机视频压缩感知实时追踪方法的框架

多摄像机下的目标追踪与单摄像机下的目标追踪最主要的区别是目标会在多个摄像机之间穿梭，因此感知目标从一个摄像机到另一个或者多个摄像机就成为多摄像机追踪系统需要解决的主要问题。多摄像机追踪系统依然是以单一摄像机追踪系统为设计基础，即当目标在一个摄像机中移动时，本发明仍采用单目标追踪方法对目标进行追踪，当目标从一个摄像机中消失，之后出现在另一个或者几个摄像机中时，系统对目标的出现进行感知，然后根据前一个摄像机留下的特征信息判断该运动目标是否是当前正在追踪的目标，以便将目标追踪持续进行下去。因此检测目标、匹配目标，传递相关特征信息数据是多摄像机下目标追踪系统需要解决的问题。

1.摄像机的网络拓扑结构设计

在目标追踪过程中，如果目标只在一个摄像机中移动时，其外观变化连续性较强，利用最初的特征数据，就能顺利的对目标进行追踪。但当目标从一个摄像机消失，继而出现在另一个摄像机中时，其外观姿态通常变化较大，这主要是因为摄像机的安装位置和拍摄角度差异很大，如果这时当前的摄像机监控系统并没有原始目标的特征信息，就无法判断出现在它视野中的目标是否是当前正在追踪的目标，因此要构建相应的网络，让追踪目标的特征信息能在各个摄像机之间进行传递，保证对追踪目标的及时匹配和持续追踪。在构建一个多摄像机目标追踪系统前，根据需要选择相应的网络拓扑结构，选择范围包括：集中式网络结构、分布式网络结构、协作式网络结构。

多摄像机追踪系统每台计算机控制多个摄像机终端，相当于一个集中式的网络结构。较大的监控系统由于采用的摄像终端较多，一台计算机不足以控制所有处理所有设备的数据，根据摄像机的地理布置对摄像机进行分区，每个区域的摄像机由一台计算机进行处理，组成一个分布式或协作式的网络结构，端与端之间的通信采用TCP/IP协议。系统数据必须保证可靠交付，由于TCP/IP协议比UDP协议的数据传输更可靠，因此网络通信采用TCP/IP协议。

2.视频运动目标检测

在匹配追踪目标之前，需要解决何时匹配，匹配图像的哪一区域的问题。一个摄像机终端中并不会时时刻刻都有运动的物体，因此构建相应的目标检测机制，只需要在有运动目标出现时目标匹配即可。运动目标的检测是发现运动的目标，然后将运动的目标与正在追踪的目标相匹配，判断该运动目标是否是追踪目标。

本发明的应用场景主要是在楼栋通道、小区街道这些背景相对固定，并且摄像机视角也相对固定的情形，因此运动目标的检测方法基于背景减除法，背景减除法只适用于摄像机静止情况下的运动检测方法，由于摄像机拍摄的场景相对固定，对背景进行建模，当运动物体出现时只需要将当前图像与建模的背景进行差分，就可检测到运动目标，并且得到目标相对完整的轮廓，针对背景的逐渐变化，采用智能调整处理的背景模型，其数学表示为：

当前背景＝c×前一帧图像+(1-c)×前一背景

其中c是背景更新参数，其取值直接影响背景的更新的速度和质量，采用背景减除法检测目标过程是将当前图像帧与构建的背景模型相减，然后采用指定的临界值对差分图像进行二值化处理，得到的相应的运动目标所在区域轮廓。直接将前景图像与背景相减得到的差分图像存在较多的噪声，这些噪声会对追踪目标的轮廓获取产生一定的影响，因此采用临界值对差分图像进行处理，临界值的设定值对获取的目标轮廓的质量至关重要，根据目标和背景的颜色差异进行调整，当摄像机最初感知到运动物体时，目标尚未完全进入摄像区域，此时获取的目标特征并不完整，待目标完全进入摄像区域，再提取目标的轮廓信息，获取运动目标的轮廓后，获取该运动物体的所在矩形区域。但这个矩形框内的目标不一定就是追踪目标，需要系统根据其它摄像机留下的目标特征做进一步的匹配判断。

3.运动目标精准匹配

检测到运动目标之后，对该运动目标进行匹配，判断它是否为当前正在追踪的目标。由于视频压缩感知实时追踪方法中提取的压缩特征并不具有光照、角度以及尺度的不变性，因此并不能用压缩特征对目标进行匹配。需要寻找一种具有光照、角度及尺度不变性的特征来检测是否是同一目标，并且运算速度要满足实时计算的需求，本发明采用改进SURF特征点满足该需求。

SURF特征点通过构建多尺度空间金字塔寻找像素的局部极值点，采用近似Hessian矩阵行列式构建图像金字塔，Hessian矩阵由函数及其偏导数组成，其数学表示为：

对于原图像上的一点J(x,y)在经过高斯滤波之后变为：

K(x，r)＝D(r)·J(x，r)

其中D(r)为高斯核，r为高斯方差，K(x,r)是图像在不同解析度的表示。滤波后的图像再进行Hessian近似计算为：

det(H

在利用Hessian矩阵获取图像金字塔之后，后面的特征点检测过程是将每个像素点和它领域内的26个点进行大小比较，如果这个点是其领域内的极大值或者极小值，就将它作为备选特征点，然后利用三维线性插值法获取亚像素级特征点，并采用临界值过滤掉一部分特征较弱的特征点，最后剩下的就是匹配时需要的特征较强的特征点。

确定特征点之后计算这些特征点的主方向，SURF特征点主方向由其领域内的harr小波特征决定，即统计其领域内60度扇形范围内所有点的水平harr小波特征和垂直harr小波特征的总和，将最大值作为特征点的主方向。之后就会在特征点周围取一个正方形的框，框的边长为20c，c是特征点所在金字塔层的尺度，将这个框等分成4×4的子区域，分别计算他们水平方向和垂直方向的haar小波特征，然后得到的一个64维的向量，即为SURF算法中这个特征点的描述算子。

由于目标匹配过程采用SURF特征匹配，因此对于初始选择的追踪目标，保存它的SURF特征，对于检测到的运动目标也要提取它的SURF特征，并将两者进行匹配，如果匹配成功就认定出现在另一个摄像机中的目标是初始的追踪目标，利用改进的视频压缩感知实时追踪方法对它进行重新取样和持续的追踪，如果不是，则舍弃这一运动目标，继续对其它运动目标进行判断。

本发明利用背景建模检测到运动目标之后再对目标进行特征匹配，而不是实时的在各个摄像机上寻找目标，在匹配时不用获取整幅图像的特征点，也不用不停的在没有运动目标出现的摄像机上重复计算和匹配特征，只需要针对一小块感兴趣区域进行特征提取和匹配运算，节省了大量的计算资源和时间，使得系统运行更加稳定。

成功匹配到追踪目标后，将目标当前所在区域作为初始追踪框，然后在此摄像机的输入图像序列下对目标进行追踪，直到目标从该摄像机中消失，其追踪的结果反馈给中央系统，由中央系统输出当前目标的所在位置。

(二)多摄像机视频压缩感知实时追踪方法流程

本发明构建一个主进程作为整个网络的中央控制系统承担数据的存储转发以及输出追踪目标当前的位置信息，构建多个终端进程作为各个摄像机设备的控制进程，承担对采集到的图像进行背景建模，检测以及匹配运动目标，并且对处在可视范围内的目标进行追踪。在主进程和终端进程之间构建网络通信，传递追踪目标的相关特征参数以及当前所在位置信息。模拟多摄像机下的视频压缩感知实时追踪系统，主进程主要通过网络链接收发消息，统一管理多个摄像机终端，接收由各个摄像机终端进程发送的目标追踪数据和结果，并将这些数据转发到其它检测到目标运动的摄像机设备上，保证目标出现在系统中时能持续的对目标进行追踪。各个摄像机终端进程构建并更新自己的智能调整处理的背景模型，对自己监控范围的运动目标进行检测，检测到目标运动的摄像机就将相关追踪数据信息与主进程之间进行通信，判断运动目标是否就是需要追踪的目标，一旦确认目标就对目标进行持续追踪并向主进程发送追踪信息，其中，短期目标追踪方法采用智能调整处理视频压缩感知实时追踪方法。

多摄像机视频压缩感知实时追踪方法流程包括主进程流程和摄像机终端流程。

1.主进程流程如图2所示。主进程流程的主要函数包括：1)Init()：初始化程序函数，主要承担初始化追踪目标相关的存储变量，socket变量；2)listen()与accept()：socket编程中服务器端采用的相关函数，在采用socket()函数构建套接字，bind()函数绑定监听的端口后，采用listen()函数监听链接请求以及accept()函数接受链接请求，构建网络链接；3)CreateThread()：构建新的线程，构建线程是主进程会将新构建的socket链接发送给线程，每个线程承担处理一个摄像机终端进程发送的消息；4)CheckMsg()：封装recv()函数，检查是否有新的消息；5)Handle()：承担处理由终端系统进程发送的信息，包括接收并保存终端系统发送的追踪目标特征信息，当前所在摄像机位置及坐标，控制各个终端系统的检测状态；6)SendMsg()：将Handle()函数处理后的结果信息发送给各个终端系统进程。

2.摄像机终端部分流程如图3所示。终端系统进程主要由四个部分组成，包括：背景建模模块、运动目标检测与匹配模块、目标追踪模块及通信模块。进程启动时首先检查当前的网络状况和摄像机状态，确认是否能够连接主进程，摄像机工作是否正常，如果出现问题将直接退出；确认无误后就启动背景建模模块，利用摄像机输入的图像序列构建背景模型，并等待主进程发送的消息，如果主进程发送追踪目标的特征，系统进入运动检测模块中检查当前前景图像中是否有运动目标，若有就将运动目标和主进程发送过来的追踪目标的SURF特征进行匹配，由于目标完全进入摄像机区域有一个时间过程，并且追踪目标的当前姿态可能和初始状态之间存在差异，不能保证立刻检测出目标，因此设定一个计数器，重复进行目标检测和匹配，直到检测次数到设定的最大值时退出检测匹配模块继续进行背景更新，检测过程的同时还要处理由主进程发送的消息，当主进程告知已经在其它摄像机检测出目标，同样转入背景建模模块，如果成功匹配到追踪目标，则发送消息给主系统，并进入目标追踪模块对目标进行追踪，直到追踪目标丢失。

摄像机终端部分流程的主要函数包括：1)UpdateBkMat()：根据设定的更新比例，将前景图像更新背景模型中；2)CheckMoving()：寻找前景图像中的运动目标，将前景图像与构建好的背景图像进行差分，并将差分图像经过临界值化和降噪处理之后就得到一些运动目标区域，舍弃面积较小的区域，剩下的就是摄像机中当前运动目标的所在位置；3)CheckTarget()：匹配前景中的运动目标是否是当前系统设定的追踪目标。将前景图像中检测出来的多个运动目标以此与主进程发送过来的追踪目标的SURF特征相匹配，判断这些运动目标是不是系统当前正在追踪的目标；4)CheckMsg()：处理由主系统发送过来的消息，包括接收由主进程发送过来的追踪目标的SURF特征，追踪目标丢失消息时唤醒各个终端系统的检测模块，追踪目标的出现消息时判断该终端系统是否继续检测前景图像中的运动目标；5)SendMsg()：向主系统进程发送消息，告知主系统该终端是否检查出追踪目标，追踪目标的当前坐标；6)CSTrack()：在当前的单摄像机系统中追踪目标，该函数以CheckTarget()函数成功匹配出的目标位置为追踪框，采用本发明的智能调整处理的视频压缩感知实时追踪方法对目标进行短期追踪。

本发明从压缩感知理论出发，对视频压缩感知实时追踪方法目标建模的方式进行剖析，针对视频压缩感知实时追踪方法出现的问题进行分析，得出视频压缩感知实时追踪方法出现的相关问题主要是由于追踪框不能智能调节造成的，针对这一问题，提出了智能调整处理的视频压缩感知实时追踪方法，解决追踪框大小智能调整处理的关键技术包括：图像金字塔、多尺度图像采用和学习，目标匹配框的选择，然后提出了改进方法的流程步骤，并进行了仿真实验，最后对实验结果进行了分析，证明了智能调整处理视频压缩感知实时追踪方法的有效性。针对视频目标追踪的新要求，将单摄像机下的目标追踪扩展到多摄像机之中，并就这一设计目标，以智能调整处理视频压缩感知实时追踪方法作为基础，结合运动目标检测，网络拓扑结构选择技术要点，提出了多摄像机下的视频压缩感知实时追踪系统，然后提出了该系统的详细设计方案，给出了系统各个部分的流程和步骤，并进行了仿真实验，结果显示多摄像机下的视频压缩感知实时追踪方法是切实可行和精准高效的。