一种基于H264视频码流的运动小目标检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种运动小目标检测方法。

背景技术

运动目标检测是计算机视觉领域的一个重要研究课题。其目的是利用视频序列间的相关性，快速、准确地从视频中检测出运动目标，以降低后续行为分析等环节的处理难度。随着视频监视系统中普及，运动小目标检测在许多计算机视觉领域逐渐扮演重要角色，包括预警系统，防御措施安全，遥感和视觉跟踪等应用。

陈明生，梁光明等人(《复杂背景下H.264压缩域运动目标检测算法》，通信学报,2011,32-3,91-97)中针对H.264/AVC压缩码流中的运动目标检测问题，提出了一种基于马尔可夫随机场的最大后验概率(MAP-MRF，Maximum A Posterior-Markov Random Field)下的H.264压缩域运动目标检测方法。方法首先将大小各异的宏块(Macroblock)归一化为4×4像素大小，针对各宏块运动矢量(MV，Motion Vector)场建立高斯混合模型(GMM，GaussianMixture Model)，结合MV幅度、帧间宏块分割模式、MV相位背景模型和运动目标时空约束建立马尔可夫随机场(MRF，Markov Random Field)模型。通过求解模型判断每个4×4大小宏块是否属于运动目标。但该算法未考虑H.264码流中的残差因素，故在检测效果中，存在漏检，且随着方法的运行，检测的准确性会逐渐下降。

发明内容

为了克服现有技术的不足，本发明提供了一种基于H.264视频码流的运动小目标检测方法，首先依据H.264码流信息计算量化参数显著性，即QP显著性；然后建立全局运动估计模型，并补偿原始运动矢量数据；接下来依据补偿后的运动矢量，计算运动矢量显著性，即MV显著性；然后再依据H.264码流信息计算变换因子显著性，即Coeff显著性；利用点乘、加乘的方式实现QP显著性、MV显著性和Coeff显著性的融合；最后利用马尔可夫随机场计算当前帧运动矢量、当前帧变换因子矩阵与前序帧检测结果的后验估计，实现对可见光视频码流中运动小目标的检测。本发明克服了目标所含像素小与环境相似可能引入的检测精度问题，最终检测得到的目标完整性好，降低了漏检率，提高了检测精度，实现了对运动小目标的精确检测。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：依据H.264码流信息计算量化参数显著性，即QP显著性；

步骤2：依据H.264码流中原始运动矢量数据，建立全局运动估计模型，并补偿原始运动矢量数据；

步骤3：依据补偿后的运动矢量，计算运动矢量显著性，即MV显著性；

步骤4：依据H.264码流信息计算变换因子显著性，即Coeff显著性；

步骤5：利用点乘、加乘的方式实现QP显著性、MV显著性和Coeff显著性的融合；

步骤6：利用马尔可夫随机场MRF计算当前帧运动矢量、当前帧变换因子矩阵与前序帧检测结果的后验估计，实现对可见光视频码流中运动小目标的检测。

进一步地，所述步骤1中依据H.264码流信息计算量化参数显著性的方法如下：

设序列图像F，帧长度为m，其中各帧由f

其中，QP

计算图像帧f

进一步地，所述步骤2中建立全局运动估计模型，并补偿原始运动矢量数据的步骤如下：

步骤2-1：采用稳健回归估计的方式，利用迭代加权最小二乘估计参数，实现全局运动模型估计；

(MVx

ex

ey

其中，(MVx

步骤2-2：建立全局运动模型：

其中a,b,c,d,e,f为模型参数，则根据最小二乘法将全局运动模型写为：

其中，x

步骤2-3：式(4)的求解过程采用矩阵形式，如式(5)：

其中B为左式，A为右式含(x

采用迭代加权最小二乘估计参数，则矩阵解法为：

X＝(A

其中，权重矩阵为：

矩阵中，各权重采用下式计算：

其中，ε(i)为第i个宏块的运动矢量与由全局运动模型估计的运动矢量的棋盘距离，μ

在解得全局运动模型后，ε(i)即为完成补偿后的第i个宏块的运动矢量MV；计算图像帧中所有宏块补偿后的运动矢量，从而完成全局运动的补偿；

进一步地，所述步骤3中计算运动矢量显著性的方法如下：

步骤3-1：遍历图像帧f

中值MV

步骤3-2：记录宏块的8-邻域内宏块个数，记为cnt_adjacency_number；cnt_adjacency_number的取值有3、5、8三种；记录宏块的8-邻域内各宏块MV

运动矢量显著性具体逻辑如下：

(1)若当前宏块MV为0，且cnt_adjacency_mv_zero大于等于4，将当前宏块的显著性赋值为0；否则若当前宏块MV为0，且cnt_adjacency_mv_zero小于4，则将当前宏块的显著性赋值为0.1；

(2)若当前宏块MV非0，计算当前宏块8-邻域内宏块MV的中值MV

则各非零运动矢量的宏块的显著性由下式表示：

Saliency

最终，由当前帧内各宏块MV计算得到的Saliency

进一步地，所述步骤4中依据H.264码流信息计算变换因子显著性的方法如下：

H.264视频编码标准通过应用整数离散余弦变换DCT，将视频帧中真实块与预测块像素间的差异变换为频域信号；统一H.264标准中8×8与4×4两类变换方式，规定两类变换的直流DC、低频LF、中频MF、高频HF的界限：

其中，i，j分别为每个8×8与4×4块的横纵坐标：由于每个8×8块可以包含4个4×4块，则统一后：

其中，用#表示对应分量的非零元素数目，round()函数表示四舍五入；

定义变换因子显著性模型：

num

其中，num

将num

其中，temp

对temp

Saliency

由此得到的Saliency

进一步地，所述步骤五利用点乘、加乘的方式实现QP显著性、MV显著性和Coeff显著性的融合的方法如下：

将QP显著图作为统领项，将MV显著图与Coeff显著图进行加权相加与对应元素相乘，式(14)中的β

进一步地，所述步骤6实现对可见光视频码流中运动小目标的检测的具体步骤如下：

步骤6-1：通过MRF进行再检测，即把检测获得的Saliency

后验估计通常为处理贝叶斯问题，设当前帧检测结果为L

其中，MV

由于MRF与服从Gibbs分布的随机场等价，因此将上述公式求对数，同时设计能量函数进行求解，各能量函数的表达如下：

等价于：

式(18)中右边第一项：时域连续性；E

式(18)中右边第二项：显著区域继承性；E

式中，c块为b块的邻域块，包含b块本身；若b块处的Saliency

式(18)中右边第三项：邻域关联性；在E

其中N1(b)和N2(b)分别为块b的一阶即上下左右和二阶即左上、右上、右下、左下邻域；相邻块中标记为1的块的数量与能量项呈负相关，块b属于目标的概率越大，从而保证

在MRF开始前，前一帧的标签作为当前帧的初始标签，若当前帧为第一帧，则此时初始标签全设置为0；在迭代MRF至能量函数前后两次变化量小于0.01后退出迭代，输出结果，完成最终的运动小目标检测。

进一步地，所述a

本发明的有益效果如下：

1、本发明通过利用H.264视频码流中包含的量化参数、运动矢量、变换因子矩阵刻画三类显著性指标，并根据马尔可夫随机场实现显著区域的后验估计，提高了视频数据中运动小目标的检测准确性。

2、本发明提出的针对运动小目标检测的方法在含有多个目标的场景中，克服了目标所含像素小与环境相似可能引入的检测精度问题，最终检测得到的目标完整性好，降低了漏检率，提高了检测精度，实现了对运动小目标的精确检测。

附图说明

图1为本发明方法流程图。

图2为本发明方法的效果图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明针对目前已有的依靠H.264视频码流数据进行运动小目标检测方法，大多存在漏检的问题，采用码流信息中量化参数(QP，Quantitation Parameter)、运动矢量、变换矩阵(Coeff，Coefficient Matrix)等信息建立显著性图。在此基础上，结合时域连续性、显著区域继承性、邻域关联性约束马尔可夫随机场实现对H.264标准下视频的运动小目标准确检测。

如图1所示，一种基于H.264视频码流的运动小目标检测方法，包括以下步骤：

步骤1：依据H.264码流信息计算量化参数显著性，即QP显著性；

步骤2：依据H.264码流中原始运动矢量数据，建立全局运动估计模型，并补偿原始运动矢量数据；

步骤3：依据补偿后的运动矢量，计算运动矢量显著性，即MV显著性；

步骤4：依据H.264码流信息计算变换因子显著性，即Coeff显著性；

步骤5：利用点乘、加乘的方式实现QP显著性、MV显著性和Coeff显著性的融合；

步骤6：利用马尔可夫随机场MRF计算当前帧运动矢量、当前帧变换因子矩阵与前序帧检测结果的后验估计，实现对可见光视频码流中运动小目标的检测。

进一步地，所述步骤1中依据H.264码流信息计算量化参数显著性的方法如下：

H.264依靠量化参数(QP，Quantitation Parameter)控制视频区域的细节刻画程度。当摄像设备参数恒定时，运动物体在视场中运动速度越快，在成像结果中保留的细节越少。反之，如静止的区域，其在结果中保留了大量的细节。因此在H.264视频数据中，运动区域通常会由高QP值刻画，即量化更粗略，而静止区域由低QP值，即量化更精细。

设序列图像F，帧长度为m，其中各帧由f

其中，QP

计算图像帧f

进一步地，所述步骤2中建立全局运动估计模型，并补偿原始运动矢量数据的步骤如下：

步骤2-1：由于无法准确刻画视频编码标准所计算的各宏块运动矢量与各像素真实运动方向之间的误差分布模型，采用稳健回归估计的方式，利用迭代加权最小二乘估计参数，实现全局运动模型估计；

(MVx

ex

ey

其中，(MVx

步骤2-2：建立全局运动模型：

其中a,b,c,d,e,f为模型参数，则根据最小二乘法将全局运动模型写为：

其中，x

步骤2-3：式(4)的求解过程采用矩阵形式，如式(5)：

其中B为左式，A为右式含(x

而稳健回归，采用迭代加权最小二乘估计参数。根据前一次计算结果中回归残差的大小来确定各宏块MV的权重，其中ω

X＝(A

其中，权重矩阵为：

矩阵中，各权重采用下式计算：

其中，ε(i)为第i个宏块的运动矢量与由全局运动模型估计的运动矢量的棋盘距离，μ

在解得全局运动模型后，ε(i)即为完成补偿后的第i个宏块的运动矢量MV；计算图像帧中所有宏块补偿后的运动矢量，从而完成全局运动的补偿；

进一步地，所述步骤3中计算运动矢量显著性的方法如下：

步骤3-1：在完成全局运动补偿后，需要进一步提取剩余MV中与各邻域内MV差异显著的成分，并将此区域初步判定为包含目标的区域。

遍历图像帧f

中值MV

步骤3-2：记录宏块的8-邻域内宏块个数，记为cnt_adjacency_number；cnt_adjacency_number的取值有3、5、8三种；记录宏块的8-邻域内各宏块MV

运动矢量显著性具体逻辑如下：

(1)若当前宏块MV为0，且cnt_adjacency_mv_zero大于等于4，说明当前区域无运动的概率高，将当前宏块的显著性赋值为0；否则若当前宏块MV为0，且cnt_adjacency_mv_zero小于4，说明与周围运动不匹配，可能包含实际运动目标，则将当前宏块的显著性赋值为0.1；

(2)若当前宏块MV非0，计算当前宏块8-邻域内宏块MV的中值MV

则各非零运动矢量的宏块的显著性由下式表示：

Saliency

最终，由当前帧内各宏块MV计算得到的Saliency

进一步地，所述步骤4中依据H.264码流信息计算变换因子显著性的方法如下：

H.264视频编码标准通过应用整数离散余弦变换(DCT，DiscreteCosineTransformation)，将视频帧中真实块与预测块像素间的差异变换为频域信号；统一H.264标准中8×8与4×4两类变换方式，规定两类变换的直流DC、低频LF、中频MF、高频HF的界限：

其中，i，j分别为每个8×8与4×4块的横纵坐标：由于每个8×8块可以包含4个4×4块，则统一后：

其中，用#表示对应分量的非零元素数目，round()函数表示四舍五入；

设计变换因子显著性模型为基于加权统计各分量非零元素总数的模型，式(11)中为了更为突出直流以外的频率分量，增加了加权系数，同时保证越高频其权重越高。因高频分量的数目更为突出地反映了实际宏块与预测宏块之间像素域上悬殊差异，下标Coeff即为因子的简写：

定义变换因子显著性模型：

num

其中，num

将num

其中，temp

然而，当目标发生运动时，部分变换矩阵通常反映出前后帧中目标边缘与背景间的变化差异，故为确保变换因子显著性能覆盖小目标，需将由各处temp

Saliency

由此得到的Saliency

进一步地，所述步骤五利用点乘、加乘的方式实现QP显著性、MV显著性和Coeff显著性的融合的方法如下：

将QP显著图作为统领项，将MV显著图与Coeff显著图进行加权相加与对应元素相乘，式(14)中的β

进一步地，所述步骤6实现对可见光视频码流中运动小目标的检测的具体步骤如下：

步骤6-1：为降低仅由各类显著性检测运动小目标而造成的漏检问题，通过MRF进行再检测，即把检测获得的Saliency

后验估计通常为处理贝叶斯问题，设当前帧检测结果为L

其中，MV

由于MRF与服从Gibbs分布的随机场等价，因此将上述公式求对数，同时设计能量函数进行求解，各能量函数的表达如下：

等价于：

式(18)中右边第一项：时域连续性；E

式(18)中右边第二项：显著区域继承性；E

式中，c块为b块的邻域块，包含b块本身；若b块处的Saliency

式(18)中右边第三项：邻域关联性；一般视频中的运动目标具有区域相关性，即已知帧中某块邻域块属于目标，则该块从属于同一目标的概率有所增加。在E

其中N1(b)和N2(b)分别为块b的一阶即上下左右和二阶即左上、右上、右下、左下邻域；相邻块中标记为1的块的数量与能量项呈负相关，块b属于目标的概率越大，从而保证

在MRF开始前，前一帧的标签作为当前帧的初始标签，若当前帧为第一帧，则此时初始标签全设置为0；在迭代MRF至能量函数前后两次变化量小于0.01后退出迭代，输出结果，完成最终的运动小目标检测。

从最终的检测结果图2中看出，本发明提出的针对运动小目标检测的方法在含有多个目标的场景中，克服了目标所含像素小与环境相似可能引入的检测精度问题，最终检测得到的目标完整性好，降低了漏检率，提高了检测精度，实现了对运动小目标的精确检测。