一种检索视频质量评价方法

技术领域

本发明涉及对视频的处理分析，具体地指一种检索视频质量评价方法。

背景技术

随着城市视频监控系统的普及，公安部门刑事侦查破案的方式发生了巨大的变革，使用现场视频进行侦查破案(即视频侦查)得到极大的发展和应用。在视频侦查应用中，针对嫌疑目标及其行为的检索比对是重要需求。

视频检索技术的研究已经取得了巨大的进展，许多检索模型被相继提出来并在实践中不断得到改进和验证，在一定程度上极大地方便了用户找到满意的目标，但是大多数检索系统仍然存在严重的鲁棒性问题，比如说，对于某些用户查询，检索结果质量高，而对于其它查询，检索结果往往含有很多与查询无关的目标；更有甚者，即使那些公认的平均检索性能很好的系统，对某些查询，他们的返回结果也不能令人满意，简而言之，针对不同查询其检索结果间往往存在较大差异。

这是因为，目前检索比对技术都只是对检索比对的准确性进行了研究，而忽略了对输入视频的环境及视频中目标的物理特征进行评价，缺少对待检索视频的质量进行分析分类，以及缺少对视频质量问题，提升待检索视频质量的方案。若将任何未知的视频都输入到检索比对系统中，难免得到不理想或者难以预知的检索结果，在很多复杂的情况下，检索效果都会不理想。

发明内容

本发明目的在于克服上述现有技术的不足而提供一种检索视频质量评价方法，本发明结合传统数字图像处理技术及深度学习方法，对待检索视频本身特性进行分析分类，以便针对不同种类检索视频进行质量改善，为视频检索比对系统提供调参建议。

实现本发明目的采用的技术方案是一种检索视频质量评价方法，该方法包括：

计算检索视频的环境指标。由于视频画面清晰度低、亮度异常以及对比度低等都会使得检索系统输出不理想的结果，因此本发明首先利用数字图像处理技术，对视频片段的清晰度、亮度是否异常、对比度等环境质量指标进行计算，综合分析三项指标得到该视频的环境指标得分。

计算检索视频的目标物理特性。视频画面中的目标过小或目标运动速度过快，会使得检索系统难以从视频中检出目标，使用基于深度神经网络的通用目标检测算法，检测出视频序列画面中的通用目标，通过目标框的大小，分析目标在画面中的大小；再使用多目标跟踪算法，获取目标运动速度等物理特性质量指标，综合分析目标大小及运动速度得到该视频目标的物理特性指标得分。

对检索视频进行离散小波变换。使用手机等拍摄设备，拍摄电脑等显示器中显示的视频为翻拍视频，这种特殊的视频，其清晰度等环境指标及目标大小等物理特性指标与正常视频无异，但这种视频会带有摩尔纹等噪声，再加上翻拍视频的抖动，会使得检索系统准确率大大下降。而小波变换具有多分辨率分析的特点，能够聚焦到信号的任意细节进行多分辨率的时频域分析，使用离散小波变换(DWT)对输入图像进行转换，转换后的图像可以更好凸显摩尔纹等噪声，以便形成更有判别力的特征。

将所述检索视频、环境指标、目标物理特性、离散小波变换后的图像输入到神经网络的不同粒度特征层，经过大量数据学习，最终形成能根据视频质量对视频进行分类的模型。

在上述技术方案中，计算检索视频的环境指标包括清晰度计算、亮度异常计算和对比度计算，三项指标的计算分别如下：

上述清晰度的计算包括：

式中，DR为清晰度，DR越大则代表图像越清晰，x,y分别为横纵坐标，p

上述亮度异常计算包括：

式中，CAST表示偏差值，小于1表示比较正常，大于1表示存在亮度异常；当CAST异常时，DA大于0表示过亮，DA小于0表示过暗；p

上述对比度的计算包括：

式中，Contrast为清晰度，Contrast越大则代表图像块对比度越好，x,y分别为横纵坐标，p

在上述技术方案中，所述对检索视频进行离散小波变换包括：

式中，x(t)为变化结果，c

单一的卷积神经网络特征难以抽象化复杂场景目标特性，本发明采用多输入的深层卷积神经网络，将视频序列原始图像、环境质量指标、物理特性指标以及DWT变化图像作为4项输入，输入或融合到神经网络的不同粒度特征层，经过大量数据学习，最终形成能根据视频质量对视频进行分类的模型。

由于监控视频量的暴增，使得视频场景与类型越来越复杂，对待检索视频质量进行分类分析及质量提升，对于视频检索质量的提升大有裨益。本发明从无到有，创新性的提出结合传统数字图像处理技术及深度学习方法，设计多输入卷积神经网络，对待检索视频进行全方位分析与归类，解决单一网络或方法无法准确地分析复杂视频质量问题。本发明将检索视频进行分类，不同类别的视频具有不同的质量属性，根据实际检索的需求，对这些不同质量属性的视频进行评价后，选择符合条件这些类别的视频作为检索对比系统的输入，从而提搞了检索的效率。

附图说明

图1为本发明检索视频质量评价方法的流程图。

图2为本发明多输入的深层卷积神经网络的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

S1、计算检索视频的环境指标

为了能融合到深度卷积神经网络中，在计算视频环境指标的时候，将原图分成16*16的图像块，每个图像块即可产生一个指标数值，该指标以特征图(原图的1/16大小)的形式输入到模型中。

清晰度计算，利用视频图像中，X、Y方向相邻像素差值来计算。公式如下：

式中，DR为清晰度，DR越大则代表图像越清晰，x,y分别为横纵坐标，p

亮度异常计算，利用视频图像的灰度直方图计算亮度是否异常。公式如下：

式中，CAST表示偏差值，小于1表示比较正常，大于1表示存在亮度异常；当CAST异常时，DA大于0表示过亮，DA小于0表示过暗。p

对比度计算，利用视频图像中，相邻像素方差来计算。公式如下：

式中，Contrast为清晰度，Contrast越大则代表图像块对比度越好，x,y分别为横纵坐标，p

S2、计算检索视频的目标物理特性

通用目标检测及跟踪算法使用的是开源算法，对视频序列中的通用目标进行检测跟踪，获取得到目标大小，目标运动速度信息。

S3、对检索视频进行离散小波变换

使用小波变化算法，将原图转换，公式如下：

式中，x(t)为变化结果，c

S4、用于视频质量分类的多输入卷积神经网络

本发明的核心：设计特殊的多输入卷积神经网络解决检索视频的质量分类问题，即本发明方法采用多输入的深层卷积神经网络，将视频序列原始图像、环境质量指标、物理特性指标以及离散小波变换变化图像作为四项输入，输入或融合到神经网络的不同粒度特征层，经过大量数据学习，最终形成能根据视频质量对视频进行分类的模型。

本发明将视频质量分类结果作为视频质量评价结果，在具体实施中，将多输入卷积神经网络的输出(即视频质量分析结果)分为五大类，具体如下：

1.视频无法解析，视频乱码，黑屏等视频作为第1类，该类视频无法进行检索分析。

2.将翻拍视频作为第2类，该类视频摩尔噪声较大，部分有抖动，优化后可进行检索分析。

3.将视频光照、对比度等条件非常差，几乎难以看到视频中目标的视频作为第3类，该类视频也几乎无法进行检索分析。

4.将光照、对比度等条件中等的视频，作为第4类，该类视频较模糊，优化后可进行检索分析。

5.将视频环境条件良好的视频作为第5类，该类视频清晰，可直接进行检索分析。

上述五大类的分类对应不同的视频质量，本发明最终形成能根据视频质量对视频进行分类的模型，通过该模型按上述五大类进行评价后实现对视频的分类，即实现对视频质量的评价及分类。