一种基于运动增强特征的水流测速方法

技术领域

本发明涉及水流监测领域，特别涉及一种基于运动增强特征的水流测速方法。

背景技术

水流测速在水资源调配，农业精细灌溉，洪涝与干旱灾情防治等方面有重要的作用。在水体众多，河流、水库、灌溉水渠众多且地质条件多样化的我国，找到更为适用的水流流速测量方法，对于实际的水文实时监测工程落地有很大助益。非接触的视频分析测量方法，其使用人员的安全性高、与后台系统的信息对接便利、不容易损坏、同时采集了图像声音等更全面的信息、实时性好等众多优点，成为今后水文监测智能化改造的重要一环。

目前基于视频分析的流速测量方法，已有较多的文献对其进行研究分析。在小孔成像原理的基础上，对相机参数、安装位置、机位角度都是可以自定义设计，最终按标定公式，可将单位时间内的图像像素位移，换算成物理距离。但一个前置的问题是，测定图像中的水流移动了多少像素，目前这个问题被解决的程度比较有限。

总体上，现有方法都对适用环境提出较严苛的要求，比如要求人工投放示踪子，或要求水流湍急有水花漩涡，或要求水体本身具有一定的含沙量，或要求有大量不同场景的流水速度标定样本数据集，或要求有较多的自然漂浮物显著呈现在图像中。另外，对于模板匹配、光流法、通用版本的角点检测和匹配等方法，在实操中发现，这些方法依赖的测量特征对光照的要求很高，在工程落地中，一旦不在强光环境下采集的图像就很难达到预期的效果。

许多水文监测场景，比如水库在暴雨时的泄洪监测，对流速精度的要求不是很高，但对时效性要求高，需要统计一段时间内的总量，因此，如果有一种对多种光照和水流适用性强的、低成本的图像测量方法，对实际使用有重大意义。

一个简单的事实是，人眼可以在照度一般的正常水流环境中观察一段时间，定位到偶尔出现在水面的运动特征，该特征可以是水花气泡、漂浮物等，本方法在一定程度沿着这个思路，对相对运动特征进行增强，使之成为显著特征，方便进行流速计算。为此，我们提出一种基于运动增强特征的水流测速方法。

发明内容

本发明的主要目的在于提供一种基于运动增强特征的水流测速方法，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种基于运动增强特征的水流测速方法，包括以下步骤：

步骤一，对水流视频数据采集并分帧，获取t时刻、t+△ t、t+2△t时刻的水流表面图片；

步骤二，使用帧差法，分别计算T1的帧差图和T2的帧差图，其中T1为t时刻至t+△t时刻间，T2为t+△t时刻至t+2△t时刻间；

步骤三，统计扰动噪声，对水流视频进行帧差处理，统计其非零值的波动范围，并画出分布图，最高点作为正态分布顶点，对左半边进行噪声点统计，右侧记为最大噪声阈值，并且拟合正态分布曲线；

步骤四，对扰动噪声过滤，在帧差图上，根据步骤三计算出的自适应阈值，对帧差图进行去噪，过滤事实上小于自适应阈值的随机噪声，对其进行清零；

步骤五，利用直方图均衡化的方法对过滤后的图片进行增强，增强的帧差图作二次差分处理，可以得到被增强了运动显著性特征的流速特征图；

步骤六，生成水流特征位移量，在强化了运动显著性的帧差图上，使用常见的局部特征描述算子找出特征点，并用分类模型验证该特征点对应的参照物是否可靠；

步骤七，对水流向量离群点动态过滤，将测量值中分布图中最高点±10％范围之外的点进行舍弃；

步骤八，对水流流速值进行估计。

本发明的进一步改进在于，所述步骤六具体步骤如下，首先选择SURF算子进行角点搜索，对找出的角点使用最近邻匹配算法遍历所有点的特征描述子，找出初步的匹配点，然后用前后水流方向一致性和流速阈值作为约束条件过滤掉部分杂乱的误匹配点，最后使用随机抽样一致性算法RANSAC确定匹配的特征关键点，即所有的能匹配上的点只想很接近的一个位移向量，特征点的向量均值即为水流运动向量。

本发明的进一步改进在于，所述步骤六中的特征点在选取时通过示踪分类模型进行，来判断是否为可靠的示踪物，若不是则不对该特征点进行选取。

本发明的进一步改进在于，所述步骤一中的△t为摄像头帧率的倒数。

本发明的进一步改进在于，所述步骤三中拟合正态分布曲线的公式为

其中d为帧差值，g(d)表示对帧差直方图的拟合高斯曲线，为其标准差，A是直方图的统计高度，在实际中为出现频次最高的噪声。

本发明的进一步改进在于，在步骤五中假设在很小的时间间隔内，流速不便，对于三帧连续图像的两两帧差图，运动显著性特征具有较大程度的一致性，并引入非最大值抑制的处理思路，使最明显的运动特征能够凸显出来。

本发明的进一步改进在于，所述示踪分类模型基于通用的浅层网络，其对基于深度学习的跨水域流速估计自然示踪物二分类数据集进行训练，其中数据集正样本包括应流动产生的自然漂浮物以及水体自带的漂浮物；负样本包括非实物的光影运动效果以及自变速的小生物。

与现有技术相比，本发明可以在更普适的水体环境、更微弱的光照环境发挥作用，易于水文监测智能工程的落地使用不依赖于具体水体场景，并且能24小时内的每若干分钟都能给出实时测量值。

与现有技术相比，本发明输入是从不同的水流视频中取得若干张连续的图片输出是这几张图片里能显示流速的关键点的像素位移，可自动标记出水流中的自然示踪物，即可以低成本地生成分类数据集。

与现有技术相比，本发明对光照要求低，使河面肉眼微微可见即可测量。

与现有技术相比，在测量稳定性、夜间流速测量的节能减排上，本方法极有价值。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于运动增强特征的水流测速方法的水流表面图。

图2为本发明一种基于运动增强特征的水流测速方法模拟的噪声分布曲线示意图。

图3为本发明一种基于运动增强特征的水流测速方法的帧差图。

图4为本发明一种基于运动增强特征的水流测速方法的帧差图去噪过滤后的效果图。

图5为本发明一种基于运动增强特征的水流测速方法的增强的运动显著性特征的流速特征图。

图6为本发明一种基于运动增强特征的水流测速方法的水流特征位移向量图。

图7为本发明一种基于运动增强特征的水流测速方法去除离群点的测量值分布图。

图8为本发明一种基于运动增强特征的水流测速方法的水流物理流速图。

图9为本发明一种基于运动增强特征的水流测速方法的水流自然示踪物树叶的例图。

图10为本发明一种基于运动增强特征的水流测速方法的水流自然示踪物水花的例图。

具体实施方式

下面结合具体实施方式对本发明作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本发明的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。

实施例1

如图1-7所示，一种基于运动增强特征的水流测速方法，包括以下步骤：

步骤一，对水流视频数据采集并分帧，获取t时刻、t+△ t、t+2△t时刻的水流表面图片；

步骤二，使用帧差法，分别计算T1的帧差图和T2的帧差图，其中T1为t时刻至t+△t时刻间，T2为t+△t时刻至t+2△t时刻间；

步骤三，统计扰动噪声，对水流视频进行帧差处理，统计其非零值的波动范围，并画出分布图，最高点作为正态分布顶点，对左半边进行噪声点统计，右侧记为最大噪声阈值，并且拟合正态分布曲线；

步骤四，对扰动噪声过滤，在帧差图上，根据步骤三计算出的自适应阈值，对帧差图进行去噪，过滤事实上小于自适应阈值的随机噪声，对其进行清零；

步骤五，利用直方图均衡化的方法对过滤后的图片进行增强，增强的帧差图作二次差分处理，可以得到被增强了运动显著性特征的流速特征图；

步骤六，生成水流特征位移量，在强化了运动显著性的帧差图上，使用常见的局部特征描述算子找出特征点，并用分类模型验证该特征点对应的参照物是否可靠；

步骤七，对水流向量离群点动态过滤，将测量值中分布图中最高点±10％范围之外的点进行舍弃；

步骤八，对水流流速值进行估计。

通过本实施例可实现：在更普适的水体环境、更微弱的光照环境发挥作用，易于水文监测智能工程的落地使用，可自动标记出水流中的自然示踪物，即可以低成本地生成分类数据集，由于拍摄设备与河面的直线距离往往在几十米以上，常规的图像流速测量方法，要求光照打得河面近似白天的能见效果，而本方法，对光照要求低，使河面肉眼微微可见即可测量，对光照要求低，使河面肉眼微微可见即可测量，在测量稳定性、夜间流速测量的节能减排上，本方法极有价值。

实施例2

如图1-7所示，一种基于运动增强特征的水流测速方法，包括以下步骤：

步骤一，对水流视频数据采集并分帧，获取t时刻、t+△ t、t+2△t时刻的水流表面图片；

步骤二，使用帧差法，分别计算T1的帧差图和T2的帧差图，其中T1为t时刻至t+△t时刻间，T2为t+△t时刻至t+2△t时刻间，实际使用中，△t为摄像头帧率的倒数，比如每秒25帧的视频，△t 为40ms。如图一所示，左半图为t时刻图像，右半图为t+△t时刻图像；

步骤三，统计扰动噪声，对水流视频进行帧差处理，统计其非零值的波动范围，并画出分布图，最高点作为正态分布顶点，对左半边进行噪声点统计，右侧记为最大噪声阈值，并且拟合正态分布曲线，拟合的正态分布曲线如图2所示；

步骤四，对扰动噪声过滤，在帧差图上，根据步骤三计算出的自适应阈值，对帧差图进行去噪，过滤事实上小于自适应阈值的随机噪声，随机噪声如图3所示，对其进行清零，过滤后的帧差图如图4所示；

步骤五，利用直方图均衡化的方法对过滤后的图片进行增强，增强的帧差图作二次差分处理，可以得到被增强了运动显著性特征的流速特征图，如图5所示；

步骤六，生成水流特征位移量，如图6所示，在强化了运动显著性的帧差图上，使用常见的局部特征描述算子找出特征点，并用分类模型验证该特征点对应的参照物是否可靠；

步骤七，对水流向量离群点动态过滤，由于水流本身具有一定的无序性，随机性，单次测量有可能产生较大误差的向量点，因此，根据一段时间内的结果统计，去除离群点，将测量值中分布图中最高点±10％范围之外的点，如图7所示，进行舍弃；

步骤八，对水流流速值进行估计，如图8为一个动态图的截图，展示了换算之后的水流物理流速，图中左边部分，实时显示水流速度和水流向量；

在本实施例中，步骤六具体步骤如下，首先选择SURF算子进行角点搜索，对找出的角点使用最近邻匹配算法遍历所有点的特征描述子，找出初步的匹配点，然后用前后水流方向一致性和流速阈值作为约束条件过滤掉部分杂乱的误匹配点，最后使用随机抽样一致性算法RANSAC确定匹配的特征关键点，即所有的能匹配上的点只想很接近的一个位移向量，特征点的向量均值即为水流运动向量。

在本实施例中，步骤六中的特征点在选取时通过示踪分类模型进行，来判断是否为可靠的示踪物，若不是则不对该特征点进行选取。

在本实施例中，步骤一中的△t为摄像头帧率的倒数。

在本实施例中，步骤三中拟合正态分布曲线的公式为

其中d为帧差值，g(d)表示对帧差直方图的拟合高斯曲线，为其标准差，A是直方图的统计高度，在实际中为出现频次最高的噪声。

在本实施例中，在步骤五中假设在很小的时间间隔内，流速不便，对于三帧连续图像的两两帧差图，运动显著性特征具有较大程度的一致性，并引入非最大值抑制的处理思路，使最明显的运动特征能够凸显出来。

在本实施例中，示踪分类模型基于通用的浅层网络，其对基于深度学习的跨水域流速估计自然示踪物二分类数据集进行训练，其中数据集正样本包括应流动产生的自然漂浮物以及水体自带的漂浮物；负样本包括非实物的光影运动效果以及自变速的小生物。

通过本实施例可实现：通过该方法收集数据集训练AI模型作分类来优选特征点，降低成本，本发明输入是从不同的水流视频中取得若干张连续的图片输出是这几张图片里能显示流速的关键点的像素位移，可自动标记出水流中的自然示踪物，即可以低成本地生成分类数据集。

实施例3

如图1-9所示，一种基于运动增强特征的水流测速方法，本方法可自动标记出水流中的自然示踪物，即可以低成本地生成分类数据集。图8为水流自然示踪物的树叶例图，图9为水流自然示踪物的水花例图。

在本实施例中，基于深度学习的跨水域流速估计自然示踪物二分类数据集：正样本包括因流动产生的自然漂浮物比如水花、漩涡、气泡等，以及水体自带的漂浮物比如泥沙、枯枝树叶；负样本包括非实物的光影运动效果比如风吹树荫光斑、夜间的灯光，以及自己能变速的小生物比如画面中的鱼、鸟、虫等。

在本实施例中，示踪物分类模型：基于通用的浅层网络，比如 MobileNetV2上训练二分类模型。

在本实施例中，得到泛化性较好的流速估计算法：使用改模型用于步骤六的流速向量特征点选取优化，选取特征点对应的物体图像，输入示踪物分类模型，查看是否为可靠的示踪物，如果不是，则不选取该特征点。

通过本实施例可实现，在本场景里，使用其他接触式流速仪的结果是0.65m/s,而本方法的结果在0.63～0.71范围内波动。更换不同水体、不同光照的测试环境，总体来说误差在5％左右。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。