一种基于运动图像回溯的床面颗粒辨识追踪方法

技术领域

本发明属于水力学及河流动力学研究技术领域，具体地涉及基于模式识别与运动回溯的床面颗粒辨识追踪方法。

背景技术

河流床面的泥沙颗粒随机运动规律复杂，近几十年来国内外众多学者一致致力于其运动特征的研究，由于试验技术所限，精准可靠的试验资料比较匮乏，使得对颗粒运动速度、单步时长等运动参量的基本认识还存在不少分歧。

目前水下高速摄影技术已经开始在推移质精准观测中应用，一般多采用侧视和俯视两种观测方式。苗蔚等将高速摄影技术用于泥沙起动概率的测量，通过图像识别与分析，实现了起动概率的非接触测量；但在在拍摄方式、采样频率、图像处理方法以及对测量数据的科学分析方面还存在一些值得商榷的地方。

近年还有学者利用交通监控视频，研究基于图像识别的交通流量监测和交通违规查询。在遇到目标被遮掩，不同视角下的目标和不同光照背景下的目标存在不能准确追踪目标轨迹；也有人采用在计算机图像处理和识别领域获得良好效果的卷积神经网络CNNs方法，能够适应复杂交通领域行人，车辆识别监测。CNNs所具有的对观测对象平移、缩放和旋转的不变形，则能够很好的应对复杂场景，不断变化的光强，观察视角变化。

发明内容

高速摄像和粒子跟踪测速（PTV）技术提供了高效的图像采集及分析方法，水下摄像技术为研究床面颗粒运动可以提供较好的视频图像资料；但要获取准确、可靠的颗粒状态特征数据，还需在图像采集质量、颗粒图像处理、运动区域与样本选取、数据筛选等不少方面予以改进和完善，才能使基于图像识别的颗粒运动分析更为可信，推动推移质运动理论研究与测验技术应用的发展。

本发明的目的在于提供一种基于运动图像回溯的床面颗粒辨识追踪方法，解决水下摄影获取的明流床面颗粒运动状态图像的解析与运动要素的提取.。

本发明为解决上述技术问题采用以下技术方案：

一种基于运动图像回溯的床面颗粒辨识追踪方法，包含如下9个步骤：

步骤1) ，基于水下摄影的明槽床面颗粒状态图像采集技术，通过实时监控获取水槽床面颗粒运动的图像信息；利用粒子图像测速技术获取水流实时运动速度信息。

步骤2），对获取的视频进行预处理，利用二值法调节其数据分辨率，使每帧图片都适用于后续辨识与跟踪处理。

步骤3），对采集视频图像采用特征检测和提取算法进行读取、解析。首先引入视觉.前景探测器（vision. Foreground Detector ）作为检测函数，采用二维高斯混合模型检测前景；随后使用斑点分析（BlobAnalysis）组件函数检测连通域；将背景与前景中的运动颗粒分开，获取辨识追踪运动目标；随后，根据颗粒大小与形态学特征对前景图像中的噪点进行剔除；综合考虑光照、颗粒形态多因素对运动颗粒检测面像素域面积的影响，剔除的噪点为椭圆长边小于拍摄视野内肉眼可见的运动颗粒粒径的2/3的目标；对剔除噪点以后的前景内连通域进行形态矫正后，确认为获取有效的辨识追踪运动目标；利用中心输出端口（CentroidOutputPort）定位运动目标质心，并输出纵横坐标（

步骤4），连接所识别的前景对象（运动颗粒），使用运动回溯方法辨识、追踪每个运动粒子在不同帧像中的位置。基于帧间粒子辨识模型，确定在连续帧中粒子运动位置：辨识过程是通过回溯颗粒运动历史及运动特征，对颗粒在下一帧图像中可能到达的区域范围进行分析定位（见附图2）。基于其帧间投影位置，通过对粒子多个比较循环的重复识别，剔除匹配性差的目标，提取匹配性优良的目标，辨识锁定目标颗粒在当前帧中的位置；确定被检测辨识出的运动颗粒在每帧图像中的质心位置，获取在观测区中的颗粒纵横坐标（

步骤5），活性粒子与惰性粒子的识别：在低强度起动环境条件下，选择采样间隔Δ

步骤6），每个运动颗粒在连续帧间移动时的质心被标识后，采集在不同帧间运动的活性粒子质心像素坐标（

Δ

Δ

式中：

步骤7），基于滤波的有效活性粒子数据集建立：采用滤波除噪技术对床面活性粒子进行运动过程的完整有效性识别，建立有效活性粒子运动数据集。根据完整性定义，视频刚开始即离开采集视场或视频将完时才进入采集视场的粒子数据均属不完整无效数据。为满足颗粒至少经历一次“运动-停止-运动”状态转换，选择运动轨迹累积超过10

步骤8），追踪中的颗粒定位误差处理：在床面运动颗粒识别跟踪时，为避免将颗粒单个坐标链接到运动轨迹中产生的定位误差，采用两种降低误差的方法。一是对颗粒运动轨迹数据进行滤波处理：沿颗粒运动轨迹，搜索颗粒各单步位移；然后滤除其中的颗粒运动无效步长

步骤9) ，对沿运动轨迹的颗粒速度进行平滑滤波处理；然后在确认选择的有效活性粒子长轨迹数据集里，进行颗粒状态特征值的分析与提取；输出床面颗粒的拉格朗日Lagrange坐标轨迹链表（见附图3）和活性粒子的各种运动特征值。

上述基于运动图像回溯的床面颗粒辨识追踪方法，所述步骤4)中所述帧间粒子辨识模型，其基本原理与辨识方法（见附图2）如下：

首先在上一帧中检测到了一个移动粒子，为追踪它需要在接下来的帧中通过回溯颗粒运动历程从其他移动粒子中辨识出这个粒子。用于分辨-识别-锁定连续帧中的同一颗粒的指标包括运动方向、转向角度、最大运动距离及运动历史。以运动粒子P

上述基于运动图像回溯的床面颗粒辨识追踪方法，所述步骤1)，所述基于水下摄影的明槽床面颗粒状态图像采集技术，包括依靠安装在待测水槽水下及床面颗粒上方的水下摄像机，通过实时监控录像，获取床面颗粒运动的视频图像信息；利用安装在待测水槽上的粒子图像像测速仪，获取水流瞬时运动速度信息。

上述基于运动图像回溯的床面颗粒辨识追踪方法，所述步骤6)中所述坐标轨迹链，需要进行下述工作：

对于要跟踪的每个颗粒，在下一个时间帧中要尝试对多个相邻目标颗粒进行比较识别链接；最佳识别链接按如下原则选定：根据实际颗粒速度的投射位置即最小加速度条件，或者按离上一帧中位置最近；设置匹配概率阈值，经过多次迭代得到前一帧及后一帧图像中颗粒的完全匹配；为提高对颗粒的识别精度，识别过程中附加三个约束条件：

1) 颗粒最大速度不超过距床面约4

2) 每个△

3) 每个△t 时段内，颗粒向后（逆流向）摆动的幅度不超过中值粒径

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

以往的颗粒运动图像识别方法相比，本技术采用帧间粒子辨识模型和目标粒子轨迹链的方法，实现了对目标颗粒运动的精细辨识、多维信息采集与全过程追踪。获取了床面颗粒较为完整的踪迹数据，进行的颗粒Lagrange运动过程分析显示颗粒速度的PDF具有很好的伽马函数分布，其细尾变化特征与国内外主流研究成果一致，表明获取数据具有较高的质量与可信度。

本发明通过误差控制与最佳识别模式控制条件,可以大大提高数据精度与可信度,获取的有效活性粒子运动轨迹是以往研究者数据的5倍，大大提高对床面颗粒完整运动过程的认识和粒子运动多维信息的获取；

本发明对颗粒的辨识追踪能够达到实时检测要求，在精确检测模式下每秒处理图像不低于40帧；大大提高了对床面颗粒运动实时监测的能力。

附图说明

图1为发明技术方法的颗粒辨识追踪基本流程图；

图2为帧间粒子辨识示意图；

图3是追踪颗粒的有效运动轨迹。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如附图1所示，本发明公开了一种基于运动图像回溯的床面颗粒辨识追踪方法，包含如下步骤：

步骤1)，获取实时监控视频信息：基于水下摄影的水下摄像和粒子图像测速技术，通过实时监控获取水槽床面颗粒运动的图像信息与水流多点瞬时流速信息；

泥沙颗粒控制条件：粒度比较均匀的窄级配泥沙，

步骤2），对获取的视频进行预处理，利用二值法调节其数据分辨率，使每帧图片都适用于后续辨识与跟踪处理；

步骤3），对采集视频图像采用特征检测和提取算法进行读取、解析：首先引入视觉.前景探测器（vision. Foreground Detector） 作为检测函数，采用二维高斯混合模型检测前景；随后使用斑点分析（BlobA nalysis）组件函数检测连通域；将背景与前景中的运动颗粒分开，获取辨识追踪运动目标；随后，根据颗粒大小与形态学特征对前景图像中的噪点进行剔除；综合考虑光照、颗粒形态多因素对运动颗粒检测面像素域面积的影响，剔除的噪点为椭圆长边小于拍摄视野内肉眼可见的运动颗粒粒径的2/3的目标，不大于1/3

步骤4），连接所识别的前景对象（运动颗粒），使用运动回溯方法辨识、追踪每个运动粒子在不同帧像中的位置。基于帧间粒子辨识模型，确定在连续帧中粒子运动位置：辨识过程是通过回溯颗粒运动历史及运动特征，对颗粒在下一帧图像中可能到达的区域范围进行分析定位（见附图2）。基于其帧间投影位置，通过对粒子多个比较循环的重复识别，剔除匹配性差的目标，提取匹配性优良的目标，辨识锁定目标颗粒在当前帧中的位置；确定被检测辨识出的运动颗粒在每帧图像中的质心位置，获取在观测区中的颗粒纵横坐标（

步骤5），活性粒子与惰性粒子的识别：在低强度起动环境条件下，选择采样间隔Δt内顺流向位移达0.1

步骤6），每个运动颗粒在连续帧间移动时的质心被标识后，采集在不同帧间运动的活性粒子质心像素坐标（

Δ

Δ

式中：

步骤7），基于滤波的有效活性粒子数据集建立：采用滤波除噪技术对床面活性粒子进行运动过程的完整有效性识别，建立有效活性粒子运动数据集。根据完整性定义，视频刚开始即离开采集视场或视频将完时才进入采集视场的粒子数据均属不完整无效数据。为满足颗粒至少经历一次“运动-停止-运动”状态转换，选择运动轨迹累积超过10

步骤8），追踪中的颗粒定位误差处理：在床面运动颗粒识别跟踪时，为避免将颗粒单个坐标链接到运动轨迹中产生的定位误差，采用两种降低误差的方法。一是对颗粒运动轨迹数据进行滤波处理：沿颗粒运动轨迹，搜索颗粒各单步位移；然后滤除其中的颗粒运动无效步长

步骤9) ，通过上述三重对颗粒速度进行的平滑滤波处理；然后在确认选择的有效活性粒子长轨迹数据集里，进行颗粒状态特征值的分析与提取；输出床面颗粒的拉格朗日Lagrange坐标轨迹链表（见附图3）和活性粒子的各种运动特征值。

上述基于运动图像回溯的床面颗粒辨识追踪方法，所述步骤4)中所述帧间粒子辨识模型，其基本原理与辨识方法（见附图2）如下：

首先在上一帧中检测到了一个移动粒子，为追踪它需要在接下来的帧中通过回溯颗粒运动历程从其他移动粒子中辨识出这个粒子。用于分辨-识别-锁定连续帧中的同一颗粒的指标包括运动方向、转向角度、最大运动距离及运动历史。以运动粒子P

上述基于运动图像回溯的床面颗粒辨识追踪方法，所述步骤1)，所述基于水下摄影的明槽床面颗粒状态图像采集技术，包括依靠安装在待测水槽水下（床面颗粒上方）的水下摄像机，通过实时监控录像，获取床面颗粒运动的视频图像信息，供后续对运动颗粒的辨识追踪使用；利用安装在待测水槽上的粒子图像像测速仪，获取试验段多点瞬时流速信息，供紊流结构分析使用。

上述基于运动图像回溯的床面颗粒辨识追踪方法，所述步骤6)中所述坐标轨迹链，需要进行下述工作：

对于要跟踪的每个颗粒，在下一个时间帧中要尝试对多个相邻目标颗粒进行比较识别链接；最佳识别链接按如下原则选定：根据实际颗粒速度的投射位置即最小加速度条件，或者按离上一帧中位置最近；设置匹配概率阈值，经过多次迭代得到前一帧及后一帧图像中颗粒的完全匹配；为提高对颗粒的识别精度，识别过程中附加三个约束条件：

1) 颗粒最大速度不超过距床面约4

2) 每个△

3) 每个△t 时段内，颗粒向后（逆流向）摆动的幅度不超过中值粒径

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。