一种面向民航飞机的视频实时稳像方法

技术领域

本发明涉及一种面向民航飞机的视频实时稳像方法。

背景技术

随着智能交通业务的飞速发展，人们对民航飞机安全生产、监控调度和管理控制等工作的要求越来越高，这些工作都要依赖安装的相机进行环境感知，为使环境感知得到的信息更加精准，首先一定要保证获取的视频数据清晰稳定。然而民航飞机在工作途中，经常由于天气、路况、速度等原因导致相机产生抖动，很难获取到稳定的视频数据，如果能对视频数据进行稳像处理得到稳定视频，会更利于工作人员对当前舱内实时情况的掌握。

当前视频稳像的方法虽已相对成熟，但应用于民航飞机仍然存在以下问题：

(1)针对鱼眼相机拍摄视频效果不佳

目前的视频稳像方案大多是搭配标准相机镜头进行使用的，而对于民航飞机为保证无死角对整个舱室进行观测，通常使用鱼眼相机进行拍摄，而鱼眼镜头为了达到超大的视角，成像画面产生了较大的畸变，越靠近边缘畸变越大，相机抖动时图像各部分的运动矢量方向并不相同，在相机产生抖动位移量时，图像中各像素点运动方向并不相同，因此直接对鱼眼相机的成像视频进行稳像处理会导致对抖动的误判从而去抖效果不佳。

(2)针对俯视视角稳像效果较差

为方便观察舱内情况，通常将相机布设在舱顶处对舱内进行俯拍。在遭遇颠簸时，产生的抖动多为沿横截面上各方向随机抖动矢量的叠加，当相机平视拍摄时，抖动方向所在平面与相机成像的图像平面平行，最终呈现为画面的平移，此时可以将相机的运动视为在2D平面内运动。而在相机俯视拍摄情况下，飞机的部分抖动在相机成像坐标系内被分解为最终呈现为目标的放缩，此时相机更接近在3D空间里随机抖动，因此在俯视情况下应考虑相机所在环境为3D真实场景，若使用描述2D图像的模型建模实现稳像功能，则会使最终稳像效果大打折扣。

(3)遭遇剧烈抖动时稳像效果较差

首先稳像算法通常基于图像识别、运动估计和补偿技术实现，但在剧烈抖动的情况下，图像可能出现很大的位移和形变，使得算法难以准确识别和补偿抖动；其次，遭遇剧烈抖动时，视频内目标有可能发生运动，如飞机遭遇气流强烈的颠簸时，舱内乘客可能产生位移，易对相机的运动估计产生影响。

发明内容

针对现有系统存在的上述问题，本发明提供了一种面向民航飞机的视频实时稳像方法及装置，其获得了以下效果：1)充分利用相机内外参作为先验对稳像算法进行优化，针对于鱼眼相机拍摄的畸变视频稳像效果更好；2)针对于俯视架设的相机，使用3D运动模型对相机内的目标进行运动估计，提升最终稳像效果。3)使用基于内容感知的分块策略解决剧烈抖动下难以估计全局运动矢量从而导致稳像效果不佳的问题。

针对于鱼眼畸变的问题，本文拟通过相机内外参先验进行场景分析，通过相机内参对获取视频流进行畸变矫正预处理，得到的校正后视频全局抖动矢量接近一致，再进行后续稳像处理。

针对于俯视场景的问题，由于稳像算法基于3D模型的处理相对于2D模型较为复杂，因此当场景深度变换较弱无需3D模型处理的情况下优先使用2D模型进行处理，本文拟通过相机外参得到相机架设角度判定场景建模方式，若架设角度较大则无法忽视由于抖动产生的深度变化，此时切换3D模型进行稳像处理。

针对于剧烈抖动情况，图像中各目标的映射关系差距较为明显，除了帧间发生较为明显的变化，由于剧烈运动时各目标运动矢量不同，还产生了较为明显的帧内变化，因此对图像进行提取特征点并进行可靠性筛选后，通过判断相似的运动特征进行聚类，估计出帧内各相似运动的目标的运动轨迹，利用帧间和帧内的时空相关性相近的先验，计算出能同时稳像与矫正的变换矩阵，从而完成对抖动的去除。

根据本发明的一个方面，提供了面向民航飞机的视频实时稳像方法及装置，其特征在于包括如下步骤：

A)获取目标相机的内参，并根据相机种类以及镜头类型在稳像处理前对视频进行预处理获取相机的内参和外参，

内参包括：

焦距：描述相机的焦距，通常以像素为单位；

主点：描述图像坐标系的原点在相机坐标系中的投影位置，通常以像素为单位；

径向畸变系数：描述径向畸变，通常使用k_1,k_2等参数；

切向畸变系数：描述切向畸变，通常使用p_1,p_2等参数；

这些参数通过相机标定的过程获得，标定通常使用标定板或特定的场景进行。

外参描述了相机坐标系相对于世界坐标系的位置和方向，外参包括：

旋转矩阵：描述相机的旋转变换；

平移向量：描述相机的平移变换；

外参描述了相机坐标系相对于世界坐标系的位置和方向。

B)根据相机架设位置及角度，自适应调整稳像算法的运动模型。

C)选定分块策略对图像进行区域分割，在各区域内进行特征点跟踪并根据运动矢量进行聚类分析。

D)根据特征点检测情况自适应调整分块策略，获取质量更高的特征点以提高帧间变换矩阵计算的准确度。

E)基于以上针对民航飞机上相机监控视频的稳像优化算法，集成出根据不同环境自适应调整的快速稳像系统装置。该装置根据对场景的自适应感知，针对不同环境的干扰因素，使用合适的策略和模型进行稳像处理，同时提升算法执行速度，保证算法实时处理。

附图说明

图1(A)为鱼眼相机拍摄的畸变图像，图1(B)为对畸变图像进行矫正预处理后的图像。

图2(A)和2(B)分别为前后两帧筛选的特征点匹配结果。

图3为选取出多帧问向前后对比图，左侧为稳像前图像，右侧为稳像后图像。

具体实施方式

根据本发明的一个实施例的面向民航飞机的视频实时稳像方法包括如下步骤：

a)获取固定好相机的内参和外参：

内参包括：

焦距：描述相机的焦距，通常以像素为单位；

主点：描述图像坐标系的原点在相机坐标系中的投影位置，通常以像素为单位；

径向畸变系数：描述径向畸变，通常使用k

切向畸变系数：描述切向畸变，通常使用p

这些参数通过相机标定的过程获得，标定通常使用标定板或特定的场景进行。

外参包括：

旋转矩阵：描述相机的旋转变换；

平移向量：描述相机的平移变换；

外参描述了相机坐标系相对于世界坐标系的位置和方向。

b)基于相机内参对图像进行畸变矫正预处理，获取矫正后图像：

鱼眼相机导致畸变的原因主要包括径向畸变和切向畸变鱼眼相机的径向畸变通常使用多项式函数进行建模。考虑二阶径向畸变，对于一个点(x,y)，矫正后的坐标(x

其中，r为到图像中心的距离，k

其中，r为到图像中心的距离，p

畸变校正前后图像分别如图1(A)和1(B)所示。

c)基于相机外参选取合适的运动矢量模型：

通过分析相机外参得到相机的位姿参数，若相机为俯视角度架设，获取当前的俯视角，若当前俯视角较大时，相机的垂直运动分量会对应产生符合线性比例关系的景深变化。当目标产生景深变化时，距离相机越近的目标放缩变化越明显，因此根据此原理，使用基于特征点描述运动轨迹的3D稳像方法，选取特征点时，距离相机较近的目标特征点应较为稠密，距离远的目标特征点相对稀疏，在充分还原近距离目标的放缩变换的同时，又提高了算法的处理速度。

d)对图像进行分块，并在各块区域内进行特征点追踪：

由于图像中心区域一般包含信息较多，因此先将整幅图像分为中心区域和边缘区域，再将各区域分割成大小相同的n*n块，为同时处理帧内及帧间的画面抖动，利用KLT跟踪器对输入的视频序列进行特征点的检测与跟踪。经典的KLT跟踪器使用了一个全局阈值来提取特征点，这可能会导致特征点的不均匀分布。为保证各块的局部运动矢量更接近真实的3D运动模型，希望每块中都能有足够的特征点来计算局部运动参数，在每块中计算一个局部阈值使其能检测到一定数量的特征点，并根据区域信息量大小以及特征点的置信度调整特征点数量，然后跟踪器会在后续帧中构建出它们的特征轨迹。当有部分轨迹中断时，跟踪器会重新提取新的特征点以维持恒定数量的特征轨迹。最后，使用RANSAC算法剔除错误的匹配点以及去除运动目标的干扰。前后两帧匹配成功的特征点分别如图2(A)和2(B)所示。

e)计算各块内的局部运动矢量，对相近矢量进行聚类分析：

当获取足够数量的特征点，通过特征点帧间的位置变化计算特征点的运动矢量，将特征点的运动矢量相似的块进行聚类，最终将图像分割成m个子块。

f)基于e)中分割各块的局部运动矢量，对每一块分别进行运动补偿，再对分隔区域进行图像融合保证图像的平滑。稳像前后对比图如图3所示。

发明的优点和有益效果：

本发明采用先进的稳像算法和装置，能够在视频录制和播放的同时进行实时稳像处理，大幅提升了相机拍摄到的视频质量。与传统方法相比，本发明更具鲁棒性，能够在恶劣气象和高速飞行等复杂环境中稳定地处理视频信号，确保输出稳定、清晰的图像。发明中采用的自适应稳像算法能够根据飞行状态和环境条件实时调整参数，适应不同场景，提高了稳像系统的智能化水平。发明中的稳像装置采用轻量化设计，有效减轻了装载负担，对飞机整体性能的影响较小。本发明的稳像方法和装置具有较强的通用性，能够适配多种类型的摄像头，为不同型号和品牌的民航飞机提供了灵活的选择。

综上所述，本发明的面向民航飞机的视频实时稳像方法及装置，通过创新性的设计和技术手段，全面提升了民航飞机的视频稳像性能，为提高飞行安全性带来显著的优势。