基于高速铁路运行环境视频自适应去模糊方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及基于高速铁路运行环境视频自适应去模糊方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

我国高速铁路里程长，跨度大，沿线自然环境非常复杂，定期地进行高速铁路运行环境安全检查，有利于及时地发现线路安全隐患，保障高速列车的安全运行。目前，利用计算机视觉、人工智能等技术基于视频数据进行自动化检测是高速铁路运行环境安全检查的主要技术手段。高速铁路运行环境视频的采集方式分为2种：

(1)利用高速铁路路旁安装的摄像机对特定场景进行全天候监控。这种方式获取的视频图像质量较高，有利于后续的安全检查任务。然而，高速铁路沿线自然环境复杂，部分区段不具备架设摄像机的条件，导致无法获取全线路的运行环境信息；

(2)利用车载摄像机在高速列车行驶过程中拍摄境视频。这种方式能够获取全线路的运行环境信息，但高速列车行驶速度快，拍摄的视频图像存在运动模糊，模糊程度与列车速度正相关，对后续的运行环境安全检测任务造成很大困难。此外，受轨道平顺性影响，高速列车行驶过程中不可避免的会产生振动，同时导致车载摄像机振动，造成散焦模糊。

为了自适应地去除高速行车条件下车载摄像机运动所导致的运动模糊和散焦模糊，使用现有的图像运动模糊复原方法进行处理，以实现采集高质量的高速铁路运行环境视频的目的。去卷积方法是经典的图像运动模糊复原方法，根据点扩散函数(Point SpreadFunction，PSF)是否已知，该类方法又可分为盲去卷积方法和非盲去卷积方法。盲去卷积方法通常是基于贝叶斯框架的随机性方法，利用图像局部内容的统计特性和成像系统的先验知识，采用贝叶斯推导方法求解PSF和复原图像，如：最小均方误差法、隐变量法、最大后验概率法和变分法。非盲去卷积方法通常先基于强边缘预测、图像频域和图像内容先验迭代估计图像的PSF，再利用Richardson-Lucy、一阶原始对偶优化和Hyper-Laplacian等算法进行去卷积处理，从而得到复原图像。

近年来，深度卷积神经网络(Deep Convolutional Neural Network，DCNN)在图像去模糊领域取得了许多优秀的成果，如，DeblurGAN系列、EDVR、和PSS-NSC。该类方法的基本原理是先利用条件生成式对抗网络(Conditional Generative Adversarial Networks，C-GAN)从模糊图像重建复原图像，然后，度量复原图像与清晰参考图像的相似度作为网络损失值，迭代更新网络模型各层参数，直至复原图像与清晰图像的相似度达到最优。

然而，现有方法应用于车载高速铁路运行环境视频时，存在以下2个方面的问题：

(1)经典的图像去模糊方法通常假设空间不变的图像模糊，针对特定的图像场景、图像内容等先验知识估计PSF，进而得到复原图像。然而，高速铁路沿线环境不断变化，视频图像的模糊程度也受到列车行驶速度和轨道平顺性的影响，产生的图像模糊是空间变化的，现有方法难以实现自适应地去模糊；

(2)基于DCNN的图像去模糊方法需要人工地构建大量清晰-模糊图像样本对，作为训练网络模型的样本数据。然而，高速行车条件下，很难获得清晰的参考图像用于构建训练样本集。

发明内容

本发明实施例提供一种基于高速铁路运行环境视频自适应去模糊方法，该方法包括：

获得摄像机运动参数；

基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；

根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；

获得模糊图像；

基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像。

本发明实施例还提供一种基于高速铁路运行环境视频自适应去模糊装置，该装置包括：

摄像机运动参数获得模块，用于获得摄像机运动参数；

摄像机的旋转矩阵和平移矩阵确定模块，用于基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；

稀疏重采样矩阵确定模块，用于根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；

模糊图像获得模块，用于获得模糊图像；

复原图像获得模块，用于基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于高速铁路运行环境视频自适应去模糊方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述基于高速铁路运行环境视频自适应去模糊方法的步骤。

本发明实施例中，通过获得摄像机运动参数；基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；获得模糊图像；基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像，可以复原空间变化的模糊图像，为高速铁路运行环境安全检查提供有效数据保障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中基于高速铁路运行环境视频自适应去模糊方法流程图；

图2为本发明实施例中高速铁路运行环境视频原始图像；

图3为本发明实施例中具体的高速铁路运行环境视频自适应去模糊方法流程图；

图4为本发明实施例中高速铁路运行环境视频去模糊效果对比图；

图5为本发明实施例中原始图像和复原图像的BRISQUE指标对比试验结果；

图6为本发明实施例中基于高速铁路运行环境视频自适应去模糊装置结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

图1为本发明实施例中基于高速铁路运行环境视频自适应去模糊方法流程图，如图1所示，该方法包括：

步骤101：获得摄像机运动参数；

步骤102：基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；

步骤103：根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；

步骤104：获得模糊图像；

步骤105：基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像。

具体的，本发明提出的基于高速铁路运行环境视频自适应去模糊方法的具体处理流程如图2所示，该方法利用惯性测量单元测量摄像机运动参数，从而解计算摄像机运动轨迹得到平移矩阵和旋转矩阵，然后，计算稀疏重采样矩阵，并与模糊图像共同输入到空间变化的去卷积算法，得到复原图像。

在本发明实施例中，空间变化的图像模糊模型：

通常，空间不变的图像模糊被看作是点扩散函数和加性高斯白噪声共同作用于清晰图像的结果，可形式化为下式：

其中，I表示潜在的清晰图像，K表示点扩散函数，N表示噪声，B表示已知的模糊图像，

然而，摄像机在曝光时间内的运动会导致空间变化的图像模糊，例如：(1)由于图像平面的焦距变化而产生的散焦模糊；(2)由于摄像机平移运动导致的运动模糊；(3)由于摄像机的滚动、偏航和俯仰运动导致的运动模糊。

真实场景中，点(X,Y,Z)在时刻t的光强度经过与摄像机投影矩阵P

(u

在曝光时间内，如果摄像机发生平移或旋转运动，则P

摄像机投影矩阵P

P

其中，E

(u

其中，d表示深度值，M是与图像平面正交的单位向量。

因此，给定t＝0时刻的图像I

I

式中，F

由此，空间变化的图像模糊模型可表示如下：

其中，S表示积分区间，公式(7)对时刻t积分，S表示总时间；

对于步骤103：公式(4)和(5)是根据旋转矩阵和平移矩阵计算单个点从t

基于惯性测量单元的摄像机运动轨迹测量方法：

基于上述空间变化的图像模糊模型，去除空间变化的图像模糊需要求解4个未知量，即曝光时间内的摄像机旋转矩阵R

车载高速铁路运行环境视频的模糊是由摄像机运动所导致，因此，可根据曝光时间内摄像机的运动轨迹来计算旋转矩阵R

惯性测量单元是一种捷联惯导装置，一般由3轴陀螺仪和3轴加速度计组成，用于测量载体在空间3个坐标轴的角速度和加速度，即运动参数。车载高速铁路运行环境视频采集系统中，摄像机和惯性测量单元是通过螺栓固定于列车车体，可看作是刚性连接，即惯性测量单元测量的运动参数同时表示列车车体和车载摄像机的运动参数。

惯性测量单元测量的角速度是t时刻坐标系摄像机旋转的角速度，测量的加速度是t时刻坐标系下平移加速度、旋转产生的向心加速度和重力加速度之和。具体来说，在曝光时刻[0，t]内，惯性测量单元测量的运动参数如下：

式中，

将测量的角速度依次积分并旋转到初始坐标系，即可计算每个时刻初始坐标系的角度位置

式中，

然后，可根据旋转矩阵计算初始坐标系加速度：

其中，

再将测量的加速度依次积分并旋转到初始坐标系，即可计算每个时刻初始坐标系的相对速度

其中，

本发明中，由于摄像机运动频率高，可将测量的加速度视为关于恒定重力的正态分布，则加速度的平均值即为重力加速度：

其中，

因此，根据下式计算每个时刻摄像机在初始坐标系的位置，从而得到摄像机平移矩阵T

注意，在t＝0时刻，初始角度位置

空间变化的去卷积算法：

本发明基于贝叶斯框架进行图像去卷积，利用已知的模糊图像B、重采样矩阵F和噪声水平σ

P(I′|B,F)＝P(B|I′)P(I′)/P(B) (17)

arg max

其中，P(I′|B,F)表示清晰图像关于模糊图像和重采样矩阵的后验概率；P(B|I′)表示模糊图像关于清晰图像的后验概率；P(I′)表示清晰图像的后验概率；P(B)表示模糊图像的后验概率；P(I′|B)表示清晰图像关于模糊图像的后验概率；L(B|I′)表示模糊图像关于清晰图像的负对数似然；L(I′)表示清晰图像的负对数似然。

根据空间变化的图像模糊模型，模糊图像关于清晰图像的负对数似然可重写为：

L(B|I′)＝||B-F(d)I′||

为了保证稀疏性，L(I′)需要满足超拉普拉斯分布，即，稀疏梯度惩罚项：

其中，λ表示惩罚项权重系数，此惩罚项保证复原图像梯度的稀疏性；

需要注意的是，场景深度d仍为未知量。因此，在求解最优复原图像I′的过程中，需要隐式地计算场景深度d。具体来说，对于图像平面中某一点(u,v)，在图像空间中搜索其潜在的投影结束点(u′,v′),该点处深度d可根据下式计算：

d＝u/u′＝v/v′ (21)

最后，采样用最小二乘法进行优化，即可求得最优复原图像。优化目标函数可重写为：

通过具体的实例来说明本发明。

车载高速铁路运行环境视频采集系统的视频图像分辨率为2048×1536，帧率为25FPS，拍摄的原始视频图像如图3所示。显然，检测列车时速为301Km/h时，图像存在较严重的运动模糊，需要进行去模糊处理。

基于图1和图2所示的基于高速铁路运行环境视频自适应去模糊方法，得到复原图像，以高速综合检测列车为平台，在实际的高速铁路线路进行试验验证，并选用统计特性去模糊方法与本发明方法进行比较，以验证本发明方法的有效性和优越性。

对比结果如图4所示，其中，第1行为50-100km/h速度的视频图像，第2行为100-200km/h速度的视频图像，第3行为200-300km/h速度的视频图像，第4行为300km/h以上速度的视频图像，不同速度等级视频图像的模糊程度不同。为便于观察去模糊效果，将图像的局部区域进行了放大显示。

观察对比结果可知，本方法能够有效地去除不同速度等级视频图像的运动模糊。与统计特性去模糊方法相比，本方法能够更好地去除图像模糊，更多地复原图像的细节信息，更有利于高速铁路运行环境安全检查任务。

由于无法获取清晰的参考图像，无法使用PSNR、RMS等常见的图像评价指标来评价本方法的去模糊效果。因此，采用无需参考图像的BRISQUE指标来评价复原图像的质量，并与统计特性去模糊方法进行比较。具体来说，选取20幅原始视频图像，每种速度等级各5幅，分别使用本方法和统计特性去模糊方法进行去模糊，得到复原图像，然后，计算每幅图像的BRISQUE指标。对比结果如图5所示，其中，BRISQUE值越低，表示图像质量越好。

根据对比试验结果可知，不同速度等级原始图像的质量存在巨大差异，速度等级越低，图像的模糊程度越低，图像质量越好。在低速度时，本方法与统计特性去模糊方法的去模糊效果差异不显著，但在高速度时，本方法仍然能够继续保持较低的BRISQUE指标，复原出质量较高的图像，充分证明了本方法的有效性和优越性。

两次对比试验结果表明，本方法更适合去除车载高速铁路运行环境视频图像的运动模糊，实现了采集高质量运行环境视频数据的目的。

与现有方法相比，本方法的计算复杂度更低，且能够自适应地去不同速度等级的图像模糊，在高速度时，本方法仍然能够继续保持较低的BRISQUE指标，复原出质量较高的图像，有利于提升车载高速铁路运行环境视频的质量，为高速铁路运行环境安全检查任务提供有效数据保障。

本发明实施例中还提供了一种基于高速铁路运行环境视频自适应去模糊装置，如下面的实施例所述。由于该装置解决问题的原理与基于高速铁路运行环境视频自适应去模糊方法相似，因此该装置的实施可以参见基于高速铁路运行环境视频自适应去模糊方法的实施，重复之处不再赘述。

图6为本发明实施例中基于高速铁路运行环境视频自适应去模糊装置结构框图，如图6所示，该装置包括：

摄像机运动参数获得模块02，用于获得摄像机运动参数；

摄像机的旋转矩阵和平移矩阵确定模块04，用于基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；

稀疏重采样矩阵确定模块06，用于根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；

模糊图像获得模块08，用于获得模糊图像；

复原图像获得模块10，用于基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像。

在本发明实施例中，所述摄像机运动参数包括角速度和加速度；

所述角速度为当前坐标系摄像机旋转的角速度；

所述加速度为当前坐标系下平移加速度、旋转产生的向心加速度和重力加速度之和。

在本发明实施例中，摄像机的旋转矩阵和平移矩阵确定模块04具体用于：

将角速度依次积分并旋转到初始坐标系后，计算每个时刻初始坐标系的角度位置，根据角度位置确定摄像机的旋转矩阵。

在本发明实施例中，摄像机的旋转矩阵和平移矩阵确定模块04具体用于：

按照如下公式基于摄像机运动参数确定摄像机的旋转矩阵：

其中，其中，

在本发明实施例中，摄像机的旋转矩阵和平移矩阵确定模块04具体用于：

根据摄像机的旋转矩阵和摄像机运动参数中的加速度确定初始坐标系加速度；

将初始坐标系加速度依次积分并旋转到初始坐标系，确定每个时刻初始坐标系的相对速度和相对位置；

根据每个时刻初始坐标系的相对速度和相对位置确定摄像机的平移矩阵。

在本发明实施例中，摄像机的旋转矩阵和平移矩阵确定模块04具体用于：

按照如下公式基于摄像机运动参数确定摄像机的平移矩阵：

其中，

在本发明实施例中，复原图像获得模块10具体用于：

按照如下公式基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像：

其中，L(B|I′)表示模糊图像关于清晰图像的负对数似然；B表示模糊图像；I′表示复原图像；F(d)表示基于场景深度d的稀疏重采样矩阵；σ

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于高速铁路运行环境视频自适应去模糊方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述基于高速铁路运行环境视频自适应去模糊方法的步骤。

本发明实施例中，通过获得摄像机运动参数；基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；获得模糊图像；基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像，可以复原空间变化的模糊图像，为高速铁路运行环境安全检查提供有效数据保障。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。