一种融合脉冲数据和帧数据的运动图像的超分辨提升方法

技术领域

本发明涉及人工智能领域，特别地，涉及一种融合脉冲数据和帧数据的运动图像的超分辨提升方法。

背景技术

脉冲相机作为一种新型的相机技术，主要通过感知环境的变化提供脉冲信号，得益于它高速的采集速率和宽动态能力，已经广泛应用于运动目标的采集等领域，传统的相机可以提供比较高分辨率的帧数据，但存在的主要问题是：传统相机受到快门曝光等设置，无法很好的捕捉运动目标，尤其是高速目标，往往会导致运动模糊。虽然有专业的高速相机可以完成对高速目标捕捉，然而高速相机大多价格昂贵，且高速相机会产生大量的数据冗余，帧率固定等缺点。解决以上问题及缺陷的难度为：用传统方式解决这个问题难度很大，这是传统相机基于原理的固有缺陷，在捕捉运动目标，采用全局快门，必然带来背景信息的大量冗余。

脉冲数据和帧数据在数据表达形式上有很大的区别，脉冲相机输出的是高时间分辨率的异步脉冲信号，而传统相机输出的是连续的帧数据，将两者进行有效的融合具有重要意义。解决以上问题及缺陷的意义为：可以有效的降低在高速目标采集过程中所带来的数据冗余，以较少的数据量可以完成高速移动目标的数据采集。

发明内容

本发明提供了一种融合脉冲数据和帧数据的运动图像的超分辨提升方法，通过人工智能的融合方法提升传统相机的帧率，使其能的对高速运动的目标有好呈现效果。

本发明的技术方案如下：

本发明的融合脉冲数据和帧数据的运动图像的超分辨提升方法，包括以下步骤：S1.数据输入：将脉冲相机和传统相机固定在同一平面上，每次使用时都要获取动态的矫正棋盘格信息数据，同时将脉冲数据和帧数据输出；S2.同步数据：根据时间戳对脉冲数据和帧数据进行同步，同步的时间戳以帧数据为基准，脉冲数据包含上一帧到当前帧时间段的所有数据；S3.脉冲光流：提取脉冲数据的光流特征；S4.帧数据光流：提取帧数据的光流特征；S5.数据矫正：利用步骤S1获取到的棋盘格信息数据，通过计算后对脉冲数据进行校正，使其可以映射到帧数据的坐标系中；S6.数据融合：将步骤S5校正好的光流特征进行融合；S7.生成恢复：通过步骤S6数据融合后的数据恢复为高帧率、高质量的帧数据；S8.数据输出：输出高帧率的视频数据。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S2中，同步数据包括脉冲数据和帧数据的时间对齐，以及脉冲数据和帧数据空间对齐。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S2中，脉冲数据和帧数据的时间对齐通过设置绝对时间戳来实现，即帧数据当前时间的数据和脉冲数据此时刻数据到上一帧时间内的所有数据为同一时刻数据。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S2中，脉冲数据和帧数据空间对齐通过移动的棋盘格进行对齐，首先将棋盘格设置成圆形，并按照一定速度匀速旋转，按照时间对齐的要求进行数据提取，时间持续1s，将脉冲按照20ms的时间间隔映射为图像帧，对1s钟的数据利用棋盘格求出两个相机的候选坐标系，并将每个相机的候选坐标系进行平均计算，均值结果作为两个坐标系的最终输出，并在坐标系的基础上建立两个坐标系的映射关系。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S3中，采用滑动窗口的形式收集，当脉冲相机输出脉冲信号时，信号便在一个矩阵窗口进行累计，当累计到一定数量时，保存窗口，重新累计，新的累计完成时，计算相邻两个窗口的L1-光流特征，依次类推。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S4中，直接对相邻的帧数据采用L1-光流法进行光流提取。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S6中，将帧数据和脉冲数据分别映射到光流特征空间后，光流特征包含运动矢量信息，在数据融合前需要采用步骤S2中的脉冲数据和帧数据进行时间对齐和空间对齐，时间对齐将脉冲相机时间段的数据对应到帧相机时间点的数据，空间对齐需要坐标系进行映射，将脉冲相机的光流特征通过两个坐标系的转换，将坐标映射到帧数据下的坐标系中，然后，采用直接相加的方法就可以完成融合，在帧数据的光流特征的基础上叠加上脉冲数据的光流特征。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S7中，利用融合后的光流特征对原视频进行修复，融合后的光流特征和源视频帧同时输入训练好的生成对抗网络中，设定相应的输出参数，网络通过光流特征，对视频帧进行生成加帧处理，以对原视频进行恢复。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S8中，将步骤S7中生成的数据按照AVS3编码后输出。

根据本发明的技术方案，产生的有益效果是：

本发明的融合脉冲数据和帧数据的运动图像的超分辨提升方法，可以有效地利用脉冲相机协助普通相机实现对高速目标的捕捉效果，以较低的成本实现对高速目标的捕捉，使得本发明使用较低成本的脉冲相机和普通相机就可以实现对高速目标的捕捉，生成输出输入任意帧率视频，提升了传统相机的捕捉性能。

为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明的融合脉冲数据和帧数据的运动图像的超分辨提升方法的流程图；

图2是本发明涉及的帧数据和脉冲相机获取数据的方式；

图3是本发明方法中校准采用的棋牌格。

具体实施方式

为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。

在视频数据采集中，往往会遇到因为光线变化太快，目标速度太快，或者相机抖动导致的图像模糊不清晰等问题，针对这个问题，本发明提出了两种模态融合修复的办法，在脉冲相机的辅助下，传统相机可以有效地解决这个问题，从而获取在恶劣条件下清晰的高帧率图像。

本发明的融合脉冲数据和帧数据的运动图像的超分辨提升方法，是一种有效地融合脉冲数据和帧数据的超分辨率提升方法，主要采用传统相机和脉冲相机的多模态融合的方法来对运动数据进行采集，充分发挥两种模态数据(即，脉冲数据和帧数据两种类型的数据)的优势，利用脉冲数据去修复完善帧数据图像。具体地，通过将脉冲数据和帧数据两种类型的数据同时提取光流特征，在光流特征层进行叠加融合后，利用融合后的光流特征对原视频进行修复的方法，完成普通帧率的视频可以提升到任意高帧率视频的过程。

本发明的工作原理是：本发明对高速脉冲数据和帧数据进行融合，融和后的数据将以高帧率的形式呈现，主要采用数据对齐、光流装换、光流融合和超分恢复这四个主要步骤，通过让两种模态数据进行对齐后，都装换成光流特征的形式进行融合，融合后的数据对原始的帧数据进行超分修复，使得原视频可以从低帧率提升到高帧率的数据。

如图1所示，融合脉冲数据和帧数据的运动图像的超分辨提升方法，包括以下步骤：

S1.数据输入：将脉冲相机和传统相机固定在同一平面上，每次使用时都要获取动态的矫正棋盘格信息数据，同时将脉冲数据和帧数据输出。图2是本发明涉及的两种模态传感器获取数据的不同方式，左边显示的是传统相机获取连续帧的图像，右边显示脉冲相机输出数据，脉冲相机的每个像素都可以被异步高速触发。

S2.同步数据：根据时间戳对两种模态的数据(脉冲数据和帧数据)进行同步，同步的时间戳以帧数据为基准，即帧数据包含此时帧的图像，脉冲数据包含上一帧到当前帧时间段的所有数据。同步数据包括脉冲数据和帧数据的时间对齐以及脉冲数据和帧数据空间对齐。由于帧数据和脉冲数据属于两种模态的数据，两种数据结构存在着较大差异，将数据投影到光流特征层进行融合，要达到好的融合效果，需要对两种模态的数据进行时间和空间上的对齐。

数据的对齐分为空间对齐和时间对齐。其中：

时间对齐方案为：脉冲数据和帧数据时间对齐通过设置绝对时间戳来实现，即帧数据当前时间的数据和脉冲数据此时刻数据到上一帧时间内的所有数据为同一时刻数据。例如当前帧的时间戳为1648623012.207346，上一帧的时间戳为1648623006.0445027，则与当前帧对应的脉冲数据包含1648623006.0445027到1648623012.207346间的所有数据。

空间对齐方案为：脉冲数据和帧数据空间对齐通过移动的棋盘格(如图3所示)进行对齐，由于脉冲相机只能捕捉移动的目标，传统的静态矫正已经不适用，因此，本发明提出动态的棋盘格子，首先将棋盘格设置成圆形，并按照一定速度匀速旋转。按照时间对齐的要求进行数据提取，时间持续1s，将脉冲按照20ms的时间间隔映射为图像帧，对1s钟的数据利用棋盘格求出两个相机的候选坐标系，并将每个相机的候选坐标系进行平均计算，均值结果作为两个坐标系的最终输出，并在坐标系的基础上建立两个坐标系的映射关系。

S3.脉冲光流：提取脉冲数据的光流特征。由于脉冲信号是二值信号，无法直接转换为光流特征，而且脉冲相机只是针对运动目标有反馈，本发明采用滑动窗口的形式收集，当脉冲相机输出脉冲信号时，信号便在一个矩阵窗口进行累计，当累计到一定数量时，保存窗口，重新累计，新的累计完成时，计算相邻两个窗口的L1-光流特征，依次类推。

S4.帧数据光流：提取帧数据的光流特征。对于帧数据，直接对相邻的帧数据采用L1-光流法进行光流提取。

S5.数据矫正：利用步骤S1获取到的棋盘格信息数据，通过计算后对脉冲数据进行校正，使其可以映射到帧数据的坐标系中。

S6.数据融合：将步骤S5校正好的光流数据(即，光流特征)进行融合。具体地，将帧数据和脉冲数据分别映射到光流特征空间后，光流特征包含运动矢量信息，因为是从不同角度获得的两个模态的数据，在数据融合前需要采用步骤S2中的脉冲数据和帧数据进行对齐，对齐分为时间对齐和空间对齐，时间对齐将脉冲相机时间段的数据对应到帧相机时间点的数据，空间对齐中需要坐标系进行映射，将脉冲相机的光流特征通过两个坐标系的转换，将坐标映射到帧数据下的坐标系中，然后，采用直接叠加的方法就可以完成融合，即在帧数据的光流特征的基础上叠加上脉冲数据的光流特征。

S7.生成恢复：融合后的数据即，通过步骤S6数据融合后的数据恢复为高帧率、高质量的帧数据。利用融合后的光流特征对原视频进行修复，融合后的光流特征和源视频帧同时输入训练好的生成对抗网络中，设定相应的输出参数，网络通过光流特征，对视频帧进行生成加帧处理，以对原视频进行恢复。

S8.数据输出：输出高帧率的视频数据。具体地，将步骤S7中生成的数据按照AVS3编码后输出，输出的视频数据同时具有高帧率、高分辨率的特性。

本发明分别采用两种评估方式对本发明提出的方法进行评估，本领域中PNSR、SSIM和VMAF常用于图像质量评估，在高速场景下同时利用本发明方法拍摄50段1分钟视频，并利将这些视频进行融合，从融合后的视频抽出500张进行评估，即每段视频抽取10张图片，并对这些图片评估，对比的方法包括简单的叠加融合Map1，即直接将事件数据和帧数据进行叠加进行融合，以及按比例融合方法map2，即按照权重比例进行融合，事件数据占20％，帧数据占80％。下表1显示对比结果，值越大越好。

表1

本发明提出一种双模态的视频超分方法，一种模态是脉冲相机数据，另一种模态是传统的相机数据，并通过人工智能的方法将两种模态的数据进行融合，具体来说就是将两种模态映射为相同的数据类型的特征即光流特征来进行融合，融合后的特征在对原始的相机模态数据进行修复，就可以获得还原的高速视频。由于脉冲数据的时间分辨率和动态感知能力都远大于传统的相机，但是空间分辨率却很低，因此融合完成并进行修复的视频具有高时间分辨率、宽动态和高空间分辨率等特点。

以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。