基于深度学习注意力模型的移动端视频质量增强方法

技术领域

本发明属于视频质量增强技术领域，具体涉及一种基于深度学习注意力模型的移动端视频质量增强方法。

背景技术

智慧城市建设的背景下，城市视频监控系统得到了广泛的部署。这些系统产生的大量视频数据需要被高效压缩，以节省存储和传输成本。为此，需要找到简单有效的方法来提高监控视频的质量。传统的图像增强方法存在着只能用于处理某些特定的问题，容易产生噪音等现象的问题。

随着深度学习的发展，基于深度学习的图像增强方法，可提取图像深层信息，根据深层信息预测增强后的图像，取得了很好的效果。但是深度学习图像增强方法依赖于大量训练数据集、损失函数的选择，对设备运算能力要求过高，难以达到实时处理效果。这些问题导致基于深度学习的视频图像增强方法的设计与实施尤为困难。

因此，针对上述问题，予以进一步改进。

发明内容

本发明的主要目的在于提供基于深度学习注意力模型的移动端视频质量增强方法，其分别将移动端视频通过前景处理和背景处理后再通过图像融合模块进行融合，以获得移动端视频质量增强数据，并且对视频数据进行图像超分辨率处理和视频图像质量增强处理，更大程度上提升视频增量性能。

为达到以上目的，本发明提供一种基于深度学习注意力模型的移动端视频质量增强方法，用于视频质量增强，包括以下步骤：

步骤S1：对于移动端视频数据通过前景质量增强模块进行质量增强，以获得前景质量增强数据(包括第一数据和第二数据)；

步骤S2：对于移动端视频数据通过背景质量增量模块进行质量增强，以获得背景质量增强数据(方法步骤与步骤S1及其具体实施步骤相同)；

步骤S3：将前景质量增强数据和背景质量增强数据通过图像融合模块进行融合，以获得移动端视频质量增强数据。

作为上述技术方案的进一步优选的技术方案，步骤S1具体实施为以下步骤：

步骤S1.1：对于移动端视频数据进行基于深度神经网络的图像超分辨率处理，以获得第一数据；

步骤S1.2：对于移动端视频数据进行视频图像质量增强处理，以获得第二数据。

作为上述技术方案的进一步优选的技术方案，步骤S1.1具体实施为以下步骤：

步骤S1.1.1：将移动端视频数据进行第一预处理后获得的数据通过图像粗特征提取网络进行图像粗特征提取，以获得图像粗特征数据；

步骤S1.1.2：将图像粗特征数据依次经过若干个多阶特征融合单元进行特征融合，以获得特征融合数据；

步骤S1.1.3：将特征融合数据与移动端视频数据进行第一预处理后获得的数据构成全局残差架构(加快梯度在网络中的流动，同时也可以进一步改进网络的表达能力和减轻训练一个非常深的网络所带来的梯度消失问题，从而获得能好的性能)，以获得高分辨率的移动端视频前景数据(即第一数据)。

作为上述技术方案的进一步优选的技术方案，步骤S1.2具体实施为以下步骤(利用单帧进行质量增强)：

步骤S1.2.1：将移动端视频数据进行第二预处理后获得的数据通过浅层特征提取网络进行浅层特征提取，以获得浅层特征数据；

步骤S1.2.2：将浅层特征数据通过包括若干残差块(每个残差块包括若干卷积)串联组成的质量增强网络进行质量增强(质量增强网络的作用是将所提取的浅层特征映射到图像空间以达到图像质量增强)，以获得质量增强数据；

步骤S1.2.3：将质量增强数据与移动端视频数据进行第二预处理后获得的数据构成全局残差架构，，以获得高质量图像的移动端视频前景数据(即第二数据)。

作为上述技术方案的进一步优选的技术方案，步骤S1.2还具体实施为以下步骤(利用多帧进行质量增强)：

步骤T1.2.1：将移动端视频数据分为高质量帧、中质量帧和低质量帧；

步骤T1.2.2：将高质量帧、中质量帧和低质量帧分别进行第三预处理，以生成两个相对于当前低质量帧的光流场，并且根据光流场的光流信息，对高质量帧和中质量帧的像素进行移位调整，以获得两个补偿帧；

步骤T1.2.3：将获得的两个补偿帧与低质量帧通过融合网络结构进行融合，以获得增强低质量帧(高质量帧和中质量帧直接通过单帧模型增强)。

为达到以上目的，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所一种基于深度学习注意力模型的移动端视频质量增强方法的步骤。

为达到以上目的，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一种基于深度学习注意力模型的移动端视频质量增强方法的步骤。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

在本发明的优选实施例中，本领域技术人员应注意，本发明所涉及的神经网络和计算机等可被视为现有技术。

优选实施例。

本发明公开了一种基于深度学习注意力模型的移动端视频质量增强方法，用于视频质量增强，包括以下步骤：

步骤S1：对于移动端视频数据通过前景质量增强模块进行质量增强，以获得前景质量增强数据(包括第一数据和第二数据)；

步骤S2：对于移动端视频数据通过背景质量增量模块进行质量增强，以获得背景质量增强数据(方法步骤与步骤S1及其具体实施步骤相同)；

步骤S3：将前景质量增强数据和背景质量增强数据通过图像融合模块进行融合，以获得移动端视频质量增强数据。

具体的是，步骤S1具体实施为以下步骤：

步骤S1.1：对于移动端视频数据进行基于深度神经网络的图像超分辨率处理，以获得第一数据；

步骤S1.2：对于移动端视频数据进行视频图像质量增强处理，以获得第二数据。

更具体的是，步骤S1.1具体实施为以下步骤：

步骤S1.1.1：将移动端视频数据进行第一预处理后获得的数据通过图像粗特征提取网络进行图像粗特征提取，以获得图像粗特征数据；

步骤S1.1.2：将图像粗特征数据依次经过若干个多阶特征融合单元进行特征融合，以获得特征融合数据；

步骤S1.1.3：将特征融合数据与移动端视频数据进行第一预处理后获得的数据构成全局残差架构(加快梯度在网络中的流动，同时也可以进一步改进网络的表达能力和减轻训练一个非常深的网络所带来的梯度消失问题，从而获得能好的性能)，以获得高分辨率的移动端视频前景数据(即第一数据)。

进一步的是，步骤S1.2具体实施为以下步骤(利用单帧进行质量增强)：

步骤S1.2.1：将移动端视频数据进行第二预处理后获得的数据通过浅层特征提取网络进行浅层特征提取，以获得浅层特征数据；

步骤S1.2.2：将浅层特征数据通过包括若干残差块(每个残差块包括若干卷积)串联组成的质量增强网络进行质量增强(质量增强网络的作用是将所提取的浅层特征映射到图像空间以达到图像质量增强)，以获得质量增强数据；

步骤S1.2.3：将质量增强数据与移动端视频数据进行第二预处理后获得的数据构成全局残差架构，，以获得高质量图像的移动端视频前景数据(即第二数据)。

更进一步的是，步骤S1.2还具体实施为以下步骤(利用多帧进行质量增强)：

步骤T1.2.1：将移动端视频数据分为高质量帧、中质量帧和低质量帧；

步骤T1.2.2：将高质量帧、中质量帧和低质量帧分别进行第三预处理，以生成两个相对于当前低质量帧的光流场，并且根据光流场的光流信息，对高质量帧和中质量帧的像素进行移位调整，以获得两个补偿帧；

步骤T1.2.3：将获得的两个补偿帧与低质量帧通过融合网络结构进行融合，以获得增强低质量帧(高质量帧和中质量帧直接通过单帧模型增强)。

优选地，本发明还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所一种基于深度学习注意力模型的移动端视频质量增强方法的步骤。

优选地，本发明还公开了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述一种基于深度学习注意力模型的移动端视频质量增强方法的步骤。

值得一提的是，本发明专利申请涉及的神经网络和计算机等技术特征应被视为现有技术，这些技术特征的具体结构、工作原理以及可能涉及到的控制方式、空间布置方式采用本领域的常规选择即可，不应被视为本发明专利的发明点所在，本发明专利不做进一步具体展开详述。

对于本领域的技术人员而言，依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。