一种35毫米胶片转换8K超高清影像的方法

技术领域

本发明涉及一种35毫米胶片转换8K超高清影像的方法，属于视频处理技术领域。

背景技术

在过去100年中，全球各地的制片厂制作的胶片影像多达数百万小时，如今却只能尘封在暗无天日的储藏室中。这些35mm胶片的分辨率均为4K，因此对旧胶片进行转换，并加以8K修复，就成为了一种快速、经济的向大众提供4K8K超高清内容的方法！据预测，未来大众网络流量的80%以上和行业应用数据的70%以上都将是视频数据。8K超高清视频更是5G新媒体、IPTV、OTT以及传统有线电视业务等新兴产业发展的重要基础支撑，也是人工智能领域的重要内容支撑。

超高清视频内容供应不足，成本是首要因素。据了解，同样时长的超高清作品，制作成本至少是普通高清作品的1.5倍。且超高清视频需要的专业设备、制作系统价格也较为昂贵，制作超高清视频还需要更专业的人才，制作流程也相对更长。

发明内容

本发明的目的是提供一种35毫米胶片转换8K超高清影像的方法，来解决上述技术问题。

为了实现上述目的，本发明采用的技术方案是：

一种35毫米胶片转换8K超高清影像的方法，包括以下步骤，

1）、使用4K-HDR扫描仪对胶片进行扫描，将胶片上的图像信息转换为数字图像信息；

2）、以基于多个变分自动编码器的AI深度学习图像修复模型为基础，根据当前应用场景进行针对性调整，对老旧视频进行修复；去除噪点和折痕，同时优化细节且矫正色彩；

3）、经过视频精修步骤后,采用神经网络模型进行视频的时空超分辨率操作；其中，空域超分辨率是指将视频的空间分辨率提升，提升视频画面的清晰度；时域超分辨率是指增加视频的帧率，带来更流畅的观感体验；

4）、采用GPEN模型对视频中的人物进行面部增强处理。

本发明技术方案的进一步改进为：步骤3中采用基于TMNet的视频时空域超分方法，TMNet可以实现以单一模型同时完成视频的空域超分和时域超分。

本发明技术方案的进一步改进为：步骤4中 GPEN模型的核心思路是，首先学一个用于高质量人脸图像生成的GAN，并将其嵌入到U-shaped DNN中作为先验解码器，然后用一组合成的低质量人脸图像对先验嵌入的GAN DNN进行微调，最终实现人脸增强。

本发明技术方案的进一步改进为：步骤1中，4K-HDR扫描仪配有超亮的RGB LED球形灯以及高灵敏度图像传感器。

本发明技术方案的进一步改进为：在对35毫米胶片进行扫描前，首先需要将35毫米胶片从低温冷冻环节取出，并放置13.5摄氏度环境进行72小时解冻，底片逐渐接近室温。

本发明技术方案的进一步改进为：在解冻完成后，检测胶片，并进行清洗。

由于采用了上述技术方案，本发明取得的技术效果有：

本技术方案采用4K-HDR胶片扫描、AI视频精修、视频时空超分辨率等关键技术的组合应用，解决8K视频供应紧缺的行业现状；充分利用老旧胶片，对其进行转换可以成为一种极为快速且经济地提供Ultra HD内容的方法，不仅提供了大量的8K视频资源，同时又还原了经典影视资料。

本技术方案中，与普通的视频去噪不同，更有针对性地设计对老旧视频的精修算法，提高视频画面质量。在去噪声的基础上，智能地修复噪点、划痕、霉斑，更进一步解决了老旧视频中的模糊、背景噪声、色彩灰暗、污渍等问题。

本技术方案中，同时进行4K到8K的超分辨率与视频插帧，实现视频时空域超分辨率的高效结合实现，可以通过深度学习TMNet模型实现清晰度与流畅度的同时提升，不仅大幅节省分步超分的处理速度，并且还有一定的效果增强。

本技术方案中，通过AI面部增强算法模型在超高清视频基础上进一步增强人脸面部细节，提升视频的观看体验。在视频修复时将人们重点关注的面部画面进行细节增强，提升视频修复质量。

本技术方案能够满足用户的高品质观影需求，通过此方法大大提高了内容生产效率，极大的降低8K内容的制作成本及周期，解决“8K内容匮乏”这一瓶颈问题。

附图说明

图1是本发明方法说明示意图。

图2是本发明TMNet视频时空域超分辨率模型。

图3是本发明GPEN模型思路。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明是一种35毫米胶片转换8K超高清影像的方法，用于将胶片上的视频信息转换成8K超高清影像。

如图1所示，该方法具体的，包括以下步骤，

1）、在对35毫米胶片进行扫描前，首先需要将35毫米胶片从低温冷冻环节取出，并放置13.5摄氏度环境进行72小时解冻，底片逐渐接近室温。在解冻完成后，检测胶片，并进行清洗。然后，使用4K-HDR扫描仪对胶片进行扫描，将胶片上的图像信息转换为数字图像信息；

2）、以基于多个变分自动编码器的AI深度学习图像修复模型为基础，根据当前应用场景进行针对性调整，对老旧视频进行修复；去除噪点和折痕，同时优化细节且矫正色彩。

3）、经过视频精修步骤后,采用神经网络模型进行视频的时空超分辨率操作；其中，空域超分辨率是指将视频的空间分辨率提升，提升视频画面的清晰度；时域超分辨率是指增加视频的帧率，带来更流畅的观感体验。

基于TMNet的视频时空域超分方法，TMNet可以实现以单一模型同时完成视频的空域超分和时域超分。

4）、采用GPEN模型对视频中的人物进行面部增强处理。

具体的，GPEN模型的核心思路是，首先学一个用于高质量人脸图像生成的GAN，并将其嵌入到U-shaped DNN中作为先验解码器，然后用一组合成的低质量人脸图像对先验嵌入的GAN DNN进行微调，最终实现人脸增强。

以下为采用上述方案进行实施的具体的过程：

一、采用严谨的科学流程进行胶片转移

按照国际通用标准进行35mm胶片的转移和检查，包括解冻和检查胶片受损情况。首先需要将35毫米胶片从低温冷冻环节取出，并放置13.5摄氏度环境进行72小时解冻，底片就会慢慢接近室温，以保证在这个化学过程中胶片不会有较为严重的受损。

二、检查胶片是否有损并清洗胶片

进行胶片清洗，主要是将胶片上的杂物清洗掉，在清洗过程中保证胶片不收损坏。

三、4K-HDR扫描

状态良好的胶片中保存着大量的视频信息，通过4K-HDR扫描将胶片上的视频信息进行初步提取。4K-HDR扫描仪配有超亮的RGB LED球形灯以及高灵敏度图像传感器，即使以实时速度进行扫描时也可提供优质的高锐度图像。RGB LED球形灯与普通扫描灯管不同，它可温和对待您珍贵的胶片影像资料，不会因受到不必要的热应力而导致胶片褪色。此外，专有的漫射技术可减少灰尘和刮擦痕迹，为您呈现极具惊艳美感的画面。

其支持胶片类型：正片、负片、翻正片、翻底片、黑白和彩色。

胶片标准规格：35mm，包括2、3、4齿孔规格。

Super 35mm，包括2、3、4齿孔规格。

四、基于AI深度学习方案的胶片视频精修

由于胶片的年代久远、保存条件不佳等原因，在数字化扫描过程中，得到视频画面会出现划痕、污迹、霉斑、噪点等问题。

以基于多个变分自动编码器（variational autoencoders，VAEs）的AI深度学习图像修复模型为基础，根据当前应用场景进行针对性调整，实现对老旧视频的自动修复，不仅可以去除噪点、折痕等，同时还能优化细节、矫正色彩，极大程度地解放了对人力资源的占用。

五、基于神经网络模型的4K视频时空域超分辨率

经过视频精修步骤后,采用神经网络模型进行视频的时空域超分辨率操作。在视频时空域超分辨率中，空域超分是指将视频的空间分辨率提升，旨在提升视频画面的清晰度。在本技术方案中4K视频升级为8K视频；时域超分是指增加视频的帧率，旨在带来更流畅的观感体验，胶片视频的帧率通常为每秒12帧，远达不到流畅观看的帧率要求，需要进行时域超分。通过同时进行4K到8K的超分辨率与视频插帧，实现视频时空域超分辨率的高效结合实现。在以往的案例中，通常是先进行空域超分辨率来提升清晰度，再进行视频插帧来提升流畅度，本技术方案中可以通过深度学习TMNet模型实现清晰度与流畅度的同时提升，不仅大幅节省分步超分的处理速度，并且还有一定的效果增强。

该技术方案中采用基于TMNet的视频时空域超分方法，与过往案例中的分步超分不同，TMNet可以实现以单一模型同时完成视频的空域超分和时域超分，不仅简化了操作步骤和运算规模，这种时空域信息结合分析的方法有着更好的性能表现。具体如图2所示。

六、基于深度学习方法的面部增强处理

人们在观看视频时，会更多地关注人物面部，但是普通的视频超分辨率算法并没有针对面部细节进行增强处理，为了得到具有更优观看体验的胶片修复视频，有必要进行针对性地面部增强处理。

本项目采用GPEN模型进行面部增强处理，一般老照片因为受限于当时拍摄技术现在看起来确实有些模糊。GPEN模型可以有效地进行面部增强，处理后的照片瞬间就清晰了许多，尤其是对面部细节的增强相当丰富。

GPEN模型的核心思路在于，首先学一个用于高质量人脸图像生成的GAN，并将其嵌入到U-shaped DNN中作为先验解码器，然后用一组合成的低质量人脸图像对先验嵌入的GAN DNN进行微调，最终实现人脸增强。具体如图3所示，图中a) 是一个GAN先验网络，(b)是一个GAN块的细节部分，(c)是GPEN。

本技术方案相对国外NHK修复的8K影片来说，有效降低了修复成本。NHK案例中，将35毫米胶片直接扫描为8K视频的专业设备全球仅一台，而且造价近亿美元，在现阶段即使有充足的预算，也无法快速部署至国内。同时在数字化修复过程中，全部采用人工方式修复，擦掉本不属于画面的电子垃圾，其制作周期长，制作效率低，人工成本居高不下。一部90多分钟的电影大概有14万帧，先用实时修复的粗修设备预处理一遍，通过计算机自动识别修复部分问题，然后再逐帧精修。虽然在全数字化的创作时代，粗修机器大大提升了修复效率。但精修的部分，还是需要修复工程师的火眼金睛和多年积累下来的经验。

本发明的技术方案，能够将35毫米胶片转换8K超高清影像，能够使传统的使用胶片保存的电影资源转换为电子影像资料。并且，通过该方法提高了电影片图像质量（如清晰度、曝光宽容度等）。同时，电子影片图像的保存性优于现有的录像磁带。电子形式的影片节目不受电视制式限制，便于进行国际交流。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。