一种黑白视频上色方法、装置、设备及介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种黑白视频上色方法、装置、设备及介质。

背景技术

黑白上色技术因数字图像处理和计算机图形学的发展而出现，旨在利用计算机算法和机器学习技术，将黑白图像转换为彩色图像，以便更好地还原图像的真实场景和信息。在过去，大部分照片和影像都是以黑白形式存在，因为彩色摄影技术在早期相对较为复杂和昂贵。然而，随着数字摄影技术和智能手机的普及，彩色图像成为主流，并且黑白照片逐渐被视为历史的一部分。但许多珍贵的历史照片和电影仍然是黑白的，黑白上色技术的出现使得这些图像可以以更生动的方式展现。黑白上色技术最初主要依赖于传统的图像处理方法，例如插值和色彩平衡。然而，这些方法往往难以准确还原真实的彩色场景，尤其对于复杂的图像或照片。

随着深度学习和神经网络的兴起，特别是生成对抗网络(GAN)的发展，黑白上色技术取得了显著的进步。随着技术的不断演进，黑白上色技术在许多应用中发挥着重要作用。例如，它可以用于修复和还原旧照片、电影，使得这些文化遗产更具现实感和吸引力。此外，黑白上色技术还可以应用于医学图像处理、数字艺术创作等领域，为专业人士和普通用户提供更多的图像处理选择和创作方式。

但是目前黑白上色技术依然存在上色效果较为寡淡，在视频上色效果上不连续，容易出现颜色溢出等问题。

发明内容

本发明提供了一种黑白视频上色方法、装置、设备及介质，以实现黑白视频的上色效果可控和视频帧上色效果的一致性，提高上色过程的便捷性，减少人工交互成本。

根据本发明的一方面，提供了一种黑白视频上色方法，包括：

根据拍摄镜头对黑白视频进行划分，得到至少两个黑白图像序列；

响应于对所述黑白图像序列的人工上色操作，对每一黑白图像序列的首帧图像进行上色得到每一黑白图像序列对应的上色参考首帧图像；

根据每一黑白图像序列的光流场信息和对应的上色参考首帧图像的上色参考稀疏色度图，对对应的黑白图像序列的其余帧图像传播上色，得到与所述黑白图像序列对应的彩色图像序列；

对所述彩色图像序列重新组合，得到彩色视频。

根据本发明的另一方面，提供了一种黑白视频上色装置，包括：

图像序列划分模块，用于根据拍摄镜头对黑白视频进行划分，得到至少两个黑白图像序列；

首帧上色参考模块，用于响应于对所述黑白图像序列的人工上色操作，对每一黑白图像序列的首帧图像进行上色得到每一黑白图像序列对应的上色参考首帧图像；

黑白图像上色模块，用于根据每一黑白图像序列的光流场信息和对应的上色参考首帧图像的上色参考稀疏色度图，对对应的黑白图像序列的其余帧图像传播上色，得到与所述黑白图像序列对应的彩色图像序列；

图像序列重组模块，用于对所述彩色图像序列重新组合，得到彩色视频。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的黑白视频上色方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的黑白视频上色方法。

本发明实施例通过人工交互的方式，使用户可以对首帧图像进行上色预览和颜色调整，提高了用户对首帧图像以及整个黑白视频上色结果的控制；同时基于光流的传播方式，保证色度信息可以在整个图像序列中得到保留和传递，各序列内所有帧的上色结果都与首帧的上色结果在色相保持一致，实现了在同一镜头内颜色的连续性和一致性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一实施例提供的一种黑白视频上色方法的流程图；

图2是根据本发明又一实施例提供的一种黑白视频上色方法的流程图；

图3是根据本发明又一实施例提供的一种黑白视频上色装置的结构示意图；

图4是实现本发明实施例的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明一实施例提供的一种黑白视频上色方法的流程图，本实施例可适用于黑白照片、历史影像修复、数字艺术创作等多个应用场景，可为用户提供更多的上色控制权和个性化定制上色方案，使得黑白视频序列能够以更生动、更自然方式呈现的情况，该方法可以由黑白视频上色装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于具备相应数据处理能力的电子设备中。如图1所示，该方法包括：

S110、根据拍摄镜头对黑白视频进行划分，得到至少两个黑白图像序列。

具体的，除少数一镜到底的视频外，大多数视频都是通过不同机位的拍摄镜头所拍摄的多个视频片段剪辑生成的，同一拍摄镜头所拍摄的图像序列，由于该拍摄镜头的机位基本固定不动，所以相应图像序列中的画面要素也不会随着时间的变化而变化，相对固定。将完整的黑白视频序列文件以拍摄镜头为单位进行划分，得到至少两个黑白图像序列，拍摄镜头的划分可由人工来手动逐帧划分，也可以通过已有的一些模型产品来自动划分。每个黑白图像序列包括画面要素不发生变化的一段连续帧，这样划分可以保证每个序列中的帧图像具有相似的场景内容，便于对各序列分别单独处理。

S120、响应于对所述黑白图像序列的人工上色操作，对每一黑白图像序列的首帧图像进行上色得到每一黑白图像序列对应的上色参考首帧图像。

其中，人工上色操作为用户对图像中某一区域的颜色调整操作。

具体的，利用自动上色模型(AIModel

S130、根据每一黑白图像序列的光流场信息和对应的上色参考首帧图像的上色参考稀疏色度图，对对应的黑白图像序列的其余帧图像传播上色，得到与所述黑白图像序列对应的彩色图像序列；

其中，光流场信息为黑白图像序列光流信息的集合，光流信息表示黑白图像序列中相邻帧之间像素的运动和变化情况。

具体的，在任一黑白图像序列中，对上色参考首帧图像的色度图进行提取，得到上色参考稀疏色度图作为序列中其余帧图像的上色参考。基于光流场信息，将上色参考稀疏色度图传播到其余帧图像上，得到其余帧图像的上色稀疏色度图。调用黑白上色模型，根据其余帧图像的上色稀疏色度图对其余帧图像分别进行上色，得到其余帧图像的彩色图像以及该黑白图像序列的彩色图像序列。对每一黑白图像序列重复上述流程，得到至少两个彩色图像序列。这种基于光流的传播方式，色度信息可以在整个图像序列中得到保留和传递，从而使得各序列内所有帧的上色结果都与首帧的上色结果在色相保持一致，实现了在同一镜头内颜色的连续性和一致性。

需要说明的，在对稀疏色度图进行传播时，也可以使用“均值漂移”等方法进行，获得和光流法类似的效果。

S140、对所述彩色图像序列重新组合，得到彩色视频。

具体的，在完成对全部图像序列的上色后，根据各彩色帧图像的时间戳，将所有彩色帧图像按时间戳顺序依次重新组合，得到黑白视频的彩色视频。

本发明实施例通过人工交互的方式，使用户可以对首帧图像进行上色预览和颜色调整，提高了用户对首帧图像以及整个黑白视频上色结果的控制；同时基于光流的传播方式，保证色度信息可以在整个图像序列中得到保留和传递，各序列内所有帧的上色结果都与首帧的上色结果在色相保持一致，实现了在同一镜头内颜色的连续性和一致性。

图2为本发明又一实施例提供的一种黑白视频上色方法的流程图，本实施例在上述实施例的基础上进行了优化改进。如图2所示，该方法包括：

S210、根据拍摄镜头对黑白视频进行划分，得到至少两个黑白图像序列。

S220、对于每一黑白图像序列，获取该黑白图像序列的首帧图像；通过自动上色模型对所述首帧图像进行自动上色，得到上色预览首帧图像。

S230、响应于交互引导界面中对所述黑白图像序列的人工上色操作，调用所述自动上色模型对所述上色预览首帧图像进行颜色调整，得到每一黑白图像序列对应的上色参考首帧图像。

其中，交互引导界面为用于进行交互引导和操作的图形用户界面GUI。

具体的，基于交互引导界面，用户可以在上色预览首帧图像上通过鼠标点击特定图像区域，选择需要调整颜色的区域，作为人工上色操作对应的区域。通过调整颜色的方式，用户可以引导该区域的上色效果，以满足其个性化需求。在交互过程中，本方案实现了即时预览当前交互引导后的上色效果。这允许用户进行实时调整，以获得满意的可控上色效果。

可选的，所述调用所述自动上色模型对所述上色预览首帧图像进行颜色调整，得到每一黑白图像序列对应的上色参考首帧图像，包括：

调用所述自动上色模型，对所述上色预览首帧图像中的人工上色操作对应的区域进行颜色调整，对所述上色预览首帧图像中的非人工上色操作对应的区域进行颜色平滑过渡，得到每一黑白图像序列对应的上色参考首帧图像。

具体的，除了人工上色操作对应的区域外，AI模型会自动对非人工上色操作对应的区域进行颜色上的平滑过渡。基于训练的AI算法能够理解图像的内容和语境，因此能够在未指定的区域生成合理的上色结果，使得整个镜头的上色效果更加自然和一致。

S240、对于每一黑白图像序列，获取对应的上色参考首帧图像的上色参考稀疏色度图和该黑白图像序列的光流场信息。

S250、基于光流场信息，在该黑白图像序列中传播所述上色参考稀疏色度图，得到该黑白图像序列的其余帧图像的上色稀疏色度图；

S260、基于黑白上色模型，根据所述其余帧图像的上色稀疏色度图对所述其余帧图像分别进行上色，得到该黑白图像序列的彩色图像序列。

具体的，对上色参考首帧图像依次进行色域变换、通道分离和稀疏采样，得到上色参考稀疏色度图。对对应的黑白图像序列进行光流信息提取，得到光流场信息。根据首帧的上色参考稀疏色度图和光流场中首帧与第二帧的光流信息，得到第二帧的上色稀疏色度图。根据第二帧的上色稀疏色度图和光流场中第二帧与第三帧的光流信息，得到第三帧的上色稀疏色度图。重复上述过程，直至得到序列中所有其余帧图像的上色稀疏色度图。将任一其余帧图像的上色稀疏色度图和亮度图输入黑白上色模型，输出该其余帧图像的彩色图像。重复该过程，得到所有其余帧图像的彩色图像和黑白图像序列的彩色图像序列。

可选的，所述获取上色参考首帧图像的上色参考稀疏色度图包括：

对上色参考首帧图像进行Lab色域变换和通道剥离，得到所述上色参考首帧图像的色度图；

对所述色度图进行重采样，得到与所述上色参考首帧图像中的颜色相关的上色参考稀疏色度图。

具体的，对上色参考首帧图像C

可选的，所述获取该黑白图像序列的光流场信息包括：

通过光流提取模型提取该黑白图像序列中的相邻帧的光流信息，得到该黑白图像序列的光流场信息。

具体的，使用光流AI模型对每个黑白图像序列S

可选的，所述基于黑白上色模型，根据所述其余帧图像的上色稀疏色度图对所述其余帧图像分别进行上色，得到该黑白图像序列的彩色图像序列包括：

对所述其余帧图像分别进行Lab色域变换和通道剥离，得到所述其余帧图像的亮度图；

将所述其余帧图像的亮度图和上色稀疏色度图分别输入黑白上色模型，生成其余帧图像的彩色图像，得到该黑白图像序列的彩色图像序列。

具体的，对对应的黑白图像序列S

S270、对所述至少两个彩色图像序列重新组合，得到彩色视频。

本发明实施例通过通过稀疏重采样的方式提取出与颜色相关的上色参考稀疏色度图，为后续上色提供参考，稀疏的色度图可以提高后续处理的效率。

图3为本发明又一实施例提供的一种黑白视频上色装置的结构示意图。如图3所示，该装置包括：

图像序列划分模块310，用于根据拍摄镜头对黑白视频进行划分，得到至少两个黑白图像序列；

首帧上色参考模块320，用于响应于对所述黑白图像序列的人工上色操作，对每一黑白图像序列的首帧图像进行上色得到每一黑白图像序列对应的上色参考首帧图像；

黑白图像上色模块330，用于根据每一黑白图像序列的光流场信息和对应的上色参考首帧图像的上色参考稀疏色度图，对对应的黑白图像序列的其余帧图像传播上色，得到与所述黑白图像序列对应的彩色图像序列；

图像序列重组模块330，用于对所述彩色图像序列重新组合，得到彩色视频。

本发明实施例所提供的黑白视频上色装置可执行本发明任意实施例所提供的黑白视频上色方法，具备执行方法相应的功能模块和有益效果。

可选的，首帧上色参考模块320包括：

首帧图像获取单元，用于对于每一黑白图像序列，获取该黑白图像序列的首帧图像；

图像初步上色单元，用于通过自动上色模型对所述首帧图像进行自动上色，得到上色预览首帧图像；

图像上色调整单元，用于响应于交互引导界面中对所述黑白图像序列的人工上色操作，调用所述自动上色模型对所述上色预览首帧图像进行颜色调整，得到每一黑白图像序列对应的上色参考首帧图像。

可选的，所述图像上色调整单元，具体用于：调用所述自动上色模型，对所述上色预览首帧图像中的人工上色操作对应的区域进行颜色调整，对所述上色预览首帧图像中的非人工上色操作对应的区域进行颜色平滑过渡，得到每一黑白图像序列对应的上色参考首帧图像。

可选的，所述黑白图像上色模块330包括：

色度图获取单元，用于对于每一黑白图像序列，获取对应的上色参考首帧图像的上色参考稀疏色度图和该黑白图像序列的光流场信息；

色度图转播单元，用于基于光流场信息，在该黑白图像序列中传播所述上色参考稀疏色度图，得到该黑白图像序列的其余帧图像的上色稀疏色度图；

色度图上色单元，用于基于黑白上色模型，根据所述其余帧图像的上色稀疏色度图对所述其余帧图像分别进行上色，得到该黑白图像序列的彩色图像序列。

可选的，所述色度图获取单元，具体用于：对上色参考首帧图像进行Lab色域变换和通道剥离，得到所述上色参考首帧图像的色度图；对所述色度图进行重采样，得到与所述上色参考首帧图像中的颜色相关的上色参考稀疏色度图。

可选的，色度图转播单元，具体用于:通过光流提取模型提取该黑白图像序列中的相邻帧的光流信息，得到该黑白图像序列的光流场信息。

可选的，所述色度图上色单元，具体用于：对所述其余帧图像分别进行Lab色域变换和通道剥离，得到所述其余帧图像的亮度图；

将所述其余帧图像的亮度图和上色稀疏色度图分别输入黑白上色模型，生成其余帧图像的彩色图像，得到该黑白图像序列的彩色图像序列。

进一步说明的黑白视频上色装置也可执行本发明任意实施例所提供的黑白视频上色方法，具备执行方法相应的功能模块和有益效果。

图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。

电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如黑白视频上色方法。

在一些实施例中，黑白视频上色方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的黑白视频上色方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行黑白视频上色方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。