用于减少图像中的干扰的技术

技术领域

本公开总体上涉及减少图像中的干扰(distraction)。更具体地，本公开涉及用于在维持图像的真实感的同时协调图像内的干扰物(distractor)的技术。

背景技术

图像(例如，照片、视频帧)和其他形式的图像数据往往包括可以捕捉用户的眼睛注视的干扰。作为一个示例，干扰可以对应于使人从主体(例如，参与视频通话的主要发言者)分心的干扰对象(例如，房间背景中的混乱、背景对象的一部分的明亮色彩)。作为另一示例，不需要的干扰物对象可以对应于用户的其他原始肖像照片中的难看的对象。因此，干扰物对象可以对应于将用户的视觉注意力从图像的主体吸引走的对象。

在传统系统中，可以从图像中去除干扰物对象。然而，替换干扰物对象可能是一个有挑战性的问题。在一些情况下，在不使图像失真或不使图像看起来不真实的情况下，可能无法从图像中去除干扰物。例如，如果干扰物对象是干扰的背景对象(例如，椅子)的一部分(例如，干扰(distracting)色彩、明亮色彩、干扰图案)，则在不使背景对象失真的情况下，可能不容易去除干扰物对象。

发明内容

本公开的实施例的多个方面和多个优点将在以下描述中部分地阐述，或者可以从描述中获知，或者可以通过对实施例的实践获知。

本公开提供了通过使用经机器训练的模型在维持干扰物的结构和内容的同时操纵干扰物的色彩，来减少图像中的干扰物的显著性(例如，注意力)的系统和方法。例如，可以操纵干扰物的色度信息(例如，以便降低显著性)，同时可以维持亮度信息(例如，以便维持视觉结构)。干扰物可以被定义为将注意力从主体引开并降低整体用户体验的图像的区域。在一些情况下，可以在不需要额外的用户输入的情况下仅使用预训练的模型来实现最终效果。

本公开的一个示例方面涉及一种用于减少第一图像中的干扰物对象的计算机实现的方法。该方法可以包括由一个或多个计算设备访问掩膜(mask)和具有干扰物对象的第一图像。掩膜可以指示与第一图像相关联的感兴趣区域。干扰物对象可以在感兴趣区域内，并且可以具有带有初始属性的一个或多个像素。该方法还可以包括使用经机器学习的修复模型来处理第一图像和掩膜以生成修复图像。干扰物对象的一个或多个像素可以在一个或多个色度通道中具有修复属性。另外，该方法可以包括基于第一图像和修复图像的对比来确定调色板变换。干扰物对象的一个或多个像素可以在一个或多个色度通道中具有变换属性，其中，变换属性不同于修复属性。此外，该方法可以包括处理第一图像以生成重着色(recolorized)图像。重着色图像中的干扰物对象的一个或多个像素可以具有基于变换属性和所确定的调色板变换的重着色属性。

本公开的另一示例方面涉及一种计算系统，其包括一个或多个处理器和一个或多个非暂时性计算机可读介质。一个或多个非暂时性计算机可读介质可以集体地存储经机器学习的修复模型和指令，指令在由一个或多个处理器执行时使计算系统执行操作。经机器学习的修复模型可以被配置为使用第一图像生成修复图像。操作可以包括访问掩膜和具有干扰物对象的第一图像。掩膜可以指示与第一图像相关联的感兴趣区域。干扰物对象可以在感兴趣区域内并且具有带有初始属性的一个或多个像素。另外，操作可以包括使用经机器学习的修复模型来处理第一图像和掩膜以生成修复图像。干扰物对象的一个或多个像素可以在一个或多个色度通道中具有修复属性。此外，操作可以包括基于第一图像和修复图像的对比来确定调色板变换。干扰物对象的一个或多个像素可以在一个或多个色度通道中具有变换属性。变换属性可以不同于修复属性。此外，操作可以包括处理第一图像以生成重着色图像。重着色图像中的干扰物对象的一个或多个像素可以具有基于变换属性和所确定的调色板变换的重着色属性。

本公开的又一示例方面涉及一个或多个非暂时性计算机可读介质，其集体地存储经机器学习的修复模型。经机器学习的修复模型可以通过执行操作来学习。操作可以包括访问掩膜和具有干扰物对象的第一图像。掩膜可以指示与第一图像相关联的感兴趣区域并且干扰物对象可以在感兴趣区域内，一个或多个像素具有初始属性。另外，操作可以包括使用经机器学习的修复模型来处理第一图像和掩膜以生成修复图像。干扰物对象的一个或多个像素可以在一个或多个色度通道中具有修复属性。此外，操作可以包括基于第一图像和修复图像的对比来确定调色板变换。干扰物对象的一个或多个像素可以在一个或多个色度通道中具有变换属性，并且变换属性可以不同于修复属性。此外，操作可以包括处理第一图像以生成重着色图像。重着色图像中的干扰物对象的一个或多个像素可以具有基于变换属性和所确定的调色板变换的重着色属性。

在一些情况下，在该方法中描述的处理第一图像以生成修复图像可以包括处理第一图像和掩膜以生成掩蔽图像(masked image)。掩蔽图像可被输入到经机器学习的修复模型中以生成修复图像。此外，在本文所描述的方法中确定的重着色属性可以不同于修复属性。

在一些情况下，该一个或多个色度通道可以包括色调饱和度(HS)通道。此外，初始图像、修复图像和重着色图像中的每个像素的明度(value)属性可以保持不变。

在一些情况下，重着色属性可以不同于修复属性。

在一些情况下，调色板变换可以通过执行投票技术(voting technique)来生成。例如，调色板变换可以是具有投票分类器的机器学习模型。机器学习模型可以基于绝对多数投票(majority voting)、相对多数投票(plurality voting)、加权投票(weightedvoting)、简单平均(simple averaging)、加权平均(weighted averaging)等。

在一些情况下，干扰物对象可以包括具有初始属性的多个像素。干扰物对象的一个或多个像素可以基于相对多数技术被确定为具有变换属性。在其他情况下，变换属性的确定可以基于绝对多数投票、加权投票、简单平均、加权平均或其他投票技术。

在一些情况下，调色板变换还可以基于膨胀掩膜(dilated mask)来确定。膨胀掩膜可以具有与第一图像相关联的扩展感兴趣区域。膨胀掩膜的扩展感兴趣区域大于掩膜的感兴趣区域。

在一些情况下，经机器学习的修复模型使用一个或多个色度通道训练数据来训练。例如，经机器学习的修复模型可以使用色调饱和度(HS)训练数据来训练。

在一些情况下，该方法还可以包括访问原始图像。原始图像可以处于红绿蓝(RGB)色彩空间中。该方法还可以包括处理原始图像以生成第一图像。例如，第一图像可以在色调饱和度(HS)通道中，并且在原始图像被处理以生成第一图像时，第一图像中的每个像素的明度属性可以保持不变。另外，原始图像可以是高分辨率图像(例如，大于300点/英寸(DPI))，并且由经机器学习的修复模型处理的第一图像的版本是低分辨率图像(例如，小于300DPI)。这是由于修复模型的更快的处理时间而改进的技术效果的示例，因为修复模型可以处理低分辨率图像。

在一些情况下，重着色图像也可以在HS通道中。此外，该方法还可以包括处理重着色图像以生成最终图像。最终图像可以处于红绿蓝(RGB)色彩空间中。此外，重着色图像可以是高分辨率图像，而修复图像是低分辨率图像。这是通过允许更快的处理时间(例如，通过处理低分辨率图像)而不降低图像质量的改进的技术效果的另一示例。

本公开的其他方面涉及各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。

参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些以及其他特征、方面和优点。并入本说明书并构成其一部分的附图例示本公开的示例实施例，并与描述一起用于解释相关原理。

附图说明

专利或申请文件包含至少一幅彩色绘制的附图。带有彩图的本专利或专利申请出版物的副本将由专利局在有要求并支付必要费用时提供。

参考附图，在说明书中阐述针对本领域普通技术人员的实施例的详细论述，在附图中：

图1A描述根据本公开的示例实施例的示例计算系统的框图；

图1B描述根据本公开的示例实施例的示例计算设备的框图；

图1C描述根据本公开的示例实施例的示例计算设备的框图；

图2描述根据本公开的示例实施例的用于减少图像中的干扰物对象的示例技术的流程图；

图3A描述根据本公开的示例实施例的色调饱和度明度(hue-saturation-value，HSV)变换技术的例示；

图3B描述根据本公开的示例实施例的HSV空间投影技术的例示；

图3C描述根据本公开的示例实施例的色调饱和度通道中的修复技术的例示；

图4描述根据本公开的示例实施例的使用投票技术来确定调色板变换的图；

图5描述根据本公开的示例实施例的用于从图像中减少干扰的示例方法的流程图；

图6描述根据本公开的示例实施例的用于从图像中减少干扰的另一示例方法的流程图；

图7描述根据本公开的示例实施例的将初始图像变换成修复图像和重着色图像的例示；

图8描述根据本公开的示例实施例的将初始图像变换成重着色图像的另一例示；

图9描述根据本公开的示例实施例的将初始图像变换成重着色图像的另一例示。

在多个附图中重复的参考标号旨在标识各种实现中的相同特征。

具体实施方式

总体而言，本公开涉及使用一个或多个机器学习模型(例如，一个或多个修复模型)的输出来生成可用于修改图像以减少干扰的调色板变换的系统和方法。在一些实现中，如本文所述，图像可被修改以在维持图像的真实感的同时协调(例如，掩饰)干扰物对象与图像的背景。例如，图像中的干扰物对象的不同部分可被重着色以与图像的背景相协调。具体地，调色板变换可用来修改干扰物的色度信息(例如，以便降低显著性)，而与干扰物相关联的亮度信息可被维持或保持不修改(例如，以便保持视觉结构)。

具体地，在一些示例实现中，由经机器学习的修复模型提供的修复输出可被利用来生成可用于对输入图像重着色的调色板变换。具体地，可以获得包括干扰物对象的输入图像。掩膜可以指示干扰物对象的位置。可以将掩膜应用于输入图像以获得其中干扰物对象已被掩蔽的掩蔽图像。可以使用经机器学习的修复模型来处理掩蔽图像，以生成修复图像。修复图像可以在被掩蔽的位置处具有修复属性(例如，色彩值)。可以通过比较输入图像和修复图像来确定调色板变换。例如，确定调色板变换可以包括执行投票技术，其中，对于在投票区域中包括的每个像素，将输入图像中的像素的色彩映射到修复图像中在对应像素位置处的色彩，并对该色彩投票。在一些实现中，根据本公开的一方面，仅对色彩空间的色度通道(例如，HSV色彩空间中的色调和饱和度通道)生成调色板变换。然后，可以将调色板变换应用于输入图像中包含干扰物的至少一部分，以对该干扰物重着色。因为在一些实现中调色板变换操作以仅改变色度信息，所以可以修改干扰物，使得其显著性降低，同时维持其视觉结构。此外，因为输出图像是通过对输入图像应用调色板变换而生成的(例如，与提供修复后的图像作为输出相反)，所以可以避免由典型的修复模型引入的伪像或其他失真。相反，修复模型仅用于促进调色板变换的生成。

更具体地，传统技术(例如，风格转移、色彩调和、图像掩饰、显著性驱动的图像操纵)已经被用于解决相关问题，但是没有传统技术能够适当地维持图像的真实感。具体地，某些传统技术可以用于编辑图像，以从图像的背景中去除干扰物对象。然而，在某些情况下，诸如在需要维持物体的结构时，使用传统技术去除干扰物可能并不理想。相反，在本公开的一些实施例中描述的技术可以减少与干扰物对象相关联的注意力，同时维持图像的真实感(例如，同时维持干扰物对象的视觉结构)。

在一些情况下，在未去除背景中的干扰物对象而是对干扰物对象的干扰色彩重着色(例如，修改)时，可以维持图像的真实感。可以维持对象(例如，具有多个图案的椅子)的结构，同时系统将对象中的干扰色彩或图案(例如，椅子的一部分中的干扰物色彩、椅子的多个图案中的干扰物图案)改变为与背景更相似的色彩或图案。通过将干扰成分(例如，色彩、图案)改变为与背景相似的色彩或图案，干扰成分可以与背景融合(例如，掩饰(camouflage))，这可以使得减少对与干扰成分相关联的注意力。例如，强烈或不协调的背景色彩可能令人分心，而系统可以将强烈的背景色彩与图像中更常见的背景色彩相协调以减少干扰。

根据本公开的一方面，本文描述的技术的某些部分可以在比色彩空间中包括的所有通道更少的通道上执行。作为示例，在一些实现中，至少调色板变换可以仅对色彩空间的色度通道生成并在其中应用，而亮度通道可以不变。这样，在一个示例中，原始图像可以在第一色彩空间(例如，RGB)中提供，并且可以转换到包含色度通道和亮度通道两者的第二色彩空间(例如，HSV)。然后，可以仅针对色度通道(例如，HSV色彩空间中的HS通道，而不是V通道)执行该处理(例如，包括掩蔽、修复、调色板变换生成和调色板变换应用)的剩余部分。然后，如果需要，则可选地，可以将重着色图像变换回到第一色彩空间(例如，RGB)。

在其他实现中，该处理的较少部分可以仅对色度通道来执行。作为一个示例，在一些实现中，可以对输入的RGB图像进行掩蔽，并且可以在RGB空间中执行修复。接下来，可以将输入的RGB图像和修复的RGB图像转换到替代的色彩空间(例如，HSV)，并且可以对色度通道(而不是亮度通道)生成调色板变换。调色板变换可以应用于经转换的(例如，HSV)输入图像，以生成第二色彩空间(例如，HSV)中的重着色图像。同样，如果需要，可选地，重着色图像可以变换回到RGB。该替代方法可以使该处理能够利用在RGB空间中操作的修复模型，因为这样的修复模型可能更常得到。

根据本公开的另一方面，本文描述的技术的某些部分可以对具有相对较低分辨率的图像执行，而其他部分可以对具有相对较高分辨率的图像执行。例如，可以对较低分辨率的图像执行用修复模型对掩蔽图像的处理。调色板变换可以从这样的较低分辨率处理生成。因为从修复处理仅提取色彩变换信息，所以修复输出的分辨率不太重要。然后，可以将调色板变换应用于较高分辨率的输入图像。以这种方式，可以通过以较低分辨率执行某些动作来实现计算节省，同时维持实现较高分辨率的重着色输出的能力。

本公开的系统和方法提供了若干技术效果和益处。本公开的多个方面可以对机器学习训练提供若干技术改进，以用于图像处理和编辑、图像处理技术和图像编辑技术。作为示例，为了在减少干扰时帮助提高图像的真实感，本公开的图像编辑技术可以维持干扰对象的结构，同时减少图像内的干扰。此外，至少部分地基于经机器学习的修复模型和调色板变换来改进图像编辑技术。调色板变换可以通过对经机器学习的修复模型的输出应用投票技术来生成。在一些实现中，经机器学习的修复模型可以使用低分辨率图像数据来训练和运行。在一些情况下，图像数据可以包括一个或多个色度通道中的数据。通过对低分辨率图像或使用低分辨率图像训练和/或运行模型，可以减少用于训练和/或运行模型的计算资源(例如，处理器时间、存储器使用等)。

本文描述的系统和方法可以提高图像处理的处理速度，并且还可以减少执行图像处理所需的计算资源。本公开中描述的技术描述用于将高分辨率图像变换为低分辨率图像的处理，以便处理低分辨率图像而不损失已被修改的最终图像的图像质量。通过允许对低分辨率图像进行图像处理(例如，该处理的修复部分)，处理时间减少，并且处理所需的计算资源减少。因此，该系统可以实现最先进的性能，同时维持高水平的图像质量。因此，所执行的图像编辑可以比先前的技术具有更高的质量(例如，更准确)，其代表计算系统的性能的改进。

使用从高分辨率图像变换的低分辨率图像还去除调谐中的一些混乱，使调谐更有效率，从而节省计算资源。与先前的系统相比，经训练的系统可以减少所利用的计算资源的量。具体地，某些效率较低的图像编辑方法可能试图以受监督的方式学习以模仿人类编辑。相反，本公开利用对预训练模型的访问来驱动调色板变换的生成，然后应用该调色板变换来实现图像编辑处理。

另外，所提出的方法可以消除对图像创建或执行多个不同编辑以实现期望效果的需要。例如，某些现有技术可能需要使用多个不同的库存编辑操作进行反复试验，直到获得期望的结果。相反，所述系统和方法可以直接使用机器学习模型来实现期望的效果。通过减少需要执行的编辑操作的数量，本公开的系统和方法可以节省诸如处理器使用、存储器使用和/或网络带宽使用这样的计算资源。

此外，使用本文描述的技术，系统可以展示出优于使用内部真实世界图像数据的现有方法的性能。与现有方法相比，所提出的方法能够以更少的处理时间和更少的计算资源来减少图像中的干扰，同时维持图像的真实感。这进而改善了相机、图像记录设备、视频记录设备、图像处理设备和其他图像相关设备的功能。

此外，本公开的系统和方法可以利用机器学习技术来改进图像的编辑，以从图像去除干扰。具体地，本公开的示例系统和方法可以利用处理低分辨率图像的模型来训练系统成功地减少感兴趣区域内的干扰。

由于机器学习的实现还消除了手动编辑图像中出现的每个干扰的需要，因此可以增加更多的效率。该系统还可以消除对编码人员编写复杂代码、运行代码、提炼代码以及持续监控性能的需要。

在一些实现中，模型可以基于眼睛注视数据来训练或者已被预训练。眼睛注视数据可以包括用户正在观看的图像的位置，其可以用于确定人类的视觉注意力。例如，掩膜可以由系统使用眼睛注视数据自动生成。

此外，本文描述的技术允许编辑图像以减少人类注意力，目的是减少视觉干扰，但也增加人类对主体的注意力。例如，该系统利用机器学习模型来驱动激烈但仍然逼真的编辑，这可以显著改变观察者对图像中不同区域的注意力。该能力具有重要的应用，诸如摄影，其中图片往往包含分散我们想要描绘的主体的注意力的对象，或者在视频会议中，其中房间或办公室的背景中的混乱可能分散对参与通话的主要发言者的注意力。

本文描述的技术展示如何能够由嵌入在机器学习模型中的视觉注意力的知识来引导图像编辑处理。用户对所实现的图像编辑模型的研究表明，所产生的图像编辑：a)有效地减少了吸引到指定区域的视觉注意力；b)良好地维持了图像的整体真实感；以及c)与其他现有的编辑效果相比，明显更受用户的喜爱。

现在将参考附图，更详细地论述本公开的示例实施例。

图1A图示根据本公开的示例实施例执行图像编辑的示例计算系统100的框图。系统100包括通过网络180通信地耦接的用户计算设备102、服务器计算系统130和训练计算系统150。

用户计算设备102可以是任何类型的计算设备，诸如例如个人计算设备(例如，膝上型或台式)、移动计算设备(例如，智能电话或平板)、游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备或任何其他类型的计算设备。

用户计算设备102包括一个或多个处理器112和存储器114。一个或多个处理器112可以是任何合适的处理设备(例如，处理器内核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是可操作地连接的一个处理器或多个处理器。存储器114可以包括诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等之类的一个或多个非暂时性计算机可读存储介质以及其组合。存储器114可以存储数据116和由处理器112执行以使用户计算设备102执行操作的指令118。

在一些实现中，用户计算设备102可以存储或包括一个或多个模型120。例如，模型120(例如，修复模型)可以是或者可以以其他方式包括各种机器学习模型，诸如神经网络(例如，深度神经网络)或者其他类型的机器学习模型，包括非线性模型和/或线性模型。神经网络可以包括前馈神经网络、递归神经网络(例如，长短期记忆递归神经网络)、卷积神经网络或其他形式的神经网络。在其他示例中，模型120可以是可区分的特定图像编辑模型，并且其已经被参数化以便于机器学习技术的应用。参考图2至图6论述示例模型120。

在一些实现中，一个或多个模型120可以通过网络180从服务器计算系统130接收，存储在用户计算设备存储器114中，然后由一个或多个处理器112使用或以其他方式实现。在一些实现中，用户计算设备102可以实现单个模型120的多个并行实例。

更具体地，模型120可以使用具有一组训练数据162的训练计算系统150来训练，以训练模型的参数，从而优化模型。训练计算系统162可以依靠眼睛注视数据来增加训练模块的效率和精度。训练数据还可以包括从高分辨率原始图像数据创建低分辨率处理图像数据。还可以在训练中使用掩膜来提供感兴趣区域或者对不想要的数据的大小和位置的标记。在一些情况下，掩膜可以使用用户输入组件122输入或者基于眼睛注视数据自动确定。在一些情况下，如果用户已经提供准许，则眼睛注视数据可以是从用户计算设备102接收的实时数据。

附加地或替换地，一个或多个模型140可以包括在根据客户端-服务器关系与用户计算设备102通信的服务器计算系统130中，或者由服务器计算系统130存储和实现。例如，模型140可以由服务器计算系统140实现，作为网络服务(例如，图像编辑服务)的一部分。这样，一个或多个模型120可以在用户计算设备102处存储和实现，和/或一个或多个模型140可以在服务器计算系统130处存储和实现。

用户计算设备102还可以包括接收用户输入的一个或多个用户输入组件122。例如，用户输入组件122可以是对用户输入对象(例如，手指或触笔)的触摸敏感的触敏组件(例如，触敏显示屏或触摸板)。触敏组件可以用于实现虚拟键盘。其他示例用户输入组件包括麦克风、传统键盘或用户可以用于提供用户输入的其他装置。

服务器计算系统130包括一个或多个处理器132和存储器134。一个或多个处理器132可以是任何合适的处理设备(例如，处理器内核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是可操作地连接的一个处理器或多个处理器。存储器134可以包括诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等之类的一个或多个非暂时性计算机可读存储介质以及其组合。存储器134可以存储数据136和由处理器132执行以使服务器计算系统130执行操作的指令138。

在一些实现中，服务器计算系统130包括一个或多个服务器计算设备或者以其他方式由一个或多个服务器计算设备来实现。在服务器计算系统130包括多个服务器计算设备的情况下，这样的服务器计算设备可以根据顺序计算架构、并行计算架构或其某种组合来操作。

如上所述，服务器计算系统130可以存储或以其他方式包括一个或多个机器学习模型140。例如，模型140可以是或者可以包括各种机器学习模型。示例机器学习模型包括神经网络或其他多层非线性模型。示例神经网络包括前馈神经网络、深度神经网络、递归神经网络和卷积神经网络。参考图2至图6论述示例模型140。

用户计算设备102和/或服务器计算系统130可以通过与通过网络180通信地耦接的训练计算系统150的交互来训练模型120和/或140。训练计算系统150可以与服务器计算系统130分离，或者可以是服务器计算系统130的一部分。

训练计算系统150包括一个或多个处理器152和存储器154。一个或多个处理器152可以是任何合适的处理设备(例如，处理器内核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是可操作地连接的一个处理器或多个处理器。存储器154可以包括诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等之类的一个或多个非暂时性计算机可读存储介质以及其组合。存储器154可以存储数据156和由处理器152执行以使训练计算系统150执行操作的指令158。在一些实现中，训练计算系统150包括一个或多个服务器计算设备或者以其他方式由一个或多个服务器计算设备实现。

训练计算系统150可以包括模型训练器160，模型训练器160使用诸如例如误差反向传播这样的各种训练或学习技术，训练存储在用户计算设备102和/或服务器计算系统130处的机器学习模型120和/或140。例如，损失函数可以通过模型反向传播，以更新模型的一个或多个参数(例如，基于损失函数的梯度)。可以使用各种损失函数，诸如均方误差、似然损失、交叉熵损失、铰链损失和/或各种其他损失函数。梯度下降技术可用于通过多次训练迭代来迭代地更新参数。

在一些实现中，执行误差的反向传播可以包括随时间执行截断的反向传播。模型训练器160可以执行多种泛化(generalization)技术(例如，权重衰减(weight decay)、退出(dropout)等)，以提高被训练的模型的泛化能力。

具体地，模型训练器160可以基于一组训练数据162来训练图像编辑模型120和/或140。训练数据162可以包括例如一组原始图像数据、一组经处理的图像数据和指示感兴趣区域的一组掩膜、一组修复图像数据和一组重着色图像数据。

在一些实现中，如果用户已经提供了准许，则训练示例可以由用户计算设备102提供。这样，在这样的实现中，提供给用户计算设备102的模型120可以由训练计算系统150根据从用户计算设备102接收的用户特定数据来训练。在一些情况下，该处理可以被称为对模型进行个性化。

模型训练器160包括用于提供所需功能的计算机逻辑。模型训练器160可以用控制通用处理器的硬件、固件和/或软件来实现。例如，在一些实现中，模型训练器160包括存储在存储设备上、加载到存储器中并由一个或多个处理器执行的程序文件。在其他实现中，模型训练器160包括存储在诸如RAM硬盘或光学或磁性介质这样的有形的计算机可读存储介质中的一组或多组计算机可执行指令。

网络180可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)或其某种组合，并且可以包括任何数量的有线或无线链路。一般而言，网络180上的通信可以使用各种通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、XML)和/或保护方案(例如，VPN、安全HTTP、SSL)，经由任何类型的有线和/或无线连接来承载。

图1A例示可用于实现本公开的一个示例计算系统。也可以使用其他计算系统。例如，在一些实现中，用户计算设备102可以包括模型训练器160和训练数据集162。在这样的实现中，模型120可以在用户计算设备102本地训练和使用。在一些这样的实现中，用户计算设备102可以实现模型训练器160以基于用户特定的数据对模型120进行个性化。

图1B图示根据本公开的示例实施例执行的示例计算设备10的框图。计算设备10可以是用户计算设备或服务器计算设备。

计算设备10包括多个应用(例如，应用1至N)。每个应用都包含其自己的机器学习库和经机器学习的模型。例如，每个应用可以包括经机器学习的模型。示例应用包括文本消息传递应用、电子邮件应用、听写应用、虚拟键盘应用、浏览器应用等。

如图1B所示，每个应用可以与计算设备的多个其他组件通信，诸如例如一个或多个传感器、上下文管理器、设备状态组件和/或附加组件。在一些实现中，每个应用可以用API(例如，公共API)与每个设备组件通信。在一些实现中，每个应用使用的API特定于该应用。

图1C图示根据本公开的示例实施例执行的示例计算设备50的框图。计算设备50可以是用户计算设备或服务器计算设备。

计算设备50包括多个应用(例如，应用1至N)。每个应用都与中央智能层通信。示例应用包括文本消息传递应用、电子邮件应用、听写应用、虚拟键盘应用、浏览器应用等。在一些实现中，每个应用可以用API(例如，跨越所有应用的公共API)与中央智能层(以及在其中存储的模型)通信。

中央智能层包括多个经机器学习的模型。例如，如图1C所示，可以对每个应用提供相应的经机器学习的模型(例如，模型)，并由中央智能层管理。在其他实现中，两个或更多应用可以共享单个经机器学习的模型。例如，在一些实现中，中央智能层可以对所有应用提供单个模型(例如，单个模型)。在一些实现中，中央智能层包括在计算设备50的操作系统中，或者由计算设备50的操作系统来实现。

中央智能层可以与中央设备数据层通信。中央设备数据层可以是计算设备50的集中式数据仓库。如图1C所示，中央设备数据层可以与计算设备的多个其他组件通信，诸如例如一个或多个传感器、上下文管理器、设备状态组件和/或附加组件。在一些实现中，中央设备数据层可以使用API(例如，私有API)与每个设备组件通信。

图2描述根据本公开的示例实施例的用于减少图像中的干扰物对象的示例技术200的流程图。在一些实现中，计算系统(用户计算设备102、服务器计算设备130、训练计算设备150、计算设备10、计算设备50)可以使用图2所述的示例技术200来处理初始图像，以从图像中减少干扰物。

计算系统可以访问(例如，获得、接收)具有干扰物202的初始图像和掩膜203。在一些情况下，掩膜203可以由服务器计算系统130的经机器学习的模型140来确定(例如，通过使用确定干扰物对象的边界的分割模型)，或者掩膜可以由用户计算设备102的用户输入组件122来获得。例如，用户可以使用用户输入组件122输入具有与干扰物对象相关联的感兴趣区域并且要从图像中减少感兴趣区域内的干扰物对象的掩膜203。通过处理掩膜203和具有干扰物202的图像，计算系统可以使用掩蔽技术204来生成掩蔽图像206。

此外，掩蔽图像206可以输入到修复模型208中，以生成修复图像212。在一些实现中，掩蔽图像206可以具有比具有干扰物202的初始图像更低的分辨率，这可以导致修复模型208更快的处理时间。修复模型208可以先前已经使用训练数据210训练过。在一些情况下，修复图像212可以在色调饱和度明度(HSV)色彩空间的色调饱和度(HS)通道中生成。当在HS通道中生成修复图像212时，可以使用HS训练数据210训练修复模型208。通过仅使用两个色度通道(例如，HS)并且保持亮度通道(例如，明度)不变，生成修复图像的处理更快，并且修复模型的训练更高效。此外，通过保持明度通道不变，初始图像的结构不改变，这导致最终图像维持其真实感。图3A至图3C进一步描述用于修复的技术。

在一些实现中，原始图像或初始图像可以处于红绿蓝(RGB)色彩空间中。类似于RGB，色调饱和度明度(HSV)是色彩空间的另一示例。在一些情况下，可以处于RGB色彩空间中的原始图像可被处理成可以处于HSV色彩空间中的初始图像。色调、饱和度和明度是HSV色彩空间中的通道。色调和饱和度是HSV空间中的色度通道。图像中的每个像素可以具有图像色彩空间中的每个通道的属性(例如，数值)。HSV色彩空间也可以被称为色调饱和度亮度(HSL)色彩空间和色调饱和度光泽度(HSB)色彩空间。在这些代替的色彩空间中，HSL色彩空间中的亮度通道或HSB色彩空间中的光泽度通道可以保持不变，而不是保持明度通道不变。此外，通过使用色调饱和度(HS)矩形网格，在本文描述的技术可以通过对色彩传递进行平滑来减轻量化。例如，通过在HS空间中的矩形网格上工作，每个HS单元可以在两个方向上具有明确定义的相邻单元。这是通过对色彩转移进行平滑来减轻量化的技术益处的一个示例。

随后，技术200可以继续，其中，计算系统使用投票(voting)技术214来确定调色板变换216。在一些实现中，投票技术214可以对(例如，限于)在膨胀掩膜内的修复图像212的区域执行。相比于掩膜203的感兴趣区域，膨胀掩膜可以具有扩大的感兴趣区域。例如，可以通过使掩膜203膨胀以在掩蔽区域内包括围绕初始掩蔽区域的周边的附加像素来生成膨胀掩膜。在本文描述的技术的一个益处是，掩膜203不必是高度精确的，处理仍然正确运行。即使在掩膜不准确时，在本文描述的技术也可以从图像中减少干扰物。图4进一步描述使用投票技术来确定调色板变换的技术。类似地，对投票技术214使用膨胀掩膜可以使周围信息能够包括在投票技术214中，从而可以实现改进的调色板变换结果。

一旦确定了调色板变换216，就可以通过应用调色板变换218，使用初始图像202来生成重着色图像220。初始图像202可以是高分辨率图像，重着色图像220也可以是高分辨率图像。通过对可以是低分辨率图像的修复图像进行投票技术214，该技术允许更高效率的处理，同时维持重着色输出的初始图像的质量/分辨率。图4进一步描述使用投票技术来确定调色板变换的技术。

图3A描述了根据本公开的示例实施例的HSV变换技术的例示300。在一些实现中，计算系统(用户计算设备102、服务器计算设备130、训练计算设备150、计算设备10、计算设备50)可以使用图3A中描述的HSV变换技术来处理初始图像以生成经处理的图像。在一些情况下，计算系统可以将初始图像中在掩蔽区域内的一个或多个像素的HSV空间中的指定属性变换为与掩膜外的像素的属性相似(例如，相等)。

该技术包括使用掩膜310通过以下方式变换初始图像302：仅改变色调图像304中的色调通道；仅改变饱和度图像306中的饱和度通道；仅改变明度图像308中的明度通道；改变色调饱和度图像312中的色调和饱和度通道；改变饱和度明度图像314中的饱和度和明度通道；改变色调明度图像中的色调和明度通道316；以及改变HSV图像318中的HSV通道。

在一些实施例中，计算系统(用户计算设备102、服务器计算设备130)可以调整图像背景的色彩以减少干扰。在传统系统中，RGB可以是表示图像中的色彩和对象的常用方法。然而，如在本公开的技术中所描述的，HSV也可以是用于表示图像中的色彩和对象的方法。在一些情况下，HSV可以是用于减少干扰物同时维持图像的真实感的更好的方法。如色调图像302中所示，当仅改变花的色调(例如，色调的平均值)时，花仍然明亮，但是是绿色。当在饱和度图像306中改变饱和度时，紫色变得更暗。当在明度图像308中改变明度属性时，花变成灰色并且几乎用图像掩饰。当在HSV图像318中改变所有的三个分量(HSV)时，花的掩饰比任何其他图像的掩饰更好。

图3B描述了根据本公开的示例实施例的HSV空间投影技术的例示320。在一些实现中，计算系统(用户计算设备102、服务器计算设备130、训练计算设备150、计算设备10、计算设备50)可以使用图3B中描述的HSV空间投影技术来处理初始图像以生成经处理的图像。

根据一些实施例，系统在HSV空间而不是RGB空间中修改输入图像322。使用HSV的一些益处可以包括：在明度属性不变时，可以保留图像的结构。保留图像的结构可以改善观看图像的用户的图式感知(schematic perception)。物体的图式知觉可以包括物体的区别性特征，其指定用户所感知的对象的唯一性。

如图3B所示，当仅在色调和饱和度通道中观看输入图像322时，从输入图像322生成色调饱和度图像324。例如，在色调饱和度图像324中，每个像素的明度属性被去除或被视为单独的数据。另外，当仅在明度(例如，亮度)通道中观看输入图像322时，从输入图像322生成明度图像326。例如，在明度图像324中，每个像素的色调属性和饱和度属性被去除或者被视为单独的数据。如明度图像326所示，在明度属性保持不变时，维持初始图像322中的对象的图式知觉(例如，细节)。因此，通过保持图像中每个像素的明度属性(即，HSV空间中的明度属性)不变，也可以维持图像中的对象的图式知觉。此外，在图像中一个或多个像素的色调属性和/或饱和度属性改变时，对象的图式知觉可能不降低。在本文所描述的技术示出在维持干扰物对象的像素的明度属性不变的同时通过修改图像中的干扰物对象的一个或多个像素的色调属性和/或饱和度属性来减少图像中的干扰的方法。

可替代地，代替HSV空间，系统可以将初始图像322变换成亮度通道a通道b(LAB)空间中的经处理的图像。当在LAB空间中处理初始图像时，图像的每个像素的亮度属性可以保持不变，以便维持图像中的对象的图式感知。因此，由计算系统修改图像的一个或多个像素的通道a属性和/或通道b属性，以便减少初始图像中的干扰。

图3C描述了根据本公开的示例实施例的色调饱和度通道中的修复技术的例示350。在一些实现中，计算系统(用户计算设备102、服务器计算设备130、训练计算设备150、计算设备10、计算设备50)可以使用图3C中描述的修复技术来处理初始图像以生成经处理的图像。

初始图像(例如，初始图像322)可以变换成HS图像352(例如，具有孔的HS图像)。在初始图像322变换成色调饱和度图像324时，这可以类似于图3B中描述的技术。HS图像352和掩膜354可以被输入到修复模型356中，以生成修复图像358。可以类似于图2中的掩膜203的掩膜354可以由计算系统接收或者由计算系统生成。在该示例中，曾在掩膜354内的干扰物对象已从修复图像358中去除，并且修复模型356已经基于HS图像352中的像素的色调属性和饱和度属性确定了掩膜354内的像素的色调属性和饱和度属性。图8例示基于图3C的修复图像358的重着色图像，其例示如何通过将背景色彩引入到图像的前景中来融合干扰物对象。

图4描述了根据本公开的示例实施例的使用投票技术来确定调色板变换的图示400。在一些实现中，计算系统(用户计算设备102、服务器计算设备130、训练计算设备150、计算设备10、计算设备50)可以使用图4中描述的投票技术来确定调色板变换。

根据一些实施例，初始图像可以变换成HS 410中的初始图像。图3A至图3C描述将原始的初始图像变换成在HS通道中的初始图像的技术。HS 410中的初始图像可以包括具有第一背景HS属性416的像素(即，红色像素)的第一背景区域412以及具有第二背景HS属性418的像素(即，蓝色像素)的第二背景区域414。HS中的初始图像还可以包括具有第一干扰物HS属性424的像素(即，浅绿色像素)的干扰物对象420的第一部分以及具有第二干扰物HS属性426的像素(即，深绿色像素)的干扰物对象422的第二部分。干扰物对象可以在膨胀掩膜428内。膨胀掩膜可以类似于图2中所述的膨胀掩膜(例如，具有扩大的感兴趣区域的掩膜203)。

在本文描述的技术的一个益处是：即使在掩膜不准确时，也可以减少干扰。在传统的系统中，具有精确的掩膜可能是复杂的，因为干扰物对象的边界可能难以确定。因此，这里的技术可以假设掩膜是不准确的，并且仍然可以适当地从图像中减少干扰。

随后，HS中的初始图像的掩蔽版本(未示出)被输入到修复模型中以生成修复图像430。修复模型(例如，图2中的修复模型208)可以去除膨胀掩膜内的干扰物对象。修复模型可以将HS中的初始图像的掩蔽版本(未示出)变换成修复图像430。在修复图像430中，干扰物对象的像素(即，干扰物对象420的第一部分(浅绿色像素)、干扰物对象422的第二部分(深绿色像素))已经被修改为类似于第一背景区域432的像素(即，红色像素)或第二背景区域434的像素(即，蓝色像素)。

在一些情况下，计算系统可以使用投票技术440来确定调色板变换442。在图示400所示的示例中，每个像素可以通过具有相同色彩的大多数像素投票的色彩来重着色。可以通过对HS 410中的初始图像和修复图像430的膨胀掩膜内的空间对应像素的色彩进行计数来执行投票。此外，如图3A至图C所述，通过维持明度属性不变，可以维持干扰物对象的图式知觉，使得重着色图像更真实。

在该示例中，具有第一干扰物HS属性444的干扰物对象的第一部分的像素(即，浅绿色像素)可以投票具有与第一背景区域432(例如，红色像素)的HS属性相似的HS属性。在示例中，浅绿色像素投票为红色像素，因为在HS410中的初始图像中只有一个浅绿色像素，并且浅绿色像素在修复图像430中变换为红色像素。因此，红色像素有一票，蓝色像素有零票，使得红色像素获得最高票数。基于该投票技术示例(即，红色像素获得最高票数)，可以分配第一投票分类器。该投票分类器可以是：干扰物对象420的第一部分中的像素(例如，任何浅绿色像素)可以变换成具有类似于第一背景HS属性416的HS属性(例如，变换成红色)。

另外，具有第二干扰物HS属性446的干扰物对象的第二部分的像素(即，深绿色像素)可以投票具有与第二背景区域434(例如，蓝色像素)的HS属性相似的HS属性。在该示例中，基于修复图像430中深绿色像素的变换，深绿色像素中的一个投票为红色像素，而深绿色像素中的两个投票为蓝色像素。因此，红色像素有一票，蓝色像素有两票，使得蓝色像素获得最高票数。基于该投票技术示例(即，蓝色像素获得最高票数)，可以分配第二投票分类器。第二投票分类器可以是：干扰物对象422的第二部分中的像素(例如，任何深绿色像素)可以变换成具有类似于第二背景HS属性418的HS属性(例如，变换成蓝色)。尽管在图4给出的简化示例中，所有的干扰物像素都被变换成不同的色彩，但是在一些情况下，第一干扰物HS属性424可以等于第一背景HS属性416。换句话说，在一些情况下，调色板变换可以保留初始干扰物中包含的某些色彩。

一旦确定了调色板变换，计算系统就可以使用调色板变换440，将HS 410中的初始图像变换成HS 450中的重着色图像。在该示例中，基于调色板变换440，HS 410中的初始图像中的第一干扰物HS属性424可以变换为与第一背景HS属性416相似(例如，相等)。另外，基于调色板变换440，HS 410中的初始图像中的第二干扰物HS属性426可以变换为与第一背景HS属性418相似(例如，相等)。作为该变换的结果，像素452已经在HS 450中的重着色图像中被修改成蓝色像素，而对应的像素在修复图像430中是红色的。

图5描述了根据本公开的示例实施例的用于减少第一图像中的干扰物对象的示例的流程图。尽管为了例示和论述的目的，图5描述了以特定次序执行的步骤，但是本公开的方法不限于具体例示的次序或布置。在不脱离本公开的范围的情况下，方法500的各个步骤可以以各种方式省略、重新布置、组合和/或修改。

在一些情况下，方法500可以包括：在步骤502之前，计算系统访问原始图像。例如，原始图像可以处于红绿蓝(RGB)色彩空间中。另外，计算系统可以处理原始图像以生成第一图像。例如，第一图像可以在色调饱和度明度(HSV)色彩空间、色调饱和度(HS)通道或其他类似的色度通道中。

计算系统可以是用户计算设备102、服务器计算系统130、训练计算系统150、计算设备10、计算设备50。在502，计算系统可以使用一个或多个处理器(例如，处理器112、132、152)来访问原始图像，并且访问掩膜和第一图像。

在502，计算系统用户可以访问掩膜和具有干扰物对象的第一图像。掩膜可以指示第一图像中与干扰物对象的边界相关联的感兴趣区域。干扰物对象可以在感兴趣区域内，并且可以具有带有初始属性的一个或多个像素。

例如，在502访问的掩膜可以类似于图2中的掩膜203，并且在502访问的第一图像可以类似于图2中具有干扰物202的初始图像。在另一示例中，在502访问的掩膜可以类似于图3B中的掩膜354，并且在502访问的第一图像可以类似于图3B中的HS图像352。在又一示例中，图4中的膨胀掩膜428可以基于在502访问的掩膜来确定，并且图4中的HS 410中的初始图像可以是在502访问的第一图像。

在一些情况下，计算系统可以从用户输入组件122接收掩膜。例如，感兴趣区域可以由用户在用户设备计算设备102上输入。用户可以选择(例如，突出)第一图像中的一个或多个干扰物，并请求计算系统通过将这些选择的干扰物与第一图像的背景相协调来减少它们。

在另一示例中，计算系统可以通过使用分割模型确定干扰物对象的边界，来确定掩膜。如先前所述，掩膜可能不准确(例如，未正确地定义干扰物对象的边界)，但是在508处理的重着色图像仍然可以是逼真的。

如先前所述，在502访问的第一图像可以通过处理原始图像来生成。原始图像可以处于RGB色彩空间中，并且第一图像可以处于HSV色彩空间中。通过保持第一图像中的每个像素的明度(V)属性不变，可以在HSV色彩空间的HS通道中，从原始图像生成第一图像。替代地，可以通过保持第一图像中的每个像素的亮度(L)属性不变，在LAB色彩空间的AB通道中，从原始图像生成第一图像。

在一些情况下，与第一图像中的干扰物对象的一个或多个像素相关联的初始属性可以具有一个或多个色度通道中的属性。例如，一个或多个色度通道可以是色调饱和度(HS)通道，并且干扰物对象的每个像素的初始属性可以包括色调属性和饱和度属性。此外，初始图像、修复图像和重着色图像的明度属性可以保持不变。

另外，方法500可以包括：在步骤504之前，计算系统处理第一图像和掩膜以生成掩蔽图像。在一些情况下，在502接收到掩膜和第一图像之后，计算系统可以处理第一图像和掩膜以生成掩蔽图像。例如，计算系统可以使用图2中描述的掩蔽技术204来生成掩蔽图像206。如先前所述，相比于可以处于RGB色彩空间中的原始图像，可以在HS通道中的掩蔽图像(例如，掩蔽图像206)可以是较低分辨率图像。随后，掩蔽图像可以输入到经机器学习的修复模型中，以生成被修复图像。

在504，计算系统可以使用经机器学习的修复模型来处理第一图像和掩膜，以生成修复图像。干扰物对象的一个或多个像素可以在一个或多个色度通道中具有修复属性。如先前所述，一个或多个色度通道可以是色调饱和度(HS)通道，并且修复属性可以在HS通道中。例如，修复属性可以是色调属性和饱和度属性。此外，第一图像、修复图像和重着色图像的明度属性可以在方法500中描述的整个处理中保持不变。例如，当在HSV色彩空间中变换RGB图像时，明度属性可以保持不变。如先前所述，通过保持明度属性不变，在方法500中描述的处理期间，维持对象的图式知觉(例如，指定用户感知的对象的唯一性的对象的区别特征)。

例如，在步骤504，计算系统可以使用图2中描述的修复模型208来基于掩蔽图像206生成修复图像212。可以使用诸如HS训练数据210之类的色度通道训练数据来训练经机器学习的修复模型208。此外，可以使用色调饱和度明度(HSV)训练数据或其他色彩空间训练数据来训练经机器学习的修复模型。其他色彩空间训练数据可以包括但不限于RGB、色调饱和度亮度(HSL)、青色-品红色-黄色-键(cyan-magenta-yellow-key，CMYK)等。

在506，计算系统可以基于第一图像和修复图像的对比来确定调色板变换。干扰物对象的一个或多个像素可以在一个或多个色度通道中具有变换属性。也可以在HS通道中的变换属性可以不同于在504获得的修复属性。图4中的图示400描述了基于第一图像(例如，HS 410中的初始图像)和修复图像(例如，修复图像430)的对比来确定调色板变换(例如，调色板变换440)的示例。

在一些实例中，在506确定的调色板变换是具有投票分类器的经机器学习的模型。例如，如图示400中所述，投票分类器可以将背景像素的HS属性分配给与初始图像中的干扰物对象相关联的像素。经机器学习的模型可以基于绝对多数投票、相对多数投票、加权投票、简单平均或加权平均。类似地，投票分类器的确定可以基于多数投票、多数投票、加权投票、简单平均或加权平均。图4中描述的示例是相对多数投票方法的示例。

例如，干扰物对象可以包括具有初始属性的多个像素，并且干扰物对象的一个或多个像素的变换属性可以基于相对多数投票技术来确定。替代地，可以基于绝对多数投票、加权投票、简单平均、加权平均和其他投票技术来确定变换属性。

在一些情况下，调色板变换是基于膨胀掩膜进一步确定的。膨胀掩膜可以具有与第一图像相关联的扩展感兴趣区域。膨胀掩膜的扩展感兴趣区域大于掩膜的感兴趣区域。例如，与在502访问的掩膜相关联的感兴趣区域可以是与膨胀掩膜相关联的扩展感兴趣区域的子部分。如图2中所述，调色板变换216可以由投票技术214使用修复图像212和膨胀掩膜来确定。如先前所述，方法500可以减少干扰，同时即使用不准确的掩膜也维持图像的真实感。通过使用膨胀掩膜，允许计算系统减少与不准确掩膜相关联的误差。

在508，计算系统可以处理第一图像以生成重着色图像。重着色图像中的干扰物对象的一个或多个像素可以具有基于所确定的调色板变换的变换属性的重着色属性。重着色属性可以不同于修复属性。例如，重着色图像可以类似于图4中描述的HS 450中的重着色图像。在另一示例中，重着色图像可以是在计算系统将调色板变换218应用于初始图像202时生成的重着色图像220。

在一些情况下，方法500还可以访问原始图像。原始图像可以处于红绿蓝(RGB)色彩空间中。另外，方法500还可以包括：计算系统处理原始图像以生成第一图像。例如，第一图像可以在色调饱和度(HS)通道中。

另外，原始图像可以是高分辨率图像，并且由方法500生成的第一图像可以是低分辨率图像。通过具有低分辨率的第一图像、掩蔽图像和修复图像，方法500的处理时间可以更快。此外，经机器学习的模型的训练也可以更快。

此外，重着色图像可以在HS通道中，并且方法500还可以包括：处理在508生成的重着色图像以生成最终图像。最终图像可以处于红绿蓝(RGB)色彩空间中。此外，重着色图像可以是高分辨率图像，并且最终图像是高分辨率图像。这是方法500可以产生更快的处理时间而不降低图像质量的技术效果的另一示例。

图6描述了根据本公开的示例实施例的用于减少第一图像中的干扰物对象的另一示例的流程图。尽管为了例示和论述的目的，图6描述以特定次序执行的步骤，但是本公开的方法不限于具体说明的次序或布置。在不脱离本公开的范围的情况下，方法600的各个步骤可以以各种方式省略、重新布置、组合和/或修改。

在602，计算系统可以访问原始图像。原始图像处于RGB色彩空间中。原始图像可以是高分辨率图像。原始图像可以包括干扰物对象。

在604，计算系统可以处理原始图像以生成第一图像。第一图像可以是低分辨率图像。相比于高分辨率图像，低分辨率图像具有更低的每英寸点数(DPI)。在一些情况下，DPI低分辨率图像可以是高分辨率图像的DPI的分数(例如，1/4，1/2)。第一图像可以在HS通道中。干扰物对象可以具有带有初始色调属性和初始饱和度属性的一个或多个像素。在604处理的第一图像可以类似于在方法500的502访问的第一图像。

在606，计算系统可以处理第一图像和掩膜以生成修复图像。修复图像可以在HS通道中。修复图像可以是低分辨率图像。干扰物对象的一个或多个像素可以具有修复的色调属性和修复的饱和度属性，其中，修复的色调属性可以不同于初始色调属性，修复的饱和度属性可以不同于初始饱和度属性。在606生成的修复图像可以类似于在方法500的504生成的修复图像。

在608，计算系统可以基于第一图像和修复图像的对比来确定调色板变换。调色板变换可以修改修复的色调属性和/或修复的饱和度属性。调色板变换可以基于图4中描述的技术来确定。另外，在608确定的调色板变换可以类似于在方法500的506确定的调色板变换。

在610，计算系统可以通过应用在608确定的调色板变换来处理第一图像，以生成重着色图像。重着色图像可以在HS通道中。干扰物对象的一个或多个像素可以具有重着色的色调属性和重着色的饱和度属性，其中，重着色的色调属性可以不同于修复的色调属性，并且重着色的饱和度属性可以不同于修复的饱和度属性。重着色图像可以是高分辨率图像。在610生成的重着色图像可以类似于在方法500的508生成的重着色图像。

在612，计算系统可以处理重着色图像以生成最终图像。最终图像可以处于RGB色彩空间中。最终图像可以是高分辨率图像。

图7描述了根据本公开的示例实施例的将初始图像变换成修复图像和重着色图像的例示700。如修复图像720所示，传统技术可能无法正确地修复初始图像710中的干扰物715。在修复图像720中，作为彩色球的干扰物715已经变成修复对象725。如修复图像720中所示，去除干扰物会导致修复图像720看起来不太真实，显然阴影725仍存在于修复对象720中。修复图像720例示从初始图像710中去除干扰物对象715在技术上可能会如何复杂的示例。例如，通过从初始图像710中去除干扰物715，可能难以确定在干扰物的后面正在发生什么，难以填充干扰物附近的边缘，并且难以去除干扰物的阴影。代替去除干扰物对象715，使用在本文所描述的技术，可以将初始图像710处理成重着色图像730，其中，干扰物对象735通过适配初始图像710的背景的色调和饱和度而被融合。

图8描述了根据本公开的示例实施例的将初始图像变换成重着色图像的另一图示800。在示例图示800中，初始图像810变换成重着色图像820。在重着色图像820中，第一干扰物对象830、第二干扰物对象840和第三干扰物对象850被修改以与初始图像810的背景融合。因此，重着色图像820维持初始图像810的真实感，但是减少了与干扰物对象830-850相关联的干扰。如先前在图3C中描述的，图8中的重着色图像820可以至少基于图3C的修复图像368来生成。

图9描述了根据本公开的示例实施例的将初始图像变换成重着色图像的另一图示。在该示例图示900中，初始图像910中的干扰物对象950可以被修改为重着色对象960，以便减少重着色图像920中的干扰。此外，如初始图像930的放大版本所示，无论掩膜的准确性如何，干扰物对象950都可以被适当地修改为重着色对象960。如该示例所示，可以由用户输入或由分割模型确定的掩膜可以不准确。掩膜可以定义干扰物对象的边界。在常规系统中，在掩膜不准确时，处理后的最终图像可能看起来不真实，因为干扰物对象的边界不准确，因此干扰物对象的去除导致最终图像看起来不真实。在该示例图示中，重着色对象960与背景融合，使得重着色图像940看起来更真实。

在本文论述的技术指的是服务器、数据库、软件应用程序和其他基于计算机的系统，以及所采取的行动和发送到这些系统和从这些系统接收的信息。基于计算机的系统的固有灵活性允许在组件之间对任务和功能进行多种可能的配置、组合和划分。例如，在本文论述的处理可以使用单个设备或组件或者组合工作的多个设备或组件来实现。数据库和应用可以在单个系统上实现，也可以分布在多个系统上。分布式组件可以顺序地或并行地操作。

虽然本主题已经参考其各种具体示例实施例进行了详细描述，但是每个示例都是以解释的方式提供的，而不是对本公开的限制。本领域的技术人员在理解了前述内容之后，可以容易地产生这些实施例的变更、变型和等效物。因此，本主题公开不排除对本主题的这种修改、变型和/或添加，这对于本领域普通技术人员来说是显而易见的。例如，作为一个实施例的一部分示出或描述的特征可以与另一个实施例一起使用，以产生又一个实施例。因此，本公开旨在覆盖这些改变、变型和等效物。