一种去除图像阴影模型及其构建方法、装置及应用

技术领域

本申请涉及人工智能图像识别技术领域，特别是涉及一种去除图像阴影模型及其构建方法、装置及应用。

背景技术

阴影是捕捉图像时光线被部分或完全遮挡的条件下出现的一种现象，阴影的出现降低了图像质量，并影响了许多后续的视觉识别任务，使得物体检测、物体跟踪以及图像分割等技术的效果变差，近年来，深度学习方法在图像阴影去除方面的取得了良好的效果，然而，现有的大多数方法都集中在阴影和非阴影区域的局部优化工作，由于阴影和非阴影区域之间的光照不一致，所以这些方案的输出结果往往在阴影边界周围存在严重的伪影。

对于图像阴影的去除，尽管已经有多种解决方案，包括应用基于物理学的光照模型的经典方法，但是这些方法在实践中收到很大的限制，因为在光照方面的假设对于现实时间的阴影图像来说具有很强的限制性，将深度学习算法应用于图像阴影去除可以使用大规模训练数据训练出高度灵活的深度模型，但是，即使使用深度学习算法来去除图像阴影依旧存在一些不足：1、由于图像中的阴影形状是随意的、多样的，有时还带有高度复杂的痕迹，这对有监督的深度学习实现“无痕迹”的去除阴影带来很大的难度；2、阴影退化在空间分布不均匀，导致阴影和非阴影区域的光照和颜色不一致。

为了解决上述问题，现有的一些阴影去除算法通过设计一个单独的精细化模块来使得恢复图像中的剩余阴影痕迹减少，还有的算法提出通过重新生成一个更准确的阴影密度矩阵来抑制边界痕迹伪影，这些方法虽然在一定程度上缓解了边界痕迹伪影，但采用了一个次优的深度修复框架，其中包含了大量的计算模块，使得计算量非常庞大，还有许多深度阴影去除算法未能在恢复的图像中保留照度和颜色的一致性，因为这些算法完全忽略了阴影和非阴影区域之间的全局性关联，还存在一种现有技术采用了一个临时的外部补丁匹配模块，并且只选择前K个相似的补丁作为参考，在这种情况下，所利用的上下文信息是有限的，并且计算成本巨大。

所以，亟需一种可以利用阴影区域与非阴影区域之间的全局上下文相关性的去除阴影算法。

发明内容

本申请实施例提供了一种去除图像阴影模型及其构建方法、装置及应用，可以获取阴影图像中的阴影区域和非阴影区域之间的全局上下文相关性，并采用视网膜皮层理论根据阴影区域和非阴影区域之间的全局上下文相关性来进行阴影去除。

第一方面，本申请实施例提供了一种去除图像阴影模型的构建方法，所述方法包括：

构建去除图像阴影模型，所述去除图像阴影模型由第一投影模块、编码模块、多交互模块、解码模块、第二投影模块、整合模块组成；

获取至少一阴影图像作为训练样本，获取每一阴影图像对应的阴影掩码，将所述阴影图像和所述阴影掩码输入到所述第一投影模块得到第一投影结果，将所述第一投影结果输入到编码模块中得到编码特征；

将所述编码特征与所述掩码特征图输入到所述多交互模块中得到多交互结果，所述多交互结果是进行了全局上下文关联的阴影图像的阴影部分，将所述阴影掩码进行最大池化得到与编码特征同空间维度的掩码特征图；

所述解码模块对所述多交互结果进行解码得到解码结果，将所述解码结果输入到所述第二投影模块得到第二投影结果，将所述第二投影结果与所述阴影图像在所述整合模块中进行相加得到去阴影图像。

第二方面，本申请实施例提供一种去除图像阴影的方法，包括：

获取一阴影图像，并获取所述阴影图像的阴影掩码，将所述阴影图像和所述阴影掩码输入到构建好的去除阴影模型中，第一投影模块根据所述阴影图像和所述阴影掩码得到第一投影结果，将所述第一投影结果输入到编码模块中得到编码特征；

将所述编码特征与所述掩码特征图输入到多交互模块中得到多交互结果，所述多交互结果是进行了全局上下文关联的阴影图像的阴影部分，将所述阴影掩码进行最大池化得到与编码特征同空间维度的掩码特征图；

解码模块对所述多交互结果进行解码得到解码结果，将所述解码结果输入到第二投影模块得到第二投影结果，将所述第二投影结果与所述阴影图像在整合模块中进行相加得到去阴影图像。

第三方面，本申请实施例提供了一种去除图像阴影模型的构建装置，包括：

构建模块：构建去除图像阴影模型，所述去除图像阴影模型由第一投影模块、编码模块、多交互模块、解码模块、第二投影模块、整合模块组成；

编码模块：获取至少一阴影图像作为训练样本，获取每一阴影图像对应的阴影掩码，将所述阴影图像和所述阴影掩码输入到所述第一投影模块得到第一投影结果，将所述第一投影结果输入到编码模块中得到编码特征；

交互模块：将所述编码特征与所述掩码特征图输入到所述多交互模块中得到多交互结果，所述多交互结果是进行了全局上下文关联的阴影图像的阴影部分，将所述阴影掩码进行最大池化得到与编码特征同空间维度的掩码特征图；

解码模块：所述解码模块对所述多交互结果进行解码得到解码结果，将所述解码结果输入到所述第二投影模块得到第二投影结果，将所述第二投影结果与所述阴影图像在所述整合模块中进行相加得到去阴影图像。

第四方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种去除图像阴影模型的构建方法或一种去除图像阴影的方法。

第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种去除图像阴影模型的构建方法或一种去除图像阴影的方法。

本发明的主要贡献和创新点如下：

本申请实施例通过在编码器和解码器中添加通道注意力层用来堆叠多尺度全局特征，并且在编码器和解码器中通过前馈多层感知器来捕捉长距离的相关性，可以对阴影图像的特征进行更好的处理；本方案通过构建多交互模块将特征图分成一串不重叠的窗口进行计算，以达到降低计算成本的目的；本方案在多交互模块中设置全局交互注意层来捕捉全局性的背景信息，并且在全局交互注意层中通过阴影掩码叠加的方法来判断阴影区域和非阴影区域，并使得阴影区域和非阴影区域具有全局上下文相关性；本方案使用基于扩展的视网膜皮层理论来模拟模型的退化，并利用全局的上下文信息来消除阴影。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种去除图像阴影模型的构建方法的流程示意图；

图2是根据本申请实施例的一种编码子模块的结构示意图；

图3是根据本申请实施例的一种多交互模块的结构示意图；

图4是根据本申请实施例的一张阴影图像；

图5是根据本申请实施例的一张去除阴影后的图像；

图6是根据本申请实施例的一种去除图像阴影模型的模型结构示意图；

图7是根据本申请实施例的一种去除图像阴影模型的构建装置的结构框图；

图8是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请实施例提供了一种去除图像阴影模型的构建方法，具体地，参考图1，所述方法包括：

构建去除图像阴影模型，所述去除图像阴影模型由第一投影模块、编码模块、多交互模块、解码模块、第二投影模块、整合模块组成；

获取至少一阴影图像作为训练样本，获取每一阴影图像对应的阴影掩码，将所述阴影图像和所述阴影掩码输入到所述第一投影模块得到第一投影结果，将所述第一投影结果输入到编码模块中得到编码特征；

将所述编码特征与所述掩码特征图输入到所述多交互模块中得到多交互结果，所述多交互结果是进行了全局上下文关联的阴影图像的阴影部分，将所述阴影掩码进行最大池化得到与编码特征同空间维度的掩码特征图；

所述解码模块对所述多交互结果进行解码得到解码结果，将所述解码结果输入到所述第二投影模块得到第二投影结果，将所述第二投影结果与所述阴影图像在所述整合模块中进行相加得到去阴影图像。

在一些具体实施例中，所述去除图像阴影模型是基于视网膜皮层理论进行构建的一个端到端的轻量级Transformer的深度学习算法网络。

在一些具体实施例中，本方案所构建的去除图像阴影模型是基于多尺度变化注意框架的单级Transformer模型。

在一些具体实施例中，所述第一投影模块使用线性投影函数LinearProj(.)函数进行投影，目的是将所述阴影图像和所述阴影图像对应的阴阳掩码结合得到低层次特征嵌入，所述低层次特征嵌入即为所述第一投影结果，其中所述阴影图像表示为

具体的，所述低层级特征嵌入通常指图像中一些小的细节信息，例如边缘(edge)，角(corner)，颜色(color)，像素(pixelex)，梯度(gradients)等，这些信息可以通过滤波器、SIFT(尺寸不变特征转换)或HOG(方向梯度直方图)获取，低层级特征嵌入可以用于图像中目标或物体形状的识别和检测，具有更丰富的语义信息。

在一些实施例中，在“将所述第一投影结果输入到编码模块中得到编码特征”步骤中，所述编码模块由两个或两个以上的编码子模块进行串联每一编码子模块由两个编码通道注意力模块串联组成，每一所述编码通道注意力模块的结构相同，所述编码通道注意力模块由第一编码归一层、编码通道注意力层、第一编码融合层、第二编码归一层、多层感知器层、第二编码融合层顺序串联，所述第一编码归一层对所述第一投影结果进行归一化得到第一编码归一结果，将所述第一编码归一结果输入到所述编码通道注意力层得到编码通道注意力结果，将所述编码通道注意力结果与所述第一投影结果在所述第一编码融合层进行相加得到第一编码融合结果，将所述第一编码融合结果通过所述第二编码归一层再次进行归一化后通过所述多层感知器进行输出得到多层感知结果，将所述多层感知结果与所述第一编码融合结果在所述第二编码融合层进行相加得到编码特征。

进一步的，在所述去除图像阴影模型中包含多个相同的编码模块，每一编码模块的输出为下一个编码模块的输入，第一个编码模块的输入为所述第一投影结果。

进一步的，所述编码子模块还包含一个下采样层用来进行下采样操作。

具体的，所述编码通道注意力模块的结构如图2所示，，所述编码通道注意力层(CA)用于堆叠多尺度全局特征，所述编码通道注意力层通过通道注意力模块提取空间信息，并通过所述编码通道注意力层中的多层感知器层(MLP)来捕捉长距离的相关性，将所述编码模块的目的用公式表示如下所示：

/>

其中，

具体的，所述编码特征是一个分层的特征，如{X

在一些实施例中，在“将所述编码特征与所述掩码特征图输入到所述多交互模块中得到多交互结果”步骤中，所述多交互模块由第一多交互归一层、多交互通道注意力层、全局交互注意层、第一交互融合层、第二多交互归一层、交互多层感知器层、第二交互融合层顺序串联组成，将所述编码特征输入到所述第一多交互归一层得到第一多交互归一结果，将所述第一多交互归一结果输入到所述多交互通道注意力层得到多交互通道注意力结果，将所述多交互通道注意力结果与掩码特征图输入到全局交互注意层得到全局交互注意结果，对所述阴影掩码进行最大池化得到掩码特征图，所述全局交互注意结果与所述编码特征在所述第一交互融合层中相加得到第一交互融合结果，所述第二交互归一层对所述第一交互融合结果进行归一得到第二交互归一结果，将所述第二交互归一结果送入所述交互多层感知器层得到交互多层感知结果，所述交互多层感知结果与所述第一交互融合结果在所述第二交互融合层中相加得到第二交互融合结果，将所述第二交互融合结果作为多交互结果进行输出。

进一步的，所述去除图像阴影模型中包括两个或两个以上的多交互模块，每一多交互模块的输出为下一个多交互模块的输入，第一个多交互模块的输入为所述编码特征，最后一个多交互模块的输出为多交互结果。

进一步的，将所述多交互通道注意力结果分成一串不重叠的窗口，使用所述全局交互注意层根据所述掩码特征图对每一窗口进行全局交互注意提取得到所述全局交互注意结果。

具体的，所述第一多交互归一层对输入的编码特征进行归一规范化得到规范化的特征图

具体的，所述多交互模块(MIM)的结构如图3所示，多交互模块的公式表示如下所示：

其中，D为任意一个窗口，

进一步的，在所述全局交互注意层中获取每一窗口的位置信息，根据位置信息找到掩码特征图中的对应位置得到与每一窗口对应的子掩码特征图，使用子掩码特征图与对应窗口进行掩码叠加得到所述阴影图像中的所有阴影块和非阴影块，阴影图像的阴影块部分为所述全局交互注意结果。

具体的，由于所有窗口的大小是与所述掩码特征图的大小相等的，所以根据窗口的位置信息可以找到对应的子掩码特征图，所述掩码叠加为将子掩码特征图与对应的窗口进行叠加就可以知道该窗口对应的掩码是1还是0，从而得到该窗口是阴影块还是非阴影块。

具体的，所述掩码叠加的公式表示如下：

其中，⊙表示异或操作，

具体的，∑是一个行列矩阵，代表阴影块和非阴影块的异或关系，也就是若阴影块和非阴影块的关系相关为1，关系无关为0，所以使用σ来调节阴影块和非阴影块，避免关系为0。

在一些实施例中，所述解码模块与所述编码模块结构相同，不同点在于，所述编码模块采用下采样层，所述解码模块采用上采样层。

在一些实施例中，在“将所述解码结果输入到所述第二投影模块得到第二投影结果”步骤中，所述第二投影结果为所述阴影图像中阴影部分的补图。

具体的，所述第二投影模块所使用的线性投影函数与所述第一投影模块相同。

在一些实施例中，本方案采用L1损失来约束像素级的一致性，具体公式如下：

其中，

在一些具体实施例中，所述去除图像阴影模型采用端到端的构建方法和训练方法。

具体的，本方案采用AdamW优化器对模型进行训练，动量为(0.9,0.999)，权重为0.02，初始学习率为2e-4，然后逐渐用余弦退火法降低到1e-6，并设定σ＝0.2来训练我们的算法模型。

在一些实施例中，所述去除图像阴影模型基于视网膜皮层理论来进行阴影的去除，不同于常规模型，常规模型将阴影图像I

I

其中，I

视网膜皮层理论表明图像I可以被分解为光照度L和反射率R，所以将无阴影图像定义为I

I

其中，Is表示阴影图像，Im表示阴影图像的阴影掩码，Ls表示阴影图像中阴影区域的光照，Lns表示阴影图像中非阴影区域的光照，Lsf表示无阴影图像的光照。

具体的，由于阴影区域和非阴影区域的光照退化是不同的，而I

具体的，由于阴影区域和非阴影区域都捕获了相同的R，所以导致两个区域之间具有很强的全局关联性，但这种特征在现有的方法中被普遍忽视，限制了它们在去除阴影任务中的有效性。

在一些实施例中，在获取包括阴影块和非阴影块的阴影图像后，基于视网膜皮层理论根据上下文信息来消除阴影快的阴影。

示例性的，图4是一张阴影图像，图5是使用本方案进行去除阴影后的图像，可见本方案的方法可以有效去除阴影，并解决阴影痕迹残留。

综上所述，构建得到一个去除图像阴影模型，所述去除图像阴影模型的结构如图6所示。

实施例二

一种去除图像阴影的方法，包括：

获取一阴影图像，并获取所述阴影图像的阴影掩码，将所述阴影图像和所述阴影掩码输入到构建好的去除阴影模型中，第一投影模块根据所述阴影图像和所述阴影掩码得到第一投影结果，将所述第一投影结果输入到编码模块中得到编码特征；

将所述编码特征与所述掩码特征图输入到多交互模块中得到多交互结果，所述多交互结果是进行了全局上下文关联的阴影图像的阴影部分，将所述阴影掩码进行最大池化得到与编码特征同空间维度的掩码特征图；

解码模块对所述多交互结果进行解码得到解码结果，将所述解码结果输入到第二投影模块得到第二投影结果，将所述第二投影结果与所述阴影图像在整合模块中进行相加得到去阴影图像。

实施例二

基于相同的构思，参考7，本申请还提出了一种去除图像阴影模型的构建装置，包括：

构建模块：构建去除图像阴影模型，所述去除图像阴影模型由第一投影模块、编码模块、多交互模块、解码模块、第二投影模块、整合模块组成；

编码模块：获取至少一阴影图像作为训练样本，获取每一阴影图像对应的阴影掩码，将所述阴影图像和所述阴影掩码输入到所述第一投影模块得到第一投影结果，将所述第一投影结果输入到编码模块中得到编码特征；

交互模块：将所述编码特征与所述掩码特征图输入到所述多交互模块中得到多交互结果，所述多交互结果是进行了全局上下文关联的阴影图像的阴影部分，将所述阴影掩码进行最大池化得到与编码特征同空间维度的掩码特征图；

解码模块：所述解码模块对所述多交互结果进行解码得到解码结果，将所述解码结果输入到所述第二投影模块得到第二投影结果，将所述第二投影结果与所述阴影图像在所述整合模块中进行相加得到去阴影图像。

实施例三

本实施例还提供了一种电子装置，参考8，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

具体地，上述处理器402可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecificIntegratedCircuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(HardDiskDrive，简称为HDD)、软盘驱动器、固态驱动器(SolidStateDrive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(Non-Volatile)存储器。在特定实施例中，存储器404包括只读存储器(Read-OnlyMemory，简称为ROM)和随机存取存储器(RandomAccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-OnlyMemory，简称为PROM)、可擦除PROM(ErasableProgrammableRead-OnlyMemory，简称为EPROM)、电可擦除PROM(ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM)、电可改写ROM(ElectricallyAlterableRead-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(StaticRandom-AccessMemory，简称为SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器404(FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM)、同步动态随机存取内存(SynchronousDynamicRandom-AccessMemory，简称SDRAM)等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种去除图像阴影模型的构建方法。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是阴影图像、阴影图像的阴影掩码等，输出的信息可以是去阴影图像等。

可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：

S101、构建去除图像阴影模型，所述去除图像阴影模型由第一投影模块、编码模块、多交互模块、解码模块、第二投影模块、整合模块组成；

S102、获取至少一阴影图像作为训练样本，获取每一阴影图像对应的阴影掩码，将所述阴影图像和所述阴影掩码输入到所述第一投影模块得到第一投影结果，将所述第一投影结果输入到编码模块中得到编码特征；

S103、将所述编码特征与所述掩码特征图输入到所述多交互模块中得到多交互结果，所述多交互结果是进行了全局上下文关联的阴影图像的阴影部分，将所述阴影掩码进行最大池化得到与编码特征同空间维度的掩码特征图；

S104、所述解码模块对所述多交互结果进行解码得到解码结果，将所述解码结果输入到所述第二投影模块得到第二投影结果，将所述第二投影结果与所述阴影图像在所述整合模块中进行相加得到去阴影图像。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如8中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。