一种去拖影方法、去拖影装置及电子设备

技术领域

本申请属于图像处理技术领域，尤其涉及一种去拖影方法、去拖影装置、电子设备及计算机可读存储介质。

背景技术

拖影，是指在光线过暗的环境中，由于摄像头的感光能力较差，成像时运动物体的运动轨迹无法及时收敛，导致图像中在运动物体后形成重影(虚影)的现象。在安防监控领域，拖影会加大对监控画面的目标识别难度，影响到安防的有效性及实时性。

当前，为保障图像质量，已提出了一些去拖影方案，例如基于运动跟踪的去拖影方案等。然而，这些去拖影方案并未能对真实场景予以充分考虑，容易在去拖影时损伤到原图像的背景，导致去拖影后的图像与原图像有较大差异。

发明内容

本申请提供了一种去拖影方法、去拖影装置、电子设备及计算机可读存储介质，可减少去拖影时对原图像背景的损伤，避免去拖影后的图像与原图像的差异过大。

第一方面，本申请提供了一种去拖影方法，包括：

通过拖影检测模型确定待处理图像中的拖影区域；

根据参考图像，确定各个拖影子区域内的目标拖影像素点，其中，参考图像与待处理图像来自同一视频流，拖影子区域通过对拖影区域划分得到，且拖影子区域的数量为两个以上；

根据各个拖影子区域内的目标拖影像素点的数量，筛选得到目标拖影子区域；

将待处理图像中的各个目标拖影子区域分别替换为参考图像的对应区域，得到第一目标图像。

第二方面，本申请提供了一种去拖影装置，包括：

第一确定模块，用于通过拖影检测模型确定待处理图像中的拖影区域；

第二确定模块，用于根据参考图像，确定各个拖影子区域内的目标拖影像素点，其中，参考图像与待处理图像来自同一视频流，拖影子区域通过对拖影区域划分得到，且拖影子区域的数量为两个以上；

筛选模块，用于根据各个拖影子区域内的目标拖影像素点的数量，筛选得到目标拖影子区域；

替换模块，用于将待处理图像中的各个目标拖影子区域分别替换为参考图像的对应区域，得到第一目标图像。

第三方面，本申请提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

本申请与现有技术相比存在的有益效果是：本申请中，针对存在拖影的待处理图像，电子设备可先通过拖影检测模型确定该待处理图像中的拖影区域。可以理解，该拖影区域对去拖影的范围给出了初步的限定。随后，电子设备会根据参考图像，确定各个拖影子区域内的目标拖影像素点，其中，参考图像与待处理图像来自同一视频流，拖影子区域通过对拖影区域划分得到，且拖影子区域的数量为两个以上。接着，电子设备可根据各个拖影子区域内的目标拖影像素点的数量，筛选得到目标拖影子区域。可以理解，该目标拖影子区域对去拖影的范围给出了最终的限定。最后，电子设备可将待处理图像中的各个目标拖影子区域分别替换为参考图像的对应区域，在替换完成后，即得到第一目标图像。上述过程中，一方面，本申请未直接对拖影区域这个整体进行去拖影处理，而是会从中进一步筛选出确实有去拖影必要的目标拖影子区域，仅对目标拖影子区域进行去拖影处理，保障去拖影后所得的第一目标图像图片不会呈现块状现象；另一方面，考虑到人眼观感上的适配性及一致性，在进行去拖影处理时，对真实场景予以了充分考虑，具体为将目标拖影子区域替换为参考图像的对应区域。综上，本申请方案可在保障去拖影效果的前提下，减少去拖影时对原图像背景的损伤，避免去拖影后的图像与原图像的差异过大。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的去拖影方法的实现流程示意图；

图2是本申请实施例提供的基于参考图像对待处理图像进行去拖影处理后所得的第一目标图像的示例图；

图3是本申请实施例提供的以去拖影-去虚化-去噪声的顺序对待处理图像进行处理时，数据流向的示例图；

图4是本申请实施例提供的拖影等级的量化示例图；

图5是本申请实施例提供的去拖影装置的结构框图；

图6是本申请实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

当前，已有基于运动跟踪或运动分割的去拖影方案。由于真实场景下的背景较为复杂，这给现有的去拖影方案带来了较多干扰项，例如摇动的树叶、流动的河流和/或闪烁的灯光等，致使现有的去拖影方案的鲁棒性降低，导致难以得到准确的拖影区域。在此基础上，现有的去拖影方案通常是对检测到的拖影区域采用直接删除的方式实现去拖影，这会使原图像的背景受到去拖影的损伤，导致去拖影后的图像与原图像有较大差异。基于此，本申请实施例提供了一种去拖影方法、去拖影装置、电子设备及计算机可读存储介质，可减少去拖影时对原图像背景的损伤，避免去拖影后的图像与原图像的差异过大。为了说明本申请所提出的技术方案，下面通过具体实施例来进行说明。

本申请实施例所提供的去拖影方法应用于具备图像处理功能的电子设备。仅作为示例，该电子设备可以是个人电脑(personal computer，PC)、智能手机、平板电脑、监控摄像机或服务器等，此处不作限定。请参阅图1，该去拖影方法的实现流程详述如下：

步骤101，通过拖影检测模型确定待处理图像中的拖影区域。

电子设备可将接收到的视频流中的非首帧图像确定为待处理图像。可以理解，电子设备在接收到视频流中的一帧图像时，若该图像不为该视频流的首帧图像，则可认为该图像有一定可能存在拖影，该图像为待处理图像。

考虑到拖影往往发生在光线过暗的环境中，因而为节约处理资源，减少不必要的拖影检测操作，在一些示例中，电子设备可将接收到的视频流中，拍摄时间处于预设的夜晚时间段内的非首帧图像确定为待处理图像。可以理解，电子设备在接收到视频流中非首帧的一帧图像时，还可获取该图像的拍摄时间，并检测该拍摄时间是否处于预设的夜晚时间段内；若该拍摄时间处于该夜晚时间段内，则可认为该图像有较大可能存在拖影，该图像可被确定为待处理图像。或者，在另一些示例中，电子设备也可将接收到的视频流中，图像亮度低于预设的亮度阈值的非首帧图像确定为待处理图像。可以理解，电子设备在接收到视频流中非首帧的一帧图像时，可对该图像的图像亮度进行检测；若检测结果指示该图像的图像亮度低于预设的亮度阈值，则可认为拍摄该图像时的光线较暗，该图像有较大可能存在拖影，该图像可被确定为待处理图像。

在得到待处理图像后，电子设备可将该待处理图像输入至拖影检测模型，其中，该拖影检测模型的输出为：输入的待处理图像的拖影区域检测框。可以理解，该拖影区域检测框在待处理图像中所包围的区域即为待处理图像中的拖影区域。为便于区分，可将拖影区域内的像素点称作拖影像素点；这些拖影像素点为有较大可能为被拖影现象所影响到的像素点。

仅作为示例，该拖影区域检测框为矩形。当然，该拖影检测区域也可表现为其它形状，此处不作限定。

仅作为示例，具体可通过包含卷积层、池化层及全连接层且采用一阶段的卷积神经网络(Convolutional Neural Networks，CNN)构成该拖影检测模型。在安防监控领域的实际应用场景中，该卷积神经网络的层数不超过24层，其原因为：在卷积神经网络的层数达到24层时，已经能够获得较好的网络表现；即使网络再加深，也难以再使网络表现得到提升，且还会严重增加训练时间及检测时间。当然，也可通过其它神经网络构成该拖影检测模型，此处不作限定。

可以理解，在将拖影检测模型投入应用之前，应预先通过对应的训练集对该拖影检测模型进行训练；也即，本实施例中，所使用的拖影检测模型具体为预先已训练的模型。

当然，智能设备也可通过其它方式确定拖影区域，该其它方式包括但不限于：帧差法及运动分割法等，此处不作限定。

步骤102，根据参考图像，确定各个拖影子区域内的目标拖影像素点。

电子设备可提前确定出参考图像。其中，该参考图像与待处理图像来自同一视频流，且该参考图像中不存在拖影(也即参考图像中的物体均尽量保持静止状态)。通过参考图像与待处理图像的比对，电子设备可以从拖影区域的拖影像素点中，确定出目标拖影像素点，该目标拖影像素点即为最终确定的被拖影现象所影响到的像素点。

电子设备可对待处理图像的拖影区域进行划分，得到两个以上的不重合的拖影子区域。其中，不同拖影子区域的形状可以相同，也可以不同，此处不作限定；以及，不同拖影子区域的面积可以相同，也可以不同，此处不作限定。为了提升后续的去拖影效果，可将拖影子区域的面积设为一较小值，且控制在一定范围内。仅作为示例，可设定拖影子区域的面积不超过预设的面积阈值。结合划分所得的待处理图像中的拖影子区域，以及待处理图像中的目标拖影像素点，电子设备可确定出各个拖影子区域内的目标拖影像素点。

步骤103，根据各个拖影子区域内的目标拖影像素点的数量，筛选得到目标拖影子区域。

针对任一给定的拖影子区域来说，该拖影子区域内的目标拖影像素点的数量越多，该拖影子区域的拖影程度越严重；反之，该拖影子区域内的目标拖影像素点的数量越少，该拖影子区域的拖影程度越轻微。也即，拖影子区域内的目标拖影像素点的数量一定程度的表达了该拖影子区域的拖影程度。基于此，电子设备可根据各个拖影子区域内的目标拖影像素点的数量，筛选出拖影程度较严重的拖影子区域。为便于区分，可将该类拖影子区域记作目标拖影子区域。

步骤104，将待处理图像中的各个目标拖影子区域分别替换为参考图像的对应区域，得到第一目标图像。

针对待处理图像的拖影区域而言，电子设备可保留其中的非目标拖影子区域，仅对目标拖影子区域进行去拖影处理。可以理解，由于目标拖影子区域的拖影程度较严重，因而电子设备有必要对目标拖影子区域进行去拖影处理；而非目标拖影子区域的拖影程度较轻微，如果电子设备也对非目标拖影子区域进行去拖影处理，就会导致去拖影处理的覆盖范围过大，使得处理后的图像中拖影区域所对应的部分呈现明显的块状现象，画面效果不够真实及自然。

具体地，由于待处理图像是视频流中的一帧图像，为保障用户观看视频流时去除拖影后的图像在人眼观感上的适配性及一致性，电子设备对目标拖影子区域所进行的去拖影处理可具体为：将待处理图像中的各个目标拖影子区域分别替换为参考图像的对应区域。可以理解，针对任一目标拖影子区域来说，该目标拖影子区域的边界坐标对于电子设备来说是已知的，因而电子设备可以根据该目标拖影子区域的边界坐标在参考图像中找到与该目标拖影子区域的对应区域，并直接采用该对应区域替换掉待处理图像中的该目标拖影子区域。可以理解，目标拖影子区域及其对应区域的坐标信息(位置信息)完全一致，只是该目标拖影子区域来源于待处理图像，该对应区域来源于参考图像。

在对待处理图像中所有的目标拖影子区域均进行了去拖影处理后，即可得到去拖影的图像，也即第一目标图像。该第一目标图像可被输出至电子设备的显示屏，供用户查阅。

仅作为示例，请参阅图2，图2给出了基于参考图像对待处理图像进行去拖影处理后所得的第一目标图像的示例。待处理图像的拖影区域被划分为A1、A2、A3及A4这四个拖影子区域。其中，A3及A4被确定为目标拖影子区域。通过去拖影处理所得的第一目标图像中，A3被替换为参考图像中的对应区域a3，A4被替换为参考图像中的对应区域a4。需要注意的是，图2中，参考图像以白色表示，待处理图像以灰色表示，第一目标图像中的灰色部分表示来源于待处理图像，白色部分表示来源于参考图像。

在一些实施例中，为避免参考图像的误确定，保障所得的参考图像能够表示实际的静态场景，电子设备具体可通过以下步骤确定参考图像：

A1、在视频流中，获取连续多帧图像。

在对实时性的要求较高的情况下(例如需要实时播放视频流时)，本步骤所得的连续多帧图像在视频流中的时序应在待处理图像之前，才可在使得电子设备能够在接收到待处理图像的第一时间就立即开始对该待处理图像的拖影检测及去除操作。反之，在对实时性的要求较低的情况下(例如离线播放视频流时)，可无需对该连续多帧图像与待处理图像在视频流中的时序作出限定。

为进一步保障人眼观感上的一致性，以及，为帮助后续能够准确确定出拖影子区域内的目标拖影像素点，电子设备具体可在视频流中，获取在待处理图像之前的连续多帧图像，且该连续多帧图像的首帧图像与该待处理图像的间隔时长在预设的间隔时长阈值之内。

A2、在连续多帧图像中，检测相邻图像的帧间差异。

可以理解，连续多帧图像中，第1帧图像与第2帧图像是相邻图像、第2帧图像与第3帧图像是相邻图像，以此类推，记连续多帧图像中的图像帧数为N，则共有N-1对相邻图像。针对每对相邻图像，电子设备均可检测其帧间差异，也即，可检测第1帧图像与第2帧图像的帧间差异、第2帧图像与第3帧图像的帧间差异、……、第N-1帧图像与第N帧图像的帧间差异。具体地，本步骤的帧间差异指的是：像素值差异，也即灰度差的绝对值。

A3、若所有相邻图像的帧间差异均满足预设的差异条件，则将连续多帧图像中的任一帧图像确定为参考图像。

电子设备可设定第一像素值差异阈值为t1，像素数阈值为q。针对任一对相邻图像，根据其帧间差异及第一像素值差异阈值t1，可查找出存在明显差异的像素点，也即帧间差异超过该第一像素值差异阈值t1的像素点；对这些像素点进行膨胀腐蚀后，可得到最终的连通域；如果该连通域内的像素点数量x超过像素数阈值q，则该连通域为一个运动目标，基于此可确定该对相邻图像的帧间差异不满足差异条件，也即该对相邻图像出现了明显的画面变化。仅作为示例，该第一像素值差异阈值t1可以为0。

如果所有的相邻图像的帧间差异均满足差异条件，则可认为该连续多帧图像基本相同，也即对应的场景近似为静止场景。这种情况下，可将连续多帧图像中的任一帧图像确定为参考图像。

在一些实施例中，为快速确定出拖影子区域内的目标拖影像素点，步骤102可具体包括：

B1、根据参考图像及待处理图像的帧间差异，生成帧差图像。

电子设备可计算参考图像与待处理图像的帧间差异，该帧间差异包括：每个像素点的像素值差异；根据该帧间差异，电子设备可生成对应的帧差图像。

仅作为示例，参考图像中的(x,y)像素点的像素值为pixel1，待处理图像中的(x,y)像素点的像素值为pixel2，则帧差图像中的(x,y)像素点的像素值为|pixel1-pixel2|。

B2、对帧差图像进行二值化，得到二值化图像。

基于预设的第二像素值差异阈值t2，电子设备可对帧差图像进行二值化。可以理解，对于像素值大于或等于该第二像素值差异阈值t2的像素点，其可被二值化为第一像素值(255)；对于像素值小于该第二像素值差异阈值t2的像素点，其可被二值化为第二像素值(0)。

B3、将各个拖影子区域内与二值化图像中的目标二值化像素点相对应的像素点确定为目标拖影像素点，目标二值化像素点为：像素值为预设像素值的像素点。

其中，预设像素值指的是第一像素值(255)。电子设备可将二值化图像中，像素值为预设像素值的像素点确定为目标二值化像素点。可以理解，待处理图像中，与这些目标二值化像素点所对应的像素点即为与参考图像相差较大的像素点。然而，并非所有与参考图像相差较大的像素点均为拖影所引起的，实际上，拖影子区域之外的区域可被认为是背景区域，电子设备在拖影的检测及去除过程中，对这些区域并不感兴趣。基于此，针对任一拖影子区域，电子设备可将该拖影子区域内与目标二值化像素点相对应的像素点确定为目标拖影像素点。

在一些实施例中，为实现对目标拖影子区域的准确筛选，步骤103可以包括：

C1、根据各个拖影子区域内的目标拖影像素点的数量，分别确定各个拖影子区域的拖影密度。

在一种应用场景中，划分所得的各个拖影子区域的面积均相等。这种应用场景下，由于各个拖影子区域的面积均相等，因而拖影密度只与拖影子区域内的目标拖影像素点的数量相关，具体为：拖影子区域内的目标拖影像素点的数量与拖影子区域的拖影密度成正比例。为简化操作，可直接认为目标拖影像素点的数量等价于拖影密度；也即，可直接以拖影子区域内的目标拖影像素点的数量表示该拖影子区域的拖影密度。

在另一种应用场景中，划分所得的所有拖影子区域中存在面积不同的两个以上拖影子区域。这种应用场景下，拖影密度不仅与拖影子区域内的目标拖影像素点的数量相关，而且与拖影子区域的面积相关。其中，拖影子区域的面积可通过拖影子区域的像素点总数量进行表示，则拖影密度的计算公式可如下所示：

其中，p用于表示拖影子区域的拖影密度；q用于表示拖影子区域内的目标拖影像素点的数量；area用于表示拖影子区域的面积，也即拖影子区域的像素点总数量。

C2、将拖影密度大于预设的密度阈值的拖影子区域确定为目标拖影子区域。

电子设备可将各个拖影子区域的拖影密度与预设的密度阈值进行比对。针对任一拖影子区域，若该拖影子区域的拖影密度大于预设的密度阈值，则认为目标拖影像素点在该拖影子区域的占比较大，该拖影子区域可被确定为目标拖影子区域。

需要注意的是，在步骤C1所提出的第一种应用场景中，密度阈值应为大于1的正整数；在步骤C1所提出的第二种应用场景中，密度阈值应为大于0且小于1的小数。

在一些实施例中，对安防监控领域的视频流进行分析后发现，针对图像中的运动物体来说，除了拖影问题之外，还往往伴随有虚化问题。也即，暗光场景下，摄像头对运动物体进行拍摄所得的图像中，可能同时存在拖影及虚化。其中，该虚化问题通常表现为：运动物体的部分区域形状扭曲甚至消失。基于此，为进一步提升视频流的质量，除了去拖影处理之外，电子设备还可执行去虚化处理，则本申请实施例所提出的去拖影方法还可包括：

D1、通过虚化检测模型确定待处理图像中的虚化区域。

在得到待处理图像后，电子设备可将该待处理图像输入至虚化检测模型，其中，该虚化检测模型的输出为：输入的待处理图像中的虚化区域检测框。可以理解，该虚化区域检测框所包围的区域即为待处理图像中的虚化区域。

仅作为示例，该虚化区域检测框为矩形。当然，该虚化检测区域也可表现为其它形状，此处不作限定。

仅作为示例，具体可通过包含卷积层、池化层及全连接层且采用一阶段的卷积神经网络(Convolutional Neural Networks，CNN)构成该虚化检测模型。在安防监控领域的实际应用场景中，该卷积神经网络的层数不超过24层，其原因为：在卷积神经网络的层数达到24层时，已经能够获得较好的网络表现；即使网络再加深，也难以再获得更优的网络表现，且还会严重增加训练时间及检测时间。当然，也可通过其它神经网络构成该虚化检测模型，此处不作限定。

可以理解，步骤D1可以与步骤101并行执行，也可以在步骤101之前或之后执行，本申请实施例不对该步骤D1的执行顺序进行限定。

D2、根据虚化区域在待处理图像中的位置，通过去虚化模型对第一目标图像进行去虚化处理，得到第二目标图像。

通过步骤D1，已确定了待处理图像中存在虚化问题的区域，也即虚化区域。电子设备可将该虚化区域的位置参数及第一目标图像作为去虚化模型的输入，由该去虚化模型对第一目标图像进行针对性的去虚化处理，由此得到该去虚化模型所输出的去虚化图像，也即第二目标图像。该第二目标图像可被输出至电子设备的显示屏，供用户查阅。

在一些示例中，去虚化模型所采用的网络结构可以是生成对抗网络(generativeadversarial network，GAN)，也可以是其它网络，此处不作限定。

可以理解，在将虚化检测模型及去虚化模型投入应用之前，应预先通过各自对应的训练集对该虚化检测模型及该去虚化模型进行训练；也即，本实施例中，所使用的虚化检测模型及去虚化模型具体为预先已训练的模型。

在一些实施例中，对安防监控领域的视频流进行分析后发现，针对图像中的运动物体来说，除了拖影问题之外，还伴随有噪声问题。也即，暗光场景下，摄像头对运动物体进行拍摄所得的图像中，可能同时存在拖影及噪声。其中，该噪声问题通常出现在图像中运动物体周围以及运动物体上。基于此，为进一步提升视频流的质量，除了去拖影处理之外，电子设备还可执行去噪声处理，则本申请实施例所提出的去拖影方法还可包括：

E1、通过噪声检测模型确定待处理图像中的噪声区域；

在得到待处理图像后，电子设备可将该待处理图像输入至噪声检测模型，其中，该噪声检测模型的输出为：输入的待处理图像中的噪声区域检测框。可以理解，该噪声区域检测框所包围的区域即为待处理图像中的噪声区域。

仅作为示例，该噪声区域检测框为矩形。当然，该噪声检测区域也可表现为其它形状，此处不作限定。

仅作为示例，具体可通过包含卷积层、池化层及全连接层且采用一阶段的卷积神经网络(Convolutional Neural Networks，CNN)构成该噪声检测模型。在安防监控领域的实际应用场景中，该卷积神经网络的层数不超过24层，其原因为：在卷积神经网络的层数达到24层时，已经能够获得较好的网络表现；即使网络再加深，也难以再获得更优的网络表现，且还会严重增加训练时间及检测时间。当然，也可通过其它神经网络构成该噪声检测模型，此处不作限定。

可以理解，步骤E1可以与步骤101并行执行，也可以在步骤101之前或之后执行，本申请实施例不对该步骤E1的执行顺序进行限定。

E2、根据噪声区域在待处理图像中的位置，通过去噪声模型对第一目标图像进行去噪声处理，得到第三目标图像。

通过步骤E1，已确定了待处理图像中存在噪声问题的区域，也即噪声区域。电子设备可将该噪声区域的位置参数及第一目标图像作为去噪声模型的输入，由该去噪声模型对第一目标图像进行针对性的去噪声处理，由此得到该去噪声模型所输出的去噪声图像，也即第三目标图像。该第三目标图像可被输出至电子设备的显示屏，供用户查阅。

在一些示例中，与去虚化模型类似，去噪声模型所采用的网络结构可以是生成对抗网络，也可以是其它网络，此处不作限定。

可以理解，在将噪声检测模型及去噪声模型投入应用之前，应预先通过各自对应的训练集对该噪声检测模型及该去噪声模型进行训练；也即，本实施例中，所使用的噪声检测模型及去噪声模型具体为预先已训练的模型。

在一些实施例中，考虑到安防监控领域的视频流中，拖影问题、虚化问题及噪声问题往往伴随出现，因而为更好地提升视频流的质量，可对去拖影的过程、去虚化的过程及去噪声的过程进行结合，串行地对待处理图像依次执行去拖影处理、去虚化处理及去噪声处理。考虑到拖影问题为主要问题，虚化问题及噪声问题为伴随拖影问题出现的次要问题，因而可设定执行顺序为：去拖影处理最先，去虚化处理及去噪声处理的先后顺序不作限定，则本申请实施例所提出的去拖影方法还可包括：

F1、通过虚化检测模型确定待处理图像中的虚化区域。

F2、通过噪声检测模型确定待处理图像中的噪声区域。

可以理解，步骤F1及F2可以与步骤101并行执行，也可以在步骤101之前或之后执行，本申请实施例不对该步骤F1及F2的执行顺序进行限定。

F3、根据虚化区域在待处理图像中的位置，通过去虚化模型对第一目标图像进行去虚化处理，得到第一中间图像，再根据噪声区域在待处理图像中的位置，通过去噪声模型对第一中间图像进行去噪声处理，得到第四目标图像。该第四目标图像可被输出至电子设备的显示屏，供用户查阅。

或者，根据噪声区域在待处理图像中的位置，通过去噪声模型对第一目标图像进行去噪声处理，得到第二中间图像，再根据虚化区域在待处理图像中的位置，通过去虚化模型对第二中间图像进行去虚化处理，得到第五目标图像。该第五目标图像可被输出至电子设备的显示屏，供用户查阅。

仅作为示例，请参阅图3，图3给出了以去拖影-去虚化-去噪声的顺序对待处理图像进行处理时，数据流向的示例。

可以理解，构成拖影检测模型的神经网络的网络结构、构成虚化检测模型的神经网络的网络结构及构成噪声检测模型的神经网络的网络结构可以相同，也可以不同，此处不作限定。

在一种应用场景下，可以是每个检测任务均生成对应的检测模型；也即，拖影检测模型、虚化检测模型及噪声检测模型各自独立。此种应用场景下，即便是构成拖影检测模型的神经网络的网络结构、构成虚化检测模型的神经网络的网络结构及构成噪声检测模型的神经网络的网络结构相同，该拖影检测模型、该虚化检测模型及该噪声检测模型的具体模型参数也仍存在区别。

可以理解，针对这种应用场景，应将训练数据集分为三类，以分别对拖影检测模型、虚化检测模型及噪声检测模型进行训练。

在另一种应用场景下，也可以是生成一个多任务的检测模型，该多任务的检测模型能够完成拖影检测任务、虚化检测任务及噪声检测任务；也即，拖影检测模型、虚化检测模型及噪声检测模型实际集成于同一检测模型中。此种应用场景下，该检测模型的具体模型参数唯一，但其可以同时输出各任务的检测结果。

可以理解，针对这种应用场景，训练数据集可以合并(通过标签标注训练数据所对应的任务)，可直接通过已合并的训练数据集对多任务的检测模型进行训练。

在一些实施例中，拖影检测模型除了可输出用于确定拖影区域的拖影区域检测框之外，还可输出待处理图像的拖影等级。类似地，在电子设备引入了去虚化处理的情况下，虚化检测模型除了可输出用于确定虚化区域的虚化区域检测框之外，还可输出待处理图像的虚化等级。类似地，在电子设备引入了去噪声处理的情况下，噪声检测模型除了可输出用于确定噪声区域的噪声区域检测框之外，还可输出待处理图像的噪声等级。下面对拖影等级、虚化等级及噪声等级分别进行释义：

针对拖影等级：

本申请实施例中，以运动物体的宽度为标尺量化运动物体在图像中的拖影长度，该拖影长度即表示了拖影等级。其中，运动物体在图像中的拖影长度，具体指的是：拖影区域的宽度。记图像中运动物体的宽度为W0，假定该图像中的拖影区域的宽度为W1，则该图像的拖影等级可通过以下公式计算得到：

其中，C用于拖影等级；符号

考虑到在安防监控领域，拖影等级为5级时，拖影程度已经十分严重，因而本申请实施例可限定拖影等级的上限为5级。也即，当图像中的拖影区域的宽度是运动物体的宽度的五倍以上时，统一将该图像的拖影等级设定为5级。

请参阅图4，图4给出了拖影等级的量化示例图，其中，小黑点为目标拖影像素点，小黑方块为背景物体。图4中，拖影区域的宽度是运动物体的宽度的三倍多，因而图4所示图像的拖影等级为3级。

可以理解，本申请实施例所提出的拖影等级综合考虑了拖影长度与运动物体宽度的相关性和不同距离拖影给人的观感，比绝对数据量化的方法更贴近人眼感受，能够更方便、直观且可靠的表示图像的拖影程度。

针对虚化等级：

本申请实施例中，可基于下表1的划分方法将图像中运动物体的虚化划分为5个等级：

表1

针对噪声等级：

本申请实施例中，可基于下表2的划分方法将图像中与运动物体相关的噪声划分为5个等级：

表2

可以理解，在对拖影检测模型进行训练之前，需要先采集真实的暗光场景下的图像数据集，并以人工或其它方式，标注出图像数据集中的各个图像的拖影区域及拖影等级，以此构建拖影检测模型的对应训练集。类似地，虚化检测模型的对应训练集及噪声检测模型的对应训练集也可参照上述过程构建，只是标注的内容有所不同，此处不再赘述。通过各检测模型所对应的训练集，完成对各检测模型的训练，使得拖影检测模型可输出待处理图像的拖影等级，虚化检测模型可输出待处理图像的虚化等级，噪声检测模型可输出待处理图像的噪声等级。

在电子设备不为视频流的采集设备(例如监控摄像机)的情况下，电子设备可将拖影检测模型所输出的待处理图像的拖影等级，虚化检测模型所输出的待处理图像的虚化等级和/或噪声检测模型所输出的待处理图像的噪声等级反馈给该采集设备。该采集设备能够根据接收到的(或自身确定的)拖影等级、虚化等级和/或噪声等级调节设备参数，使得后续所采集的视频流能够有更高的图像质量。

在一些实施例中，为帮助获得性能更佳且效果更好的检测模型(可以是拖影检测模型、虚化检测模型及噪声检测模型中的任一模型)，电子设备可对构成该检测模型的神经网络进行调整及优化，包括：

将神经网络最后的全连接层替换为全局池化层；也即，对最后的n个特征图的每个通道单独进行全局求平均，由此可得到一个n维向量P。

向量P连接softmax进行分类，得到P

将n个特征图的尺寸调整至输入的原图的尺寸。根据尺寸调整后的n个特征图及向量P，可得到原图的权重分布。基于该原图的权重分布进行可视化，可得到用于表示本次训练结果的热力图。

通过该热力图，用户可确定检测模型本次的训练效果：如果热力图显示标注的区域之外(也即背景区域)的权重较高，则可知检测模型本次错误的将原图的背景区域识别为了目标区域(也即拖影区域、虚化区域或噪声区域，该目标区域的类别根据检测模型而确定)，本次的训练效果不佳，该原图可被确定为负样本。

检测模型可基于已确定的负样本进行多次训练，以学习负样本的特征。

可以理解，通过上述过程，电子设备能够在对检测模型的训练过程中筛选出负样本，实现数据增广。以及，电子设备能够基于筛选出的负样本对待训练的检测模型进行重复多次训练，以提升最终所得的已训练的检测模型的准确度和召回率。

在一些实施例中，在拖影检测模型还输出有拖影等级的情况下，为能够尽可能准确的查找出受拖影影响较严重的目标拖影像素点，在通过步骤B1-B3确定目标拖影像素点之前，电子设备可考虑根据待处理图像的拖影等级来设定第二像素值差异阈值t2。具体地，该第二像素值差异阈值t2的设定策略可以为：与拖影等级负相关。

在一些示例中，对于拖影等级不高于预设等级的拖影区域，该第二像素值差异阈值t2可被设置为第一默认值；对于拖影等级高于预设等级的的拖影区域，该第二像素值差异阈值t2可被设置为第二默认值，且该第二默认值小于第一默认值，由此可让更多的目标拖影像素点暴露。

由上可见，本申请实施例中，一方面，未直接对拖影区域这个整体进行去拖影处理，而是会从中进一步筛选出确实有去拖影必要的目标拖影子区域，仅对目标拖影子区域进行去拖影处理，保障去拖影后所得的第一目标图像图片不会呈现块状现象；另一方面，考虑到人眼观感上的适配性及一致性，在进行去拖影处理时，对真实场景予以了充分考虑，具体为将目标拖影子区域替换为参考图像的对应区域。综上，本申请实施例可在保障去拖影效果的前提下，减少去拖影时对原图像背景的损伤，避免去拖影后的图像与原图像的差异过大。

对应于上文所提供的去拖影方法，本申请实施例还提供了一种去拖影装置。如图5所示，该去拖影装置5包括：

第一确定模块501，用于通过拖影检测模型确定待处理图像中的拖影区域；

第二确定模块502，用于根据参考图像，确定各个拖影子区域内的目标拖影像素点，其中，参考图像与待处理图像来自同一视频流，拖影子区域通过对拖影区域划分得到，且拖影子区域的数量为两个以上；

筛选模块503，用于根据各个拖影子区域内的目标拖影像素点的数量，筛选得到目标拖影子区域；

替换模块504，用于将待处理图像中的各个目标拖影子区域分别替换为参考图像的对应区域，得到第一目标图像。

在一些实施例中，第二确定模块502，包括：

帧差图像生成单元，用于根据参考图像及待处理图像的帧间差异，生成帧差图像；

二值化单元，用于对帧差图像进行二值化，得到二值化图像；

目标拖影像素点确定单元，用于将各个拖影子区域内与二值化图像中的目标二值化像素点相对应的像素点确定为目标拖影像素点，目标二值化像素点为：像素值为预设像素值的像素点。

在一些实施例中，筛选模块，包括：

拖影密度确定单元，用于根据各个拖影子区域内的目标拖影像素点的数量，分别确定各个拖影子区域的拖影密度；

目标拖影子区域确定单元，用于将拖影密度大于预设的密度阈值的拖影子区域确定为目标拖影子区域。

在一些实施例中，去拖影装置5还包括：

获取模块，用于在视频流中，获取连续多帧图像；

检测模块，用于在连续多帧图像中，检测相邻图像的帧间差异；

第三确定模块，用于若所有相邻图像的帧间差异均满足预设的差异条件，则将连续多帧图像中的任一帧图像确定为参考图像。

在一些实施例中，去拖影装置5还包括：

第四确定模块，用于通过虚化检测模型确定待处理图像中的虚化区域；

去虚化模块，用于根据虚化区域在待处理图像中的位置，通过去虚化模型对第一目标图像进行去虚化处理，得到第二目标图像。

在一些实施例中，去拖影装置5还包括：

第五确定模块，用于通过噪声检测模型确定待处理图像中的噪声区域；

去噪声模块，用于根据噪声区域在待处理图像中的位置，通过去噪声模型对第一目标图像进行去噪声处理，得到第三目标图像。

在一些实施例中，拖影检测模型还用于输出待处理图像的拖影等级，拖影等级用于描述待处理图像的拖影程度；去拖影装置5还包括：

反馈模块，用于将拖影等级向视频流的采集设备反馈，以使得采集设备根据拖影等级调节设备参数。

由上可见，本申请实施例中，一方面，未直接对拖影区域这个整体进行去拖影处理，而是会从中进一步筛选出确实有去拖影必要的目标拖影子区域，仅对目标拖影子区域进行去拖影处理，保障去拖影后所得的第一目标图像图片不会呈现块状现象；另一方面，考虑到人眼观感上的适配性及一致性，在进行去拖影处理时，对真实场景予以了充分考虑，具体为将目标拖影子区域替换为参考图像的对应区域。综上，本申请实施例可在保障去拖影效果的前提下，减少去拖影时对原图像背景的损伤，避免去拖影后的图像与原图像的差异过大。

对应于上文所提供的去拖影方法，本申请实施例还提供了一种电子设备。仅作为示例，该电子设备可以是个人电脑、智能手机、平板电脑、监控摄像机或服务器等类型的设备，此处不作限定。请参阅图6，本申请实施例中的电子设备6包括：存储器601，一个或多个处理器602(图6中仅示出一个)及存储在存储器601上并可在处理器上运行的计算机程序。其中：存储器601用于存储软件程序以及单元，处理器602通过运行存储在存储器601的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：

通过拖影检测模型确定待处理图像中的拖影区域；

根据参考图像，确定各个拖影子区域内的目标拖影像素点，其中，参考图像与待处理图像来自同一视频流，拖影子区域通过对拖影区域划分得到，且拖影子区域的数量为两个以上；

根据各个拖影子区域内的目标拖影像素点的数量，筛选得到目标拖影子区域；

将待处理图像中的各个目标拖影子区域分别替换为参考图像的对应区域，得到第一目标图像。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，根据参考图像，确定各个拖影子区域内的目标拖影像素点，包括：

根据参考图像及待处理图像的帧间差异，生成帧差图像；

对帧差图像进行二值化，得到二值化图像；

将各个拖影子区域内与二值化图像中的目标二值化像素点相对应的像素点确定为目标拖影像素点，目标二值化像素点为：像素值为预设像素值的像素点。

在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中，根据各个拖影子区域内的目标拖影像素点的数量，筛选得到目标拖影子区域，包括：

根据各个拖影子区域内的目标拖影像素点的数量，分别确定各个拖影子区域的拖影密度；

将拖影密度大于预设的密度阈值的拖影子区域确定为目标拖影子区域。

在上述第一种可能的实施方式作为基础而提供的第四种可能的实施方式中，参考图像通过以下步骤确定：

在视频流中，获取连续多帧图像；

在连续多帧图像中，检测相邻图像的帧间差异；

若所有相邻图像的帧间差异均满足预设的差异条件，则将连续多帧图像中的任一帧图像确定为参考图像。

在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：

通过虚化检测模型确定待处理图像中的虚化区域；

根据虚化区域在待处理图像中的位置，通过去虚化模型对第一目标图像进行去虚化处理，得到第二目标图像。

在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础而提供的第六种可能的实施方式中，处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：

通过噪声检测模型确定待处理图像中的噪声区域；

根据噪声区域在待处理图像中的位置，通过去噪声模型对第一目标图像进行去噪声处理，得到第三目标图像。

在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础而提供的第七种可能的实施方式中，拖影检测模型还用于输出待处理图像的拖影等级，拖影等级用于描述待处理图像的拖影程度；处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：

将拖影等级向视频流的采集设备反馈，以使得采集设备根据拖影等级调节设备参数。

应当理解，在本申请实施例中，所称处理器602可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器601可以包括只读存储器和随机存取存储器，并向处理器602提供指令和数据。存储器601的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器601还可以存储设备类别的信息。

由上可见，本申请实施例中，一方面，未直接对拖影区域这个整体进行去拖影处理，而是会从中进一步筛选出确实有去拖影必要的目标拖影子区域，仅对目标拖影子区域进行去拖影处理，保障去拖影后所得的第一目标图像图片不会呈现块状现象；另一方面，考虑到人眼观感上的适配性及一致性，在进行去拖影处理时，对真实场景予以了充分考虑，具体为将目标拖影子区域替换为参考图像的对应区域。综上，本申请实施例可在保障去拖影效果的前提下，减少去拖影时对原图像背景的损伤，避免去拖影后的图像与原图像的差异过大。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。