图像处理方法、图像处理装置、存储介质与电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及图像处理方法、图像处理装置、计算机可读存储介质与电子设备。

背景技术

长曝光是指维持镜头长时间曝光从而得到特殊效果的一种拍摄方法。一般的，长曝光图像可以拍出运动物体的运动轨迹效果，例如对夜景中的运动光源(如车灯、流星)进行长曝光拍摄能够得到连续光轨的效果(即流光图像)，对水流(如瀑布、河流)进行长曝光拍摄，能够得到具有水流奔腾动感的图像。

目前的长曝光拍摄一般适用于单反相机。在智能手机等电子设备上，由于相机镜头较小，在使用长曝光拍摄时，如果曝光时间不足，则拍出的运动主体可能存在鬼影(如车身的鬼影)，如果曝光时间过长，则可能导致图像过曝光，且长曝光过程中容易受到设备机身抖动的影响，造成图像模糊。

发明内容

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上实现模拟长曝光的图像拍摄效果。

根据本公开的第一方面，提供一种图像处理方法，包括：获取连续多帧图像；提取至少两帧图像的前景区域图像；根据各前景子区域在各所述前景区域图像中的最大像素值对各所述前景子区域进行融合，形成前景融合图像，所述前景子区域为所述前景区域图像的子区域；基于所述前景融合图像与至少一帧图像的背景区域图像，生成目标图像。

根据本公开的第二方面，提供一种图像处理方法，包括：在连续多帧图像中确定参考帧图像，并将除所述参考帧图像外的其他至少一帧图像确定为待融合图像；确定所述待融合图像的前景区域；从所述待融合图像中提取至少一个子区域；将所述待融合图像中的所述子区域分别融合至所述参考帧图像，其中，当所述子区域位于所述前景区域时，将所述子区域在所述待融合图像与所述参考帧图像中较大的像素值作为融合后所述子区域的像素值。

根据本公开的第三方面，提供一种图像处理装置，包括：图像获取模块，被配置为获取连续多帧图像；图像分割模块，被配置为提取至少两帧图像的前景区域图像；前景融合模块，被配置为根据各前景子区域在各所述前景区域图像中的最大像素值对各所述前景子区域进行融合，形成前景融合图像，所述前景子区域为所述前景区域图像的子区域；目标融合模块，被配置为基于所述前景融合图像与至少一帧图像的背景区域图像，生成目标图像。

根据本公开的第四方面，提供一种图像处理装置，包括：图像确定模块，被配置为在连续多帧图像中确定参考帧图像，并将除所述参考帧图像外的其他至少一帧图像确定为待融合图像；图像分割模块，被配置为前景区域确定所述待融合图像的前景区域；子区域提取模块，被配置为从所述待融合图像中提取至少一个子区域；子区域融合模块，被配置为将所述待融合图像中的所述子区域分别融合至所述参考帧图像，其中，当所述子区域位于所述前景区域时，将所述子区域在所述待融合图像与所述参考帧图像中较大的像素值作为融合后所述子区域的像素值。

根据本公开的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一或第二方面的图像处理方法及其可能的实现方式。

根据本公开的第六方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令来执行上述第一或第二方面的图像处理方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

提供了通过多帧图像融合实现模拟长曝光效果的技术方案。一方面，本方案适用于智能手机等电子设备，实际应用中采用普通曝光拍摄多帧图像即可，相较于采用长曝光拍摄的方式，能够避免由于曝光时间不合适所导致的鬼影、过曝光等问题，并且受设备机身抖动的影响较小，从而改善图像模糊问题。另一方面，本方案对前景区域图像采用最大像素值融合，相当于将运动光源或运动对象的实际图像进行了融合，能够保留清晰连续的运动轨迹，同时降低噪声的影响，从而提高最终输出的目标图像的质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

图1示出本示例性实施方式中一种电子设备的结构示意图；

图2示出本示例性实施方式中一种图像处理方法的流程步骤图；

图3示出本示例性实施方式中一种确定曝光条件的流程步骤图；

图4示出本示例性实施方式中一种提取前景区域图像的流程步骤图；

图5示出本示例性实施方式中一种提取前景区域图像的示意图；；

图6示出本示例性实施方式中一种确定子区域像素值的示意图；

图7示出本示例性实施方式中一种图像配准的流程步骤图；

图8示出本示例性实施方式中一种生成目标图像的流程步骤图；

图9示出本示例性实施方式中一种图像处理方法的流程架构图；

图10示出本示例性实施方式中另一种图像处理方法的流程架构图；

图11示出本示例性实施方式中另一种图像处理方法的流程步骤图；

图12示出本示例性实施方式中另一种图像处理方法的流程架构图；

图13示出本示例性实施方式中的连续多帧图像；

图14示出由图13的连续多帧图像融合得到的目标图像

图15示出本示例性实施方式中一种图像处理装置的结构示意图；

图16示出本示例性实施方式中另一种图像处理装置的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本公开的示例性实施方式首先提供一种图像处理方法，其应用场景包括但不限于：在夜景拍摄中，对运动光源)进行连续多帧拍摄，通过融合得到具有连续光轨效果的流光图像；对水流进行连续多帧拍摄，通过融合得到具有水流奔腾动感的瀑布或河流图像。

本公开的示例性实施方式还提供一种电子设备，用于执行本示例性实施方式的图像处理方法。该电子设备可以是具有拍摄功能的终端设备，如智能手机、平板电脑、可穿戴设备、无人机等，也可以是具备图像处理功能的计算设备，例如终端设备将拍摄的连续多帧图像发送至服务器，由服务器进行处理，并将得到的目标图像返回终端设备。一般的，电子设备包括处理器和存储器。存储器用于存储处理器的可执行指令，也可以存储应用数据，如图像数据、视频数据等；处理器配置为经由执行可执行指令来执行本示例性实施方式的图像处理方法。

下面以图1中的移动终端100为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图1中的构造也能够应用于固定类型的设备。

如图1所示，移动终端100具体可以包括：处理器110、内部存储器121、外部存储器接口122、USB(Universal Serial Bus，通用串行总线)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器171、受话器172、麦克风173、耳机接口174、传感器模块180、显示屏190、摄像模组191、指示器192、马达193、按键194以及SIM(Subscriber Identification Module，用户标识模块)卡接口195等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。

编码器可以对图像或视频数据进行编码(即压缩)，例如对拍摄的连续多帧图像进行编码，形成对应的码流数据，以减少数据传输所占的带宽；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据，例如对上述连续多帧图像的码流数据进行解码，得到完整的图像数据，便于执行本示例性实施方式的图像处理方法。移动终端100可以支持一种或多种编码器和解码器。这样，移动终端100可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(HighEfficiency Video Coding，高效率视频编码)等视频格式。

在一种实施方式中，处理器110可以包括一个或多个接口，通过不同的接口和移动终端100的其他部件形成连接。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括易失性存储器与非易失性存储器。处理器110通过运行存储在内部存储器121的指令，执行移动终端100的各种功能应用以及数据处理。

外部存储器接口122可以用于连接外部存储器，例如Micro SD卡，实现扩展移动终端100的存储能力。外部存储器通过外部存储器接口122与处理器110通信，实现数据存储功能，例如存储音频、视频等文件。

USB接口130是符合USB标准规范的接口，可以用于连接充电器为移动终端100充电，也可以连接耳机或其他电子设备。

充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为设备供电；电源管理模块141还可以监测电池的状态。

移动终端100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块150可以提供应用在移动终端100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在移动终端100上的包括WLAN(Wireless LocalArea Networks，无线局域网)(如Wi-Fi(Wireless Fidelity，无线保真)网络)、BT(Bluetooth，蓝牙)、GNSS(Global Navigation Satellite System，全球导航卫星系统)、FM(Frequency Modulation，调频)、NFC(Near Field Communication，近距离无线通信技术)、IR(Infrared，红外技术)等无线通信解决方案。

移动终端100可以通过GPU、显示屏190及AP等实现显示功能，显示用户界面。例如，当用户开启拍摄功能时，移动终端100可以在显示屏190中显示拍摄界面和预览图像等。

移动终端100可以通过ISP、摄像模组191、编码器、解码器、GPU、显示屏190及AP等实现拍摄功能。

移动终端100可以通过音频模块170、扬声器171、受话器172、麦克风173、耳机接口174及AP等实现音频功能。

传感器模块180可以包括深度传感器1801、压力传感器1802、陀螺仪传感器1803、气压传感器1804等，以实现相应的感应检测功能。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达193可以产生振动提示，也可以用于触摸振动反馈等。按键194包括开机键，音量键等。

移动终端100可以支持一个或多个SIM卡接口195，用于连接SIM卡，以实现通话与移动通信等功能。

下面结合图2对本示例性实施方式的图像处理方法进行说明，图2示出了图像处理方法的示例性流程，可以包括：

步骤S210，获取连续多帧图像；

步骤S220，提取至少两帧图像的前景区域图像；

步骤S230，根据各前景子区域在各前景区域图像中的最大像素值对各前景子区域进行融合，形成前景融合图像，所述前景子区域为前景区域图像的子区域；

步骤S240，基于前景融合图像与至少一帧图像的背景区域图像，生成目标图像。

基于图2的方法，提供了一种通过多帧图像融合实现模拟长曝光效果的技术方案。一方面，本方案适用于智能手机等电子设备，实际应用中采用普通曝光拍摄多帧图像即可，相较于采用长曝光拍摄的方式，能够避免由于曝光时间不合适所导致的鬼影、过曝光等问题，并且受设备机身抖动的影响较小，从而改善图像模糊问题。另一方面，本方案对前景区域图像采用最大像素值融合，相当于将运动光源或运动对象的实际图像进行了融合，能够保留清晰连续的运动轨迹，同时降低噪声的影响，从而提高最终输出的目标图像的质量。

下面对图2中的每个步骤进行具体说明。

步骤S210中，获取连续多帧图像。

其中，连续多帧图像可以是将镜头对准某一区域或对象，连续拍摄所得到的图像。该连续多帧图像所拍摄的区域基本一致，当然可能受到拍摄中机身抖动的影响，存在微小的偏移。

在一种实施方式中，步骤S210可以包括以下步骤：

根据环境光照参数确定曝光条件；

获取在上述曝光条件下连续拍摄的多帧图像。

其中，环境光照参数是表征环境光照强弱的参数，可以通过电子设备所配置的环境光传感器检测得到，也可以通过检测预览图像的亮度来确定，例如在拍摄时以预定的曝光时长(Exp_time)与感光度(ISO)采集一张预览图像，检测预览图像的亮度水平，以此估计环境光照水平，得到相应的环境光照参数。

一般的，环境光照参数值越大，说明环境光照越强，为了得到合适的曝光量，可以设置较低的曝光条件，如较短的曝光时长，较低的感光度等，从而防止过曝光、欠曝光等不良情况。举例来说，可以将环境光照参数划分为三个亮度区间，分别表示较暗、中等亮度和较亮的环境；每个亮度区间对应设置一个参考曝光时长，如较暗环境的参考曝光时长1.5s，中等亮度环境为1s，较亮环境为0.5s；在获取当前的环境光照参数后，根据其所处的亮度区间，确定对应的参考曝光时长。

在确定与环境光照参数相适应的曝光条件后，采用该曝光条件进行拍摄，得到连续多帧图像。

在一种实施方式中，参考图3所示，上述根据环境光照参数确定曝光条件，可以包括以下步骤：

步骤S310，根据环境光照参数确定对应的第一曝光时长；

步骤S320，获取最小感光度对应的第二曝光时长；

步骤S330，根据第一曝光时长与第二曝光时长中的最大值，以及最小感光度确定曝光条件。

其中，第一曝光时长可以是与环境光照参数相适应的曝光时长，例如上述参考曝光时长。系统中可以预先配置环境光照参数与曝光时长的对应关系，两者一般是正相关，如线性正相关、区间正相关等，由此可以将当前的环境光照参数映射为对应的第一曝光时长。

感光度实质上是感光元件的感光速度，最小感光度即最小感光速度，通常由相机本身的性能决定，例如智能手机上相机的最小感光度可以是50、100等。感光度与曝光时长是两个相关的参数，例如可以设置固定的曝光值(EV，如设置EV＝0)，则可以通过感光度计算对应的曝光时长，感光度越高，曝光时长越短。本示例性实施方式确定采用最小感光度作为实际拍摄中的感光度，则对应的曝光时长最长，为第二曝光时长。

系统可以预先配置感光度与曝光时长的对应关系，两者一般是负相关，对于不同的环境光照参数，可以配置不同的对应关系表，例如随着环境光照参数的增大，针对同一感光度，对应的曝光时长缩短。

本示例性实施方式确定采用第一曝光时长与第二曝光时长中的最大值作为实际拍摄中的曝光时长，如第一曝光时长大于第二曝光时长时，采用第一曝光时长，反之则采用第二曝光时长。

在实际拍摄中，如果采用较高的感光度，则需要设置较短的曝光时长，否则很容易发生过曝光，而相邻两帧图像的曝光之间需要间隔一定的时间，这样容易导致相邻两帧图像中某一对象位置的跳变，不利于后续的图像融合。通过图3的方式所确定的曝光条件，可以保证单帧图像拍摄时有较长的曝光时间，这样有利于在单帧图像中形成拖影、光轨的效果，且不同帧图像之间的连续性更强，有利于后续融合出高质量的目标图像。

继续参考图2，步骤S220中，提取至少两帧图像的前景区域图像。

为了便于说明，并区分于后续处理过程中产生的图像，将步骤S210中获取的连续帧图像记为原始图像。步骤S220实质上是对原始图像进行前景区域与背景区域的分割。前景区域可以是原始图像中的运动部分，相对应的，背景区域可以是原始图像中的静止部分。

上述至少两帧图像可以是连续多帧原始图像中的任意两帧或多帧图像。在一种实施方式中，可以根据图像亮度、图像清晰度等进行筛选，选取出质量较高的至少两帧原始图像，例如计算每一帧原始图像的梯度，将梯度低于一定阈值的图像移除，从剩下的原始图像中提取前景区域图像，由此提高后续图像融合的质量。在一种实施方式中，可以对连续多帧原始图像中的每一帧图像均提取前景区域图像，即所拍摄的每一帧图像均参与后续前景区域图像的融合，由此保证后续图像融合的信息较为充分。

对于每一帧原始图像，可以通过检测其中的运动对象，实现前景与背景的分割，从而提取前景区域图像。例如可以对原始图像进行语义分割，确定每个部分对应的语义分类结果，并确定每种语义是否为运动对象，进而确定图像中哪些部分为运动对象。

在一种实施方式中，参考图4所示，步骤S220可以包括以下步骤：

步骤S410，将上述连续多帧图像中的至少两帧待分割图像分别与上述连续多帧图像中的参考帧图像相减，得到每一帧待分割图像对应的差值图像；

步骤S420，根据差值图像中各像素值与预设阈值的比较结果，生成每一帧待分割图像对应的前景掩模图像；

步骤S430，利用前景掩模图像从待分割图像中提取前景区域图像。

其中，待分割图像是后续用于前景融合的原始图像，即上述至少两帧图像。参考帧图像提供运动对象检测的参考信息，可以是连续多帧原始图像中的任一帧图像，例如可以是其中的第一帧图像。待分割图像与参考帧图像相减后，运动对象所在部分的像素差值较大，背景部分的像素差值较小，所得到的差值图像中各像素点的像素值即为两图像的像素差值；需要说明的是，像素差值存在负值的情况，本示例性实施方式中可以采用像素差值的绝对值，作为差值图像中的像素值。预设阈值是划分运动对象与静止对象的像素差值标准，可以根据经验或实际场景确定。在差值图像中，如果某一像素点的像素值大于预设阈值，则属于前景区域，反之则属于背景区域，由此实现前景与背景的分割，得到前景掩膜图像。步骤S420实际相当于对差值图像进行了二值化处理。最后将前景掩膜图像与待分割图像相乘，得到前景区域图像，其中保留了前景部分的完整信息，背景部分的像素值均为0。

下面通过图5对图4的流程举例说明：获取连续k帧原始图像I

以i表示1～k-1中的任一帧，则上述过程可以通过以下公式表示：

F

(x,y)表示第i帧图像中的任一像素点；T为预设阈值。公式(1)表示对待分割图像与参考帧图像相减后，将像素值差值与预设阈值T进行比较，以确定每个像素点的掩膜值为1或0，从而得到前景掩膜图像M。公式(2)表示将前景掩膜图像与待分割图像相乘，得到前景区域图像。

对于不同帧待分割图像，其与参考帧图像相减得到差值图像后，可以采用统一的预设阈值来比较差值图像中的像素值，以确定前景掩膜图像，也可以采用不同的预设阈值。在一种实施方式中，得到差值图像后，可以统计差值图像中的像素值分布，以确定预设阈值。例如采用直方图双峰法、最大类间方差法、二维熵阈值分割法、局部阈值法等确定预设阈值，进而根据该预设阈值生成对应的前景掩膜图像。由此，不同帧待分割图像采用不同的预设阈值，增加了图像分割的灵活性，有利于实现更加精确的前景区域分割。

考虑到通过图4得到的前景掩膜图像与前景区域图像可能存在边缘毛刺等现象，在一种实施方式中，还可以对前景掩膜图像进行形态学处理，例如图像腐蚀化、膨胀化等，使得前景掩膜图像的边缘平滑，形态更加完整，从而进一步改善所提取的前景区域图像的质量。

需要补充的是，在图4的流程中，如果待分割图像包括参考帧图像，则可以采用其他任一帧待分割图像对应的前景掩膜图像，对参考帧图像进行前景区域图像的提取。例如图5示出采用前景掩膜图像M

继续参考图2，步骤S230中，根据各前景子区域在各前景区域图像中的最大像素值对各前景子区域进行融合，形成前景融合图像，所述前景子区域为前景区域图像的子区域。

其中，上述前景子区域可以是对前景区域图像进行任意形式的划分所得到的子区域。例如，将前景区域图像中每2*2或3*3个像素点作为一个前景子区域，或者将前景区域图像中的每个像素点作为一个前景子区域，或者根据前景区域图像的颜色分布划分前景子区域等等。需要说明的是，对于不同前景区域图像，划分前景子区域的方式相同，这样每个前景子区域在不同前景区域图像中处于相同的位置。

本示例性实施方式中，将前景区域图像划分为不同前景子区域，对于每个前景子区域，从各前景区域图像中选取最大像素值，进而再将各前景子区域拼接为前景融合图像。步骤S230实际上是对步骤S220中所提取的前景区域图像进行了最大像素值融合，即将各前景区域图像融合为一张前景融合图像，融合时保留各前景子区域的最大像素值。

在一种实施方式中，可以将前景区域图像中的每个像素点作为一个前景子区域，该像素点的像素值即该前景子区域的像素值，从各前景区域图像中选取该像素点的最大像素值，以作为前景融合图像中该像素点的像素值。由此，可以实现像素级别的前景融合，有利于提高前景融合的精细度。

在一种实施方式中，步骤S230可以包括以下步骤：

对于每个前景子区域，分别在各前景区域图像中确定该前景子区域的像素统计值；

将该前景子区域的最大像素统计值对应的前景区域图像确定为该前景子区域对应的目标前景区域图像；

将该前景子区域在目标前景区域图像中的像素值作为该前景子区域在前景融合图像中的像素值。

参考图6对上述流程举例说明：在前景区域图像F

在前景融合图像中，保留了在连续多帧图像中前景部分的各前景子区域或各像素点的最大像素值，由此在一定程度上对应于运动光源或运动对象的实际位置。例如在图6中，前景子区域A在前景区域图像F

考虑到不同帧原始图像之间可能存在拍摄区域的微小偏移，为了保证图像融合的准确性，可以对不同帧原始图像进行配准。例如，在步骤S210获取连续多帧图像后，首先进行该多帧图像间的配准，再基于配准后的图像执行后续步骤S220至S240。

在一种实施方式中，可以在步骤S220后执行配准，具体包括：

根据上述至少两帧图像的背景区域图像，对该至少两帧图像进行配准。

其中，背景区域图像是原始图像中除前景区域图像以外的部分。例如，在图5中，得到前景掩膜图像M

需要说明的是，可以采用任一张背景掩膜图像对参考帧图像进行背景区域图像的提取，例如采用背景掩膜图像RM

配准是为了保证后续前景区域图像融合的准确性，因此可以仅对原始图像中的待分割图像进行配准，当选取全部的原始图像为待分割图像时，对全部的原始图像进行配准。

在一种实施方式中，上述至少两帧图像可以包括参考帧图像，在配准时，可以将除参考帧图像以外的图像均向参考帧图像配准。例如在原始图像I

在一种实施方式中，参考图7所示，根据上述至少两帧图像的背景区域图像，对该至少两帧图像进行配准，可以通过以下步骤实现：

步骤S710，分别从两帧图像的背景区域图像中提取特征点；

步骤S720，对两帧图像的背景区域图像进行特征点匹配，得到匹配点对；

步骤S730，根据匹配点对确定单应性矩阵；

步骤S740，通过单应性矩阵，将两帧图像中的一帧图像向另一帧图像配准。

特征点是图像中具有代表性的、辨识度较高的点或区域，例如图像中的角点、边界等。在原始图像的背景区域图像中，可以检测不同位置的梯度，在梯度较大的位置提取特征点。一般的，提取特征点后需要对其进行描述，例如通过数组来描述特征点周围的像素分布特征，称为特征点的描述信息(或描述符、描述子)。特征点的描述信息可视为背景区域图像的局部描述信息。本公开对于特征点及其描述信息的类型不做特别限定，例如可以采用Harris角点算法进行特征点的提取与描述，也可以采用FAST(Features From AcceleratedSegment Test，基于加速分割检测的特征)、BRIEF(Binary Robust IndependentElementary Features，二进制鲁棒独立基本特征)、ORB(Oriented FAST and RotatedBRIEF，面向FAST和旋转BRIEF)、SIFT(Scale-Invariant Feature Transform，尺度不变特征变换等算法。

匹配点对是指两张背景区域图像中的较为相似的一对特征点，可以认为是真实世界中同一物点在两张背景区域图像上的投影。通过计算两个特征点的描述信息的相似度，可以判断两个特征点是否为匹配点对。一般的，可以将特征点的描述信息表示为向量，计算两个特征点的描述信息向量间的L1距离或L2距离，通过遍历两张背景区域图像间的所有点对，按照L1距离或L2距离从小到大排序，选择靠前的点对(如前15％的点对，或者前n个点对，n值可根据实际需要设定)作为匹配点对。

单应性矩阵是描述两张背景区域图像间位姿变换关系的矩阵。一般的，通过4个匹配点对可以求解单应性矩阵。如果在步骤S720中得到的匹配点对数量大于4，则可以随机选取4个点对，或者选取L1距离或L2距离最小的4个匹配点对。在求解单应性矩阵时，还可以基于背景区域图像间的几何约束关系，如对极约束等，利用RANSAC(Random SampleConsensus，随机采样一致性)等算法进行迭代优化，得到关于单应性矩阵的最优解，以进一步提高图像配准的准确性。

通过单应性矩阵可以对两帧图像中的一帧图像进行仿射变换，以向另一帧图像配准，例如两帧图像中包括参考帧图像，则将非参考帧图像向参考帧图像配准，从而完成两帧图像的配准。

参考上述图5，前景掩膜图像M

在一种实施方式中，为了使参考帧图像的背景区域与其他原始图像的背景区域范围一致，可以分别采用不同帧的背景掩模图像对参考帧图像进行背景区域图像的提取，以分别对不同帧的原始图像进行配准。举例来说，为了将I

在另一种实施方式中，也可以对不同帧原始图像的背景区域进行统一。具体地，在进行配准前，可以先执行以下步骤：

当各背景区域图像对应的背景区域不完全重合时，对各背景区域图像对应的背景区域取交集，得到公共背景区域；

将每一张背景区域图像中位于公共背景区域以外的部分删除。

举例来说，可以对上述背景掩膜图像RM

在一种实施方式中，还可以对配准后的上述至少两帧图像再次提取前景区域图像，以执行步骤S230。这样所提取的前景区域图像经过配准，具有位姿一致性，有利于实现准确融合。

由于不同帧图像的前景与背景的分割并非完全相同，这样不同帧的前景区域图像所对应的区域范围可能存在差别，例如图5中前景区域图像F

当各前景区域图像对应的前景区域不完全重合时，对各前景区域图像对应的前景区域取交集，得到公共前景区域；

将每一张前景区域图像中位于公共前景区域以外的部分删除。

举例来说，可以对上述前景掩膜图像M

继续参考图2，步骤S240中，基于前景融合图像与至少一帧图像的背景区域图像，生成目标图像。

在前景融合图像中，背景部分的像素值为0，可以与任一帧原始图像的背景区域图像进行拼接，得到完整的图像，即目标图像。

在一种实施方式中，参考图8所示，步骤S240可以包括：

步骤S810，融合至少两帧图像的背景区域图像，得到背景融合图像；

步骤S820，基于前景融合图像与背景融合图像，生成目标图像。

其中，步骤S810的至少两帧图像用于进行背景融合，可以与步骤S220中用于前景融合的至少两帧图像相同，也可以不同，本公开对此不做限定。在一种实施方式中，可以选取全部的原始图像，以进行步骤S810的背景融合。经过多帧背景区域图像融合后得到的背景融合图像，相比于原本的背景区域图像具有更加丰富的细节信息，同时能够减少单张背景区域图像中可能存在的模糊、鬼影等缺陷，由此进一步将前景融合图像与背景融合图像拼接得到目标图像，有利于提高目标图像的质量。

本公开对于背景融合的具体方式不做限定。在一种实施方式中，步骤S810可以通过以下步骤实现：

将背景区域中每个像素点在各背景区域图像中的像素值取平均，得到背景融合图像。

即对于各背景区域图像中相同位置的像素点取平均，作为背景融合图像中该像素点的像素值，从而实现对各背景区域图像的像素平均值融合。由此，对前景部分采用像素最大值融合，对背景部分采用像素平均值融合，能够有效改善目标图像的噪声问题，同时保证合成出连续清晰的运动轨迹效果。

图9示出了本示例性实施方式中一种图像处理方法的流程架构图，将整个图像处理流程分成三个部分：

图像配准。获取连续k帧原始图像I

图像分割。对前景掩膜图像M

图像融合。将配准后的前景区域图像F

图10示出了本示例性实施方式中另一种图像处理方法的流程架构图，与图9的流程架构图类似的，也将整个图像处理流程分成三个部分：

图像配准。获取连续k帧原始图像I

图像分割。分别将除参考帧图像I

图像融合。将配准后的前景区域图像F

本公开的示例性实施方式还提供另一种图像处理方法。参考图11所示，该图像处理方法包括以下步骤S1110至S1140：

步骤S1110，在连续多帧图像中确定参考帧图像，并将除参考帧图像外的其他至少一帧图像确定为待融合图像。

其中，连续多帧图像可以是将镜头对准某一区域或对象，连续拍摄所得到的图像。获取连续多帧图像的具体方式可以参考上述步骤S210的内容。参考帧图像是提供图像融合基准的图像，可以是连续多帧原始图像中的任一帧图像，例如可以是其中的第一帧图像。待融合图像是需要向参考帧图像融合的图像，可以是除参考帧图像外的其他任意一帧或多帧图像，例如连续多帧图像中，将第一帧图像作为参考帧图像，将其他每一帧图像均作为待融合图像。在一种实施方式中，也可以根据图像亮度、图像清晰度等进行筛选，选取出质量较高的待融合图像。

步骤S1120，确定待融合图像的前景区域。

前景区域可以是待融合图像中的运动部分，相对应的，静止部分为背景区域，前景区域与背景区域通常为互补关系。可以通过检测待融合图像中的运动对象，实现前景与背景的分割，从而确定前景区域。

在一种实施方式中，步骤S1120可以包括以下步骤：

将待融合图像与参考帧图像相减，得到待融合图像对应的差值图像；

根据差值图像中各像素值与预设阈值的比较结果，确定待融合图像的前景区域。

上述步骤可以参考图4与图5部分的内容。预设阈值是划分运动对象与静止对象的像素差值标准，可以根据经验或实际场景确定。在差值图像中，如果某一像素点的像素值大于预设阈值，则属于前景区域，反之则属于背景区域，由此实现前景与背景的分割，确定待融合图像的前景区域，同时也可以确定背景区域。

步骤S1130，从待融合图像中提取至少一个子区域。

子区域可以是对待融合图像进行任意形式的划分所得到的子区域。例如，将待融合图像中每2*2或3*3个像素点作为一个子区域，或者将待融合图像中的每个像素点作为一个子区域，或者根据待融合图像的颜色分布划分子区域等等。步骤S1130所提取的子区域可以位于前景区域，为前景子区域，也可以位于背景区域，为背景子区域。

在一种实施方式中，可以根据实际需求提取待融合图像中的一部分子区域，通常为需要融合至参考帧图像的子区域，例如仅从前景区域中提取子区域，或者计算待融合图像中各子区域的梯度，提取梯度大于一定阈值的子区域(即高频子区域)。

在一种实施方式中，可以将待融合图像划分为多个子区域，提取每个子区域，即提取待融合图像中的全部子区域，相当于需要将整张待融合图像融合至参考帧图像。

在一种实施方式中，可以将待融合图像中的每个像素点确定为一个子区域。这样每个像素点作为一个子区域，在后续处理中融合至参考帧图像，从而实现像素级别的图像融合，有利于提高图像融合的精细度。

在一种实施方式中，可以对待融合图像与参考帧图像进行配准，以提高后续图像融合的准确性。配准的具体方式可以参考上述对图2中的至少两帧图像进行配准的内容。

需要说明的是，可以在步骤S1110确定参考帧图像与待融合图像后进行配准，也可以在步骤S1120确定待融合图像的前景区域与背景区域后，基于背景区域进行配准，在配准后还可以重新确定待融合图像的前景区域。

步骤S1140，将待融合图像中的子区域分别融合至参考帧图像，其中，当子区域位于前景区域时，将该子区域在待融合图像与参考帧图像中较大的像素值作为融合后该子区域的像素值。

需要说明的是，待融合图像中的一个子区域一般是一个图像块，该子区域在参考帧图像中具有对应的图像块，两图像块的位置、形状、尺寸一般均相同。例如从待融合图像I

在一种实施方式中，步骤S1140可以包括以下步骤：

确定上述子区域在待融合图像的像素统计值与在参考帧图像中的像素统计值；

将较大的像素统计值对应的图像中上述子区域的像素值作为融合后该子区域的像素值。

其中，像素统计值可以是像素平均值、像素最大值、亮度平均值等，本公开对此不做限定；需要说明的是，当子区域仅为一个像素点时，可以统计该像素点各通道像素值的平均值，或者将像素值转换为亮度值(或灰度值)，以亮度值作为像素统计值。由此，通过像素统计值可以比较不同图像(即参考帧图像与待融合图像)中同一子区域的像素值相对大小，以确选取像素值较大的那张图像中该子区域的像素值作为融合后的像素值，完成该子区域的融合。

在一种实施方式中，在将待融合图像中的子区域分别融合至参考帧图像时，还可以执行以下步骤：

当子区域位于待融合图像的背景区域时，将该子区域在待融合图像与参考帧图像中的像素加权值作为融合后该子区域的像素值。

举例来说，子区域A在参考帧图像I

需要补充的是，可能存在一个或多个子区域位于前景区域与背景区域的边界上，例如子区域A的一部分位于前景区域，另一部分位于背景区域，通常可以将子区域A视为背景区域的子区域。

在一种实施方式中，步骤S1110可以包括以下步骤：

在连续多帧图像中确定初始的参考帧图像，并将其他每一帧图像依次确定为待融合图像；

在将待融合图像的子区域融合至参考帧图像后，以融合后的图像更新参考帧图像。

举例来说，获取连续k帧图像I

在一种实施方式中，在将最后一帧待融合图像的子区域融合至参考帧图像后，得到目标图像。例如，依次以I

在一种实施方式中，依次将其他每一帧图像作为待融合图像进行融合的过程中，当子区域位于背景区域时，可以基于参考帧图像的第一权重与待融合图像的第二权重，将该子区域在待融合图像与参考帧图像中的像素加权值作为融合后子区域的像素值。其中，第一权重为

基于图11的方法，提供了另一种通过多帧图像融合实现模拟长曝光效果的技术方案，可适用于智能手机等电子设备，避免由于曝光时间不合适所导致的鬼影、过曝光等问题，并且受设备机身抖动的影响较小，从而改善图像模糊问题；并能够在融合的图像中保留清晰连续的运动轨迹，同时降低噪声的影响，提高图像融合的质量。

在一种实施方式中，图11的图像处理方法可以具体实现如下：

在连续k帧图像I

分别在I

将每帧待融合图像中的每个像素点均作为一个子区域，例如任意第i帧(0

在融合时，输入I

依次将I

直到I

图12示出上述图像处理方法的流程架构图，将整个图像处理流程分成两个部分：

图像分割与配准。获取连续k帧原始图像I

图像融合。输入I

图13为针对城市道路夜景拍摄的连续多帧图像，图14为采用图12的方法流程对图13的连续多帧图像进行融合得到的目标图像。可见，本示例性实施方式的图像处理方法能够在夜景有运动光源的场景拍摄中，得到图像清晰、光轨连续的流光图像，丰富夜景拍摄风格和画面表现力，提升用户体验。

本公开的示例性实施方式还提供一种图像处理装置。参考图15所示，该图像处理装置1500可以包括：

图像获取模块1510，被配置为获取连续多帧图像；

图像分割模块1520，被配置为提取至少两帧图像的前景区域图像；

前景融合模块1530，被配置为根据各前景子区域在各前景区域图像中的最大像素值对各前景子区域进行融合，形成前景融合图像，所述前景子区域为前景区域图像的子区域；

目标融合模块1540，被配置为基于前景融合图像与至少一帧图像的背景区域图像，生成目标图像。

在一种实施方式中，前景区域图像中的每个像素点均为一个前景子区域。

在一种实施方式中，前景融合模块1530，被配置为：

对于每个前景子区域，分别在各前景区域图像中确定该前景子区域的像素统计值；

将该前景子区域的最大像素统计值对应的前景区域图像确定为该前景子区域对应的目标前景区域图像；

将该前景子区域在目标前景区域图像中的像素值作为该前景子区域在前景融合图像中的像素值。

在一种实施方式中，目标融合模块1540，被配置为：

融合至少两帧图像的背景区域图像，得到背景融合图像；

基于前景融合图像与背景融合图像，生成目标图像。

在一种实施方式中，目标融合模块1540，被配置为：

将背景区域中每个像素点在各背景区域图像中的像素值取平均，得到背景融合图像。

在一种实施方式中，图像获取模块1510，被配置为：

根据环境光照参数确定曝光条件；

获取在曝光条件下连续拍摄的多帧图像。

在一种实施方式中，图像获取模块1510，被配置为：

根据环境光照参数确定对应的第一曝光时长；

获取最小感光度对应的第二曝光时长；

根据第一曝光时长与第二曝光时长中的最大值，以及最小感光度确定曝光条件。

在一种实施方式中，图像分割模块1520，被配置为：

将连续多帧图像中的至少两帧待分割图像分别与连续多帧图像中的参考帧图像相减，得到每一帧待分割图像对应的差值图像；

根据差值图像中各像素值与预设阈值的比较结果，生成每一帧待分割图像对应的前景掩模图像；

利用前景掩模图像从待分割图像中提取前景区域图像。

在一种实施方式中，图像处理装置1500还可以包括图像配准模块，被配置为：

根据上述至少两帧图像的背景区域图像，对至少两帧图像进行配准。

在一种实施方式中，图像分割模块1520，被配置为：

对配准后的至少两帧图像再次提取前景区域图像。

在一种实施方式中，图像配准模块，被配置为：

分别从两帧图像的背景区域图像中提取特征点；

对两帧图像的背景区域图像进行特征点匹配，得到匹配点对；

根据匹配点对确定单应性矩阵；

通过单应性矩阵，将两帧图像中的一帧图像向另一帧图像配准。

在一种实施方式中，图像分割模块1520，被配置为：

当各背景区域图像对应的背景区域不完全重合时，对各背景区域图像对应的背景区域取交集，得到公共背景区域；

将每一张背景区域图像中位于公共背景区域以外的部分删除。

在一种实施方式中，上述至少两帧图像包括参考帧图像。

图像配准模块，被配置为：

将至少两帧图像中除参考帧图像以外的图像均向参考帧图像配准。

在一种实施方式中，参考帧图像可以是上述连续多帧图像中的第一帧图像。

在一种实施方式中，图像分割模块1520，被配置为：

当各前景区域图像对应的前景区域不完全重合时，对各前景区域图像对应的前景区域取交集，得到公共前景区域；

将每一张前景区域图像中位于公共前景区域以外的部分删除。

在一种实施方式中，图像分割模块1520，被配置为：

提取每一帧图像的前景区域图像。

本公开的示例性实施方式还提供另一种图像处理装置。参考图16所示，该图像处理装置1600可以包括：

图像确定模块1610，被配置为在连续多帧图像中确定参考帧图像，并将除参考帧图像外的其他至少一帧图像确定为待融合图像；

图像分割模块1620，被配置为前景区域确定待融合图像的前景区域；

子区域提取模块1630，被配置为从待融合图像中提取至少一个子区域；

子区域融合模块1640，被配置为将待融合图像中的子区域分别融合至参考帧图像，其中，当子区域位于前景区域时，将子区域在待融合图像与参考帧图像中较大的像素值作为融合后子区域的像素值。

在一种实施方式中，子区域融合模块1640，被配置为：

确定子区域在待融合图像的像素统计值与在参考帧图像中的像素统计值；

将较大的像素统计值对应的图像中子区域的像素值作为融合后子区域的像素值。

在一种实施方式中，子区域融合模块1640，被配置为：

在将待融合图像中的子区域分别融合至参考帧图像的过程中，当子区域位于待融合图像的背景区域时，将子区域在待融合图像与参考帧图像中的像素加权值作为融合后子区域的像素值。

在一种实施方式中，图像确定模块1610，被配置为：

在连续多帧图像中确定初始的参考帧图像，并将其他每一帧图像依次确定为待融合图像；

在将待融合图像的子区域融合至参考帧图像后，以融合后的图像更新参考帧图像。

在一种实施方式中，子区域融合模块1640，被配置为：

在将待融合图像中的子区域分别融合至参考帧图像的过程中，当子区域位于背景区域时，基于参考帧图像的第一权重与待融合图像的第二权重，将子区域在待融合图像与参考帧图像中的像素加权值作为融合后子区域的像素值；

其中，第一权重为

在一种实施方式中，子区域融合模块1640，被配置为：

在将最后一帧待融合图像的子区域融合至参考帧图像后，得到目标图像。

在一种实施方式中，图像分割模块1620，被配置为：

将待融合图像与参考帧图像相减，得到待融合图像对应的差值图像；

根据差值图像中各像素值与预设阈值的比较结果，确定待融合图像的前景区域。

在一种实施方式中，子区域提取模块1630，被配置为：

将待融合图像划分为多个子区域，提取每个子区域。

在一种实施方式中，子区域提取模块1630，被配置为：

将待融合图像中的每个像素点确定为一个子区域。

上述装置中各部分的细节在方法部分实施方式中已经详细说明，因而不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。