图像处理、图像处理网络训练方法、装置、设备及介质

技术领域

本申请涉及人工智能技术领域，特别涉及一种图像处理、图像处理网络训练方法、装置、设备及介质。

背景技术

图像堆叠是一种图像处理方法，将图像序列中多个图像的内容融合于一个图像中，以使得图像中的内容更加突出。

目前，图像处理方法通常是提取图像序列中多个图像的时序特征，然后基于时序特征进行图像重构，以得到目标图像。

上述图像处理方法仅适用于对高信噪比的图像序列进行处理，对于低信噪比的图像序列，图像序列中多个图像之间的相关性比较弱，并不能提取到准确的时序特征，因而最终得到的目标图像的准确性比较差。

发明内容

本申请实施例提供了一种图像处理、图像处理网络训练方法、装置、设备及介质，提高图像处理准确性。所述技术方案如下：

一方面，提供了一种图像处理方法，所述方法包括：

根据图像序列中至少两个图像的顺序，获取所述图像序列的时序特征；

根据所述图像序列中所述至少两个图像之间像素的位置变化，获取所述图像序列的空间特征；

基于所述图像序列的所述时序特征和所述空间特征，进行图像重构，得到目标图像，所述目标图像中融合有所述图像序列中所述至少两个图像的内容。

一方面，提供了一种图像处理网络训练方法，所述方法包括：

基于图像处理网络，根据样本图像序列中至少两个样本图像的顺序，获取所述样本图像序列的时序特征；

基于所述图像处理网络，根据所述样本图像序列中所述至少两个样本图像之间像素的位置变化，获取所述样本图像序列的空间特征；

基于所述图像处理网络，基于所述样本图像序列的所述时序特征和所述空间特征，进行图像重构，得到预测图像；

基于所述预测图像与所述样本图像序列对应的目标图像之间的相似度，对所述图像处理网络进行训练。

一方面，提供了一种图像处理装置，所述装置包括：

获取模块，用于根据所述图像序列中至少两个图像的顺序，获取所述图像序列的时序特征；

所述获取模块，还用于根据所述图像序列中所述至少两个图像之间像素的位置变化，获取所述图像序列的空间特征；

重构模块，用于基于所述图像序列的所述时序特征和所述空间特征，进行图像重构，得到目标图像，所述目标图像中融合有所述图像序列中所述至少两个图像的内容。

在一些实施例中，所述获取模块，用于：

对所述图像序列中第一图像和第二图像进行下采样，得到所述第一图像和所述第二图像的特征，所述第一图像为所述图像序列中的一个图像，所述第二图像为所述图像序列中除所述第一图像之外的图像；

对所述第一图像和第二图像的特征进行卷积处理，得到所述第二图像中像素相对于所述第一图像中对应像素的位移；

基于所述图像序列中所述第一图像和所述第二图像的特征，以及所述第二图像中像素相对于所述第一图像中对应像素的位移，对所述第二图像和所述第一图像中像素进行对齐，得到所述图像序列的空间特征。

在一些实施例中，所述获取模块，用于：

对所述第一图像和所述第二图像的特征进行连接，得到第一特征；

对所述第一特征进行卷积处理，得到所述第二图像中像素相对于所述第一图像中对应像素的位移；

所述基于所述图像序列中所述第一图像和所述第二图像的特征，以及所述第二图像中像素相对于所述第一图像中对应像素的位移，对所述第二图像和所述第一图像中像素进行对齐，得到所述图像序列的空间特征，包括：

对所述第一图像和所述第二图像的特征，以及所述第二图像中像素相对于所述第一图像中对应像素的位移进行可形变卷积处理，得到所述第二图像的空间特征；

将所述第一图像的特征作为所述第一图像的空间特征。

在一些实施例中，所述获取模块，用于基于过滤级联可形变卷积网络，对所述第一图像和所述第二图像的特征进行处理，得到所述图像序列的空间特征。

在一些实施例中，所述过滤级联可形变卷积网络包括级联的至少两层可形变卷积网络；

所述获取模块，用于将所述第一图像和所述第二图像的特征输入一层可形变卷积网络中，由所述可形变卷积网络对输入的特征进行处理，得到第二特征；

对所述第一图像和所述第二图像的特征进行去噪处理，将去噪处理后的特征输入其他层可形变卷积网络，由所述其他层可形变卷积网络对输入的特征进行处理，得到第三特征；

基于所述第二特征和所述第三特征，获取所述第二图像的空间特征；

将所述第一图像的特征作为所述第一图像的空间特征。

在一些实施例中，所述获取模块，用于基于光流估计网络，对所述第一图像和所述第二图像的特征进行处理，得到所述图像序列的空间特征。

在一些实施例中，所述重构模块，用于：

对所述图像序列的所述时序特征和所述空间特征进行融合，得到目标特征；

基于所述目标特征进行图像重构，得到目标图像。

在一些实施例中，所述重构模块，用于：

对于所述图像序列中任一个图像，对所述图像的所述时序特征和所述空间特征进行连接，得到所述图像的图像特征；

对所述图像序列中所述至少两个图像的所述图像特征进行加权，得到目标特征。

在一些实施例中，所述获取模块，用于基于包括至少两个残差密集块的循环神经网络、循环神经网络或长短期记忆神经网络中的任一项，对所述图像序列中至少两个图像进行处理，得到所述图像序列的时序特征。

在一些实施例中，所述获取模块和所述重构模块，用于将所述图像序列输入图像处理网络中，由所述图像处理网络的时间模块获取所述图像序列的时序特征，由所述图像处理网络的空间模块获取所述图像序列的空间特征，由所述图像处理网络基于所述图像序列的所述时序特征和所述空间特征，进行图像重构，输出目标图像。

一方面，提供了一种图像处理网络训练装置，所述装置包括：

获取模块，用于基于图像处理网络，根据样本图像序列中至少两个样本图像的顺序，获取所述样本图像序列的时序特征；

所述获取模块，用于基于所述图像处理网络，根据所述样本图像序列中所述至少两个样本图像之间像素的位置变化，获取所述样本图像序列的空间特征；

重构模块，用于基于所述图像处理网络，基于所述样本图像序列的所述时序特征和所述空间特征，进行图像重构，得到预测图像；

训练模块，用于基于所述预测图像与所述样本图像序列对应的目标图像之间的相似度，对所述图像处理网络进行训练。

一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现上述图像处理方法或图像处理网络训练方法的各种可选实现方式。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述图像处理方法或图像处理网络训练方法的各种可选实现方式。

一个方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得电子设备执行上述任一种可能实施方式的图像处理方法或图像处理网络训练方法。

本申请实施例，对于图像序列，除了提取时序特征之外，还创新性地获取图像序列的空间特征，这样提取到的特征不仅能够体现图像序列中至少两个图像中时序上的相关性，还能够体现图像序列中至少两个图像中空间上的相关性，综合两种特征进行图像重构，能够使得目标图像中融合有图像序列中更多的特征，从而提高目标图像的信噪比和准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法或图像处理网络训练方法的实施环境的示意图；

图2是本申请实施例提供的一种图像处理方法的流程图；

图3是本申请实施例提供的一种图像处理方法的流程图；

图4是本申请实施例提供的一种图像处理方法的流程图；

图5是本申请实施例提供的一种图像处理网络的示意图；

图6是本申请实施例提供的一种FCD模块的示意图；

图7是本申请实施例提供的一种STF模块的示意图；

图8是本申请实施例提供的一种图像处理网络训练方法的流程图；

图9是本申请实施例提供的一种图像处理方法的实验结果示意图；

图10是本申请实施例提供的一种图像处理方法的实验结果示意图；

图11是本申请实施例提供的一种图像处理装置的结构示意图；

图12是本申请实施例提供的一种图像处理网络训练装置的结构示意图；

图13是本申请实施例提供的一种服务器的结构示意图；

图14是本申请实施例提供的一种终端的结构框图；

图15是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如，在不脱离各种所述示例的范围的情况下，第一图像被称为第二图像，并且类似地，第二图像被称为第一图像。第一图像和第二图像都是图像，并且在某些情况下，是单独且不同的图像。

本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个数据包是指两个或两个以上的数据包。

应理解，在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”“an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。

还应理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”，是一种描述关联对象的关联关系，表示存在三种关系，例如，A和/或B，表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中的字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，在本申请的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，根据A确定B并不意味着仅仅根据A确定B，还根据A和/或其它信息确定B。

还应理解，术语“包括”(也称“inCludes”、“inCluding”、“Comprises”和/或“Comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。

还应理解，术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

下面对本申请涉及到的名词进行说明。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的计算机视觉、机器学习等技术，具体通过如下实施例进行说明。

下面对本申请的实施环境进行说明。

图1是本申请实施例提供的一种图像处理方法或图像处理网络训练方法的实施环境的示意图。该实施环境包括终端101，或者该实施环境包括终端101和图像处理平台102。终端101通过无线网络或有线网络与图像处理平台102相连。

终端101是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器，膝上型便携计算机中的至少一种。终端101安装和运行有支持图像处理的应用程序，例如，该应用程序是系统应用、即时通讯应用、新闻推送应用、购物应用、在线视频应用、社交应用。

示例性地，该终端101具有图像采集功能和图像处理功能，对采集到的图像进行处理，并根据处理结果执行相应的功能。该终端101独立完成该工作，也通过图像处理平台102为其提供数据服务。本申请实施例对此不作限定。

示例性地，该终端101或图像处理平台102能够基于样本图像序列训练图像处理网络。

图像处理平台102包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。图像处理平台102用于为支持图像处理的应用程序提供后台服务。可选地，图像处理平台102承担主要处理工作，终端101承担次要处理工作；或者，图像处理平台102承担次要处理工作，终端101承担主要处理工作；或者，图像处理平台102或终端101分别单独承担处理工作。或者，图像处理平台102和终端101两者之间采用分布式计算架构进行协同计算。

可选地，该图像处理平台102包括至少一台服务器1021以及数据库1022，该数据库1022用于存储数据，在本申请实施例中，该数据库1022中存储有样本图像序列或样本视频，为至少一台服务器1021提供数据服务。

服务器是独立的物理服务器，也是多个物理服务器构成的服务器集群或者分布式系统，还是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。

本领域技术人员知晓，上述终端101、服务器1021的数量更多或更少。比如上述终端101、服务器1021仅为一个，或者上述终端101、服务器1021为几十个或几百个，或者更多数量，本申请实施例对终端或服务器的数量和设备类型不加以限定。

图2是本申请实施例提供的一种图像处理方法的流程图，该方法应用于电子设备中，该电子设备为终端或服务器，参见图2，该方法包括以下步骤。

201、电子设备根据图像序列中至少两个图像的顺序，获取该图像序列的时序特征。

特征是一事物异于其他事物的特点。时序特征是指能够体现至少两个图像在时序上相关性的特征。

在对图像序列进行处理时，需要对其进行特征提取，以提取到图像的特征，后续基于特征进行图像重构。

在本申请实施例中，正在提取图像的特征时，不仅提取了图像的时序特征，还提取了图像的空间特征，这样该图像序列中至少两个图像在时序和空间上的相关性均提取得到，能够更好地引导将图像序列融合为一个图像。该融合过程为图像堆叠(Stacking)过程，用于将图像序列中多个图像的内容均叠加到一个图像中，从而对图像中的内容进行突出。

本申请实施例提供的图像处理方法可以应用于电镜图像处理场景中，例如，冷冻电子显微镜技术(Cryo-electron microscopy，cryo-EM)可以以接近原子的分辨率确定生物分子的结构。在这项技术中，会使用K2 Summit电子计数直接检测相机记录生物分子在曝光中产生的一段低信噪比视频数据。因为生物分子在成像时受到电子撞击产生运动，所以需要对这段视频数据的不同帧进行对齐和堆叠，得到一张高信噪比的图像，这将有助于获得更高分辨率的生物分子结构。又电镜图像的信噪比一般比较低，如果采用相关技术中仅基于时序特征进行图像重构，并不能提取到准确的时序特征，最终重构得到的图像的信噪比可能也比较低，效果比较差。采用本申请的方法，提取时序和空间两方面的特征，来指导图像重构，能够有效地克服上述问题，提高重构图像的信噪比和准确性。

202、电子设备根据该图像序列中该至少两个图像之间像素的位置变化，获取该图像序列的空间特征。

该空间特征能够体现该图像序列中至少两个图像之间像素的位置变化。

203、电子设备基于该图像序列的该时序特征和该空间特征，进行图像重构，得到目标图像，该目标图像中融合有该图像序列中该至少两个图像的内容。

电子设备提取到两种特征，综合有体现时序和空间的相关性的特征进行图像重构，这样基于更多的特征进行图像重构，能够得到更好的目标图像。

本申请实施例，对于图像序列，除了提取时序特征之外，还创新性地获取图像序列的空间特征，这样提取到的特征不仅能够体现图像序列中至少两个图像中时序上的相关性，还能够体现图像序列中至少两个图像中空间上的相关性，综合两种特征进行图像重构，能够使得目标图像中融合有图像序列中更多的特征，从而提高目标图像的信噪比和准确性。

图3是本申请实施例提供的一种图像处理网络训练方法的流程图，参见图3，该方法包括以下步骤。

301、电子设备基于图像处理网络，根据样本图像序列中至少两个样本图像的顺序，获取该样本图像序列的时序特征。

302、电子设备基于该图像处理网络，根据该样本图像序列中该至少两个样本图像之间像素的位置变化，获取该样本图像序列的空间特征。

303、电子设备基于该图像处理网络，基于该样本图像序列的该时序特征和该空间特征，进行图像重构，得到预测图像。

该步骤301至步骤303与上述步骤201至步骤203同理，只是通过图像处理网络执行相关的图像处理步骤。

304、电子设备基于该预测图像与该样本图像序列对应的目标图像之间的相似度，对该图像处理网络进行训练。

图像处理网络处理得到的预测图像为一种预测值、估计值，目标图像为真实值、正确值，电子设备可以通过对比预测图像和目标图像，通过预测图像与目标图像之间的相似度，能够确定预测图像是否准确。

可以理解地，如果不准确，则可以对图像处理网络的网络参数进行更新，以使得图像处理的结果(预测图像)贴近于目标图像。如果准确，则可以结束训练，此时图像处理网络的网络参数比较准确。

本申请实施例，对于图像序列，除了提取时序特征之外，还创新性地获取图像序列的空间特征，这样提取到的特征不仅能够体现图像序列中至少两个图像中时序上的相关性，还能够体现图像序列中至少两个图像中空间上的相关性，综合两种特征进行图像重构，能够使得目标图像中融合有图像序列中更多的特征，从而提高目标图像的信噪比和准确性。

图4是本申请实施例提供的一种图像处理方法的流程图，参见图4，该方法包括以下步骤。

401、电子设备获取图像序列。

在一些实施例中，该图像序列可以由其他电子设备拍摄得到并发送至该电子设备处，也即是在其他电子设备有图像处理需求时，可以将图像序列发送至该电子设备。

在另一些实施例中，该图像序列可以该电子设备拍摄得到。比如，对某个事物拍摄视频，得到多个视频帧。

该图像序列中包括至少两个图像，该至少两个图像的数量可以由相关技术人员根据需求进行设置，比如，3个、5个、7个等，本申请实施例对此不作限定。

402、电子设备根据图像序列中至少两个图像的顺序，获取该图像序列的时序特征。

电子设备可以根据图像序列中至少两个图像的顺序，对图像序列中至少两个图像进行特征提取，得到时序特征。

在一些实施例中，电子设备对先对图像序列中至少两个图像进行预处理，然后对预处理后的图像序列进行上述时序特征获取的步骤。

在一些实施例中，电子设备基于包括至少两个残差密集块的循环神经网络、循环神经网络或长短期记忆神经网络中的任一项，对该图像序列中至少两个图像进行处理，得到该图像序列的时序特征。

该图像处理方法可以通过图像处理网络来实现。该图像处理网络可以包括时间模块，该时间模块可以采用包括至少两个残差密集块的循环神经网络、循环神经网络或长短期记忆神经网络中的任一项。

例如，在一个具体示例中，如图5所示，对于图像序列，可以通过预处理后，将其输入到包括多个残差密集块(Residue Dense Block，RDB)的循环神经网络中，因而也可以称之为RDB-RNN模块，在此简称为RDB。通过该RDB可以将图像的特征转换为时序特征T。

403、电子设备根据该图像序列中该至少两个图像之间像素的位置变化，获取该图像序列的空间特征。

在获取空间特征时，电子设备也可以对预处理后的图像序列进行空间特征的提取。

具体地，电子设备可以通过下述步骤一至步骤三实现空间特征的提取过程。

步骤一、电子设备对该图像序列中第一图像和第二图像进行下采样，得到该第一图像和该第二图像的特征，该第一图像为该图像序列中的一个图像，该第二图像为该图像序列中除该第一图像之外的图像。

在一些实施例中，该步骤一中，电子设备可以通过卷积层对图像序列中每个图像进行下采样，得到每个图像的特征。

步骤二、电子设备对该第一图像和第二图像的特征进行卷积处理，得到该第二图像中像素相对于该第一图像中对应像素的位移。

该像素的位移其实为卷积处理得到的估计值，电子设备获取到像素的位移，则能够基于该位移，将两个图像中的像素进行对齐，这样对于两个图像中对应像素，可以将其位置调整的一致，后续图像融合时，即可对该像素的特征进行突出。

步骤三、电子设备基于该图像序列中该第一图像和该第二图像的特征，以及该第二图像中像素相对于该第一图像中对应像素的位移，对该第二图像和该第一图像中像素进行对齐，得到该图像序列的空间特征。

确定出该第二图像中像素相对于该第一图像中对应像素的位移之后，即可将第二图像中像素的特征按照该位移进行移动，以将两个图像进行对齐，得到第二图像的空间特征。

对于第一图像，该第一图像为参考图像，可以将该第一图像的特征作为该第一图像的空间特征。

在一些实施例中，在得到第一图像和第二图像的特征后，上述空间特征的获取过程可以通过多种方式实现。

方式一、电子设备可以对该第一图像和该第二图像的特征进行连接，得到第一特征，然后对该第一特征进行卷积处理，得到该第二图像中像素相对于该第一图像中对应像素的位移。进而电子设备对该第一图像和该第二图像的特征，以及该第二图像中像素相对于该第一图像中对应像素的位移进行可形变卷积处理，得到该第二图像的空间特征，将该第一图像的特征作为该第一图像的空间特征。

在该方式一中，可以通过卷积处理得到位移，并通过可形变卷积处理的方式来确定空间特征。该过程可以通过过滤级联可形变卷积网络实现，比如，电子设备可以基于过滤级联可形变卷积网络，对该第一图像和该第二图像的特征进行处理，得到该图像序列的空间特征。

具体地，该过滤级联可形变卷积网络包括级联的至少两层可形变卷积网络。电子设备可以将该第一图像和该第二图像的特征输入一层可形变卷积网络中，由该可形变卷积网络对输入的特征进行处理，得到第二特征，然后对该第一图像和该第二图像的特征进行去噪处理，将去噪处理后的特征输入其他层可形变卷积网络，由该其他层可形变卷积网络对输入的特征进行处理，得到第三特征，基于该第二特征和该第三特征，获取该第二图像的空间特征，将该第一图像的特征作为该第一图像的空间特征。

如图6所示，过滤级联可形变卷积网络(Filtering Cascading DeformableNetwork，FCD)包括三层可形变卷积网络，分别表示为L1、L2和L3，输入图像的特征首先会经步长为2卷积层卷积得到L层的金字塔，对于第一图像和第二图像，在金字塔的每一层都进行了相似的操作，即：两图像的特征concat(串接)并经过卷积得到可形变卷积的offsets(补偿)，第二图像的特征输入至可形变卷积层，经过可形变卷积输出得到了新的特征；此外，金字塔的下层的offsets(补偿)输出会作为上层offsets(补偿)卷积的输入，用于更精确地进行offsets(补偿)的估计，可形变卷积层输出的特征也会与上层相应的特征进行融合。直至金字塔的L1，可形变卷积层的输出且与底层融合后的特征与第一图像的特征concat(串接)作为新的可形变卷积层的offsets(补偿)的特征，便可预测到第二图像对齐的空间特征。

该图像处理方法可以通过图像处理网络来实现。该图像处理网络可以包括空间模块，该空间模块可以采用过滤级联可形变卷积网络。

例如，在一个具体示例中，如图5所示，对于图像序列，可以通过预处理后，对其进行下采样得到图像的特征后，可以将其输入到包括FCD中，通过该FCD可以将图像的特征转换为空间特征S。

对于FCD，对于两张图像，可以先估计出它们预先设定的R个采样点之间的位移Δp

其中，ω

ΔP

其中，θ(·)为卷积网络(Convolutional neural network，CNN)，[·:·]为串接操作。

为了更好地对低信噪比图像进行空间对齐，本发明采用了由粗到细的学习过程，提出了L＝3层的FCD模块来实现空间对齐。为了生成第l层的特征

其中，φ(·,·)和

在方式二中，电子设备可以基于光流估计网络，对该第一图像和该第二图像的特征进行处理，得到该图像序列的空间特征。具体也是先确定像素的位移，然后通过位移将图像进行空间对齐。

404、电子设备基于该图像序列的该时序特征和该空间特征，进行图像重构，得到目标图像，该目标图像中融合有该图像序列中该至少两个图像的内容。

电子设备得到时序特征和空间特征后，可以综合两个特征进行图像重构。

在一些实施例中，电子设备可以先将两个特征融合为目标特征，再基于目标特征进行图像重构。具体地，电子设备可以对该图像序列的该时序特征和该空间特征进行融合，得到目标特征，然后基于该目标特征进行图像重构，得到目标图像。

其中，在融合得到目标特征时，能够将时序特征和空间特征进行连接得到新的目标特征。具体地，对于该图像序列中任一个图像，电子设备可以对该图像的该时序特征和该空间特征进行连接，得到该图像的图像特征，然后对该图像序列中该至少两个图像的该图像特征进行加权，得到目标特征。

在一些实施例中，该图像处理方法可以通过图像处理网络来实现。具体地，电子设备可以将该图像序列输入图像处理网络中，由该图像处理网络的时间模块获取该图像序列的时序特征，由该图像处理网络的空间模块获取该图像序列的空间特征，由该图像处理网络基于该图像序列的该时序特征和该空间特征，进行图像重构，输出目标图像。

该图像处理方法可以通过图像处理网络来实现。该图像处理网络可以包括空间-时间融合模块(Spatio-Temporal Fusion，STF)。例如，在一个具体示例中，如图5所示，对于图像序列，在得到空间特征S和时序特征T之后，电子设备可以将其输入到空间-时间融合模块(STF)中，由STF对两个特征进行融合。具体地，该STF模块可以如图7所示，对于一个图像的时序特征和空间特征，可以对其进行串接，得到该图像的图像特征C，然后对于多个图像的图像特征，可以对其进行加权求和，得到最终的目标特征F。在融合多个图像的图像特征时，可以采用注意力机制，也即是，每个图像的图像特征的权重为该图像的注意力分数，该注意力分数(权重)可以在训练时确定，本申请实施例对此不作限定。

本申请实施例，对于图像序列，除了提取时序特征之外，还创新性地获取图像序列的空间特征，这样提取到的特征不仅能够体现图像序列中至少两个图像中时序上的相关性，还能够体现图像序列中至少两个图像中空间上的相关性，综合两种特征进行图像重构，能够使得目标图像中融合有图像序列中更多的特征，从而提高目标图像的信噪比和准确性。

图8是本申请实施例提供的一种图像处理网络训练方法的流程图，参见图8，该方法包括以下步骤。

801、电子设备获取样本图像序列，该样本图像序列对应于目标图像。

该图像处理网络训练方法可以应用于二维图像处理，也可以应用于三维图像处理，也即是，该样本图像序列中的图像可以为二维图像，也可以为三维图像，本申请实施例对此不作限定。

该样本图像序列可能存储于不同的位置，相应地，电子设备可以通过不同的方式获取样本图像序列。

在一些实施例中，该样本图像序列可以存储于电子设备中，相应地，电子设备可以从本次存储中获取该样本图像序列。

在另一些实施例中，该样本图像序列可以存储于图像数据库中。相应地，电子设备可以从图像数据库中获取该样本图像序列。

在另一些实施例中，该样本图像序列可以从视频中提取得到。相应地，电子设备可以获取样本视频，对样本视频进行抽帧，得到样本图像序列。

上述提供了样本图像序列的三种可能的获取方式，本申请实施例对此不作限定。

目标图像为正确的、真实的图像堆叠结果。在一些实施例中，该目标图像可以由相关技术人员为该样本图像序列设置，该目标图像可以理解为样本图像对的标注数据或标签。该目标图像具体可以由相关技术人员通过其他图像堆叠方式得到，在相关技术人员确定该目标图像的效果比较好时，将其作为样本图像序列对应的目标图像。

在另一些实施例中，该目标图像与样本图像序列关联存储，在获取样本图像序列时，电子设备同步获取到该目标图像。

802、电子设备基于图像处理网络，根据样本图像序列中至少两个样本图像的顺序，获取该样本图像序列的时序特征。

该步骤802与上述步骤402同理，在此不多做赘述，只是该时序特征由图像处理网络获取得到。具体地，该图像处理网络包括时间模块，电子设备可以基于图像处理网络的时间模块根据样本图像序列中至少两个样本图像的顺序，获取该样本图像序列的时序特征。

803、电子设备基于该图像处理网络，根据该样本图像序列中该至少两个样本图像之间像素的位置变化，获取该样本图像序列的空间特征。

该步骤803与上述步骤403同理，在此不多做赘述，只是该空间特征由图像处理网络获取得到。具体地，该图像处理网络包括空间模块，电子设备可以基于图像处理网络的空间模块根据该样本图像序列中该至少两个样本图像之间像素的位置变化，获取该样本图像序列的空间特征。

804、电子设备基于该图像处理网络，基于该样本图像序列的该时序特征和该空间特征，进行图像重构，得到预测图像。

该步骤804与上述步骤404同理，在此不多做赘述，只是该空间特征由图像处理网络获取得到。具体地，该图像处理网络包括空间模块，电子设备可以基于图像处理网络的空间模块根据该样本图像序列中该至少两个样本图像之间像素的位置变化，获取该样本图像序列的空间特征。

805、电子设备基于该预测图像与该样本图像序列对应的目标图像之间的相似度，对该图像处理网络进行训练。

上述训练过程为迭代过程，在每次迭代过程中，均可以由图像处理网络对输入的样本图像序列进行处理，并获取到该预测图像与该样本图像序列对应的目标图像之间的相似度，如果该相似度不满足目标条件，电子设备可以根据相似度对图像处理网络的参数进行优化。如果该相似度满足目标条件，电子设备可以确定训练结束，将本次迭代使用的网络参数作为该图像处理网络的最终网络参数。

该优化过程可以采用多种方式，以采用梯度下降方式为例，电子设备可以根据相似度，获取网络参数的梯度，基于该梯度对网络参数进行更新，得到更新后的网络参数。下一次迭代时图像处理网络对输入的样本图像序列进行处理时，即可使用更新后的网络参数。

对于该相似度，具体可以由相似度度量函数或损失函数来确定。例如，可以使用L2-norm损失函数，或者L1-norm或者增加其他正则项等，当然，还可以采用任意其他形式的有监督损失函数，本申请实施例对此不作限定。

在一个具体示例中，整个训练过程的损失函数D可以表示为：

D＝||O

其中，O

例如，在一个具体示例中，输入的N张图像会先进行预处理，包括对图像进行归一化和随机把图像剪切成256*256的patch(图像块)。N为正整数。预处理后，剪切后的patch会作为空间模块和时间模块的输入，进行并行训练。空间模块基于可形变卷积网络，把每个邻居帧向目标帧进行空间对齐，从而得到对齐后的空间特征。时间模块基于循环神经网络，会从输入帧提取重要的时序特征。对齐后的空间特征和时序特征合并之后，会放入空间-时间注意力机制网络进行学习，得到N张图像融合后的特征。最后把这个特征通过反卷积网络重构成图像。例如，训练数据可以使用EMPIAR(Electron Microscopy Public ImageArchive，电子显微镜公共图像档案馆)-10543和EMPIAR-10428数据集中提取的256×256的patch作为输入数据，将模型通过上述方式训练约5000个epoch之后即可获得较好的效果。epoch是指一次迭代过程。

在一些实施例中，该模型训练过程可以由电子设备基于GPU(GraphicsProcessing Unit，图像处理器)执行，以加快训练速度，提高训练效率。

在训练好图像处理网络之后，如果电子设备有图像处理需求，则可以调用该训练好的图像处理网络进行图像处理。具体图像处理过程可以参见上述图4所示实施例，在此不多做赘述。

通过上述内容可知，本申请对数据集信噪比的要求显著降低，与其他深度学习方法相比，不再要求数据集是高信噪比的自然图像，而可以是低信噪比图像。因此，可以应用在各种电镜数据集上。

本申请用了端到端的训练。训练过程简单，不需要额外进行预处理和预训练，也不需要其他输入信息来辅助模型训练。

本申请可通过GPU(Graphics Processing Unit，图像处理器)进行加速，实际使用中计算加速的性价比高：由于本发明使用了深度学习相关的方法，可以使用各种针对深度学习优化的加速方案。而电镜领域的常用算法比如MotionCor2则需要用比本发明更长的计算时间。

下面针对本申请提供的方法，与相关技术的其它方法在不同数据集上进行实验，具体使用EMPIAR-10543和EMPIAR-10428数据集中导出的256×256的patch(块)作为输入。分别使直接相加的方法Sum，传统算法ECC(Entropy Corrleation Coefficient，熵相关系数)，以及深度学习算法CDVD、EDVR(Video Restoration with Enhanced DeformableConvolutional Networks，基于增强可变形卷积网络的视频恢复)和ESTRNN(一种用于视频去模糊的高效时空递归神经网络)等方法进行图像堆叠。通过比较各类模型输出结果和参考标准之间的PSNR(Peak Signal to Noise Ratio，峰值信噪比)和SSIM(StructuralSimilarity，结构相似性)，反映图像堆叠的性能。

下面表1为EMPIAR-10543数据集上本发明与其他堆叠方法的性能比较的结果，表2为EMPIAR-10428数据集上本发明与其他堆叠方法的性能比较的结果。

表1

表2

通过表1和表2可知，本申请的方法在进行图像堆叠时，可以使PSNR和SSIM在大多数情况下都达到最优。

如图9和图10所示，图中以“本发明”来表示本申请，输入帧是指输入的图像序列中的参考图像。参考标准是指通过堆叠效果比较好的结果。通过图中可以看出，本申请进行图像堆叠的效果在参与比较的方法中是最优的：在EMPIAR-10543和EMPIAR-10428数据集上与Sum、ECC、CDVD、EDVR和ESTRNN提出的方法相比，本申请的性能更好。本申请的结果相比于其他方法，信噪比更高，图像更清晰，与参考标准更接近。

本申请实施例，对于图像序列，除了提取时序特征之外，还创新性地获取图像序列的空间特征，这样提取到的特征不仅能够体现图像序列中至少两个图像中时序上的相关性，还能够体现图像序列中至少两个图像中空间上的相关性，综合两种特征进行图像重构，能够使得目标图像中融合有图像序列中更多的特征，从而提高目标图像的信噪比和准确性。

上述所有可选技术方案，采用任意结合形成本申请的可选实施例，在此不再一一赘述。

图11是本申请实施例提供的一种图像处理装置的结构示意图，参见图11，该装置包括：

获取模块1101，用于根据该图像序列中至少两个图像的顺序，获取该图像序列的时序特征；

该获取模块1101，还用于根据该图像序列中该至少两个图像之间像素的位置变化，获取该图像序列的空间特征；

重构模块1102，用于基于该图像序列的该时序特征和该空间特征，进行图像重构，得到目标图像，该目标图像中融合有该图像序列中该至少两个图像的内容。

在一些实施例中，该获取模块1101，用于：

对该图像序列中第一图像和第二图像进行下采样，得到该第一图像和该第二图像的特征，该第一图像为该图像序列中的一个图像，该第二图像为该图像序列中除该第一图像之外的图像；

对该第一图像和第二图像的特征进行卷积处理，得到该第二图像中像素相对于该第一图像中对应像素的位移；

基于该图像序列中该第一图像和该第二图像的特征，以及该第二图像中像素相对于该第一图像中对应像素的位移，对该第二图像和该第一图像中像素进行对齐，得到该图像序列的空间特征。

在一些实施例中，该获取模块1101，用于：

对该第一图像和该第二图像的特征进行连接，得到第一特征；

对该第一特征进行卷积处理，得到该第二图像中像素相对于该第一图像中对应像素的位移；

该基于该图像序列中该第一图像和该第二图像的特征，以及该第二图像中像素相对于该第一图像中对应像素的位移，对该第二图像和该第一图像中像素进行对齐，得到该图像序列的空间特征，包括：

对该第一图像和该第二图像的特征，以及该第二图像中像素相对于该第一图像中对应像素的位移进行可形变卷积处理，得到该第二图像的空间特征；

将该第一图像的特征作为该第一图像的空间特征。

在一些实施例中，该获取模块1101，用于基于过滤级联可形变卷积网络，对该第一图像和该第二图像的特征进行处理，得到该图像序列的空间特征。

在一些实施例中，该过滤级联可形变卷积网络包括级联的至少两层可形变卷积网络；

该获取模块1101，用于将该第一图像和该第二图像的特征输入一层可形变卷积网络中，由该可形变卷积网络对输入的特征进行处理，得到第二特征；

对该第一图像和该第二图像的特征进行去噪处理，将去噪处理后的特征输入其他层可形变卷积网络，由该其他层可形变卷积网络对输入的特征进行处理，得到第三特征；

基于该第二特征和该第三特征，获取该第二图像的空间特征；

将该第一图像的特征作为该第一图像的空间特征。

在一些实施例中，该获取模块1101，用于基于光流估计网络，对该第一图像和该第二图像的特征进行处理，得到该图像序列的空间特征。

在一些实施例中，该重构模块1102，用于：

对该图像序列的该时序特征和该空间特征进行融合，得到目标特征；

基于该目标特征进行图像重构，得到目标图像。

在一些实施例中，该重构模块1102，用于：

对于该图像序列中任一个图像，对该图像的该时序特征和该空间特征进行连接，得到该图像的图像特征；

对该图像序列中该至少两个图像的该图像特征进行加权，得到目标特征。

在一些实施例中，该获取模块1101，用于基于包括至少两个残差密集块的循环神经网络、循环神经网络或长短期记忆神经网络中的任一项，对该图像序列中至少两个图像进行处理，得到该图像序列的时序特征。

在一些实施例中，该获取模块1101和该重构模块1102，用于将该图像序列输入图像处理网络中，由该图像处理网络的时间模块获取该图像序列的时序特征，由该图像处理网络的空间模块获取该图像序列的空间特征，由该图像处理网络基于该图像序列的该时序特征和该空间特征，进行图像重构，输出目标图像。

需要说明的是：上述实施例提供的图像处理装置在图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，根据需要而将上述功能分配由不同的功能模块完成，即将图像处理装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图12是本申请实施例提供的一种图像处理网络训练装置的结构示意图，参见图12，该装置包括：

获取模块1201，用于基于图像处理网络，根据样本图像序列中至少两个样本图像的顺序，获取该样本图像序列的时序特征；

该获取模块1201，用于基于该图像处理网络，根据该样本图像序列中该至少两个样本图像之间像素的位置变化，获取该样本图像序列的空间特征；

重构模块1202，用于基于该图像处理网络，基于该样本图像序列的该时序特征和该空间特征，进行图像重构，得到预测图像；

训练模块1203，用于基于该预测图像与该样本图像序列对应的目标图像之间的相似度，对该图像处理网络进行训练。

需要说明的是：上述实施例提供的图像处理装置在图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，根据需要而将上述功能分配由不同的功能模块完成，即将图像处理装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图13是本申请实施例提供的一种电子设备的结构示意图，该电子设备1300可因配置或性能不同而产生比较大的差异，包括一个或一个以上处理器(Central ProcessingUnits，CPU)1301和一个或一个以上的存储器1302，其中，该存储器1302中存储有至少一条计算机程序，该至少一条计算机程序由该处理器1301加载并执行以实现上述各个方法实施例提供的图像处理方法。该电子设备还包括其他用于实现设备功能的部件，例如，该电子设备还具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出。本申请实施例在此不做赘述。

述方法实施例中的电子设备实现为终端。例如，图14是本申请实施例提供的一种终端的结构框图。该终端1400可以是便携式移动终端，比如：智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1400包括有：处理器1401和存储器1402。

处理器1401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1401可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1401所执行以实现本申请中方法实施例提供的图像处理方法。

在一些实施例中，终端1400还可选包括有：外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。具体地，外围设备包括：射频电路1404、显示屏1405、摄像头组件1406、音频电路1407、定位组件1408和电源1409中的至少一种。

外围设备接口1403可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1401和存储器1402。在一些实施例中，处理器1401、存储器1402和外围设备接口1403被集成在同一芯片或电路板上；在一些其他实施例中，处理器1401、存储器1402和外围设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时，显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时，显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1405可以为一个，设置在终端1400的前面板；在另一些实施例中，显示屏1405可以为至少两个，分别设置在终端1400的不同表面或呈折叠设计；在另一些实施例中，显示屏1405可以是柔性显示屏，设置在终端1400的弯曲表面上或折叠面上。甚至，显示屏1405还可以设置成非矩形的不规则图形，也即异形屏。显示屏1405可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。

摄像头组件1406用于采集图像或视频。可选地，摄像头组件1406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1401进行处理，或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1407还可以包括耳机插孔。

定位组件1408用于定位终端1400的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1408可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1409用于为终端1400中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1400还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于：加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。

加速度传感器1411可以检测以终端1400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1411可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1411采集的重力加速度信号，控制显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1411还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1412可以检测终端1400的机体方向及转动角度，陀螺仪传感器1412可以与加速度传感器1411协同采集用户对终端1400的3D动作。处理器1401根据陀螺仪传感器1412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1413可以设置在终端1400的侧边框和/或显示屏1405的下层。当压力传感器1413设置在终端1400的侧边框时，可以检测用户对终端1400的握持信号，由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在显示屏1405的下层时，由处理器1401根据用户对显示屏1405的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1414用于采集用户的指纹，由处理器1401根据指纹传感器1414采集到的指纹识别用户的身份，或者，由指纹传感器1414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1414可以被设置在终端1400的正面、背面或侧面。当终端1400上设置有物理按键或厂商Logo时，指纹传感器1414可以与物理按键或厂商Logo集成在一起。

光学传感器1415用于采集环境光强度。在一个实施例中，处理器1401可以根据光学传感器1415采集的环境光强度，控制显示屏1405的显示亮度。具体地，当环境光强度较高时，调高显示屏1405的显示亮度；当环境光强度较低时，调低显示屏1405的显示亮度。在另一个实施例中，处理器1401还可以根据光学传感器1415采集的环境光强度，动态调整摄像头组件1406的拍摄参数。

接近传感器1416，也称距离传感器，通常设置在终端1400的前面板。接近传感器1416用于采集用户与终端1400的正面之间的距离。在一个实施例中，当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变小时，由处理器1401控制显示屏1405从亮屏状态切换为息屏状态；当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变大时，由处理器1401控制显示屏1405从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图14中示出的结构并不构成对终端1400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

上述方法实施例中的电子设备实现为服务器。例如，图15是本申请实施例提供的一种服务器的结构示意图，该服务器1500可因配置或性能不同而产生比较大的差异，包括一个或一个以上处理器(Central Processing Units，CPU)1501和一个或一个以上的存储器1502，其中，该存储器1502中存储有至少一条计算机程序，该至少一条计算机程序由该处理器1501加载并执行以实现上述各个方法实施例提供的图像处理方法。当然，该服务器还具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出，该服务器还包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序由可由处理器执行以完成上述实施例中的图像处理方法。例如，计算机可读存储介质是只读存储器(Read-Only Memory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、只读光盘(Compact Disc Read-OnlyMemory，简称：CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或该计算机程序包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得电子设备执行上述图像处理方法。

在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。

本领域普通技术人员理解实现上述实施例的全部或部分步骤通过硬件来完成，也通过程序来指令相关的硬件完成，该程序存储于一种计算机可读存储介质中，上述提到的存储介质是只读存储器，磁盘或光盘等。

以上描述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。