电子设备和电子设备的控制方法

技术领域

本公开涉及电子设备和用于控制电子设备的方法，并且更具体地，涉及基于用于捕获的用户命令获得图像帧的电子设备和用于控制该电子设备的方法。

相关申请的交叉引用

本申请基于于2020年12月3日向韩国知识产权局提交的韩国专利申请No.10-2020-0167701和于2020年6月29日向印度专利局提交的印度专利申请No.202041027623并要求其优先权，其公开内容通过引用整体并入本文。

背景技术

近年来，随着电子技术的发展，包括多个相机的电子设备得到了不同的发展。

当基于使用包括多个相机的电子设备的用户的捕获命令生成图像帧时，需要提供具有更高质量的图像帧。

发明内容

技术问题

提供了一种使用实时取景(live view)图像获得多个参数值并且使用多个参数值获得与命令相对应的图像帧的电子设备，以及一种用于控制该电子设备的方法。

技术解决方案

根据本公开的一个方面，提供了一种电子设备，该电子设备包括多个相机和通信地连接到多个相机的至少一个处理器，其中，该至少一个处理器被配置为基于获得实时取景图像的第一用户命令，基于经由多个相机中的相机获得的图像帧中包括的像素的亮度和对象，将图像帧分割为多个区域；获得多个相机参数设置值集合，每个相机参数设置值集合包括分别关于多个区域的多个参数值；基于捕获实时取景图像的第二用户命令，通过将多个相机参数设置值集合应用于多个相机中的至少一个相机来获得多个图像帧；并且通过合并多个获得的图像帧来获得与第二用户命令相对应的图像帧。

该至少一个处理器可以被配置为通过将多个区域输入到第一神经网络模型来获得多个第一相机参数设置值集合，并且通过将多个第一相机参数设置值集合、经由相机获得的图像帧和相机的多个参数值输入到第二神经网络模型来获得多个相机参数设置值集合。

第一神经网络模型可以是基于从图像帧获得的区域、已经获得了图像帧的相机的多个参数值以及区域的边缘指标、对比度指标和背景指标而训练的神经网络模型。

基于输入了相机参数设置值集合、通过相机获得的图像帧和相机的多个参数值，第二神经网络模型可以被配置为输出关于与输入的相机参数设置值集合相对应的输入图像帧的边缘指标、对比度指标和背景指标的信息，并且该至少一个处理器可以被配置为基于从第二神经网络模型获得的关于边缘指标、对比度指标和背景指标的信息，获得多个第一相机参数设置值集合中与最大边缘指标相对应的相机参数设置值集合、与最大对比度指标相对应的相机参数设置值集合和与最大背景指标相对应的相机参数设置值集合。

该至少一个处理器可以被配置为识别包括在多个区域的每个相机参数设置值集合中的像素的像素值，并且基于识别出的像素值和预定义的规则来获得多个相机参数设置值集合。

该至少一个处理器可以被配置为，基于捕获实时取景图像的第二用户命令，通过将多个相机参数设置值集合中的一个相机参数设置值集合应用于多个相机中的第一相机来获得图像帧，并且通过将多个相机参数设置值集合中的至少两个相机参数设置值集合应用于多个相机中的第二相机来获得至少两个图像帧。

该至少一个处理器可以被配置为通过将合并的图像帧输入到第三神经网络模型来获得与第二用户命令相对应的图像帧。

多个获得的图像帧中的每一个都可以是拜耳原始图像。

从第三神经网络模型获得的图像帧可以是经历了黑电平调整、颜色校正、伽马校正或边缘增强中的至少一种的图像帧。

根据本公开的另一个方面，提供了一种用于控制包括多个相机的电子设备的方法，该方法包括：基于获得实时取景图像的第一用户命令，基于图像帧中包括的像素的亮度和对象，将通过多个相机中的相机获得的图像帧分割为多个区域；获得多个相机参数设置值集合，每个相机参数设置值集合包括分别关于多个区域的多个参数值；基于捕获实时取景图像的第二用户命令，通过将多个相机参数设置值集合应用于多个相机中的相机来获得多个图像帧；以及通过合并多个获得的图像帧来获得与第二用户命令相对应的图像帧。

获得多个相机参数设置值集合可以包括：通过将多个区域输入到第一神经网络模型来获得多个第一相机参数设置值集合，以及通过将多个第一相机参数设置值集合、经由相机获得的图像帧和相机的多个参数值输入到第二神经网络模型来获得多个相机参数设置值集合。

第一神经网络模型可以是基于从图像帧获得的区域、已经获得了图像帧的相机的多个参数值以及区域的边缘指标、对比度指标和背景指标而训练的神经网络模型。

基于输入了相机参数设置值集合、通过相机获得的图像帧和相机的多个参数值，第二神经网络模型可以被配置为输出关于与输入的相机参数设置值集合相对应的输入图像帧的边缘指标、对比度指标和背景指标的信息，并且获得多个相机参数设置值集合可以包括：基于从第二神经网络模型获得的关于边缘指标、对比度指标和背景指标的信息，获得多个第一相机参数设置值集合中与最大边缘指标相对应的相机参数设置值集合、与最大对比度指标相对应的相机参数设置值集合和与最大背景指标相对应的相机参数设置值集合。

获得多个相机参数设置值集合可以包括：识别包括在多个区域中的每一个中的像素的像素值，并且基于识别出的像素值和预定义的规则来获得多个相机参数设置值集合。

获得多个图像帧可以包括：基于捕获实时取景图像的第二用户命令，通过将多个相机参数设置值集合中的一个相机参数设置值集合应用于多个相机中的第一相机来获得图像帧，以及通过将多个相机参数设置值集合中的至少两个相机参数设置值集合应用于多个相机中的第二相机来获得至少两个图像帧。

获得图像帧可以包括通过将合并的图像帧输入到第三神经网络模型来获得与第二用户命令相对应的图像帧。

多个获得的图像帧中的每一个都可以是拜耳原始图像。

从第三神经网络模型获得的图像帧可以是经历了黑电平调整、颜色校正、伽马校正或边缘增强中的至少一种的图像帧。

包括在每个相机参数设置值集合中的多个参数值可以包括国际标准化组织(ISO)值、快门速度和光圈，并且应用了多个相机参数设置值集合的至少一个相机的光圈可以具有等于包括在多个相机参数设置值集合中的光圈的尺寸。

根据本公开的示例实施例的另一个方面，提供了一种存储程序代码的非暂时性计算机可读存储介质，该程序代码可由至少一个处理器执行，以使该至少一个处理器通过执行前述方法来控制包括多个相机的电子设备。

附图说明

根据以下结合附图的详细描述，本公开的特定实施例的上述和其他方面、特征和优点将更加清楚，其中：

图1是示意性地示出根据实施例的电子设备的图；

图2是示出根据实施例的用于控制电子设备的方法的流程图；

图3A是示出根据实施例的用于将图像帧分割为多个区域的方法的图；

图3B是示出根据实施例的用于将图像帧分割为多个区域的方法的图；

图3C是示出根据实施例的用于将图像帧分割为多个区域的方法的图；

图3D是示出根据实施例的用于将图像帧分割为多个区域的方法的图；

图4是示出根据实施例的用于获得多个相机参数设置值集合的方法的流程图；

图5是示出根据实施例的训练第一神经网络模型的过程的图；

图6是示出根据实施例的、使用第一神经网络模型获得多个第一相机参数设置值集合的方法的示例的图；

图7是示出根据实施例的、使用第二神经网络模型获得多个相机参数设置值集合的方法的示例的图；

图8是示出根据实施例的使用多个相机获得的多个图像帧的图；

图9是示出根据实施例的通过合并多个图像帧来获得图像帧的方法的流程图；

图10是示出根据实施例的多个高斯金字塔(Gaussian pyramid)的图；

图11是示出根据实施例的用于合并多个图像帧的方法的图；

图12是示出根据实施例的、使用第三神经网络模型获得图像帧的方法的图；

图13是示出根据实施例的、使用第一神经网络模型获得多个相机参数设置值集合的方法的示例的图；

图14是示出根据实施例的、使用规则来获得多个相机参数设置值集合的方法的示例的流程图；

图15是示出根据实施例的、使用规则来获得多个相机参数设置值集合的方法的示例的流程图；

图16是示出根据实施例的电子设备的配置的框图；

图17是更具体地示出根据实施例的电子设备的配置的框图；

图18A是示出根据实施例的用于计算图像指标的方法的示例的图；

图18B是示出根据实施例的用于计算图像指标的方法的示例的图；

图18C是示出根据实施例的用于计算图像指标的方法的示例的图；

图19是示出根据实施例的第一神经网络模型的结构的图；

图20是示出根据实施例的第一神经网络模型的结构的图；

图21是示出根据实施例的第一神经网络模型的训练的图；

图22是示出根据实施例的第二神经网络模型的结构的图；

图23A是示出根据实施例的第三神经网络模型的结构的图；以及

图23B是示出根据实施例的第三神经网络模型的结构的图。

具体实施方式

在下文中，将参考附图更详细地描述实施例。这些实施例可以被不同地改变，并且可以包括其他实施例。具体实施例将在附图中示出并在说明书中详细描述。应当注意，这些实施例并不旨在限制本公开的范围，而是应当被解释为包括本公开的示例实施例的所有修改、等同物和/或替代物。关于对附图的解释，相似的附图标记可以用于相似的元素。

在描述本公开时，当确定详细描述可能不必要地模糊了本公开的要点时，可以省略对相关技术或配置的详细描述。

此外，本文描述的实施例可以以各种形式改变，并且本公开的范围不限于这些实施例。提供实施例是为了使本公开完整，并且向本领域普通技术人员充分告知本公开的范围。

本公开中使用的术语仅用于描述具体实施例，并不限制本公开的范围。除非特别定义，否则单数表述可以包含复数表述。

在本公开中，诸如″包括″、″可以包括″、″由......组成″或″可以由......组成″的术语在本文中用于表示对应的特征(例如，组成元素，诸如数量、功能、操作或部件)的存在，并且不排除附加特征的存在。

在本公开中，诸如″A或B″、″A[和/或]B中的至少一个″或″A[和/或]B中的一个或多个″的表述包括所列项目的所有可能的组合。例如，″A或B″、″A和B中的至少一个″或″A或B中的至少一个″包括(1)至少一个A，(2)至少一个B，或(3)至少一个A和至少一个B中的任何一个。

在本公开中使用的表述″第一″、″第二″等可以表示各种元件，而不管次序和/或重要性，并且可以用于区分一个元件与另一个元件，并且不限制这些元件。

如果描述了特定元件(例如，第一元件)″可操作地或可通信地耦合到″或″连接到″另一个元件(例如，第二元件)，那么应当理解，该特定元件可以直接或通过又一个元件(例如，第三元件)连接到该另一个元件。

另一个方面，如果描述特定元件(例如，第一元件)″直接耦合到″或″直接连接到″另一个元件(例如，第二元件)，则可以理解在该特定元件和该另一个元件之间没有元件(例如，第三元件)。

此外，取决于实施例，本公开中使用的表述″被配置为″可以与其他表述(诸如″适合于″、″具有......的能力″、″被设计为″、″适配为″、″被制为″和″能够″)互换使用。表述″被配置为″不一定指在硬件方面″被专门设计为″的设备。

相反，在一些情况下，表述″设备被配置为″可以指设备″能够″与另一个设备或组件一起执行操作。例如，短语″被配置(或设置)为执行操作的单元或处理器″可以指例如但不限于能够通过执行存储在存储器设备中的一个或多个软件程序来执行对应的操作的专用处理器(例如，嵌入式处理器)、通用处理器(例如，中央处理单元(CPU)或应用处理器)等。

实施例中诸如″模块″或″单元″的术语可以执行至少一种功能或操作，并且可以被实现为硬件、软件或硬件和软件的组合。此外，除了当多个″模块″、″单元″等中的每一个都需要在特定硬件中实现时，组件可以集成在至少一个模块中，并且在至少一个处理器中实现。

示意性地示出了附图中的各种元素和区域。因此，本公开的范围不受附图中所示的相对尺寸或间隔的限制。

在下文中，参考附图，将详细描述本公开的实施例，使得本公开所属领域的技术人员可以容易地实践本公开。

图1是示意性地示出根据实施例的电子设备的图。

如图1所示，根据本公开实施例的电子设备100可以包括多个相机111、112和113。

例如，电子设备100可以被实现为如图1所示的智能手机。然而，根据本公开的电子设备100不限于特定类型的设备，并且可以被实现为各种类型的电子设备，诸如平板个人计算机(PC)、个人数字助理(PDA)、智能手表、膝上型计算机、虚拟现实(VR)设备、物联网(IoT)设备和数码相机。

根据本公开的多个相机111、112和113中的每一个都可以包括图像传感器和镜头。

这里，镜头的视场(FOV)可能彼此不同。例如，如图1所示，多个相机111、112和113可以包括设置在电子设备100的后表面上的长焦镜头、广角镜头和超广角镜头。然而，根据本公开的镜头的数量和类型没有特别的限制。

图2是示出根据实施例的用于控制电子设备的方法的流程图。

如图2所示，根据本公开实施例的电子设备100可以接收用于获得实时取景图像的第一用户命令(S210)。

本文中的实时取景图像可以指显示在电子设备100的显示器上的图像，其是通过经由相机的图像传感器将通过相机的镜头入射的光转换为电图像信号而获得的。

用户命令可以是，例如，用于驱动存储在电子设备100中的相机应用的用户命令。可以基于经由电子设备100的显示器的用户触摸输入、经由电子设备100的麦克风接收到的用户语音、经由设置在电子设备100上的物理按钮的输入、由用于控制电子设备100的遥控设备发送的控制信号等来接收这样的用户命令。

基于接收到用于获得实时取景图像的用户命令，电子设备100可以使用相机获得多个图像帧(S220)。

在下文中，基于电子设备100通过驱动多个相机111、112、113中的相机111获得多个图像帧的假设进行描述。然而，这仅是用于描述根据本公开的电子设备100的操作的示例，并且不对电子设备100的操作进行限制。例如，电子设备100可以通过驱动相机112和113之一来获得多个图像帧。

当相机111用于获得多个图像帧时，相机111可以基于相机111的多个参数值来获得多个图像帧。

在下文中，多个参数可以包括国际标准化组织(ISO)、快门速度和光圈。然而，这仅是示例，多个参数不限于此。

ISO可以是用于控制图像传感器对光的反应度(或灵敏度)的参数。尽管相同的光量入射到相机的图像传感器，但是图像帧的亮度取决于为相机设置的ISO值而变化。例如，尽管相同的光量入射到相机的图像传感器，但是随着ISO值变大，图像帧变得更亮，而随着ISO值变小，图像帧变得更暗。

快门速度可以是用于控制图像传感器曝光时间长度的参数。根据为相机设置的快门速度值，可以确定图像传感器曝光以获得图像帧的时间长度。例如，当快门速度高时，图像传感器曝光的时间减少，而当快门速度低时，图像传感器曝光的时间延长。

光圈可以是与光经由光圈入射到图像传感器的区域(即，光圈的孔)相关的参数，并且可以由f数值表示，该f数值是镜头的焦距与光圈直径的比率。入射到图像传感器的光量可以取决于与光圈相对应的区域的尺寸而变化。例如，当光圈值(例如，f数值)小时，区域的尺寸大，并且更大的光量可以入射到图像传感器。

所有的多个相机可以具有固定的光圈值。换句话说，光圈的孔的尺寸可以不变，并且可以为每个相机提供固定的尺寸。

因此，相机111可以基于相机111的ISO值、快门速度值和光圈值来获得多个图像帧。

换句话说，电子设备100可以使用被确定为与相机111相对应的ISO值和快门速度值来设置相机111的ISO和快门速度，并且通过基于设置的ISO值和快门速度值驱动相机111来获得多个图像帧。相机111的光圈的孔可以具有与光圈值相对应的尺寸。

在本公开中，假设多个相机111、112和113的ISO值和快门速度值被归一化为0至1之间的值(例如，0.1、0.2、0.3、.......、0.8、0.9、1.0)。此外，在本公开中，假设相机111的光圈值是1，相机112的光圈值是2，相机113的光圈值是3。这里，为1、2或3的光圈值并不意味着相机111、112和113的实际光圈值是1、2或3，而是为了根据光圈值区分相机111、112和113而设置的。换句话说，相机111、112和113中的每一个的光圈值可以是例如各种光圈值中的一个，诸如F/1.8、F/2.0、F/2.2、F/2.4和F/2.8。

此外，电子设备100可以使用多个图像帧，在电子设备100的显示器上显示实时取景图像。

具体地，电子设备100可以将通过相机111获得的多个图像帧临时存储在易失性存储器(诸如电子设备100的帧缓冲器)中，并且使用多个图像帧，在电子设备100的显示器上显示实时取景图像。

电子设备100可以通过分割图像帧来获得多个区域(S230)。例如，电子设备100可以通过相机111获得图像帧，并且通过分割图像帧来获得多个区域。

具体地，电子设备100可以通过基于图像帧中包括的像素的亮度和对象分割图像帧来获得多个区域。

首先，电子设备100可以通过基于图像帧中包括的像素的亮度分割图像帧来获得多个区域。

本文中的像素的亮度可以指像素的像素值(例如，灰度图像中像素的像素值)。

此外，基于像素的亮度的分割可能意味着分割是基于光强度的。这是因为通过相机获得的图像帧中与主体(subject)相对应的像素的亮度取决于施加到该主体的光强度而变化。

在这种情况下，电子设备100可以通过使用神经网络模型来获得关于从图像帧分割的多个区域的信息。本文中的神经网络模型可以指由图像帧训练的模型，这些图像帧中的每一个都基于像素的亮度被分割为多个区域。

换句话说，电子设备100可以将图像帧输入到神经网络模型，并且从神经网络模型获得关于基于像素的亮度从图像帧分割的多个区域的信息。

在本文中，将图像帧输入到神经网络模型可以指输入图像帧中包括的像素的像素值(例如，R、G和B像素值)。此外，关于多个区域的信息可以包括多个区域的位置信息。在这种情况下，该位置信息可以包括每个区域中包括的像素的坐标值。

例如，如图3A所示，电子设备100可以获得基于像素的亮度从图像帧310分割的多个区域311、312、313和314。在这种情况下，基于亮度从图像帧310中确定亮度等于或大于阈值亮度的区域，并且亮度等于或大于阈值亮度的区域可以被划分为多个区域311、312、313和314。

此外，电子设备100可以通过基于图像帧中包括的对象分割图像帧来获得多个区域。

本文中的对象可以包括具有各种结构(或形状)的各种类型的对象，诸如人、动物、植物、建筑物、物体、地貌等。

电子设备100可以使用神经网络模型来获得关于基于图像帧中包括的对象从图像帧分割的多个区域的信息。

本文中的神经网络模型可以指由图像帧训练的模型，每个图像帧基于对象被划分为多个区域。例如，神经网络模型可以指对象分割模型。对象分割模型可以识别包括在输入图像帧中的对象、对象的结构等，并且输出关于与对象相对应的对象区域的信息。

换句话说，电子设备100可以将图像帧输入到神经网络模型，并且从神经网络模型获得关于基于对象从图像帧分割的多个区域的信息。

在本文中，将图像帧输入到神经网络模型可以指输入图像帧中包括的像素的像素值(例如，R、G和B像素值)。此外，关于多个区域的信息可以包括多个区域中每个区域的位置信息。在这种情况下，该位置信息可以包括每个区域中包括的像素的坐标值。

例如，如图3B所示，电子设备100可以获得基于对象从图像帧310分割的多个区域321、322、323和324。

然后，电子设备100可以根据基于像素的亮度分割的多个区域和基于图像帧310中包括的对象分割的多个区域，将图像帧310分割为多个区域。

电子设备100可以使用k均值聚类(k-means clustering)将图像帧分割为多个区域。本文中的k均值聚类可以指基于数据和每个聚类的质心之间的距离将数据分割为k个聚类的算法。

具体地，电子设备100可以根据基于像素的亮度从图像帧分割的多个区域和基于对象从图像帧分割的多个区域来识别多个聚类。

电子设备100可以使用k均值聚类，针对识别出的多个聚类中的每一个分割图像帧。

例如，如果如图3A所示的基于像素的亮度将图像帧310分割为四个区域311、312、313和314，并且如图3B所示的基于对象将图像帧310分割为四个区域321、322、323和324，则电子设备100可以假设总共有八个聚类(即，基于像素的亮度的四个区域和基于对象的四个区域)。

如上所述，如果有八个聚类，则电子设备100可以使用k均值聚类(k＝1，2，......，8)，基于像素的像素值将图像帧分割为一个区域、两个区域、......和八个区域。

然后，电子设备100可以计算每个分割的图像帧的熵，并且识别具有最大计算熵的图像帧。

如在上述示例中，如果图像帧被分割为一个区域、两个区域、......和八个区域之一，则可能存在被分割为一个区域的图像帧、被分割为两个区域的图像帧、......和被分割为八个区域的图像帧。

在这种情况下，电子设备100可以基于下面的数学表达式1来计算每个分割的图像帧的熵E(i)。

【数学表达式1】

在此，满足

例如，如图3C所示，假设使用k均值聚类(k＝2)将配置有总共16个像素的图像帧330分割为两个区域331和332。

如果区域331和332均由八个像素构成，则区域331的P1为8/16，区域332的P2为8/16。因此，图像帧的熵E可以被计算为：

通过上述方法，电子设备100可以计算被分割为一个区域的图像帧的熵、被分割为两个区域的图像帧的熵、......和被分割为八个区域的图像帧的熵。

此外，电子设备100可以基于具有最大计算熵的图像帧将图像帧分割为的多个区域。换句话说，电子设备100可以将从具有最大计算熵的图像帧分割的多个区域识别为，基于像素的亮度和对象从该图像帧分割的多个区域。

在上述示例中，如果被分割为四个区域的图像帧的熵具有计算出的熵中的最大值，则电子设备100可以将图像帧310分割为四个区域341、342、343和344，如图3D所示。

因此，通过上述方法，电子设备100可以考虑像素的亮度和对象将图像帧分割为多个区域。

电子设备100可以获得多个相机参数设置值集合，每个集合包括基于多个区域的多个参数值(S240)。

本文中的相机参数设置值集合可以被配置有多个参数值。例如，设置值集合可以包括ISO值、快门速度值和光圈值。

电子设备100可以使用神经网络模型获得多个相机参数设置值集合。

图4是示出根据实施例的用于获得多个相机参数设置值集合的方法的流程图。参考图4，电子设备100可以通过将多个区域输入到第一神经网络模型来获得多个第一相机参数设置值集合(S410)。

在本文中，将区域输入到第一神经网络模型可以指输入包括在区域中的像素的像素值(例如，R、G和B像素值)。

第一神经网络模型可以输出分别与多个输入区域相对应的多个相机参数设置值集合。

第一神经网络模型可以输出分别与多个输入区域相对应的相机参数设置值集合。

本文中的相机参数设置值集合可以包括ISO值、快门速度值和光圈值。

表述″与......相对应″可以意味着从第一神经网络模型输出的相机参数设置值集合包括输入区域的多个期望(或最佳)参数值。本文中的″期望″可以意味着，如果输入区域是使用从第一神经网络模型输出的相机参数设置值集合通过相机获得的，则对应的区域将在图像指标(index)方面得到进一步增强。

为此，可以基于从图像帧获得的区域、已经获得了图像帧的相机的多个参数值以及该区域的图像指标来训练第一神经网络模型。

本文中的图像指标可以包括边缘指标、对比度指标和背景指标(或背景噪声指标)。

在下文中，将参考图5更具体地描述训练第一神经网络模型的过程。

参考图5，图像帧510可以被分割为多个区域521、522和523。

例如，基于通过对象检测模型获得的与对象的位置相对应的信息，图像帧510可以被分割为多个区域521、522和523。对象检测模型可以输出关于与包括在输入图像帧510中的对象的形状相对应的对象的区域的信息。

然后，可以计算多个区域521、522和523中的每一个的边缘指标、对比度指标和背景指标。

边缘指标可以是用于指示图像帧(或图像帧的区域)的锐度的指标。大的边缘指标值指示清晰的图像帧。

对比度指标可以是用于指示图像帧(或图像帧的区域)的亮度的指标。大的对比度指标指示亮的图像帧。

背景指标可以是用于指示图像帧(或图像帧的区域)的背景区域的噪声程度的指标。大的背景指标指示图像帧包括具有较少噪声的背景区域。

可以使用关于多个区域521、522和523中的每一个计算出的边缘指标、对比度指标和背景指标来计算多个区域521、522和523中的每一个的增强比率。

具体地，当关于给定分割的区域计算出的边缘指标、对比度指标和背景指标分别被定义为Edgeindex、Contrastindex和Backgroundindex时，对应的区域的增强比率可以被计算为

多个区域521、522和523可以被转换为单独的图像帧531、532和533。

将多个区域521、522和523转换为单独的图像帧531、532和533可以指获得包括在每个区域521、522和523中的像素的像素值(例如，R、G和B像素值)，并且通过使用获得的像素值来生成图像帧531、532和533。

在这种情况下，图像帧531、532和533中的每一个都可以是第一神经网络模型的输入数据。换句话说，输入数据可以包括区域521、522和523中的每一个中包括的像素的像素值。

此外，可以通过将用于获得图像帧510的相机的多个参数值乘以多个区域521、522和523中的每一个的计算出的增强比率，来获得与多个图像帧531、532和533中的每一个(例如，输入数据)相对应的第一神经网络模型的输出数据。

例如，参考图5，假设通过ISO值、快门速度值和光圈值分别为0.5、0.3和1的相机(未示出)获得了图像帧510，并且区域521、522和523的增强比率分别被计算为0.53、0.31和0.16。

在这种情况下，与图像帧531相对应的输出数据可以被获得为0.53x(0.5，0.3，1)＝(0.265，0.159，0.53)。此外，与图像帧532相对应的输出数据可以被获得为0.31x(0.5，0.3，1)＝(0.155，0.093，0.31)，与图像帧533相对应的输出数据可以被获得为0.16x(0.5，0.3，1)＝(0.08，0.048，0.16)。

在下文中，可以基于输入/输出数据(例如，输入数据和输出数据对)来训练第一神经网络模型。在这种情况下，可以通过参考图5描述的方法基于从大量的图像帧获得的输入/输出数据来训练第一神经网络模型。

具体地，可以生成相对于输入数据输出ISO值、快门速度值和光圈值的第一神经网络模型。为了便于描述，本文中的ISO值和快门速度值中的每一个可以是0和1之间的值，光圈值可以是为1、2和3的值。

在下文中，输入数据可以被输入到第一神经网络模型，并且第一神经网络模型可以被训练为最小化从第一神经网络模型输出的ISO值、快门速度值和光圈值与输出数据之间的损失(例如，损失函数)。

如上所述，在本公开中，基于指示区域质量的图像指标来计算增强比率，因此，增强比率可以是用于评估用于获得区域的相机的多个参数值在图像指标方面对于对应的区域是否是合适值的指标。因此，如果在第一神经网络模型的训练中使用增强比率作为用于获得区域的多个参数值的权重因子，则第一神经网络模型可以被训练为输出用于增强输入图像的图像指标的多个参数值。

如上所述，电子设备100可以通过将多个区域输入到第一神经网络模型来获得多个第一相机参数设置值集合。

图6是示出根据实施例的使用第一神经网络模型获得多个第一相机参数设置值集合的方法的示例的图。参考图6，电子设备100可以通过将多个区域611、612、613和614中的每一个输入到第一神经网络模型121来获得多个第一相机参数设置值集合621、622、623和624中的每一个。

相机参数设置值集合可以包括(ISO值、快门速度值、光圈值)。例如，与区域611相对应的相机参数设置值集合可以是(0.2，0.1，1)621，与区域612相对应的相机参数设置值集合可以是(0.1，0.3，0.1)622，与区域613相对应的相机参数设置值集合可以是(0.4，0.6，2)623，与区域614相对应的相机参数设置值集合可以是(0.6，0.7，3)625。

电子设备100可以通过将多个第一相机参数设置值集合、通过相机111获得的图像帧和相机111的多个参数值输入到第二神经网络模型来获得多个相机参数设置值集合(S420)。

在本文中，将图像帧输入到第二神经网络模型可以指输入图像帧中包括的像素的像素值(例如，R、G和B像素值)。

基于输入了相机参数设置值集合、图像帧和用于获得图像帧的相机的多个参数值，第二神经网络模型可以输出关于与输入的相机参数设置值集合相对应的图像帧的边缘指标、对比度指标和背景指标的信息。

具体地，当相机使用输入的相机参数设置值集合获得输入图像帧时，第二神经网络模型可以基于输入图像帧和用于获得输入图像帧的多个参数值来估计图像帧的边缘指标、对比度指标和背景指标，并且输出关于估计的边缘指标、对比度指标和背景指标的信息。

在这种情况下，第二神经网络模型可以是例如参数估计网络。第二神经网络模型可以基于通过使用相机的各种参数值捕获物体的图像而获得的图像帧、用于获得图像帧的参数值、在获得的图像帧中具有最高边缘指标的图像帧、具有最高对比度指标的图像帧和具有最高背景指标的图像帧来训练。然而，这仅是示例，第二神经网络模型可以通过各种方法来训练。

因此，通过将从第一神经网络模型获得的多个第一相机参数设置值集合中的每一个连同图像帧和用于获得图像帧的相机111的多个参数值一起输入到第二神经网络模型，电子设备100可以获得关于与多个第一相机参数设置值集合中的每一个相对应的边缘指标、对比度指标和背景指标的信息。

电子设备100可以基于从第二神经网络模型获得的关于边缘指标、对比度指标和背景指标的信息，选择多个第一相机参数设置值集合中的多个相机参数设置值集合。

具体地，电子设备100可以基于从第二神经网络模型获得的关于边缘指标、对比度指标和背景指标的信息，获得多个第一相机参数设置值集合中具有最大边缘指标的相机参数设置值集合、具有最大对比度指标的相机参数设置值集合和具有最大背景指标的相机参数设置值集合。

图7是示出根据实施例的使用第二神经网络模型获得多个相机参数设置值集合的方法的示例的图。参考图7，电子设备100可以选择多个第一相机参数设置值集合621、622、623和624中的相机参数设置值集合621，并且向第二神经网络模型122输入相机参数设置值集合621中包括的ISO值、快门速度值和光圈值(即，(ISO，快门速度，光圈)＝(0.2，0.1，1))、图像帧310以及用于获得图像帧310的相机111的ISO值、快门速度值和光圈值(即，(ISO，快门速度，光圈)＝(0.2，0.5，3))710，以获得关于与相机参数设置值集合621相对应的边缘指标、对比度指标和背景指标的信息720。

电子设备100可以通过对相机参数设置值集合622、623和624执行上述过程，获得关于与相机参数设置值集合622、623和624中的每一个相对应的边缘指标、对比度指标和背景指标的信息。

当假设与相机参数设置值集合622相对应的边缘指标在获得的边缘指标中最高，与相机参数设置值集合623相对应的对比度指标在获得的对比度指标中最高，并且与相机参数设置值集合624相对应的背景指标在获得的背景指标中最高时，电子设备100可以获得多个第一相机参数设置值集合621、622、623和624中的多个相机参数设置值集合622、623和624。

因此，电子设备100可以通过上述方法获得多个相机参数设置值集合。

返回参考图2，电子设备100可以接收用于捕获实时取景图像的第二用户命令(S250)。

对实时取景图像的捕获可以指获得与用于捕获的用户命令被输入的定时(timing)相对应的图像帧，以便将该图像帧存储在电子设备100中。

在这种情况下存储图像帧可以不同于将实时取景图像的图像帧存储在易失性存储器(诸如帧缓冲器)中，并且可以意味着图像帧被存储在非易失性存储器(诸如电子设备100的闪存)中。如果图库应用根据用户命令被驱动，则如上所述存储的图像帧可以通过图库应用被显示在电子设备100的显示器上。

第二用户命令可以是，例如，用于选择包括在通过相机应用提供的用户界面中的图像捕获按钮的用户命令。不对此示例进行限制，并且可以以各种方式接收第二用户命令，例如基于经由电子设备100的显示器的用户触摸输入、经由电子设备100的麦克风接收到的用户语音、经由设置在电子设备100上的物理按钮的输入、由用于控制电子设备100的遥控设备发送的控制信号等。

基于接收到用于捕获实时取景图像的第二用户命令(S250-是)，电子设备100可以使用多个相机参数设置值集合以及多个相机111、112和113中的相机来获得多个图像帧(S260)。

为此，电子设备100可以识别多个相机参数设置值集合中与相机相对应的相机参数设置值集合。

具体地，电子设备100可以基于包括在多个相机参数设置值集合中的光圈值和多个相机111、112和113的光圈值，将包括与相机的光圈值相同的光圈值的相机参数设置值集合识别为与相机相对应的相机参数设置值。

例如，假设多个相机参数设置值集合是(ISO，快门速度，光圈)＝(0.1，0.3，1)，(0.4，0.6，2)和(0.6，0.7，3)，相机111的光圈值是1，相机112的光圈值是2，相机113的光圈值是3。

在这种情况下，电子设备100可以识别(0.1，0.3，1)是与相机111相对应的相机参数设置值集合，识别(0.4，0.6，2)是与相机112相对应的相机参数设置值集合，并且识别(0.6，0.7，3)是与相机113相对应的相机参数设置值集合。

电子设备100可以使用被识别为与相机111相对应的(0.1，0.3)来设置相机111的ISO和快门速度，并且基于相机111的设置的ISO值和快门速度值、通过相机111获得图像帧。此外，电子设备100可以使用被识别为与相机112相对应的(0.4，0.6)来设置相机112的ISO和快门速度，并且基于相机112的设置的ISO值和快门速度值、通过相机112获得图像帧。此外，电子设备100可以使用被识别为与相机113相对应的(0.6，0.7)来设置相机113的ISO和快门速度，并且基于相机113的设置的ISO值和快门速度值、通过相机113获得图像帧。

在这种情况下，电子设备100可以通过多个相机111、112和113在相同定时获得多个图像帧。本文中的相同定时不仅可以包括完全相同的定时，还可以包括阈值时间范围内的定时。

如上所述，电子设备100可以使用多个相机参数设置值集合和多个相机111、112和113来获得多个图像帧。

在另一个示例中，电子设备100可以使用多个相机111、112和113中的第一相机并且将多个相机参数设置值集合中的一个相机参数设置值集合应用于第一相机来获得图像帧，并且可以使用多个相机111、112和113中的第二相机并且将多个相机参数设置值集合中的至少两个相机参数设置值集合应用于第二相机来获得至少两个图像帧。

换句话说，如果包括在多个相机参数设置值集合中的至少两个相机参数设置值集合中的光圈值彼此相同，则电子设备100可以识别具有相同光圈值的至少两个相机参数设置值集合对应于一个相机，并且通过该一个相机使用该至少两个相机参数设置值集合获得至少两个图像帧。

例如，假设多个相机参数设置值集合是(ISO，快门速度，光圈)＝(0.1，0.3，1)、(0.9，0.7，1)和(0.8，0.4，2)，相机111的光圈值是1，相机112的光圈值是2，相机113的光圈值是3。

在这种情况下，电子设备100可以识别(0.1，0.3，1)和(0.9，0.7，1)是相机111的相机参数设置值集合，并且识别(0.8，0.4，2)是相机112的相机参数设置值集合。

电子设备100可以使用与相机111相对应的(0.1，0.3)来设置相机111的ISO和快门速度，并且通过相机111获得图像帧。此外，电子设备100可以使用与相机111相对应的(0.9，0.7)来设置相机111的ISO和快门速度，并且通过相机111获得图像帧。

此外，电子设备100可以使用与相机112相对应的(0.8，0.4)来设置相机112的ISO和快门速度，并且通过相机112获得图像帧。

在这种情况下，可以在相同定时获得通过相机111获得的至少两个图像帧中的一个和通过相机112获得的图像帧。本文中的相同定时不仅可以包括完全相同的定时，还可以包括阈值时间范围内的定时。

如上所述，电子设备100可以使用多个相机参数设置值集合和多个相机111、112和113中的两个相机来获得多个图像帧。

在另一个示例中，电子设备100可以使用具有与包括在多个相机参数设置值集合中的光圈值相同的光圈值的相机来获得多个图像帧。换句话说，如果包括在多个相机参数设置值集合中的所有光圈值彼此相同，则电子设备100可以使用具有与包括在多个相机参数设置值集合中的光圈值相同的光圈值的一个相机来获得多个图像帧。

例如，假设多个相机参数设置值集合为(0.1，0.3，1)、(0.9，0.7，1)和(0.8，0.4，1)，相机111的光圈值为1，相机112的光圈值为2，相机113的光圈值为3。

在这种情况下，电子设备100可以识别(0.1，0.3，1)、(0.9，0.7，1)和(0.8，0.4，1)全部是相机111的相机参数设置值集合。

电子设备100可以使用(0.1，0.3)来设置相机111的ISO和快门速度，并且通过相机111获得图像帧。此外，电子设备100可以使用(0.9，0.7)来设置相机111的ISO和快门速度，并且通过相机111获得图像帧。此外，电子设备100可以使用(0.8，0.4)来设置相机111的ISO和快门速度，并且通过相机111获得图像帧。

因此，电子设备100可以使用多个相机参数设置值集合和多个相机111、112和113中的一个相机来获得多个图像帧。

在上述实施例中，由电子设备100获得的多个图像帧可以是拜耳原始数据(或拜耳图案数据)。换句话说，为了生成图像帧(例如，其中多个像素中的每一个都具有R、G和B像素值的图像帧(具有RGB格式的图像帧))，从图像传感器获得的数据经历了诸如插值的处理，但是拜耳原始数据可以是未经历这种处理的数据。

具体地，包括在相机中的图像传感器的像素(或单元)为单色像素，因此，仅透射特定颜色的滤色器可以位于图像传感器的像素上。滤色器可以包括仅透射R色的R滤波器、仅透射G色的G滤波器或仅透射B色的B滤波器，并且位于图像传感器的像素上的滤色器可以指滤色器阵列。在滤色器阵列中，R、G和B滤色器以特定图案设置。在示例中，在拜耳滤波器中，G滤波器的百分比是50％，R滤波器和B滤波器中的每一个的百分比是25％，并且可以提供其中两个G滤波器以及R和B滤波器彼此交叉的图案。

如上所述，R、G和B滤波器中的一个滤波器可以与图像传感器的一个像素相组合，并且一个像素可以仅检测R、G和B中的一种颜色。在这种情况下，由图像传感器的像素使用拜耳滤波器生成的数据可以指拜耳原始数据(在下文中，被称为拜耳原始图像)。然而，不限于此示例，并且由图像传感器的像素生成的数据不限于拜耳原始数据，并且可以使用各种类型的滤色器阵列。

图8是示出根据实施例的使用多个相机获得的多个图像帧的图。参考图8，电子设备100可以基于用于捕获实时取景图像的第二用户命令，分别使用多个相机111、112和113来获得拜耳原始图像821、822和823。

因此，电子设备100可以通过上述方法，基于用于捕获的第二用户命令来获得多个图像帧。

返回参考图2，电子设备100可以基于多个图像帧来获得与第二用户命令相对应的图像帧(S270)。

在这种情况下，图像帧可以被存储在电子设备100的非易失性存储器(诸如闪存)中，然后通过基于用户命令驱动的图库应用被显示在电子设备100的显示器上。

多个图像帧中的每一个都可以是如上所述的拜耳原始图像。

图9是示出根据实施例的通过合并多个图像帧来获得图像帧的方法的流程图。参考图9，电子设备100可以在多个图像帧中选择参考图像帧(S910)。

具体地，电子设备100可以基于锐度将多个图像帧中的一个确定为参考图像帧。在示例中，电子设备100可以将具有最高边缘指标的图像帧确定为参考图像帧。

电子设备100可以通过将多个图像帧中的每一个缩放至彼此不同的尺寸来生成与关于每个图像帧的多个级别相对应的多个图像帧(S920)。

通过将图像帧缩放至彼此不同的尺寸来生成与多个级别相对应的图像帧可以指生成图像金字塔。图像金字塔可以指通过将基础图像缩放至彼此不同的尺寸而获得的图像的汇集(assembly)。

高斯金字塔用作图像金字塔的示例。高斯金字塔可以包括通过对图像重复执行模糊和子采样(或下采样)而生成的、具有彼此不同的尺寸的图像的汇集。在这种情况下，高斯滤波器可以用于模糊。此外，可以通过用于移除图像的偶数列和偶数行中包括的像素的方法执行子采样，来降低图像的分辨率。

例如，可以通过对级别0处的图像(例如，基础图像)执行模糊和子采样来生成级别1处的图像。在这种情况下，级别1处的图像可以具有基础图像的1/2的分辨率。此外，可以通过对级别1处的图像执行模糊和子采样来生成级别2处的图像。在这种情况下，级别2处的图像可以具有基础图像的1/4的分辨率。这种方法可以以逐步的方式执行，以生成包括与多个级别相对应的图像的高斯金字塔。

换句话说，电子设备100可以将多个图像帧中的每一个设置为基础图像，并且生成多个图像帧的多个高斯金字塔。在这种情况下，高斯金字塔可以包括与多个级别相对应的图像帧。

电子设备100可以通过比较每个级别处的图像帧来选择每个级别处的一个图像帧(S930)。

具体地，电子设备100可以选择每个级别处包括的多个图像帧中的、图像帧之间具有最小差的图像帧。换句话说，电子设备100可以为每个图像帧计算图像帧和与该图像帧相同级别处包括的其他图像帧之间的像素值差，并且选择每个级别处具有最小计算差的图像帧。

图10是示出根据实施例的多个高斯金字塔的图。如图10所示，可以生成关于多个图像帧1011、1021和1031的多个高斯金字塔1010、1020和1030。图10示出了生成具有四个级别的高斯金字塔，但是本公开不限于此示例，并且高斯金字塔可以包括不同级别的图像。

在这种情况下，电子设备100可以识别级别0处的多个图像帧1011、1021和1031中具有最小像素值差的图像帧1011。此外，电子设备100可以识别级别1处的多个图像帧1012、1022和1032中具有最小像素值差的图像帧1022。电子设备100可以在级别2和级别3处执行这样的过程，以识别级别2处具有最小像素值差的图像帧1033，并且识别级别3处具有最小像素值差的图像帧1014。

如上所述，电子设备100可以选择多个级别处的多个图像帧1011、1022、1033和1014。

然后，电子设备100可以缩放多个所选图像帧中的至少一个图像帧，使得多个所选图像帧具有相同的尺寸(S940)。

在这种情况下，电子设备100可以对除了用作基础图像的图像帧之外的剩余图像帧执行上采样，以具有与生成高斯金字塔时用作基础图像的图像帧相同的尺寸。

电子设备100可以识别具有相同尺寸的多个图像帧中的每一个中的、将与参考图像帧合并的至少一个图块(tile)(S950)。

为此，电子设备100可以执行对参考图像帧和具有相同尺寸的多个图像帧中的每一个的分块(tiling)。分块意味着图像帧被划分为多个区域。在这种情况下，每个区域可以被称为图块，并且图块的尺寸可以小于图像帧的尺寸。

电子设备100可以识别多个图像帧中的每一个的图块中的、将与参考图像帧的图块合并的至少一个图块。

具体地，电子设备100可以识别任何给定图像帧的图块中的、与参考图像帧的图块的差等于或小于预设阈值的至少一个图块。在这种情况下，电子设备100可以将拉普拉斯滤波器应用于参考图像帧和图像帧，识别应用了拉普拉斯滤波器的参考图像帧的图块和应用了拉普拉斯滤波器的图像帧的图块之间的差，并且识别每个图像帧的图块中具有等于或小于预设阈值的差的至少一个图块。本文中的预设阈值可以是例如5％。

图11是示出根据实施例的用于合并多个图像帧的方法的图。参考图11，可以通过缩放在多个级别处的多个图像帧中选择的图像帧1022、1033和1014来生成具有与图像帧1011相同尺寸的图像帧1022-1、1033-1和1014-1。

电子设备100可以计算应用了拉普拉斯滤波器的图像帧1014-1的图块1和应用了拉普拉斯滤波器的参考图像帧的图块1之间的差，并且如果计算出的差等于或小于预设阈值，则电子设备100可以将图像帧1014-1的图块1识别为将与参考图像帧的图块1合并的图像帧。此外，电子设备100可以计算应用了拉普拉斯滤波器的图像帧1014-1的图块2和应用了拉普拉斯滤波器的参考图像帧的图块2之间的差，并且如果计算出的差等于或小于预设阈值，则电子设备100可以将图像帧1014-1的图块2识别为将与参考图像帧的图块2合并的图像帧。电子设备100可以通过对图像帧1011、1022-1和1033-1执行上述过程来识别将与参考图像帧的图块1和2合并的图像帧。图11示出了图像帧被划分为两个图块。然而，不对此示例进行限制，并且图像帧可以被划分为三个或更多个图块。

电子设备100可以将参考图像帧与被识别为将与参考图像帧合并的图像帧合并，并且生成合并的图像帧(S960)。

具体地，电子设备100可以使用离散傅立叶变换(DFT)将参考图像帧(或参考图像帧的图块)和待合并的图像帧(或待合并的图像帧的图块)转换到频域，并且在频域上合并图像帧(或图像帧的图块)。

如果图像帧I(x，y)(这里x和y是像素的坐标值)在频域上由T(wx，wy)表示，则电子设备100可以使用下面的数学表达式2来在频域上合并图像帧。

【数学表达式2】

这里，To(w

此外，电子设备100可以使用傅立叶逆变换将合并的帧图像转换到图像域。换句话说，电子设备100可以使用傅立叶逆变换将To(w

根据实施例，多个相机中的至少两个相机的分辨率可以彼此不同。因此，电子设备100根据用于捕获实时取景图像的第二用户命令获得的多个图像帧中的至少两个图像帧的尺寸可以彼此不同。

在这种情况下，在生成多个高斯金字塔之前，电子设备100可以裁剪多个图像帧中的至少一个图像帧，使得多个图像帧具有相同的尺寸。因此，用作用于生成多个高斯金字塔的参考图像的多个图像帧可以具有相同的尺寸。

可以对拜耳原始图像执行上述合并过程，并且因此，图像域上合并的图像帧也可以是拜耳原始图像。

在这种情况下，电子设备100可以基于合并的图像帧来生成图像帧(例如，其中多个像素中的每一个都具有R、G和B像素值的图像帧(RGB格式的图像帧))。

在本文中，电子设备100可以使用神经网络模型来获得图像帧。第三神经网络模型可以是条件生成对抗网络(cGAN)。条件GAN(cGAN)可以包括生成器和鉴别器。在这种情况下，可以以对抗的方式来训练生成器和鉴别器。

生成器可以生成并且输出其中多个像素中的每一个都具有与输入的拜耳原始图像相对应的R、G和B像素值的图像帧。

用于训练cGAN的生成器的输入数据x可以是在用户使用各种参数值通过相机捕获到图像时由相机的图像传感器获得的拜耳原始图像，并且生成器的输出数据y可以是通过对拜耳原始图像执行诸如插值的过程而获得的图像帧(例如，JPEG格式的图像帧)。

在这种情况下，可以通过向生成器输入输入数据x和噪声数据来获得生成器的输出G(x)。

此外，(输入数据x，输出数据y)对(pair)(以下被称为真实对数据)和(输入数据x，G(x))对(以下被称为虚假对数据)可以被输入到鉴别器。鉴别器可以分别输出关于真实对数据和虚假对数据是真实的还是虚假的概率值。

如果鉴别器的关于输入的真实对数据的输出被定义为D(x，y)，鉴别器的关于输入的虚假对数据的输出被定义为D(x，G(x))，则生成器的损失

【数学表达式3】

【数学表达式4】

这里，λ

L1[G(x)，y]是生成器的输出G(x)和输出数据y之间的锐度的损失，并且可以指示像素值的差为|G(x)-y|。此外，L2[G(x)，y]是生成器的输出G(x)和输出数据y之间的像素值的损失，并且可以被表示为

此外，α是生成器的下采样层的数量，并且T

在这种情况下，可以训练鉴别器，以使鉴别器的损失

因此，电子设备100可以通过将合并的图像帧输入到第三神经网络模型来获得图像帧。此外，电子设备100可以将获得的图像帧存储在电子设备100的非易失性存储器(诸如闪存)中。

这里，图像帧可以是其中多个像素中的每一个具都有R、G和B像素值的图像帧。在这种情况下，图像帧可以具有与合并的图像帧相同的尺寸。

图12是示出根据实施例的、使用第三神经网络模型获得图像帧的方法的图。参考图12，电子设备100可以通过将合并的图像帧1210输入到第三神经网络模型123来获得图像帧1220。在这种情况下，电子设备100可以通过仅将合并的图像帧1210输入到第三神经网络模型123、而无需将单独的噪声数据输入到第三神经网络模型123来获得图像帧1220。这是因为，在本公开中，通过合并具有不同属性的多个图像帧来生成合并的图像帧，并且在该过程中，认为该合并的图像帧保证了一定程度的随机性。然而，这仅是示例，电子设备100可以将噪声数据和合并的图像帧1210输入到第三神经网络模型123。

在本公开中，从第三神经网络模型123获得的图像帧可以是经历了黑电平调整(black level adjustment)、颜色校正、伽马校正或边缘增强中的至少一种的图像帧。

这里，黑电平调整可以指用于调整包括在拜耳原始图像中的像素的黑电平的图像处理。当通过对拜耳原始图像执行插值来生成图像帧时，在表现颜色时可能发生失真，并且颜色校正可以指用于校正这种失真的图像处理。伽马校正可以指针对图像使用非线性传递函数对光的强度信号进行非线性变换的图像处理。边缘增强可以指用于突出图像边缘的图像处理。

为此，生成器可以具有U-net(U形网络)结构。U-net可以指能够使用低阶信息和高阶信息两者来提取图像帧的特征(诸如边缘等)的神经网络。在本公开中，当基于鉴别器的输出将由生成器生成的图像帧识别为真实图像帧时，生成器可以通过U-net的每个层执行滤波操作，并且执行图像帧的黑电平调整、颜色校正、伽马校正或边缘增强中的至少一种。

如上所述，根据本公开的实施例，电子设备100可以基于用于捕获实时取景图像的第二用户命令来获得图像帧。

根据上述公开内容，可以获得与从图像帧获得的多个区域相对应的多个相机参数设置值集合，可以使用基于图像指标从多个相机参数设置值集合中选择的相机参数设置值集合来获得多个图像帧，并且可以合并获得的图像帧以获得与用于捕获的用户命令相对应的图像帧。因此，可以生成高质量图像帧，可以获得图像帧中亮度彼此不同的区域的边缘相对锐利的图像帧，几乎观察不到斑块现象(patch phenomenon)(例如，天空背景的水平线)，并且还可以减少重影现象。

在上述实施例中，神经网络模型可以指包括神经网络的人工智能模型，并且可以通过深度学习来训练。例如，神经网络模型可以包括深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)和生成对抗网络(GAN)中的至少一个人工神经网络模型。然而，根据本公开的神经网络模型不限于上述示例。

此外，根据本公开的实施例，电子设备100通过上述方法获得图像帧可以在弱光模式(例如，弱光拍摄)下执行。

具体地，如果光强度小于预设阈值，则电子设备100可以激活弱光模式，并且通过上述方法以弱光模式获得图像帧。这里的光强度可以基于对于实时取景图像通过相机获得的图像帧中包括的像素的亮度来计算。然而，本公开不限于此示例，电子设备100可以使用电子设备100的照度传感器来测量环境亮度，并且如果测量的环境亮度小于预设阈值，则电子设备可以激活弱光模式。由于模糊、噪声和不均匀的对比度，以弱光模式获得的图像帧质量差。因此，在本公开中，可以通过上述方法以弱光模式获得增强的图像帧。然而，本公开不限于此示例，并且即使弱光模式没有被激活，电子设备100也可以通过上述方法获得图像帧。

此外，在上述实施例中，描述了第一神经网络模型121输出与多个区域中的每一个相对应的相机参数设置值集合，但是本公开不限于此示例。在另一个示例中，第一神经网络模型121可以通过组合与至少两个区域相对应的相机参数设置值集合来另外生成多个相机参数设置值集合，并且输出分别与多个区域相对应的相机参数设置值集合和组合生成的多个相机参数设置值集合。

对相机参数设置值集合的组合可以指改变相机参数设置值集合中包括的相同参数的参数值。

具体地，第一神经网络模型121可以识别分别与多个区域相对应的多个相机参数设置值集合中具有相同光圈值的相机参数设置值集合，将识别出的相机参数设置值集合中的一个中包括的ISO值改变为识别出的相机参数设置值集合中的另一个中包括的ISO值、或者将识别出的相机参数设置值集合中的一个中包括的快门速度值改变为识别出的相机参数设置值集合中的另一个中包括的快门速度值，并且基于改变的相机参数设置值集合来生成多个相机参数设置值集合。

图13是示出根据实施例的、使用第一神经网络模型获得多个相机参数设置值集合的方法的示例的图。参考图13，如参考图6的示例中描述的，第一神经网络模型121可以基于多个区域611、612、613和614中的每一个生成相机参数设置值集合621、622、623和624。

在本文中，与区域611相对应的相机参数设置值集合621和与区域612相对应的相机参数设置值集合622具有相同的光圈值(即，光圈值1)。

在这种情况下，第一神经网络模型121可以通过改变相机参数设置值集合621和相机参数设置值集合622的快门速度值来生成相机参数设置值集合625和626。具体地，第一神经网络模型121可以通过将相机参数设置值集合621中包括的快门速度值改变为相机参数设置值集合622中包括的快门速度值来生成相机参数设置值集合625，并且通过将相机参数设置值集合622中包括的快门速度值改变为相机参数设置值集合621中包括的快门速度值来生成相机参数设置值集合626。

因此，第一神经网络模型121可以输出多个相机参数设置值集合621、622、623、624、625和626。在这种情况下，电子设备100可以通过将从第一神经网络模型121获得的多个相机参数设置值集合输入到第二神经网络模型122来获得多个相机参数设置值集合。后续操作与上述实施例相同，因此不再重复具体的冗余描述。

此外，在上述实施例中，电子设备100通过使用第二神经网络模型122来获得用于捕获实时取景图像的多个相机参数设置值集合。然而，本公开不限于此示例，并且电子设备100可以通过使用从第一神经网络模型121获得的多个相机参数设置值集合来生成与用于捕获实时取景图像的第二用户命令相对应的图像帧。具体地，电子设备100可以基于从神经网络模型121获得的多个相机参数设置值集合中的每一个中包括的光圈值和多个相机111、112和113的光圈值来识别与相机相对应的相机参数设置值集合，并且使用多个相机参数设置值集合和至少一个相机来获得多个图像帧。

此外，在上述实施例中，描述了电子设备100使用神经网络模型(例如，第一神经网络模型121和第二神经网络模型122)来获得多个相机参数设置值集合。然而，不限于此，并且电子设备100还可以基于规则来获得多个相机参数设置值集合。

具体地，电子设备100可以识别包括在多个区域中的每一个中的像素的像素值，并且基于识别出的像素值和预定义的规则来获得多个相机参数设置值集合。

在这种情况下，电子设备100可以使用基于规则的引擎。基于规则的引擎可以基于预定义的规则来分析输入数据，并且输出其结果。

在本公开中，基于规则来获得多个相机参数设置值集合可以包括基于规则来获得用于捕获图像帧的多个相机参数设置值集合。

图14是示出根据实施例的、使用规则来获得多个相机参数设置值集合的方法的示例的流程图。首先，如图14所示，电子设备100可以识别包括在多个区域中的每一个中的像素的像素值(S1410)，并且基于识别出的像素值来生成基于规则的引擎的输入数据(S1420)。

这里的输入数据可以包括每个区域中包括的像素的像素值、像素值的平均、离差或偏差中的至少一个。

电子设备100可以通过将生成的输入数据输入到基于规则的引擎来获得多个相机参数设置值集合(S1430)。

具体地，电子设备100可以将生成的关于每个区域的输入数据输入到基于规则的引擎。在本公开中，如果生成的区域的输入数据满足预定义的第一规则，则基于规则的引擎可以根据第一规则来确定与该区域相对应的相机参数设置值集合，并且如果关于多个区域确定的多个相机参数设置值集合满足预定义的第二规则，则基于规则的引擎可以根据第二规则来在多个相机参数设置值集合当中确定并输出用于捕获图像帧的多个相机参数设置值集合。

此外，在本公开中，基于规则来获得多个相机参数设置值集合可以包括基于规则来获得与每个区域相对应的相机参数设置值集合。

图15是示出根据实施例的、使用规则来获得多个相机参数设置值集合的方法的示例的流程图。首先，如图15所示，电子设备100可以识别包括在多个区域中的每一个中的像素的像素值(S1510)，并且基于识别出的像素值来生成基于规则的引擎的输入数据(S1520)。

这里，输入数据可以包括每个区域中包括的像素的像素值、像素值的平均、离差或偏差中的至少一个。

电子设备100可以通过将生成的输入数据输入到基于规则的引擎来获得多个第二相机参数设置值集合(S1530)。

具体地，电子设备100可以将生成的每个区域的输入数据输入到基于规则的引擎。在本公开中，如果生成的区域的输入数据满足预定义的规则，则基于规则的引擎可以根据该规则来确定与该区域相对应的相机参数设置值集合，并且输出针对多个区域确定的多个第二相机参数设置值集合。

电子设备100可以通过将多个第二相机参数设置值集合输入到第二神经网络模型122来获得用于捕获图像帧的多个相机参数设置值集合。具体地，电子设备100可以通过将多个第二相机参数设置值集合、通过相机111获得的图像帧以及相机111上设置的多个参数值输入到第二神经网络模型122来获得用于捕获图像帧的多个相机参数设置值集合(S1540)。

此外，在上述实施例中，描述了图像指标包括边缘指标、对比度指标和背景指标。然而，本公开不限于此示例，并且图像指标可以包括与图像帧的质量相关的各种指标。

此外，图像指标可以包括边缘指标、对比度指标或背景指标中的至少一个。在这种情况下，即使在第一神经网络模型121的训练过程中，也可以基于区域的至少一个指标来计算增强比率，并且可以通过使用增强比率来训练第一神经网络模型121。此外，针对输入的相机参数设置值集合，第二神经网络模型122可以输出关于与输入的相机参数设置值集合相对应的图像帧的至少一个指标的信息。

电子设备100可以基于从第二神经网络模型122获得的信息，从多个第一相机参数设置值集合中选择至少一个相机参数设置值集合。基于接收到用于捕获实时取景图像的第二用户命令，电子设备100可以使用选择的至少一个相机参数设置值集合和多个相机111、112和113中的至少一个相机来获得图像帧。

此外，在上述实施例中，描述了电子设备100包括三个相机111、112和113。然而，不限于此，并且电子设备100可以包括至少一个相机。

此外，在上述实施例中，描述了电子设备100的多个相机111、112和113的数量与用于捕获实时取景图像的多个相机参数设置值集合的数量相同。然而，不限于此。

根据实施例，电子设备100的相机的数量可以小于多个相机参数设置值集合的数量。

在这种情况下，电子设备100可以通过使用多个相机参数设置值集合中的至少两个相机参数设置值集合应用于一个相机若干次来获得多个图像帧。例如，当使用一个相机来捕获实时取景图像时，电子设备100可以在一个相机上使用多个相机参数设置值来获得多个图像帧。在另一个示例中，当使用两个相机来捕获实时取景图像时，电子设备100可以在一个相机上使用多个相机参数设置值集合中的至少两个相机参数设置值集合来获得多个图像帧，并且另一个相机上使用剩余的一个相机参数设置值集合来获得一个图像帧。

在这些情况下，用于获得多个图像帧的相机可以使用一个相机参数设置值集合中包括的多个参数值来获得图像帧，然后使用另一个相机参数设置值集合中包括的多个参数值来获得图像帧。

根据实施例，电子设备100的相机的数量可以大于多个相机参数设置值集合的数量。在这种情况下，电子设备100可以使用多个相机参数设置值集合和多个相机中的至少一个相机来获得多个图像帧。

此外，在上述实施例中，电子设备100通过将合并的图像帧输入到第三神经网络模型123来获得图像帧。然而，不限于此，并且电子设备100可以通过对合并的图像帧执行插值、黑电平调整、颜色校正、伽马校正、边缘增强等，而不使用第三神经网络模型123，来获得图像帧(即，其中多个像素中的每一个都具有R、G和B像素值的图像帧(具有RGB格式的图像帧))。

此外，在上述实施例中，电子设备100获得多个拜耳原始图像，并且基于用于捕获实时取景图像的第二用户命令来合并多个拜耳原始图像。然而，不限于此，并且电子设备100可以获得多个图像帧(即，其中多个像素中的每一个都具有R、G和B像素值的图像帧(具有RGB格式的图像帧))，并且通过合并获得的图像帧来获得与用于获取实时取景图像的第二用户命令相对应的图像帧。

此外，在上述实施例中，电子设备100合并多个图像帧来生成合并的图像帧。在这种情况下，电子设备100可以通过使用时域滤波器从多个图像帧中移除噪声，并且合并移除了噪声的多个图像帧。

图16是示出根据实施例的电子设备的配置的框图。

参考图16，电子设备100可以包括多个相机111、112和113、存储器120和处理器130。

多个相机111、112和113中的每一个都可以获得至少一个图像帧。

具体地，多个相机111、112和113中的每一个都可以包括图像传感器和镜头。

在这种情况下，多个相机111、112和113的多个镜头可以具有不同的视角。例如，多个镜头可以包括长焦镜头、广角镜头和超广角镜头。然而，根据本公开，不对镜头的数量及其类型进行特别限制，并且在示例中，相机可以包括标准镜头。

这里，长焦镜头的视角比极限长焦镜头宽，标准镜头的视角比长焦镜头宽，广角镜头的视角比标准镜头宽，超广角镜头的视角比广角镜头宽。例如，极限长焦镜头的视角为3度至6度，长焦镜头的视角为8度至28度，标准镜头的视角为47度，广角镜头的视角为63度至84度，超广角镜头的视角为94度至114度。

存储器120可以存储关于电子设备100的至少一个指令。存储器120可以存储用于驱动电子设备100的操作系统(O/S)。此外，存储器120可以存储用于驱动根据本公开的各种实施例的电子设备100的各种软件程序或应用。存储器120可以包括诸如帧缓冲器的易失性存储器、诸如闪存的半导体存储器或者诸如硬盘驱动器的磁存储介质。

具体地，存储器120可以存储用于驱动根据本公开的各种实施例的电子设备100的各种软件模块，并且处理器130可以通过执行存储在存储器120中的各种软件模块来控制电子设备100的操作。换句话说，处理器130可以访问存储器120，并且处理器130可以执行对存储器120中的数据的读取、记录、编辑、删除和/或更新。

本公开中的术语″存储器″(例如，存储器120)可以包括处理器130中的只读存储器(ROM)(未示出)和随机访问存储器(RAM)(未示出)、或安装在电子设备100上的存储卡(未示出)(例如，微型安全数字(SD)卡或记忆棒)。

处理器130可以控制电子设备100的一般操作。具体地，处理器130可以连接到电子设备100的元件，包括如上所述的多个相机111、112和113以及存储器120，并且如上所述，一般可以通过执行存储在存储器120中的至少一个指令来控制电子设备100的操作。

具体地，处理器130可以包括至少一个处理器130。例如，处理器130可以包括图像信号处理器、图像处理器和应用处理器(AP)。取决于实施例，图像信号处理器或图像处理器中的至少一个可以被包括在AP中。

此外，在根据本公开的各种实施例中，基于接收到用于获得实时取景图像的第一用户命令，处理器130可以通过基于包括在图像帧中的像素的亮度和对象分割通过多个相机111、112和113中的相机111获得的图像帧来获得多个区域，获得包括关于多个分割的区域的多个参数值的多个相机参数设置值集合，并且基于接收到用于捕获实时取景图像的第二用户命令，处理器130可以使用多个相机参数设置值集合和多个相机111、112和113中的相机来获得多个图像帧，并且通过合并多个图像帧来获得与第二用户命令相对应的图像帧。

具体地，参考图16，处理器130可以加载并使用存储在存储器120中的第一神经网络模型121、第二神经网络模型122和第三神经网络模型123，并且可以包括分割模块131、参数确定模块132、相机控制模块133和对准/合并模块134。

上文已经参考图1至图15详细描述了基于处理器130的控制的本公开的各种实施例，因此将不再重复冗余描述。

分割模块131可以通过基于图像帧中包括的像素的亮度和对象分割通过多个相机中的一个相机获得的图像帧来获得多个区域。

参数确定模块132可以基于多个区域获得多个相机参数设置值集合，每个相机参数设置值集合包括多个参数值。

具体地，参数确定模块132可以通过将多个区域输入到第一神经网络模型121来获得多个第一相机参数设置值集合，并且通过将多个第一相机参数设置值集合、通过相机111获得的图像帧和相机111的多个参数值输入到第二神经网络模型122来获得多个相机参数设置值集合。

第一神经网络模型121可以是基于从图像帧获得的区域；已经获得了图像帧的相机的多个参数值；该区域的边缘指标、对比度指标和背景指标而训练的神经网络模型。

此外，基于输入了相机参数设置值集合、通过相机111获得的图像帧和相机111的多个参数值，第二神经网络模型122可以输出关于与输入的相机参数设置值集合相对应的输入图像帧的边缘指标、对比度指标和背景指标的信息。

第一神经网络模型121可以指相机校准网络，第二神经网络模型122可以指集成(ensemble)参数网络。

参数确定模块132可以基于从第二神经网络模型122获得的关于边缘指标、对比度指标和背景指标的信息，获得多个第一相机参数设置值集合中具有最大边缘指标的相机参数设置值集合、具有最大对比度指标的相机参数设置值集合和具有最大背景指标的相机参数设置值集合。

在上述示例中，描述了使用神经网络模型获得多个相机参数设置值集合，但不限于此，参数确定模块132可以识别包括在多个区域中的每一个中的像素的像素值，并且基于识别出的像素值和预定义的规则来获得多个相机参数设置值集合。

基于接收到用于捕获实时取景图像的第二用户命令，相机控制模块133可以通过使用由参数确定模块132获得的多个相机参数设置值集合(例如，具有最大边缘指标的相机参数设置值集合、具有最大对比度指标的相机参数设置值集合和具有最大背景指标的相机参数设置值集合)以及多个相机111、112和113中的至少两个相机来获得多个图像帧。

在示例中，基于接收到用于捕获实时取景图像的第二用户命令，相机控制模块133可以使用多个相机参数设置值集合和多个相机111、112和113来获得多个图像帧。

在另一个示例中，基于接收到用于捕获实时取景图像的第二用户命令，相机控制模块133可以通过使用多个相机参数设置值集合中的一个相机参数设置值集合和多个相机111、112和113中的第一相机获得图像帧、以及使用多个相机参数设置值集合中的至少两个相机参数设置值集合和多个相机111、112和113中的第二相机来获得至少两个图像帧，来获得多个图像帧。

在又一个示例中，基于接收到用于捕获实时取景图像的第二用户命令，相机控制模块133可以使用多个相机参数设置值集合和多个相机111、112和113中的一个相机来获得多个图像帧。

如上所述，相机控制模块133可以获得多个图像帧。多个图像帧中的每一个都可以是拜耳原始图像。

对准/合并模块134可以通过合并多个获得的图像帧并将合并的图像帧输入到第三神经网络模型123来获得与第二用户命令相对应的图像帧。

在这种情况下，从第三神经网络模型123获得的图像帧可以是经历了黑电平调整、颜色校正、伽马校正或边缘增强中的至少一种的图像帧。

如上所述，根据本公开的各种实施例，处理器130可以获得图像帧。在这种情况下，处理器130可以将获得的图像帧存储在存储器120(具体地，闪存)中。

根据本公开的实施例，用于获得多个相机参数设置值集合的参数确定模块132的操作可以由图像处理器执行，并且用于使用多个图像帧获得与用于捕获的用户命令相对应的图像帧的对准/合并模块134的操作可以由图像信号处理器执行。

图17是更具体地示出根据实施例的电子设备的硬件配置的框图。

参考图17，除了多个相机111、112和113、存储器120和处理器130之外，根据本公开的电子设备100还可以包括通信接口140、输入接口150和输出接口160。然而，这种配置仅是示例，并且可以向上述配置添加附加的元件、或者可以省略上述配置中的部分元件。

通信接口140可以包括电路，并执行与外部设备的通信。具体地，处理器130可以从经由通信接口140连接的外部设备接收各种数据或信息，并且将各种数据或信息发送到外部设备。

通信接口140可以包括Wi-Fi模块、蓝牙模块、无线通信模块和近场通信(NFC)模块中的至少一个。具体地，Wi-Fi模块和蓝牙模块可以分别通过使用Wi-Fi

无线通信模块可以根据各种通信标准(诸如IEEE、Zigbce

具体地，根据本公开的实施例，当电子设备100从外部设备下载神经网络模型时，通信接口140可以从外部设备接收第一神经网络模型121、第二神经网络模型122和第三神经网络模型123。

输入接口150可以包括电路，并且处理器130可以经由输入接口150接收用于控制电子设备100的操作的用户命令。具体地，输入接口150可以被配置有诸如麦克风和远程信号接收器(未示出)的配置，并且被实现为包括在作为触摸屏的显示器161中。

具体地，在根据本公开的各种实施例中，输入接口150可以接收用于获得实时取景图像的第一用户命令和用于捕获实时取景图像的第二用户命令。

输出接口160可以包括电路，并且处理器130可以经由输出接口160输出可以由电子设备100执行的各种功能。输出接口160可以包括显示器161和扬声器162。例如，显示器161可以被实现为液晶显示(LCD)面板或有机发光二极管(OLED)，并且显示器161还可以被实现为柔性显示器或透明显示器。然而，根据本公开的显示器161不限于特定类型。具体地，在根据本公开的各种实施例中，显示器161可以显示实时取景图像。此外，显示器161可以根据用户命令显示存储在存储器120中的图像帧。

扬声器162可以输出声音。具体地，处理器130可以经由扬声器162输出与电子设备100的操作相关的各种警报或语音引导消息。

图18A、图18B和图18C是示出根据实施例的用于计算图像指标的方法的示例的图。

图18A是示出用于计算边缘指标的方法的图。

具体地，可以将滤波器应用于图像帧，并且在应用滤波器之后，可以获得图像帧的广度(或宽度)、高度(或长度)以及图像帧中包括的每个像素的像素值。可以基于获得的图像的宽度、高度和像素值来确定边缘指标。

例如，参考图18A，具有掩模1812的拉普拉斯滤波器被应用于图像帧1811，并且可以获得具有增强边缘的图像帧1813。可以通过将图像帧1813的宽度、高度和像素值应用于下面的数学表达式5来计算边缘指标(edge index)。

【数学表达式5】

这里，m表示图像帧的宽度(即，宽度方向上的像素的数量)，n表示图像帧的高度(即，高度方向上的像素的数量)，F(x，y)表示图像帧中具有坐标值(x，y)的像素的像素值。

图18B是示出用于计算对比度指标的方法的图。

例如，参考图18B，可以生成图像帧1821的直方图1822。这里，直方图1822示出了包括在图像帧1821中的按像素值分类的像素，并且可以表示对于每个像素值具有对应的像素值的像素的数量。

此外，可以通过对直方图1822执行均衡来生成均衡直方图1823。

参考数学表达式6，可以计算直方图1822和均衡直方图1823之间的偏差，以计算对比度指标(contrast index)。

【数学表达式6】

这里，m表示图像帧的宽度(即，宽度方向上的像素的数量)，n表示图像帧的高度(即，高度方向上的像素的数量)，H(x)表示从直方图计算出的像素值为x的像素的数量，H(y)表示从均衡直方图计算的像素值为y的像素的数量，N表示图像帧中包括的像素的数量。

图18C是示出用于计算背景指标的方法图。

关于背景指标，可以对图像帧应用滤波器，可以在应用滤波器后获得图像帧的宽度和高度，并且可以基于获得的宽度和高度来确定背景指标。

例如，参考图18C，图像帧1831可以被分割为多个区域，如1832所示，并且可以选择这些区域中的一个区域F(x，y)1833(例如，与背景相对应的区域)。可以从所选区域1833中选择随机像素，可以将所选像素的像素值随机设置为0或255，并且可以将椒盐噪声添加到所选区域1833。然后，具有内核尺寸5的中值滤波器可以被应用于应用了椒盐噪声的区域1834，并且可以生成应用了中值滤波器的区域G(x，y)1835。

可以基于以下数学表达式7来计算背景指标。

【数学表达式7】

这里，F(x，y)表示区域1833中具有坐标值(x，y)的像素的像素值，G(x，y)表示区域1835中具有坐标值(x，y)的像素的像素值，m表示图像帧的宽度(即，宽度方向上的像素的数量)，n表示图像帧的高度(即，高度方向上的像素的数量)。

图18A至图18C仅是用于计算图像指标的方法的示例，并且不限于此，并且可以通过各种已知方法来计算图像指标。

此外，参考图18A至图18C描述了计算图像帧的图像指标，但是也可以通过上述方法来计算关于图像帧的区域的图像指标。

图19是示出根据实施例的第一神经网络模型的结构的图。

参考图19，第一神经网络模型121可以接收区域作为输入，并且输出与该区域相对应的相机参数设置值集合。在这种情况下，相机参数设置值集合可以包括ISO值、快门速度值和光圈值。

在第一神经网络模型121的情况下，存在公共部分(例如，残差块(Res block))。如上所述，第一神经网络模型121被设计为具有在一个模型中使用的特征(feature)可以用于另一个模型的共享特征概念，因此，计算量可以相对减少。

此外，第一神经网络模型121的最终层是考虑了最终估计参数(即ISO值、快门速度值和光圈值)设计的。

具体地，在ISO的情况下，由于图像的颜色而产生的效果比形状更显著，因此使用了一个卷积块。此外，在光圈的情况下，形状和边缘被认为是重要的。因此，两个卷积块用于光圈。在快门速度的情况下，需要以高级别区分边缘和特征，因此使用了残余块。残差块对于在学习新特征时维持输入图像的大部分是有效的，而卷积块对于学习滤波器以减少输入计算是有效的。

在本公开中，残差块和卷积块可以具有图20的关系(a)和(b)。

在下文中，参考图21，将简单描述对第一神经网络模型121的训练。

参考图21的(a)，第一神经网络模型121的前向传递学习如下。

输入数据x被输入到第一神经网络模型121，以从第一神经网络模型121获得x

然后，可以计算从第一神经网络模型121获得的数据和输出数据y之间的损失。具体地，可以基于数学表达式8来计算(x

【数学表达式8】

参考图21的(b)，第一神经网络模型121的反向传递学习执行如下。

具体地，每个层的权重可以使用损失Liso、Lshutter_speed和Laperture通过梯度下降被更新为

第一神经网络模型121的结构和训练方法仅是示例，并且具有各种结构的第一神经网络模型121可以通过各种方法来训练。

图22是示出根据实施例的第二神经网络模型的结构的图。

基于输入了相机参数设置值集合(x，y，z)、图像帧和已经获得了输入图像帧的相机的多个参数值(x0，y0，z0)，第二神经网络模型122可以输出关于与输入的相机参数设置值集合相对应的图像帧的边缘指标Ei、对比度指标Ci和背景指标Bi的信息。在这种情况下，第二神经网络模型122可以使用参数估计网络模型的稠密模块来估计边缘指标、对比度指标和背景指标，并且输出这些指标。

图22(a)中所示的第二神经网络模型122的每个块都可以具有图22(b)中所示的配置。

上述第二神经网络模型122的结构仅为示例，并且第二神经网络模型122可以具有各种结构。

图23A和图23B是示出根据实施例的第三神经网络模型的结构的图。

首先，图23A示出了第三神经网络模型123的生成器的结构。

参考图23A，基于输入了合并的图像帧，生成器可以输出图像帧(即，多个像素中的每一个都具有R、G和B像素值的图像帧)。在这种情况下，自适应GaN可以用于对抗损失项所确保的图像帧的真实特征。

此外，生成器可以具有U-net结构，以补偿在对多个层的下采样期间发生的信息损失。下采样层的数量α仅是示例，并且可以是3。在这种情况下，生成器可以通过具有U-net结构的每个层来执行滤波操作，并且执行图像帧的黑电平调整、颜色校正、伽马校正或边缘增强中的至少一种。

图23B示出了第三神经网络模型123的鉴别器的结构。

参考图23B，鉴别器可以接收输入数据2310和2320，并且输出指示输入数据是真实还是虚假的概率值。输入数据2310和2320可以是真实对数据或虚假对数据。换句话说，鉴别器可以用作图像分类器，用于将输入数据分类为真实数据或虚假数据。

为此，鉴别器的残差块可以将拜耳原始图像和RGB格式图像帧转换为具有相同数量通道的通用格式。相同格式的数据可以被串接，并且最终层中的残差块和卷积块可以获得用于最终标记的显著特征。

上述第三神经网络模型123的结构仅为示例，并且第三神经网络模型123可以具有各种结构。

与上述神经网络模型相关的功能可以通过存储器和处理器来执行。处理器可以包括一个或多个处理器。一个或多个处理器可以是诸如CPU或AP的通用处理器、诸如GPU或视觉处理单元(VPU)的图形专用处理器、或者诸如神经处理单元(NPU)的人工智能专用处理器等。一个或多个处理器可以执行控制以根据存储在非易失性存储器和易失性存储器中的预定义的动作规则或人工智能模型来处理输入数据。通过训练形成预定义的动作规则或人工智能模型。

在本文中，通过训练形成可以例如意味着通过将学习算法应用于多条学习数据来形成具有期望特征的预定义的动作规则或人工智能模型。这种训练可以在根据本公开的展现人工智能的设备中执行、或者由单独的服务器和/或系统来执行。

人工智能模型可以包括多个神经网络层。每个层具有多个权重值，并且通过前一层的处理结果和多个权重之间的处理来执行对层的处理。神经网络的示例包括卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、受限玻尔兹曼机器(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)、生成对抗网络(GAN)和深度Q网络，除非另有说明，否则本公开的神经网络不限于上述示例。

学习算法可以是使用多个学习数据训练预定目标机器(例如，机器人)，以使预定目标机器能够自行进行确定或预测的方法。学习算法的示例包括监督学习、非监督学习、半监督学习或强化学习，但是除非另有说明，否则本公开中的学习算法不限于这些示例。

机器可读存储介质可以以非暂时性存储介质的形式来提供。这里，″非暂时性″存储介质是有形的，可能不仅包括信号，并且它不区分数据是半永久地还是临时地存储在存储介质中。例如，″非暂时性存储介质″可以包括临时存储数据的缓冲器。

根据实施例，可以在计算机程序产品中提供根据本公开中公开的各种实施例的方法。计算机程序产品可以作为商业可用产品在卖方和买方之间交换。计算机程序产品可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式分发、或通过应用商店(例如，PlayStoreTM)在线分发(例如，下载或上传)、或者直接在两个用户设备(例如，智能手机)之间分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少临时存储或临时生成在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)中。

根据上述公开的各种实施例的元件中的每一个(例如，模块或程序)都可以包括单个实体或多个实体，并且上述子元件中的一些子元件可以被省略、或者其它子元件可以进一步包括在各种实施例中。可替代地或附加地，一些元件(例如，模块或程序)可以集成到一个实体中，以执行在集成之前由每个相应元件执行的相同或相似的功能。

根据各种实施例，由模块、程序或其他元件执行的操作可以以并行、重复或启发式的方式来顺序执行，或者至少一些操作可以以不同的次序来执行、省略，或者可以添加不同的操作。

在本公开中，术语″单元″或″模块″可以包括用硬件、软件或固件实现的单元，并且可以与例如逻辑、逻辑块、部件或电路的术语互换使用。″单元″或″模块″可以是整体形成的部件或最小单元或执行一个或多个功能的部件的一部分。例如，模块可以被实现为专用集成电路(ASIC)。

本公开的各种实施例可以被实现为软件，包括存储在机器(例如，计算机)可读存储介质中的指令。机器是调用存储在存储介质中的指令并根据所调用的指令进行操作的设备，并且可以包括根据所公开的实施例的电子设备(例如，电子设备100)。

在指令由处理器执行的情况下，处理器可以直接或在处理器的控制下使用其他元件来执行与指令相对应的功能。指令可以包括由编译器生成的代码或由解释器执行的代码。

根据本公开的电子设备和用于控制电子设备的方法可以获得高质量图像帧。特别地，即使在低灰度中，也可以获得具有最小化噪声影响的高质量图像帧。

根据本公开的电子设备和用于控制电子设备的方法可以通过经由实时取景图像实时识别最佳参数设置值集合，根据用于捕获的用户命令向用户提供高质量图像帧。

根据本公开的电子设备和用于控制电子设备的方法可以通过合并通过应用了不同设置值集合的多个相机获得的多个图像来生成高质量图像帧。

此外，在相关技术中，在高分辨率图像中容易出现斑块现象(例如，天空背景的水平线)，但是在根据本公开的电子设备和用于控制电子设备的方法中，几乎观察不到斑块现象，并且减少重影现象的效果降低，因为实时取景图像根据图像帧中包括的亮度和对象被分割为多个区域，使用与多个区域相对应的相机参数设置值集合获得多个图像帧，并且使用多个图像帧生成与用于捕获的用户命令相对应的图像帧。

尽管上文已经详细描述了示例性实施例，但是应当理解，在不脱离所附权利要求及其等同物所限定的本公开的精神和范围的情况下，可以进行各种修改和变化。