电子装置及其图像捕获方法

技术领域

本公开涉及一种电子装置，更具体地，涉及一种由电子装置捕获图像的方法，其中，具有指定像素值的框架用于控制来自有机体的光，使其不被发射到与显示面板相邻的图像传感器，从而获得高分辨率图像。

背景技术

最近，为了提高移动设备的占屏比并最小化边框，图像传感器已被放置在显示器的下端，这可以被称为屏下摄像头(UDC)技术。在自拍图像捕获过程中，用户与通信设备之间的互动可以通过视觉匹配效果(例如，透镜)得到改善，并且图像传感器的尺寸也可以得到扩大，从而获得高分辨率图像。

发明内容

技术问题

在屏下摄像头(UDC)技术的情况下，由于图像传感器与显示器相邻，所以可能会发生严重的图像质量损坏。例如，由于被引导到图像传感器的实际物体的反射光可能会穿过显示器的发射体，因此光强度可能会减弱。此外，如果显示器的发光体(例如，有机体、OLED)增大，来自发光体的光可能会被引导到位于显示器下端的图像传感器中。这可能会严重降低捕获图像的质量。

本公开的各种实施例可以防止来自发光体的光被不必要地引导到图像传感器中从而获得高分辨率的静态图像。

技术方案

一种根据各种实施例的电子装置可以包括存储器、显示面板、与显示面板可操作地连接的显示驱动集成电路、设置在显示面板的下端的图像传感器、以及与图像传感器可操作地连接的处理器。显示驱动集成电路可以与显示面板和处理器可操作地连接，并且被配置为感测第一帧被输出在显示面板上，并在第一帧被输出在显示面板上时向处理器发送第一信号。处理器可以被配置为执行控制以响应于从用户输入的拍摄命令而生成具有指定像素值的第一帧，执行控制以通过显示面板输出第一帧，以及，执行控制以在从显示驱动集成电路接收到第一信号时通过图像传感器捕获图像并将所捕获的图像存储在存储器中。

一种根据各种实施例的由电子装置捕获图像的方法可以包括：执行控制以响应于从用户输入的拍摄命令而生成具有指定像素值的第一帧；执行控制以通过显示面板输出第一帧；当感测到第一帧被输出在显示面板上时，由图像传感器捕获图像；以及，执行控制以响应于指示将从图像传感器输出的图像进行存储的静态捕获命令将所捕获的图像存储在存储器中。执行通过显示面板输出第一帧的控制可以包括感测第一帧正在显示面板上显示，以及，向处理器发送指示第一帧正在显示面板上显示的信息。

发明的有益效果

根据各种实施例，由显示器产生的光可以通过黑色边框被阻挡，并且实际的反射光可以直接进入图像传感器，从而获得高分辨率图像。

根据各种实施例，可以区分预览图像和静态拍摄图像，从而分别执行各种类型的处理。这可以提供高分辨率图像。

根据各种实施例，可以在黑色边框上形成预定图案，以便与实际图像是黑色的情况区分开，并且可以自动感测在显示器上显示的黑色边框。因此，可以在显示器上显示黑色边框的时间点捕获图像，从而获得高分辨率图像。

附图说明

图1是根据各种实施例的网络环境中的电子装置的框图。

图2是根据各种实施例的电子装置的框图。

图3示出根据各种实施例的电子装置捕获图像的过程。

图4a和图4b示出根据各种实施例的电子装置以帧为单位捕获图像的过程。

图5示出根据各种实施例的在电子装置中单独处理预览图像和静态图像的过程。

图6a示出根据各种实施例的与图像传感器的操作有关的框图，图6b示出根据各种实施例的以帧为单位的图像传感器的操作。

图7a示出根据各种实施例的与图像传感器的操作有关的框图，图7b示出根据各种实施例的以帧为单位的图像传感器的操作。

图8示出根据各种实施例的电子装置的图像传感器与图像信号处理器之间的信息传输过程。

图9a和图9b示出根据各种实施例的确定电子装置的显示器是否显示第一帧的过程。

图10示出根据各种实施例的电子装置捕获图像的方法。

图11示出根据各种实施例的电子装置以帧为单位捕获图像的过程。

图12示出根据各种实施例的电子装置捕获图像的方法的流程图。

具体实施方式

图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。

处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。

在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。

存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。

可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。

输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。

声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。

显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。

音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。

传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。

相机模块180可捕获静态图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。

电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。

电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。

无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。

天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。

根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。

上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。

根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。

根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。

应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。

可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。

根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

图2是根据各种实施例的电子装置的框图。

参照图2，电子装置200可以包括显示器210、处理器220、图像传感器230、存储器250和图像信号处理器260。即使当根据需要省略或替换了示出的至少部分元件时，也可以实现本公开的各种实施例。电子装置200还可以包括图1中的电子装置101的至少一些元件和/或功能。

根据各种实施例，存储器250可以包括易失性存储器(例如，图1中的易失性存储器132)和/或非易失性存储器(例如，图1中的非易失性存储器134)，并且可以与处理器220电连接。存储器250可以存储可以由处理器220执行的各种指令。这些指令可以包括可以被控制电路识别的用于算术和逻辑计算、数据移动、输入/输出等的控制指令。此外，存储器250可以存储图1中的程序140的至少一部分。

根据各种实施例，处理器220是能够控制电子装置200的元件和/或执行有关通信的数据处理或计算的元件，并且可以包括图1中的处理器120的至少部分元件和/或功能。处理器220可以与电子装置200的每个元件(例如，存储器250、显示器210等)电连接。由电子装置200中的处理器220实现的计算和数据处理功能不受限制。然而，下文将描述用于控制图像信号处理器260在显示器210上显示具有指定像素值的第一帧(例如，黑色帧)以及通过图像传感器230和存储器250生成和存储高分辨率图像的各种实施例。稍后描述的处理器220的操作可以通过加载存储在存储器250中的上述指令来执行。

根据各种实施例，处理器220可以执行控制以响应于从用户输入的拍摄命令而生成包括具有指定像素值的帧的第一帧，可以执行控制以通过显示面板212输出第一帧，并且可以执行控制以在从显示驱动集成电路214接收到第一信号时由图像传感器230捕获图像，并将捕获的图像存储在存储器250中。

根据实施例，第一帧可以包括与预定的第一区域相对应的像素组。此外，第一区域可以意味着与显示面板的部分区域或整个区域中的至少一者相对应的区域，显示面板的部分区域或整个区域中的至少一者对应于相机的位置。

根据实施例，显示器210是用于显示图像的元件，并且可以是液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器等。显示器210可以包括图1中的显示模块160的至少一些元件和/或功能。显示器210可以将从图像传感器230接收到的光转换为电信号，并且可以接收电信号，并且可以通过显示面板212向用户提供电信号。显示驱动IC(集成电路)214可以控制显示面板212以确定通过显示面板212显示的图像或帧。根据实施例，第一帧可以显示在显示面板212的部分区域或整个区域中。

根据实施例，显示驱动集成电路214可以可操作地连接到显示面板212和处理器220，并且可以被配置为感测第一帧被输出在显示面板212上，并且将第一信号发送到处理器220。

根据实施例，图像传感器230可以包括例如从具有不同属性的图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器、或UV传感器、具有相同属性的多个图像传感器、或具有不同属性的多个图像传感器)中选择出的一个图像传感器。图像传感器230中包括的每个图像传感器都可以通过使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现。

根据实施例，图像信号处理器260可以针对通过图像传感器230获取的图像或存储在存储器250中的图像执行至少一种类型的图像处理。例如，至少一种类型的图像处理可以包括深度图生成、三维建模、全景生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化、或柔化)。另外地或可选地，图像信号处理器260还可以对相机模块中包括的元件中的至少一个(例如，图像传感器230)进行控制(例如，曝光时间控制、读出时刻控制等)。由图像信号处理器260处理的图像可以再次存储在存储器250中，以便进行额外处理。根据实施例，图像信号处理器260可以形成为处理器220的至少一部分，或者可以形成为独立于处理器220运行的单独处理器。当图像信号处理器260形成为独立于处理器220的处理器时，由图像信号处理器260处理的至少一个图像可以通过显示器210按原样显示或由处理器220进行额外图像处理后通过显示器210显示。

图3示出根据各种实施例的电子装置捕获图像的过程。

根据实施例的电子装置200可以包括图像传感器230。图像传感器230的功能和作用已结合图2进行了描述。图像传感器230可以设置在显示面板(例如，图2中的显示面板212)的下端，这种屏下摄像头(UDC)技术可以用于提高电子装置200的占屏比。例如，图像传感器230可以放置在有机体301和发射体305附近。有机体301可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器和有机发光二极管(OLED)显示器中的至少一种。

根据实施例，通过图像传感器230接收到的光可以被转换为电信号并通过移动行业处理器接口(MIPI)(未示出)发送到图像信号处理器260。图像信号处理器260可以将电信号转换为适合显示器210配置预览屏幕的信号。

根据实施例，除了实际的反射光(A)之外，图像传感器230还可能受到有机体301产生的光(B)的影响。例如，有机体301的亮度可以依据显示器210上显示的内容信息不断变化。实际的反射光(A)和来自有机体301的光(B)可以在混合后进入图像传感器230，从而导致图像质量严重下降。由图像传感器230的物理布置造成的图像质量下降可以通过单独的信号处理来部分克服。例如，对于UDC造成的图像质量下降，可以执行基于神经网络的学习，并通过使用同样的基于神经网络的学习来执行卷积处理。但是，使用这种基于学习的图像的恢复处理或基于光学的反向补偿技术进行恢复处理具有局限性，因此可能无法实现完全恢复。

下面，在图4a至图12中，将描述用于从根本上消除UCD环境中因环境光(B)进入与显示器210相邻放置的图像传感器230而导致的图像质量下降的电子装置200，以及由此捕获图像的方法。

图4a和图4b示出根据各种实施例的电子装置以帧为单位捕获图像的过程。

根据实施例，在电子装置(例如，图2中的电子装置200)捕获图像的过程中，用户可以向电子装置200传输拍摄命令。电子装置200的处理器(例如，图2中的处理器220)可以控制图像信号处理器(例如，图2中的图像信号处理器260)以在用户的拍摄命令发出时生成第一帧(例如，黑色帧)，以便抑制接收从有机体(例如，图3中的有机体301)产生的光。第一帧可以包括具有指定像素值的帧或亮度低于预定水平(例如，当黑色设置为0并且白色设置为10时低于2)的帧。作为第一帧的参考的亮度并不是固定的，并且可以被配置在这样一个水平，即当第一帧已经在显示面板(例如，图2中的显示面板212)上输出时产生的光不会影响从图像传感器230输出的图像。由图像信号处理器260产生的第一帧可以被输出到显示器(例如，图2中的显示器210)。当第一帧被传输到显示器210并因此产生与关闭显示器210相同的效果时，处理器220可以将捕获命令(静态捕获命令)发送到图像传感器(例如，图2中的图像传感器230)。图像传感器230可以接收捕获命令并且可以在第一帧被显示在显示器210上的时刻捕获图像。捕获操作可以包括图像传感器230的读出操作。

根据实施例，在操作410中，处理器220可以感测来自用户的拍摄命令，并且可以控制图像信号处理器260生成第一帧。在操作420中，图像信号处理器260可以生成第一帧，并且可以将其传输到显示器210。在操作430中，第一帧可以显示在显示面板(例如，图2中的显示面板212)上，并且显示驱动集成电路(例如，图2中的显示驱动集成电路214)可以感测第一帧是否被显示，并且可以将相关信息传输到处理器220。处理器220可以从显示驱动集成电路214接收第一帧显示信息，并且可以将捕获命令发送到图像传感器230。在操作440中，图像传感器230可以从处理器220接收捕获命令，并且可以在显示面板212上显示第一帧时捕获图像。在操作450中，捕获的图像可以显示在显示面板212上。

图4b示出当预览图像和静态图像具有不同分辨率时的图像处理过程。

根据实施例，在操作410中，处理器220可以感测来自用户的拍摄命令，并且可以控制图像信号处理器260以生成第一帧。在操作420中，图像信号处理器260可以生成第一帧，并将其传输到显示器210。在操作430中，第一帧可以显示在显示面板212上，并且显示驱动集成电路214可以感测第一帧是否被显示，并且可以将相关信息传输到处理器220。处理器220可以从显示驱动集成电路214接收第一帧显示信息，并且可以将捕获命令发送到图像传感器230。在操作440中，图像传感器230可以接收从处理器220发送的捕获命令，并且可以在显示面板212上显示第一帧的时刻捕获高分辨率图像。在操作450中，捕获的高分辨率图像可以显示在显示面板212上。

图5示出根据各种实施例的在电子装置中单独处理预览图像和静态图像的过程。

根据实施例，图像信号处理器260可以包括捕获控制器510和图像质量处理单元520。捕获控制器510可以将从图像传感器(例如，图2中的图像传感器230)接收到的图像分类为预览图像和静态图像。

根据实施例，处理器(例如，图2中的处理器220)可以控制图像传感器230以输出具有低于预定水平的分辨率的预览图像，并且可以控制图像传感器响应于第一信号而输出具有高于预定水平的分辨率的捕获图像。

根据实施例，图像信号处理器260可以可操作地连接到图像传感器230，以便处理从图像传感器230输出的图像。此外，图像信号处理器260可以确定由图像传感器230输出的图像是用于预览还是用于捕获。

根据实施例，图像信号处理器260可以通过图像质量处理单元520针对预览专用图像执行与图像质量相关的恢复处理。图像信号处理器260可将由图像传感器230输出的捕获图像转换为低分辨率，从而使得捕获图像可以作为预览屏幕提供给用户。为了进一步提高图像质量，处理器(例如，图2中的处理器220)可以执行软件处理或数字信号处理(DSP)。

根据实施例，处理器220可以针对由图像传感器230输出的预览图像执行与图像质量相关的恢复处理，并且可以控制显示面板(例如，图2中的显示面板212)显示预览图像，并且可以控制显示驱动集成电路214，从而使得显示面板212响应于从用户输入的拍摄命令显示第一帧而不是预览图像。

根据一个实施例，处理器220可以控制图像信号处理器260响应于从用户输入的拍摄命令而生成第一帧。此外，处理器220可以将由图像信号处理器260转换为低分辨率的捕获图像发送到显示驱动集成电路214。显示驱动集成电路214可以在显示面板212上显示从处理器220发送的图像。

图6a示出根据各种实施例的与图像传感器的操作有关的框图。图6b示出根据各种实施例的以帧为单位的图像传感器的操作。

根据实施例，处理器220可以分析进入图像传感器230的信号，以生成包括自动曝光(AE)、自动对焦(AF)或自动白平衡(AWB)中的至少一种的统计信息。处理器220可以在图像信号处理器(例如，图2中的图像信号处理器260)生成第一帧后立即使用与自动曝光(AE)、自动对焦(AF)或自动白平衡(AWB)相关的参数来生成统计信息，或者可以在图像信号处理器260生成第一帧之前立即使用与自动曝光(AE)、自动对焦(AF)或自动白平衡(AWB)相关的参数来生成统计信息。

根据实施例，当第一帧显示在显示面板上时，处理器220可以分析进入图像传感器230的信号，以生成包括自动曝光(AE)、自动对焦(AF)或自动白平衡(AWB)中的至少一种的统计信息。

根据实施例，自动曝光(AE)、自动对焦(AF)和自动白平衡(AWB)可以基于进入位于显示器210的下端的图像传感器230的信息来确定。自动曝光(AE)可以意味着相机模块自行调整对光的曝光程度，自动对焦(AF)可以意味着相机模块自行调整对焦，而自动白平衡(AWB)可以意味着相机模块自行调整白色。适当的自动曝光(AE)、自动对焦(AF)和自动白平衡(AWB)可能是图像捕获所必需的。此外，在生成第一帧(例如，黑色帧)时，需要在处理自动曝光(AE)、自动对焦(AF)和自动白平衡(AWB)的同时或之后生成第一帧。

如图6a所示，当用于AE/AF/AWB的统计生成器601先于图案生成器603(例如，帧生成器)时，可以在静态捕获帧之前仅通过使用参数来利用图像传感器210的曝光和白平衡信息。图案生成器可以生成指定图案，并且指定图案可以包括值小于预定特定像素值的帧，例如黑色帧或灰色帧。此外，指定图案还可以包括预定特定图像图案。

根据实施例，图像信号处理器260可以生成第一帧，从而使得预定的第一图案被显示。当显示面板212上显示的帧包括第一图案时，显示驱动集成电路214可以确定显示面板212上显示的帧是第一帧。

参照图6b，在操作610中，处理器220可以感测来自用户的拍摄命令，并且可以控制图像信号处理器260生成第一帧。在操作620中，图像信号处理器260可以生成第一帧，并且可以将其传输到显示器210。在操作630中，第一帧可以被显示在显示面板212上，并且显示驱动集成电路(例如，图2中的显示驱动集成电路214)可以感测第一帧是否被显示，并且可以将相关信息发送到处理器220。处理器220可以从显示驱动集成电路214接收第一帧显示信息，并且可以向图像传感器230发送捕获(传感器读出)命令。图像传感器230可以接收从处理器220发送的捕获命令，并且可以在显示面板(例如，图2中的显示面板212)上显示第一帧时捕获高分辨率图像。捕获的高分辨率图像可以显示在显示面板212上。

紧接着在获取(625)统计信息(例如，AF、AE或AWB)之后，具有与图6a中相同配置的图像信号处理器260可以不捕获图像，而是可以感测出在显示器210上出现第一帧(例如，黑色帧)和黑色帧从显示器210上消失，并执行图像捕获(捕获帧)。图像信号处理器260可以使用上述图案生成器603的指定图案来确定黑色边框的存在。这将在描述图9a和图9b时详细说明。

在操作630中，在紧接着第一帧被显示在显示面板212上之前的时刻，可以通过使用与AE/AF/AWB相关的参数来确定图像传感器230的AE/AF/AWB数值。如果超过了在操作630中紧接着第一帧被显示在显示面板212上之前的时刻，则第一帧可以被显示在显示面板212上，以影响图像传感器230的AE/AF/AWB数值。但是，此处的电子装置200可以在紧接着第一帧显示在显示面板212上之前的时刻(625)确定AE/AF/AWB数值，并可以将精确的AE/AF/AWB应用于要捕获的图像，从而捕获高分辨率图像。

图7a示出根据各种实施例的与图像传感器的操作有关的框图。图7b示出根据各种实施例的以帧为单位的图像传感器的操作。

如图7a所示，当图案生成器603(例如，黑色帧生成器)先于用于AE/AF/AWB的统计生成器601时，可能需要基于时刻的处理以对静态捕获帧应用适当的AE/AF/AWB。

参照图7b，在操作610中，处理器220可以感测来自用户的拍摄命令，并且可以控制图像信号处理器260以生成第一帧。在操作620中，图像信号处理器260可以生成第一帧，并且可以将其传输到显示器210。在操作630中，第一帧可以显示在显示面板212上，并且显示驱动集成电路(例如，图2中的显示驱动集成电路214)可以感测第一帧是否被显示，并且可以将相关信息传输到处理器220。处理器220可以从显示驱动集成电路214接收第一帧显示信息，并且可以将捕获命令发送到图像传感器230。图像传感器230可以接收从处理器220发送的捕获命令，并且可以在显示面板(例如，图2中的显示面板212)上显示第一帧时捕获高分辨率图像。捕获的高分辨率图像可以显示在显示面板212上。

紧接着在获取(615)统计信息(例如，AF、AE或AWB)之后，具有与图7a中相同配置的图像信号处理器260可以不捕获图像，而是可以感测到在显示器210上出现第一帧(例如，黑色帧)和黑色帧从显示器210上消失，并且可以执行图像捕获(捕获帧)。图像信号处理器260可以使用上述图案生成器603的指定图案来确定黑色边框的存在。图7a中的图像信号处理器260与图6a中的不同，可以在获取(615)统计信息(例如AF、AE或AWB)之后立即生成(620)第一帧(例如，黑色帧)。随后，图像信号处理器260可以确定第一帧是否显示(630)在显示器210上，然后可以执行图像捕获。

根据实施例，处理器220获取统计信息(例如AF、AE或AWB)的时刻可以不限于生成第一帧之前或之后的时刻。例如，当第一帧生成并显示在显示面板212上时，处理器220可以分析此后进入图像传感器230的信号，以生成包括自动曝光(AE)、自动对焦(AF)或自动白平衡(AWB)中的至少一种的统计信息。

在紧接着在操作620中图像信号处理器260生成第一帧之前的时刻，可以通过使用与AE/AF/AWB相关的参数来确定图像传感器的AE/AF/AWB数值。如果超过了在操作620中图像信号处理器260生成第一帧的时刻，则第一帧的相关信息可能会影响AE/AF/AWB的统计生成器601。在这种情况下，第一帧可能会影响图像传感器230的AE/AF/AWB数值。但是，此处的电子装置200可以在紧接着图像信号处理器260生成第一帧之前的时刻(615)确定AE/AF/AWB数值，并将准确的AE/AF/AWB应用于要捕获的图像，从而捕获高分辨率图像。在这种情况下，静态捕获时刻可以对应于在显示器210上显示第一帧时的时刻(630)。使用与AE/AF/AWB相关的参数确定图像传感器的AE/AF/AWB数值时的时刻可以对应于紧接着图像信号处理器260生成第一帧之前的时刻(615)。图像的捕获时刻与统计信息的应用时刻之间可能存在时间间隔。

图8示出根据各种实施例的电子装置的图像传感器与图像信号处理器之间的信息传输过程。

根据实施例，图像传感器(例如，图2中的图像传感器230)可以向图像信号处理器(例如，图2中的图像信号处理器260)传输关于实际图像/视频信号前后相应帧的各种信息830。关于相应帧的各种信息830可以包括，例如，曝光信息、主体的运动和分辨率，但不限于此。关于帧的各种信息830可以嵌入到图像数据的页眉810和/或页脚820中。

根据实施例，图像信号处理器260可以使用存在于页眉810中预定位置的图像帧相关信息来确定如何处理当前输入的图像260。例如，在当前输入的图像对应于静态拍摄的图像时，图像信号处理器260可以取消对第一帧(例如，黑色帧)的生成。随后，当前输入的图像的原始图像可以存储在存储器(例如，图2中的存储器250)中，而通过执行特定处理而被处理的图像可以显示在显示器(例如，图2中的显示器210)上。

图9a和图9b示出根据各种实施例的确定电子装置的显示器是否显示第一帧的过程。

根据实施例，由图像信号处理器(例如，图2中的图像信号处理器260)生成的第一帧(例如，黑色帧)可以传输到显示器(例如，图2中的显示器210)。随后，显示器210可以输出已经显示了第一帧的屏幕。在该过程中，根据相机模式和处理器(例如，图2中的处理器220)的性能，可能会出现预定时间的延迟。处理器220只能通过图像信号处理器260确定第一帧已经生成，而处理器220本身可能难以确定第一帧当前是否显示在显示器210上。因此，如果由图像信号处理器260生成第一帧与在显示器210上显示第一帧之间存在延迟，那么即使第一帧未显示在显示器210上，图像也可能被捕获。在这种情况下，由于显示器210上显示的内容而产生的光(例如，图3中的B)可能会与实际的反射光混合，从而导致图像质量下降。

根据实施例，电子装置(例如，图2中的电子装置200)的显示器210可以包括显示驱动集成电路(例如，图2中的显示驱动集成电路214)和显示面板(例如，图2中的显示面板212)。显示驱动集成电路214可以包括一个系统，该系统本身能够确定正在显示面板212上显示的图像是否为黑色图像。或者，显示驱动集成电路214可以通过对输入到显示器210中的信号进行统计信息分析来确定帧是否对应于第一帧(例如，黑色帧)。随后，显示驱动集成电路214可以将相关信息传输到处理器220。

根据实施例，显示驱动集成电路214可以获取包括以预定感兴趣区域(ROI)为单位的像素的平均值或方差中的至少一种的统计信息。显示驱动集成电路214可以分析统计信息以确定显示面板212上显示的帧是否对应于第一帧，并且当显示面板212上显示的帧对应于第一帧时，可以向处理器220发送关于帧是否对应于第一帧的信息。

根据实施例，当要实际显示的图像包括像第一帧这样的多个黑色帧时，处理器220可能难以确定第一帧当前是否正在显示面板(例如，图2中的显示面板212)上显示，或者实际图像当前是否正在其上显示。以下方法可以用于确定由显示驱动集成电路214检测到的第一帧是否是图像信号处理器260所需并由其生成的或者由相机捕获到的实际图像是否是深色的。

根据实施例，可以在由图像信号处理器260生成的第一帧中插入预定图案。当显示驱动集成电路214检测到预定图案时，显示驱动集成电路214可以确定正在显示的图像对应于由图像信号处理器260生成的第一帧。在这种情况下，显示驱动集成电路214的图案检测区域可以限于设置有图像传感器230的区域901至905。显示驱动集成电路214可以分析设置有图像传感器230的区域901至905中的图像的RGB信息，以确定正在显示面板212上显示的图像是否对应于第一帧。此外，还可以通过在设置有相机的液晶部件中插入图形效果来应用对用户友好的图像捕获效果。

图10示出根据各种实施例的电子装置捕获图像的方法。

根据实施例，处理器(例如，图2中的处理器220)可以通过从图像信号处理器(例如，图2中的图像信号处理器260)输出的第一帧(例如，黑色帧)接收要捕获的图像的拍摄时刻信息来控制显示器(例如，图2中的显示器210)的亮度。或者，处理器220可以调整显示器210的光占空比，以捕获高分辨率图像。当图像信号处理器260同样地传输预定图像时，可以将用户的拍摄命令输入到显示器210中。处理器220可以调整显示器210的光占空比，以实现与显示第一帧相同的效果。在通过降低光亮度在显示面板(例如，图2中的显示面板212)上显示黑屏的间隔期间，处理器220可以通过图像传感器(例如，图2中的图像传感器230)捕获图像。在捕获完成之后，显示器210可以通过捕获完成(静态捕获完成)信号来执行原始操作。

根据实施例，显示器210可以周期性地保持工作状态1002和非工作状态1004。工作状态1002可能意味着显示器210的有机体(例如，图3中的有机体301)正在发射光的状态。非工作状态1004可能意味着显示器210的有机体未发射光的状态。使用占空比的驱动方法可以包括脉宽调制(PWM)驱动方法，并且可以使用通过导通间隔时间之和来实现目标亮度的方法。处理器220可以调整占空比。例如，当占空比为5:5时，发光时间(工作状态)和非发光时间(非工作状态)的比例可以相同。处理器220可以通过占空比不同地控制发光时间的比例，并且占空比可以根据有机体301的发光强度而改变。

处理器220可以人为地长时间保持在非工作状态1004。在时间段1010期间，处理器220可以调整显示器210的光占空比，以实现与显示第一帧效果相同的效果。随后，处理器220可以通过图像传感器(例如，图2中的图像传感器230)捕获图像。在捕获完成之后，显示器210可以通过捕获完成(静态捕获完成)信号来执行原始操作。

根据一个实施例，处理器220可以以时间为单位调整显示面板212的亮度，以配置第一间隔，在该第一间隔期间在预定时间内显示面板212上显示的帧的亮度低于预定水平。此外，处理器220可以控制图像传感器230在第一间隔期间输出捕获图像。显示驱动集成电路(例如，图2中的显示驱动集成电路214)可以可操作地连接到显示面板212，以感测是否执行进入第一间隔，并且可以在执行了进入第一间隔时向处理器220发送第一信号。

图11示出根据各种实施例的电子装置的以帧为单位捕获图像的过程。

根据实施例，图像传感器230的图像捕获结果可以传输到图像信号处理器260，并且在此过程中可能会出现帧延迟。也就是说，图像传感器230的输出和图像信号处理器260的处理可以按顺序进行，因此可能存在预定的延迟间隔。在图4a中，描述了这样一个过程：图像信号处理器260接收来自用户的拍摄命令以生成第一帧，并将第一帧传输到显示器210，以便在后续帧中显示第一帧。与此不同的是，图11可以包括这样一个过程，在该过程中：在操作1110中存在至少两帧的延迟，直到图像信号处理器260接收到来自用户的拍摄命令，在操作1120中生成第一帧，然后在操作1130中在显示器210上显示第一帧。此后的图像捕获过程已经在描述图4a时进行了描述。

图12示出根据各种实施例的电子装置捕获图像的方法的流程图。

所示出的方法1200可以由通过图1至图11描述的电子装置(例如，图2中的电子装置200)执行，并且上述技术特征将在下文中省略。

根据各种实施例，电子装置200捕获图像的方法可以包括执行控制以响应于从用户输入的拍摄命令而生成具有指定像素值的第一帧的操作、执行控制以通过显示面板(例如，图2中的显示面板212)输出第一帧的操作、在感测到第一帧在显示面板212上输出时由图像传感器230捕获图像的操作，以及执行控制以响应于针对从图像传感器230输出的图像的存储命令(静态捕获命令)而将捕获图像存储在存储器(例如，图2中的存储器250)中的操作。

根据各种实施例，执行控制以通过显示面板212输出第一帧的操作可以包括感测到第一帧正在显示面板212上显示的操作和向处理器(例如，图2中的处理器220)发送指示第一帧正在显示面板212上显示的信息的操作。

根据实施例，第一帧可以包括对应于预定的第一区域的像素组，并且第一区域可以对应于显示面板212的部分区域或整个区域中的至少一者，显示面板212的部分区域或整个区域中的至少一者对应于相机的位置。

在操作1210中，处理器220可以感测从用户发出的拍摄命令。当感测到到从用户发出的拍摄命令时，处理器220可以在操作1215中执行控制以通过图像信号处理器(例如，图2中的图像信号处理器260)生成第一帧(例如，黑色帧)。随后，处理器220可以执行控制以在显示面板212上显示生成的第一帧。

在操作1220中，显示驱动集成电路214可以识别正在显示面板212上显示的第一帧。当识别到第一帧时，显示驱动集成电路214可以在操作1225中向处理器220发送相关信息。处理器220可以接收相关信息，并且可以在操作1230中向图像传感器230发送捕获命令(静态读出命令)。已经接收到捕获命令(静态读出命令)的图像传感器230可以在第一帧显示在显示面板212上的时刻输出图像。此外，图像传感器230可以将图像存储在存储器250中。

根据实施例，处理器220可以控制图像传感器230输出具有低于预定水平的分辨率的预览图像，并且可以控制图像传感器230在感测到第一帧在显示面板212上输出时输出具有高于预定水平的分辨率的捕获图像。

根据实施例，电子装置200还可以包括可操作地连接到图像传感器230的图像信号处理器(例如，图2中的图像信号处理器260)，并且该图像信号处理器被配置为处理从图像传感器230输出的图像。处理器220可以控制图像信号处理器260以响应于从用户输入的拍摄命令而生成第一帧，并且可以向显示驱动集成电路214发送由图像信号处理器260转换为低分辨率的拍摄图像。

根据实施例，感测第一帧正在显示面板212上显示的操作可以包括获取包括以预定感兴趣区域(ROI)为单位的像素的平均值或方差中的至少一种的统计信息的操作；确定在显示面板212上显示的帧是否对应于第一帧的操作；以及当在显示面板212上显示的帧对应于第一帧时，向处理器220发送关于帧是否对应于第一帧的信息的操作。

根据实施例，感测第一帧正在显示面板212上显示的操作可以包括生成第一帧，从而使得预定的第一图案被显示的操作，以及当显示在显示面板212上的帧包括第一图案时，确定显示在显示面板212上的帧是第一帧的操作。

根据实施例，电子装置200捕获图像的方法还可以包括分析进入图像传感器230的信号以生成包括自动曝光(AE)、自动对焦(AF)或自动白平衡(AWB)中的至少一种的统计信息的操作。

根据实施例，处理器220可以在图像信号处理器260生成第一帧之后立即使用与自动曝光(AE)、自动对焦(AF)或自动白平衡(AWB)相关的参数来生成统计信息，或者在图像信号处理器260生成第一帧之前立即使用与自动曝光(AE)、自动对焦(AF)或自动白平衡(AWB)相关的参数来生成统计信息。当第一帧显示在显示面板212上时，处理器220可以分析进入图像传感器230的信号，以生成包括自动曝光(AE)、自动对焦(AF)或自动白平衡(AWB)中的至少一种的统计信息。

根据实施例，处理器220可以针对由图像传感器230输出的预览图像执行与图像质量相关的恢复处理，并且控制显示面板212显示预览图像，并且可以控制显示面板212以响应于从用户输入的拍摄命令而显示第一帧而不是预览图像。

根据实施例，电子装置200捕获图像的方法可以包括：响应于从用户输入的拍摄命令以时间为单位调整显示面板212的亮度，以配置第一间隔的操作，在所述第一间隔期间在预定时间内在显示面板212上显示的帧的亮度低于预定水平；在第一间隔期间通过图像传感器230捕获图像的操作；以及将捕获图像存储在存储器250中的操作。

说明书和附图中公开的实施例仅提供了具体示例，以便于根据本发明的实施例描述技术事项并帮助理解技术事项，并不限制本公开的实施例的范围。因此，应当理解为，除了本文所公开的实施例之外，能够从本公开的技术思想衍生出的所有修改或修饰形式均包括在本公开的各实施例的范围内。