电子设备及其控制方法

技术领域

本公开涉及电子设备及其控制方法，更具体地，涉及一种用于利用多相机来获得可见性和距离信息的电子设备及其控制方法。

背景技术

一种高动态范围(HDR)技术获得广泛关注，其通过使数字图像中的亮区变得更亮而暗区变得更暗而将亮度范围扩展到接近人们以真实的眼睛所见。

为了基于HDR技术识别对象并获得所识别的对象的距离信息，可能需要最少三个相机。例如，可能需要两个相机来实现HDR技术，并且利用立体相机计算对象的距离信息可能需要两个相机。即使其中一个相机用于实现HDR技术并用作立体相机，如上所述也可能需要三个相机。

发明内容

技术问题

为了解决上述问题做出了本公开，本公开的目的是提供一种用于识别通过利用多相机的HDR技术获得的图像中的对象，并获得所识别的对象的距离信息的电子设备及其控制方法。

技术方案

根据实施例，电子设备可以包括第一图像传感器、第二图像传感器和处理器。

所述处理器可以交替执行第一图像采集模式和第二图像采集模式，在所述第一图像采集模式下，通过不同地控制所述第一图像传感器和所述第二图像传感器的各自的曝光时间来获得多个采集图像，在所述第二图像采集模式下，通过相同地控制所述第一图像传感器和所述第二图像传感器的各自的曝光时间来获得多个采集图像。

所述处理器可以利用在所述第一图像采集模式下获得的多个采集图像来识别对象，并基于在所述第二图像采集模式下获得的多个采集图像来获得关于识别出的对象的距离信息。

所述处理器可以，在所述第一采集模式下，将所述第一图像传感器的曝光时间控制为第一曝光时间，并且将所述第二图像传感器的曝光时间控制为第二曝光时间。

所述处理器可以，在所述第二采集模式下，将所述第一图像传感器和所述第二图像传感器的曝光时间控制为所述第一曝光时间。

所述第二曝光时间可以超过所述第一曝光时间。

所述处理器可以基于由所述第一图像传感器获得的至少一个先前图像中包括的对象的像素值和位置信息中的至少一个来更新所述第一曝光时间。

所述处理器可以基于在所述第一采集模式下由所述第二图像传感器获得的至少一个先前图像中包括的对象的像素值和位置信息中的至少一个来更新所述第二曝光时间。

所述处理器可以以预设帧间隔交替执行所述第一采集模式和所述第二采集模式。

所述处理器可以基于在所述第一采集模式下由所述第二图像传感器获得的图像中包括的像素值小于预设值，控制所述第二图像传感器的曝光时间超过与帧对应的时间段。

所述电子设备可以是安装在车辆上的驾驶辅助设备。

所述处理器可以基于所述对象的类型信息和距离信息中的至少一个来控制所述车辆。

所述处理器可以使用在所述第一采集模式下获得的多个采集图像来生成高动态范围(HDR)图像，并利用所述HDR图像来识别对象。

根据实施例，一种控制电子设备的方法，包括：交替执行第一图像采集模式和第二图像采集模式，在所述第一图像采集模式下，通过不同地控制第一图像传感器和第二图像传感器各自的曝光时间来获得多个采集图像，在所述第二图像采集模式下，通过相同地控制所述第一图像传感器和所述第二图像传感器各自的曝光时间来获得多个采集图像；以及利用在所述第一图像采集模式下获得的多个采集图像来识别对象，并基于在所述第二图像采集模式下获得的多个采集图像来获得关于识别出的对象的距离信息。

所述交替执行可以包括在所述第一采集模式下，将所述第一图像传感器的曝光时间控制为第一曝光时间，并且将所述第二图像传感器的曝光时间控制为第二曝光时间。

所述交替执行可以包括在所述第二采集模式下，将所述第一图像传感器和所述第二图像传感器的曝光时间控制为所述第一曝光时间。

所述第二曝光时间可以超过所述第一曝光时间。

所述方法还可以包括：基于由所述第一图像传感器获得的至少一个先前图像中包括的对象的像素值和位置信息中的至少一个来更新所述第一曝光时间，以及基于在所述第一采集模式下由所述第二图像传感器获得的至少一个先前图像中包括的对象的像素值和位置信息中的至少一个来更新所述第二曝光时间。

所述交替执行可以包括以预设帧间隔交替执行所述第一采集模式和所述第二采集模式。

所述交替执行可以包括基于在所述第一采集模式下由所述第二图像传感器获得的图像中包括的像素值小于预设值，控制所述第二图像传感器的曝光时间超过与帧对应的时间段。

所述电子设备可以是安装在车辆上的驾驶辅助设备。

所述方法还可以包括基于所述对象的类型信息和距离信息中的至少一个来控制所述车辆。

所述获得距离信息可以包括使用在所述第一采集模式下获得的多个采集图像来生成高动态范围(HDR)图像，并利用所述HDR图像来识别对象。

一种存储有计算机指令的非暂时性计算机可读介质，所述指令由电子设备的处理器执行，以使所述电子设备执行以下操作：交替执行第一图像采集模式和第二图像采集模式，在所述第一图像采集模式下，通过不同地控制第一图像传感器和第二图像传感器各自的曝光时间来获得多个采集图像，在所述第二图像采集模式下，通过相同地控制所述第一图像传感器和所述第二图像传感器各自的曝光时间来获得多个采集图像；以及，利用在所述第一图像采集模式下获得的多个采集图像来识别对象，并基于在所述第二图像采集模式下获得的多个采集图像来获得关于识别出的对象的距离信息。

发明的有益效果

根据如上所述的各种实施例，电子设备可以通过具有不同曝光时间的多相机采集图像以增加识别对象的准确性。

电子设备可以通过多相机的时间差来采集图像，以获得所识别的对象的准确的距离信息。

电子设备可以仅利用两个相机来识别对象并获得对象的距离信息。

附图说明

图1是示出获得包括各种对象的外围图像的电子设备的图，以便于理解本公开。

图2是示出根据实施例的电子设备的配置的框图。

图3a是示出根据实施例的电子设备的详细配置的示例的框图。

图3b是示出根据实施例的图像传感器的示例的图。

图4是示出根据实施例的交替执行第一采集模式和第二采集模式的操作的图。

图5是示出根据实施例的第二图像传感器的曝光时间超过与帧相对应的时间段的操作的图。

图6是示出根据实施例的用于控制电子设备的方法的流程图。

具体实施方式

下面将参考附图更详细地描述本公开。

在简要描述本说明书中使用的术语之后，将详细描述本公开。

在本公开和权利要求中使用的术语是考虑到本公开的各种实施例的功能而定义的通用术语。然而，这些术语可以根据相关领域技术人员的意图、技术解释、新技术的出现等而变化。除非对术语有特定定义，否则可以基于整体内容和相关领域技术人员的技术理解来理解该术语。

由于可以对本公开进行各种修改并且具有多个实施例，因此将在附图中示出本公开的特定的非限制性示例实施例，并且在详细描述中对其进行详细描述。然而，应当理解，本公开不限于特定的非限制性示例实施例，而是包括不脱离本公开的范围和精神的所有修改、等同形式和替换形式。当确定与本公开相关的已知技术的详细描述可能使本公开的主旨不清楚时，将省略该详细描述。

诸如“第一”、“第二”等之类的术语可以用于描述各种组件，但是这些组件不应受到这些术语的限制。这些术语用于将一个组件与另一个组件区分开。

除非另有说明，否则单数表达包括复数表达。应当理解，诸如“包括”或“由……组成”的术语在本文中用于表示特征、数字、步骤、操作、元件、组件或其组合的存在，而不排除存在或可能添加其他特征、数字、步骤、操作、元件、组件或其组合中的一个或更多个。

诸如“A和/或B中的至少一个”和“A和B中的至少一个”的表达应理解为表示“A”、“B”、“A和B”。

诸如“第一”、“第二”等之类的术语可以用于描述各种组件，但是这些组件不应受到这些术语的限制。这些术语用于将一个组件与另一个组件区分开。

另外，关于一个元件(例如，第一元件)是“(操作地或通信地)与另一元件(例如，第二元件)耦接”或“(操作地或通信地)耦接到另一元件(例如，第二元件)”的描述应当被解释为包括，一个元件直接耦接到另一元件的情况，以及一个元件通过又另一个元件(例如，第三元件)耦接到另一元件的情况。另一方面，当组件(例如，第一组件)被称为“直接连接”或“直接访问”另一元件(例如，第二组件)时，可以理解的是，在任何组件和其他组件之间不存在中间元件(例如，第三组件)。

除非另有说明，否则单数表达包括复数表达。应当理解的是，诸如“包括”或“由……组成”的术语在本文中用于表示特征、数字、步骤、操作、元件、组件或其组合的存在，而不排除存在或可能添加其他特征、数字、步骤、操作、元件、组件或其组合中的一个或更多个的可能性。

诸如“模块”、“单元”、“部件”等之类的术语可以用于指代执行至少一个功能或操作的元件，并且该元件可以被实现为硬件或软件，或硬件和软件的组合。此外，除了需要在单独的硬件中实现多个“模块”、“单元”、“部件”等中的每一个时，这些组件也可以被集成在至少一个模块或芯片中并且可以实现在至少一个处理器(未示出)中。

在以下描述中，术语“用户”可以指代使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。

在下文中，将参考附图详细描述本公开的非限制性实施例，从而使得本公开所属领域的技术人员可以容易地实践本公开。然而，本公开可以以各种不同的形式来实现，并且不限于在此描述的实施例。另外，在附图中，将省略与描述无关的部分，并且在整个说明书和附图中，相似的部分将由相似的附图标记表示。

在下文中，将参考附图详细描述实施例。

图1是示出获得包括各种对象的外围图像的电子设备的图，以便于理解本公开。

参照图1，根据一个实施例的电子设备100可以使用多个图像传感器110-1和110-2来监视周围环境。电子设备100是安装在车辆上的驾驶辅助设备，并且可以是实现高级驾驶员辅助系统(ADAS)的设备。电子设备100可以被实现为车辆的电气系统，并且可以被实现为安装在车辆内部的相机模块。可替代地，电子设备100可以被实现为后视镜(room mirror)集成模块，或者可以与诸如从车辆上可拆卸的黑匣子、移动电话和个人数字助理(PDA)的便携式设备一起被实现。

电子设备100可以利用多个图像传感器110-1、110-2获得采集周围环境、前方道路状况等的图像10。图像传感器110被配置为采集周围环境，并且可以被称为相机、传感器、采集传感器等，为了方便将被称为图像传感器。

根据实施例，电子设备100可以识别通过多个图像传感器110-1和110-2中的每一个获得的图像中包括的对象，并且获得所识别的对象的距离信息，将参考附图详细描述各种实施例。

图2是示出根据实施例的电子设备的配置的框图。

参照图2，电子设备100包括图像传感器110和处理器120，图像传感器110包括第一图像传感器110-1和第二图像传感器110-2。

图像传感器110被配置为获取图像。图像传感器可以将通过透镜入射的光转换成电图像信号以获得采集的图像。图像传感器110可以被实现为电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，但不限于此。

可以根据图像传感器110的曝光时间获得不同亮度的图像。例如，当曝光时间短时，可以获得相对暗的图像，当曝光时间长时，可以获得相对亮的图像。曝光时间可以指的是连接到图像传感器110的快门(未示出)打开以接收光的时间。

例如，可以基于周围环境来不同地调节图像传感器110的曝光时间。在一个示例中，当周围环境暗时，可以将曝光时间调整得相对较长，以获得明亮的图像。在该示例中，可以感测通过透镜入射的光的强度，或者可以基于采集的图像的像素信息来识别环境照明。

根据一个实施例的图像传感器110可以被安装在车辆上。例如，第一图像传感器110-1和第二图像传感器110-2可以彼此间隔开以具有不同的采集时间。例如，可以布置图像传感器以在后视镜的两端处采集前方。然而，第一图像传感器110-1和第二图像传感器110-2可以以预定间隔彼此间隔开，并且可以布置在各种位置以及后视镜上。例如，第一图像传感器110-1和第二图像传感器110-2可以布置成在两个侧视镜之一的两端处采集前方。作为另一示例，第一图像传感器110-1和第二图像传感器110-2可以被布置在两个侧视镜中的每一个中采集前方。

处理器120可以控制电子设备100的整体操作。

根据实施例的处理器120可以被实现为例如用于处理数字信号的数字信号处理器(DSP)、微处理器、时间控制器(TCON)等，但不是限于此。处理器120可以包括，例如但不限于，中央处理器(CPU)、微控制器单元(MCU)、微处理器(MPU)、控制器、应用处理器(AP)、通信处理器(CP)、高级简化指令集计算(RISC)机器(ARM)处理器、人工智能(AI)处理器，或可以被定义为相应术语。处理器120可以以内置有处理算法的片上系统(SoC)类型或大规模集成(LSI)类型或现场可编程门阵列(FPGA)类型实现。

处理器120可以交替地执行第一采集模式和第二采集模式，该第一采集模式通过不同地控制第一图像传感器110-1和第二图像传感器110-2中的每一个的曝光时间来获得多个采集图像，并且该第二采集模式通过均等地控制第一图像传感器110-1和第二图像传感器110-2中的每一个的曝光时间来获得多个采集图像。根据实施例，处理器120可以以预定帧间隔交替地执行第一采集模式和第二采集模式。例如，可以以一帧或至少两帧的间隔交替地执行第一采集模式和第二采集模式。

处理器120可以使用在第一采集模式下通过第一图像传感器110-1和第二图像传感器110-2获得的多个采集图像来识别对象。

由于在第一采集模式下第一图像传感器110-1和第二图像传感器110-2的曝光时间被不同地控制，所以从第一图像传感器110-1和第二图像传感器110-2中的每一个中获得的图像的亮度可以是不同的。与从以一种亮度所采集的图像中识别对象相比，当在以各种亮度所采集的图像中识别对象时，可以增加对象的辨别力。在第一采集模式下，处理器120可以准确地识别在从第一图像传感器110-1和第二图像传感器110-2中的每一个中获得的多个采集图像中的各种对象，第一图像传感器110-1和第二图像传感器110-2的曝光时间被不同地控制。可替代地，处理器120可以将从第一图像传感器110-1和第二图像传感器110-2中的每一个中获得的多个采集图像合成为一个图像，并且识别合成图像中的各种对象。合成图像可以是这样的图像：亮区被调整为更亮，而暗区被调整为更暗，从而对比度可以较高。处理器120可以从具有增大的动态范围的图像中获得对象。

将从第一图像传感器110-1和第二图像传感器110-2中获得的多个采集图像合成为一个图像的合成图像可以是HDR图像。处理器120可以使用在第一采集模式下获得的多个采集图像来生成HDR图像，并且可以利用HDR图像来识别对象。HDR图像可以是这样的图像：亮区被显示为更亮，而暗区被显示为更暗，从而扩大了图像上的亮度范围。

对象可以是感兴趣对象(或感兴趣区域)。换句话说，处理器120可以从所获取的多个采集图像中识别出感兴趣对象。例如，感兴趣对象可以是在行车时需要注意的对象，例如人行横道、交通信号灯、交通标志、人、车辆等，但这仅仅是一个示例。存储器(未示出)可以存储关于感兴趣对象的信息，处理器120可以从存储器获得该信息以识别采集的图像中的对象。例如，可以通过将搜索窗口应用于采集的图像来搜索与存储在存储器中的感兴趣对象的图像的像素值相似的像素值来识别对象。

可替代地，电子设备100可以包括训练对象信息的单独的训练模型，并且处理器120可以将采集的图像应用于训练模型以识别对象。在该示例中，训练模型可以被实现为认知系统，诸如人工神经网络或神经形态处理器。例如，可以将相同的训练模型应用于由第一图像传感器110-1采集的第一图像和由第二图像传感器110-2采集的第二图像，但是可以将不同的训练模型应用于第一图像和第二图像。例如，第一图像和第二图像的像素值可以不同，并且所包括的每个对象的像素值可以不同。因此，可以将第一训练模型应用于第一图像，并且可以将第二训练模型应用于第二图像以识别对象，该第一训练模型是利用像素值与由第一图像传感器110-1采集到的图像相似的样本进行训练的，该第二训练模型是利用像素值与由第二图像传感器110-2采集到的图像相似的样本进行训练的。

处理器120可以聚合在第一图像中识别出的对象信息和在第二图像中识别出的对象信息，以最终识别出该对象。例如，如果在第一图像中识别出第一对象和第二对象，并且在第二图像中识别出第二对象和第三对象，则第一对象至第三对象可以为最终识别出的对象。

处理器120可以基于从第二采集模式获得的多个采集图像来获得识别出的对象的距离信息。

由于第一图像传感器110-1和第二图像传感器110-2彼此间隔开，所以在通过第一图像传感器110-1获得的图像和通过第二图像传感器110-2获得的图像之间存在时间差。处理器120可以使用该时间差来获得包括在多个图像中的对象的距离信息。该对象是在第一采集模式下识别出的对象。利用多个图像传感器之间的时间差来计算对象的距离信息的技术对应于立体视差技术，这是众所周知的技术，因此将省略其详细描述。

由于第二采集模式是通过立体视差技术获得在第一采集模式下识别出的对象的距离信息的模式，所以第二采集模式不需要不同地控制第一图像传感器110-1和第二图像传感器110-2的曝光时间。

处理器120可以在第一采集模式下将第一图像传感器110-1的曝光时间控制为第一曝光时间，并且将第二图像传感器110-2的曝光时间控制为第二曝光时间。处理器120可以在第二采集模式下将第一图像传感器110-1和第二图像传感器110-2的曝光时间控制为第一曝光时间。

第一曝光时间是基于从第一图像传感器110-1中获得的图像信息计算出的时间，第二曝光时间可以是基于从第二图像传感器110-2中获得的图像信息计算出的时间。图像信息可以包括采集的图像的像素值、采集的图像中包括的对象的位置信息、伽马值、国际标准组织(ISO)增益等。可以在将要交替执行的每种模式下更新第一曝光时间和第二曝光时间，这将在后面进行描述。

处理器120可以控制第二采集模式下的第二图像传感器110-2的曝光时间与第一图像传感器110-1的曝光时间相同。具体地，在第二采集模式下，处理器120可以将基于从第一图像传感器110-1中获得的图像信息而计算出的第一曝光时间应用于第二图像传感器110-2。

因此，在第二采集模式下，处理器120可以不用基于从第二图像传感器110-2中获得的图像信息来获得曝光时间，因此，存在减少处理器120的计算量的效果。

第二曝光时间可以超过第一曝光时间。具体地，由于在第一采集模式下的第二图像传感器110-2被设置为具有比第一图像传感器110-1更长的曝光时间，所以处理器120可以从第二图像传感器110-2获得比从第一图像传感器110-1获得的图像更明亮的图像。例如，由于第二图像传感器110-2的目标像素值被设置为高于第一图像传感器110-1的目标像素值，所以在第一采集模式的相同照度环境下第二图像传感器110-2可以获得比第一图像传感器110-1更亮的图像。目标像素值可以是被从每个图像传感器中获得的采集的图像中包括的像素值作为目标的像素值。处理器120可以更新每个图像传感器的曝光时间以达到目标像素值，这将在后面描述。

即使当第一图像传感器110-1和第二图像传感器110-2在相同的照度环境中获得采集的图像时，第二图像传感器110-2仍可以获得相对明亮的图像。

处理器120可以基于由第一图像传感器110-1和第二图像传感器110-2获得的采集图像的先前图像信息来更新第一曝光时间和第二曝光时间。

处理器120可以基于第一图像传感器获得的至少一个先前图像中包括的像素值和对象的位置信息中的至少一个来更新第一曝光时间。

例如，处理器120可以计算在由第一图像传感器110-1获得的至少一个先前图像中包括的像素值的平均值(以下，平均像素值)，并且可以控制曝光时间，使得计算出的平均像素值达到目标像素值。可以使用均值算法来计算平均像素值。由于均值算法是公知技术，因此省略其详细描述。目标像素值可以被预先存储在设备中或可以根据照度环境而改变。

在一个示例中，当由第一图像传感器获得的至少一个图像的平均像素值接近目标像素值时，第一图像传感器110-1的曝光时间可以是15ms。如果与上述示例相比，第一图像传感器110-1获得的至少一个图像的平均像素值与目标像素值相差较大，则处理器120可以将第一图像传感器的曝光时间更新为33ms。处理器120可以通过比较由第一图像传感器110-1获得的至少一个图像的平均像素值和第一图像传感器110-1的目标像素值来更新第一曝光时间。

可以将与由第一图像传感器110-1获得的至少一个图像的平均像素值相对应的曝光时间信息存储在存储器(未示出)中，并且处理器120可以基于计算出的平均像素值从存储器中获得曝光时间信息以更新第一曝光时间。

处理器120可以基于图像中包括的对象的位置信息来更新曝光时间。如果使用图像的平均像素值，则可能无法识别特定对象。例如，第一图像传感器110-1的目标像素值是127的情况以及第一图像传感器110-1采集周围环境为背光情形的情形。在背光情形下，可以获得特定对象暗并且特定对象周围明亮的图像。在该示例中，可以将获得的图像的平均像素值计算为接近127，使得处理器120可以将第一曝光时间更新为较短。处理器120可能不能准确地识别根据更新的曝光时间获得的图像中包括的特定对象的类型。因此，处理器120可以考虑图像中包括的对象的位置信息来更新曝光时间。

处理器120可以基于图像中包括的对象的位置信息，将权重分配给布置有对象的区域的像素值。例如，如果图像中包括的对象被布置在图像的中央区域中，则处理器120可以将权重分配给中央区域的像素值。因此，处理器120可以更新第一图像传感器110-1的曝光时间以清楚地识别位于中心区域中的对象。

处理器120可以基于在第一采集模式下由第二图像传感器110-2获得的至少一个先前图像中包括的像素值和对象的位置信息中的至少一个来更新第二曝光时间。

可以以与第一曝光时间相同的方式将应用到第二图像传感器110-2的第二曝光时间更新。然而，不同之处可以在于，处理器120基于在第一采集模式下由第二图像传感器110-2采集的图像的图像信息来更新第二曝光时间。处理器120可以基于在第一采集模式和第二采集模式下由第一图像传感器110-1采集的至少一个先前图像的像素值和对象位置信息中的至少一个来更新第一曝光时间，但是可以基于从第二图像传感器110-2中采集的至少一个先前图像中的、在第一采集模式下获得的图像中的对象的像素值和位置信息，来更新第二曝光时间。这是因为第二图像传感器110-2可以根据采集模式，通过交替使用基于从第一图像传感器110-1中获得的图像信息而计算出的第一曝光时间和基于从第二图像传感器110-2中获得的图像信息而计算出的第二曝光时间来获得图像。处理器120可以如上述实施例所述，独立地计算并更新第一曝光时间和第二曝光时间。

处理器120可以以预设帧间隔交替地执行第一采集模式和第二采集模式。如果没有发生预设事件，则处理器120可以以帧间隔交替地执行第一采集模式和第二采集模式。例如，基于30fps(每秒帧数)，图像传感器110的每帧的曝光时间不能超过33ms。处理器120可以基于由图像传感器110获得的至少一个先前图像中包括的对象的像素值和位置信息中的至少一个，在33ms内更新曝光时间。

如果发生预设事件，则处理器120可以控制图像传感器110的曝光时间超过与一帧对应的时间段。这里，预设事件可以是在第一采集模式下由第二图像传感器110-2获得的图像中包括的像素值小于预设值的事件。即，当第二图像传感器110-2获得的至少一个先前图像的平均像素值小于预设值时，处理器120可以控制第二图像传感器110-2的曝光时间超过与一帧对应的时间段。

例如，在周围环境非常暗的照明环境中，即使第二图像传感器110-2获得具有每帧最大曝光时间的采集图像，也可能无法识别图像中包括的对象。在该示例中，即使超过了每帧的最大曝光时间，处理器120也可以通过将曝光时间设置为更长来控制曝光时间以达到目标像素值。在多个帧期间执行第一采集模式并且第一图像传感器110-1获得多个采集图像的同时，第二图像传感器110-2可以获得采集图像。在该示例中，第二图像传感器110-2的fps可以低于第一图像传感器110-1的fps。处理器120可以从第一图像传感器110-1和第二图像传感器110-2获得具有高对比度的图像。

处理器120可以依次重复第一采集模式和第二采集模式，以仅利用两个图像传感器来识别对象，并且可以获得所识别的对象的距离信息。

处理器120可以基于对象的类型信息和距离信息中的至少一个来控制安装有电子设备100的车辆。例如，如果包括在采集的图像中的对象被识别为限制最高速度的交通标志，则处理器120可以控制车辆的速度以使其不超过最高速度，或者如果采集的图像中包括的对象是交通信号灯，则处理器120可以识别交通信号灯的信号以控制车辆。当基于在采集的图像中包括的对象的距离信息，对象的距离小于预定距离时，可以执行车辆的制动。

电子设备100是安装在车辆上的设备，或者可以是与车辆无关地用于识别对象并计算所识别的对象的距离信息的设备。

图2示出了包括图像传感器110和处理器120的电子设备100，但是电子设备100可以以除图像传感器110之外的形式实现。在该示例中，电子设备由存储器和/或处理器组成，并且可以通过连接到外部图像传感器的接口获得采集的图像。

图3是示出根据实施例的电子设备的详细配置的示例的框图。

参照图3a，电子设备100包括图像传感器110、处理器120、通信器130、存储器140和传感器150。参照图3a所示的配置中，省略了对图2所示的结构的详细描述。

处理器120使用存储在存储器140中的各种程序来控制电子设备100的整体操作。

具体而言，处理器120包括随机存取存储器(RAM)121、只读存储器(ROM)122、主中央处理单元(CPU)123、第一至第n接口124-1～124-n，以及总线125。

RAM 121、ROM 122、主CPU 123、第一至第n接口124-1至124-n等可以通过总线125互连。

ROM 122存储用于启动系统等的一个或更多个指令。当输入开启指令并供电时，CPU 123根据ROM 122中存储的一个或更多个指令将存储在存储器140中的OS复制到RAM121，并执行OS以启动系统。当启动完成时，CPU 123将存储在存储器140中的各种应用程序复制到RAM 121，执行复制到RAM 121的应用程序，并执行各种操作。

主CPU 123访问存储器140，使用存储在存储器140中的操作系统(OS)执行启动，并使用存储器140中存储的各种程序、内容数据等执行各种操作。

第一至第n接口124-1至124-n连接至上述各种元件。接口之一可以是通过网络连接到外部设备的网络接口。

通信器130可以与外部电子设备(未示出)或外部服务器(未示出)通信。例如，通信器130可以根据有线/无线通信方法执行与外部服务器的通信，并且可以使用诸如蓝牙(BT)、无线保真(WI-FI)、Zigbee、红外(IR)、以太网、串行接口、通用串行总线(USB)、近场通信(NFC)、车载通信(V2X)、蜂窝电话等的通信方法。

通信器130可以从外部服务器接收对象信息。通信器130可以根据处理器120的控制将控制命令发送到车辆控制器(未示出)。例如，根据处理器120的控制，基于在采集的图像中包括的对象的类型信息和距离信息中的至少一个，通信器130可以将与车辆速度有关的命令、与制动车辆有关的命令等发送给车辆控制器。

如果在电子设备100中未提供图像传感器，则通信器130可以接收从外部图像传感器中获得的采集图像。

存储器140可以存储用于驱动/控制电子设备100的各种数据、程序或应用。存储器140可以存储用于控制电子设备100和处理器120的控制程序、由制造商初始提供或从外部下载的应用、数据库或相关数据。

存储器140可以存储从第一图像传感器110-1和第二图像传感器110-2获得的多个采集图像。可以在更新第一图像传感器110-1和第二图像传感器110-2的曝光时间的过程中使用存储在存储器140中的多个采集图像。

存储器140可以将与图像传感器110所获得的图像的平均像素值相对应的曝光时间信息存储为查找表的格式。

存储器140可以存储关于感兴趣区域和感兴趣对象中的至少一个的信息。例如，存储器140可以存储交通标志的类型信息和交通信号灯的类型信息等。存储在存储器140中的类型信息可以用于处理器120识别包括在采集图像中的对象。电子设备100可以包括训练了类型信息的单独的训练模型，并且可以将采集的图像应用于训练模型以识别对象。在该示例中，训练模型可以被实现为认知系统，诸如人工神经网络或神经形态处理器。

存储器140可以被实现为包括在处理器120中的内部存储器，例如ROM、RAM等，或者可以被实现为与处理器120分开的存储器。存储器140可以被实现非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。

传感器150可以检测各种类型的输入。具体地，传感器150可以是用于检测用户的触摸的触摸传感器，并且根据本公开的传感器150可以包括诸如照度传感器、运动传感器等的各种传感器。

上述电子设备100可以独立使用，但是也可以与无线检测和测距(RADAR)单元、光检测和测距(LIDAR)单元一起识别特定对象，并计算所识别的对象的距离信息。RADAR单元可以是被配置为利用无线信号来检测车辆所处的环境中的对象的传感器。RADAR单元可以被配置为检测对象的速度和/或方向。LIDAR单元可以是被配置为使用激光检测车辆所处的环境中的对象的传感器。

电子设备100可以另外包括显示器(未示出)。

显示器可以显示从图像传感器110获得的采集图像。显示器可以显示包括车辆驾驶信息等的各种内容。车辆驾驶信息可以包括车辆的当前速度、车辆当前正在行驶的道路的速度限制、交通标志信息等。

显示器可以以各种形式实现，例如液晶显示器(LCD)、有机发光二极管(OLED)、硅基液晶(LCoS)、数字光处理(DLP)、量子点(QD)显示面板、微型LED等。可以在触摸屏中实现显示器以形成具有触摸板的层结构。在这种情况下，除了输出设备之外，显示器还可以用作用户界面(未示出)。触摸屏可以被配置为检测触摸输入压力以及触摸输入位置和面积。

电子设备100可以不单独包括显示器，并且可以通过接口(未示出)连接到外部显示设备，以将与各种内容相对应的信号发送到外部显示设备。

图3b是示出根据实施例的图像传感器的示例的图。

根据实施例，第一图像传感器110-1和第二图像传感器110-2中的每个可以连接至单独的处理器，并且处理器可以被实现为应用处理器(AP)。

连接到第一图像传感器110-1的应用处理器可以被称为第一应用处理器120-1，并且连接到第二图像传感器110-2的应用处理器可以被称为第二应用处理器120-2。应用处理器120-1和120-2可以基于图像传感器110-1和110-2中的每一个的图像信息来更新曝光时间，并且可以将更新后的曝光时间应用于图像传感器110-1和110-2中的每一个以获得采集图像。

第一应用处理器120-1可以基于由第一图像传感器110-1获得的至少一个先前图像的图像信息来更新第一曝光时间，并且可以通过内部接口(未示出)将更新后的第一曝光时间信息发送给第二应用处理器120-2。这里，内部接口可以用有线电缆实现。实施例不限于此，内部接口可以被实现为诸如蓝牙(BT)、无线保真(WI-FI)等的无线通信模块。第二应用处理器120-2可以基于接收到的第一曝光时间信息来控制在第一采集模式下的第二图像传感器110-2的曝光时间，以获得采集图像。

根据另一实施例，第一应用处理器120-1可以通过外部接口将第一曝光时间信息发送到第二应用处理器120-2。

图4是示出根据实施例的交替执行第一采集模式和第二采集模式的操作的图。

根据图4，电子设备100可以通过不同地控制第一图像传感器110-1和第二图像传感器110-2中的每一个的曝光时间，来执行第一采集模式以获得多个采集图像405和410。

由于在第一采集模式下第一图像传感器110-1和第二图像传感器110-2的曝光时间被不同地控制，因此，如图4所示，从第一图像传感器110-1中获得的图像405的亮度和从第二图像传感器110-2中获得的图像410的亮度可以不同。电子设备100可以在第一采集模式下将第一图像传感器110-1的曝光时间控制为第一曝光时间(例如，5ms)，并且将第二图像传感器110-2的曝光时间控制为第二曝光时间(例如，30ms)。由于第二曝光时间超过第一曝光时间，所以从第二图像传感器110-2中获得的图像410可以是比从第一图像传感器110-1中获得的图像405更亮的图像。

电子设备100可以识别第一采集模式下获得的多个采集图像405、410中的对象。不同于识别以单个亮度所采集的图像的情况，在从以各种亮度所采集的图像中识别对象的情况下，电子设备100可以具有更高的辨别力。

电子设备100可以从由第一图像传感器110-1获得的图像和由第二图像传感器110-2获得的图像中识别不同的对象。如图4所示，电子设备100可以识别从第一图像传感器110-1中获得的图像405中的交通信号灯区域，但是可以不识别从第二图像传感器110-2获得的图像410中的图像。电子设备可以在从第二图像传感器110-2中获得的图像410中识别多个车辆，但是可以在从第一图像传感器110-1中获得的图像405中仅识别一个车辆。

这是因为与从以一种亮度采集的图像中识别对象时相比，在以各种亮度采集的图像中识别对象时，可以增加对象的辨别力。

电子设备100可以通过相同地控制第一图像传感器110-1和第二图像传感器110-2中的每一个的曝光时间来执行第二采集模式以获得多个采集图像415、420。电子设备100可以控制第二图像传感器110-2的曝光时间，以与第一图像传感器110-1的曝光时间相同。因此，如图4所示，从第一图像传感器110-1中获得的图像415和从第二图像传感器110-2中获得的图像420可以具有相同的亮度。

因此，电子设备100没有在第二采集模式下基于从第二图像传感器110-2获得的图像信息来获得曝光时间，因此，可以具有减少电子设备的计算量的效果。

由于第一图像传感器110-1和第二图像传感器110-2彼此间隔开，因此在通过第一图像传感器110-1获得的图像415和通过第二图像传感器110-2获得的图像420之间存在时间差。电子设备100可以使用时间差来获得包括在多个采集的图像405、410中的对象的距离信息。这里，对象可以指的是在第一采集模式的多个图像405、410中识别出的所有对象。

电子设备100可以按帧交替执行第一采集模式和第二采集模式。

图5是示出根据实施例的第二图像传感器的曝光时间超过与帧对应的时间段的操作的图。

如图4所示，电子设备100可以以一帧间隔交替地执行第一采集模式和第二采集模式。

如果第二图像传感器110-2获得的至少一个先前图像的平均像素值小于预设值，则电子设备100可以控制第二图像传感器110-2的曝光时间超过与一帧对应的时间段。

例如，在周围环境非常暗的照明环境中，即使第二图像传感器110-2获得具有每帧最大曝光时间的采集图像，也可能无法识别图像中包括的对象。在这种情况下，电子设备100可以通过将曝光时间设置为超过每帧最大曝光时间，来获得具有目标像素值的图像，如图5所示。因此，在多个帧期间，第二图像传感器110-2可以在执行第一采集模式的同时获得采集图像515，并且第一图像传感器110-1获得多个采集图像505、510。换句话说，在第一图像传感器110-1获得采集图像505时，可以继续曝光连接到第二图像传感器110-2的快门514，并且第二图像传感器110-2可以在曝光时间被调整为相对较长的状态下获得一个采集图像515。在这种情况下，第二图像传感器110-2的fps可以低于第一图像传感器110-1的fps。

电子设备100可以通过相同地控制第一图像传感器110-1和第二图像传感器110-2中的每一个的曝光时间来执行第二采集模式以获得多个采集图像520、525，并且可以获得包括在多个采集图像520、525中的对象的距离信息。

参照图5，将第一图像传感器110-1的曝光时间描述为与两帧对应的时间段，但是根据照度情况，曝光时间可以是与三帧或更多帧对应的时间段。

图6是示出根据实施例的用于控制电子设备的方法的流程图。

在操作S610中，电子设备可以交替地执行第一采集模式和第二采集模式，第一采集模式通过不同地控制第一图像传感器110-1和第二图像传感器110-2中的每一个的曝光时间来获得多个采集图像，并且第二采集模式通过相同地控制第一图像传感器110-1和第二图像传感器110-2中的每一个的曝光时间来获得多个采集图像。

电子设备可以在第一采集模式下将第一图像传感器110-1的曝光时间控制为第一曝光时间，并且将第二图像传感器110-2的曝光时间控制为第二曝光时间。

电子设备可以在第二采集模式下将第一图像传感器110-1和第二图像传感器110-2的曝光时间控制为第一曝光时间。电子设备可以在第二采集模式下将第二图像传感器110-2的曝光时间控制为与第一图像传感器110-1的曝光时间相同。因此，电子设备没有在第二采集模式下基于从第二图像传感器110-2中获得的图像信息来获得曝光时间，因此，存在减少电子设备100的计算量的效果。

第二曝光时间可以超过第一曝光时间。具体地，在第一采集模式下，第二图像传感器110-2被设置为具有比第一图像传感器110-1更长的曝光时间，使得电子设备可以获得比从第一图像传感器110-1中获得的图像更亮的图像。

电子设备可以基于包括在至少一个先前图像中的像素值和由第一图像传感器110-1获得的对象的位置信息中的至少一个来更新第一曝光时间。例如，电子设备100可以计算包括在由第一图像传感器110-1获得的至少一个先前图像中的平均像素值，并且控制曝光时间，使得计算出的平均像素值达到目标像素值。可替代地，可以存储与由第一图像传感器110-1获得的至少一个图像的平均像素值对应的曝光时间信息，并且电子设备可以基于计算出的平均像素值来获得所存储的曝光时间信息并更新第一曝光时间。

电子设备可以在第一采集模式下基于第二图像传感器110-2获得的至少一个先前图像中包括的像素值和对象的位置信息中的至少一个来更新第二曝光时间。

可以以与第一曝光时间相同的方式更新应用到第二图像传感器110-2的第二曝光时间。然而，电子设备100可以基于在第一采集模式下由第二图像传感器110-2采集的图像的图像信息来更新第二曝光时间。

电子设备可以以预定帧间隔交替地执行第一采集模式和第二采集模式。这里，预设帧间隔可以是一帧间隔。

如果在第一采集模式下由第二图像传感器110-2获得的图像中包括的像素值小于预定值，则可以将第二图像传感器110-2的曝光时间控制为超过与一帧对应的时间间隔。

在操作S620中，电子设备可以使用在第一采集模式下获得的多个采集图像来识别对象，并且基于在第二采集模式下获得的多个采集图像来获得所识别的对象的距离信息。

与从以一种亮度所采集的图像中识别对象相比，在从以各种亮度所采集的图像中识别对象时，电子设备100可以具有较高的对象辨别力。在第一采集模式下，电子设备100可以在从被彼此不同地控制曝光时间的第一图像传感器110-1和第二图像传感器110-2的每一个中获得的多个采集图像中准确地识别各种对象。

由于第一图像传感器110-1和第二图像传感器110-2彼此间隔开，所以在通过第一图像传感器110-1获得的图像和通过第二图像传感器110-2获得的图像之间存在图像差。电子设备100可以通过使用时间差来获得包括在多个图像中的对象的距离信息。

S620的操作可以与S610同时执行或在S610之后执行。

上述电子设备可以是安装在车辆上的驾驶辅助设备。该电子设备可以是实现高级驾驶员辅助系统(ADAS)的设备。例如，电子设备可以是车辆的电子系统，并且可以被实现为安装在车辆内部的相机模块、后视镜集成模块或可从车辆拆卸的黑匣子等。

电子设备可以基于对象的类型信息和距离信息中的至少一个来控制车辆。

电子设备包括图像传感器110和处理器120，但是根据实施例，电子设备可以以除图像传感器110之外的形式实现。在该示例中，电子设备可以由存储器和/或处理器组成，并且采集的图像可以通过连接到外部图像传感器的接口获得。

将不再进一步描述每个步骤的详细操作。

根据上述各种实施例的方法中的至少一些方法可以被安装在现有的电子设备中，并且可以以应用形式实现，该应用形式是由用户在OS上直接使用的软件。

根据如上所述的各种实施例的方法可以被实现为用于现有电子设备的软件升级或硬件升级。

可以通过在电子设备中提供的嵌入式服务器或至少一个电子设备和显示设备的外部服务器来执行上述各种实施例。

同时，各种实施例可以用软件实现，包括存储在机器(例如，计算机)可读的机器可读存储介质上的指令。包括根据所公开的实施例的电子装置(例如，电子设备A)的装置可以从存储介质调用指令，并且执行被调用的指令。当指令被处理器执行时，处理器可以直接或在处理器的控制下通过使用其他组件来执行与指令相对应的功能。指令可以包括由编译器生成的代码或由解释器可执行的代码。可以以非暂时性存储介质的形式提供机器可读存储介质。这里，术语“非暂时性”仅表示存储介质是有形的，并且不在将数据半永久地存储在存储介质中的情况和将数据临时存储在存储介质中的情况进行区分。

根据实施例，根据上述实施例的方法可以被包括在计算机程序产品中。该计算机程序产品可以作为产品在卖方和消费者之间进行交易。该计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式在线分发，或通过应用商店(例如，PlayStore

另外，可以使用软件、硬件或其组合在诸如计算机或类似设备之类的计算机可读介质中实现上述一个或更多个实施例。在某些情况下，本文描述的一个或更多个实施例可以由处理器本身实现。根据软件实现，可以利用单独的软件模块来实现诸如本文描述的程序和功能的实施例。每个软件模块可以执行本文描述的功能和操作中的一个或更多个。

根据一些实施例，用于执行装置的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当存储在非暂时性计算机可读介质中的计算机指令由特定装置的处理器执行时，其可以使特定装置根据上述一个或更多个实施例在装置上执行处理操作。非暂时性计算机可读介质是半永久性存储数据并且可由装置读取的介质。非暂时性计算机可读介质的示例可以包括CD、DVD、硬盘、蓝光盘、USB、存储卡、ROM等。

根据实施例，根据上述实施例的方法可以被包括在计算机程序产品中。该计算机程序产品可以作为产品在卖方和消费者之间进行交易。该计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式在线分发，或者通过应用商店(例如，PLAYSTORE

根据实施例，上述各个元件(例如，模块或程序)可以包括单个实体或多个实体。根据实施例，可以省略上述相应元件中的至少一个元件或操作，或者可以添加至少一个其他元件或操作。可替代地或附加地，可以将多个组件(例如，模块或程序)组合以形成单个实体。在这种情况下，集成实体可以与集成之前的多个元件之中的相应元件所执行的功能相同或相似的方式，执行多个元件中的每个元件的至少一项功能。根据各种实施例的模块、程序模块或由其他元件执行的操作可以连续地、并行地、重复地或启发式地执行，或者可以根据不同的顺序执行至少一些操作，可以省略至少一些操作，或者可以向其添加其他操作。

尽管已经参考各种实施例示出和描述了各种实施例，但是本公开不限于特定的实施例或附图，并且本领域的普通技术人员将理解，可以在不脱离包括所附权利要求及其等同物的本公开的精神和范围的情况下，可以在本文中进行形式和细节上的各种改变。