图像采集设备及其快速启动方法、存储介质、终端

技术领域

本发明涉及图像采集技术领域，具体地涉及一种图像采集设备及其快速启动方法、存储介质、终端。

背景技术

图像传感器是将光学图像信号转换为电信号的半导体器件。在种类繁多的图像传感器中，互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，简称CMOS)图像传感器(CMOS Image Sensor，简称CIS)因其体积小、功耗低、价格低廉的优点而得到广泛应用。

现有的CMOS图像传感器(可简称为图像传感器)主要包括前照式(Front-sideIllumination，简称FSI)CMOS图像传感器和后照式(Back-sideIllumination，简称BSI)CMOS图像传感器两种。其中，后照式CMOS图像传感器因其更好的光电转换效果而获得的更广泛的应用，所述后照式CMOS图像传感器也可以称为背照式CMOS图像传感器。

在现阶段，图像传感器已经广泛应用到人们日常工作生活的方方面面，如应用于监控摄像头、手机等。

通常监控摄像头、手机等设备启动(如拍摄功能启动)时需要进行初始化配置，包括对图像传感器进行图像效果的调节以及图像参数的配置。这一系列初始化配置均会影响图像传感器的启动时间。而在监控领域往往对启动时间非常敏感，如果启动时间过长极有可能导致监控摄像头无法拍摄到监控目标。

目前集成有图像传感器的设备在启动时，通常是由设备的主机来调整图像传感器的出图参数。但这种外部对图像传感器进行控制调整的耗时普遍较长，无法满足用户越来越严格的快速启动需求。

发明内容

本发明解决的技术问题是如何更好的实现图像传感器的快速启动。

为解决上述技术问题，本发明实施例提供一种图像采集设备的快速启动方法，包括：响应于接收到快速启动指令，按快速启动模式运行以按第一帧率采集得到原始图像，其中，所述第一帧率高于所述图像采集设备按正常采样模式运行时的图像采集帧率；对所述原始图像进行优化处理，以得到处理后图像；输出所述处理后图像至所述图像采集设备的外部。

可选的，所述按第一帧率采集得到原始图像包括：以降采样的方式采集得到所述原始图像。

可选的，所述降采样的方式包括：跳像素行读取；多像素行合并读取。

可选的，所述快速启动方法还包括：根据快速启动模式下的运行数据判断是否切换至所述正常采样模式；若判断结果表明切换至正常采样模式，则按第二帧率采集得到原始图像，其中，所述第二帧率小于所述第一帧率。

可选的，所述运行数据包括以下至少一项：快速启动模式下采集得到的原始图像总数；单帧原始图像的图像质量；前后两帧原始图像经优化处理的调整量之间的偏差；按快速启动模式运行的运行时长。

可选的，正常采样模式下单帧原始图像的采样点多于快速启动模式下单帧原始图像的采样点。

可选的，所述对所述原始图像进行优化处理，以得到处理后图像包括：基于自动曝光控制调节所述原始图像的亮度，以得到所述处理后图像。

可选的，所述基于自动曝光控制调节所述原始图像的亮度包括：调节所述原始图像的增益和/或曝光时间，以将所述原始图像的亮度调节至预设目标值。

可选的，所述预设目标值获取自主机或者由所述图像采集设备根据环境亮度感知确定。

可选的，所述对所述原始图像进行优化处理，以得到处理后图像包括：基于自动白平衡控制调节所述原始图像的白平衡，以得到所述处理后图像。

可选的，所述基于自动白平衡控制调节所述原始图像的白平衡包括：获取所述原始图像中的白色区域；将所述白色区域中R通道、G通道和B通道的增益映射至所述原始图像的所有像素点，以得到所述处理后图像。

可选的，对于前后两帧原始图像，后一帧原始图像为根据前一帧图像进行自动白平衡控制时采用的增益调节后的结果。

为解决上述技术问题，本发明实施例还提供一种图像采集设备，包括：像素阵列；采样单元，用于对所述像素阵列的数据进行采样操作；处理单元，与所述采样单元相通信，所述处理单元用于对所述采样单元采集得到的原始图像进行优化处理；控制单元，分别与所述采样单元和处理单元相通信，所述控制单元执行上述快速启动所述方法，以在接收到快速启动指令时控制所述采样单元按第一帧率执行采样操作，并控制所述处理单元对所述采样单元采集得到的原始图像进行优化处理。

可选的，所述处理单元包括：自动曝光控制单元，用于基于自动曝光控制调节所述原始图像的亮度，以得到所述处理后图像。

可选的，所述处理单元包括：自动白平衡控制单元，用于基于自动白平衡控制调节所述原始图像的白平衡，以得到所述处理后图像。

可选的，所述快速启动指令接收自主机，且所述快速启动指令包括对所述处理单元中一个或多个单元的唤醒指令。

可选的，所述主机包括监控设备。

为解决上述技术问题，本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。

为解决上述技术问题，本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明实施例提供一种图像采集设备的快速启动方法，包括：响应于接收到快速启动指令，按快速启动模式运行以按第一帧率采集得到原始图像，其中，所述第一帧率高于所述图像采集设备按正常采样模式运行时的图像采集帧率；对所述原始图像进行优化处理，以得到处理后图像；输出所述处理后图像至所述图像采集设备的外部。

采用本实施方案，通过优化图像采集设备自身在快速启动阶段的表现，能够极大缩短图像采集设备从启动到输出正常图像的用时，减少外部对图像采集设备的控制调整时间。具体而言，执行本实施方案的图像采集设备在按快速启动模式运行时，一方面通过提高图像帧率的方式缩短输出每帧图像的输出时间。另一方面，在图像采集设备内部就对以高帧率输出的原始图像进行优化处理，使得最终输出至图像采集设备之外的图像就是正常亮度和色彩的图像。由此，能够极大节约主机从下达快速启动指令到从图像采集设备处捕获符合当前环境的亮度和色阶的图像的用时。

附图说明

图1是本发明实施例一种图像采集设备的快速启动方法的流程图；

图2是本发明实施例一种图像采集设备的原理示意图；

图3是本发明实施例一个典型应用场景的控制逻辑框图。

具体实施方式

如背景技术所言，目前集成有图像传感器的设备在启动时，通常是由设备的主机来调整图像传感器的出图参数。但这种外部对图像传感器进行控制调整的耗时普遍较长，无法满足用户越来越严格的快速启动需求。

为解决上述技术问题，本发明实施例提供一种图像采集设备的快速启动方法，包括：响应于接收到快速启动指令，按快速启动模式运行以按第一帧率采集得到原始图像，其中，所述第一帧率高于所述图像采集设备按正常采样模式运行时的图像采集帧率；对所述原始图像进行优化处理，以得到处理后图像；输出所述处理后图像至所述图像采集设备的外部。

采用本实施方案，通过优化图像采集设备自身在快速启动阶段的表现，能够极大缩短图像采集设备从启动到输出正常图像的用时，减少外部对图像采集设备的控制调整时间。具体而言，执行本实施方案的图像采集设备在按快速启动模式运行时，一方面通过提高图像帧率的方式缩短输出每帧图像的输出时间。另一方面，在图像采集设备内部就对以高帧率输出的原始图像进行优化处理，使得最终输出至图像采集设备之外的图像就是正常亮度和色彩的图像。由此，能够极大节约主机从下达快速启动指令到从图像采集设备处捕获符合当前环境的亮度和色阶的图像的用时。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例一种图像采集设备的快速启动方法的流程图。

具体地，所述图像采集设备可以在主机的控制下执行图像采集操作，并向主机传输采集得到的图像。例如，图像采集设备与主机之间可以通过串行外设接口(SerialPeripheral Interface，简称SPI)或集成电路总线(Inter－Integrated Circuit，简称I2C)耦接以传输控制指令，如快速启动指令。又例如，主机可以耦接图像采集设备的数字视频接口(Digital Video Port，简称DVP)或移动产业处理器接口(Mobile IndustryProcessor Interface，简称MIPI)以接收图像数据。

在监控应用场景中，主机与图像采集设备可以是相独立的，如主机可以为监控设备，图像采集设备为与监控设备相通信的摄像头；主机与图像采集设备可以集成在一起，如主机可以为监控设备的主控模块。在手机应用场景中，主机可以为手机的中央处理器(central processing unit，简称CPU)，或专门用于执行拍摄功能的功能模块。

进一步，所述图像采集设备可以为CMOS图像传感器。例如，前照式CMOS图像传感器或后照式CMOS图像传感器。

进一步，本实施方案所述快速启动，是指图像采集设备快速地输出符合当前环境的亮度和色阶的图像。也即图像采集设备在尽可能短的时间内输出正常亮度和色彩的图像，所述正常亮度和色彩的图像为图像采集设备按正常采样模式运行时获取的图像。采用本实施方案，能够极大缩短图像采集设备启动阶段，从最初输出图像质量较差的图像到稳定输出正常图像的耗时。

进一步，参考图1，本实施例所述图像采集设备的快速启动方法可以包括如下步骤：

步骤S101，响应于接收到快速启动指令，按快速启动模式运行以按第一帧率采集得到原始图像，其中，所述第一帧率高于所述图像采集设备按正常采样模式运行时的图像采集帧率；

步骤S102，对所述原始图像进行优化处理，以得到处理后图像；

步骤S103，输出所述处理后图像至所述图像采集设备的外部。

在一个具体实施中，快速启动指令可以接收自主机，所述快速启动指令可以用于指示图像采集设备执行本实施方案以实现快速启动。

进一步，快速启动指令可以包含优化处理模式的选择，所述优化处理模式可以包括自动曝光控制(Automatic Exposure Control，简称AEC)快速调整模式和自动白平衡(Automatic White Balance，简称AWB)快速调整模式。

例如，快速启动指令可以指示AEC快速调整模式是否打开，以及AWB快速调整模式是否打开。相应的，图像采集设备在执行步骤S102时，按照快速启动指令指示打开的优化处理模块对步骤S101采集得到的原始图像进行优化处理。

主机可以根据当前的拍摄模式决定具体开启的优化处理模式。

将所述图像采集设备按正常采样模式运行时的图像采集帧率记作第二帧率。在一个具体实施中，第二帧率可以为30帧/秒(frames per second，简称fps)，第一帧率可以为240fps。此时，图像采集设备按快速启动模式运行时获取每帧图像的时间可以缩短到4.17毫秒(ms)。

在一个具体实施中，所述步骤S101可以包括步骤：以降采样的方式采集得到所述原始图像。具体而言，正常采样模式下单帧原始图像的采样点多于快速启动模式下单帧原始图像的采样点。也就是说，步骤S101中的降采样操作通过减少像素的采样点来提升图像帧率。

例如，主机复位配置图像采集设备快速启动，则图像采集设备通过控制内部电路完成对图像的降采样。

进一步，所述降采样的方式可以包括跳像素行读取，即skip读。如隔行读、隔多行读等。

进一步，降采样的方式可以包括多像素行合并读取。合并读取可以指采用像素叠加(Binning)模式出图，所述Binning模式是一种图像读出模式，通过将相邻像素区感应的电荷加在一起，以一个像素的模式读出。Binning包括水平方向Binning和垂直方向Binning，其中垂直方向Binning是将相邻像素行的电荷加在一起读出，而水平方向Binning是将相邻列的电荷加在一起读出。

进一步，在以降采样的方式采集得到当前帧的原始图像后，可以采用多行同时复位(reset)的方式减少复位耗时，以缩短以降采样的方式采集下一帧原始图像的间隔时间。由此，能够进一步提高帧率。

在一个具体实施中，所述步骤S102可以包括步骤：基于自动曝光控制调节所述原始图像的亮度，以得到所述处理后图像。由此，对于降采样得到的原始图像，在图像采集设备内部完成自动曝光控制，完成曝光值及增益的调节。

具体而言，可以通过设置于图像采集设备内部的数字AEC模块，将原始图像在若干帧内调整到需要的亮度。

进一步，可以调节所述原始图像的增益和/或曝光时间，以将所述原始图像的亮度调节至预设目标值。其中，所述预设目标值可以获取自主机。

例如，主机发送的所述快速启动指令可以包含所述预设目标值。

进一步，图像采集设备在执行本实施方案期间，可以自行感测外接环境亮度，进而调整所述预设目标值。

或者，所述预设目标值可以直接由所述图像采集设备自行根据环境亮度感知确定。例如，可以根据环境图像的直方图计算得到预设目标值。

在一个具体实施中，所述步骤S102可以包括步骤：基于自动白平衡控制调节所述原始图像的白平衡，以得到所述处理后图像。由此，对于降采样得到的原始图像，在图像采集设备内部完成自动白平衡控制。

具体而言，可以通过设置于图像采集设备内部的数字AWB模块，完成白平衡的调节。

进一步，可以获取所述原始图像中的白色区域；将所述白色区域中R(Red)通道、G通道(Green)和B(Blue)通道的增益映射至所述原始图像的所有像素点，以得到所述处理后图像。

例如，可以采用人工智能(artificial intelligence，简称AI)算法或其他方法找到原始图像中的白块。

进一步，对于前后两帧原始图像，后一帧原始图像可以为根据前一帧图像进行自动白平衡控制时采用的增益调节后的结果。

例如，在基于自动白平衡控制调节上一帧原始图像时，可以得到该上一帧原始图像需要调整的R/G/B通道的增益。此时，在按照得出的增益调整上一帧原始图像的同时，可以将增益值提供至R/G/B通道，则通道在传输下一帧图像时直接将该增益作用到下一帧图像上。由此，下一帧输出的原始图像已经是根据上一帧图像的白平衡调整量初步调整后的结果。然后，对下一帧原始图像再基于自动白平衡控制进行调节，本次调节时使用的增益值迭代更新给通道用作下一帧图像的初始调节。

在一个具体实施中，步骤S103中的外部可以指主机，也即经过步骤S102优化处理得到的处理后图像可以经由DVP或MIPI传输至主机。

在一个具体实施中，本实施例所述快速启动方法还可以包括步骤：根据快速启动模式下的运行数据判断是否切换至所述正常采样模式；若判断结果表明切换至正常采样模式，则按第二帧率采集得到原始图像，其中，所述第二帧率小于所述第一帧率。由此，图像采集设备可以自行完成降采样图像尺寸和正常图像尺寸之间的自动切换。

若判断结果表明尚不能切换至正常采样模式，则仍按快速启动模式运行。

进一步，所述运行数据可以包括以下至少一项：快速启动模式下采集得到的原始图像总数；单帧原始图像的图像质量；前后两帧原始图像经优化处理的调整量之间的偏差；按快速启动模式运行的运行时长。

例如，可以根据历史上图像采集设备执行本实施方案从初始启动到输出的处理后图像基本满足正常图像的图像质量需求时，图像采集设备采集的原始图像总数确定门限值。相应的，图像采集设备可以在本次快速启动期间记录本次启动至今采集的原始图像总数，当原始图像总数达到门限值时确定可以切换至正常采样模式。

例如，可以比较单帧原始图像的图像质量是否满足正常采样模式下对图像质量的要求，如亮度是否达到预设目标值，又如R/G/B通道的增益差异，进而判断是否可以切换至正常采样模式。在一个变化例中，可以每隔多帧判断一次原始图像的图像质量，以节省功耗。

例如，可以比较前一帧原始图像较之该帧的处理后图像的亮度调整值，与后一帧原始图像较之该帧的处理后图像的亮度调整值之间的偏差，若偏差较大则说明图像采集设备出图仍不稳定；若偏差较小则说明可以切换时正常采样模式。

例如，可以比较前后两帧原始图像需要调整的R/G/B通道的增益，判断是否可以切换至正常采样模式。

例如，若图像采集设备按快速启动模式运行至今的运行时长达到最大时长，则确定必须切换至正常采样模式。其中，最大时长可以由主机设置并通过快速启动指令指示。

进一步，在切换至正常采样模式后，可以关闭图像采集设备内部的数字AEC模块和数字AWB模块，将对采集到的图像的优化处理权限移交给主机。

由上，采用本实施方案，通过优化图像采集设备自身在快速启动阶段的表现，能够极大缩短图像采集设备从启动到输出正常图像的用时，减少外部对图像采集设备的控制调整时间。具体而言，执行本实施方案的图像采集设备在按快速启动模式运行时，一方面通过提高图像帧率的方式缩短输出每帧图像的输出时间。另一方面，在图像采集设备内部就对以高帧率输出的原始图像进行优化处理，使得最终输出至图像采集设备之外的图像就是正常亮度和色彩的图像。由此，能够极大节约主机从下达快速启动指令到从图像采集设备处捕获符合当前环境的亮度和色阶的图像的用时。

图2是本发明实施例一种图像采集设备的原理示意图。

具体地，参考图2，本实施例所述的图像采集设备2可以包括像素阵列21。其中，所述像素阵列21可以包括阵列排布的多个像素行和多个像素列(图未示)。所述像素阵列21可以包括多个像素区，对于每一像素区，该像素区包含的至少一个光电二极管形成该像素区的感光区域。像素阵列21中的感光区域感光并生成电荷，电荷被读取以获得帧图像的数据。

进一步，图像采集设备2还可以包括采样单元22，用于对所述像素阵列21的数据进行采样操作。

具体地，所述采样操作可以包括，逐行采集像素阵列21自上一帧图像的数据采样操作执行完毕至今存储的电信号。在快速启动模式下，采样单元22可以是跳像素行读取或多像素行合并读取的方式采集像素阵列21自上一帧图像的数据采样操作执行完毕至今存储的电信号。

进一步，所述采样操作可以包括曝光操作以得到模拟信号，以及通过模数转化操作将模拟信号转化为数字信号的过程。

进一步，图像采集设备2还可以包括处理单元23，与所述采样单元22相通信，所述处理单元23用于对所述采样单元22采集得到的原始图像进行优化处理。

进一步，图像采集设备2还可以包括控制单元24，分别与所述采样单元22和处理单元23相通信，所述控制单元24执行上述图1所示实施例所述方法，以在接收到快速启动指令时控制所述采样单元22按第一帧率执行采样操作，并控制所述处理单元23对所述采样单元22采集得到的原始图像进行优化处理。

在一个具体实施中，所述处理单元23可以包括：自动曝光控制单元231(即上述图1中所述的数字AEC模块)，用于基于自动曝光控制调节所述原始图像的亮度，以得到所述处理后图像。

在一个具体实施中，所述处理单元23可以包括：自动白平衡控制单元232(即上述图1中所述的数字AWB模块)，用于基于自动白平衡控制调节所述原始图像的白平衡，以得到所述处理后图像。

在一个具体实施中，所述处理单元23可以包括：自动曝光控制单元231以及自动白平衡控制单元232。

关于自动曝光控制单元231和自动白平衡控制单元232各自对原始图像进行优化处理的逻辑可以参考上述图1所示实施例中的具体描述，在此不予赘述。

在一个具体实施中，所述快速启动指令可以接收自主机(图未示)，且所述快速启动指令包括对所述处理单元23中一个或多个单元的唤醒指令。例如，快速启动指令包含对自动曝光控制单元231和自动白平衡控制单元232中一个或多个的唤醒指令，响应于接收到该快速启动指令，控制模块24唤醒对应的单元。

在一个具体实施中，所述主机可以包括监控设备。

在一个典型的应用场景中，结合图2和图3，主机向图像采集设备2发送快速启动指令，假设所述快速启动指令中的唤醒指令用于唤醒自动曝光控制单元231和自动白平衡控制单元232。

响应于接收到快速启动指令，控制模块24进入快速启动模式。在此模式下，采样单元22切换到降采样模式，按第一帧率对像素阵列21的数据进行采样操作，得到原始图像。

同时，控制模块24开启自动曝光控制单元(即图3中的AEC单元)231和自动白平衡控制单元(即图3中的AWB单元)232。自动曝光控制单元231对采样单元22获取的原始图像进行AEC调整，以将原始图像的亮度调整至正常采样时的成像水平；自动白平衡控制单元232对采样单元22获取的原始图像进行AWB调整，以将原始图像的色彩调整至正常采样时的成像水平。完成AEC和AWB调整得到的处理后图像即为图像采集设备2最终输出的降采样图像数据。

当控制单元24判断可以切换回正常采样模式时，采样单元22切换到全像素模式，按照正常采样像素(即第二帧率)对像素阵列21的数据进行采样操作，得到原始图像。

同时，控制模块24关闭自动曝光控制单元231和自动白平衡控制单元232。此时，采样单元22采集得到的原始图像即为图像采集设备2最终输出的全像素图像数据。所述全像素图像数据即为亮度和色彩正常的图像。

实验表明，采用本实施方案能够极大节约主机捕获正常亮度和色彩图像的时间，具体从原先的423ms调整至96ms。

进一步地，本发明实施例还公开一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1所示实施例中所述的方法技术方案。优选地，所述存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。所述存储介质可以包括ROM、RAM、磁盘或光盘等。

进一步地，本发明实施例还公开一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图1所示实施例中所述的方法技术方案。例如，所述终端可以为所述图像采集设备。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。