数据获取装置、方法和摄像机

技术领域

本申请涉及光感成像技术，特别涉及一种数据获取装置、一种数据获取方法以及一种摄像机。

背景技术

摄像机可以包括图像传感器，该图像传感器的感光阵列中的各像素可以将曝光期间内感应到的光信号转换为对应的读出数据，并且，读出数据所表征的像素亮度信息与环境亮度和曝光时长关联。

在某些场景中，环境亮度的不均匀、或者环境亮度对光谱中的不同波段的入光量影响，可能会导致感光阵列的不同区域内的像素存在差异化曝光需求，以使得图像的各像素的像素亮度信息都能够达到预期。

然而，若将图像传感器的感光阵列配置为差异化曝光，则，每一种曝光时长的曝光结束都会触发感光阵列产生一次读出数据，这会导致读出数据在时间上的密度增加，进而，图像传感器在单位时间内产生的读出数据的数据量，可能会超出用于从图像传感器向数据处理单元输出读出数据的数据传输接口的传输能力，甚至导致数据传输接口发生读出数据的传输丢包。

因此，在现有技术中，用于传输读出数据的数据传输接口的传输能力，成为限制像素差异化曝光的瓶颈。

发明内容

在本申请的实施例中，提供了一种数据获取装置、一种数据获取方法以及一种摄像机，能够在实现像素差异化曝光的同时缓解读出数据的传输压力。

在本申请的一个实施例中，一种数据获取装置包括：

数据采集单元，用于读取图像传感器的感光阵列逐行产生的读出数据流，其中，所述感光阵列包含至少两个像素组，并且，所述至少两个像素组中的每个像素组分别受控于独立于其他像素组的曝光时序控制信号，以使得所述至少两个像素组的曝光时序彼此独立；

前置处理单元，用于滤除所述读出数据流中的无效冗余数据；

数据传输单元，用于将滤除所述无效冗余数据后的留存数据流通过数据传输接口传输。

在一些示例中，可选地，所述无效冗余数据包括：在任意像素组的曝光结束时刻尚未完成曝光的其他像素组的读出数据。

在一些示例中，可选地，所述至少两个像素组中的任意两个像素组的单次曝光时长不同，和/或，所述至少两个像素组中的至少一个像素组的单次曝光时长可变。

在一些示例中，可选地，所述至少两个像素组的曝光过程在时间上异步交叠。

在一些示例中，可选地，所述至少两个像素组中的至少一个像素组对应的曝光增益控制信号，不同于其他像素组对应的曝光增益控制信号。

在一些示例中，可选地，所述前置处理单元进一步依据先验信息，逐个检测所述读出数据流中的每个读出数据是否为所述无效冗余数据；其中，所述先验信息包含所述至少两个像素组在所述感光阵列中的像素阵列位置、以及所述至少两个像素组的曝光时序。

在一些示例中，可选地，所述前置处理单元进一步用于为所述至少两个像素组中的每个像素组，建立独立于其他像素组的独立传输通道；其中，每个像素组的所述独立传输通道，用于传输该像素组的所述读出数据流经所述无效冗余数据滤除后得到的所述留存数据流；所述数据传输单元进一步用于将不同的所述独立传输通道中的所述留存数据流，在所述数据传输接口分通道传输。

在一些示例中，可选地，进一步包括：数据处理单元，用于通过所述数据传输接口接收所述留存数据流，并且基于所述留存数据流重构图像。

在一些示例中，可选地，所述数据处理单元在利用所述留存数据流重构图像时进一步依据先验信息；其中，所述先验信息包含所述至少两个像素组在所述感光阵列中的像素阵列位置、以及所述至少两个像素组的曝光时序，并且，所述先验信息还用于所述前置处理单元滤除所述无效冗余数据。

在一些示例中，可选地，所述数据处理单元被配置为利用预先训练的神经网络，获得基于所述留存数据重构的图像；或者，所述数据处理单元被配置为利用填充法，获得基于所述留存数据重构的图像。

在一些示例中，可选地，所述重构图像包括：按照所述留存数据流所对应的所述读出数据流的读取时间，重构得到的与所述读取时间关联的图像；或者，所述重构图像包括：基于每个所述像素组的所述留存数据流，分别重构得到的与曝光时序关联的图像。

在一些示例中，可选地，所述数据处理单元进一步用于对重构得到的图像进行图像处理；其中，所述数据处理单元被配置为利用预先训练的神经网络，实现所述重构图像、和/或对重构得到的图像的图像处理。

在另一个实施例中，一种数据获取方法包括：

读取图像传感器的感光阵列逐行产生的读出数据流，其中，所述感光阵列包含至少两个像素组，并且，所述至少两个像素组中的每个像素组分别受控于独立于其他像素组的曝光时序控制信号，以使得所述至少两个像素组的曝光时序彼此独立；

滤除所述读出数据流中的无效冗余数据；

将滤除所述无效冗余数据后的所述留存数据流通过数据传输接口传输。

在一些示例中，可选地，所述无效冗余数据包括：在任意像素组的曝光结束时刻尚未完成曝光的其他像素组的读出数据。

在一些示例中，可选地，进一步包括：依据先验信息，逐个检测所述读出数据流中的每个读出数据是否为所述无效冗余数据；其中，所述先验信息包含所述至少两个像素组在所述感光阵列中的像素阵列位置、以及所述至少两个像素组的曝光时序。

在一些示例中，可选地，进一步包括：为所述至少两个像素组中的每个像素组，建立独立于其他像素组的独立传输通道，其中，每个像素组的所述独立传输通道，用于传输该像素组的所述读出数据流经所述无效冗余数据滤除后得到的所述留存数据流；所述将滤除所述无效冗余数据后的所述留存数据流通过数据传输接口传输，包括：将不同的所述独立传输通道中的所述留存数据流，在所述数据传输接口分通道传输。

在一些示例中，可选地，进一步包括：通过所述数据传输接口接收所述留存数据流；基于所述留存数据流重构图像。

在一些示例中，可选地，进一步包括：获取确定所述无效冗余数据时使用的先验信息，以在利用所述留存数据流重构图像时进一步依据所述先验信息，其中，所述先验信息包含所述至少两个像素组在所述感光阵列中的像素阵列位置、以及所述至少两个像素组的曝光时序。

在一些示例中，可选地，进一步包括：利用预先训练的神经网络，基于从所述数据传输接口接收的所述留存数据重构图像、以及对重构得到的图像进行图像处理。

在本申请的另一个实施例中，一种摄像机包括如前述实施例所述的数据获取装置。

基于上述实施例，图像传感器的感光阵列可以被配置为包括曝光时序彼此独立的至少两个像素组，因此，可以满足感光阵列在不同区域的单个阵列像素差异化曝光需求。而且，对于差异化曝光引发的读出数据在时间上的输出密度增加，可以通过将读出数据以数据流的形式实时传输、并滤除读出数据流中的无效冗余数据来缓解数据传输接口的压力，从而，可以解除数据传输接口的传输能力对差异化曝光的瓶颈限制。

附图说明

以下附图仅对本申请做示意性说明和解释，并不限定本申请的范围：

图1a和图1b为本申请实施例中的感光阵列的像素分组的实例示意图；

图2a和图2b为本申请实施例中的感光阵列的像素组独立曝光时序的实例示意图；

图3为本申请的实施例中的数据获取装置的示例性结构示意图；

图4为如图3所示数据获取装置中的数据采样单元的采样实例示意图；

图5为如图3所示数据获取装置中的前置处理单元的滤除实例示意图；

图6为如图3所示数据获取装置的示例性扩展结构示意图；

图7为如图6所示扩展结构中的数据处理单元的重构实例示意图；

图8为本申请的另一个实施例中的数据获取方法的示例性流程示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。

在本申请的实施例中，为了使图像的各像素都能够达到预期亮度，将图像传感器的感光阵列配置为包含曝光时序彼此独立的至少两个像素组，例如，该图像传感器可以选用诸如CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等任意一种感光元件。

至少两个像素组的划分，可以是按照像素阵列位置来划分，或者，也可以是按照色彩通道来划分。其中，按照像素阵列位置的划分方式，可以是各像素组的像素阵列位置离散分布、或者也可以是各像素组的像素阵列按区域集中分布；按照色彩通道的划分方式，可以是每个色彩通道独立划分为一个像素组，或者，也可以允许一个像素组包含两个色彩通道所对应的像素。

无论至少两个像素组以何种依据划分，为了使至少两个像素组的曝光时序彼此独立，至少两个像素组中的每个像素组可以分别受控于独立于其他像素组的曝光时序控制信号。

图1a和图1b为本申请实施例中的感光阵列的像素分组的实例示意图。

请先参见图1a，以三个像素组(像素组A、像素组B、像素组CD)为例，其中，像素组A、像素组B、以及像素组CD可以分别包含感光阵列中位置离散交错分布的不同像素，并且，像素组A受控于第一曝光时序控制信号S1，像素组B受控于第二曝光时序控制信号S2，像素组CD受控于第三曝光时序控制信号S3。

例如，像素组A、像素组B、以及像素组CD分别包括的不同像素的位置离散分布的方式，可以根据各像素分别对应的色彩通道来确定。即，对于需要获取彩色图像的情况，图像传感器10的感光阵列在曝光时的入光面可以部署色彩滤波阵列，以使得环境光可以经色彩滤波阵列过滤后转转为不同色彩通道的单色光、并分别投射在感光阵列中的对应像素，从而，感光阵列中的不同像素可以分别感知到不同色彩通道的单色光，进而，图像传感器产生的读出数据中可以包含色彩信息。在此情况下，若获取的图像为彩色的可见光图像，则，A、B、C、D可以分别对应为R(Red，红色)通道、B(Blue，蓝色)、以及G1和G2(Green，绿色)通道的像素。从而，通过像素组A、像素组B、以及像素组CD彼此独立地受控曝光，可以得到以色彩通道区分的不同曝光时长的读出数据，并且，每个色彩通道对应的像素组的曝光时长，可以根据该色彩通道在不同环境亮度条件下的入光量确定。

请再参见图1b，以三个像素组(即像素组A、像素组B、像素组C)为例，其中，像素组A、像素组B、以及像素组C可以分别包含感光阵列中按区域划分的不同像素，并且，像素组A受控于第一曝光时序控制信号S1，像素组B受控于第二曝光时序控制信号S2，像素组C受控于第三曝光时序控制信号S3。

例如，像素组A、像素组B、以及像素组C分别包括的不同像素的位置按区域分布的方式，可以根据投射在感光阵列的入射光的视野区域来确定。即，A、B、C可以分别对应于入射光的视野内的三个互不交叠的视野区域，并且，这三个视野区域内的环境亮度存在差异。从而，通过像素组A、像素组B、像素组C彼此独立地受控曝光，可以实现针对环境亮度不同的各视野范围的差异化曝光，其中，视野区域所对应的环境亮度越高，对应该视野区域的像素组中的各像素点的像素组的曝光时长可以被配置为越短，反之，视野区域所对应的环境亮度越低，对应该视野区域的像素组中的各像素点的曝光时长可以被配置为越长。

上述如图1a和图1b所示的两个实例，旨在表达像素组的划分方式的多样性、以及像素组的组数量可以为两个或两个以上的任意数量，本申请实施例对此不做穷举。

在本申请的实施例中，至少两个像素组的曝光时序彼此独立，可以允许至少两个像素组异步曝光，例如：

至少两个像素组中的任意两个像素组的单次曝光时长不同，即，任意两个像素组的曝光起始时刻和结束时刻中的至少之一不同，和/或，

至少两个像素组中的至少一个像素组的单次曝光时长响应于时间的变化而变化，即，任意一个像素组的单次曝光时长可变。

在对读出数据的时间间隔有需求的某些场景中，至少两个像素组的曝光时序彼此独立，还可以被配置为使：至少两个像素组的曝光过程在时间上异步交叠。其中，至少两个像素组的曝光过程在时间上异步交叠可以是指：任意两个像素组的曝光过程的起始时刻和结束时刻不全同步，并且，这两个像素组的曝光过程在某个时刻或时间段同时进行。

例如，在环境亮暗差异较大的环境中，可能会存在图像的全局亮度(例如所有像素点的亮度值的平均值)达到预设的期望亮度，但图像的某个区域的局部亮度(例如部分像素点的亮度值)严重偏离于预设的期望亮度，这就导致图像在该区域的成像质量不佳，例如，图像在该区域的成像内容不易识别。为了提高亮暗反差过大的场景中的图像质量，可以利用HDR(High Dynamic Range，高动态范围)技术来获取图像，即，HDR技术可以利用曝光时长不同的至少两帧图像得到一帧融合图像，其中，曝光时长相对长的长帧图像的信噪比相对高、但模糊化程度也相对高，曝光时长相对短的短帧图像的信噪比相对低、但模糊化程度也相对低，从而，通过融合曝光时长不同的两帧图像(其中曝光时间相对长的一帧图像可称为长帧图像、曝光时间相对短的另一帧图像可称为短帧图像)，理论上可以得到兼顾较高的信噪比、以及较低的模糊化程度的融合图像。然而，若长帧图像和短帧图像的读出数据由同一感光阵列先后两次分时曝光得到，则，长帧图像和短帧图像之间具有至少一个完整曝光周期的时间间隔，对于场景中存在运动目标(尤其是高速运动目标)的情况，会导致融合图像中出现运动目标的模糊虚影，无法在兼顾高信噪比的同时完全兼顾到低模糊化。因此，对于利用HDR技术获得融合图像的场景，至少两个像素组的曝光过程可以被配置为使二者的曝光过程在时间上异步交叠，以便于基于异步交叠得到的曝光时长不同的读出数据，使用于利用HDR技术实现融合的长帧图像和短帧图像之间的时间间隔更小。

也就是，在图像传感器的感光阵列被配置为包括曝光过程在时间上异步交叠的至少两个像素组、并且能够并发产生曝光时长不同的读出数据的基础上，可以得到适用于HDR技术、且时间间隔更短的长帧图像和短帧图像，从而，对于亮暗反差过大、且包含运动目标的场景，利用长短帧图像集合得到的融合图像可以兼顾高信噪比和低模糊化程度的质量需求。

图2a和图2b为本申请实施例中的感光阵列的像素组独立曝光时序的实例示意图。

其中，图2a所示的时序实例是针对如图1a所示的像素分组实例的时序，图2b所示的时序实例是针对如图1b所示的像素分组实例的时序，并且，在图2a和图2b中，第一曝光时序控制信号S1、第二曝光时序控制信号S2以及第三曝光时序控制信号S3均被配置为下降沿触发曝光开始、上升沿触发曝光结束，但可以理解的是，本申请并不对曝光时序控制信号的信号触发沿做限制。

从图2a中可以看出，像素组A与像素组B的曝光过程的起始时刻和结束时刻不全同步，以使得像素组A和像素组B的曝光时长不同，从而实现图像传感器10的感光阵列在空域(空间维度)的曝光时长差异化；并且，像素组A和像素组B的曝光过程在某个时刻或时间段同时进行，以使得像素组A和像素组B中任意一个的曝光过程不必等待另一个的曝光过程结束才能开始。同理，像素组A与像素组CD之间，以及，像素组B与像素组CD之间，也满足前文提及的曝光时序关系。

同样地，在图2b中，像素组A与像素组B的曝光过程的起始时刻和结束时刻不全同步，以使得像素组A和像素组B的曝光时长不同，从而实现图像传感器10的感光阵列在空域(空间维度)的曝光时长差异化；并且，像素组A和像素组B的曝光过程在某个时刻或时间段同时进行，以使得像素组A和像素组B中任意一个的曝光过程不必等待另一个的曝光过程结束才能开始。同理，像素组A与像素组C之间，以及，像素组B与像素组C之间，也满足前文针对曝光过程在时间上异步交叠所列举的条件。

另外，在图2a和图2b中，像素组A和像素组B的曝光时长也可以随着时间的变化而改变，以实现图像传感器10的任意像素组的曝光时长在时域(时间维度)的差异化。

作为进一步的优选方案，除了曝光时序可以被独立控制之外，各像素组的曝光增益也可以被独立控制，即，图像传感器10的感光阵列中的至少两个像素组中的至少一个像素组的增益调节，独立其他像素组。例如，图像传感器10的感光阵列中的任意一个像素组可以进一步受控于独立于其他像素组的曝光增益控制信号，每一路曝光增益控制信号都可以连接受控于该路曝光增益控制信号的像素组中的各像素点的信号放大器，实现该像素组中的各像素点的增益调节，以使得该像素组中的所有像素的曝光增益，与该像素组的曝光时序(例如曝光时长)相适配。

上述的曝光时长控制信号和曝光增益控制信号，可以由应用该数据获取装置的摄像机中的控制单元产生，或者，也可以由该数据获取装置中的任意功能单元来产生。

图3为本申请的实施例中的数据获取装置的示例性结构示意图。请参见图3，在本申请的实施例中，数据获取装置可以包括数据采集单元30、前置处理单元50、以及数据传输单元60。

数据采集单元30用于读取图像传感器10的感光阵列逐行产生的读出数据流。其中，如前文所述，图像传感器10的感光阵列包含曝光时序彼此独立的至少两个像素组，并且，至少两个像素组中的每个像素组可以分别受控于独立于其他像素组的曝光时序控制信号，以使得至少两个像素组的曝光时序彼此独立。

而且，在本申请实施例中，由于图像传感器10的工作模式为卷帘曝光模式，并且，读出数据可以被形成为从图像传感器10的感光阵列逐行读出的数据流的形式。

图4为如图3所示数据获取装置中的数据采样单元的采样实例示意图。在图4中，均以如图1a所示的像素分组实例、以及如图2a所示的时序实例为例进行图示表达。请参见图4，相比于全局曝光的工作模式，数据采集单元30在图像传感器10的感光阵列为卷帘曝光的工作模式时会有一定的行间延时，这可能导致前次触发的读出数据流的读取过程尚未完成时，又将开始新一次的读出数据流的读取过程。

若基于像素组的划分、以及为各像素组配置的曝光时序，能够确定相邻两次读出数据流的获取过程存在冲突的风险，则，为了避免相邻两次的读出数据流的获取过程发生冲突，在如图4所示的实例中，数据采集单元30可以包括至少两个数据读取电路300，并且，可以调用两个不同的数据读取电路300从图像传感器10的感光阵列分别逐行读取读出数据流，并且，不同的数据读取电路300可以受控于不同的读取控制信号。

在图像传感器10的工作模式为卷帘曝光的情况下，可以弱化由单个阵列的像素差异化曝光所引发的读出数据流的数据量突变，即，数据量突变被限制在行级数据量波动，而不是感光阵列的全局数据量波动，因此，可以缓解数据量突变对数据传输接口70形成的传输压力。例如，该数据传输接口70可以诸如MIPI(Mobile Industry Processor Interface，移动产业处理器接口)或LVDS(Low Voltage Differential Signaling，低电压差分信号)接口等任意一种支持RAW(原生)格式(诸如RAW6、RAW7、RAW8、RAW10、RAW12、RAW14)数据的传输接口。

另外，在本申请的实施例中，数据采集单元30响应于每个像素组的曝光结束而被触发读取到的读出数据流中，除了包括该像素组已完成曝光的读出数据之外，还有可能包括在该像素组的曝光结束时刻尚未完成曝光(即尚未完成当前进行中的曝光或尚未完成即将开始的曝光)的其他像素组的读出数据，未完成曝光的其他像素组的读出数据可以认为是无效冗余数据。

仍参见图4，数据采集单元30在t0时刻响应于像素组B的曝光结束而从图像传感器10的感光阵列逐行读取读出数据，并且，数据采集单元30在与t0时刻邻近的t0’时刻响应于像素组A的曝光结束而从图像传感器10的感光阵列逐行读取读出数据。

而且，在t0时刻，像素组A和像素组CD尚未结束当前进行中的曝光，因此，t0时刻的读出数据中，像素组B的像素数据为有效的读出数据，而在像素组B的曝光结束时刻尚未完成当前进行中的曝光的像素组A和像素组CD的读出数据为无效冗余数据；在t0’时刻，像素组A的曝光结束，并且，t0’时刻的读出数据中，像素组A的读出数据为有效的读出数据，尚未完成即将开始的曝光的像素组B、以及尚未完成当前进行中的曝光的像素组CD的读出数据均为无效冗余数据。

可以理解的是，无效冗余数据会对数据传输接口70产生无谓的额外传输压力。

因此，在本申请的实施例中，前置处理单元50可以用于滤除数据流中的无效冗余数据。

其中，至少两个像素组中的每个像素组的曝光结束均触发数据采集单元30对读出数据的读取，并且，对于响应于任意一个像素组的曝光结束而读取的读出数据，从该读出数据流中滤除的无效冗余数据包括：在该像素组的曝光结束时刻尚未完成(即尚未完成当前进行中的曝光或即将开始的曝光)曝光的其他像素组的读出数据。

例如，前置处理单元50可以逐行逐个地检测读出数据流中的每个像素对应的读出数据是否属于无效冗余数据，并将确定为无效冗余数据的读出数据丢弃，允许除无效冗余数据之外的读出数据通过。

图5为如图3所示数据获取装置中的前置处理单元的滤除实例示意图。请参见图5，以如图4所示的实例为例：

t0时刻的读出数据中，像素组A和像素组CD的无效冗余数据被前置处理单元50从数据流中逐一滤除丢弃，仅允许像素组B的有效的读出数据继续随数据流向数据传输单元60传递；

t0’时刻的读出数据中，像素组B以及像素组CD的无效冗余数据被前置处理单元50从数据流中滤除丢弃，仅允许像素组A的有效的读出数据继续随数据流向数据传输单元60传递。

并且，在本申请的实施例中，前置处理单元50可以依据PI(Prior Information，先验信息)确定无效冗余数据(例如逐行逐个地确定数据流中的每个像素对应的读出数据是否属于无效冗余数据)，从而可以准确地执行对数据流中的无效冗余数据的滤除丢弃，该PI中可以包含至少两个像素组在图像传感器10的感光阵列中的像素阵列位置、以及至少两个像素组的曝光时序，从而，对于读出数据流中的所有读出数据，前置处理单元50都可以根据曝光时序判别出当前尚未完成曝光(即尚未完成当前进行中的曝光或尚未完成即将开始的曝光)的像素组、以及这些像素组在感光阵列中的像素位置，由此可以确定读出数据流中对应哪个像素位置对应的读出数据为无效冗余数据。

相应地，数据传输单元60可以用于将滤除无效冗余数据后的留存数据流通过数据传输接口70传输。

也就是，在本申请的实施例中，通过数据传输接口70传输的留存数据流的数据量小于读出数据流，以使得实际传输的留存数据流中仅包含读出数据流中除无效冗余数据之外的部分读出数据，从而降低了数据传输接口70所承担的数据量，进一步缓解了由差异化曝光所引发的读出数据的数据量突变对数据传输接口70产生的传输压力。

而且，前置处理单元50可以进一步用于为曝光时序独立的至少两个像素组中的每个像素组，建立独立于其他像素组的独立传输通道，其中，每个像素组的独立传输通道用于传输该像素组的读出数据流经无效冗余数据滤除后得到的留存数据流，并且，每个像素组对应的留存数据流可以分别通过对应的独立传输通道向数据传输单元60传递，即，由至少两个像素组中的任意一个像素组的曝光结束触发读取的读出数据流，在经前置处理大院50的无效冗余数据滤除后得到的留存数据流，可以被送入该像素组对应的独立传输通道。

从而，数据传输单元60可以进一步用于将不同的独立传输通道中的留存数据流，在数据传输接口70分通道传输，通过多路留存数据流分通道的并行传输，可以进一步缓解由差异化曝光所引发的读出数据的数据量突变对数据传输接口70产生的传输压力。在此情况下，数据传输接口70优选为支持多通道并发传输的MIPI。

请回看图5，t0时刻开始逐行读取的读出数据流经无效冗余数据滤除后得到的留存数据流(其中仅包含像素组B的有效的读出数据)，以及t0’时刻开始逐行读取的读出数据流经无效冗余数据滤除后得到的留存数据流(其中仅包含像素组A的有效的读出数据)，分别通过各自对应的独立传输通道，彼此独立地传递至数据传输单元60、并被数据传输单元60在数据传输接口70分通道传输。

另外，前置处理单元50或数据传输单元60、或者在前置处理单元50和数据传输单元60之间另行设置的数据封装单元(未在附图中示出)还可以对留存数据流中的读出数据打包，数据包可以包括包头信息和包尾信息，例如，包头信息中可以包括该数据包中打包的读出数据在图像传感器10的感光阵列中对应的像素阵列位置、以及用于表征该读出数据所属的读出数据的逐行采集的开始时间的时间戳，包尾信息可以包括数据包的校验信息等、或者也可以为空。

对于不同像素组的多路数据流分别通过各自对应的独立传输通道传输的情况，前置处理单元50或数据传输单元60、或者在前置处理单元50和数据传输单元60之间另行设置的数据封装单元(未在附图中示出)将不同像素组的多路数据流分别执行打包操作。

基于上述实施例，图像传感器10的感光阵列可以被配置为包括曝光时序彼此独立的至少两个像素组，因此，可以满足感光阵列在不同区域的单个阵列像素差异化曝光需求。而且，对于单个阵列像素差异化曝光引发的读出数据在时间上的输出密度增加，可以通过将读出数据以数据流的形式实时传输、并滤除数据流中的无效冗余数据来缓解数据传输接口的压力，从而，可以解除数据传输接口的传输能力对差异化曝光的瓶颈限制。

图6为如图3所示数据获取装置的示例性扩展结构示意图。请参见图6，在本申请的实施例中，数据获取装置可以进一步包括数据处理单元80，用于通过数据传输接口70接收前文提及的经无效冗余数据滤除后的留存数据流，并且，基于该留存数据流重构图像。

其中，若前置处理单元50在滤除无效冗余数据时使用了PI，则，数据处理单元80在利用留存数据流重构图像时，可以进一步依据该PI，同样地，该PI中可以包含至少两个像素组在图像传感器10的感光阵列中的像素阵列位置、以及至少两个像素组的曝光时序。

作为一种优选的方案，重构得到的图像可以与感光阵列的像素规格相匹配或完全相同。例如，数据处理单元80可以依据数据包的包头信息中的像素阵列位置和时间戳、以及PI中的曝光时序，确定接收到的留存数据流中的每个读出数据所对应的正确像素位置，从而，数据处理单元80可以将留存数据流中的读出数据定位在M行×N列的阵列规格的对应像素位置，并且，在传输之前从读出数据流中被滤除的无效冗余数据所对应的其余像素位置可以填入0或随机值，或者也可以填入基于相邻像素位置的像素信息插值确定的像素值，本申请实施例对此不做限制。

在一些示例中，数据处理单元80可以被配置为利用预先训练的神经网络，获得基于留存数据流重构的图像；或者，数据处理单元80也可以被配置为利用填充法，获得基于留存数据流重构的图像。

无论采用哪一种方式重构图像，数据处理单元80基于留存数据重构得到的图像，可以包括基于不同曝光时序的多帧图像，例如，多帧图像的曝光时长不全相同。

图7为如图6所示扩展结构中的数据处理单元的重构实例示意图。

请参见图7，在本申请的实施例中，作为一种可选的方案，数据处理单元80重构图像的方式可以包括：按照留存数据流所对应的读出数据流的读取时间，重构得到与读取时间关联的图像。例如，数据处理单元80可以按照接收到的留存数据流所对应的读出数据流的读取时间，重构得到依次对应于时刻t0、t0’、t1以及t2的多帧重构图像的图像序列。

仍参见与7，在本申请的实施例中，作为另一种可选的方案，数据处理单元80所构建的重构图像也可以包括：基于任意像素组(或每个像素组)所对应的留存数据流，重构得到与该像素组(或每个像素组)的曝光时序分别关联的图像。例如，数据处理单元80可以分别基于不同像素组的留存数据流，重构得到分别对应于像素组A、像素组B、以及像素组CD的多帧分组图像。

对于重构图像的方式，本申请实施例不做限制。

请再参见图6和图7，在本申请的实施例中，数据处理单元80可以进一步用于重构得到的图像进行图像处理。

例如，数据处理单元80可以被配置为：对重构得到的图像进行去噪处理，或者，生成重构得到的多帧图像中的至少两帧图像(例如曝光时长不同的至少两帧图像)的融合图像等。

对于数据处理单元80所执行的图像处理方式以及所使用的图像处理算法，本申请实施例不做限制。

在实际应用中，数据处理单元80可以包括用于重构图像的图像重构单元、以及用于对重构得到的图像进行图像处理的图像处理单元，或者，数据处理单元80也可以被配置为集成重构图像和图像处理这两种功能的集成化单元。若数据处理单元80被配置为集成化单元、且其利用预先训练的神经网络获得重构得到的图像，则，该神经网络还可以进一步用于对重构得到的图像进行图像处理，即，数据处理单元80利用该神经网络实现重构图像、以及对重构得到的图像的图像处理，而无需数据处理单元80再执行额外的图像处理操作。

也就是，数据处理单元80可以利用神经网络实现重构图像、和/或对重构得到的图像的图像处理。

另外，在本申请实施例中，数据传输接口的输入侧的数据采集单元30、以及前置处理单元50和数据传输单元60可以与图像传感器10一体集成，而数据传输接口的输出侧的数据处理单元80则可以一体集成于同一个处理器，该处理器可以是诸如CPU(CentralProcessing Unit，中央处理器)、ISP(Image Signal Processor，图像信号处理器)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等任意一种具有处理能力的器件。或者，数据采集单元30、以及前置处理单元50和数据传输单元60可以也可以独立于图像传感器10之外，并且，独立于图像传感器10之外的图像缓存单元30、以及前置处理单元50和数据传输单元60可以通过任意的物理形态布置在图像传感器10与数据传输接口之间。甚至，图像传感器之外的数据采集单元30、以及前置处理单元50和数据传输单元60还可以集成于数据处理单元80所在的处理器。也就是，对于数据获取装置中的各功能单元的物理形态，本申请实施例不做限制。

在本申请实施例中，对于图像传感器10的感光阵列的差异化曝光特性，只要满足如下条件，都可以缓解数据量瞬时突变对数据传输接口产生的传输压力，而不应当局限于功能单元的物理形态：

在数据传输接口的输入侧形成读出数据流；

在数据传输接口的输入侧实施滤除读出数据流中的无效冗余数据，以使得通过数据传输接口传输的数据仅限于无效冗余数据被滤除后的留存数据流，从而能够减少实际传输的数据量。

基于此，在本申请的另外的实施例中，还提供了匹配上述条件的一种数据获取方法。

图8为本申请的另一个实施例中的数据获取方法的示例性流程示意图。请参见图8，在该实施例中，数据获取方法可以包括：

S810，读取图像传感器的感光阵列逐行产生的读出数据流，其中，所述感光阵列包含至少两个像素组，并且，所述至少两个像素组中的每个像素组分别受控于独立于其他像素组的曝光时序控制信号，以使得所述至少两个像素组的曝光时序彼此独立。

例如，至少两个像素组中的任意两个像素组的单次曝光时长不同，和/或，至少两个像素组中的至少一个像素组的单次曝光时长可变。进一步地，至少两个像素组的曝光过程还可以在时间上异步交叠。

另外，至少两个像素组中的至少一个像素组对应的曝光增益控制信号，可以不同于其他像素组对应的曝光增益控制信号，从而，读出数据流中包含的不同像素组的读出数据的曝光增益可以不全相同。

S830，滤除读出数据流中的无效冗余数据。

其中，至少两个像素组中的每个像素组的曝光结束均触发对读出数据的获取，并且，对于响应于任意一个像素组的曝光结束而获取的读出数据流，从该读出数据流中滤除的无效冗余数据包括：在该像素组的曝光结束时刻尚未完成曝光(即尚未完成当前进行中的曝光或尚未完成即将开始的曝光)的其他像素组的读出数据。

在一些示例中，该数据获取方法在S830之前可以进一步获取PI，以使得S830可以依据PI确定数据流中的每个读出数据是否为无效冗余数据(例如逐行逐个地确定数据流中的每个读出数据是否属于无效冗余数据)，从而可以准确地执行对数据流中的无效冗余数据的滤除丢弃，该PI中可以包含至少两个像素组在图像传感器的感光阵列中的像素阵列位置、以及至少两个像素组的曝光时序，从而，对于数据流中的所有读出数据，S830都可以根据曝光时序判别出当前尚未完成曝光(即尚未完成当前进行中的曝光或尚未完成即将开始的曝光)的像素组、以及这些像素组在感光阵列中的像素位置，由此可以确定数据流中对应哪个像素位置的读出数据为无效冗余数据。

S850，将滤除无效冗余数据后的留存数据流通过数据传输接口传输。

在一些示例中，该数据获取方法在S850之前可以进一步包括：为至少两个像素组中的每个像素组，建立独立于其他像素组的独立传输通道，其中，每个像素组的独立传输通道，用于传输该像素组的读出数据流经无效冗余数据滤除后得到的留存数据流。从而，S850可以将不同的独立传输通道中的留存数据流，在数据传输接口分通道传输。在此情况下，数据传输接口70优选为支持多通道并发传输的MIPI。

基于上述流程，在图像传感器的感光阵列可以被配置为包括曝光时序彼此独立的至少两个像素组的情况下，可以满足感光阵列在不同区域的单个阵列像素差异化曝光需求，与此同时，对于单个阵列像素差异化曝光引发的读出数据在时间上的输出密度增加，可以通过将读出数据以数据流的形式实时传输、并滤除数据流中的无效冗余数据来缓解数据传输接口的压力，从而，可以解除数据传输接口的传输能力对差异化曝光的瓶颈限制。

在一些示例中，该实施例中的数据获取方法可以在S850之后进一步包括：通过数据传输接口接收留存数据流，并且，基于留存数据流重构图像。例如，可以利用预先训练的神经网络，获得基于留存数据流重构的图像；或者，也可以被配置为利用填充法，获得基于留存数据流重构的图像。

作为一种优选的方案，重构得到的图像可以与感光阵列的像素规格相匹配或完全相同。

该数据获取方法还可以进一步包括：获取从读出数据的数据流中滤除无效冗余数据时使用的PI，以在利用数据流中的读出数据构建重构图像时进一步依据该PI，如前文所述，该PI可以包含至少两个像素组在图像传感器的感光阵列中的像素阵列位置、以及至少两个像素组的曝光时序。

例如，在重构图像时，可以依据数据包的包头信息中的像素阵列位置和时间戳、以及PI中的曝光时序，确定接收到的留存数据流中的每个读出数据所对应的正确像素位置，从而，可以将留存数据流中的读出数据定位在M行×N列的阵列规格的对应像素位置，并且，在传输之前从读出数据流中被滤除的无效冗余数据所对应的其余像素位置可以填入0或随机值，或者也可以填入基于相邻像素位置的像素信息插值确定的像素值，本申请实施例对此不做限制。

并且，重构图像的方式可以包括：按照留存数据流所对应的读出数据流的读取时间，重构得到的与读取时间关联的图像。例如，按照接收到的留存数据流所对应的读出数据流的读取时间顺序，分别构建为对应于不同读取时间的多帧重构图像的图像序列。

或者，作为另一种可选的方案，重构图像的方式也可以包括：基于每个像素组的留存数据，重构得到的与曝光时序关联的图像。例如，分别基于不同像素组的留存数据，构建得到分别对应于不同像素组的多帧分组图像。

在一些示例中，该实施例中的数据获取方法还可以在重构图像之后，进一步包括：对重构得到的图像进行图像处理。例如，对重构得到的图像进行去噪处理，或者，生成重构得到的多帧图像中的至少两帧图像(例如曝光时长不同的至少两帧图像)的融合图像等。对于图像处理方式以及所使用的图像处理算法，本申请实施例不做限制。

或者，构建重构图像的步骤和对重构图像进行图像处理的两个先后执行的独立步骤，可以替换为一个合成步骤，即：利用预先训练的神经网络，基于接收到的留存数据重构图像、并对重构得到的图像进行图像处理。

在本申请的另外的实施例中，还提供了一种摄像机，该摄像机可以包括如前述实施例所属的数据获取装置，可以理解的是，该摄像机还可以包括光学镜头等其他用于实现摄像功能的相关元器件，本申请实施例对此不做赘述。

在本申请的另外的实施例中，还提供了一种电子设备，该电子设备包括处理器，并且，该处理器可以被配置为执行前述实施例中的数据获取方法。

在本申请的另外的实施例中，还提供了一种计算机可读存储介质，其中存储有指令，这些指令用于引发处理器执行前述实施例中的数据获取方法。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。