一种基于多传感器成像设备的HDR图像生成方法及系统

技术领域

本发明涉及数字图像成像技术领域，特别是涉及一种基于多传感器成像设备的HDR图像生成方法及系统。

背景技术

动态范围是数字成像质量评价的重要指标之一，高动态范围(HighDynamicRangeImaging，简称HDR)的图像或视频能够更全面、真实的反映亮场、暗场的信息，但由于目前图像传感器技术原因，单次曝光的动态范围仍达不到人眼能感知到的最大动态范围。

实现高动态范围一般是通过同时或相近时间内相机(或多相机)多次曝光得到多帧图像进行融合得到，一般有两种实现方式：1)通过单相机连续多次曝光的方式，但该方式会造成帧率的损失(帧率降低一半及以上)，而且对于动态场景容易出现“鬼影”现象，严重影响图像质量；2)多相机同时曝光可保持帧率的同时，对于动态场景不会出现“鬼影”，但多台相机由于位置、角度不同，导致相同时间曝光得到的图像中相同目标的位置差异较大，导致HDR融合后的图像清晰度严重受损。

一般HDR的曝光采用固定曝光参数，如拍摄亮场使用较低的固定曝光参数、拍摄暗场使用较高的固定曝光参数等等，该方式对于场景亮度范围固定的情况比较适用，但对于场景亮度范围也在不断变化的情况并不是最优的选择。

另外普通HDR融合是在RGB空间分别融合，由于传感器在暗场或亮场的光电响应曲线并非完美的线性关系，容易导致融合后的图像出现偏色的现象。

发明内容

本发明的目的是提供一种基于多传感器成像设备的HDR图像生成方法及系统，解决了各传感器融合的HDR图像不清晰的问题，曝光参数根据场景的亮度范围进行自适应实时优化，生成的HDR图像具有清晰度高、动态场景无“鬼影”、帧率高的特点，HDR融合采用HSI空间融合，减弱融合偏色问题。

为实现上述目的，本发明提供了如下方案：

一种基于多传感器成像设备的HDR图像生成方法，所述多传感器成像设备包括镜头、分光棱镜和N个传感器，外界光通过所述镜头进入所述分光棱镜，所述分光棱镜基于所述外界光的强度按照设定比例对所述外界光进行分光，得到N个光束，N个所述传感器基于N个所述光束得到N个RGB图像，N为大于或等于2的正整数，所述HDR图像生成方法包括：

基于所述多传感器成像设备得到N个当前帧RGB图像；

基于第1个当前帧RGB图像得到第1个当前帧测光值，基于第N个当前帧RGB图像得到第N个当前帧测光值；

基于第1个当前帧测光值和第1个设定测光值得到第1个当前帧总增益；基于第N个当前帧测光值和第N个设定测光值得到第N个当前帧总增益；

基于第1个当前帧总增益和第N个当前帧总增益得到第k个当前帧总增益；k∈N；

基于第1个设定增益对第1个传感器的曝光参数进行调整，直至第1个当前帧总增益的绝对值小于所述第1个设定增益，得到第1个下一帧总增益；

基于第N个设定增益对第N个传感器的曝光参数进行调整，直至第N个当前帧总增益的绝对值小于所述第N个设定增益，得到第N个下一帧总增益；

基于第1个下一帧总增益和第N个下一帧总增益得到第k个下一帧总增益，基于第k个下一帧总增益对第k个传感器的曝光参数进行调整，直至第k个当前帧总增益达到第k个下一帧总增益；

基于曝光参数进行调整后的N个所述传感器得到N个下一帧RGB图像；对N个所述下一帧RGB图像进行转换，得到N个下一帧HSI图像；

对N个所述下一帧HSI图像进行图像融合，得到下一帧HSI融合图像；对所述下一帧HSI融合图像进行转换，得到下一帧RGB融合图像。

优选地，所述基于第1个当前帧RGB图像得到第1个当前帧测光值，基于第N个当前帧RGB图像得到第N个当前帧测光值，包括：

基于第1个当前帧RGB图像得到第1个亮度Y图像，按照设定大小对第1个亮度Y图像进行分块，得到M个第1分块，计算各第1分块的第一Y均值，得到M个第一Y均值，按照从小到大顺序选取N

基于第N个当前帧RGB图像得到第N个亮度Y图像，按照设定大小对第N个亮度Y图像进行分块，得到M个第N分块，计算各第N分块的第NY均值，得到M个第NY均值，按照从大到小顺序选取N

优选地，所述基于第1个当前帧测光值和第1个设定测光值得到第1个当前帧总增益；基于第N个当前帧测光值和第N个设定测光值得到第N个当前帧总增益，包括：

用第1个设定测光值除以第1个当前帧测光值，得到第1个当前帧测光比值；根据第1个当前帧测光比值得到第1个当前帧总增益；

用第N个设定测光值除以第N个当前帧测光值，得到第N个当前帧测光比值；根据第N个当前帧测光比值得到第N个当前帧总增益。

优选地，所述基于第1个下一帧总增益和第N个下一帧总增益得到第k个下一帧总增益，计算公式如下：

式中：

优选地，所述曝光参数包括光圈大小、曝光时间、模拟增益和数字增益。

优选地，所述对N个所述下一帧HSI图像进行图像融合，得到下一帧HSI融合图像，包括：

对N个所述下一帧HSI图像的I通道进行融合，得到I通道融合图像；

对N个所述下一帧HSI图像的S通道进行融合，得到S通道融合图像；

对N个所述下一帧HSI图像的H通道进行向量转换，得到N个第一向量和N个第二向量；

对N个所述第一向量进行加权平均，得到第一平均向量；对N个所述第二向量进行加权平均，得到第二平均向量；

基于所述第一平均向量和所述第二平均向量得到H通道融合图像。

优选地，按照光圈大小、曝光时间、模拟增益和数字增益的顺序对曝光参数进行调整。

本发明还提供了一种基于多传感器成像设备的HDR图像生成系统，所述多传感器成像设备包括镜头、分光棱镜和N个传感器，外界光通过所述镜头进入所述分光棱镜，所述分光棱镜基于所述外界光的强度按照设定比例对所述外界光进行分光，得到N个光束，N个所述传感器基于N个所述光束得到N个RGB图像，N为大于或等于2的正整数，所述HDR图像生成系统包括：数据获取模块、测光值模块、总增益模块、参数调整模块、图像融合转换模块；

所述数据获取模块用于基于所述多传感器成像设备得到N个当前帧RGB图像；

所述测光值模块用于基于第1个当前帧RGB图像得到第1个当前帧测光值、基于第N个当前帧RGB图像得到第N个当前帧测光值；

所述总增益模块用于基于第1个当前帧测光值和第1个设定测光值得到第1个当前帧总增益、基于第N个当前帧测光值和第N个设定测光值得到第N个当前帧总增益；

所述总增益模块还用于基于第1个当前帧总增益和第N个当前帧总增益得到第k个当前帧总增益；k∈N；

所述参数调整模块用于基于第1个设定增益对第1个传感器的曝光参数进行调整，直至第1个当前帧总增益的绝对值小于所述第1个设定增益，得到第1个下一帧总增益；

所述参数调整模块还用于基于第N个设定增益对第N个传感器的曝光参数进行调整，直至第N个当前帧总增益的绝对值小于所述第N个设定增益，得到第N个下一帧总增益；

所述总增益模块还用于基于第1个下一帧总增益和第N个下一帧总增益得到第k个下一帧总增益，基于第k个下一帧总增益对第k个传感器的曝光参数进行调整，直至第k个当前帧总增益达到第k个下一帧总增益；

所述图像融合转换模块用于基于曝光参数进行调整后的N个所述传感器得到N个下一帧RGB图像，并对N个所述下一帧RGB图像进行转换，得到N个下一帧HSI图像；

所述图像融合转换模块还用于对N个所述下一帧HSI图像进行图像融合，得到下一帧HSI融合图像，并对所述下一帧HSI融合图像进行转换，得到下一帧RGB融合图像。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明涉及一种基于多传感器成像设备的HDR图像生成方法及系统，所述多传感器成像设备包括镜头、分光棱镜和N个传感器，外界光通过所述镜头进入所述分光棱镜，所述分光棱镜基于所述外界光的强度按照设定比例对所述外界光进行分光，得到N个光束，N个所述传感器基于N个所述光束得到N个RGB图像，N为大于或等于2的正整数，所述HDR图像生成方法包括：基于所述多传感器成像设备得到N个当前帧RGB图像；基于第1个当前帧RGB图像得到第1个当前帧测光值，基于第N个当前帧RGB图像得到第N个当前帧测光值；基于第1个当前帧测光值和第1个设定测光值得到第1个当前帧总增益；基于第N个当前帧测光值和第N个设定测光值得到第N个当前帧总增益；基于第1个当前帧总增益和第N个当前帧总增益得到第k个当前帧总增益；k∈N；基于第1个设定增益对第1个传感器的曝光参数进行调整，直至第1个当前帧总增益的绝对值小于所述第1个设定增益，得到第1个下一帧总增益；基于第N个设定增益对第N个传感器的曝光参数进行调整，直至第N个当前帧总增益的绝对值小于所述第N个设定增益，得到第N个下一帧总增益；基于第1个下一帧总增益和第N个下一帧总增益得到第k个下一帧总增益，基于第k个下一帧总增益对第k个传感器的曝光参数进行调整，直至第k个当前帧总增益达到第k个下一帧总增益；基于曝光参数进行调整后的N个所述传感器得到N个下一帧RGB图像；对N个所述下一帧RGB图像进行转换，得到N个下一帧HSI图像；对N个所述下一帧HSI图像进行图像融合，得到下一帧HSI融合图像；对所述下一帧HSI融合图像进行转换，得到下一帧RGB融合图像。本发明解决了各传感器融合的HDR图像不清晰的问题，多传感器同时进行不同曝光参数的曝光得到不同亮度的图像，并且曝光参数根据场景的亮度范围进行自适应实时优化，如场景亮度范围大，则各传感器的曝光参数差异较大，如此再进行HDR融合，生成的HDR图像具有清晰度高、动态场景无“鬼影”、帧率高的特点，HDR融合采用HSI空间融合，减弱融合偏色问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于多传感器成像设备的HDR图像生成方法流程图；

图2为本发明基于多传感器成像设备的HDR图像生成系统结构图。

符号说明：1、数据获取模块；2、测光值模块；3、总增益模块；4、参数调整模块；5、图像融合转换模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于多传感器成像设备的HDR图像生成方法及系统，解决了各传感器融合的HDR图像不清晰的问题，曝光参数根据场景的亮度范围进行自适应实时优化，生成的HDR图像具有清晰度高、动态场景无“鬼影”、帧率高的特点，HDR融合采用HSI空间融合，减弱融合偏色问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明基于多传感器成像设备的HDR图像生成方法流程图。如图1所示，本发明提供了一种基于多传感器成像设备的HDR图像生成方法，所述多传感器成像设备包括镜头、分光棱镜和N个传感器，外界光通过所述镜头进入所述分光棱镜，所述分光棱镜基于所述外界光的强度按照设定比例对所述外界光进行分光，得到N个光束，N个所述传感器基于N个所述光束得到N个RGB图像，N为大于或等于2的正整数。所述设定比例为：K

所述HDR图像生成方法包括：

步骤S1，基于所述多传感器成像设备得到N个当前帧RGB图像。

步骤S2，基于第1个当前帧RGB图像得到第1个当前帧测光值，基于第N个当前帧RGB图像得到第N个当前帧测光值。

具体地。所述步骤S2包括：

步骤S21，基于第1个当前帧RGB图像得到第1个亮度Y图像，按照设定大小对第1个亮度Y图像进行分块，得到M个第1分块，计算各第1分块的第一Y均值，得到M个第一Y均值，按照从小到大顺序选取N

Y(i,j)＝0.2126R(i,j)+0.7152G(i,j)+0.0722B(i,j)；

式中：R(i,j)表示第1个当前帧RGB图像第i行第j列像素点的R通道值，G(i,j)表示第1个当前帧RGB图像第i行第j列像素点的G通道值，B(i,j)表示第1个当前帧RGB图像第i行第j列像素点的B通道值，Y(i,j)表示第1个当前帧RGB图像第i行第j列像素点的Y值。

步骤S22，基于第N个当前帧RGB图像得到第N个亮度Y图像，按照设定大小对第N个亮度Y图像进行分块，得到M个第N分块，计算各第N分块的第NY均值，得到M个第NY均值，按照从大到小顺序选取N

步骤S3，基于第1个当前帧测光值和第1个设定测光值得到第1个当前帧总增益；基于第N个当前帧测光值和第N个设定测光值得到第N个当前帧总增益。

进一步地，所述步骤S3包括：

步骤S31，用第1个设定测光值除以第1个当前帧测光值，得到第1个当前帧测光比值；根据第1个当前帧测光比值得到第1个当前帧总增益。

第1个当前帧测光比值计算公式如下：

式中：APM

第1个当前帧总增益计算公式如下：

dBr

式中：dBr

步骤S32，用第N个设定测光值除以第N个当前帧测光值，得到第N个当前帧测光比值；根据第N个当前帧测光比值得到第N个当前帧总增益。

第N个当前帧测光比值的计算公式如下：

式中：

第N个当前帧总增益计算公式如下：

dBr

式中：dBr

步骤S4，基于第1个当前帧总增益和第N个当前帧总增益得到第k个当前帧总增益；k∈N。具体计算公式参见第k个下一帧总增益的计算公式。

步骤S5，基于第1个设定增益对第1个传感器的曝光参数进行调整，直至第1个当前帧总增益的绝对值小于所述第1个设定增益，得到第1个下一帧总增益。本实施例中，所述曝光参数包括光圈大小、曝光时间、模拟增益和数字增益。

优选地，若|dBr

若dBr

若dBr

步骤S6，基于第N个设定增益对第N个传感器的曝光参数进行调整，直至第N个当前帧总增益的绝对值小于所述第N个设定增益，得到第N个下一帧总增益。

可选地，若|dBr

若dBr

若dBr

本实施例中，因为第1个传感器用来拍摄暗场，需要较大的曝光参数，第N个传感器用来拍摄亮场，需要较小的曝光参数，故要满足第N个传感器曝光参数不大于第1个曝光参数，故记第N个当前帧总增益的绝对值小于所述第N个设定增益时的值为第N个初始下一帧总增益，根据第N个初始下一帧总增益和第1个下一帧总增益得到第N个下一帧总增益，计算公式如下：

式中：

步骤S7，基于第1个下一帧总增益和第N个下一帧总增益得到第k个下一帧总增益，基于第k个下一帧总增益对第k个传感器的曝光参数进行调整，直至第k个当前帧总增益达到第k个下一帧总增益。

所述基于第1个下一帧总增益和第N个下一帧总增益得到第k个下一帧总增益，计算公式如下：

式中：

通过此计算使各传感器的总增益是按照等差数列的形式减小，保证N个传感器能获得更多的有效细节信息。

若

步骤S8，基于曝光参数进行调整后的N个所述传感器得到N个下一帧RGB图像；对N个所述下一帧RGB图像进行转换，得到N个下一帧HSI图像。

计算公式如下：

式中：H为H通道值，S为S通道值，I为I通道值，R为R通道值，G为G通道值，B为B通道值。

步骤S9，对N个所述下一帧HSI图像进行图像融合，得到下一帧HSI融合图像；对所述下一帧HSI融合图像进行转换，得到下一帧RGB融合图像。

优选地，所述步骤S9包括：

步骤S91，对N个所述下一帧HSI图像的I通道进行融合，得到I通道融合图像。I通道融合公式如下：

步骤S92，对N个所述下一帧HSI图像的S通道进行融合，得到S通道融合图像。S通道融合公式如下：

式中：I

步骤S93，对N个所述下一帧HSI图像的H通道进行向量转换，得到N个第一向量和N个第二向量。

步骤S94，对N个所述第一向量进行加权平均，得到第一平均向量；对N个所述第二向量进行加权平均，得到第二平均向量。

所述第一平均向量计算公式如下；

所述第二平均向量计算公式如下：

式中：H

步骤S95，基于所述第一平均向量和所述第二平均向量得到H通道融合图像。所述下一帧HSI融合图像包括所述I通道融合图像、所述S通道融合图和所述H通道融合图像。

所述H通道融合图像计算公式如下：

式中：H

步骤S96，对所述下一帧HSI融合图像进行转换，得到下一帧RGB融合图像。

转换公式如下：

式中：R

图2为本发明基于多传感器成像设备的HDR图像生成系统结构图。如图2所示，本发明提供了一种基于多传感器成像设备的HDR图像生成系统，所述多传感器成像设备包括镜头、分光棱镜和N个传感器，外界光通过所述镜头进入所述分光棱镜，所述分光棱镜基于所述外界光的强度按照设定比例对所述外界光进行分光，得到N个光束，N个所述传感器基于N个所述光束得到N个RGB图像，N为大于或等于2的正整数，所述HDR图像生成系统包括：数据获取模块1、测光值模块2、总增益模块3、参数调整模块4、图像融合转换模块5。

所述数据获取模块1用于基于所述多传感器成像设备得到N个当前帧RGB图像。

所述测光值模块2用于基于第1个当前帧RGB图像得到第1个当前帧测光值、基于第N个当前帧RGB图像得到第N个当前帧测光值。

所述总增益模块3用于基于第1个当前帧测光值和第1个设定测光值得到第1个当前帧总增益、基于第N个当前帧测光值和第N个设定测光值得到第N个当前帧总增益。

所述总增益模块3还用于基于第1个当前帧总增益和第N个当前帧总增益得到第k个当前帧总增益；k∈N。

所述参数调整模块4用于基于第1个设定增益对第1个传感器的曝光参数进行调整，直至第1个当前帧总增益的绝对值小于所述第1个设定增益，得到第1个下一帧总增益。

所述参数调整模块4还用于基于第N个设定增益对第N个传感器的曝光参数进行调整，直至第N个当前帧总增益的绝对值小于所述第N个设定增益，得到第N个下一帧总增益。

所述总增益模块还4用于基于第1个下一帧总增益和第N个下一帧总增益得到第k个下一帧总增益，基于第k个下一帧总增益对第k个传感器的曝光参数进行调整，直至第k个当前帧总增益达到第k个下一帧总增益。

所述图像融合转换模块5用于基于曝光参数进行调整后的N个所述传感器得到N个下一帧RGB图像，并对N个所述下一帧RGB图像进行转换，得到N个下一帧HSI图像。

所述图像融合转换模块5还用于对N个所述下一帧HSI图像进行图像融合，得到下一帧HSI融合图像，并对所述下一帧HSI融合图像进行转换，得到下一帧RGB融合图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。