一种基于多镜头视频采集的多图像HDR实时处理方法

技术领域

本发明涉及多镜头图像处理领域，特别涉及一种基于多镜头视频采集的多图像HDR实时处理方法。

背景技术

图像处理是用计算机对图像进行分析，以达到所需结果的技术，又称影像处理，图像处理一般指数字图像处理，数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值，图像处理技术的一般包括图像压缩，增强和复原，匹配、描述和识别3个部分，常见的系统有康耐视系统、图智能系统等，目前是正在逐渐兴起的技术。

HDR(高动态范围图像)是用来实现比普通数位图像技术更大曝光动态范围的一组技术，其在图像处理技术领域和相机应用中的发展已经有一段很长时间，HDR一般采用多帧图像合成，举例来说，高低增益融合，是指在同样曝光时间条件下，同时输出一路高增益数据和一路低增益数据，再将两路数据交给计算机或者相机处理单元进行融合，此种做法是在传统慢速感光元件的硬件基础上做的软件方案，会导致图像帧数大幅度降低，影响实时性，基本用于拍摄静态图片上，很少用于摄像。

发明内容

本发明的目的在于提供一种基于多镜头视频采集的多图像HDR实时处理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于多镜头视频采集的多图像HDR实时处理方法，包括以下具体步骤：

S1：采用支持多镜头同步同帧输入的图像处理器芯片，根据该芯片的demo进行多通道摄像头的电路图设计；

S2：图像采集，采用三个镜头同时采集三幅图像，三幅图像分别为P1(左)、P2(中)和P3(右)；

S3：图像畸变矫正和坐标映射，三幅图像分别经过畸变矫正和坐标映射后得到T1、T2和T3；

S4：表T1和T2经过颜色插值后分别得到左图到右图位置的PT图像P1和中图到右图位置的PT图像P3，而右图经过畸变矫正后得到图像P3c；

S5：把PT图像P1和矫正后的图像P3c进得配准，再通过BlockMatch以P3c为基准进行搜索，从而获得motion vector，即水平视差；

S6：将P3加上水平视差后再与P3c进行融合，得到无视差的图像；

S7：运用HDR算法处理无视差图像，再转换成RGB格式输出。

优选的，所述S2中P1、P3是强曝光，P2是弱曝光，即左右图像为强曝光，中图为弱曝光，三张图像具有不同的曝光度，从而便于后期图像融合，保留过曝照片的暗部、欠曝照片的亮部、曝光正常照片的中间影调，从而得出一张亮部暗部都有的细节的高动态范围图像。

优选的，所述S2中T1为左图原始图像到右图矫正图像的PT表，T2为中图原始图像到右图矫正图像的PT表，T3为右图畸变矫正的表，T1是一个包含了左图畸变矫正表以及左图到右图PT映射表的复合表，T2同样如此，即矫正图像到原始畸变图像的坐标，PT是用于从两个曝光相同的镜头采集的两张图像之间的配准术语。

优选的，所述S5中由于左、中、右三个镜头之间的基线距离是固定的，所以只要左图与右图配准后，把左图与右图配准后得到的水平视差按基线距离比乘到PT图P3c上就可以得到中图与右图的水平视差，BlockMatch为用于调整配准后图像中出现的水平视差术语，motion vector为根据左图与右图的偏移量计算中图与右图的偏移量术语。

优选的，所述S6中P3加上水平视差后再与P3c进行融合是中图到右图位置的PT图像与右图经过畸变矫正后进行融合。

优选的，所述S7中HDR算法处理是用来实现比普通数位图像技术更大曝光动态范围的一组技术，其在图像处理技术领域和相机应用中的发展已经有一段很长时间，HDR一般采用多帧图像合成，举例来说，高低增益融合，是指在同样曝光时间条件下，同时输出一路高增益数据和一路低增益数据，再将两路数据交给计算机或者相机处理单元进行融合。

优选的，所述S7中的RG为像素格式，RGB1为每个像素用1个bit表示，可表示的颜色范围为双色，即最传统的黑和白，1个bit只能表示0.1两种值，需要调色板，不过调色板只包含两种颜色，RGB4为每个像素用4个bit表示，4个bit所能够表示的索引范围是0-15，共16个，也就是可以表示16种颜色，即调色板中包含16种颜色，RGB8为每个像素用8个bit表示，8个bit所能够表示的索引范围是0-255，共256个，也就是可以表示256种颜色，即调色板中包含256种颜色，RGB的像素格式，主流的有RGB565、RGB555、RGB24、RGB32和ARGB32。

本发明的技术效果和优点：

本发明利用一种基于多镜头视频采集的多图像HDR实时处理方法，通过多镜头的同步同帧输入可以替代传统HDR处理中慢速感光元件的硬件基础上做的软件方案，算法较为新颖，通过软件系统处理不同曝光的视频图像，输出具有时效性的HDR融合视频图像。

附图说明

图1为本发明流程框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1所示的一种基于多镜头视频采集的多图像HDR实时处理方法，包括以下具体步骤：

S1：采用支持多镜头同步同帧输入的图像处理器芯片，根据该芯片的demo进行多通道摄像头的电路图设计；

S2：图像采集，采用三个镜头同时采集三幅图像，三幅图像分别为P1(左)、P2(中)和P3(右)；

S3：图像畸变矫正和坐标映射，三幅图像分别经过畸变矫正和坐标映射后得到T1、T2和T3；

S4：表T1和T2经过颜色插值后分别得到左图到右图位置的PT图像P1和中图到右图位置的PT图像P3，而右图经过畸变矫正后得到图像P3c；

S5：把PT图像P1和矫正后的图像P3c进得配准，再通过BlockMatch以P3c为基准进行搜索，从而获得motion vector，即水平视差；

S6：将P3加上水平视差后再与P3c进行融合，得到无视差的图像；

S7：运用HDR算法处理无视差图像，再转换成RGB格式输出。

S2中P1、P3是强曝光，P2是弱曝光，即左右图像为强曝光，中图为弱曝光，三张图像具有不同的曝光度，从而便于后期图像融合，保留过曝照片的暗部、欠曝照片的亮部、曝光正常照片的中间影调，从而得出一张亮部暗部都有的细节的高动态范围图像。

S2中T1为左图原始图像到右图矫正图像的PT表，T2为中图原始图像到右图矫正图像的PT表，T3为右图畸变矫正的表，T1是一个包含了左图畸变矫正表以及左图到右图PT映射表的复合表，T2同样如此，即矫正图像到原始畸变图像的坐标，PT是用于从两个曝光相同的镜头采集的两张图像之间的配准术语。

S5中由于左、中、右三个镜头之间的基线距离是固定的，所以只要左图与右图配准后，把左图与右图配准后得到的水平视差按基线距离比乘到PT图P3c上就可以得到中图与右图的水平视差，BlockMatch为用于调整配准后图像中出现的水平视差术语，motionvector为根据左图与右图的偏移量计算中图与右图的偏移量术语。

S6中P3加上水平视差后再与P3c进行融合是中图到右图位置的PT图像与右图经过畸变矫正后进行融合。

S7中HDR算法处理是用来实现比普通数位图像技术更大曝光动态范围的一组技术，其在图像处理技术领域和相机应用中的发展已经有一段很长时间，HDR一般采用多帧图像合成，举例来说，高低增益融合，是指在同样曝光时间条件下，同时输出一路高增益数据和一路低增益数据，再将两路数据交给计算机或者相机处理单元进行融合。

S7中的RG为像素格式，RGB1为每个像素用1个bit表示，可表示的颜色范围为双色，即最传统的黑和白，1个bit只能表示0.1两种值，需要调色板，不过调色板只包含两种颜色，RGB4为每个像素用4个bit表示，4个bit所能够表示的索引范围是0-15，共16个，也就是可以表示16种颜色，即调色板中包含16种颜色，RGB8为每个像素用8个bit表示，8个bit所能够表示的索引范围是0-255，共256个，也就是可以表示256种颜色，即调色板中包含256种颜色，RGB的像素格式，主流的有RGB565、RGB555、RGB24、RGB32和ARGB32。

对采集进来的图像进行径向畸变矫正，所涉及的函数主要有：

void CorrectDistortion(float*PointArrayW,float*PointArrayH,short*Table2X,short*Table2Y,long int Width,long int Higth)，(函数用来矫正左图和右图)

void CorrectEnlargeM(int*Table2X,int*Table2Y,long int Width,long intHigth,double Multiple)，(函数用矫正中间图)

其中这两个函数中都存操作数double k1,k2,k3,k4；这些是通过matlab计算得到的矫正系数。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。