一种实时HDR视频处理方法及系统

技术领域

本发明属于视频处理技术领域，尤其涉及一种实时HDR视频处理方法。

背景技术

在使用相机拍摄图像和视频的过程中，大部分所采用的拍摄方法为自动曝光模式，该方法主要根据画面当前场景的亮度和焦点，自动设定快门速度和光圈大小以获得合适的曝光参数，通常情况下，拍摄视频用于图像识别场景的相机其焦点多在画面中心，该类相机参数会导致拍摄时如果焦点区域位于高光区域，则暗部细节就会丢失产生黑区；如果焦点区域位于暗部区域，则高光区域就会曝光过度产生异常亮斑。

目前实时HDR视频技术通常采用光传感器和图像处理芯片，提供更好的动态范围和处理能力，以实现实时HDR视频用于适应不同的显示设备，同时采用硬件加速，利用GPU，FPGA等专用图像处理芯片等硬件加速技术进行并行计算框架，可以高性能的处理实时HDR视频。但是这些方法，处理能力要求高，需要大量的计算资源与终端处理能力，同时还存在算法中的噪声伪影等问题，由于采用了硬件加速，会导致存在系统的编解码问题从而进一步导致高延迟和播放延迟，影响用户体验。

通过上述分析，现有技术存在的问题及缺陷为：分辨率限制无法捕捉到足够的细节；动态范围限制无法同时捕捉亮部与暗部的细节；运动模糊产生的画面重影以及色彩还原不准确等问题。

发明内容

针对现有技术存在的问题，本发明提供了一种实时HDR视频处理方法。

本发明是这样实现的，通过固定位置的摄像头采集连续图像，经过亮度自动反馈调节后实现连续的实时HDR视频流的输出。一种实时HDR视频处理方法，所述实时HDR视频处理方法包括：

步骤一，图像采集，启动搭载在固定位置的单目摄像头，对实时场景进行连续多曝光图像采集，并存入预先设定的缓存队列中；

步骤二，HDR视频融合，结合实时更新的不同曝光时间的参数进行HDR视频融合；

步骤三，亮度自动反馈调节，根据画面亮度的实时读取，通过反馈调节，使画面亮度位于可视范围内，进行实时HDR视频记录。

进一步，所述步骤一在图像采集的准备阶段，将架设在自动驾驶登机桥桥头的单目摄像头激活，采集多组固定角度的多曝光图像，将采集的多曝光图像存入预先设定的缓存队列中，形成融合图像的预设数据集。

进一步，所述步骤二HDR视频融合具体包括：

(1)将架设在固定位置的单目摄像头激活，采集新的多曝光图像，按照一次曝光写入一次缓存队列的频率，进行多曝光图像的数据集更新，将新采集的图像按照过曝光、正常曝光、欠曝光顺序，依次替换预设数据集中的融合图像；

(2)通过对比度、饱和度和亮度三个维度对像素的价值进行评估，选取每一张图像中最有价值的部分，通过计算每张图像中像素的价值指标作为对应的权重进行融合曝光；

(3)将融合曝光的照片经过帧与帧的迭代更新，将生成的HDR图片按照帧间迭代更新关系拼接成HDR视频流，形成实时HDR视频。

进一步，对比度对像素的价值评估，对于图像的边缘和细节纹理等重要信息分配占用权重如下计算：

C(I

其中，C(I

进一步，饱和度对像素的价值评估，RGB三通道之间差异大的可视为饱和度高的区域，反之，对于过曝或者欠曝区域RGB三通道的值趋于一致，饱和度较低；将RGB三个通道之间的标准差作为饱和度指标，其计算过程如下所示：

其中，S

进一步，亮度对像素的价值评估，对图像亮度进行归一化转换，将像素值转换至(0，1)范围的图像，将取值在0.5左右的像素值作为良好曝光点进行参考，将0.5左右±0.15的像素点分配权重，接近0和1的分别为欠曝光和过曝光像素，将其权重大部分省略，其高斯分布计算过程如下所示：

其中，E

进一步，计算对比度、饱和度和亮度三个维度对像素的价值评估参数后，进行加权求和，获取融合之后的图像，计算过程如下所示：

其中，w

进一步，所述步骤三亮度自动反馈调节包括：在实时HDR视频生成后，将画面平均亮度按照时间T为采样周期进行一次的频率读取；若亮度高于上限阈值(Mmax)，则在下一帧更新采集图像时，自动降低曝光拍摄图像替换高曝光图像缓存位置；若亮度低于下限阈值(Mmin)，则在下一帧更新采集图像时，自动提高曝光拍摄图像并替换低保光图像缓存。

本发明的另一目的在于提供一种实时HDR视频处理方法的实时HDR视频处理系统，所述实时HDR视频处理系统包括：

图像采集模块，用于对实时场景进行连续多曝光图像采集，并存入预先设定的缓存队列中；

HDR视频融合模块，用于结合实时更新的不同曝光时间的参数进行HDR视频融合；

亮度自动反馈调节模块，用于根据画面亮度的实时读取，通过反馈调节，使画面亮度位于可视范围内，进行实时HDR视频记录。

结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

第一，本发明提出一种实时HDR视频处理方法，通过单目摄像头对实时画面进行多曝光图像采集，再对图像进行逐帧更新后融合叠加形成实时HDR视频。实现在不同亮度场景下，自适应调节亮度，使得视频亮度位于稳定阈值范围内；实现降低过曝画面，减少暗区阴影；实现采集高动态范围图像集成实时视频画面，消除视频重影并且同时提高对视频中物体识别的精度。

第二，本发明通过预采集图像缓存队列的提前获取图像与逐帧更新缓存队列实现实时HDR视频。通过预采样阶段，对图像进行同角度的多次预采样，保证了视频的亮度的稳定与实时视频的图像流的稳定；采用对缓存队列一次更新一帧采集图像的替换频率，实现实时HDR视频。

本发明通过架设在任意固定位置的单目摄像头进行亮度的实时读取，实现视频实时画面亮度的自动调节系统。通过亮度自动反馈调节系统，实现实时HDR视频亮度的自动调节功能，实现画面亮度的一致，得到合理的识别与定位场景。

第三，本发明的技术方案填补了国内外业内技术空白：

本发明通过单目摄像头对实时画面进行多曝光图像采集，再对图像进行逐帧更新后融合叠加形成实时HDR视频。实现在不同亮度场景下，自适应调节亮度，使得视频亮度位于稳定阈值范围内；实现降低过曝画面，减少暗区阴影；实现采集高动态范围图像集成实时视频画面，消除视频重影并且同时提高对视频中物体识别的精度。

本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：本发明解决了分辨率限制无法捕捉到足够的细节；动态范围限制无法同时捕捉亮部与暗部的细节；运动模糊产生的画面重影以及色彩还原不准确等问题。本发明可以通过预采集图像缓存队列的提前获取图像与逐帧更新缓存队列实现实时HDR视频。本发明通过架设在任意固定位置的单目摄像头进行亮度的实时读取，实现视频实时画面亮度的自动调节系统。

第四，在实时HDR视频处理技术上带来的显著技术进步主要体现在以下几点：

1)实时处理:通过启动固定位置的单目摄像头，对实时场景进行连续多曝光图像采集，并进行实时HDR视频融合，能够实时生成高质量的HDR视频，提高了视频处理效率。

2)亮度自动反馈调节：可以实时根据画面亮度进行反馈调节，使画面亮度始终保持在可视范围内，从而提高了视频的观看体验。

3)多曝光处理：可以有效地增强视频的动态范围，使画面更加鲜明和真实。

4)特定场景应用：对实时HDR视频处理方法的一种具体应用，能够有效地解决在这种特定环境下的视频处理问题，显示了该方法的实用性和广泛性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的实时HDR视频处理方法流程图；

图2是本发明实施例提供的实时HDR视频算法整体流程图；

图3是本发明实施例提供的自动调节画面亮度算法流程图；

图4是本发明实施例提供的效果图，(a)自动曝光原始图像；(b)实时HDR视频第一帧；(c)实时HDR视频并在左上角显示视频帧率。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种实时HDR视频处理方法。

如图1所示，本发明实施例提供的一种实时HDR视频处理方法，所述实时HDR视频处理方法包括：

S101，图像采集的准备，启动搭载在固定位置的单目摄像头，对实时场景进行连续多曝光图像采集，并存入预先设定的缓存队列中；

该步骤的具体的实现方案。

1.在自动驾驶登机桥桥头安装具有足够分辨率和视角的单目摄像头。

2.通过编程或远程控制方式激活摄像头。

3.摄像头在激活后，按照预设的间隔时间和角度，自动采集登机桥在不同光线条件下的多组多曝光图像。

4.将采集到的图像存储在预设的缓存队列中，该队列可为内存缓存或磁盘存储，取决于系统设计和资源情况。

5.将采集到的所有图像组成预设数据集，用于后续的图像融合和处理。

S102，HDR视频融合，结合实时更新的不同曝光时间的参数进行HDR视频融合；

S103，亮度自动反馈调节，根据画面亮度的实时读取，通过反馈调节，使画面亮度位于可视范围内，进行实时HDR视频记录。

进一步，所述实时HDR视频处理方法具体过程如图2所示：

在图像采集的准备阶段，将架设在自动驾驶登机桥桥头的单目摄像头激活，采集多组固定角度的多曝光图像，将采集的多曝光图像存入预先设定的缓存队列中，如表2所示，形成融合图像的预设数据集。在HDR视频融合阶段，将架设在固定位置的单目摄像头激活，采集新的多曝光图像，按照一次曝光写入一次缓存队列的频率，进行多曝光图像的数据集更新，将新采集的图像按照过曝光(A*)、正常曝光(B*)、欠曝光顺序(C*)，依次替换预设数据集中的融合图像，通过对比度、饱和度和亮度三个维度对像素的价值进行评估，选取每一张图像中最有价值的部分，通过计算每张图像中像素的价值指标作为对应的权重进行融合曝光，最终将融合曝光的照片经过帧与帧的迭代更新，将生成的HDR图片按照帧间迭代更新关系拼接成HDR视频流，形成实时HDR视频。

表2

首先进行对比度对像素的价值评估，对比度是指图像的像素梯度，对于图像的边缘和细节纹理等重要信息分配占用权重如下计算：

C(I

其中：

C(I

其次进行饱和度对像素的价值评估，RGB三通道之间差异大的可视为饱和度高的区域，反之，对于过曝或者欠曝区域RGB三通道的值趋于一致，饱和度较低。因此，可将RGB三个通道之间的标准差作为饱和度指标。其计算过程如下所示：

其中：

S

最后进行亮度对像素的价值评估，对图像亮度进行归一化转换，将像素值转换至(0，1)范围的图像，将取值在0.5左右的像素值作为良好曝光点进行参考，将0.5左右±0.15的像素点分配权重，接近0和1的分别为欠曝光和过曝光像素，将其权重大部分省略，其高斯分布计算过程如下所示：

其中：

E

δ是在区间(0.35，0.65)范围内的随机数，表示良好曝光点的权重范围

计算对比度、饱和度和亮度三个维度对像素的价值评估参数后，进行加权求和，获取融合之后的图像，计算过程如下所示：

其中：

w

ω

按照表2所示的视频流迭代顺序将合成图像拼接为实时HDR视频，其中所示：

(1)A*、B*、C*表示将单目摄像头获取的不同曝光值图像缓存在缓存队列中，顺序依次为过曝光(A*)、正常曝光(B*)、欠曝光顺序(C*)；

(2)Dn，n＝1，2，3…，表示按照HDR融合公式进行计算形成的视频流每一帧的画面。

除上述合成视频流描述以外，为了保证图像亮度的稳定，设计如图3的自动亮度调节系统，所述自动亮度调节系统具体过程如下所述：

在实时HDR视频生成后，如图3所示，将画面平均亮度按照时间T为采样周期进行一次的频率读取，若亮度高于上限阈值(Mmax)，则在下一帧更新采集图像时，自动降低曝光拍摄图像替换高曝光图像缓存位置；若亮度低于下限阈值(Mmin)，则在下一帧更新采集图像时，自动提高曝光拍摄图像并替换低保光图像缓存，实现实时HDR视频的亮度自动反馈调节系统。

实时HDR视频的亮度自动反馈调节系统效果如图4所示，图(a)表示自动曝光所采样的原始图像，该图像边缘模糊，高光区域过曝产生亮斑区域，图(b)表示采用上述专利内容合成的HDR视频第一帧图像，保留了高光部分细节，高光区域未产生亮斑，暗区细节保留完整，满足实时画面基本要求，图(c)表示采用上述专利内容实现的实时HDR视频并在左上角显示视频帧率，实现了实时HDR画面显示，长时间的稳定消除了亮斑过曝以及暗区过黑的极端情况，实现了自适应亮度调节系统。

本发明实施例提供一种实时HDR视频处理方法的实时HDR视频处理系统，所述实时HDR视频处理系统包括：

图像采集模块，用于对实时场景进行连续多曝光图像采集，并存入预先设定的缓存队列中；

HDR视频融合模块，用于结合实时更新的不同曝光时间的参数进行HDR视频融合；

亮度自动反馈调节模块，用于根据画面亮度的实时读取，通过反馈调节，使画面亮度位于可视范围内，进行实时HDR视频记录。

本发明的技术方案创造性与技术价值如下所示：

本发明可以通过搭设在固定位置的单目摄像头实现实时HDR视频的捕捉与显示。本发明采用预设的缓存队列对采样的逐帧图像进行权重的计算，分阶段采用，采用周期性亮度反馈调节，保证图像亮度与视频亮度均在可视范围内，实现目标的清晰显示。本发明不依靠特殊摄像头，不依靠外设补光、挡光等措施，直接使用普通单目摄像头进行曝光时长的多次调节并采用，记录每一次采样的亮度、曝光时间与可视化范围，实现对实时HDR视频融合的调节与准备工作。

该发明实施例的所示效果如图4所述，图(a)表示自动曝光所采样的原始图像，该图像边缘模糊，高光区域过曝产生亮斑区域，图(b)表示采用上述专利内容合成的HDR视频第一帧图像，保留了高光部分细节，高光区域未产生亮斑，暗区细节保留完整，满足实时画面基本要求，图(c)表示采用上述专利内容实现的实时HDR视频并在左上角显示视频帧率，实现了实时HDR画面显示，长时间的稳定消除了亮斑过曝以及暗区过黑的极端情况，实现了自适应亮度调节系统。

实施例1：自动驾驶汽车中的实时HDR视频处理

实时HDR视频处理技术可以应用在自动驾驶汽车的环境感知中。在这个应用场景中，汽车搭载的摄像头需要能够在各种光照条件下都能获取清晰的图像，以确保汽车的安全驾驶。

步骤一：启动汽车上的单目摄像头，对周围环境进行连续多曝光图像采集，并将采集到的图像存入预先设定的缓存队列中。

步骤二：根据汽车驾驶的实时环境，结合实时更新的不同曝光时间的参数进行HDR视频融合。

步骤三：根据图像的亮度实时调节摄像头的曝光参数，通过反馈调节，使画面亮度位于可视范围内，进行实时HDR视频记录。

实施例2：室内监控摄像头的实时HDR视频处理

在室内监控场景中，由于室内光照条件的差异较大，因此需要使用实时HDR视频处理技术，以获取清晰、细节丰富的监控图像。

步骤一：启动室内的监控摄像头，对室内环境进行连续多曝光图像采集，并将采集到的图像存入预先设定的缓存队列中。

步骤二：根据室内的光照条件，结合实时更新的不同曝光时间的参数进行HDR视频融合。

步骤三：根据图像的亮度实时调节摄像头的曝光参数，通过反馈调节，使画面亮度位于可视范围内，进行实时HDR视频记录。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。