掌桥专利:专业的专利平台
掌桥专利
首页

一种基于衰减系数的水下图像色彩校正方法

文献发布时间:2023-06-19 16:08:01



技术领域

本发明属于水下图像色彩校正技术领域,尤其涉及一种基于衰减系数的水下图像色彩校正方法。

背景技术

海洋,涵盖全球97%水资源,为人类提供大量的资源,对于人类社会生存与发展具有重要意义,为实现社会高质量发展提供了丰厚的物质基础;绿色可持续发展,实质上是在围绕合理利用自然资源的基础上进行的,海洋资源是自然资源的重要组成部分,在自然资源系统中发挥着与日俱增的作用,合理利用海洋资源,将为实体经济的发展提质增效。

“欲成其材,必利其器。”目前水下成像技术的主流是依靠光波和声波进行成像,其中,水下光学成像技术如火如荼的高质量发展,成为海洋资源的开发、利用关键所在。水下光学成像技术现已被广泛应用于水下光学探测、水产养殖、军事伪装与反伪装等领域。光成像技术应用可见光对目标物进行成像记录,具有高速、精确、便捷、色彩真实、可靠性高的特点,与声波成像相比,光成像具有目标纹理突出、色彩真实呈现、人眼识别度高、场景对比度强的优势,其蕴含的信息量也远远丰富于声波成像,因此光成像的应用范围与前景均优于声波成像。

然而,光在水下传输时,受到水体中其他条件的影响,使得光成像技术在水体中的应用受到巨大限制。与空气中的传输相比,水体对于光的传输存在明显的衰减作用,这种衰减作用主要体现在两个方面:一是吸收作用。水体中存在大量的水分子与其他小粒子悬浮颗粒物,这些颗粒会在光子的水体传输过程中直接吸收光子携带的能量,造成光学成像的能量损失,给人造成的直接视觉效果是水下图像往往比空气中整体偏暗;二是散射作用。大洋水体中存在的大粒子悬浮颗粒物、浮游植物、细菌等微生物,使得光子的传输路径发生偏移。在水体的衰减作用下,水下图像变得细节模糊、边缘紊乱、色彩异变,不利于海洋经济、科考测量、军事等方面的应用,其中色彩异变对具体应用的影响最为明显,甚至会在一些应用领域导致完全错误的判断,造成不可挽回的损失。例如:在海水磷虾养殖中,可通过空气中磷虾的体表颜色来判断磷虾的健康状况,往往健康磷虾的体表颜色与患红体病、黄头病磷虾的体表颜色仅仅存在微弱的肉眼可见色差,然而在水体中,红黄色光衰减严重,未经色彩校正处理直接得到的水下图像不易分辨磷虾体表实际颜色,会导致延误治疗时机,大量减产;在水下鱼雷伪装中,光学假象鱼雷利用水体的衰减特性进行自身伪装,而若其伪装放入空气中则显得“画蛇添足”,可被准确识别出。因此,若能经过良好的色彩校正处理手段,将水下鱼雷复原为空气中的色彩,可以有效辨识出水下光学假象鱼雷与真实鱼雷,进而识破敌军军事意图,占尽战场先机。

水下图像复原算法有准确的复原模型,依靠准确的复原模型,对水下失真图像进行图像复原,模型参数及参数对应关系推算拟合越为准确,所得复原结果越为理想。但是复原模型受到环境参数的制约,往往需要参照光学衰减模型对环境参数进行估计后,方可进行复原,这也是复原模型建立的一大难点。

水下图像复原基础算法大致可分为以下几种:

1.基于暗通道先验的复原算法

2.雾天去雾算法

3.基于深度学习的图像复原算法

4.基于Retinex的图像复原算法

色彩校正算法在实际应用中,往往是采用不同算法之间相结合的方式,并辅以其他去噪手段,在以水下图像复原为基准的色彩校正领域取得了一定的成就。

2007年,Hou等人将基础图像复原方法与光子的水下传播特性相结合,直接估计水体的衰减系数,采用卷积与反卷积相结合的方式进行水下图像色彩校正,将水下图像的信息熵由7.055丰富到了7.278。

2010年,He等人利用了暗通道先验的方法,成功实现了水下图像复原,暗通道先验最早是运用于图像中去雾的一种算法,但He等人很快想到水下图像原理和雾天的图像原理大体相同,其颜色衰减效果均涉及吸收和散射二个方向,于是把暗通道先验算法运用于水底图像复原,得到结果CIELAB1976为47.258,可雾天所得图像几乎不存在色偏,因此,未能对算法进行有效改进,色彩失真现象仍存在。

2012年,Chiang等人致力于恢复水下衰减模型不准确导致的色差,创新性的提出了分波段的波长补偿与暗通道先验相结合的算法,该算法有效减小了水下复原图像与水下真实图像的色差,但存在硬件要求高、依赖性强且需估计的模型参数过于冗杂的缺陷,不便于复现应用。

2013年,Wen等人在Chiang等人的基础上改进了暗通道先验算法,估计出水体的衰减系数,同时提出了新型背景光的计算方法,复原出对比度良好的水下图像,图像CIE1976LAB为41.468。同年,Drews等人把图像复原的重点放在图像三通道的G、B通道上,对于去除海水中的“蓝色”雾化作用有明显改善,所得结果CIELAB1976为44.773,因为对于R通道的复原模型设计过于简化,R通道在水下图像中本就是衰减最为严重的通道,最终导致复原图像与原图像色差距离较大。

2014年,Serikawa等人为解决水下图像的颜色失真问题,设计出三角联合滤波器,在一定程度上对失真图像与原图像的色差有缩小作用,复原所得图像CIEDE2000为3.8542。

2015年,Galdran等人开创了以红色通道为主,综合使用暗通道先验与雾天去雾算法,旨在拟合出水下图像的衰减模型参数,图像质量评价指标证明该方法对水下图像的对比度有明显的提升,并且增强了不同区域边缘的视觉效果,符合人眼视觉要求,比较参数中选用了CIELAB1976,其方法处理所得结果为28.333相作比的其他算法最低为 31.107,在色偏方面给予了有效矫正。

2016年,Lu等人重新构造光在水下传播时的衰减模型,提出新的水下图像传输模型,并给出了局部自适应滤波算法,期望解决图像模糊与色彩失真的问题,其处理所得水下图像CIE1976LAB为29.864,相作比的其他算法最低为32.461,表明处理结果所得色差小于其他算法。

2018年,Berman等人综合运用背景光强估计与Wen等人改进后的暗通道先验的方法,在合理推算出背景光之后,与暗通道先验算法相结合,重新建立了水下图像的衰减模型。同年,Barbosa等人受到Shin的启发,在水中掺入不同浓度的茶水,进一步丰富了水下图像数据集,模拟出具有不同衰减系数的水下降质环境,为不同环境色彩研究工作提供了新思路。

2019年,Hu等人针对水下环境背景光估计不准确的问题,提出基于深度学习的水下图像复原算法,合理考虑了三通道的衰减特性,按照红色通道衰减强于蓝绿通道的原则,通过设计的卷积神经网络反演出水下成像模型,复原所得图像的CIEDE2000指标为8.6316,低于其他对比方法,对图像的色彩校正效果有良好改善。

2020年,Li等人进行了基于变分方法的水下图像复原研究,处理所得图像CQE指标为0.9599,高于作比的其他算法,表明其算法在复原图像色彩方面做出了贡献。

2021年,Gong等人基于对水下图像成像特点和成像模型的研究,将图像有RGB色域空间转换到YCbCr色彩空间,根据三通道衰减系数计算出衰减偏移参数矩阵,修正Y、 Cb、Cr的值,重新定义图像“白点”,从而计算图像各个通道的增益,将水下图像的蓝绿色调转换到白色调,将水下原图像的UCIQE由0.4654提升至0.5421,表明对校正色彩偏移具有一定效果。

综上所述,水下图像色彩校正的发展在于运用不同的思路不断改进水下图像复原模型,随着复原模型参数的精确,水下复原工作逐渐在各个应用领域取得成效,但复原工作仍存在瑕疵,色彩校正所得图像仍与真实图像存在一定色彩偏差,在对色彩要求精密度高的水下应用情形,如前文提到的磷虾养殖与鱼雷伪装,仍需提升复原算法的精确性。

固定距离下的水下图像色彩校正虽得以实现,但其应用范围存在一定的局限性,在一些应用情景,存在某些区域不可到达的特殊情况,例如水下鱼雷伪装、磷虾病虫害判断等。无法在相应位置放置光源直接进行图像传感器衰减系数的测算,导致色彩校正工作无法进行,因此,对色彩校正算法进行应用范围的扩展,进而实现不可到达区域的水下图像色彩校正。

发明内容

水下图像复原工作的本质,在于不断尝试建立更为适用的复原模型,从不同的角度入手,解决水下图像的色彩失真问题。

本发明第一方面提供了一种基于衰减系数的水下图像色彩校正方法,包括以下步骤:

步骤1,分别获取距离为d时的水下目标图像和水上目标图像,分别将获取的原始目标图像进行统一的线性化处理得到RAW线性图像,以DCRaw对所述Raw线性图像进行预处理,得到方便MATLAB读取并处理的tiff图像;

步骤2,根据步骤1获得的tiff图像,获取在空气中记录所得的像素点能量值E

其中e为自然常数2.71828,C

步骤3,对不可到达区域的图像传感器衰减系数进行推算;采用AC-S测得水下衰减系数曲线的特性趋势来拟合图像传感器三通道衰减系数曲线的特性趋势,并结合步骤2 中获得的固定距离为d时的衰减系数C

其中,d表示成像距离,T表示图像传感器任意通道透射率,λ表示波长,c

步骤4,根据步骤3公式计算得到特定距离下的图像传感器衰减系数,对原始图像以比尔定律进行补偿,从而完成原始图像的色彩校正。

在一种可能的设计中,所述步骤1中当原始目标图像为非线性图像格式时,进行线性化处理的具体过程为:

假设获取到的原始图像未进行伽马变换且未归一化之前的像素值为a,图像像素值为z,最大饱和值为s,黑色像素值为b,则图像关系为:

对获取的图像的像素值归一化,得:

假设归一化后的像素值进行逆伽马变换得到的像素值为A,则:

此时所得A即为与像素点与能量呈线性对应关系的图像。

在一种可能的设计中,所述步骤2中获取图像的像素能量值,是将整张照片的像素点数值按照三通道值的大小分别进行排序,并分别取三通道值数值最大的18个点,用于进行图像传感器衰减系数的测量。

在一种可能的设计中,所述步骤3中对不可到达区域的图像传感器衰减系数进行推算的具体过程为:

当测量距离为d时,假设将图像传感器三通道的光谱响应曲线一共划分为n段,则有:

其中,A

其中,T为光谱响应曲线的透射率,λ

采用AC-S测得的水下衰减系数曲线的特性趋势来拟合图像传感器三通道衰减系数曲线的特性趋势,对于400nm-700nm内的任意波段c

其中,c

考虑已知水下成像距离为d时的图像传感器衰减系数,将其应用于任意距离的衰减补偿时的情形,设已知特定距离d处的图像传感器三通道的衰减系数为

以d为基础,设想距离分别为d、2d、3d、αd时的情形,构造方程组:

假设α∈z,方程组中总共α个方程,观察等式左边的所有项,可以将等式左边所有项看作一个α*n的矩阵,矩阵同一列所有元素均构成一个公比为

将方程组(4)的α个方程依次相加,设其和为B

则有:

将方程组(4)的前(α-1)个方程依次相加,设其和为B

两式作差,可得:

将方程(3)的结果代入(7)中,可得:

上式中的每个大括号中的分数项约去公因子可得:

式(10)中,c、d、T均为常数,d表示成像距离,T表示图像传感器任意通道透射率,λ表示波长,c

在一种可能的设计中,所述步骤4中进行图像色彩校正的过程具体为:假设待校正的原始图像像素值为A,在A的基础上对像素值进行补偿,设补偿之后的数值为B,根据比尔定律关系:

为迎合人眼视觉的需求,对补偿之后的数值需要再次进行伽马变换才能得到最终空气中照片的像素值,有:

其中e为自然常数2.71828,l为距离。

本发明第二方面还提供了一种基于衰减系数的水下图像色彩校正设备,所述设备包括至少一个处理器和至少一个存储器;所述存储器中存储有基于衰减系数的水下图像色彩校正的执行程序;所述处理器执行所述存储器存储的执行程序时,可以实现如第一方面所述的基于衰减系数的水下图像色彩校正方法。

本发明第三方面还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行程序,所述计算机执行程序被处理器执行时用于实现如第一方面所述的基于衰减系数的水下图像色彩校正方法。

与现有技术相比,本发明提供了一种基于衰减系数的水下图像色彩校正方法、设备及存储介质,将退化函数与系统噪声两方面融合为一方面进行考虑,找到合理的媒介对这两方面同步进行体现,化繁为简,理论上,只需建立合理的媒介关系,即可实现水下真彩色图像退化程度的精确表达,并以此为依据,进行精确补偿,进而实现水下真彩色图像的色彩校正。

1.本发明从水下图像的记录仪器-图像传感器入手,以整体法从源头探索水下图像色彩失真的原因,该模型中,将水体对光波的衰减作用、环境光及其他环境影响因素均当作图像传感器记录的衰减。为探究水下成像时各个过程的总体能量损失情况,定义图像传感器衰减系数,此系数涵盖了水体对光波的衰减作用、环境光、系统噪声及其他影响因素。依据在DCRaw中获取到的线性水下失真图像与线性原图像,计算得出图像传感器衰减系数。

2.本发明提出了基于图像传感器衰减系数的水下图像色彩校正算法。在Matlab中逐步复现相机成像全过程,实现对成像全过程参数控制,并将对像素记录的非线性处理步骤去除,以提高水下图像传播过程中能量损失的计算精度。通过弥补相机的线性记录偏差,间接且协同的对水体、环境光及其他噪声做出补偿,再对补偿后的图像进行伽马变换处理,即可得到符合人眼视觉效果的图像。因此,可在不同环境情况下对水下图像做到较为精确的色彩校正。

3.本发明将算法应用范围进行推广,得出不同距离图像传感器衰减系数的推算算法。结合AC-S测得的水体衰减系数与图像传感器的CMOS光谱响应特性曲线,推导出图像传感器衰减系数表达式,推算不同距离下的图像传感器衰减系数,实现不可测区域不同距离的水下图像色彩校正。

4.其中获取图像像素值时选取18个像素点时测得的RGB衰减系数最为稳定,且18个像素点在空间中对应实际面积极小,对水体散射作用的削弱可以忽略不计,又避免了单一像素收周围像素点影响的偶然性。

附图说明

图1为往常的水下图像退化及复原模型。

图2为本发明图像传感器水下衰减成像模型。

图3为本发明整体方法过程流程图。

图4为Nikon D5100光谱响应特性曲线。

图5为AC-S测得的吸收、散射、衰减系数曲线。

图6为一类水体水下图像色彩校正结果比对。

图7为二类水体水下图像色彩校正结果比对。

图8为三类水体水下图像色彩校正结果比对。

图9为实施列2中设备的结构简图。

具体实施方式

关于水体衰减系数测量原理说明:

海水的总衰减作用由光束衰减系数c(λ)来描述,它是吸收系数与散射系数的线性组合,表示为:

c(λ)=a(λ)+b(λ)

其中a(λ)是吸收系数,b(λ)是散射系数,三者单位都是m-1。

水下光的衰减系数描述了非散射光的指数衰减,在光源直射轴上,距离光源z米处的光强可根据比尔定律表示为:

I=I

其中,I

色彩校正的复原算法思路需要有明确的复原模型,模型参数对环境变量及内部噪声的模拟细致程度往往直接决定水下图像色彩校正的真实性、准确性,本发明在模型建立方面另辟蹊径,如图1为往常的水下图像退化及复原模型。

f(x,y)是目标物的实际图像,g(x,y)是受退化函数与系统噪声影响之后的图像。退化函数H是由水体的衰减特性表征,主要由水体的吸收作用、前向散射、后向散射生成,而噪声η(x,y)则是由系统内部的工作机理引起,需同时考虑退化函数H与噪声η(x,y)两方面的影响,并进行复原。

本发明将退化函数与系统噪声两方面融合为一方面进行考虑,并且找到合理的媒介对这两方面同步进行体现,化繁为简。理论上,只需建立合理的媒介关系,即可实现水下真彩色图像退化程度的精确表达,并以此为依据,进行精确补偿,进而实现水下真彩色图像的色彩校正。

本发明以图像传感器为媒介,以图像为具体表现,建立水下衰减成像模型,将退化函数H与噪声η(x,y)的整体对理想图像f(x,y)的影响程度表征为图像传感器像素的衰减程度,如图2所示。在原理上,图像传感器衰减系数涉及了全部的水下真彩色图像复原需补偿的因素,因此,以图像传感器的像素数据为依据,对退化后的图像像素数据进行补偿,即可得退化前的真实图像,只要图像传感器衰减程度表征准确,即可准确实现水下真彩色图像的复原。

图像传感器衰减系数的定义:

依据整体法,对图像传感器衰减程度进行了定性的解释,但实现水下退化图像色彩校正需对图像进行定量的能量补偿。根据比尔定律:

I=I

因光能是能量的体现,为了解释补偿的需要,在此处以能量进行表征:

E

E

在图像传感器衰减模型中,出于整体图像传感器衰减考虑,定义图像传感器衰减系数c

c

图像传感器衰减系数的计算方法:

因为光波在水下传播时存在吸收与散射作用,导致光波的能量在并不长远的距离里急剧缩减,而光波在空气中传播,却几乎不存在吸收与衰减,因此,想到用光波在空气中经过传播距离d时的能量来代替光波尚未在水中进行传播时的能量,只要固定了传播距离d,即可保证目标物到相机镜头有着相同的发散角,公式可演化为:

为确保能量记录数据的准确性,以Raw为记录工具,进行图像传感器衰减系数的测量。E

下面结合具体实施例对发明进行进一步说明。

实施例1:

如图3所示,本发明提供了一种基于衰减系数的水下图像色彩校正方法,包括以下步骤:

步骤1,分别获取距离为d时的水下目标图像和水上目标图像,分别将获取的原始目标图像进行统一的线性化处理得到RAW线性图像,以DCRaw对所述Raw线性图像进行预处理,得到方便MATLAB读取并处理的tiff图像;

步骤2,根据步骤1获得的tiff图像,获取在空气中记录所得的像素点能量值E

其中e为自然常数2.71828,C

步骤3,对不可到达区域的图像传感器衰减系数进行推算;采用AC-S测得水下衰减系数曲线的特性趋势来拟合图像传感器三通道衰减系数曲线的特性趋势,并结合步骤2 中获得的固定距离为d时的衰减系数C

其中,d表示成像距离,T表示图像传感器任意通道透射率,λ表示波长,c

步骤4,根据步骤3公式计算得到特定距离下的图像传感器衰减系数,对原始图像以比尔定律进行补偿,从而完成原始图像的色彩校正。

关于各步骤具体说明:

一、若图像来源为非线性图像,如JPEG格式,则进行线性化处理;若图像来源为Raw线性图像,则以DCRaw直接对Raw原始图像进行预处理,得到方便MATLAB读取并处理的tiff图像。

1.关于Raw特性:

Raw线性图像由图像传感器的像素文件与图像传感器生成的元数据组成。相机元数据提供的是关于图像捕获方式的信息,图像传感器可以在获取Raw的同时,自由调整拍摄时的各项参数。无论是哪种滤镜阵列,Raw文件只包含不同像素的具体数值,归根结底,Raw文件是一幅灰度图像。与普通灰度图像不同,Raw文件通过记录色彩滤镜的排列方式,间接记录了颜色信息。现今一些图像应用程序,可以直接查看到包含人眼可视色彩信息的Raw图像,是因为在程序内部默认内置进行了色彩插值及伽马变换等处理,这一系列过程迎合了人眼视觉的需要,但却未能真实的呈现出Raw的原本面貌。

Raw包含相机拍摄场景的最原始信息,未进行特定场景的白平衡、亮度调节、去马赛克算法、伽马校正等操作的处理,因此Raw原始数据也被称为“电子底片”。

图像传感器记录Raw图像是为了取得对图像更大限度上的控制。处理Raw图像时,可以对上述提到的所有处理过程进行操控。

拍摄JPEG图像时,图像传感器默认执行前文提到的所有图像操作流程从而直接生成一张彩色的图像,再使用JPEG压缩方法对图像进行压缩。虽然一些图像传感器为该转换过程设置了专有参数,但是也局限于选择色彩空间或者色调曲线的影响,照片仍然存在对拍摄环境的依赖性。JPEG并不能真实记录场景照度数据,其实已改变了场景的实际色彩。

Raw自身的像素记录存在线性化特点,即像素点数值与记录能量的强弱是线性对应关系,这正是测量水下衰减的重要需求,也是本文色彩校正算法优势的直接体现。

Raw原始数据相比JPEG等格式具有更大的位深。现今图像传感器可以在每像素内捕获12位数据,每条通道可以达到4096色阶。位深越大对场景照度信息的反映就越为准确,JEPG格式的照片每个像素的位深却被限制在了8位。

对于Raw记录过程来说,图像传感器对捕获像素数据起到影响的参数是自动曝光增益、快门速度、光圈大小。在实验过程中将相机档位定位至M档,即可手动选择快门时间跟光圈大小。其他参数则可以在Raw转换器对Raw图像进行转换时进行控制处理,实现了对图像记录过程的全控制。如果在图像的所有记录流程避免非线性处理,就可以认为我们通过图像传感器记录下的Raw原始数据反映了最真实的场景照度信息。

因此,raw原始数据有着对场景信息最真实的反映,极具水下光信号的衰减测量利用价值。为了能准确、真实的反映出光波在水下的衰减情况,选用raw原始图像的像素作为基本数据来进行处理并计算。

2.关于JPEG图像线性处理:

伽马变换是图像非线性化处理过程,其主要作用是使图像迎合人眼视觉需要,伽马变化处理之后的图像为非线性图像,其像素点记录的数据与水下场景的实际照度不具有线性映射关系,故无法直接进行补偿,需对非线性图像进行逆伽马变换处理,将其图像线性化之后,方可进行衰减补偿,实现色彩校正。伽马变换、逆变换的前提条件是数据归一化,而日常照片多是以未归一化的8位位深图像为主。因此,进行逆伽马变换之前,需要归一化处理。

假设获取到的原始图像未进行伽马变换且未归一化之前的像素值为a,图像像素值为z,最大饱和值为s,黑色像素值为b,则图像关系为:

对获取的图像的像素值归一化,得:

假设归一化后的像素值进行逆伽马变换得到的像素值为A,则:

此时所得A即为与像素点与能量呈线性对应关系的图像。

3.关于Raw线性图像预处理:

DCRaw是由David Coffin创作的RAW开发工具,支持对Raw格式进行转换工作。DCRaw 在Linux以及Windows和Mac系统中均可使用,并且在三个系统中的操作方式完全相同,这种特性在一定程度上提升了程序自身的兼容性。DCRaw不需要安装,只需将可执行文件复制到相应的路径名中,再从终端控制台对其进行操作处理即可。

虽然有一些前端界面,可以使得DCRaw更加易于使用,如UFRaw,但从开发者的角度来看,前端界面缺乏实用性和灵活性,对DCRaw的操作处理能力反倒有一定的限制作用。在操作指令方面,对照DCRaw的官方操作指令表,熟悉掌握指令的含义即可正常使用。除此之外,DCRaw几乎每个月都会进行一些功能更新,因此,任何前端界面都会很快过时。综合来看,直接使用DCRaw才是最方便快捷的掌控Raw原始图像转换的方式,因此本文选择直接使用DCRaw作为Raw原始图像转换器而不使用任何的前端界面。

单独使用DCRaw并不是一个友好的工具,对于通常的图像处理流程而言,DCRaw并不是理想的选择。但是,DCRaw可做到图像控制的透明性且具有强大的功能,这使得DCRaw成为执行棘手Raw处理任务的理想工具。

DCRaw不但可以完成其他Raw处理工具可以做的几乎所有工作,还可以作为一种直接提供原始图像而不对其进行任何加工处理的工具,以保证在绝对控制下进行高质量的开发。DCraw还可以完成其他商业Raw处理器,如Adobe Camera Raw,所无法完成的工作。总而言之,DCRaw是使得操作者实现对Raw原始图像绝对控制的转换程序。

与DCRaw兼容性最好的系统是windows xp,当今正常运行的物理机基本都是64位机,而window xp系统往往需要在32位机中运行,后续发行的被声称可以在64位机中运行的新型windows xp却因自身稳定性较差的原因,不适合做开发研究,因此在正版 windows xp系统下运行DCRaw是图像预处理的最稳妥方法。但32位机已被淘汰多年,目前市面上已难寻32位机,现存的32位机又大多成为老古董,运行速度慢、内存空间小,不适合DCRaw开发平台使用。

综合考虑以上因素,将DCRaw放到虚拟机中运行,可避免以上操作系统带来的不适用问题。

在VMware虚拟机中,烧录正版window xp镜像,VMware会根据烧录的系统自动将虚拟机设为32位机,只需要为该32位虚拟机分配512MB的运行内存和40GB的存储内存即可。

因衰减测量的数据处理流程中,是在windows环境下使用DCRaw对Raw原始数据进行的开发,在此讲述windows环境下DCRaw的操作方法,其他环境下也是大同小异,此处不再赘述。

Windows版本DCRaw不需要安装,其自身仅包含一个紧凑的.exe控制台应用程序文件。该文件名为dcraw.exe,可以将其直接复制到C:\WINDOWS\路径中,以便在命令行中从任何文件夹访问。

在此进一步概括选用DCRaw作为Raw原始图像转换器的原因所在,DCRaw相比一些商用的Raw原始图像转换器,除了可以深入研究应用于不同领域的色彩插值数据,还可以得到质量更高、噪声更小的tiff文件。DCRaw支持的一系列功能在大多数商业Raw 转换器上均不可用,并且这些功能对于测量水下光衰减是极具应用价值的。

在做好了以上种种准备工作后,开始将Raw转换为matlab可以识别并进行处理的tiff格式。

为了迎合衰减测量需要,禁止以Dcraw对Raw Data做任何非线性处理,最终指令选用输入:

dcraw-4-T-D-v pathfilename

至此已完成了图像的预处理工作,得到MATLAB方便读取的tiff图像。

二、固定距离下图像传感器衰减系数的测量。

因为光波在水下传播时存在吸收与散射作用,导致光波的能量在并不长远的距离里急剧缩减,而光波在空气中传播,却几乎不存在吸收与衰减,因此,想到用光波在空气中经过传播距离d时的能量来代替光波尚未在水中进行传播时的能量,只要固定了传播距离d,即可保证目标物到相机镜头有着相同的发散角,公式可演化为:

根据步骤1获得的tiff图像,获取在空气中记录所得的像素点能量值E

为保证图像传感器衰减系数可反应水下场景整体的能量衰减程度,往往会想到选取整张照片所有的像素点,从中求取平均值进行计算的方法,但是这样的计算方法并非考虑到所有的水体衰减作用。

光子在水体中传播的衰减分为吸收与散射两部分,而散射情形大部分为小角度散射。若选取整张照片为研究对象,映射到实际场景中无疑是一块相当大的面积区域。部分像素点上本应接收到的光子,经过小角度散射之后不会被该像素点接收到,这部分光子本应该被计入衰减的光子当中,但是因研究对象是一块面积较大的区域,若干像素点本应接收到的光子发生小角度散射之后,被该像素点附近的其他像素点接收到,造成接收的能量增强。如此计算衰减,相当于忽略了大部分光子在水体中的散射作用。

如果想精确的测出能量损失情况,理论上应该测量具体且位置固定的实际场景中的某一个点,在水中经过距离d之后和未经过距离d时的能量。在空气中,这种想法较易实现,只需选取高精度图像传感器的一千五百万余像素点阵列中的某一固定位置的像素点即可实现准确对应。但是在水中情形,从如此之多的像素点中精确的选取到对应的像素点并非易事。

在此有三种思路选取对应像素点:

1.直接选取像素点阵列对应相同位置的像素点

在Matlab中导入图像进行处理,选取像素点阵列位置对应的像素点本身是不难做到的,但实验过程中,虽然可做到图像传感器的位置固定和光源与导轨的硬连接,但因需要测量不同距离下的传感器衰减系数,在移动导轨时难免对光源产生微小的相对位置改变。且在水体中拍摄所得光源图像时会发生折射现象,传感器像素点在空气中与水中所在的空间位置无法精确对应。

2.选取图像局部最亮像素点

此方法虽然可解决水体中的折射问题,但光源只是一个相对理想的漫反射光源,不可能精确地实现所有方向所有空间位置亮度完全统一,故导轨移动过程中产生的微小位置偏差,仍可能对像素点的记录存在较大影响。即使实现了准确对应问题,也存在另一弊端。当选取最亮的像素点作为测量对象时,有一定概率出现以下情况:

最亮像素点附近的像素点本应接收到的光子,因发生散射作用之后方向发生小角度偏移恰巧被最亮的像素点接收到,这也会在一定程度上使得衰减测量不准确,按照这种方法测出的衰减,多次测量可能会有较大的误差,且单像素点计算会严重受到图像传感器工作时产生的暗电流影响。

为了避免上述概率事件的发生,并将光子在水体的散射作用考虑在内,采取选用若干个较亮的像素点的方法进行衰减测量。

3.选取图像若干局部最亮像素点

选取数量合适的像素点,在获取到图像传感器记录的像素点数据之后,将整张照片的像素点数值按照三通道值的大小,分别进行排序,取三通道值数值最大的若干个点,进行图像传感器衰减系数的测量。

理论推导与实践总归存在误差,通过大量比较试验得出,选取18个像素点进行测量时,测得的图像传感器衰减系数最为稳定,且18个像素点在空间中对应的实际面积极小,对水体散射作用的削弱可以忽略不计,又避免了单一像素受周围像素点影响的偶然性,最终将选取像素点的数量定为18个。

三、对不可到达区域的图像传感器衰减系数进行推算。

为了扩展应用范围,从专业级衰减测量仪器处借鉴思路,并将其光感特性与图像传感器光感特性进行了对比分析,最终以光谱响应特性曲线入手,实现了不同距离图像传感器衰减系数的推算。

AC-S衰减仪与图像传感器的光感特性相差较大,不同的通道灵敏度之间同样存在差异。

AC-S衰减仪作为专业级精密衰减测量仪器,各方面技术参数经过了严格把控。光谱范围为400-730nm,带通为15nm每通道,测量范围:0.001-10m

其光学传感器的光谱性能虽然较为优异,但量子效率仍远不及100%,为了实现精确测量,AC-S仪器内置了光子补偿算法,将未实现转化并产生光电效应的部分光子进行补偿并加入计数,且光谱分辨率为4nm,波段划分极为精细,从而达成精确测量水体衰减系数的目的。

现今CMOS图像传感器的主要影响参数为光谱响应特性与量子效率,CMOS图像传感器成像器件的光谱响应范围是由光敏面的材料决定的,其本征硅的光谱响应范围在 400-1100nm纳米之间。

CMOS成像器件的光谱性能和量子效率,均取决于像敏单元——光电二极管。光电二极管的光谱响应特性与器件的量子效率,受器件表面光反射、光干涉、光透过表面层的透过率的差异及光电子复合等因素的影响,一般量子效率总低于100%。此外,由于器件影响会随波长而变,所以量子效率也随波长的变化而变化。

Nikon D5100的CMOS成像器件的量子效率在400nm-700nm波段平均只有60%左右。因其图像传感器的CMOS成像器件并未使用任何的光子补偿算法,即直接利用Raw原始数据进行衰减测量,相当于将图像传感器的CMOS成像器件上未产生光电效应的光子也算入水体中因发生吸收或散射而发生衰减的光子范畴内,这是图像传感器衰减系数数值与水体衰减系数数值存在较大差异的主要原因。

故发明应用的图像传感器衰减系数与严格意义上的水体衰减系数不同,不能反映水体的固有特性,只是在图像传感器CMOS成像器件光学特性下映射出的水体衰减特性,

不具有普适性,仅能应用在基于图像传感器衰减系数的水下真彩色图像色彩校正工作中。

本发明使用的Nikon D5100相机的图像传感器光谱响应特性曲线如图4所示。

观察归一化后的图像传感器光谱响应特性曲线发现,三通道在400nm-700nm以外波段的透射率近似于0,并且在400nm-700nm以内波段的透射率均大于0,因此,在推算不同距离图像传感器衰减系数时,只需研究400nm-700nm波段的透射情况即可。并模仿 AC-S的计算方法,分波段对图像传感器衰减系数进行插值处理。

当测量距离为d时,假设将图像传感器三通道的光谱响应曲线一共划分为n段,则有:

其中,A

其中,T为光谱响应曲线的透射率,λ

对于不同波段,水下衰减系数是不同的,观察AC-S测得的不同波段的水下衰减系数,发现对于不同水质环境,AC-S测得的不同波段水下衰减系数曲线趋势大致相似,因此采用AC-S测得的水下衰减系数曲线的特性趋势来拟合图像传感器三通道衰减系数曲线的特性趋势,对于400nm-700nm内的任意波段c

其中,c

接下来,考虑已知水下成像距离为d时的图像传感器衰减系数,将其应用于任意距离的衰减补偿时的情形,设已知特定距离d处的图像传感器三通道的衰减系数为

以d为基础,设想距离分别为d、2d、3d、αd时的情形,构造方程组:

为便于研究,假设α∈z,方程组中总共α个方程,观察等式左边的所有项,可以将等式左边所有项看作一个α*n的矩阵,矩阵同一列所有元素均构成一个公比为

将方程组(4)的α个方程依次相加,设其和为B

则有:

将方程组(4)的前(α-1)个方程依次相加,设其和为Bα-

两式作差,可得:

将方程(3)的结果代入(7)中,可得:

上式中的每个大括号中的分数项约去公因子可得:

式(10)中,c、d、T均为常数,d表示成像距离,T表示图像传感器任意通道透射率,λ表示波长,c

四、根据步骤3所得的特定距离的图像传感器衰减系数,进行图像色彩校正。

实现图像传感器衰减系数的推算,为不可达区域的水下退化图像的色彩校正工作提供了充分条件。无论在第一步中,Raw原始数据经过预处理得到的tiff,亦或是JPEG线性化处理得到的线性图像,均可在测得传感器衰减系数(包括步骤2中可测区域的衰减系数和步骤3中不可到达区域推算下的衰减系数)之后直接以比尔定律进行补偿。

假设待校正的原始图像像素值为A,在A的基础上对像素值进行补偿,设补偿之后的数值为B,根据比尔定律关系:

为迎合人眼视觉的需求,对补偿之后的数值需要再次进行伽马变换才能得到最终空气中照片的像素值,有:

其中e为自然常数2.71828,1为距离。至此,已完成水下退化图像的复原补偿,水下不可到达区域的色彩校正工作得以实现。

引入CIEDE2000色差评价体系对本发明的图像校正的结果进行分析:

在各大洋水体中,固有光学特性受经纬度高低和内含颗粒的成分、浓度影响。科研人员根据衰减系数量化水体的浑浊度,并将大洋水体分为以下四种类型:

(1)纯海水。纯海水是几乎完全由水分子组成的纯净水体,含有少量的常量、微量元素,如钠、钾、钙、硅离子等。理想的纯海水在自然界中是不存在的。

(2)一类水体。以纯海水为基准,额外含有一定质量的可溶无机盐。在清澈海水的50-200米深度范围内,分布有较多的浮游植物。但相对来说仍为清澈的水体,该种类型的水体往往分布在各大洋深处。

(3)二类水体。相较于纯海水与一类水体,二类水体含有更高比例的光合粒子,该类型水体中的衰减作用相较于纯海水与一类水体也更为强烈。

(4)三类水体。此类海水是水体标准模型中浑浊度最高的水体,含有大量可溶解颗粒与悬浮颗粒,还伴有浮游生物、有机物碎屑等有机粒子与泥沙、黄土等悬浮无机粒子的复合物。强烈的吸收与散射效应严重限制光束的传输,此类水体中图像的色彩校正工作可谓困难重重。

表1三类水体的典型系数值

此三类水体即为当今水下光学研究常用的三种水体,本文针对水下图像色彩校正的研究也将以此三类水体为依据。

经CIE技术委员会对现有色差公式和视觉评价数据的分析与测试,在2000年提出了一个新的色彩评价公式,并于2001年得到了国际照明委员会的推荐,称为CIE2000 色差公式,简称CIEDE2000,其数值越小,表明视觉色差越小。

CIEDE2000色差公式如下:

该色差模型较为精细,涉及到的参数较多,各项参数表达式如下:

X,Y,Z是目标物的三刺激值,X0,Y0,Z0是标准照明体照射在完全漫反射体上,反射到观察者视觉中的三刺激值。其中,f为分段函数:

L′=L

a′=(1+G)a

b′=b

G表示CIELAB调整因子。

ΔL=L′

ΔC′

R

该评价体系中的三类水体水下图像色彩校正结果如图6至图8所示,从整体分析,本发明可测区域色彩校正方法与距离推算方法均取得了优于现今其他算法的结果,相同成像距离下与理想图像的色差小于其他复原算法所得结果,表明从统计角度讲,处理后图像与理想图像的色调差异最小。这是因为本发明两种方法合理利用了Raw较高位深的优势,在像素点三通道值的复原方面取得了较为接近理想图像的结果。

定性分析,Hu等人算法在处理结果中出现了较为明显的光晕,严重影响了图像区域色调;Berman等人算法复原所得图像整体偏暗,因此在LAB空间中的差异与理想图像较大;Gong等人算法取得了较为理想的复原结果,并且在第三类水体中的远距离情形下,复原结果的色差小于本文的距离推算算法,这表明该方法的抗噪声能力强于本发明的距离推算算法;距离推算算法在近距离成像场景中表现与本文色彩校正算法均较为优异,表明发明可测区域色彩校正算法与本文不可测区域的距离推算算法在水下近距离真彩色退化图像的色彩校正方面有不错效果。当成像距离逐渐变远,水质逐渐变差的情况出现时,本发明色彩校正算法真彩色退化图像的色彩校正方面表现结果已不如Gong 等人算法,并且与本发明色彩校正算法距离曲线逐渐偏移,说明图像传感器衰减系数的推算模型在距离较远时,推算偏差开始越发明显。

进一步定量分析,发现一、二、三类水体中,距离推算算法与色彩校正算法曲线偏移程度开始逐渐明显的距离依次约为:4.6m、3.8m、3.2m。在第一类水体中,距离推算算法复原结果在实验全部成像距离下均优于Gong等人算法复原结果;在第二类水体中,距离推算算法复原结果在0-3.5m成像距离下优于Gong等人算法,而在3.5-5m距离下复原结果所得色差大于Gong等人算法;在第三类水体中,距离推算算法复原结果在 0-2.6m成像距离下优于Gong等人算法,而在2.6-5m距离下复原结果所得色差大于Gong 等人算法。

实施例2:

如图9所示,本发明还提供了一种基于衰减系数的水下图像色彩校正设备,设备包括至少一个处理器和至少一个存储器,同时还包括通信接口和内部总线;存储器中存储有基于衰减系数的水下图像色彩校正的执行程序代码等;处理器执行存储器存储的执行程序时,可以实现如实施例1所述的基于衰减系数的水下图像色彩校正方法。

其中内部总线可以是工业标准体系结构(Industry Standard Architecture,ISA) 总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(.XtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。其中存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

处理器包括一个或者多个通用处理器,通过调用存储器中的程序代码,用于运行各个功能模块。其中,通用处理器可以是能够处理电子指令的任何类型的设备,包括中央处理器(Central Processing Unit,CPU)、微处理器、微控制器、主处理器、控制器以及ASIC(Application Specific Integrated Circuit,专用集成电路)等等。处理器读取存储器中存储的程序代码,与通信接口配合执行本申请上述实施例中方法的全部步骤。

通信接口可以为有线接口(例如以太网接口),用于与其他计算节点或用户进行通信。当通信接口为有线接口时,通信接口可以采用TCP/IP之上的协议族,例如,RAAS协议、远程函数调用(Remote Function Call,RFC)协议、简单对象访问协议(Simple ObjectAccess Protocol,SOAP)协议、简单网络管理协议(Simple Network ManagementProtocol, SNMP)协议、公共对象请求代理体系结构(Common Object Request BrokerArchitecture, CORBA)协议以及分布式协议等等。

设备以通用计算设备的形式表现,可以被提供为终端、服务器或其它形态的设备。

实施例3:

本发明还提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行程序,所述计算机执行程序被处理器执行时用于实现如实施例1所述的基于衰减系数的水下图像色彩校正方法。

具体地,可以提供配有可读存储介质的系统、装置或设备,在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统、装置或设备的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下,从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘(如CD-ROM、CD-R、CD-RW、DVD-20ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带等。存储介质可以是通用或专用计算机能够存取的任何可用介质。

应理解,上述处理器可以是中央处理单元(英文:Central Processing Unit,简称: CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。

应理解存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称:ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于终端或服务器中。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。

以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

上述虽然对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

技术分类

06120114710653