基于局部主方向多尺度的多模态内镜图像配准融合方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于局部主方向多尺度的多模态内镜图像配准融合方法。

背景技术

目前临床食管病变诊断运用较为广泛的内镜模态的是：白光内镜(white lightendoscopy，WLE)和窄带成像内镜(narrow-band imaging，NBI)。不同模态在不同类别的病灶上表现出各自的优势。WLE下的图像还原了食管内壁的真实颜色，符合人眼的视觉感知，然而大多数早期的食管病变在WLE下表现不明显，且WLE图像存在一定程度的局部过曝和镜面反射区域，严重情况下会覆盖病灶区域导致误诊。NBI是一种新兴的内镜技术，它通过一种特殊的窄带滤波片，滤除可见光中的宽带光波，仅留下窄带蓝光(440～460nm)和绿光(540～560nm)光波。由于其特殊的滤波特性，在NBI下，食管内壁的毛细血管和静脉等组织结构呈现出更高的对比度。然而由于该模态下仅保留了蓝绿光波，使得NBI图像整体偏暗，往往会丢失远处的细节信息。

多模态医学影像设备为患者提供了不同纹理细节的图像，不同数据间既存在冗余信息，又充斥着大量的互补信息。图像融合技术可以将多种数据的优势结合在一起，提取其中清晰、互补的信息加以整合，有效弥补单一模态中存在的信息缺失。与单一模态的图像相比，融合图像能更全面的反映组织病变、结构变化和功能异常情况，使图像的可靠性大幅提升。现有图像融合技术对于内窥镜单模态光学图像融合过程中在色彩融合中存在细节不足,导致融合图像存在失真,影响诊断精度。

发明内容

为克服现有技术存在的技术缺陷，本发明公开了一种基于局部主方向多尺度的多模态内镜图像配准融合方法。

本发明所述基于局部主方向多尺度的多模态内镜图像配准融合方法，包括如下步骤：

步骤S1.获取白光内镜图像和窄带光图像,构建多模态图像数据集；

步骤S2.对步骤S1获取的多模态图像数据进行筛选和修复；

步骤S3.对多模态图像数据进行匹配,具体为:

步骤S3.1.利用Harris角点检测,找出多模态图像数据关键点；

步骤S3.2.对各个关键点,采用局部主方向图反映图像在每个部分区域的局部主方向值G

其中G

W

步骤S3.3.构建广义的梯度位置方向直方图；

以每个关键点作为特征点，将每个特征点附近区域划分为半径分别是R

且R

将每个子区域

采描述符D对子区域进行描述：

其中

步骤S3.4.多尺度融合，得到预融合图像；

采用高斯核构建高斯金字塔，将图像的尺度空间L(x,y,σ)定义为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,σ)的卷积运算，即：

L(x,y,σ)＝G(x,y,σ)·I(x,y)(12)

其中二维高斯函数G(x,y,σ)表达为：

其中σ是尺度空间因子；

将原图进行m次下采样，获得m个不同分辨率的图像，作为高斯金字塔每个八度里的底层；再将每个底层进行n次高斯卷积运算，得到n层，以此构建由m个八度组成的高斯金字塔，每个八度包含n层。

在建立了图像的尺度空间后，对于每个关键点，通过LMOM算法计算出每个关键点的局部信息，利用梯度位置方向直方图统计各区域内的局部主方向值G

对于构成多模态图像数据集的不同图像I

进行优化和匹配，最终不同图像关键点的匹配集合记为匹配结果M

步骤S4.图像融合

步骤S4.1.图像预融合

定义k＝f-I

和/>

对(19)式应用分裂Bregman方法求解，得到k′的最小值，带入公式(20)，得到预融合图像

f＝k′+I

其中I

步骤S4.2多层图像分解

I为输入图像，

其中

S4.3融合图像基础层和细节层

使用滑动窗口，分别将配准后的窄带光图像I

分别计算白光内镜图像和预融合图像以及窄带光图像和预融合图像对应部分之间的结构相似分数SSIM，结构相似分数的计算公式为：

其中m表示多模态图像，f表示预融合图像，μ

最后将图像所有部分的结构相似分数合并为得分矩阵，分别表示为WLE结构相似得分矩阵Score

将两个得分矩阵整合后转换为权重图，计算公式如下：

ω＝0.5+Score

采用L2范数对细节层进行优化，细节层D

其中

令

D′＝argmin

最后将等式31右边的导数设为0，得到最终融合细节层D的全局最优解：

D＝{[2N

其中，E为单位矩阵，最终融合图像的细节层和基础层，最终融合图像F

为多层图像分解得到的基础层，r为多层分解的分解次数，33式中的/>

优选的，所述步骤S2中对白光内镜图像和窄带光图像,在镜面反射抑制部分采用非线性滤波和彩色图像阈值法检测并修复图像中的镜面反射区域。

优选的，所述步骤3.1具体为：

Harris矩阵公式为：

其中G

每个像素的Harris响应值计算方法如下：

det(M)和tr(M)分别表示Harris矩阵M的行列式和迹；

所有Harris响应值中的局部区域最大值点为检测出来的Harris关键点。

优选的，所述步骤3.4中优化和匹配的具体方法为：

分别取图像I

将各个八度内所有层的匹配结果进行结合，进行去离群值优化，得到每个八度的匹配结果，最后将所有八度的匹配结果进行结合，进行去异常优化，得到最终的匹配结果M

本发明的有益效果是：

1.综合利用多模态图像数据具有的各自呈现优势并相互弥补各自的缺陷。WLE对于图像远端的亮度细节更清晰，但大多数早期的食管病变在WLE下表现不明显，误诊率高；NBI是一种新兴的内镜技术，它通过一种窄带滤波片滤过宽带光波，仅留下窄带蓝光(440～460nm)和绿光(540～560nm)光波，可以提高毛细血管、静脉等组织结构的可见度，融合多模态图像还可以拓宽数据所包含信息的覆盖范围。

2.将多种成像方式的图像进行配准和融合后形成一张新的图像，具有较强的通用性，可以省去模态切换的麻烦。

附图说明

图1为本发明所述的多模态食管图像增强融合方法的一个具体实施方式流程图；

图2为本发明所述广义的梯度位置和方向直方图的一个具体实施方式示意图；

图3为本发明所述高斯金字塔的一个具体实施方式结构图；

图4为本发明所述图像融合的一个具体实施方式整体流程图；

图5为本发明所述MDLatLRR图像分解一个具体实施方式的流程图；

图6展示了一个本发明图像配准融合的具体结果图，其中(a)部分为WLE经过步骤S2处理后的图像，(b)部分为NBI经过步骤S2处理后的图像，(c)部分为配准结果的棋盘格展示效果，(d)部分为(c)部分的细节展示，(e)部分为最后的融合结果。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步的详细说明。

实施例1

S1.在食管内可疑区域，首先采用传统白光内镜获取食管内壁在可见光下的图像；再切换到窄带光，由于其滤光特性，获取图像的黏膜表面结构和微血管系统纹理较为明显。

数据采集完毕后，将传统白光内镜图像和窄带光图像构建多模态图像数据集。

S2.将S1中获取到的多模态图像数据，通过数据清洗去除掉低质量数据；在镜面反射抑制部分采用非线性滤波和彩色图像阈值法检测并修复内镜图像中的镜面反射区域。

其中非线性滤波和彩色图像阈值法的具体实施方式记载在以下文献中，

Arnold M,Ghosh A,Ameling S,Lacey G.《Automatic segmentation andinpainting of specular highlights for endoscopic imaging》.EURASIP Journal onImage and Video Processing.2010；2010:1-12.

S3.多模态图像匹配

S3.1 Harris角点检测

Harris角点检测的原理是利用移动局部窗口在图像中计算灰度变化值，根据其变化差值来判断该区域是关键点、边缘还是平滑区域。如果窗口在一个区域的任何方向上滑动都有较大的灰度值变化，则判定该区域存在关键点。Harris矩阵公式为：

其中G

每个像素的Harris响应值计算方法如下：

det(M)和tr(M)分别表示M的行列式和迹，M为(1)式求得的Harris矩阵。

所有Harris响应值中的局部区域最大值点为检测出来的Harris关键点,局部区域最大值是矩阵中值比相邻元素都要大的点。

S3.2.构建局部主方向图

平均梯度加权(ASG)是一种梯度加权方法，该方法可以避免梯度反转的问题。避免在遇到一个梯度岭时，由于梯度方向相反而被抵消，因为实际上它们应该是相互增强的。

图像I的梯度大小G

采用平均梯度加权得到一个沿x和y方向旋转二倍角的局部加权平方梯度，分别表示为x方向局部加权平方梯度

其中，W

由于/>

与经典的梯度算子比，平均梯度加权更加具有鲁棒性和稳定性，可以避免梯度反转带来的问题。

采用局部主方向图(LMOM)函数反映图像在每个部分区域的局部主方向值G

δ为方差。

S3.3.构建广义的梯度位置方向直方图(GGLOH)

广义的梯度位置方向直方图(Generalized Gradient Location OrientationHistogram；GGLOH)。是现有尺度不变特征变换(SIFT)的延伸，增强了鲁棒性和独立性，在关键点周围建立三种半径的圆形区域。

本发明采用广义的GLOH，如图2(a)所示。将一个特征点的局部区域划分为半径分别是R

为了使每个区域中的信息都被合理的使用，每个子区域的像素数量应该大致相同，每个

将每个子区域

对于每个关键点，其位置上的局部主方向值是该点的主方向，设为θ

由于在多模态图像对中，对应关键点的主方向可能指向相反的方向，为了实现图像强度的部分不变性，将梯度位置方向直方图的方向约束到(0,π)，超过(0,π)的

为了使描述符对两个多模态图像中相反的方向有相同的描述，采用一个线性组合的描述符D对该子区域进行描述：

其中

S3.4.多尺度融合，得到预融合图像；

采用多尺度特征提取与匹配策略对多模态图像进行融合。尺度空间的作用在于它可以模拟人眼在不同距离看到的图像(近清晰，远模糊)，越远尺度越大，以便更好的找出图像的本质特征。

采用高斯核构建高斯金字塔，将图像的尺度空间L(x,y,σ)定义为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,σ)的卷积运算，即：

L(x,y,σ)＝G(x,y,σ)·I(x,y)(12)

其中二维高斯函数G(x,y,σ)表达为：

其中σ是尺度空间因子，决定了图像的模糊程度。σ值大的大尺度下侧重于表现图像的概貌信息，σ值小的小尺度下侧重表现图像的细节信息。

首先将原图进行m次下采样，获得m个不同分辨率的图像，作为高斯金字塔每个八度(Octave)里的底层。再将每个底层进行n次高斯卷积运算，得到n层。以此构建由m个八度组成的高斯金字塔，每个八度包含n层。

构建的高斯金字塔结构如图3所示。

在建立了图像的尺度空间后，对于每个Harris关键点，通过LMOM算法计算出每个关键点的局部信息，利用梯度位置方向直方图统计各区域内的局部主方向值G

对于多模态图像I

S4.图像融合

图像融合的整体流程如图4所示：

S4.1.图像预融合

对于NBI图像，由于其滤波特性，在毛细血管和静脉等组织结构上有优异的对比度。WLE图像相较而言在组织结构上的对比度表现较弱，且包含更多无用信息，但其更符合人眼的视觉感知。因此在预融合部分引入NBI图像的全局对比度以及NBI和WLE图像的梯度信息。具体来说，预融合可以看做一个优化问题：由对比度保真项和梯度稀疏约束项构成。

对比度保真项γ

其中f表示预融合图像，I

由于希望融合后的图像只是保留了NBI图像的目标背景对比度，而不是和NBI图像的每个像素值一样，也就是(f-I

对于f的梯度分布，需要将NBI和WLE的梯度都考虑进去，因此▽f是倾向于稀疏的，在

梯度稀疏约束γ

综合对比度保真项γ

其中ρ是平衡γ

令k＝f-I

考虑多模态图像在x和y轴的梯度，

和/>

应用(19)式分裂布雷格曼(Bregman)方法求解，得到优化值k′的最小值,可得到最终的f：

f＝k′+I

S4.2 MDLatLRR图像分解

基于潜在低秩表示的多层次图像分解方法(MDLatLRR)将源图像分解为细节部分和基本部分，其框架如图5所示：

其中DlatLRR为单层图像分解，对图像的基础层进行多次单层图像分解，得到多层图像分解的基础层

如图5所示，I为输入图像，

其中

Liu G,Yan S,editors.Latent low-rank representation for subspacesegmentation and feature extraction.2011international conference on computervision；2011:IEEE.，

通过(25)和(26)式，实现多层分解。

S4.3融合图像基础层和细节层

将预融合图像经过分解得到的基础层

使用滑动窗口，分别将WLE、NBI和预融合图像分解成多个图像块，分别计算WLE和预融合图像以及NBI和预融合图像对应部分之间的SSIM，用于相似性评价。结构相似分数的计算公式为：

其中m表示多模态图像(WLE或NBI)，f表示预融合图像，μ

结构相似分数SSIM的取值范围为[0,1]，越大表示两个图像局部位置结构越相似。

最后将所有部分的结构相似分数合并为一个得分矩阵，表示为WLE结构相似得分矩阵Score

将两个得分矩阵整合后转换为权重图，计算公式如下：

ω＝0.5+Score

权重图旨在平衡多模态图像之间的细节信息。当Score

采用L2范数对细节层进行优化，旨在使融合后的图像保留多模态图像中最有效的部分，式子如下：

其中

以上函数可以看作为求解等式的最小值，令

D′＝argmin

最后将等式31右边的导数设为0，得到最终融合细节层D的全局最优解：

D＝{[2N

其中，E为单位矩阵，最终融合图像的细节层和基础层，最终融合图像F

为多层图像分解输出的基础层，r为多层分解的分解次数，32式中的/>

前文所述的为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。