一种快速及高精度的脊柱图像拼接方法

技术领域

本发明涉及医学图像处理技术，具体涉及一种快速及高精度的脊柱图像拼接方法。

背景技术

医学图像拼接(Medical Image Stitching)的目的是将多幅地分辨率的医学图像拼接为一幅高分辨的全景医学图像。脊柱图像拼接属于医学图像拼接的一种类型，其处理的对象是一系列低分辨率的脊柱图像，输出结果为一幅高分辨率的全景脊柱图像。现有的医学图像拼接方法在处理脊柱图像数据时，主要存在以下问题：(1)非常耗时，脊柱图像拼接的步骤非常耗时，现有的医学图像拼接方法无法快速地从一系列低分辨率的脊柱图像中计算出高分辨率的全景脊柱图像，严重影响了疾病诊断的时间效率；(2)质量低，现有的医学图像拼接方法或软件系统，所输出的全景脊柱图像质量较低，即容易出现畸变和模糊问题，甚至拼接失败，严重影响了病情诊断效果。

上述问题严重阻碍了脊柱图像拼接技术的发展和应用，同时也暴露出：在医学图像拼接领域，脊柱图像拼接问题受到了较少地关注。因此，人们亟需一种快速及高精度的脊柱图像拼接方法与系统，以便能够快速地从一些列低分辨率的脊柱图像中拼接出一幅高质量的全景脊柱图像。

目前，关于医学图像拼接的经典论文主要有：[1]《Vision-based IntraoperativeCone-Beam CT Stitching for Non-overlapping Volumes》，[2]《Reconstruction ofOrthographic Mosaics From Perspective X-Ray Images》。论文[1]于2015年，发表于医学图像处理领域的顶级会议MICCAI会议，主要解决CBCT图像拼接问题。论文[2]于2021年，发表于国际著名期刊“IEEE Transactions on Measurement Instruction”上，主要针对正交X光图像的拼接问题。因此，现有经典方法均不适用于脊柱图像拼接问题。

其他脊柱图像拼接的现有技术方案，例如专利CN112837225A公开一种立位全脊柱图像自动无缝拼接的方法及装置，该现有技术方案仅用于处理X光图像，比较依赖两幅图像之间的重合信息不能保证拼接的图像与真实目标物的几何一致性，使用古老的SIFT检测X光图像上的特征点，容易导致特征点聚集，且在地纹理区域难以检测出有效的特征点。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种快速及高精度的脊柱图像拼接方法，使得从一系列低分辨率的脊柱图像中快速地拼接出一幅高质量的全景脊柱图像变为可能。

技术方案：本发明的一种快速及高精度的脊柱图像拼接方法，包含以下步骤：

S1、对于给定的两幅脊柱图像I

其中，脊柱图像I

脊柱图像I

S2、根据特征描述子之间的相似性，计算脊柱图像I

S3、根据脊柱图像I

S4、根据脊柱图像I

S5、使用集束调整方法(Bundle Adjustment)，对脊柱图像I

进一步地，所述步骤S1的详细过程为：

步骤S1.1、学习一个基本特征检测子(Detector)，将该基础特征检测子用于提取简单图像的关键点，然后通过随机生成虚拟的三维物体形成数据集，这些三维物体的角点已知，也就是随机生成已知关键点真值的简单数据集，通过所得三维物体数据集去训练神经网络，因此，该基本特征检测子则具有提取基础关键点的能力；

步骤S1.2、提取任意图像的关键点：把未知关键点的图像做多种单应性变换，变换后的图像都通过基础特征检测子获得关键点，然后把关键点映射回原图上，再进行合并就得到了完整的关键点。

进一步地，所述步骤S2中计算脊柱图像I

步骤S2.1、根据特征描述子之间的相似性(即通过计算特征向量之间的欧式距离来获得相似性)，使用最近邻方法为脊柱图像I

步骤S2.2、分别计算特征描述子

步骤S2.3、计算候选匹配点之间的差异比值σ：

如果σ∈[0,1]，则认为

至此获得脊柱图像I

进一步地，所述述步骤S5的具体步骤如下：

步骤S5.1、为提高全景图像的质量，根据输入的初始全景脊柱图像Pano

(J

其中，

步骤S5.2、为求解最优参数向量P，采用LM算法对式(J

F(P+Δ)＝F(P)+JΔ

其中，

步骤S5.3、令P

F(P

此处，

其中，U、W、V表示矩阵；Δc

步骤S5.4、令A＝(U-WV

其中，Δc″

通过反代入法求解出Δm

有益效果：与现有技术相比，本发明具有以下优点：

(1)本发明能够一系列低分辨率的脊柱图像快速精确拼接出一幅高质量的全景脊柱图像；

(2)本发明准确地检测出脊柱图像上的局部特征点，避免了大量的错误特征点匹配所带来的时间开销，提高了脊柱图像拼接的效率，每秒钟能够处理200幅脊柱图像；

(3)本发明创造性地使用集束调整方法对初始全景脊柱图像中包含的匹配点和摄像机参数进行优化，保证了拼接后的全景脊柱图像与真实目标的几何一致性。

综上所述，本发明既能够解决现有医学图像拼接方法时间效率低问题，又能够拼接出高质量的全景脊柱图像，为全景脊柱图像拼接技术在医学图像处理与应用领域奠定了重要基础。

附图说明

图1为本发明的整体流程示意图。

图2为本发明实例中的脊柱图像。

图3为本发明实例中的全景脊柱图像。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本发明的一种快速及高精度的脊柱图像拼接方法，包含以下步骤：

S1、对于给定的两幅脊柱图像I

其中，脊柱图像I

脊柱图像I

S2、根据特征描述子之间的相似性，计算脊柱图像I

步骤S2.1、根据特征描述子之间的相似性(特征向量之间的欧式距离)，使用最近邻方法为脊柱图像I

步骤S2.2、分别计算特征描述子

步骤S2.3、计算候选匹配点之间的差异比值σ：

如果σ∈[0,1]，则认为

S3、根据脊柱图像I

S4、根据脊柱图像I

S5、使用集束调整方法(Bundle Adjustment)方法，对脊柱图像I

步骤S5.1、根据输入的初始全景脊柱图像Pano

(J

其中，

步骤S5.2、为求解最优参数向量P，采用LM算法对式(J

F(P+Δ)＝F(P)+JΔ

其中，

步骤S5.3、令P

F(P

进而获得如下所示的正态方程：

其中，u、W、V表示矩阵；Δc

步骤S5.4、令A＝(U-WV

通过反代入法求解出Δm

本发明技术方案所处理的脊柱医学图像既包括X光图像又包括MRI图像，本发明主要使用集束调整方法，对脊柱图像的局部特征点和摄像机参数进行优化，这样能够极大程度保证拼接的脊柱全景图像与真实目标的几何一致性和纹理的平滑性，再加上本发明采用了基于深度学习的局部特征检测方法，既能够保证特征点均匀分布，又能够保证在地纹理区域检测出有效的特征点；而且本发明能够拼接两幅及以上的脊柱图像拼接，使用更加灵活。

实施例

本实施例对于给定的两幅脊柱图像I

从上述实施例可以看出本发明对于给定的脊柱图像，首先，计算输入脊柱图像中的特征点和对应的特征描述子；其次，根据描述子之间的相似性计算特征匹配关系；再次，根据特征匹配关系计算出脊柱图像之间的几何变换矩阵；然后，根据几何变换关系，将输入的脊柱图像映射到相同的坐标空间内；最后，使用集束调整方法对特征点和脊柱图像对应的摄像机参数进行优化，即可获得精确的高分辨率脊柱图像。本发明充分利用了脊柱图像之间的几何变换关系，将脊柱图像拼接问题转化为坐标点的空间变换问题，同时使用集束优化方法对坐标点和摄像机参数进行调整，进而获得高精度的全景脊柱图像。

本发明应用场景包括：医学争端、医学康复、医学元宇宙、医学数据可视化、医疗仿真、医学图像的数据压缩、医学增强现实、医学虚拟现实、医学混合现实、基于医学图像的三维重建、基于全景图像的术中导航和精准医疗等。