一种医学图像配准方法、控制系统、电子设备和存储介质

技术领域

本发明涉及医学图像处理技术领域，特别是涉及一种医学图像配准方法、控制系统、电子设备和存储介质。

背景技术

医疗诊断过程中，病灶情形的判定依据大多来源于医疗影像设备拍摄的医学图像。由于拍摄环境或者设备本身存在噪声的缘故，采集到的图像对病灶及其周围环境的成像只能表达某一个角度(如病灶的轮廓、结构、纹理等)的状况，例如拍摄环境不稳定引起拍摄病灶影像上的亮度水平波动，造成图像中有斑点、条纹等噪声，掩盖了病灶的纹理细节，只能从轮廓这单一角度观测，故医生无法根据这些不完整的图像获取有效的病灶信息，无法进行诊断方案的制定。医学图像配准技术被提出进行多个设备或者同一设备不同时间、环境下的同一病灶目标图像的对齐，从多个角度对病灶信息进行互补式的描述，展示其完整信息，帮助对病情的准确诊断。医学图像配准是医学图像处理的基础步骤之一，在医学图像融合、病灶的智能诊断、图像引导手术等的过程中具有重要意义。

按照交互性，医学图像的配准装置可分为人工配准和自动配准；按照配准控制点的位置可分为基于外部控制点的配准和基于内部控制点的配准；按照配准过程，可分为基于特征的配准和基于灰度的配准。当前配准装置无法在保持高配准精度的同时保持高速度的实时性，例如完全的人工配准容易引起精度的不稳定，而自动配准虽然拥有稳定的配准精度但速度受限。基于特征的配准往往采用深度学习的方法而精度很高，但过于过程复杂导致实时性差，而基于灰度的配准因其简洁的处理方法具有较高的实时性，但配准精度无法满足临床需求。

目前，在对医学图像进行图像配准时需要对医学图像进行图像特征提取并获取多个具有图像特征信息(如颜色特征、纹理特征、形状特征、空间关系特征、几何特征、轮廓特征、区域特征等)的像素点，然后进一步对不同的医学图像上对应位置的像素点进行匹配，针对匹配成功的像素点进行空间叠加获取新的匹配图像即完成图像配准，故获取具有图像特征信息的像素点是进行图像配准并获取配准后的目标图像的关键，但现有技术中，由于对医学图像进行图像特征信息提取时会因图像处理算法的计算结果精度不高，难以确保待配准的医学图像上均能准确获取到具有图像特征信息的像素点，从而使得该医学图像无法进行图像配准，降低了图像配准的成功率和有效率，容易引起医生对真实病灶或诊断结果产生误判和干扰。

发明内容

(1)要解决的技术问题

本发明提供一种医学图像配准方法、控制系统、电子设备和存储介质，通过反复更新图像梯度函数的计算结果来提高整个计算结果的精度，从而可以避免因计算精度较低而导致具有图像特征信息的像素点被遗漏的问题，提高了图像配准的成功率和有效率，降低医生对真实病灶或诊断结果产生误判和干扰的风险。

(2)技术方案

第一方面，本发明的实施例提出了一种医学图像配准方法，所述医学图像包括白光图像和荧光图像，包括步骤S1：获取所述白光图像与所述荧光图像；步骤S2：对所述白光图像以及所述荧光图像分别进行图像特征提取，用于获取具有图像特征信息的像素点，包括步骤S21：选取所述白光图像和所述荧光图像上任一像素点，并规划所述像素点的中心像素和邻域像素；步骤S22：采用图像梯度函数计算所述中心像素与所述邻域像素的梯度差值的绝对值作为第一差值，以及计算各所述邻域像素之间的梯度差值的绝对值作为第二差值，并计算第一差值与第一阈值的第一比值以及第二差值与第二阈值的第二比值；步骤S23：比较第一比值与第一临界值的大小以及第二比值与第二临界值的大小；步骤S24：响应于第一比值大于第一临界值且第二比值小于等于第二临界值判断所述像素点具有图像特征信息，反之，则判断所述像素点不具有图像特征信息；步骤S3：响应于已获取具有图像特征信息的像素点，进入步骤S5；响应于未获取具有图像特征信息的像素点，进入步骤S4；步骤S4：对所述图像梯度函数的计算结果进行更新，并用更新后的计算结果与所述第一阈值以及所述第二阈值的比值重新比较对应的所述第一临界值和所述第二临界值直至获取具有图像特征信息的像素点，进入步骤S5；步骤S5：配准所述白光图像上具有图像特征信息的像素点与所述荧光图像上具有图像特征信息的像素点得到目标图像。

进一步地，所述对所述图像梯度函数的计算结果进行更新，并用更新后的计算结果与所述第一阈值以及所述第二阈值的比值重新比较对应的所述第一临界值和所述第二临界值直至获取具有图像特征信息的像素点，包括步骤S41：采用所述图像梯度函数计算所述中心像素与所述邻域像素的第一梯度值与将所述邻域像素作为所述中心像素时且将所述中心像素作为对应的所述邻域像素时的第二梯度值，同时计算所述第一梯度值的N次方与第二梯度值的N次方的差值绝对值作为第三差值；步骤S42：采用所述图像梯度函数计算任一两个所述邻域像素的第三梯度值与将两个所述邻域像素互换位置后的第四梯度值，同时计算所述第三梯度值的N次方与第三梯度值的N次方的差值绝对值作为第四差值；步骤S43：计算第三差值与第一阈值的第三比值以及第四差值与第二阈值的第四比值，并比较第三比值与第一临界值的大小以及第四比值与第二临界值的大小；步骤S44：响应于第三比值大于第一临界值且第四比值小于等于第二临界值判断所述像素点具有图像特征信息，则进入步骤S5；反之，则判断所述像素点不具有图像特征信息，则进入步骤S41，计算第一梯度值的N+1次方与第二梯度值的N+1次方的差值绝对值，直至判断所述像素点具有图像特征信息。

进一步地，还包括步骤S6：对所述目标图像的图像质量进行评估，并响应于所述目标图像的质量评估结果调节光源强度。

进一步地，所述对所述目标图像的图像质量进行评估，并响应于所述目标图像的质量评估结果调节光源强度，包括步骤S61：计算所述白光图像上所有像素点的灰度值的均值作为第一均值；和所述荧光图像上所有像素点的灰度值的均值作为第二均值；和所述目标图像上所有像素点的灰度值的均值作为第三均值；步骤S62：计算所述第一均值与所述第三均值的差值绝对值以及所述第二均值与所述第三均值的差值绝对值，并对所述第一均值与所述第三均值的绝对值差值以及所述第二均值与所述第三均值的差值绝对值求平均得到第四均值；步骤S63：计算所述第四均值与所述第一均值或所述第二均值的差值绝对值和所述第一均值或所述第二均值的比值为第五比值；步骤S64：比较第五比值与第三临界值的大小，并响应于第五比值大于第三临界值来调节光源强度。

进一步地，比较第五比值与第三临界值的大小，并响应于第五比值大于第三临界值来调节光源强度，还包括响应于第三均值与第一均值或第二均值的差值为正值时调高光源强度，且响应于第三均值与第一均值或第二均值的差值为负值时调低光源强度。

第二方面，本发明的实施例还提出了一种控制系统，用于实现第一方面的医学图像配准方法，包括第一摄像单元，用于获取所述白光图像；第二摄像单元，用于获取所述荧光图像；图像处理模块，与第一摄像单元以及所述第二摄像单元电连接，用于接收所述白光图像与所述荧光图像，并对所述白光图像与所述荧光图像进行特征提取以获取具有图像特征信息的像素点，以及对所述白光图像上具有图像特征信息的像素点与所述荧光图像上具有图像特征信息的像素点进行图像配准。

进一步地，所述图像处理模块包括图像数据接收模块，与所述第一摄像单元以及所述第二摄像单元电连接，用于接收所述白光图像和所述荧光图像；和图像特征提取模块，与所述图像数据接收模块电连接，用于对所述白光图像以及所述荧光图像进行图像特征提取并获取具有图像特征信息的像素点；和信息特征更新模块，与所述图像特征提取模块电连接用于响应于第二控制指令更新图像梯度函数的计算结果，并将所述计算结果传输至图像特征提取模块；和图像配准模块，与所述图像特征提取模块电连接，用于响应于第一控制指令对所述白光图像上具有图像特征信息的像素点与所述荧光图像上具有图像特征信息的像素点进行配准得到所述目标图像；以及FPGA芯片单元，与所述图像特征提取模块、所述图像特征更新模块以及所述图像配准模块电连接，用于根据所述图像特征提取模块获取具有图像特征信息的像素点生成第一控制指令，以及根据所述图像特征提取模块未获取具有图像特征信息的像素点生成第二控制指令。

进一步地，还包括光源模块，与所述第一摄像单元以及所述第二摄像单元电连接，用于向所述第一摄像单元以及所述第二摄像单元提供光源能量，所述图像处理模块还包括与所述图像配准模块以及所述FPGA芯片单元电连接的所述图像质量评估模块，用于评估所述目标图像的图像质量，所述FPGA芯片单元基于所述目标图像的图像质量评估结果生成用于调节所述光源模块的光源强度的第三控制指令。

第三方面，本发明的实施例还提出了一种电子设备，包括处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现第一方面所述的医学图像配准方法。

第四方面，本发明的实施例还提出了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现第一方面所述的医学图像配准方法。

(3)有益效果

综上，本发明通过对医学图像上不具有图像特征信息的像素点进行特征更新来获取具有图像特征信息的像素点，能够确保医学图像上的所有像素点均具备图像特征信，提高了图像配准的成功率和有效率，降低医生对真实病灶或诊断结果产生误判和干扰的风险。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明医学图像配准方法的控制流程图。

图2是本发明具有图像特征信息的像素点获取方法的控制流程图。

图3是本发明医学图像配准方法的另一控制流程图。

图4是本发明信息特征更新方法的控制流程图

图5是本发明调节光源强度方法的控制流程图。

图6是本发明像素点的结构分布图。

图7是本发明的控制系统的结构原理图。

图8是本发明的图像处理模块的结构原理图。

图9是本发明的控制系统的另一结构原理图。

图10是本发明图像配准过程示意图。

图中：

10-第一摄像单元；20-第二摄像单元；30-图像处理模块；40-图像数据接收模块；50-图像特征提取模块；60-信息特征更新模块；70-图像配准模块；80-FPGA芯片单元；90-图像质量评估模块；100-光源模块。

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本发明的原理，但不能用来限制本发明的范围，即本发明不限于所描述的实施例，在不脱离本发明的精神的前提下覆盖了零件、部件和连接方式的任何修改、替换和改进。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参照附图并结合实施例来详细说明本申请。

如图1和图2所示，第一方面，本发明涉及一种医学图像配准方法，该医学图像包括白光图像和荧光图像，该配准方法包括如下步骤：步骤S1：获取白光图像与荧光图像；步骤S2：对白光图像以及荧光图像分别进行图像特征提取，用于获取具有图像特征信息的像素点，该步骤S2具体包括步骤S21：选取白光图像和荧光图像上任一像素点，并规划该像素点的中心像素和邻域像素，如图6所示，以像素点的8×8像素矩阵为例，规划其中心像素为图像正中心的4个像素，其余60个像素均为邻域像素；步骤S22：采用图像梯度函数计算该中心像素与该邻域像素的梯度差值的绝对值作为第一差值，以及计算各邻域像素之间的梯度差值的绝对值作为第二差值，并计算第一差值与第一阈值的第一比值以及第二差值与第二阈值的第二比值，该第一差值为采用图像梯度函数计算该中心像素与该邻域像素的第一梯度值与计算将该邻域像素作为中心像素时且该中心像素作为对应的邻域像素时的第二梯度值的梯度差值的绝对值，例如a为中心像素，b为邻域像素，即采用图像梯度函数计算中心像素a与邻域像素b的第一梯度值记为ab，将中心像素a与邻域像素b的位置互换后再采用图像梯度函数计算中心像素b与邻域像素a的第二梯度值记为ba，故第一差值为ab-ba的绝对值；同理，该第二差值为采用图像梯度函数计算两个邻域像素的第三梯度值与计算将该两个邻域像素互换位置时的第四梯度值的梯度差值的绝对值，例如c为第一邻域像素，d为第二邻域像素，即采用图像梯度函数计算第一邻域像素c与第二邻域像素d的梯度值记为cd，将第一邻域像素c与第二邻域像素d的位置互换后再采用图像梯度函数计算第一邻域像素d与第二邻域像素c的梯度值记为dc，故第二差值为cd-dc的绝对值。该第一阈值选取为采用图像梯度函数计算中心像素a与邻域像素b的梯度值ab或者将中心像素a与邻域像素b的位置互换后再采用图像梯度函数计算中心像素b与邻域像素a的梯度值ba的较大者，该第二阈值选取为采用图像梯度函数计算第一邻域像素c与第二邻域像素d的梯度值cd或将第一邻域像素c与第二邻域像素d的位置互换后再采用图像梯度函数计算第一邻域像素d与第二邻域像素c的梯度值dc的较小者；步骤S23：比较第一比值与第一临界值的大小以及第二比值与第二临界值的大小，该第一临界值选取为10％，该第二临界值选取为2％；步骤S24：响应于第一比值大于第一临界值且第二比值小于等于第二临界值判断该像素点具有图像特征信息，反之，则判断该像素点不具有图像特征信息；步骤S3：响应于已获取具有图像特征信息的像素点，进入步骤S5；响应于未获取具有图像特征信息的像素点，进入步骤S4；步骤S4：对该图像梯度函数的计算结果进行更新，并用更新后的计算结果与上述第一阈值以及上述第二阈值的比值重新比较对应的上述第一临界值和上述第二临界值直至获取具有图像特征信息的像素点，进入步骤S5；步骤S5：配准该白光图像上具有图像特征信息的像素点与该荧光图像上具有图像特征信息的像素点得到目标图像，如图10所示，具体而言，该白光图像上具有图像特征信息的像素点与荧光图像上具有图像特征信息的像素点在空间位置上呈相互对应的关系及两者的坐标位置点相同。

本发明通过对该图像梯度函数的计算结果进行反复更新，并利用更新后的结果重新比较对应的第一临界值和第二临界值直至识别出该医学图像上初始被判断不具有图像特征信息的像素点是具有图像特征信息的像素点，能够确保医学图像上的所有像素点均具备图像特征信，利用反复更新的计算结果来提高其精度，从而可以避免因计算精度较低而导致具有图像特征信息的像素点被遗漏的问题，提高了图像配准的成功率和有效率，降低医生对真实病灶或诊断结果产生误判和干扰的风险。

作为一种优选实施方式，如图4所示，对图像梯度函数的计算结果进行更新，并用更新后的计算结果与该第一阈值以及该第二阈值的比值重新比较对应的该第一临界值和该第二临界值直至获取具有图像特征信息的像素点，包括步骤S41：采用图像梯度函数计算该中心像素与该邻域像素的第一梯度值与将该邻域像素作为中心像素时且将该中心像素作为对应的邻域像素时的第二梯度值，同时计算该第一梯度值的N次方与第二梯度值的N次方的差值绝对值作为第三差值；步骤S42：采用图像梯度函数计算任一两个邻域像素的第三梯度值与将两个邻域像素互换位置后的第四梯度值，同时计算第三梯度值的N次方与第三梯度值的N次方的差值绝对值作为第四差值，该N取大于等于2的自然数；步骤S43：计算第三差值与第一阈值的第三比值以及第四差值与第二阈值的第四比值，并比较第三比值与第一临界值的大小以及第四比值与第二临界值的大小；步骤S44：响应于第三比值大于第一临界值且第四比值小于等于第二临界值判断该像素点具有图像特征信息，则进入步骤S5；反之，则判断该像素点不具有图像特征信息，则进入步骤S41，计算第一梯度值的N+1次方与第二梯度值的N+1次方的差值绝对值，循环步骤S41至S44，直至判断该像素点具有图像特征信息。通过采用N次幂方对中心像素与邻域像素的梯度值以及邻域像素与邻域像素的梯度值进行更新，降低了图像梯度函数的运算复杂性，加速了计算结果的输出，提升了具有图像特征信息的像素点的获取速率。

作为另一种优选实施方式，如图3所示，该医学图像配准方法还包括步骤S6：对该目标图像的图像质量进行评估，并响应于该目标图像的质量评估结果调节光源强度。通过调节光源强度来调节白光图像与荧光图像的光源强度，从而满足目标图像所需的质量要求。

作为其他可选实施方式。

优选地，如图5所示，对该目标图像的图像质量进行评估，并响应于该目标图像的质量评估结果调节光源强度，包括步骤S61：计算白光图像上所有像素点的灰度值的均值作为第一均值；和荧光图像上所有像素点的灰度值的均值作为第二均值；和目标图像上所有像素点的灰度值的均值作为第三均值；步骤S62：计算该第一均值与该第三均值的差值绝对值以及该第二均值与该第三均值的差值绝对值，并对该第一均值与该第三均值的绝对值差值以及该第二均值与该第三均值的差值绝对值求平均得到第四均值；步骤S63：计算该第四均值与该第一均值或该第二均值的差值绝对值和该第一均值或该第二均值的比值为第五比值，即计算第四均值与第一均值的差值绝对值与第一均值的比值以及计算第四均值与第二均值的差值绝对值与第二均值的比值均为第五比值；步骤S64：比较第五比值与第三临界值的大小，并响应于第五比值大于第三临界值来调节光源强度，即第四均值与第一均值的差值绝对值与第一均值的比值大于第三临界值来调节白光光源强度，且第四均值与第二均值的差值绝对值与第二均值的比值大于第三临界值来调节荧光光源强度，若第五比值小于等于第三临界值，不调节光源强度，直接输出该目标图像、白光图像和荧光图像，该第三临界值选取为10％。

优选地，如图5所示，比较第五比值与第三临界值的大小，并响应于第五比值大于第三临界值来调节光源强度的方法，还包括响应于第三均值与第一均值或第二均值的差值为正值时调高光源强度，即第三均值与第一均值差值为正值时调高白光光源强度或第三均值与第二均值差值为正值时调高荧光光源强度，且响应于第三均值与第一均值或第二均值的差值为负值时调低光源强度，即第三均值与第一均值差值为负值时调低白光光源强度或第三均值与第二均值差值为负值时调低荧光光源强度。

第二方面，如图7所示，本发明涉及一种控制系统，用于实现第一方面的医学图像配准方法，该控制系统包括用于获取该白光图像第一摄像单元10；和用于获取该荧光图像的第二摄像单元20；以及与第一摄像单元10以及第二摄像单元20电连接的图像处理模块30，用于接收白光图像与荧光图像，并对白光图像与荧光图像进行特征提取以获取具有图像特征信息的像素点，以及对白光图像上具有图像特征信息的像素点与荧光图像上具有图像特征信息的像素点进行图像配准。

优选地，如图8所示，该图像处理模块30包括图像数据接收模块40，与该第一摄像单元10以及第二摄像单元20电连接，用于接收白光图像和荧光图像；和图像特征提取模块50，与图像数据接收模块40电连接，用于对白光图像以及荧光图像进行图像特征提取并获取具有图像特征信息的像素点；和信息特征更新模块60，与图像特征提取模块50电连接用于响应于第二控制指令更新图像梯度函数的计算结果，并将计算结果传输至图像特征提取模块50；和图像配准模块70，与图像特征提取模块50电连接，用于响应于第一控制指令对白光图像上具有图像特征信息的像素点与荧光图像上具有图像特征信息的像素点进行配准得到该目标图像；以及FPGA芯片单元80，与图像特征提取模块50、图像特征更新模块60以及图像配准模块70电连接，用于根据图像特征提取模块50获取具有图像特征信息的像素点生成第一控制指令，以及根据所像特征提取模块50未获取具有图像特征信息的像素点生成第二控制指令。

优选地，如图9所示，该控制系统还包括光源模块100，与第一摄像单元10以及第二摄像单元20电连接，用于向第一摄像单元10以及第二摄像单元20提供光源能量，图像处理模块30还包括与图像配准模块70以及FPGA芯片单元80电连接的图像质量评估模块90，用于评估该目标图像的图像质量，该FPGA芯片单元80基于该目标图像的图像质量评估结果生成用于调节光源模块100的光源强度的第三控制指令，用于调节光源模块100向第一摄像单元10以及第二摄像单元20输出光源能量大小即光源强度。

第三方面，本发明还提供一种电子设备，包括处理器，和用于存储处理器可执行指令的存储器，其中，该处理器被配置为在执行该存储器存储的指令时，实现第一方面的医学图像配准方法。

第四方面，本发明还提供一种非易失性计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现第一方面的医学图像配准方法。

需要明确的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本发明并不局限于上文所描述并在图中示出的特定步骤和结构。并且，为了简明起见，这里省略对已知方法技术的详细描述。

以上所述仅为本申请的实施例而已，并不限制于本申请。在不脱离本发明的范围的情况下对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围内。