相似度确定方法和相似度确定装置

技术领域

本公开涉及医学图像技术领域，尤其涉及相似度确定方法、相似度确定装置、电子设备和计算机可读存储介质。

背景技术

图像的相似性测量在计算机视觉领域中是一个非常重要的基础问题，常用的图像相似性计算算法主要包括以下两种：

直方图匹配：对两幅图像分别计算直方图，以两个直方图的归一化相关系数(包括巴氏距离、直方图相交距离等)作为相似度。这类相似性的度量基于简单的数学向量上的差异，可忽略图像分辨率的差异进行相似度计算，且计算量小。

特征点提取：提取图像中具有旋转不变形的特征(如SIFT)，并以特征匹配程度作为相似度。其相似性的计算与图像大小和旋转无关，光线、噪声、视角的转换对其计算结果的影响也极小。

然而，对于医学图像而言，大多数为灰度图，不同的图像灰度信息相似，但图像内细节的空间位置并不同。但是基于直方图匹配的方式，比较的仅仅是图像像素灰度值的分布概率，无法体现出图像内部信息的变化，所以并不能准确地确定医学图像之间的相似度。

并且，需要比较相似性的医学图像，可以通过多种成像方式得到，而针对不同成像方式所得到图像，能够提取到的特征信息会有所不同，若采用特征点提取方式，即使实际上相似度很高的两幅图像，也会因为特征信息不同而导致确定相似度较低，而且特征点数目和选取特征点方式也对会相似度的计算产生影响，所以也不能准确地确定医学图像之间的相似度。

发明内容

本公开提供相似度确定方法、相似度确定装置、电子设备和计算机可读存储介质，以解决相关技术中的不足。

根据本公开实施例的第一方面，提出一种相似度确定方法，包括：

获取原始模板图像和原始待测图像；

确定所述原始模板图像和所述原始待测图像中的医学图像边缘，根据所述原始模板图像中的医学图像边缘从所述原始模板图像中提取模板图像，根据所述原始待测图像中的医学图像边缘从所述原始待测图像中提取待测图像；

根据所述模板图像中像素的邻域灰度均值在所述模板图像中确定模板连通区域，根据所述待测图像中像素的邻域灰度均值在所述待测图像中确定待测连通区域；

获取所述模板连通区域的模板轮廓图像和所述待测连通区域的待测轮廓图像；

计算所述模板轮廓图像和所述待测轮廓图像的相似度，以作为所述原始模板图像和所述原始待测图像的相似度。

可选地，所述计算所述模板轮廓图像和所述待测轮廓图像的相似度包括：

对所述模板轮廓图像进行分块得到多个模板块，对所述待测轮廓图像进行分块得到多个待测块；

在相对应的模板块和待测块中，以模板块中每个轮廓像素分别作为中心确定封闭区域，在多个所述封闭区域中，确定轮廓与所述待测块中的轮廓相匹配的封闭区域的数目，循环该步骤，直至针对全部相对应的模板块和待测块确定所述数目；

根据所述数目之和与所述模板轮廓图中轮廓像素的数目的关系，确定所述模板轮廓图像和所述待测轮廓图像的相似度。

可选地，在确定所述原始模板图像和所述原始待测图像中的医学图像边缘之前，所述方法还包括：

对所述原始模板图像和所述原始待测图像进行平滑滤波。

可选地，在获取所述模板连通区域的模板轮廓图像和所述待测连通区域的待测轮廓图像之前，所述方法还包括：

在所述模板连通区域和所述待测连通区域中删除面积在面积阈值范围之外的连通区域。

可选地，在获取所述模板连通区域的模板轮廓图像和所述待测连通区域的待测轮廓图像之前，所述方法还包括：

对所述模板连通区域和所述待测连通区域的边缘进行平滑处理。

根据本公开实施例的第二方面，提出一种相似度确定装置，包括：

图像获取模块，用于获取原始模板图像和原始待测图像；

图像提取模块，用于确定所述原始模板图像和所述原始待测图像中的医学图像边缘，根据所述原始模板图像中的医学图像边缘从所述原始模板图像中提取模板图像，根据所述原始待测图像中的医学图像边缘从所述原始待测图像中提取待测图像；

连通确定模块，用于根据所述模板图像中像素的邻域灰度均值在所述模板图像中确定模板连通区域，根据所述待测图像中像素的邻域灰度均值在所述待测图像中确定待测连通区域；

轮廓获取模块，用于获取所述模板连通区域的模板轮廓图像和所述待测连通区域的待测轮廓图像；

相似计算模块，用于计算所述模板轮廓图像和所述待测轮廓图像的相似度，以作为所述原始模板图像和所述原始待测图像的相似度。

可选地，所述相似计算模块包括：

分块子模块，用于对所述模板轮廓图像进行分块得到多个模板块，对所述待测轮廓图像进行分块得到多个待测块；

数目确定子模块，用于在相对应的模板块和待测块中，以模板块中每个轮廓像素分别作为中心确定封闭区域，在多个所述封闭区域中，确定轮廓与所述待测块中的轮廓相匹配的封闭区域的数目，循环该步骤，直至针对全部相对应的模板块和待测块确定所述数目；

相似度确定子模块，用于根据所述数目之和与所述模板轮廓图中轮廓像素的数目的关系，确定所述模板轮廓图像和所述待测轮廓图像的相似度。

可选地，所述装置还包括：

平滑滤波模块，用于对所述原始模板图像和所述原始待测图像进行平滑滤波。

可选地，所述装置还包括：

连通删除模块，用于在所述模板连通区域和所述待测连通区域中删除面积在面积阈值范围之外的连通区域。

可选地，所述装置还包括：

平滑处理模块，用于对所述模板连通区域和所述待测连通区域的边缘进行平滑处理。

根据本公开实施例的第三方面，提出一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现上述任一实施例所述的方法。

根据本公开实施例的第四方面，提出一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例所述方法中的步骤。

由上述实施例可知，本公开可以过滤掉医学图像中需要观察部分以外的信息，将后续对于图像的分析和比较限定在图像的有用信息内，突出轮廓提取的主体，减少后续轮廓搜素的范围。

相对于相关技术中的直方图匹配方式，本实施例基于轮廓图像确定相似度，而轮廓图像可以相对准确地体现原始图像内部的细节，所以有利于准确确定医学图像之间的相似度；相对于相关技术中的特征点提取方式，本实施例针对原始模板图像和原始待测图像，是基于轮廓确定相似度，而轮廓并不会因为原始模板图像和原始待测图像的类型不同而存在较大差异，因此有利于准确确定医学图像之间的相似度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开的实施例示出的一种相似度确定方法的示意流程图。

图2是根据本公开的实施例示出的一种计算所述模板轮廓图像和所述待测轮廓图像的相似度的示意流程图。

图3是根据本公开的实施例示出的另一种相似度确定方法的示意流程图。

图4是根据本公开的实施例示出的又一种相似度确定方法的示意流程图。

图5是根据本公开的实施例示出的又一种相似度确定方法的示意流程图。

图6是根据本公开的实施例示出的一种相似度确定装置的示意框图。

图7是根据本公开的实施例示出的一种相似计算模块的示意框图。

图8是根据本公开的实施例示出的另一种相似度确定装置的示意框图。

图9是根据本公开的实施例示出的又一种相似度确定装置的示意框图。

图10是根据本公开的实施例示出的又一种相似度确定装置的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据本公开的实施例示出的一种相似度确定方法的示意流程图。本实施例所示的方法可以适用于医学领域，例如使用在医学领域的二维三维配准过程中。

在一个实施例中，所述原始模板图像可以是手术中拍摄的X光图像，所述原始待测图像可以是基于术前拍摄的CT图像。

在二维三维配准过程中，可以通过待求解矩阵(表征平移和旋转)对CT图像进行转换，并且通过不同的矩阵对CT图像进行转换的结果有所不同，而为了准确地确定待求解矩阵，需要针对每个CT图像分别确定与X光图像的相似度，所以后续实施例所述的原始待测图像，可以是多个原始待测图像(例如一系列的CT图像)。以下主要针对一个原始待测图像和原始模板图像确定相似度的过程对本公开的技术方案进行示例性说明。

如图1所示，所述相似度确定方法可以包括以下步骤：

步骤S101，获取原始模板图像和原始待测图像；

步骤S102，确定所述原始模板图像和所述原始待测图像中的医学图像边缘，根据所述原始模板图像中的医学图像边缘从所述原始模板图像中提取模板图像，根据所述原始待测图像中的医学图像边缘从所述原始待测图像中提取待测图像；

步骤S103，根据所述模板图像中像素的邻域灰度均值在所述模板图像中确定模板连通区域，根据所述待测图像中像素的邻域灰度均值在所述待测图像中确定待测连通区域；

步骤S104，获取所述模板连通区域的模板轮廓图像和所述待测连通区域的待测轮廓图像；

步骤S105，计算所述模板轮廓图像和所述待测轮廓图像的相似度，以作为所述原始模板图像和所述原始待测图像的相似度。

在一个实施例中，例如以原始模板图像是CT图像为例，CT图像背景都是近似为黑色，CT图像中物体的外围一般存在较亮的边缘，在图像中呈现白色，所以对于CT图像，可以确定物体外围白色的边缘作为医学图像边缘。

需要说明的是，针对不同类型的图像，医学图像边缘可以有所不同，例如可以是上述CT图像中的物体与背景交界处的白色边缘，也可以是其他类型图像中物体与背景交界处的黑色边缘，对此，本实施不作限制。

在确定原始模板图像中的医学图像边缘和原始待测图像中的医学图像边缘后，可以根据原始模板图像中的医学图像边缘从原始模板图像中提取模板图像，根据原始待测图像中的医学图像边缘从原始待测图像中提取待测图像。

例如可以以原始模板图像中的医学图像边缘作为掩膜mask的图案，然后对原始模板图像做掩膜，从而从原始模板图像中提取模板图像；类似地，可以以原始待测图像中的医学图像边缘为掩膜mask的图案，然后对原始待测图像做掩膜，以从原始待测图像中提取待测图像。

据此，可以过滤掉医学图像中需要观察部分以外的信息，将后续对于图像的分析和比较限定在图像的有用信息内，突出轮廓提取的主体，减少后续轮廓搜素的范围。

进一步地，可以根据模板图像中像素的邻域灰度均值在模板图像中确定模板连通区域，根据待测图像中像素的邻域灰度均值在待测图像中确定待测连通区域。

例如针对模板图像中的每个像素而言，可以计算像素的邻域灰度均值，其中，像素的邻域灰度均值，可以是该像素直接相邻的全部像素的灰度均值，邻域灰度均值较为接近的两个像素，可以确定为属于同一片连通区域，而邻域灰度均值差异较大的两个像素，可以确定为属于不同的连通区域，据此，可以在模板图像中确定出模板连通区域。类似地，也可以在待测图像中确定出待测连通区域。

接下来可以获取模板连通区域的模板轮廓图像和待测连通区域的待测轮廓图像，例如针对模板连通区域，可以使用轮廓提取Canny算子获取连通区域轮廓信息，然后创建空白图，以获取到的连通区域轮廓信息在空白图上做轮廓蒙版，相当于从模板连通区域中提取出轮廓后复制到空白图上，从而得到模板轮廓图像。类似地，也可以得到待测连通区域的待测轮廓图像。

需要说明的是，模板轮廓图像包括但不限于模板连通区域的边缘，还包括在连通区域内部可以作为轮廓的线条；类似地，待测轮廓图像包括但不限于待测连通区域的边缘，还包括在连通区域内部可以作为轮廓的线条。

最后，本实施例可以计算所述模板轮廓图像和所述待测轮廓图像的相似度，以作为所述原始模板图像和所述原始待测图像的相似度。

相对于相关技术中的直方图匹配方式，本实施例基于轮廓图像确定相似度，而轮廓图像可以相对准确地体现原始图像内部的细节，所以有利于准确确定医学图像之间的相似度；相对于相关技术中的特征点提取方式，本实施例针对原始模板图像和原始待测图像，是基于轮廓确定相似度，而轮廓并不会因为原始模板图像和原始待测图像的类型不同而存在较大差异，因此有利于准确确定医学图像之间的相似度。

另外，本实施例主要应用于医学领域的二维三维配准过程中，在原始待测图像为CT图像的情况下，为了确定待求解矩阵，需要尝试不同的待求解矩阵对CT图像进行转换，转换过程包括旋转和平移。然而利用相关技术中直方图匹配方式和特征点提取方式计算相似度，具有尺度不变性，在图像进行旋转、平移时其并不能从数值上体现出图像所发生的变化。但是图像中的轮廓在图像旋转、平移时，可以从数值上体现出图像发生的变化，从而本实施例根据轮廓来确定图像的相似度，可以良好地适用于二维三维配准过程中，确定需要平移、旋转的CT图像和X光图像之间相似度。

需要说明的是，在二维三维配准过程中，针对一个术前CT图像，需要通过不同的待求解矩阵对CT图像进行转换，所以可以存在多个原始待测图像，那么针对多个原始待测图像而言，可以按照顺序逐个基于本实施例所示的方法确定与原始模板图像的相似度，而具体的顺序可以根据需要确定。

图2是根据本公开的实施例示出的一种计算所述模板轮廓图像和所述待测轮廓图像的相似度的示意流程图。如图2所示，所述计算所述模板轮廓图像和所述待测轮廓图像的相似度包括：

步骤S201，对所述模板轮廓图像进行分块得到多个模板块，对所述待测轮廓图像进行分块得到多个待测块；

步骤S202，在相对应的模板块和待测块中，以模板块中每个轮廓像素分别作为中心确定封闭区域，在多个所述封闭区域中，确定轮廓与所述待测块中的轮廓相匹配的封闭区域的数目，循环该步骤，直至针对全部相对应的模板块和待测块确定所述数目；

步骤S203，根据所述数目之和与所述模板轮廓图中轮廓像素的数目的关系，确定所述模板轮廓图像和所述待测轮廓图像的相似度。

在一个实施例中，由于模板轮廓图像和模板待测图像的尺寸可以比较大，那么模板轮廓图像和模板待测图像中作为轮廓的像素数量将会较多，直接比较模板轮廓图像和模板待测图像的相似度，计算量将会较大。

基于本实施例，可以将模板轮廓图像和待测轮廓图像进行分块，例如在模板轮廓图像和待测轮廓图像的面积、形状都相同的情况下，可以基于相同的尺寸值对模板轮廓图像和待测轮廓图像进行划分，以得到多个模板块和多个待测块。

然后确定相对应的模板块和待测块，其中，相对应的模板块和待测块，是指在分块前，在模板轮廓图像和待测轮廓图像中位于相同位置的图像块。例如将模板轮廓图像按照2×2的矩阵划分为4个模板块，从左上到右下分别为模板块A1、A2、A3和A4，相应的，可以将模板待测图像也按照2×2的矩阵划分为4个模板块，从左上到右下分别为模板块B1、B2、B3和B4，那么左上角的模板块A1与左上角的待测块B1就是相对应的。

需要说明的是，分块方式并不限于按照上述2×2矩阵进行划分，而是可以根据需要进行设置。

针对相对应的模板块和待测块，可以以模板块中每个轮廓像素分别作为中心确定封闭区域，然后在多个所述封闭区域中，确定轮廓与所述待测块中的轮廓相匹配的封闭区域的数目。

例如模板块中对应轮廓的像素有100个，那么可以以这100个像素分别作为重心确定封闭区域，从而得到100个封闭区域，每个封闭区域的尺寸相同，每个封闭区域的尺寸可以根据需要设置。那么在每个封闭区域中，都会存在一段轮廓，可以将每个封闭区域中的轮廓，分别与对应待测块中的轮廓进行匹配。

其中，匹配的过程可以是确定轮廓对应像素的坐标，然后将坐标拟合为曲线，进而比较曲线之间的相似度，例如比较封闭区域中轮廓对应曲线和待测块中轮廓对应曲线的相似度，若曲线之间的相似度较高，可以确定轮廓相匹配，进而在轮廓相匹配的情况下，可以进行一次计数。从而针对轮廓像素对应的多个封闭区域，可以统计轮廓与待测块中的轮廓相匹配的封闭区域的数目，例如对于模板块A1和待测块B1而言，计数的结果为80，也即在模板块A1中，有80个轮廓像素作为中心的封闭区域中的轮廓，与待测块中的轮廓相匹配。

进而可以循环上述步骤，直至针对全部相对应的模板块和待测块确定所述数目。例如在按照上述2×2矩阵分块的情况下，共可以执行上述步骤4次。

最后可以根据所述数目之和与所述模板轮廓图中轮廓像素的数目的关系，确定所述模板轮廓图像和所述待测轮廓图像的相似度。

在一个实施例中，所述关系包括但不限于比值、差值等，以比值为例，例如对于模板块A1和待测块B1而言，计数的结果为80，对于模板块A2和待测块B2而言，计数的结果为70，对于模板块A3和待测块B3而言，计数的结果为60，对于模板块A4和待测块B4而言，计数的结果为90，那么4次记录的数目之和为80+70+60+90＝300，模板轮廓图中轮廓像素的数目为400，那么比值为75％，也即模板轮廓图像和所述待测轮廓图像的相似度为75％，原始模板图像和所述原始待测图像的相似度也就是75％。

由于医学图像通常灰度分辨率和空间分辨率相对较高，所包含的信息量较大，所以其中轮廓较为复杂，轮廓像素的数量较多，若直接比较整幅图像之间的轮廓，复杂度较高，计算量较大，影响计算效率。本实施例通过对轮廓图像进行分块，进而在相对应的模板块和待测块中比较轮廓的相似度，可以极大地减少需要比较轮廓的像素的数量，从而降低计算复杂度，有效提高计算效率。

图3是根据本公开的实施例示出的另一种相似度确定方法的示意流程图。如图3所示，在确定所述原始模板图像和所述原始待测图像中的医学图像边缘之前，所述方法还包括：

步骤S301，对所述原始模板图像和所述原始待测图像进行平滑滤波。

在一个实施例中，在确定所述原始模板图像和所述原始待测图像中的医学图像边缘之前，可以先对原始模板图像和所述原始待测图像进行平滑滤波，例如进行高斯滤波，从而滤除原始模板图像和原始待测图像中的噪声，以及光照变化不匀等对图像中轮廓存在不良影响的因素，以便确保后续准确地确定图像中的边缘和提取轮廓图像。

图4是根据本公开的实施例示出的又一种相似度确定方法的示意流程图。如图4所示，在获取所述模板连通区域的模板轮廓图像和所述待测连通区域的待测轮廓图像之前，所述方法还包括：

步骤S401，在所述模板连通区域和所述待测连通区域中删除面积在面积阈值范围之外的连通区域。

在一个实施例中，在模板图像和待测图像中，因噪声等因素影响，可以存在面积很小的连通区域，并且在背景中还可以存在面积较大，但不属于需要分析物体的连通区域(例如背景区域本身)，对于这些连通区域，可以预先设定面积阈值，然后对于面积小于面积阈值的下限值，和面积大于面积阈值的上限值的连通区域，可以进行删除，以便确保剩下的连通区域都是后续需要比较相似度的主体部分(例如图像中的人体结构)。

图5是根据本公开的实施例示出的又一种相似度确定方法的示意流程图。如图5所示，在获取所述模板连通区域的模板轮廓图像和所述待测连通区域的待测轮廓图像之前，所述方法还包括：

步骤S501，对所述模板连通区域和所述待测连通区域的边缘进行平滑处理。

在一个实施例中，在获取所述模板连通区域的模板轮廓图像和所述待测连通区域的待测轮廓图像之前，可以先对模板连通区域和待测连通区域的边缘进行平滑处理，例如通过形态学开运算进行平滑处理，从而确保边缘平滑，进而确保后续获取到的轮廓图像中的轮廓也是平滑的，以便进行相似度的比较。

与上述相似度确定方法的实施例相对应地，本公开还提出了相似度确定装置的实施例。

图6是根据本公开的实施例示出的一种相似度确定装置的示意框图。如图6所示，所述装置包括：

图像获取模块601，用于获取原始模板图像和原始待测图像；

图像提取模块602，用于确定所述原始模板图像和所述原始待测图像中的医学图像边缘，根据所述原始模板图像中的医学图像边缘从所述原始模板图像中提取模板图像，根据所述原始待测图像中的医学图像边缘从所述原始待测图像中提取待测图像；

连通确定模块603，用于根据所述模板图像中像素的邻域灰度均值在所述模板图像中确定模板连通区域，根据所述待测图像中像素的邻域灰度均值在所述待测图像中确定待测连通区域；

轮廓获取模块604，用于获取所述模板连通区域的模板轮廓图像和所述待测连通区域的待测轮廓图像；

相似计算模块605，用于计算所述模板轮廓图像和所述待测轮廓图像的相似度，以作为所述原始模板图像和所述原始待测图像的相似度。

图7是根据本公开的实施例示出的一种相似计算模块的示意框图。如图7所示，所述相似计算模块包括：

分块子模块701，用于对所述模板轮廓图像进行分块得到多个模板块，对所述待测轮廓图像进行分块得到多个待测块；

数目确定子模块702，用于在相对应的模板块和待测块中，以模板块中每个轮廓像素分别作为中心确定封闭区域，在多个所述封闭区域中，确定轮廓与所述待测块中的轮廓相匹配的封闭区域的数目，循环该步骤，直至针对全部相对应的模板块和待测块确定所述数目；

相似度确定子模块703，用于根据所述数目之和与所述模板轮廓图中轮廓像素的数目的关系，确定所述模板轮廓图像和所述待测轮廓图像的相似度。

图8是根据本公开的实施例示出的另一种相似度确定装置的示意框图。如图8所示，所述装置还包括：

平滑滤波模块801，用于对所述原始模板图像和所述原始待测图像进行平滑滤波。

图9是根据本公开的实施例示出的又一种相似度确定装置的示意框图。如图9所示，所述装置还包括：

连通删除模块901，用于在所述模板连通区域和所述待测连通区域中删除面积在面积阈值范围之外的连通区域。

图10是根据本公开的实施例示出的又一种相似度确定装置的示意框图。如图10所示，所述装置还包括：

平滑处理模块1001，用于对所述模板连通区域和所述待测连通区域的边缘进行平滑处理。

本公开的实施例还提出一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现如上述任一实施例所述的方法。

本公开的实施例还提出一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述任一实施例所述方法中的步骤。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。