图像处理方法、图像处理装置和存储介质

技术领域

本公开的实施例涉及一种图像处理方法、图像处理装置和存储介质。

背景技术

在当今的医学诊断领域中，对患者可能的病患处进行成像检查，最广泛使用的是CT(Computed Topography，电子计算机断层扫描)成像技术。CT成像技术是一种利用精确准直的X线束、γ射线等，从多个观测角度获得有关目标的一系列投影数据，再通过图像重建获得目标断层图像的技术，具有扫描时间快，图像清晰等特点，可用于多种常见疾病(如肿瘤)的检查。

近年来，随着AI技术的发展，一些基于深度学习的图像分割算法已被应用到医学诊断的过程中，这些算法可将人体特定器官或病灶区域从医学图像中分割并提取出来，用于后续的人工或AI医学诊断。例如，当前在医学图像分割领域应用广泛的nnU-Net算法，可以对心脏、脾脏、海马体等人体器官或组织进行精确分割，在医学诊断过程中具有重要的作用。

发明内容

本公开的至少一个实施例提供了一种图像处理方法，该图像处理方法包括：获取基于重建处理算法获得的包括目标对象的初始成像图像；获取伸缩参数的第一计算值和平移参数的第二计算值；使用所述第一计算值和所述第二计算值对所述初始成像图像进行预处理以得到处理后图像；将所述处理后图像用于基于图像分割算法的图像分割处理，以得到对于所述目标对象的分割图像，其中，所述第一计算值和所述第二计算值对应于所述重建处理算法和所述图像分割算法，且所述预处理中，所述处理后图像的像素＝所述初始成像图像的像素*所述第一计算值+所述第二计算值。

本公开的至少一个实施例提供了一种图像处理装置，包括：处理单元和存储器，所述存储器上存储有一个或多个计算机程序模块；其中，所述一个或多个计算机程序模块被配置为由所述处理单元执行时实现上述的图像处理方法。

本公开的至少一个实施例提供了一种非瞬时可读存储介质，其中，所述非瞬时可读存储介质上存储有计算机指令，其中，所述计算机指令被处理器执行时实现上述的图像处理方法。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1A和图1B示出了直接反投影法的原理示意图；

图2示出了滤波反投影法的原理示意图；

图3给出了一种针对脑肿瘤分割任务的深度学习算法的流程图；

图4示出了本公开的一实施例与现有方案之间的对比的示意图；

图5示出了本公开的至少一实施例提供了一种图像处理方法的示意图；

图6示出了一个示例中获取用于预处理的参数值的过程的示意图；

图7为本公开至少一个实施例提供的一种电子装置的示意框图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另作定义，此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

在CT技术中，例如可以使用多种重建算法以从CT采集的投影数据获得断层图像。这些重建算法包括直接反投影法(Direct Back Projection,DBP)、滤波反投影法(Filtered Back Projection,FBP)等，下面分别进行简单介绍。

直接反投影法(Direct Back Projection,DBP)是把每次测得的投影数据“原路”反投影到投影线的各个像素上的重建算法，断层平面中某像素的值被看作所有经过该像素射线的投影值的累加(或均值)。在极坐标系中，连续情况下的反投影表达式为：

其中，角度

直接反投影重建算法的缺点是引入星状伪迹，即原来图像中密度为零的点，重建后不一定为零，使图像失真。

滤波反投影法(Filtered Back Projection,FBP)是把投影数据先行修正(滤波)，再把修正后的投影数据进行反投影运算，从而得到近似无失真的重建图像。在数学上，滤波反投影法的特点是在反投影前将每一个采集投影角度下的投影进行卷积处理；对投影的一维傅立叶变换等效于对原图像进行二维的傅立叶变换。图2示出了滤波反投影法的原理，例如可以参见“范慧赟.CT图像滤波反投影重建算法的研究[D].西北工业大学,2007”的第二章2.3。

对于肿瘤等小的结构，可以利用阈值法、区域增长法、图谱分割法、可变模型分割法、机器学习等方法来实现。随着硬件计算资源的提升和脑肿瘤影像数据的增加，更快速、更准确的深度学习方法开始逐渐被重视起来。深度学习方法通常以卷积神经网络(Convolutional Neural Network,CNN)为核心，经过训练、测试和验证等迭代步骤，最终得到针对特定应用场景、具有极高准确率的图像分割效果。

举例而言，图3给出了一种示例性的针对脑肿瘤分割任务的深度学习算法的流程图。在该流程图中，对获取的数据进行例如脑区域标准化、去偏移场、去颅骨、配准等数据预处理，这些数据既可能是用于进行训练用的训练集和验证集，也可能是实际用于测试或分类的数据。所采用的神经网络包括多个卷积神经网络(CNNs)。使用训练集和验证集对于CNNs进行迭代训练，对模型进行评估并保存。训练好的模型的CNNs可以用于预测并获取预测结果。

如前所述，对重建后的图像进行分割是对上述器械的数据进行处理的必要手段。然而，上述的医学图像分割算法具有对像素值敏感而对图形不敏感的问题。例如，对于某训练好的医学图像分割算法，只能识别像素值为0且具有特定形状的肿瘤，若给予一个肿瘤区域像素值为150的图像，即使形状与肿瘤非常类似，该图像分割算法也无法识别。然而，不同的图像重建算法得到的医学图像中肿瘤像素值有所差异，所以这会导致一个以某种重建算法重建得到的图像作为数据集训练出来的AI医学图像分割算法，无法有效对另一种重建算法重建得到的图像进行有效分割。

举例说明，对于利用傅里叶中心切片定理的CT重建算法，肿瘤区域的像素值约为150，而对于反投影法(DBP)CT重建算法，肿瘤区域的像素值约为0，两种CT重建算法得到的肿瘤区域像素值差距较大，并不适用于同一个AI医学图像分割算法。

针对以上问题，本公开的实施例提出一种使图像分割算法适用于不同重建算法得到的重建图像的图像处理方法以及对应的图像处理装置。该方法对重建图像进行一项简单的预处理，使得目标对象(目标区域)对应的像素值接近于例如训练好的分割算法可正常识别的肿瘤像素特征值。本方法的实施例给出的预处理方法包括：对图像的所有像素点进行线性变换，即乘以一个固定系数(伸缩参数)后再加(或减)一个固定值(平移参数)。该预处理所需计算开销较小，且能解决单一图像分割算法的应用局限，大大提升图像分割算法的复用性。

图4示出了本公开的一实施例与现有方案之间的对比的示意图。现有方案中，图像分割算法仅适用于重建算法1(目标对象所在区域的像素值为0)，而不能适用于重建算法2(目标对象所在区域的像素值为150)；但是，通过本公开实施例的图像处理方法，对于重建算法1的重建图像进行与重建算法1对应的预处理得到预处理后的图像，从而可以适用于所采用的图像分割算法，而且对于重建算法2的重建图像也进行与重建算法2对应的预处理得到预处理后的图像，从而可以适用于所采用的图像分割算法，由此对于重建算法1和重建算法2，最后可以成功实现图像分割。

图5示出了本公开的至少一个实施例提供了一种图像处理方法的示意图。如图5所示，本公开的至少一个实施例提供的图像处理方法包括如下步骤101～104：

步骤101：获取基于重建处理算法获得的包括目标对象的初始成像图像。

步骤102：获取伸缩参数的第一计算值A和平移参数的第二计算值B。

步骤103：使用第一计算值A和第二计算值B对初始成像图像进行预处理以得到处理后图像。

步骤104：将处理后图像用于基于图像分割算法的图像分割处理，以得到对于目标对象的分割图像。

在上述方法中，伸缩参数的第一计算值A和平移参数的第二计算值B对应于上述重建处理算法和上述图像分割算法，且在上述预处理中，处理后图像的像素＝初始成像图像的像素*第一计算值A+第二计算值B，即逐像素进行伸缩变换和平移变换。

对于步骤101，例如，使用重建处理算法对从图像采集装置获取的图像采集数据进行处理以获得初始成像图像。例如，图像采集装置包括：电子计算机断层扫描装置、磁共振成像装置、超声波成像装置等，例如这些图像采集装置是医学图像采集装置，本公开的实施例对此不作限制。上述目标对象可以为肿瘤、心脏、脾脏、海马体、植物结节、探伤区域等。上述图像采集装置所获得的数字化医学影像例如是DICOM(Digital Imaging andCommunications in Medicine)格式的，其中的像素点记载灰度信息。

例如，在本公开的实施例中，重建处理算法包括：直接反投影法、滤波反投影法、卷积反投影法、微分-希尔伯特反投影法、梯度下降法、ML-EM迭代重建法等，本公开的实施例对此不作限制。

对于步骤104，例如，图像分割算法包括：阈值分割法、区域增长法、图谱分割法、可变模型分割法、基于深度学习的图像分割法等；例如，基于深度学习的图像分割算法可以包括nnU-Net算法等。

对于步骤102，例如，在至少一个示例中，获取伸缩参数的第一计算值A和平移参数的第二计算值B，可以包括步骤1021～1022：

步骤1021：获取基于重建处理算法获得的参考重建图像，以及获取对应于参考重建图像且准确分割的参考分割图像；

步骤1022：使用参考重建图像和参考分割图像获取伸缩参数的第一计算值A和平移参数的第二计算值B。

在本公开中，所谓的“准确分割”指代分割图像的准确率大于某个阈值(例如90％或95％)，并非要求分割图像是100％准确。提前准备参考重建图像以及与之对应的准确分割的参考分割图像，该参考分割图像可以是使用上述步骤104中使用的图像分割算法来获得的，但是也可以是采用另一图像分割算法获得的，通过这样的“参考重建图像-参考分割图像”组合就可以获得对应于上述方法中对应于“重建算法+分割算法”组合的伸缩参数的第一计算值A和平移参数的第二计算值B。例如，不同的“重建算法+分割算法”组合可以获得不同的“第一计算值A和第二计算值B”组合。

对于步骤1022，在至少一个示例中，使用参考重建图像和参考分割图像获取伸缩参数的第一计算值A和平移参数的第二计算值B，包括如下的步骤M1～M4，并且在下面的各步骤中，第一参数为伸缩参数且对应地第二参数为平移参数，或者，第一参数为平移参数且对应地第二参数为伸缩参数，以第一参数为伸缩参数且对应地第二参数为平移参数为例进行说明：

步骤M1：设置第一参数的第一初始值A0、第二参数的第二初始值B0和初始分割系数值D0。

步骤M2：将第一参数固定在第一初始值A0，在第二参数B对应的第二取值范围内，从第二初始值B0开始，挑选第二参数的目标值，且基于第二参数的目标值和初始分割系数D0进行评判，以得到第二参数的第二当前最佳值Bm和中间分割系数值D1。

步骤M3：将第二参数固定在第二当前最佳值Bm，在第一参数A对应的第一取值范围内，挑选第一参数的目标值，且基于第一参数的目标值和中间分割系数值D1进行评判，得到第一参数的第一当前最佳值Am。

步骤M4：使用第一当前最佳值Am和第二当前最佳值Bm作为第一参数的计算值A和第二参数的计算值B，以用于对初始成像图像进行变换。

例如，在上述步骤M3中，挑选第一参数的目标值，包括：以设定第一步长在第一取值范围内进行遍历或穷举；例如，从第一初始值A0开始，以所采用的方式(例如遍历或穷举)进行挑选。或者，在上述步骤M2中，挑选第二参数的目标值，包括：以设定第二步长在第二取值范围内进行遍历或穷举；例如，从第二初始值B0开始，以所采用的方式(例如遍历或穷举)进行挑选。这里第一步长的取值大小可以根据第一取值范围的大小来确定，如果太大则可能遗漏相对更优选的取值，如果太小则会导致计算量增加。类似地，这里第二步长的取值大小可以根据第二取值范围的大小来确定。第一步长的大小和第二步长的大小彼此不同。

又例如，在上述步骤M2中，基于所述第二参数的目标值和所述初始分割系数D进行评判，或者，在上述步骤M3中，基于所述第一参数的目标值和所述中间分割系数值D1进行评判，包括如下的步骤M21～M24：

步骤M21：使用伸缩参数的第一当前值Ax和平移参数的第二当前值Bx对参考重建图像进行变换以得到中间成像图像；

步骤M22：使用分割算法对中间成像图像进行分割处理，以得到中间分割图像；

步骤M23：基于中间分割图像和参考分割图像得到中间分割系数；

步骤M24：响应于中间分割系数大于当前分割系数(或成为“当前最佳分割系数”)Dx，则将中间分割系数赋值给当前分割系数Dx，将当前被挑选的参数类型的参数值保留作为当前最佳值，然后改变当前被挑选的参数类型的参数值，或者，响应于中间分割系数小于等于当前分割系数Dx，则改变当前被挑选的参数类型的参数值，

在上述步骤M21～M24中，第一初始值A0、第二初始值B0和初始分割系数D0，用于作为首次评判时的伸缩参数的第一当前值Ax、平移参数的第二当前值Bx、当前分割系数Dx；并且，中间成像图像的像素＝参考重建图像的像素*第一当前值Ax+第二当前值Bx。

例如，在上述步骤M22中，使用中间分割图像和参考分割图像计算得到中间分割系数，包括如下的步骤：

获取参考分割图像中目标对象对应的区域T(即准确分割所获得的目标对象的区域)，获取中间分割图像中目标对象对应的区域P，计算中间分割系数如下：

其中，DICE为中间分割系数，T∩P表示区域T和区域P彼此重叠的像素个数，T+P表示区域T和区域P像素个数之和。上述过程中，判断分割效果好坏就是利用分割系数DICE的值来衡量的，DICE的值介于0到1之间，值越高说明分割效果越好，准确度和可靠度越高。

图6示出了本公开实施例的一个示例中获取用于预处理的参数值(即上述偏移系数和伸缩系数)的过程的示意图；该示例以遍历为例，且先遍历以确定偏移系数，然后遍历以确定伸缩系数为例进行说明，本公开的实施例并不限于该遍历这种方式，也不限于对于偏移系数和伸缩系数的处理顺序，虽然下述过程针对选择的重建算法和分割算法，但不限于特定的重建算法和分割算法。

参见图6，首先，设定初始系数值：伸缩系数A的初始值设置为1(即A＝1)，偏移系数B的初始值设置为-100(即B＝-100，为其取值范围的下限)，并且将分割系数的初始值，即当前分割系数(最佳分割系数)DICE_m在初始时的值，设为0.9(即DICE_m＝0.9)。后续的操作中，在对系数A和系数B的系数的遍历过程中，对于系数B选择步长为5、取值范围为-100和100，对于系数A选择步长为0.02、取值范围为0.8到1.2，并且每当分割后计算得到的DICE值超过DICE_m时，则更新DICE_m值，以此记录可以达到的最佳分割效果值。

更具体而言，如图6所示，在设置了初始值之后，即A＝1、B＝-100以及DICE_m＝0.9之后，使用当前的系数A和系数B的值(即1和-100)，进行变换得到新图像(即中间成像图像)＝A*原图像(即参考重建图像)+B；将新图像使用所针对的AI图像分割算法进行图像分割，得到中间分割图像，使用中间分割图像和参考分割图像计算DICE指标；如果计算得到的DICE值小于等于当前最佳分割系数DICE_m，则将系数B的值递增步长5，反之，则将最佳分割系数DICE_m设置为当前计算得到的DICE值，系数B的最佳值B_m设置为当前的系数B的值，然后再将系数B的值递增步长5；之后，判断系数B的值是否大于取值范围的上限100，如果不是，则使用系数B新的值以及当前系数A的值重复前面的过程直到系数B的值大于100，以挑选出系数B的最佳值B_m。在系数B的值大于100之后，得到系数B的最佳值B_m。

在上述过程后，将系数A取值为0.8，即A＝0.8(为其取值范围的下限)，然后判断A是否大于1.2(即其取值的上限)，如果是，则停止操作，获得系数A的最佳值A_m和系数B的最佳值B_m，反之则继续挑选以得到系数A的最佳值A_m。在继续挑选以得到系数A的最佳值A_m的过程中，使用当前的系数A和系数B的值(即最佳值B_m)，进行变换得到新图像(即中间成像图像)＝A*原图像(即参考重建图像)+B_m；将新图像使用所针对的AI图像分割算法进行图像分割，得到中间分割图像，使用中间分割图像和参考分割图像计算DICE指标；如果计算得到的DICE值小于等于当前最佳分割系数DICE_m，则将系数A的值递增步长0.02，反之，则将最佳分割系数DICE_m设置为计算得到的DICE值，系数A的最佳值A_m设置为当前的系数A的值，然后再将系数A的值递增步长0.02；之后，再判断系数A的值是否大于取值范围的上限1.2。在系数A的值大于1.2之后，如上所述，得到系数A的最佳值A_m。

最后，将得到的系数A的最佳值A_m和系数B的最佳值B_m用于进行针对的重建算法和AI分割算法的图像预处理。

本公开的一些实施例还提供了一种处理装置，该处理装置包括处理单元和存储器，存储器上存储有一个或多个计算机程序模块；该一个或多个计算机程序模块被配置为由所述处理单元执行时实现如本公开任一实施例所述的图像处理方法。

本公开的一些实施例还提供了一种非瞬时可读存储介质，其中，所述非瞬时可读存储介质上存储有计算机指令，其中，所述计算机指令被处理器执行时实现如本公开任一实施例所述的图像方法。

例如，该处理单元为中央处理器(CPU)、数字信号处理器(DSP)等。例如，该非瞬时可读存储介质实现为存储器，例如易失性存储器和/或非易失性存储器。上述实施例中存储器可以为易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓存等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。

该存储器中还可以存储各种应用程序(代码、指令)和各种数据以及应用程序使用和/或产生的各种数据等，在一些示例中，还可以存储有数据或指令对应的内存标记信息(以及内存标记)。

本公开的一些实施例还提供了一种电子装置，该电子装置包括上述计算机装置，该计算机装置包括上述处理装置或者可执行上述访存方法。

图7为本公开至少一个实施例提供的一种电子装置的示意框图。本公开实施例中的电子装置可以包括但不限于诸如笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)等的移动终端以及诸如台式计算机等固定终端。

图7示出的电子装置1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。例如，如图7所示，在一些示例中，电子装置1000包括本公开实施例的图像处理装置，该图像处理装置可以根据存储在只读存储器(ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理，例如本公开实施例的图像处理方法。在RAM 1003中，还存储有计算机系统操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004被此相连。输入/输出(I/O)接口1005也连接至总线1004。

例如，以下部件可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括诸如液晶显示器(LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；例如还可以包括诸如LAN卡、调制解调器等的网络接口卡的通信装置1009。通信装置1009可以允许电子装置1000与其他设备进行无线或有线通信以交换数据，经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸存储介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储装置1008。

虽然图7示出了包括各种装置的电子装置1000，但是应理解的是，并不要求实施或包括所有示出的装置。可以替代地实施或包括更多或更少的装置。

例如，该电子装置1000还可以进一步包括外设接口(图中未示出)等。该外设接口可以为各种类型的接口，例如为USB接口、闪电(lighting)接口等。该通信装置1009可以通过无线通信来与网络和其他设备进行通信，该网络例如为因特网、内部网和/或诸如蜂窝电话网络之类的无线网络、无线局域网(LAN)和/或城域网(MAN)。无线通信可以使用多种通信标准、协议和技术中的任何一种，包括但不局限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi(例如基于IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n标准)、基于因特网协议的语音传输(VoIP)、Wi-MAX，用于电子邮件、即时消息传递和/或短消息服务(SMS)的协议，或任何其他合适的通信协议。

对于本公开，还有以下几点需要说明：

(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。

(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。

以上仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。