基于相位变化的医学图像数据增广方法

技术领域

本发明涉及图像数据处理领域的图像数据增广方法，具体涉及一种利用相位信息对医学图像进行数据增广的方法。

背景技术

目前，深度学习已经成功的应用于图像处理和计算机视觉领域。在医学图像处理领域，深度学习方法也引起了广泛的关注。然而，由于病人隐私，病变的医学图像数据相比于正常的医学数据本身也非常稀少，而且医生对于医学图像数据的标注成本高昂。有限的医学图像数据成为深度学习方法在医学图像处理领域发展的一个制约因素。特别是高性能的深度学习方法需要大量的图像数据，这就需要对有限的医学图像进行数据增广，对于进一步的医学图像处理，如利用医学图像确定消化道肿瘤的位置、形态和边界，对于肿瘤和各种疾病的精准治疗具有重要意义。

目前已经有很多图像数据增广方法，图像数据增广技术包括基本的图像处理方法，深度学习方法等。基本的图像处理方法包括几何数据增强，颜色转换，噪声注入，混合图像和随机擦除等。几何数据扩充使用输入的几何变换图像，包括翻转，裁剪，旋转，平移，变形和缩放。颜色转换包括颜色扰动，即增加或减少色彩空间中某些色彩成分的过程，或更改颜色通道的顺序。噪声注入会增加随机噪声，例如，在输入图像中的高斯噪声。混合图像方法在图像中合成新的一个图像样本。随机擦除是为了解决遮挡问题删除训练图像的某些部分。其中如混合图像、随机擦除等方法不是基于物理自然规律，虽然能够取得一定的图像数据增广效果，但理解困难，算法复杂。

随着深度学习的快速发展，一些研究人员已经讨论使用深度学习进行数据增广，数据增广方法基于深度学习的功能包括对抗训练、神经网络的风格转换和生成网络等方法，深度学习数据增广方法的确定较慢。以CycleGAN为例，可以通过样式转移，对象转移或季节转移来扩充数据集中的图像集合，例如斑马转移到马，或冬季图像转移到夏天图像。深度学习的数据增广方法在训练过程中需要大量的训练数据，训练过程较慢。

发明内容

本发明的目的是解决现有医学图像数据增广方法中，采用基本的图像处理方法物理过程不明晰、算法复杂，而采用深度学习的数据增广方法存在训练过程中需要大量的训练数据，且训练过程较慢的技术问题，提出基于相位变化的医学图像数据增广方法，对医学图像数据进行增广，使得少量的医生标注便可产生大量的医学图像，为深度学习在医学图像去噪、医学图像分割以及医学图像重建等课题的研究提供了基础。

本发明医学图像数据增广方法采用两种方式实现：一种是采用光学成像的方法，在光学系统引入相位信息的变化；另一种是基于光学图像数据的仿真模拟，采用数字图像处理方法实现，在傅里叶变换后加入相位信息的变化。

为了实现上述目的，本发明所采用的技术方案是：

一种基于相位变化的医学图像数据增广方法，其特殊之处在于，采用相位变化的光学系统实现医学图像数据增广，或者采用相位变化的数字图像处理仿真实现医学图像数据增广，包括以下步骤：

步骤1、读取原始医学图像；

步骤2、对原始医学图像进行傅里叶变换，获得频率域图像，所述频率域图像包括振幅图像和相位图像；

步骤3、生成随机变换的相位图像；

步骤4、将步骤2获得的频率域图像与步骤3生成的随机变换的相位图像进行相位相加，形成加入随机相位后的傅里叶变换图像，经傅里叶逆变换后得到相位增广的医学图像，去掉相位信息获得增广医学图像；

步骤5、重复步骤3和4，获得不同相位变换后新的增广医学图像。

进一步地，采用相位变化的光学系统实现医学图像数据增广，包括以下步骤：

步骤1、将原始医学图像置于光学系统的物面；

所述光学系统包括从左到右沿光路依次设置的第一光学镜片2、空间光调制器3、第二光学镜片4及相机5；将所述第一光学镜片2和第二光学镜片4同轴共焦设置，则第一光学镜片2的左侧焦点位置为物面，第二光学镜片4的右侧焦点位置为像面，第一光学镜片2和第二光学镜片4的共同焦点位置为傅里叶面；将所述空间光调制器3置于光学系统的傅里叶面；将所述相机5置于光学系统的像面；

步骤2、原始医学图像经第一光学镜片2的傅里叶变换后，在傅里叶面形成频率域图像，所述频率域图像包括振幅图像和相位图像；

步骤3、通过调制空间光调制器3，在傅里叶面生成随机相位变换的相位图像，随机相位的幅度范围为[0，m]，m∈[0.5，1.5]；

步骤4、将步骤2获得的频率域图像与步骤3生成的随机变换的相位图像，在傅里叶面进行相位相加，形成加入随机相位后的傅里叶变换图像，经光学镜片4傅里叶逆变换后，在光学系统的像面形成相位增广的医学图像；相机5记录该增广医学图像；

步骤5、重复步骤3和4，获得不同相位变换后新的增广医学图像。

进一步地，所述第一光学镜片2和第二光学镜片4为焦距相等的透镜，两个光学镜片同轴共焦设置，形成4F光学系统。

进一步地，步骤1中，所述空间光调制器3为相位型的空间光调制器。

进一步地，为了避免产生过大或过小的随机相位，步骤3中，所述随机相位的幅度范围为[0，1]。

进一步地，步骤1中，所述相机5采用高分辨率，高动态范围相机，选用分辨率大于2k*2k的CCD或CMOS探测器，量化位数选为12bit或16bit。

进一步地，采用相位变化的数字图像处理仿真实现医学图像数据增广，包括以下步骤：

步骤1、利用软件读入原始医学图像I

步骤2、将原始医学图像I

式中，B(x，y)为傅里叶变换后的振幅图像；

步骤3、按下式进行随机相位变换，产生随机变换的相位图像p(x，y)

式中，δ(x，y)为随机变换的相位，相位幅度范围为[0，m]，m∈[0.5，1.5]；

步骤4、将步骤2获得的频率域图像与步骤3生成的随机变换的相位图像进行相位相加后，形成加入随机相位后的傅里叶变换图像F’(f

对F’(f

步骤5、重复步骤3和4，获得不同相位变换后新的增广医学图像。

进一步地，上述方法步骤1中，所述软件采用matlab。

进一步地，为了避免产生过大或过小的随机相位，步骤3中，δ(x，y)相位幅度范围为[0，1]。

本发明的有益效果：

1)本发明基于光学相位变化的医学图像数据增广方法，可以利用有限的少量医学图像数据进行增广，从而获得大量的深度学习所需的医学图像数据。本发明充分考虑光学成像的本质，是基于物理过程的图像数据增广方法，相对于现有的其他图像增广，简单直观、物理过程明晰；相比基于生成网络等深度学习的图像数据增广方法，不论是采用光学系统的方法还是采用数字图像处理仿真的方法，都凸显其快速、高效的特点。

2)本发明中光学系统采用两个光学镜片同轴共焦设置，空间光调制器位于共焦点上的傅里叶面，对医学图像的频率信息进行随机相位调制，即可在像面生成增广后的图像；该光学系统的结构简单，易于实现。

3)本发明基于相位变化的医学图像数据增广方法中，只需要改变图像相应的相位信息即可生成新的图像增广数据，可以快速、高效地获取大量的有效图像数据。

附图说明

图1为本发明实施例1的光学系统示意图。

附图标记说明：

1-计算机，2-第一光学镜片，3-空间光调制器，4-第二光学镜片，5-相机。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图和具体实施例对本发明进行详细说明。

本发明基于相位变化的医学图像增广方法，一方面可以利用光学实验平台实现，利用光学系统引入相位信息的变化。另一方面，也可以完全用数字图像处理方法实现，在傅里叶变换后加入相位信息的变化，进而模拟光学相位信息的变化。

实施例1

采用相位变化的光学系统进行医学图像增广的方法，主要步骤为：

第一步，为了引入光学相位的变化，构建了引起相位变化的光学系统，如图1所示，包括沿光路依次设置的第一光学镜片2(L

第二步，将空间光调制器3放置在4F光学系统的傅里叶面，在4F光学系统中，第一光学镜片2和第二光学镜片4同轴共焦设置，空间光调制器3置于第一光学镜片2和第二光学镜片4的中间位置。则原始医学图像经过光学系统后在空间光调制器3所处的位置，即频率域得到图像的频率信息。

第三步，通过计算机1控制空间光调制器3生成光学的随机相位调制。空间光调制器3选用相位型的空间光调制器，随机相位的幅度为[0，m]，其中，m的选择根据实际情况在[0.5，1.5]范围调整，本实施例中，m可为1，或1附近的值。如果m取太大的值，产生的随机相位会过大，导致最终产生的增广图像数据与原始医学图像数据完全不同，失去了数据增广的意义。m取值太小，产生的随机相位小，导致产生的增广图像数据与原始医学图像数据相似，达不到图像增广的目的。

本发明对空间光调制器3的相位调制不局限于随机的相位信息，也可以根据实际的应用产生特定的相位信息。

第四步，使用高分辨率，高动态范围的相机5记录原始医学图像经过光学系统后生成的图像2，相机5获得的该图像即为增广后的图像。

相机5的分辨率应大于空间光调制器3的分辨率，本实施例中可选用分辨率大于2k*2k，量化位数为12bit或16bit的CCD或CMOS探测器。

若需要得到新的增广数据，只需要改变对空间光调制器3的相位调制信息即可。

实施例2

采用相位变化的数字图像处理仿真医学图像增广的方法，主要步骤为：

第一步，利用软件(如matlab)读入原始医学图像I

第二步，采用图像的傅里叶变换，利用式(1)计算原始医学图像I

傅里叶变换后的频率域图像F(f

第三步，利用式(2)产生随机变换的相位图像p(x，y)，

δ(x，y)为随机变换的相位，与光学实验时的类似，该随机变换的相位幅度为[0，m]，m的选择可根据实际情况在[0.5，1.5]范围调整，尽量选择1或1附近的值，避免产生过大或过小的随机相位。

本发明不局限于随机的相位信息，也可以根据实际的应用产生特定的相位信息。

第四步，将式(2)产生的随机变换后的相位图像p(x，y)与式(1)傅里叶变换后的频率域图像F(f

式(3)中，F’(f

傅里叶逆变换后得到相位增广后的图像，因为相机只能记录强度信息，相位信息丢失，所以对于相位增广后的复数图像取绝对值，如式(4)所示，得到图像I

图像I

若需要得到新的增广数据只需要改变相应的相位信息δ(x，y)即可。

本发明基于相位变化的图像数据增广方法，不论是光学系统方法，还是数字图像处理仿真均简单、高效的获得大量有用的数据。

上述两个实施例中，图像数据增广的步骤可以处理的医学图像数据包括医学图像数据本身，也可以包括医生的标注数据。比如，在医学图像分割问题中，首先，对于原始的医学图像经过上述的步骤进行增广；其次，对于相对应的医生标注医学图像数据也在同样的参数下进行上述步骤的增广。这样便完成了完整的医学图像数据对。同理，将上述步骤也可以用于医学图像识别、分类等其他的医学图像领域。

以上仅是对本发明的优选实施方式进行了描述，并非对本发明技术方案的限制，本领域技术人员在本发明主要技术构思的基础上所作的任何公知变形都属于本发明所要保护的技术范畴。