一种视网膜OCT断层分割方法、装置及设备

技术领域

本发明涉及视网膜图像分割技术领域，具体涉及一种视网膜OCT断层分割方法、装置及设备。

背景技术

视网膜血管异常与一些常见疾病，诸如糖尿病、白内障、动脉硬化等有着密切的联系。视网膜断层图像是计算机辅助诊断视网膜疾病的重要依据，因此如何高效准确地对视网膜断层进行分割成为临床诊断的迫切要求。目前，临床检查以荧光素眼底血管造影（fluorescein fundusangiography，FFA）为主，并将其视为“金标准”，但是该检查方法具有明显的创伤性，且耗时相对较长，影响患者的依从性和耐受性。光学相干断层扫描成像（optical coherencetomography，OCT）是一种新型无创、高分辨率的血管成像技术，是近年来在眼科影像学领域中发展最迅速的一项革命新技术，无需组织切片即可无创地观察到眼部组织结构的横断面。

由于眼底OCT图像在拍摄时，血液的流动性使得拍摄结果存在很大的随机性，病变位置也具有一定的不确定性，然而，传统的基于深度学习的方法受限于预定义的类别集，容易过拟合，对分析结果不具有可解释性，无法衡量与疾病有关的不确定性因素，易使分割精度下降，鲁棒性差，限制了OCT在临床中的应用；现有的神经网络主要提取空域特征，忽视了OCT图像中存在的光谱特征。因此，由于现有的方式具有上述缺点，使其最终得到的平均分割准确度较低。

发明内容

有鉴于此，本发明的目的在于提供一种视网膜OCT断层分割方法、装置及设备，以解决现有技术中最终得到的平均分割准确度较低的问题。

根据本发明实施例的第一方面，提供一种视网膜OCT断层分割方法，包括：

获取视网膜OCT图像；

将所述视网膜OCT图像进行空间域编码，提取得到图像空间特征信息；

将所述视网膜OCT图像进行谱域编码，提取得到局部和全局特征信息；

根据所述图像空间特征信息与所述局部和全局特征信息，连接空域和谱域特征，进行解码；

将所述解码结果作为训练数据进行贝叶斯深度学习概率建模，得到后验概率分布；

对所述后验概率分布进行不确定性度量计算，得到计算结果；

根据所述计算结果得出图像分割评价指标Dice值，并依据Dice值得到分割图像。

优选的，所述将所述视网膜OCT图像进行空间域编码，提取得到图像空间特征信息，包括：

利用空间域编码模块进行所述图像空间特征信息的提取；

所述空间域编码模块包括4个卷积模块，每个卷积模块包括依次连接的1个卷积层、1个批归一化层、1个激活函数和1个最大池化层。

优选的，所述将所述视网膜OCT图像进行谱域编码，提取得到局部和全局特征信息，包括：

利用谱域编码模块进行所述局部和全局特征信息的提取；

所述谱域编码模块包括4个快速傅里叶卷积模块。

优选的，所述连接空域和谱域特征，进行解码，包括：

利用解码模块进行解码；所述解码模块利用Y-Net网络进行解码，由4个卷积模块和1个瓶颈层组成。

优选的，所述将所述解码结果作为训练数据进行贝叶斯深度学习概率建模，得到后验概率分布，包括：

利用如下公式得到后验概率分布：

其中，

优选的，所述对所述后验概率分布进行不确定性度量计算，包括：

采用Monte Carlo dropout输出分布，对所述后验概率分布进行采样，对采样结果进行平均值计算，得出模型的不确定性。

优选的，根据所述计算结果得出图像分割评价指标Dice值，并依据Dice值得到分割图像，包括：

所述分割图像包括八层图像，分别为：ILM、NFL-IPL、INL、OPL、ONL-ISM、ISE、OS-RPE、Fluid；

所述图像分割评价指标Dice值为所述八层图像每层对应的Dice值。

优选的，所述图像分割评价指标Dice值的计算公式为：

其中，X为真实值，Y为预测值，

根据本发明实施例的第二方面，提供一种视网膜OCT断层分割装置，包括：

图像获取模块，用于获取视网膜OCT图像；

空间域编码模块，用于将所述视网膜OCT图像进行空间域编码，提取得到图像空间特征信息；

谱域编码模块，用于将所述视网膜OCT图像进行谱域编码，提取得到局部和全局特征信息；

解码模块，用于根据所述图像空间特征信息与所述局部和全局特征信息，连接空域和谱域特征，进行解码；

模型管理模块，用于将所述解码结果作为训练数据进行贝叶斯深度学习概率建模，得到后验概率分布；

计算模块，用于对所述后验概率分布进行不确定性度量计算，得到计算结果；

结果生成模块，用于根据所述计算结果得出图像分割评价指标Dice值，并依据Dice值得到分割图像。

根据本发明实施例的第三方面，提供一种视网膜OCT断层分割设备，包括：

主控器，及与所述主控器相连的存储器；

所述存储器，其中存储有程序指令；

所述主控器用于执行存储器中存储的程序指令，执行上述任一项所述的方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

可以理解的是，本发明示出的技术方案，能够获取视网膜OCT图像；将视网膜OCT图像进行空间域编码，提取得到图像空间特征信息；将视网膜OCT图像进行谱域编码，提取得到局部和全局特征信息；根据图像空间特征信息与局部和全局特征信息，连接空域和谱域特征，进行解码；将解码结果作为训练数据进行贝叶斯深度学习概率建模，得到后验概率分布；对后验概率分布进行不确定性度量计算，得到计算结果；根据所述计算结果得出图像分割评价指标Dice值，并依据Dice值得到分割图像。可以理解的是，该方法能够在解码中引入贝叶斯技术，得到后验分布，提高模型的可靠性，进行不确定性度量计算，减少模型运行参数量，通过空域特征与谱域特征的结合，提高平均分割准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种视网膜OCT断层分割方法的步骤示意图；

图2是根据一示例性实施例示出的一种视网膜OCT断层分割方法的流程示意图；

图3是根据一示例性实施例示出的空域部分单个卷积模块结构图；

图4是根据一示例性实施例示出的谱域部分每个FFC模块内部结构示意图；

图5是根据一示例性实施例示出的深度学习中的MC-Dropout机制的示意图；

图6是根据一示例性实施例示出的一种视网膜OCT断层分割装置的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

实施例一

图1是根据一示例性实施例示出的一种视网膜OCT断层分割方法的步骤示意图，参见图1，提供一种视网膜OCT断层分割方法，包括：

步骤S11、获取视网膜OCT图像；

步骤S12、将所述视网膜OCT图像进行空间域编码，提取得到图像空间特征信息；

步骤S13、将所述视网膜OCT图像进行谱域编码，提取得到局部和全局特征信息；

步骤S14、根据所述图像空间特征信息与所述局部和全局特征信息，连接空域和谱域特征，进行解码；

步骤S15、将所述解码结果作为训练数据进行贝叶斯深度学习概率建模，得到后验概率分布；

步骤S16、对所述后验概率分布进行不确定性度量计算，得到计算结果；

步骤S17、根据所述计算结果得出图像分割评价指标Dice值，并依据Dice值得到分割图像。

图2是根据一示例性实施例示出的一种视网膜OCT断层分割方法的流程示意图，参见图2，在具体实践中，首先需要获取需要的视网膜OCT图像，将输入的图像分别进入分支1和分支2，在分支1中，对输入的图像进行空间域编码，提取得到图像空间特征信息，在分支2中对输入的图像进行谱域编码，提取得到局部和全局特征信息；在得到图像空间特征信息及局部和全局特征信息之后，将代表空域的图像空间特征信息和代表谱域的局部和全局特征信息进行连接，并进行解码操作，进而使用贝叶斯深度学习概率建模，该步骤得到的结果进行Monte Carlo采样，进行不确定性度量计算，最终根据所述计算结果得出图像分割评价指标Dice值，并依据Dice值得到分割图像。

可以理解的是，本发明示出的技术方案，能够获取视网膜OCT图像；将视网膜OCT图像进行空间域编码，提取得到图像空间特征信息；将视网膜OCT图像进行谱域编码，提取得到局部和全局特征信息；根据图像空间特征信息与局部和全局特征信息，连接空域和谱域特征，进行解码；将解码结果作为训练数据进行贝叶斯深度学习概率建模，得到后验概率分布；对后验概率分布进行不确定性度量计算，得到计算结果；根据所述计算结果得出图像分割评价指标Dice值，并依据Dice值得到分割图像。可以理解的是，该方法能够在解码中引入贝叶斯技术，得到后验分布，提高模型的可靠性，进行不确定性度量计算，减少模型运行参数量，通过空域特征与谱域特征的结合，提高平均分割准确度。

在具体实践中，在上述步骤S11中，获取视网膜OCT图像的同时，能够将获取的图像按照一定比例分为训练集和测试集。优选的，本发明实施例为杜克大学SD-OCT图像，由德国海德堡工程公司光学相干断层扫描仪拍摄获取，它由10例糖尿病黄斑水肿(DME)患者的110张OCT B扫描图片组成，尺寸为496×768像素。

需要说明的是，在上述步骤S12中，所述将所述视网膜OCT图像进行空间域编码，提取得到图像空间特征信息，包括：

利用空间域编码模块进行所述图像空间特征信息的提取；

所述空间域编码模块包括4个卷积模块，每个卷积模块包括依次连接的1个卷积层、1个批归一化层、1个激活函数和1个最大池化层。

在具体实践中，参见图3，输入图像进入分支1进行空间域编码，提取空间特征信息。该部分包括4个卷积模块，每个卷积模块包括1个卷积层、1个批归一化层（BN）、1个激活函数（ReLU）和1个最大池化层（MP）。输入图像经过空域编码分支后输出图像空间特征信息。

需要说明的是，在上述步骤S13中，所述将所述视网膜OCT图像进行谱域编码，提取得到局部和全局特征信息，包括：

利用谱域编码模块进行所述局部和全局特征信息的提取；

所述谱域编码模块包括4个快速傅里叶卷积模块。

在具体实践中，参见图4，输入图像进入分支二进行谱域编码，提取局部和全局特征信息。谱域编码由4个快速傅里叶卷积（Fast Fourier convolutional，FFC）模块组成，经FFC模块输出全局特征和局部特征。

需要说明的是，步骤S14中，所述连接空域和谱域特征，进行解码，包括：

利用解码模块进行解码；所述解码模块利用Y-Net网络进行解码，由4个卷积模块和1个瓶颈层组成。

需要说明的是，步骤S15中，所述将所述解码结果作为训练数据进行贝叶斯深度学习概率建模，得到后验概率分布，包括：

利用如下公式得到后验概率分布：

其中，

可以理解的是，在Y-Net网络解码阶段进行贝叶斯概率建模，得到权重后验概率分布，Y形网络中引入贝叶斯技术，通过高斯概率分布得到后验分布，提高模型的可靠性。

需要说明的是，步骤S16中，所述对所述后验概率分布进行不确定性度量计算，包括：

采用Monte Carlo dropout输出分布，对所述后验概率分布进行采样，对采样结果进行平均值计算，得出模型的不确定性。

在具体实践中，参见图5，Dropout技术主要用于深度学习模型的正则化，以防止模型在训练过程中过拟合。采用Monte Carlo dropout （MC dropout）输出分布，计算不同采样次数的输出结果，取各次结果的平均值即为模型的不确定性。

需要说明的是，所述根据所述计算结果得出图像分割评价指标Dice值，并依据Dice值得到分割图像，包括：

所述分割图像包括八层图像，分别为：ILM、NFL-IPL、INL、OPL、ONL-ISM、ISE、OS-RPE、Fluid；

所述图像分割评价指标Dice值为所述八层图像每层对应的Dice值。

需要说明的是，所述图像分割评价指标Dice值的计算公式为：

其中，X为真实值，Y为预测值，

实施例二

图6是根据一示例性实施例示出的一种视网膜OCT断层分割装置的示意框图，参见图6，提供一种视网膜OCT断层分割装置，包括：

图像获取模块101，用于获取视网膜OCT图像；

空间域编码模块102，用于将所述视网膜OCT图像进行空间域编码，提取得到图像空间特征信息；

谱域编码模块103，用于将所述视网膜OCT图像进行谱域编码，提取得到局部和全局特征信息；

解码模块104，用于根据所述图像空间特征信息与所述局部和全局特征信息，连接空域和谱域特征，进行解码；

模型管理模块105，用于将所述解码结果作为训练数据进行贝叶斯深度学习概率建模，得到后验概率分布；

计算模块106，用于对所述后验概率分布进行不确定性度量计算，得到计算结果；

结果生成模块107，用于根据所述计算结果得出图像分割评价指标Dice值，并依据Dice值得到分割图像。

可以理解的是，本实施例示出的技术方案，能够通过图像获取模块101获取视网膜OCT图像；通过空间域编码模块102将视网膜OCT图像进行空间域编码，提取得到图像空间特征信息；通过谱域编码模块103将视网膜OCT图像进行谱域编码，提取得到局部和全局特征信息；通过解码模块104根据图像空间特征信息与局部和全局特征信息，连接空域和谱域特征，进行解码；通过模型管理模块105将解码结果作为训练数据进行贝叶斯深度学习概率建模，得到后验概率分布；通过计算模块106对后验概率分布进行不确定性度量计算，得到计算结果；通过结果生成模块107根据所述计算结果得出图像分割评价指标Dice值，并依据Dice值得到分割图像。可以理解的是，该实施例示出的技术方案能够在解码中引入贝叶斯技术，得到后验分布，提高模型的可靠性，进行不确定性度量计算，减少模型运行参数量，通过空域特征与谱域特征的结合，提高平均分割准确度。

实施例三

提供一种视网膜OCT断层分割设备，包括：

主控器，及与所述主控器相连的存储器；

所述存储器，其中存储有程序指令；

所述主控器用于执行存储器中存储的程序指令，执行上述任一项所述的方法。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。