基于人工智能的OCT图像推荐方法、装置、设备及介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于人工智能的OCT图像推荐方法、装置、电子设备及存储介质。

背景技术

光相干断层扫描(Optical Coherence tomography，OCT)是一种用于眼底疾病影像检查的成像技术，具有高分辨率、非接触、非创伤性的特点。由于眼球结构具有独特的光学特性，所以OCT成像技术在眼科领域尤其是眼底疾病检查中得到了广泛的应用。

医生经常需要找到与当前病人的病灶特征较为相似的以往病例进行比对研究，然而以往病例的数据量巨大，尤其当多种病灶出现在同一图片中时，医生难以快速找到合适的以往病例进行参考，从而降低了医生的诊断效率。

发明内容

鉴于以上内容，有必要提出一种基于人工智能的OCT图像推荐方法、装置、电子设备及存储介质，以解决如何提高医生的诊断效率这一技术问题。

本申请提供一种基于人工智能的OCT图像推荐方法，所述方法包括：

获取眼底OCT图像，并对获取到的所有眼底OCT图像进行预处理得到OCT待测图像集；

将所述OCT待测图像集中的图像输入网络检测模型进行病灶检测得到病灶检测结果，并将所述OCT待测图像集中所有检测出病灶的图像作为病灶图像集，所述病灶图像集中的病灶包括多种病灶类型；

依据每种病灶类型的检测结果构建病灶向量，并基于所述病灶图像集中的病灶向量和待测病人的病灶向量筛选所述病灶图像集得到有效病灶图像集；

计算所述有效病灶图像集中各图像的病灶特征指标，所述病灶特征指标包括面积特征指标、颜色特征指标和形状特征指标；

基于所述有效病灶图像集中各图像的病灶特征指标和待测病人的病灶特征指标对所述有效病灶图像集中的图像进行评估，并根据评估结果获取OCT推荐图像。

在一些实施例中，所述获取眼底OCT图像，并对获取到的所有眼底OCT图像进行预处理得到OCT待测图像集包括：

依据OCT系统扫描人眼获取眼底OCT图片；

对所述眼底OCT图片进行降采样，并对降采样后的眼底OCT图像进行尺寸修正后得到OCT待测图像，将所有的OCT待测图像作为所述OCT待测图像集。

在一些实施例中，所述将所述OCT待测图像集中的图像输入网络检测模型进行病灶检测得到病灶检测结果包括：

对所述OCT待测图像集中的图像进行标注获得OCT样本图像；

基于所述OCT样本图像训练网络检测模型，并利用训练好的网络检测模型对所述待测图像集中的图像进行病灶检测获得病灶检测结果。

在一些实施例中，所述依据每种病灶类型的检测结果构建病灶向量，并基于所述病灶图像集中的病灶向量和待测病人的病灶向量筛选所述病灶图像集得到有效病灶图像集包括：

依据所述病灶图像集中每幅图像中所包含的每种病灶类型的检测结果构建病灶向量；

分别对待测病人的病灶向量和所述病灶图像集中每幅图像对应的病灶向量进行向量乘法运算，将所述病灶图像集中所有运算结果不为0对应的图像作为有效病灶图像集。

在一些实施例中，所述计算所述有效病灶图像集中各图像的病灶特征指标，所述病灶特征指标包括面积特征指标、颜色特征指标和形状特征指标包括：

依据连通域分析法获取所述有效病灶图像集中各图像中的每一种病灶的面积以作为所述面积特征指标；

将所述有效病灶图像集中的各图像转换为灰度图，并将所述有效病灶图像集中各图像中的每一种病灶的平均灰度作为所述颜色特征指标；

对所述有效病灶图像集中各图像中的每一种病灶进行凸包分析以获取形状特征指标。

在一些实施例中，所述对所述有效病灶图像集中各图像中的每一种病灶进行凸包分析以获取形状特征指标包括：

对所述有效病灶图像集中各图像中的每一种病灶进行凸包分析获得病灶凸包轮廓；

对所述病灶凸包轮廓进行相似变换得到变换凸包轮廓；

分别计算待测病人的病灶凸包轮廓和每一个变换凸包轮廓的相似性，并将得到的相似性结果作为所述形状特征指标。

在一些实施例中，所述基于所述有效病灶图像集中各图像的病灶特征指标和待测病人的病灶特征指标对所述有效病灶图像集中的图像进行评估，并根据评估结果获取OCT推荐图像包括：

依据所述有效图像集中每幅图像的面积特征指标、颜色特征指标和形状特征指标分别构建对应的面积特征向量、颜色特征向量和形状特征向量；

分别计算待测病人的面积特征向量、颜色特征向量与所述有效病灶图像集中每幅图像的面积特征向量、颜色特征向量的余弦相似性得到面积特征相似值、颜色特征相似值，并计算所述有效病灶图像集中每幅图像的形状特征向量中各元素的平均值作为形状特征相似值；

计算所述有效病灶图像集中每幅图像对应的面积特征相似值、颜色特征相似值和形状特征相似值的平均值，并选取最大平均值对应的图像作为OCT推荐图像。

本申请实施例还提供一种基于人工智能的OCT图像推荐装置，所述装置包括：

获取单元，用于获取眼底OCT图像，并对获取到的所有眼底OCT图像进行预处理得到OCT待测图像集；

检测单元，用于将所述OCT待测图像集中的图像输入网络检测模型进行病灶检测得到病灶检测结果，并将所述OCT待测图像集中所有检测出病灶的图像作为病灶图像集，所述病灶图像集中的病灶包括多种病灶类型；

筛选单元，用于依据每种病灶类型的检测结果构建病灶向量，并基于所述病灶图像集中的病灶向量和待测病人的病灶向量筛选所述病灶图像集得到有效病灶图像集；

计算单元，用于计算所述有效病灶图像集中各图像的病灶特征指标，所述病灶特征指标包括面积特征指标、颜色特征指标和形状特征指标；

评估单元，用于基于所述有效病灶图像集中各图像的病灶特征指标和待测病人的病灶特征指标对所述有效病灶图像集中的图像进行评估，并根据评估结果获取OCT推荐图像。

本申请实施例还提供一种电子设备，所述电子设备包括：

存储器，存储至少一个指令；

处理器，执行所述存储器中存储的指令以实现所述的基于人工智能的OCT图像推荐方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的基于人工智能的OCT图像推荐方法。

本申请通过计算OCT图像的病灶特征指标，并根据病灶特征指标构造向量进行运算来快速推荐相似的OCT图片用于辅助诊断，可以大大提高眼科医生的阅片和诊断效率。

附图说明

图1是本申请所涉及的基于人工智能的OCT图像推荐方法的较佳实施例的流程图。

图2是本申请所涉及的基于人工智能的OCT图像推荐装置的较佳实施例的功能模块图。

图3是本申请所涉及的基于人工智能的OCT图像推荐方法的较佳实施例的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本申请的目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，所述描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本申请实施例提供一种基于人工智能的OCT图像推荐方法，可应用于一个或者多个电子设备中，电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

电子设备可以是任何一种可与客户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。

电子设备还可以包括网络设备和/或客户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。

电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

如图1所示，是本申请基于人工智能的OCT图像推荐方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S10，获取眼底OCT图像，并对获取到的所有眼底OCT图像进行预处理得到OCT待测图像集。

在一个可选的实施例中，所述获取眼底OCT图像，并对获取到的所有眼底OCT图像进行预处理得到OCT待测图像集包括：

S101，依据OCT系统扫描人眼获取眼底OCT图片；

S102，对所述眼底OCT图片进行降采样，并对降采样后的眼底OCT图像进行尺寸修正后得到OCT待测图像，将所有的OCT待测图像作为所述OCT待测图像集。

该可选的实施例中，所述OCT系统可使用眼科相关的医联体影像平台，此平台能够提供眼底彩照和OCT的一站式智能检查服务，可以对接市面上大部分型号的眼底彩照和OCT设备。此系统的核心服务是为眼科诊疗机构、眼科筛查组织、接受眼科筛查的人民群众，提供一个眼底彩照和OCT平台化信息管理、流程集成化服务，包括面向商业端的检查图像的阅片、病灶病种识别分类、风险提示、眼科电子病历、眼科医联体转诊服务、典型病例库、相似病例推荐等辅助诊疗工具；面向消费者端的个性化报告、慢病预测、眼健康科普。

该可选的实施例中，基于眼底OCT影像的病灶提取装置获取原始眼底光学相干断层扫描技术(Opticalcoherence Tomography，OCT)影像。其中，该原始眼底OCT影像由OCT设备直接得到，未经过任何处理。

该可选的实施例中，目前OCT分为两大类：时域OCT(time domain opticalcoherence tomography，TD-OCT)和频域OCT(frequency domain optical coherencetomography，FD-OCT)。时域OCT是把在同一时间从组织中反射回来的光信号与参照反光镜反射回来的光信号叠加、干涉，然后成像。频域OCT是参考臂的参照反光镜固定不动，通过改变光源光波的频率来实现信号的干涉。本发明实施例可以通过多种方式获取原始眼底OCT影像，可以通过TD-OCT方式获取，还可以通过FD-OCT方式获取，具体采用何种获取方式此处不做限定。

该可选的实施例中，对获取到的眼底OCT图片进行降采样处理，并对经过降采样处理得到的图像尺寸进行修正。例如，对图像从原分辨率1024*640降采样至512*320大小，并加入上下黑边得到512*512的OCT图像，作为待检测图像，并将所有的待检测图像作为所述OCT待测图像集。

如此，可以根据OCT系统对OCT图片进行统一采集和处理，提高OCT图片的获取效率，同时对OCT图片进行统一尺寸的处理，便于得到符合后续网络检测模型要求的统一尺寸，提高检测效率。

S11，将所述OCT待测图像集中的图像输入网络检测模型进行病灶检测得到病灶检测结果，并将所述OCT待测图像集中所有检测出病灶的图像作为病灶图像集，所述病灶图像集中的病灶包括多种病灶类型。

在一个可选的实施例中，所述将所述OCT待测图像集中的图像输入网络检测模型进行病灶检测得到病灶检测结果包括：

S111，对所述OCT待测图像集中的图像进行标注获得OCT样本图像；

S112，基于所述OCT样本图像训练网络检测模型，并利用训练好的网络检测模型对所述待测图像集中的图像进行病灶检测获得病灶检测结果。

该可选的实施例中，本方案共选取17种类别的眼底病灶样本图片作为OCT待测图像集供网络检测模型进行训练和检测，所述17种类别的眼底病灶包括：视网膜前膜、玻璃体黄斑牵拉、全层黄斑裂孔、局灶性高反射点、弥漫性高反射区、视网膜内积液、视网膜下积液、视网膜劈裂、后巩膜葡萄肿、玻璃膜疣、视网膜色素上皮萎缩、视网膜色素上皮脱离、脉络膜新生血管、脉络膜形态异常、视网膜其他异常、板层或假性黄斑裂孔、椭圆体带不规则或缺失，其中每张样本图片上至少存在一个类别的病灶。

该可选的实施例中，将所述OCT待测图像集的图像中标注的病灶框的左上角坐标以及长宽和类别标签作为模型输入样本的给定值用于训练，同时对图像和标注作对应的增强处理(包括裁剪，缩放，旋转，对比度变化等)，用于提高模型训练的泛化能力。

该可选的实施例中，对不同类别的病灶标注不同的标签值作为训练样本，如1、2、3等自然数，对图片中不含有病灶的区域用标签0进行标注，并可通过语义分割网络进行训练，从而使输出的结果中不同类别的病灶对应不同的颜色。

该可选的实施例中，将标注好的训练样本按比例划分为训练集和测试集，其中训练集的样本比例为80％，测试集的训练样本比例为20％。将训练集中的训练样本和对应的标签送入网络检测模型中进行训练，利用所述测试集中的测试样本测试网络检测模型的准确率，若所述准确率大于或等于预设准确率，则训练结束，若所述准确率小于预设准确率，则继续上述训练步骤，其中，预设准确率可以设定为90％或95％。其中，训练过程中使用的损失函数为交叉熵损失函数，激活函数采用sigmoid函数。

该可选的实施例中，可利用训练好的网络检测模型对所述待测图像集中的图像进行病灶检测从而获得病灶检测结果，并将所述OCT待测图像集中所有检测出病灶的图像作为病灶图像集，所述病灶图像集中的病灶包括多种病灶类型。

如此，仅用一个网络检测模型即可识别出一张眼部OCT图像中的多种病灶类型，无需多个检测模型对多种病灶类型进行分别识别，降低时间损耗和计算资源开销，并提高了识别预测效率，节约成本。

S12，依据每种病灶类型的检测结果构建病灶向量，并基于所述病灶图像集中的病灶向量和待测病人的病灶向量筛选所述病灶图像集得到有效病灶图像集。

在一个可选的实施例中，所述依据每种病灶类型的检测结果构建病灶向量，并基于所述病灶图像集中的病灶向量和待测病人的病灶向量筛选所述病灶图像集得到有效病灶图像集包括：

S121，依据所述病灶图像集中每幅图像中所包含的每种病灶类型的检测结果构建病灶向量；

S122，分别对待测病人的病灶向量和所述病灶图像集中每幅图像对应的病灶向量进行向量乘法运算，将所述病灶图像集中所有运算结果不为0对应的图像作为有效病灶图像集。

该可选的实施例中，所述病灶图像集中每幅图像中所包含的每种病灶类型的检测结果包括有和无两种，并将各种病灶类型的检测结果使用17位的二进制数进行表示，按以下固定顺序排列成17维向量，每维数值0代表对应类型的病灶不存在，为阴性，1代表对应类型的病灶存在，为阳性。

该可选的实施例中，病灶向量中的病灶顺序为：视网膜前膜、玻璃体黄斑牵拉，全层黄斑裂孔，局灶性高反射点，弥漫性高反射区，视网膜内积液，视网膜下积液，视网膜劈裂，后巩膜葡萄肿，玻璃膜疣，视网膜色素上皮萎缩，视网膜色素上皮脱离，脉络膜新生血管，脉络膜形态异常，视网膜其他异常，板层或假性黄斑裂孔，椭圆体带不规则或缺失。

示例性的，若对样本标注视网膜前膜，玻璃体黄斑牵拉，全层黄斑裂孔，局灶性高反射点四种类型生成四维标签向量，每个向量元素表示一种病灶。若生成的病灶向量为[0,0,1,1]，则表示对应的视网膜前膜，玻璃体黄斑牵拉两种病灶呈阴性，全层黄斑裂孔，局灶性高反射点两种病灶呈阳性。

该可选的实施例中，分别对待测病人的病灶向量和所述病灶图像集中每幅图像对应的病灶向量进行向量乘法运算，将所述病灶图像集中所有运算结果不为0对应的图像作为有效病灶图像集。

示例性的，待测病人的病灶向量为(1，0，1，0，0，0，0，0，0，0，1，0，1，0，0，0，0)，病灶图像集中的图像A对应的病灶向量为(1，1，1，0，0，0，0，0，0，0，1，0，1，0，0，1，1)，则对这两个向量进行向量乘法运算后得到的运算结果为(1，0，1，0，0，0，0，0，0，0，0，0，1，0，0，0，0)，由于运算结果中的元素不全为0，因此将该图像A归于有效病灶图像集中；病灶图像集中的图像B对应的病灶向量为(0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，1，1)，则与待测病人的病灶向量相乘后的运算结果为(0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0)，即最终的运算结果为0，因此对该图像B进行滤除。

如此，通过将不同类型的病灶的检测结果表示为二进制的向量进行运算，可快速筛选出与待测病人有相同病灶类型的OCT图片，减少冗余的OCT图片，提高后续过程的计算效率。

S13，计算所述有效病灶图像集中各图像的病灶特征指标，所述病灶特征指标包括面积特征指标、颜色特征指标和形状特征指标。

在一个可选的实施例中，所述计算所述有效病灶图像集中各图像的病灶特征指标，所述病灶特征指标包括面积特征指标、颜色特征指标和形状特征指标包括：

S131依据连通域分析法获取所述有效病灶图像集中各图像中的每一种病灶的面积以作为所述面积特征指标；

S132，将所述有效病灶图像集中的各图像转换为灰度图，并将所述有效病灶图像集中各图像中的每一种病灶的平均灰度作为所述颜色特征指标；

S133，对所述有效病灶图像集中各图像中的每一种病灶进行凸包分析以获取形状特征指标。

该可选的实施例中，可通过连通域分析法逐个计算所述有效病灶图像集中各图像中的每一种病灶的像素点数量，从而获取对应的面积作为所述面积特征指标。其中，连通域是相同像素值的相邻像素组成的集合，将每个连通域设置一个标记，就完成了连通域分析。

该可选的实施例中，可通过将所述有效病灶图像集中的各图像转换为灰度图，灰度区间为[0-255]，然后计算所述有效病灶图像集中各图像中的每一种病灶的平均灰度作为所述颜色特征指标。

该可选的实施例中，可对所述有效病灶图像集中各图像中的每一种病灶进行凸包分析获得病灶凸包轮廓，其中，过某些点作一个多边形，使这个多边形能把所有点都“包”起来，当这个多边形是凸多边形的时候，我们就叫它“凸包”。

该可选的实施例中，由于每个病人的凸包轮廓形状是不同的，因此为得到与待测病人的凸包轮廓形状最为相似的凸包轮廓，首先使用相似变换算法对所述病灶凸包轮廓进行相似变换得到变换凸包轮廓，其中，图形的相似变换是指由一个图形到另一个图形，在改变的过程中保持形状不变(大小方向和位置可变)的图形。

该可选的实施例中，可通过归一化模板匹配算法分别计算待测病人的病灶凸包轮廓和每一个变换凸包轮廓的相似性，并将得到的相似性结果作为所述形状特征指标。其中，归一化互相关匹配算法以待测病人的凸包轮廓为模板，遍历每一个变换凸包轮廓中的每一个可能的位置，比较各处与模板是否“相似”，取值范围为[0,1]，越接近1说明相似度越高。

示例性的，待测病人有视网膜前膜、玻璃体黄斑牵拉，全层黄斑裂孔三种病灶，有效病灶图像集中图像P也有视网膜前膜、玻璃体黄斑牵拉，全层黄斑裂孔三种病灶，设通过归一化模板匹配算法分别计算各病灶类别对应的病灶凸包轮廓的相似性得到的计算结果为0.3、0.6、0.2，则将0.3、0.6、0.2作为对应的病灶类别的形状特征指标。

如此，可以通过计算OCT图像的病灶特征指标，并根据病灶特征指标在后续过程中构造向量进行运算对OCT图像进行评估，提高评估的准确性。

S14，基于所述有效病灶图像集中各图像的病灶特征指标和待测病人的病灶特征指标对所述有效病灶图像集中的图像进行评估，并根据评估结果获取OCT推荐图像。

在一个可选的实施例中，所述基于所述有效病灶图像集中各图像的病灶特征指标和待测病人的病灶特征指标对所述有效病灶图像集中的图像进行评估，并根据评估结果获取OCT推荐图像包括：

S141，依据所述有效图像集中每幅图像的面积特征指标、颜色特征指标和形状特征指标分别构建对应的面积特征向量、颜色特征向量和形状特征向量；

S142，分别计算待测病人的面积特征向量、颜色特征向量与所述有效病灶图像集中每幅图像的面积特征向量、颜色特征向量的余弦相似性得到面积特征相似值、颜色特征相似值，并计算所述有效病灶图像集中每幅图像的形状特征向量中各元素的平均值作为形状特征相似值；

S143，计算所述有效病灶图像集中每幅图像对应的面积特征相似值、颜色特征相似值和形状特征相似值的平均值，并选取最大平均值对应的图像作为OCT推荐图像。

该可选的实施例中，可根据所述有效病灶图像集中每幅图像所包含的每种类型的病灶的面积特征指标、颜色特征指标和形状特征指标分别构建对应的面积特征向量、颜色特征向量和形状特征向量。

该可选的实施例中，由于形状特征指标是基于有效图像集中每幅图像中的病灶凸包轮廓与待测病人图像中的病灶凸包轮廓的相似性获得的，因此形状特征指标是有效图像集中每幅图像与待测病人图像所共有的，在构建形状特征向量的时候，若有效图像集中每幅图像与待测病人图像的对应类别的病灶均不存在，则对应类别的病灶的形状特征指标为1。

示例性的，有效图像集中的图像K只有病灶视网膜前膜为阳性，待测病人只有病灶玻璃体黄斑牵拉为阳性，则二者对应的形状特征指标向量为(0，0，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1)。

示例性的，所述有效病灶图像集中的图像C中只有视网膜前膜，玻璃体黄斑牵拉，全层黄斑裂孔，局灶性高反射点四种类型的病灶为阳性，其余类型的病灶为阴性，四类阳性的病灶对应的面积特征指标为2、6、8、5，颜色特征指标为28、39、58、66，形状特征指标为0.4、0.5、0.2、0.6；而待测病人只有视网膜前膜、全层黄斑裂孔、局灶性高反射点和脉络膜形态异常为阳性，则可构建图像C对应的面积特征向量、颜色特征向量和形状特征向量分别为(2，6，8，5，0，0，0，0，0，0，0，0，0，0，0，0，0)、(28，39，58，66，0，0，0，0，0，0，0，0，0，0，0，0，0)、(0.4，0，0.2，0.6，1，1，1，1，1，1，1，1，1，1，1，1，1)。

该可选的实施例中，可通过余弦相似性算法分别计算待测病人的面积特征向量、颜色特征向量与所述有效病灶图像集中每幅图像的面积特征向量、颜色特征向量的余弦相似性得到面积特征相似值、颜色特征相似值，并计算所述有效病灶图像集中每幅图像的形状特征向量中各元素的平均值作为形状特征相似值。

示例性的，待测病人的面积特征向量、颜色特征向量分别为(3，0，6，2，0，0，0，0，0，0，0，0，0，2，0，0，0)、(22，0，53，11，0，0，0，0，0，0，0，0，0，89，0，0，0)，则与图像C的面积特征向量、颜色特征向量通过余弦相似性分别进行计算即可得到对应的面积特征相似值和颜色特征相似值，同时，计算图像C的形状特征向量中各元素的平均值作为形状特征相似值，即0.4+0+0.2+0.6+1+1+1+1+1+1+1+1+1+1+1+1+1/17＝0.84。

该可选的实施例中，计算所述有效病灶图像集中每幅图像对应的面积特征相似值、颜色特征相似值和形状特征相似值的平均值，并选取最大平均值对应的图像作为OCT推荐图像。

示例性的，所述有效病灶图像集中图像D对应的面积特征相似值、颜色特征相似值和形状特征相似值分别为0.6、0.2、0.4，则平均值为0.4，将有效病灶图像集中各图像对应的面积特征相似值、颜色特征相似值和形状特征相似值的平均值都计算出来后，选取其中最大的平均值所对应的图片作为OCT推荐图像。

如此，通过得到的所述病灶特征指标和待测病人的病灶图像对有效病灶图像集中的图像进行量化评估，从而确定与待测病人的OCT图像最为相似的OCT图像作为OCT推荐图像，有效提供了获得OCT推荐图像的准确度。

请参见图2，图2是本申请基于人工智能的OCT图像推荐装置的较佳实施例的功能模块图。基于人工智能的OCT图像推荐装置11包括获取单元110、检测单元111、筛选单元112、计算单元113、评估单元114。本申请所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。

在一个可选的实施例中，获取单元110用于获取眼底OCT图像，并对获取到的所有眼底OCT图像进行预处理得到OCT待测图像集。

在一个可选的实施例中，所述获取眼底OCT图像，并对获取到的所有眼底OCT图像进行预处理得到OCT待测图像集包括：

依据OCT系统扫描人眼获取眼底OCT图片；

对所述眼底OCT图片进行降采样，并对降采样后的眼底OCT图像进行尺寸修正后得到OCT待测图像，将所有的OCT待测图像作为所述OCT待测图像集。

该可选的实施例中，所述OCT系统可使用眼科相关的医联体影像平台，此平台能够提供眼底彩照和OCT的一站式智能检查服务，可以对接市面上大部分型号的眼底彩照和OCT设备。此系统的核心服务是为眼科诊疗机构、眼科筛查组织、接受眼科筛查的人民群众，提供一个眼底彩照和OCT平台化信息管理、流程集成化服务，包括面向商业端的检查图像的阅片、病灶病种识别分类、风险提示、眼科电子病历、眼科医联体转诊服务、典型病例库、相似病例推荐等辅助诊疗工具；面向消费者端的个性化报告、慢病预测、眼健康科普。

该可选的实施例中，基于眼底OCT影像的病灶提取装置获取原始眼底光学相干断层扫描技术(Opticalcoherence Tomography，OCT)影像。其中，该原始眼底OCT影像由OCT设备直接得到，未经过任何处理。

该可选的实施例中，目前OCT分为两大类：时域OCT(time domain opticalcoherence tomography，TD-OCT)和频域OCT(frequency domain optical coherencetomography，FD-OCT)。时域OCT是把在同一时间从组织中反射回来的光信号与参照反光镜反射回来的光信号叠加、干涉，然后成像。频域OCT是参考臂的参照反光镜固定不动，通过改变光源光波的频率来实现信号的干涉。本发明实施例可以通过多种方式获取原始眼底OCT影像，可以通过TD-OCT方式获取，还可以通过FD-OCT方式获取，具体采用何种获取方式此处不做限定。

该可选的实施例中，对获取到的眼底OCT图片进行降采样处理，并对经过降采样处理得到的图像尺寸进行修正。例如，对图像从原分辨率1024*640降采样至512*320大小，并加入上下黑边得到512*512的OCT图像，作为待检测图像，并将所有的待检测图像作为所述OCT待测图像集。

在一个可选的实施例中，检测单元111用于将所述OCT待测图像集中的图像输入网络检测模型进行病灶检测得到病灶检测结果，并将所述OCT待测图像集中所有检测出病灶的图像作为病灶图像集，所述病灶图像集中的病灶包括多种病灶类型。

在一个可选的实施例中，所述将所述OCT待测图像集中的图像输入网络检测模型进行病灶检测得到病灶检测结果包括：

对所述OCT待测图像集中的图像进行标注获得OCT样本图像；

基于所述OCT样本图像训练网络检测模型，并利用训练好的网络检测模型对所述待测图像集中的图像进行病灶检测获得病灶检测结果。

该可选的实施例中，本方案共选取17种类别的眼底病灶样本图片作为OCT待测图像集供网络检测模型进行训练和检测，所述17种类别的眼底病灶包括：视网膜前膜、玻璃体黄斑牵拉、全层黄斑裂孔、局灶性高反射点、弥漫性高反射区、视网膜内积液、视网膜下积液、视网膜劈裂、后巩膜葡萄肿、玻璃膜疣、视网膜色素上皮萎缩、视网膜色素上皮脱离、脉络膜新生血管、脉络膜形态异常、视网膜其他异常、板层或假性黄斑裂孔、椭圆体带不规则或缺失，其中每张样本图片上至少存在一个类别的病灶。

该可选的实施例中，将所述OCT待测图像集的图像中标注的病灶框的左上角坐标以及长宽和类别标签作为模型输入样本的给定值用于训练，同时对图像和标注作对应的增强处理(包括裁剪，缩放，旋转，对比度变化等)，用于提高模型训练的泛化能力。

该可选的实施例中，对不同类别的病灶标注不同的标签值作为训练样本，如1、2、3等自然数，对图片中不含有病灶的区域用标签0进行标注，并可通过语义分割网络进行训练，从而使输出的结果中不同类别的病灶对应不同的颜色。

该可选的实施例中，将标注好的训练样本按比例划分为训练集和测试集，其中训练集的样本比例为80％，测试集的训练样本比例为20％。将训练集中的训练样本和对应的标签送入网络检测模型中进行训练，利用所述测试集中的测试样本测试网络检测模型的准确率，若所述准确率大于或等于预设准确率，则训练结束，若所述准确率小于预设准确率，则继续上述训练步骤，其中，预设准确率可以设定为90％或95％。其中，训练过程中使用的损失函数为交叉熵损失函数，激活函数采用sigmoid函数。

该可选的实施例中，可利用训练好的网络检测模型对所述待测图像集中的图像进行病灶检测从而获得病灶检测结果，并将所述OCT待测图像集中所有检测出病灶的图像作为病灶图像集，所述病灶图像集中的病灶包括多种病灶类型。

在一个可选的实施例中，筛选单元112用于依据每种病灶类型的检测结果构建病灶向量，并基于所述病灶图像集中的病灶向量和待测病人的病灶向量筛选所述病灶图像集得到有效病灶图像集。

在一个可选的实施例中，所述依据每种病灶类型的检测结果构建病灶向量，并基于所述病灶图像集中的病灶向量和待测病人的病灶向量筛选所述病灶图像集得到有效病灶图像集包括：

依据所述病灶图像集中每幅图像中所包含的每种病灶类型的检测结果构建病灶向量；

分别对待测病人的病灶向量和所述病灶图像集中每幅图像对应的病灶向量进行向量乘法运算，将所述病灶图像集中所有运算结果不为0对应的图像作为有效病灶图像集。

该可选的实施例中，所述病灶图像集中每幅图像中所包含的每种病灶类型的检测结果包括有和无两种，并将各种病灶类型的检测结果使用17位的二进制数进行表示，按以下固定顺序排列成17维向量，每维数值0代表对应类型的病灶不存在，为阴性，1代表对应类型的病灶存在，为阳性。

该可选的实施例中，病灶向量中的病灶顺序为：视网膜前膜、玻璃体黄斑牵拉，全层黄斑裂孔，局灶性高反射点，弥漫性高反射区，视网膜内积液，视网膜下积液，视网膜劈裂，后巩膜葡萄肿，玻璃膜疣，视网膜色素上皮萎缩，视网膜色素上皮脱离，脉络膜新生血管，脉络膜形态异常，视网膜其他异常，板层或假性黄斑裂孔，椭圆体带不规则或缺失。

示例性的，若对样本标注视网膜前膜，玻璃体黄斑牵拉，全层黄斑裂孔，局灶性高反射点四种类型生成四维标签向量，每个向量元素表示一种病灶。若生成的病灶向量为[0,0,1,1]，则表示对应的视网膜前膜，玻璃体黄斑牵拉两种病灶呈阴性，全层黄斑裂孔，局灶性高反射点两种病灶呈阳性。

该可选的实施例中，分别对待测病人的病灶向量和所述病灶图像集中每幅图像对应的病灶向量进行向量乘法运算，将所述病灶图像集中所有运算结果不为0对应的图像作为有效病灶图像集。

示例性的，待测病人的病灶向量为(1，0，1，0，0，0，0，0，0，0，1，0，1，0，0，0，0)，病灶图像集中的图像A对应的病灶向量为(1，1，1，0，0，0，0，0，0，0，1，0，1，0，0，1，1)，则对这两个向量进行向量乘法运算后得到的运算结果为(1，0，1，0，0，0，0，0，0，0，0，0，1，0，0，0，0)，由于运算结果中的元素不全为0，因此将该图像A归于有效病灶图像集中；病灶图像集中的图像B对应的病灶向量为(0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，1，1)，则与待测病人的病灶向量相乘后的运算结果为(0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0)，即最终的运算结果为0，因此对该图像B进行滤除。

在一个可选的实施例中，计算单元113用于计算所述有效病灶图像集中各图像的病灶特征指标，所述病灶特征指标包括面积特征指标、颜色特征指标和形状特征指标。

在一个可选的实施例中，所述计算所述有效病灶图像集中各图像的病灶特征指标，所述病灶特征指标包括面积特征指标、颜色特征指标和形状特征指标包括：

依据连通域分析法获取所述有效病灶图像集中各图像中的每一种病灶的面积以作为所述面积特征指标；

将所述有效病灶图像集中的各图像转换为灰度图，并将所述有效病灶图像集中各图像中的每一种病灶的平均灰度作为所述颜色特征指标；

对所述有效病灶图像集中各图像中的每一种病灶进行凸包分析以获取形状特征指标。

该可选的实施例中，可通过连通域分析法逐个计算所述有效病灶图像集中各图像中的每一种病灶的像素点数量，从而获取对应的面积作为所述面积特征指标。其中，连通域是相同像素值的相邻像素组成的集合，将每个连通域设置一个标记，就完成了连通域分析。

该可选的实施例中，可通过将所述有效病灶图像集中的各图像转换为灰度图，灰度区间为[0-255]，然后计算所述有效病灶图像集中各图像中的每一种病灶的平均灰度作为所述颜色特征指标。

该可选的实施例中，可对所述有效病灶图像集中各图像中的每一种病灶进行凸包分析获得病灶凸包轮廓，其中，过某些点作一个多边形，使这个多边形能把所有点都“包”起来，当这个多边形是凸多边形的时候，我们就叫它“凸包”。

该可选的实施例中，由于每个病人的凸包轮廓形状是不同的，因此为得到与待测病人的凸包轮廓形状最为相似的凸包轮廓，首先使用相似变换算法对所述病灶凸包轮廓进行相似变换得到变换凸包轮廓，其中，图形的相似变换是指由一个图形到另一个图形，在改变的过程中保持形状不变(大小方向和位置可变)的图形。

该可选的实施例中，可通过归一化模板匹配算法分别计算待测病人的病灶凸包轮廓和每一个变换凸包轮廓的相似性，并将得到的相似性结果作为所述形状特征指标。其中，归一化互相关匹配算法以待测病人的凸包轮廓为模板，遍历每一个变换凸包轮廓中的每一个可能的位置，比较各处与模板是否“相似”，取值范围为[0,1]，越接近1说明相似度越高。

示例性的，待测病人有视网膜前膜、玻璃体黄斑牵拉，全层黄斑裂孔三种病灶，有效病灶图像集中图像P也有视网膜前膜、玻璃体黄斑牵拉，全层黄斑裂孔三种病灶，设通过归一化模板匹配算法分别计算各病灶类别对应的病灶凸包轮廓的相似性得到的计算结果为0.3、0.6、0.2，则将0.3、0.6、0.2作为对应的病灶类别的形状特征指标。

在一个可选的实施例中，评估单元114用于基于所述有效病灶图像集中各图像的病灶特征指标和待测病人的病灶特征指标对所述有效病灶图像集中的图像进行评估，并根据评估结果获取OCT推荐图像。

在一个可选的实施例中，所述基于所述有效病灶图像集中各图像的病灶特征指标和待测病人的病灶特征指标对所述有效病灶图像集中的图像进行评估，并根据评估结果获取OCT推荐图像包括：

依据所述有效图像集中每幅图像的面积特征指标、颜色特征指标和形状特征指标分别构建对应的面积特征向量、颜色特征向量和形状特征向量；

分别计算待测病人的面积特征向量、颜色特征向量与所述有效病灶图像集中每幅图像的面积特征向量、颜色特征向量的余弦相似性得到面积特征相似值、颜色特征相似值，并计算所述有效病灶图像集中每幅图像的形状特征向量中各元素的平均值作为形状特征相似值；

计算所述有效病灶图像集中每幅图像对应的面积特征相似值、颜色特征相似值和形状特征相似值的平均值，并选取最大平均值对应的图像作为OCT推荐图像。

该可选的实施例中，可根据所述有效病灶图像集中每幅图像所包含的每种类型的病灶的面积特征指标、颜色特征指标和形状特征指标分别构建对应的面积特征向量、颜色特征向量和形状特征向量。

该可选的实施例中，由于形状特征指标是基于有效图像集中每幅图像中的病灶凸包轮廓与待测病人图像中的病灶凸包轮廓的相似性获得的，因此形状特征指标是有效图像集中每幅图像与待测病人图像所共有的，在构建形状特征向量的时候，若有效图像集中每幅图像与待测病人图像的对应类别的病灶均不存在，则对应类别的病灶的形状特征指标为1。

示例性的，有效图像集中的图像K只有病灶视网膜前膜为阳性，待测病人只有病灶玻璃体黄斑牵拉为阳性，则二者对应的形状特征指标向量为(0，0，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1)。

示例性的，所述有效病灶图像集中的图像C中只有视网膜前膜，玻璃体黄斑牵拉，全层黄斑裂孔，局灶性高反射点四种类型的病灶为阳性，其余类型的病灶为阴性，四类阳性的病灶对应的面积特征指标为2、6、8、5，颜色特征指标为28、39、58、66，形状特征指标为0.4、0.5、0.2、0.6；而待测病人只有视网膜前膜、全层黄斑裂孔、局灶性高反射点和脉络膜形态异常为阳性，则可构建图像C对应的面积特征向量、颜色特征向量和形状特征向量分别为(2，6，8，5，0，0，0，0，0，0，0，0，0，0，0，0，0)、(28，39，58，66，0，0，0，0，0，0，0，0，0，0，0，0，0)、(0.4，0，0.2，0.6，1，1，1，1，1，1，1，1，1，1，1，1，1)。

该可选的实施例中，可通过余弦相似性算法分别计算待测病人的面积特征向量、颜色特征向量与所述有效病灶图像集中每幅图像的面积特征向量、颜色特征向量的余弦相似性得到面积特征相似值、颜色特征相似值，并计算所述有效病灶图像集中每幅图像的形状特征向量中各元素的平均值作为形状特征相似值。

示例性的，待测病人的面积特征向量、颜色特征向量分别为(3，0，6，2，0，0，0，0，0，0，0，0，0，2，0，0，0)、(22，0，53，11，0，0，0，0，0，0，0，0，0，89，0，0，0)，则与图像C的面积特征向量、颜色特征向量通过余弦相似性分别进行计算即可得到对应的面积特征相似值和颜色特征相似值，同时，计算图像C的形状特征向量中各元素的平均值作为形状特征相似值，即0.4+0+0.2+0.6+1+1+1+1+1+1+1+1+1+1+1+1+1/17＝0.84。

该可选的实施例中，计算所述有效病灶图像集中每幅图像对应的面积特征相似值、颜色特征相似值和形状特征相似值的平均值，并选取最大平均值对应的图像作为OCT推荐图像。

示例性的，所述有效病灶图像集中图像D对应的面积特征相似值、颜色特征相似值和形状特征相似值分别为0.6、0.2、0.4，则平均值为0.4，将有效病灶图像集中各图像对应的面积特征相似值、颜色特征相似值和形状特征相似值的平均值都计算出来后，选取其中最大的平均值所对应的图片作为OCT推荐图像。

由以上技术方案可以看出，本申请能够通过计算OCT图像的病灶特征指标，然后根据病灶特征指标构造的向量进行运算来快速推荐相似的OCT图片以用于辅助诊断，进而大大提高眼科医生的阅片和诊断效率。

请参见图3，是本申请实施例提供的一种电子设备的结构示意图。电子设备1包括存储器12和处理器13。存储器12用于存储计算机可读指令，处理器13用执行所述储器中存储的计算机可读指令以实现上述任一实施例所述的基于人工智能的OCT图像推荐方法。

在一个可选的实施例中，电子设备1还包括总线、存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如基于人工智能的OCT图像推荐程序。

图3仅示出了具有存储器12和处理器13的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

结合图1，电子设备1中的所述存储器12存储多个计算机可读指令以实现一种基于人工智能的OCT图像推荐方法，所述处理器13可执行所述多个指令从而实现：

获取眼底OCT图像，并对获取到的所有眼底OCT图像进行预处理得到OCT待测图像集；

将所述OCT待测图像集中的图像输入网络检测模型进行病灶检测得到病灶检测结果，并将所述OCT待测图像集中所有检测出病灶的图像作为病灶图像集，所述病灶图像集中的病灶包括多种病灶类型；

依据每种病灶类型的检测结果构建病灶向量，并基于所述病灶图像集中的病灶向量和待测病人的病灶向量筛选所述病灶图像集得到有效病灶图像集；

计算所述有效病灶图像集中各图像的病灶特征指标，所述病灶特征指标包括面积特征指标、颜色特征指标和形状特征指标；

基于所述有效病灶图像集中各图像的病灶特征指标和待测病人的病灶特征指标对所述有效病灶图像集中的图像进行评估，并根据评估结果获取OCT推荐图像。

具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，电子设备1可以是总线型结构，也可以是星形结构，电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如电子设备1还可以包括输入输出设备、网络接入设备等。

需要说明的是，电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。

其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质可以是非易失性的，也可以是易失性的。所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于人工智能的OCT图像推荐程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是电子设备1的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块(例如执行基于人工智能的OCT图像推荐程序等)，以及调用存储在所述存储器12内的数据，以执行电子设备1的各种功能和处理数据。

所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于人工智能的OCT图像推荐方法实施例中的步骤，例如图1所示的步骤。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在电子设备1中的执行过程。例如，所述计算机程序可以被分割成获取单元110、检测单元111、筛选单元112、计算单元113、评估单元114。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备，或者网络设备等)或处理器(processor)执行本申请各个实施例所述的基于人工智能的OCT图像推荐方法的部分。

电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。

其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存储器及其他存储器等。

进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。

本申请实施例还提供一种计算机可读存储介质(图未示)，计算机可读存储介质中存储有计算机可读指令，计算机可读指令被电子设备中的处理器执行以实现上述任一实施例所述的基于人工智能的OCT图像推荐方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。说明书陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。