一种基于深度学习的白内障手术评价方法、系统及介质

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的白 内障手术评价方法、系统及介质。

背景技术

白内障是第一致盲疾病，在我国，白内障患者约占盲人总数的一 半。手术是帮助患者重获光明的主要途径，目前，我国手术率仍处于 较低水平，提升白内障手术率、确保手术效果，是当前防盲、治盲工 作亟待解决的主要问题之一。白内障手术已进入屈光时代，患者的个 性化需求及对术后视觉效果的追求，对白内障手术切口位置、撕囊大 小和人工晶体植入后的居中性等提出了更高的要求，及时获取术中针 对切口、撕囊和人工晶体植入环节的评价反馈信息，对提升新手医生 手术技能在白内障手术培训中尤为重要。

白内障手术标准化培训，以缩短学习曲线、规范手术流程、降低 手术并发症为目的。传统白内障手术培训反馈通常采用国际眼科协会 的眼科手术能力评估标准(ICO-OSCAR)来对医生进行跟踪评价，由 专家医生按照标准对白内障手术的每一环节逐一打分，该工作耗时长 且主观差异性大，很难在短时间内通过训练满足临床要求。

发明内容

本发明的目的在于提供一种基于深度学习的白内障手术评价方 法、系统及介质，用以解决上述问题。

为了实现上述目的，本发明采用的技术方案为：

一种基于深度学习的白内障手术评价方法，包括步骤：

S1、利用视频帧中手术器械特征结合眼部背景特征，通过预设分 类网络对该视频帧所处的手术阶段进行分类；所述手术阶段包括切口 环节、撕囊环节以及人工晶体植入环节；

S2、根据手术各环节的初始特征标签训练通用型网络来提取各个 环节对应视频帧中用于手术评价的评价特征；

S3、将提取的评价特征根据预设标签获取手术各环节的量化信 息，将所述量化信息输入至训练后的预设分类评价网络中对手术各环 节进行分类评价。

进一步的，对该视频帧所处的手术阶段进行分类的步骤包括：

S11、对视频帧进行分层抽样处理；

S12、通过训练后的预设目标检测模型，获取视频帧中的手术器 械和眼部背景区域，并将所述手术器械和眼部背景区域进行批量裁 剪；

S13、将裁剪后的手术器械和眼部背景区域，以及对应的视频帧 分别送入到经过训练的分类器中，通过该分类器输出该视频帧所处手 术阶段的分类结果。

进一步的，对所述通用型网络进行训练的步骤包括：

T1、从视频帧中随机裁剪得到一图像块，将其和前后帧图像一并 输入至空间特征编码器分别计算得到对应的空间特征；

T2、通过可微跟踪器计算出前后帧图像对应空间特征中与该图像 块最匹配的图像块对应的定位参数，并通过双线性采样器进行双线性 采样，得到最匹配图像块的空间特征；

T3、通过步骤T1和T2对空间特征编码器和可微跟踪器进行端到 端的训练，从而得到训练后的通用型网络。

进一步的，所述用于手术评价的评价特征包括手术器械位置信 息、光流场信息、角膜缘形态和位置特征以及人工晶体位置特征。

进一步的，对手术中切口环节进行分类评价的步骤包括：

A1、根据所述角膜缘位置特征拟合角膜缘确立角膜缘中心；

A2、以角膜缘中心为参考点根据手术器械的位置信息得到手术器 械的相对运动轨迹；

A3、将手术器械的相对运动轨迹与角膜缘形态特征输入至预设分 类评价网络中依据ICO-OSCAR标准对手术切口环节进行评价，得到手 术切口环节的操作评分。

进一步的，对手术中撕囊环节进行分类评价的步骤为：

将光流场信息输入至预设分类评价网络中依据ICO-OSCAR标准 对手术中撕囊环节进行评价，得到手术中撕囊环节的操作评分。

进一步的，对手术中人工晶体植入环节进行分类评价的步骤为：

B1、将通过通用型网络提取的角膜缘位置特征人工晶体位置特征 进行拟合，得到两者各自的中心点位置信息；

B2、将两者的中心点位置信息输入至预设分类评价网络中依据 ICO-OSCAR标准对手术中人工晶体植入环节进行评价，得到手术中人 工晶体植入环节的操作评分。

本发明的第二方面，提供了一种基于深度学习的白内障手术评价 系统，包括至少一个处理器、以及至少一个存储器，其中，所述存储 器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处 理器能够执行所述的基于深度学习的白内障手术评价方法。

本发明的第三方面，提供了一种计算机可读存储介质，当所述存 储介质中的指令由设备内的处理器执行时，使得所述设备能够执行所 述的基于深度学习的白内障手术评价方法。

本发明与现有技术相比，至少包含以下有益效果：

(1)本发明根据不同手术环节涉及的手术器械为主要学习特征， 结合眼部背景信息，通过训练后的精准分类器，实现视频帧的准确分 类，为手术评价前的数据处理提供算法支撑；

(2)本发明通过开发通用型多特征提取网络，实现不同手术环 节可量化手术特征的同一网络提取，通过该通用型网络获取的手术器 械位置、光流与眼部形变特征等信息，结合分类标签，实现手术切口、 撕囊和人工晶体植入环节的技能评价；

(3)建立ICO-OSCAR标准中描述性评价指标与深度学习网络可 学习的手术路径、角膜缘形态、手术器械光流信息等的量化关系，从 而实现通过人工智能技术替代专家医生全程参与手术培训，提高培训 效果的客观性、可靠性，及响应速率。

附图说明

图1是本发明实施例中基于深度学习的白内障手术评价方法的 流程图；

图2是本发明实施例中对视频帧所处的手术阶段进行分类的流 程图；

图3是本发明实施例中对通用型网络进行训练的流程图；

图4是本发明实施例中通用型网络训练的示意图；

图5是本发明实施例中对手术中切口环节进行分类评价的流程 图；

图6是本发明实施例中对手术中人工晶体植入环节进行分类评 价的流程图。

具体实施方式

需要说明，本发明各个实施例之间的技术方案可以相互结合，但 是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合 出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也 不在本发明要求的保护范围之内。

以下是本发明的具体实施例，并结合附图对本发明的技术方案作 进一步的描述，但本发明并不限于这些实施例。

如图1所示，本发明一种基于深度学习的白内障手术评价方法， 包括步骤：

S1、利用视频帧中手术器械特征结合眼部背景特征，通过预设分 类网络对该视频帧所处的手术阶段进行分类；手术阶段包括切口环 节、撕囊环节以及人工晶体植入环节。

其中，如图2所示，对该视频帧所处的手术阶段进行分类的步骤 包括：

S11、对视频帧进行分层抽样处理。

由于外科医生手术技能层次不齐及手术各阶段要求不同，视频录 像时长较长，且手术各阶段时长不一，手术场景复杂多变，本发明采 用了分层抽样对视频帧进行处理，能够有效提高网络模型的训练效 率。

S12、通过训练后的预设目标检测模型，获取视频帧中的手术器 械和眼部背景区域，并将所述手术器械和眼部背景区域进行批量裁 剪。

本发明根据手术器械、眼部背景标签，训练基于Yolov3的目标 检测模型，获取视频帧中重点关注的手术器械和眼部背景区域，并将 其批量裁减作为分类器的输入，以此提高视频帧的布局细粒度信息。

S13、将裁剪后的手术器械和眼部背景区域，以及对应的视频帧 分别送入到经过训练的分类器中，通过该分类器输出该视频帧所处手 术阶段的分类结果。

通过将手术器械、眼部背景区域与对应的视频帧分别送入到 ResNet网络中提取全局以及局部的特征。然后将每个分类器的全连 接层分别输出的特征串联起来，作为整个帧的细粒度特征表示，提高 视频帧分类的准确性。

本发明根据不同手术环节涉及的手术器械为主要学习特征，结合 眼部背景信息，实现视频帧的准确分类，为后续的数据处理提供算法 支撑。

S2、根据手术各环节的初始特征标签训练通用型网络来提取各个 环节对应视频帧中用于手术评价的评价特征。

本发明为提高特征提取网络的通用性，减少标签标注的任务量， 提高特征提取效率，根据无标签视频学习视觉对应关系，训练通过跟 踪从图像中提取的patch(图像块)，在向前向后连续的若干帧中跟 踪，从而学习特征空间，并计算沿着时间序列连续帧目标patch的视 觉相似性。在提取切口、撕囊、人工晶体植入环节的特征时，给定切 口、撕囊、人工晶体植入的标签，通过该网络能够分别直接提取手术 各环节评价所需的特征。

其中，如图3和图4所示，在本发明中对所述通用型网络进行训 练的步骤包括：

T1、从视频帧中随机裁剪得到一图像块，将其和前后帧图像一并 输入至空间特征编码器分别计算得到对应的空间特征。

T2、通过可微跟踪器计算出前后帧图像对应空间特征中与该图像 块最匹配的图像块对应的定位参数，并通过双线性采样器进行双线性 采样，得到最匹配图像块的空间特征。

T3、通过步骤T1和T2对空间特征编码器和可微跟踪器进行端到 端的训练，从而得到训练后的通用型网络。

本发明通过将从视频帧中随机裁剪的patch(P

可微跟踪器T首先对x

该通用型网络训练完成后，通过给定不同的特征标签，其能实现 手术中切口、撕囊、人工晶体植入环节的特征提取，获取手术器械位 置、光流场、角膜缘形态、人工晶体位置等信息，以便用于下一步的 各环节分类评价工作。

S3、将提取的评价特征根据预设标签获取手术各环节的量化信 息，将所述量化信息输入至训练后的预设分类评价网络中对手术各环 节进行分类评价。

根据通用型网络得到的手术器械位置、光流场、角膜缘形态以及 人工晶体位置等信息，将其转换为可以进行评价的量化信息，例如手 术器械运动轨迹，手术器械的运动速率与方向(即光流场信息)，并 结合眼部角膜缘位置、形态变化等信息，结合专家医生根据ICO-OSCAR 标准的分类标签，分别训练分类模型，实现切口、撕囊以及人工晶体 植入环节的分类评价工作。

其中，如图5所示，对手术中切口环节进行分类评价的步骤包括：

A1、根据所述角膜缘位置特征拟合角膜缘确立角膜缘中心；

A2、以角膜缘中心为参考点根据手术器械的位置信息得到手术器 械的相对运动轨迹；

A3、将手术器械的相对运动轨迹与角膜缘形态特征输入至预设分 类评价网络中依据ICO-OSCAR标准对手术切口环节进行评价，得到手 术切口环节的操作评分。

对手术中撕囊环节进行分类评价的步骤为：

将光流场信息输入至预设分类评价网络中依据ICO-OSCAR标准 对手术中撕囊环节进行评价，得到手术中撕囊环节的操作评分。

如图6所示，对手术中人工晶体植入环节进行分类评价的步骤 为：

B1、将通过通用型网络提取的角膜缘位置特征人工晶体位置特征 进行拟合，得到两者各自的中心点位置信息；

B2、将两者的中心点位置信息输入至预设分类评价网络中依据 ICO-OSCAR标准对手术中人工晶体植入环节进行评价，得到手术中人 工晶体植入环节的操作评分。

本发明通过建立ICO-OSCAR标准中描述性评价指标与深度学习 网络可学习的手术器械路径、角膜缘形态、手术器械光流信息等的量 化关系，从而实现通过人工智能技术替代专家医生全程参与手术培 训，提高了培训效果的客观性、可靠性，及响应速率。

在本发明另一实施例中，还提供一种基于深度学习的白内障手术 评价系统，包括至少一个处理器、以及至少一个存储器，其中，所述 存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所 述处理器能够执行上述的基于深度学习的白内障手术评价方法。

在本发明另一实施例中，还提供一种计算机可读存储介质，当所 述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执 行上述的基于深度学习的白内障手术评价方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装 置或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软 件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可 采用在一个或多个其中包含有计算机可用程序代码的计算机可用存 储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施 的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算 机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序 指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图 和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指 令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理 设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处 理设备的处理器执行的指令产生用于实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数 据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计 算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框 中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理 设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产 生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令 提供用于实现在流程图一个流程或多个流程和/或方框图一个方框 或多个方框中指定的功能的步骤。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本 发明所属技术领域的技术人员可以对所描述的具体实施例做各种各 样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神 或者超越所附权利要求书所定义的范围。