一种术后医学影像评估方法、装置、计算机设备及存储介质

技术领域

本发明属于图像处理技术领域，具体地涉及一种术后医学影像评估方法、装置、计算机设备及存储介质。

背景技术

由于计算机和大数据的发展，需要大量数据和计算资源的深度学习越来越受欢迎。基于深度学习的方法在自然语言处理(NLP，Natural Language Processing)和计算机视觉(CV，Computer Version)的任务上有了显著的改进。例如，在基于AlexNet模型的基础上改进的ResNet和GoogLeNet模型在图像识别任务上取得了很大的突破。误码率测试仪作为NLP中的一个实例，在许多NLP任务上达到了最先进的性能，并由于误码率测试仪的普及而使预训练模型受到欢迎。

在医学影像(例如CT、MRI、X线和RGB图像等，可涉及多种疾病)识别和分析领域，目前最流行的方法也是基于深度学习的模型进行识别和分析，如采用卷积神经网络(CNN，Convolutional Neural Networks)进行识别和分析。医学影像识别和分析的常见任务包括分类、检测和分割等。在分类任务中，有人提出了一种多尺度CNN来对肺节点进行分类，还有人提出了一个3DCNN来检测阿尔茨海默病，以及还有人提出了CNN+RNN(递归神经网络)的神经网络结构，以检测眼睛是否为白内障；在检测任务中，有人提出使用全CNN来实现胎儿的实时检测和定位，还有人采用快速CNN对数据进行选择性采样，最终成功地应用于彩色图像的检测；在分割任务中，有人提出了一种u-net神经网络，并应用于生物图像的分割。

然而，深度学习的缺点也逐渐暴露出来：(1)过度依赖数据，使得针对罕见疾病的医学影像识别和分析，由于缺乏足够的样本和数据，限制了鲁棒性和准确率(Accuracy)的提高，例如针对根管治疗术(其又称为牙髓治疗，是一种治疗牙髓坏死和牙根感染的手术)，在获取术后牙齿X线图像后，如果利用现有的卷积神经网络CNN来执行根管治疗评估任务，其评估分类结果的准确率只有65.4％；(2)缺乏可解释性，即由于深度学习的不可解释性，医生往往对处理结果持怀疑态度。

发明内容

为了解决在根管治疗评估任务中，基于现有深度学习方法所存在的过度依赖数据和缺乏可解释性的问题，本发明目的在于提供一种术后医学影像评估方法、装置、计算机设备及存储介质，可以将根管治疗术后医学影像评估规则嵌入神经网络，从而使评估结果在小数据集上具有可解释性和鲁棒性，并相对于卷积神经网络CNN，评估分类结果的准确率、精准度和召回率均有明显提升。

第一方面，本发明提供了一种术后医学影像评估方法，包括：

获取根管治疗术后目标牙齿的医学影像；

将所述医学影像输入残差网络ResNet模型，并通过所述残差网络ResNet模型提取出图像特征向量；

将所述医学影像输入已完成训练的规则嵌入式卷积神经网络CNN模型，并通过所述规则嵌入式卷积神经网络CNN模型输出与至少一条评估规则对应的规则特征向量，其中，所述至少一条评估规则中的各条评估规则分别一一对应有预设评估分；

将所述图像特征向量与所述规则特征向量的相乘结果输入全连接层；

将所述全连接层的输出结果输入采用Softmax函数的输出层，得到所述医学影像分类在各个评估标签的概率。

基于上述发明内容，提供了一种适用于在根管治疗评估任务中对术后目标牙齿的医学影像进行自动化评估的技术方案，即首先将根管治疗术后目标牙齿的同一医学影像分别输入规则通道中的且已完成训练的规则嵌入式卷积神经网络CNN模型和图像通道中的残差网络ResNet模型，得到对应的规则特征向量和图像特征向量，然后将两个通道的向量相乘结果输入全连接层，最后将所述全连接层的输出结果输入采用Softmax函数的输出层，得到所述医学影像分类在各个评估标签的概率，由此通过将根管治疗术后医学影像评估规则嵌入神经网络，可使评估结果在小数据集上具有可解释性和鲁棒性，并相对于卷积神经网络CNN，评估分类结果的准确率、精准度和召回率均有明显提升。

在一个可能的设计中，获取根管治疗术后目标牙齿的医学影像，包括：

获取在根管治疗术后拍摄的牙片影像；

对所述牙片影像进行牙齿识别及图像分割处理，得到至少一颗牙齿的医学影像；

从所述至少一颗牙齿的医学影像中确定出目标牙齿的医学影像。

在一个可能的设计中，对所述牙片影像进行牙齿识别及图像分割处理，得到至少一个牙齿的医学影像，包括：

使用YOLO算法对所述牙片影像进行牙齿识别及图像分割处理，得到所述至少一颗牙齿的医学影像。

在一个可能设计中，所述残差网络ResNet模型包含有卷积核个数分别为16、32、64、128和256的五个残差块，其中，每个所述残差块分别包含有批归一化层和三个卷积层，所述卷积核的大小为5*5,卷积步长为3。

在一个可能设计中，所述残差网络ResNet模型在编译时，采用的优化器为自适应矩估计Adam优化器。

在一个可能的设计中，在将所述医学影像输入已完成训练的规则嵌入式卷积神经网络CNN模型之前，所述方法还包括：

获取若干张术后牙齿样本影像及与所述术后牙齿样本影像一一对应的评估标签，其中，所述评估标签是基于对应术后牙齿样本影像的术后评估总分来分类确定，所述术后评估总分是根据所述至少一条评估规则及对应的预设评估分对所述术后牙齿样本影像进行打分得到；

将所述若干张术后牙齿样本影像及评估标签输入所述规则嵌入式卷积神经网络CNN模型进行训练，生成与所述至少一条评估规则对应的规则特征；

当所述规则特征与所述评估标签的拟合度达到预设条件时，停止训练，得到所述已完成训练的规则嵌入式卷积神经网络CNN模型。

在一个可能的设计中，所述规则嵌入式卷积神经网络CNN模型的迭代次数为100，批处理大小为32和训练率为0.001，并选用均方误差MSE函数作为训练前模型的损失函数。

第二方面，本发明提供了一种术后医学影像评估装置，包括有影像获取模块、图像通道模块、规则通道模块、相乘输入模块和结果输出模块；

所述影像获取模块，用于获取根管治疗术后目标牙齿的医学影像；

所述图像通道模块，通信连接所述影像获取模块，用于将所述医学影像输入残差网络ResNet模型，并通过所述残差网络ResNet模型提取出图像特征向量；

所述规则通道模块，通信连接所述影像获取模块，用于将所述医学影像输入已完成训练的规则嵌入式卷积神经网络CNN模型，并通过所述规则嵌入式卷积神经网络CNN模型输出与至少一条评估规则对应的规则特征向量，其中，所述至少一条评估规则中的各条评估规则分别一一对应有预设评估分；

所述相乘输入模块，分别通信连接所述图像通道模块和所述规则通道模块，用于将所述图像特征向量与所述规则特征向量的相乘结果输入全连接层；

所述结果输出模块，通信连接所述相乘输入模块，用于将所述全连接层的输出结果输入采用Softmax函数的输出层，得到所述医学影像分类在各个评估标签的概率。

第三方面，本发明提供了一种计算机设备，包括通信相连的存储器和处理器，其中，所述存储器用于存储计算机程序，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计所述的术后医学影像评估方法。

第四方面，本发明提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如上第一方面或第一方面中任意一种可能设计的所述术后医学影像评估方法。

第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如上第一方面或第一方面中任意一种可能设计的所述术后医学影像评估方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的术后医学影像评估方法的流程示意图。

图2是本发明提供的在术后医学影像评估方法中评估网络模型的体系结构示意图。

图3是本发明提供的术后医学影像评估装置的结构示意图。

图4是本发明提供的计算机设备的结构示意图。

具体实施方式

下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。

应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。

应当理解，在本文中若将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相対地，在本文中若将单元称作与另一个单元“直接相连”或“直接耦合”时，表示不存在中间单元。另外，应当以类似方式来解释用于描述单元之间的关系的其他单词(例如，“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。

应当理解，本文使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解，若术语“包括”、“包括了”、“包含”和/或“包含了”在本文中被使用时,指定所声明的特征、数量、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。

应当理解，还应当注意到在一些备选可能设计中，所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。

应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。

如图1～2所示，本实施例第一方面提供的所述术后医学影像评估方法，可以但不限于适用于在具有一定计算资源的医学影像处理设备上执行。所述术后医学影像评估方法，可以但不限于包括有如下步骤S101～S105。

S101.获取根管治疗术后目标牙齿的医学影像。

在所述步骤S101中，由于实际拍摄得到的牙片影像包含有许多牙齿的成像，因此需要从牙片影像中切割出各个牙齿的个体成像，才能针对做完根管治疗术的目标牙齿进行术后的医学影像评估分类，即获取根管治疗术后目标牙齿的医学影像，包括但不限于有：获取在根管治疗术后拍摄的牙片影像；对所述牙片影像进行牙齿识别及图像分割处理，得到至少一颗牙齿的医学影像；从所述至少一颗牙齿的医学影像中确定出目标牙齿的医学影像。在前述牙齿识别及图像分割处理过程中，优选使用YOLO算法对所述牙片影像进行牙齿识别及图像分割处理，得到所述至少一颗牙齿的医学影像。所述YOLO(即You Only LookOnce的简写)算法是一个对象检测算法的名字，这是Redmon等人在2016年的一篇研究论文中命名的，可以实现自动驾驶汽车等前沿技术中使用的实时对象检测，因此通过常规改动和应用，可以从所述牙片影像中识别及切割出各颗牙齿的医学影像。此外，从所述至少一颗牙齿的医学影像中确定出目标牙齿的医学影像的具体方式，可以依然是采用现有图像识别技术来确定，也可以是通过人机交互方式，由人工来确定。

S102.将所述医学影像输入残差网络ResNet模型，并通过所述残差网络ResNet模型提取出图像特征向量。

在所述步骤S102中，所述残差网络ResNet模型中的残差网络是由来自MicrosoftResearch的4位学者提出的卷积神经网络，其残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。由于残差网络内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题，即残差块主要由几个卷积层组成，为了防止梯度消失和梯度爆炸的问题，可添加块的输入和块的最后一层输出作为整个块的输出，如此可使残差块输出的特征向量具有块的输出和输入的特征，通过具体实验表明，它确实可以防止梯度消失和梯度爆炸。因此通过常规改动和应用，可得到所述残差网络ResNet模型，并提取出所述医学影像的图像特征向量。举例的，所述残差网络ResNet模型可以但不限于包含有卷积核个数分别为16、32、64、128和256的五个残差块，其中，每个所述残差块分别包含有批归一化层和三个卷积层，所述卷积核的大小为5*5,卷积步长为3。此外，所述残差网络ResNet模型在编译时，采用的优化器为自适应矩估计Adam优化器。

S103.将所述医学影像输入已完成训练的规则嵌入式卷积神经网络CNN模型，并通过所述规则嵌入式卷积神经网络CNN模型输出与至少一条评估规则对应的规则特征向量，其中，所述至少一条评估规则中的各条评估规则分别一一对应有预设评估分。

在所述步骤S103中，所述规则嵌入式卷积神经网络CNN模型中的卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks,SIANN)”。现有研究者已开始将先验知识或规则与神经网络相结合，得到规则嵌入式神经网络，其中，规则嵌入是指将规则编码到神经网络中，使神经网络在得到这些规则后能够增强训练效果，在一定程度上可以减少对数据的依赖。因此通过常规改动和应用，可将所述至少一条评估规则编码到卷积神经网络中，得到所述规则嵌入式卷积神经网络CNN模型，如图2所示，包括有常规的CNN模型和规则编码，所述CNN模块的输出与所述规则编码之间的损失会导致整个规则嵌入式卷积神经网络CNN模型输出一个规则的特征向量。

在所述步骤S103之前，为了训练所述规则嵌入式卷积神经网络CNN模型，可以但不限于包括有如下步骤S1031～S1033。

S1031.获取若干张术后牙齿样本影像及与所述术后牙齿样本影像一一对应的评估标签，其中，所述评估标签是基于对应术后牙齿样本影像的术后评估总分来分类确定，所述术后评估总分是根据所述至少一条评估规则及对应的预设评估分对所述术后牙齿样本影像进行打分得到。

在所述步骤S1031中，所述至少一条评估规则可根据牙科专家的知识来确定，例如可指定如下表1所示的18条规则来评估牙医的根管治疗手术表现，各条规则与对应的预设评估分的关系可举例如下表1所示：

表1.评估规则与预设评估分的对应关系表

根据上述表1，可以对术后牙齿样本影像进行根管治疗术后的评估打分，并基于评估打分结果进行评估标签的分类，例如可以分为如下三个类别：评估打分结果大于或等于80分为良好；评估打分结果介于50～80分之间为一般；评估打分结果处于50分以下为差。由于根管治疗中的牙片影像很少，本发明人从一家牙科诊所收集了1231张术后牙齿样本影像，并通过正常的数据增强方法(例如转换、旋转和镜像等方式)来增强影像数据集，最终得到了3516张术后牙齿样本影像，其中，1957张的评估标签为良好，994张的评估标签为普通，565张的评估标签为糟糕。

S1032.将所述若干张术后牙齿样本影像及评估标签输入所述规则嵌入式卷积神经网络CNN模型进行训练，生成与所述至少一条评估规则对应的规则特征；

S1033.当所述规则特征与所述评估标签的拟合度达到预设条件时，停止训练，得到所述已完成训练的规则嵌入式卷积神经网络CNN模型。

通过前述步骤S1031～S1033所描述的训练过程，可以利用卷积神经网络对样本集中的术后牙齿样本影像进行预处理，获得一系列规则特征，该规则特征与图像特征加权后，可以充分利用规则特征得到最终输出。此外，举例的，所述规则嵌入式卷积神经网络CNN模型的迭代次数为100，批处理大小为32和训练率为0.001，并选用均方误差MSE函数作为训练前模型的损失函数。

S104.将所述图像特征向量与所述规则特征向量的相乘结果输入全连接层。

在所述步骤S104中，所述全连接层中的每个神经元与其前一层的所有神经元进行全连接，用于整合前面卷积层或者池化层中具有类别区分性的局部信息。为了提升网络性能，所述全连接层中每个神经元的激励函数一般采用ReLU函数。

S105.将所述全连接层的输出结果输入采用Softmax函数的输出层，得到所述医学影像分类在各个评估标签的概率。

在所述步骤S105中，所述Softmax函数，又称归一化指数函数，其是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。由此通过所述采用Softmax函数的输出层，可以得到所述医学影像分类在各个评估标签的概率，并作为术后医学影像评估结果。

基于前述步骤S101～S105所描述的术后医学影像评估方法，不但可以实现教育医生，辅助治疗的作用，还能够通过与ResNet模型相结合的规则嵌入式卷积神经网络模型，构建起一个针对根管治疗术后医学影像的评估网络模型，如图2所示，通过该评估网络模型，可以充分利用规则，增强神经网络的表达能力和学习性。此外，在使用包含有3516张术后牙齿样本影像的小数据样本进行测试后，可得到如下表2所示的所述评估网络模型与所述卷积神经网络CNN模型在评估分类比较结果上的性能对比：

表2.本发明的评估网络模型与CNN模型在评估分类结果上的性能对比表

由上述表2可知，本发明的评估网络模型在评估分类结果上的性能可达到79.2％的准确度，明显高于CNN模型的65.4％，并且在各个评估标签上的精准度和召回率也远远优于CNN模型，即通过将根管治疗术后医学影像评估规则嵌入神经网络，可使评估结果在小数据集上具有可解释性和鲁棒性。

如图3所示，本实施例第二方面提供了一种实现第一方面或第一方面中任意一种可能设计的所述术后医学影像评估方法的虚拟装置，包括有影像获取模块、图像通道模块、规则通道模块、相乘输入模块和结果输出模块；

所述影像获取模块，用于获取根管治疗术后目标牙齿的医学影像；

所述图像通道模块，通信连接所述影像获取模块，用于将所述医学影像输入残差网络ResNet模型，并通过所述残差网络ResNet模型提取出图像特征向量；

所述规则通道模块，通信连接所述影像获取模块，用于将所述医学影像输入已完成训练的规则嵌入式卷积神经网络CNN模型，并通过所述规则嵌入式卷积神经网络CNN模型输出与至少一条评估规则对应的规则特征向量，其中，所述至少一条评估规则中的各条评估规则分别一一对应有预设评估分；

所述相乘输入模块，分别通信连接所述图像通道模块和所述规则通道模块，用于将所述图像特征向量与所述规则特征向量的相乘结果输入全连接层；

所述结果输出模块，通信连接所述相乘输入模块，用于将所述全连接层的输出结果输入采用Softmax函数的输出层，得到所述医学影像分类在各个评估标签的概率。

本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任意一种可能设计所述的术后医学影像评估方法，于此不再赘述。

如图4所示，本实施例第三方面提供了一种执行第一方面或第一方面中任意一种可能设计的所述术后医学影像评估方法的计算机设备，包括通信相连的存储器和处理器，其中，所述存储器用于存储计算机程序，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计所述的术后医学影像评估方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First Input Last Output，FILO)等等；所述处理器可以不限于采用型号为STM32F105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。

本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任意一种可能设计所述的术后医学影像评估方法，于此不再赘述。

本实施例第四方面提供了一种存储包含第一方面或第一方面中任意一种可能设计的所述术后医学影像评估方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计所述的术后医学影像评估方法。其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

本实施例第四方面提供的前述存储介质的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任意一种可能设计所述的术后医学影像评估方法，于此不再赘述。

本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意一种可能设计所述的术后医学影像评估方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

以上所描述的实施例仅仅是示意性的，若涉及到作为分离部件说明的单元，其可以是或者也可以不是物理上分开的；若涉及到作为单元显示的部件，其可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。