Graf法髋关节超声图像测量方法、装置、设备及存储介质

技术领域

本发明属于图像识别技术领域，特别涉及一种 Graf 法髋关节超声图像测量方法、装置、设备及存储介质。

背景技术

髋关节发育不良（Developmental Dysplasia of the Hip, DDH））是最常见的骨关节畸形之一，是指股骨头和髋臼对应关系的异常，包括骨性、软骨性以及软组织结构和形态的异常。

目前的DDH 诊断方法主要有体格检查、超声检查、X 检查等。其中超声检查有多种方法，应用最广泛的是Graf 法，为了获得高质量的报告，医生通常按照如下的步骤核实报告内容：一、辨认 7 个解剖解剖结构（1、软骨和骨的结合部（股骨的近端骺板）；2、股骨头；3、滑膜皱褶；4、关节囊；5、髋臼盂唇；6、自外向内的髋臼顶解剖结构顺序［a.盂唇b.髋臼软骨顶c.骨性髋臼，总是保持a-b-c 这样的顺序］；7、定义骨性边缘）； 二、检查 3 个标志点（1、髋臼窝深面的髂骨下肢；2、臼顶的中部；3、髋臼盂唇）从而决定该图像是否可用于 诊断；三、测量基线与骨顶线相交的α角、基线与软骨顶线相交的β角（基线： 平直的髂骨声影,骨顶线：以髂骨下肢为轴向髋臼骨顶引一条切线，这条切线恰好接触到骨缘区,软骨顶线：从骨缘（凹面与凸面的转折点）通过髋臼盂唇中央的线）。

但是，儿童的髋关节超声图像特征并不明显，使用传统的图形学检测方法很难直接准确地分割出髋臼的相应组织结构，而上述用于临床的检测方法均不同程度上依赖于人工进行观测。如对于上述Graf 法，主要是通过人工对超声图像识别、判断、评估和相应的测量，或者图像稍纵即逝，没有被检查者捕捉到， 图像回放即耗时又欠清晰，没有获得所要求的图像，不能做出诊断，降低检测 的效率和准确率。

发明内容

本发明的目的是针对现有技术中存在的上述问题，提供了一种 Graf 法髋关节超声图像测量方法、系统、装置及存储介质。

本发明的第一个目的可通过下列技术方案来实现：一种 Graf 法髋关节超声图像测量方法，包括以下步骤：S1：超声图像录入：接收检查者采集的多张髋 关节超声图像；S3：图像筛选：识别髋关节超声图像中解剖结构的区域、并判 断髋关节超声图像中是否存在 7个解剖结构的区域；-若存在 7 个解剖结构的区域，则执行 S4；-若不存在 7 个解剖结构的区域，则删除该髋关节超声图像S4： 二次图像筛选:识别髋关节超声图像中标志点的区域、并判断髋关节超声图像中是否存在 3 个标志点的区域；-若存在 3 个标志点的区域，则执行S5；-若不存在 3 个标志点的区域，则储存该超声图像至服务器供检查者诊断：输出坐标： 根据髋关节超声图像输出 3 个标志点的XY 坐标；S6：角度计算：根据 3 个标志点的XY 坐标计算α角和β角。

本发明的工作原理：医护人员实时采集患者的超声图像、并将超声图像录 入至服务器，服务器将超声图像中的骨边缘部分进行特征加强，之后识别髋关 节超声图像中解剖结构的区域、并将不满足 7 个解剖结构区域的超声图像删除，识别髋关节超声图像中标志点的区域、并将不满足 3 个标志点区域的超声图像选取典型图像储存供医生诊断是否为脱位髋关节，然后根据筛选后的超声图像输出 3 个标志点的XY 坐标，最后通过 3 个标志点的XY 坐标计算出α角和β角供检查者审核。

在上述Graf 法髋关节超声图像测量方法中，在所述的步骤S5 中，还包括S51：建立基线：根据 3 个标志点的XY 坐标分别建立基线、骨顶线以及软骨顶线。

在上述Graf 法髋关节超声图像测量方法中，在所述的步骤S1 中，还包括S11：婴幼儿信息录入：接收家长录入的婴幼儿基本信息、将基本信息录入至服务器、并与髋关节超声图像相互关联。

在上述Graf 法髋关节超声图像测量方法中，在所述的步骤 S2 中，通过 U-Net提取髋关节超声图像中的骨边缘。

在上述Graf 法髋关节超声图像测量方法中，在所述的步骤S3 中，通过VGG16Net判断髋关节超声图像中是否存在 7 个解剖结构的区域。

在上述Graf 法髋关节超声图像测量方法中，在所述的步骤S4 中，通过VGG16Net判断髋关节超声图像中是否存在 3 个标志点的区域。

在上述Graf 法髋关节超声图像测量方法中，在所述的步骤S6 中，通过InceptionV3 计算髋关节超声图像中的α角和β角。

本发明的第二个目的可通过下列技术方案来实现：一种 Graf 法髋关节超声图像测量装置，包括用于超声图像录入的装置：接收检查者采集的多张髋关节超声图像； 用于图像筛选的装置：识别髋关节超声图像中解剖结构的区域、并判断髋关节超声图像中是否存在 7 个解剖结构的区域；用于二次图像筛选的装置:识别髋关节超声图像中标志点的区域、并判断髋关节超声图像中是否存在 3个标志点的区域；用于输出坐标的装置：根据髋关节超声图像输出 3 个标志点的XY 坐标；用于角度计算的装置：根据 3 个标志点的XY坐标计算α角和β角。

在上述Graf 法髋关节超声图像测量装置中，在所述用于输出坐标的装置中， 还包括用于建立基线的装置：根据 3 个标志点的XY 坐标分别建立基线、骨顶线以及软骨顶线。

在上述Graf 法髋关节超声图像测量装置中，在所述用于超声图像录入的装置中，还包括用于婴幼儿信息录入的装置：接收家长录入的婴幼儿基本信息、将基本信息录入至服务器、并与髋关节超声图像相互关联。

在上述Graf 法髋关节超声图像测量装置中，在所述的用于特征加强的装置中，通过U-Net 提取髋关节超声图像中的骨边缘。

在上述Graf 法髋关节超声图像测量装置中，在所述的用于图像筛选的装置中，通过VGG16Net 判断髋关节超声图像中是否存在 7 个解剖结构的区域。

在上述Graf 法髋关节超声图像测量装置中，在所述的用于二次图像筛选的装置中，通过 VGG16Net 判断髋关节超声图像中是否存在 3 个标志点的区域。。在上述Graf 法髋关节超声图像测量装置中，在所述的用于角度计算的装置中，通过InceptionV3 计算髋关节超声图像中的α角和β角。

本发明的第三个目的可通过下列技术方案来实现：一种 Graf 法髋关节超声图像测量设备，包括：显示器；输入装置；一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤：S1：超声图像录入：接收检查者采集的多张髋关节超声图像； S3：图像筛选：识别髋关节超声图像中解剖结构的区域、并判断髋关节超声图像中是否存在 7 个解剖结构的区域；-若存在 7 个解剖结构的区域，则执行 S4；-若不存在 7个解剖结构的区域，则删除该髋关节超声图像 S4：二次图像筛选:识别髋关节超声图像中标志点的区域、并判断髋关节超声图像中是否存在 3 个标志点的区域；-若存在3 个标志点的区域，则执行S5；-若不存在 3 个标志点的区域，则储存该超声图像至服务器供检查者诊断：输出坐标：根据髋关节超声图像输出 3 个标志点的XY 坐标；S6：角度计算：根据 3个标志点的XY 坐标计算α角和β角。

在上述Graf 法髋关节超声图像测量设备中，在所述的步骤S5 中，还包括S51：建立基线：根据 3 个标志点的XY 坐标分别建立基线、骨顶线以及软骨顶线。

在上述Graf 法髋关节超声图像测量设备中，在所述的步骤S1 中，还包括S11：婴幼儿信息录入：接收家长录入的婴幼儿基本信息、将基本信息录入至服务器、并与髋关节超声图像相互关联。

在上述Graf 法髋关节超声图像测量设备中，在所述的步骤 S2 中，通过 U-Net提取髋关节超声图像中的骨边缘。

在上述Graf 法髋关节超声图像测量设备中，在所述的步骤S3 中，通过VGG16Net判断髋关节超声图像中是否存在 7 个解剖结构的区域。

在上述Graf 法髋关节超声图像测量设备中，在所述的步骤S4 中，通过VGG16Net判断髋关节超声图像中是否存在 3 个标志点的区域。

在上述Graf 法髋关节超声图像测量设备中，在所述的步骤S6 中，通过InceptionV3 计算髋关节超声图像中的α角和β角。

本发明的第四个目的可通过下列技术方案来实现：一种存储介质，存储有与显示器；输入装置；结合使用的计算机程序，所述计算机程序可被处理器执行以完成以下步骤：S1：超声图像录入：接收检查者采集的多张髋关节超声图像； S3：图像筛选：识别髋关节超声图像中解剖结构的区域、并判断髋关节超声图像中是否存在 7 个解剖结构的区域；-若存在 7 个解剖结构的区域，则执行S4；-若不存在 7 个解剖结构的区域，则删除该髋关节超声图像 S4：二次图像筛选:识别髋关节超声图像中标志点的区域、并判断髋关节超声图像中是否存在 3个标志点的区域；-若存在 3 个标志点的区域，则执行S5；-若不存在 3 个标志

点的区域，则储存该超声图像至服务器供检查者诊断：输出坐标：根据髋关节超声图像输出 3 个标志点的XY 坐标；S6：角度计算：根据 3 个标志点的XY 坐标计算α角和β角。

在上述的存储介质中，在所述的步骤S5 中，还包括S51：建立基线：根据3 个标志点的XY 坐标分别建立基线、骨顶线以及软骨顶线。

在上述的存储介质中，在所述的步骤 S1 中，还包括 S11：婴幼儿信息录入： 接收家长录入的婴幼儿基本信息、将基本信息录入至服务器、并与髋关节超声 图像相互关联。

在上述的存储介质中，在所述的步骤 S2 中，通过U-Net 提取髋关节超声图像中的骨边缘。

在上述的存储介质中，在所述的步骤S3 中，通过VGG16Net 判断髋关节超声图像中是否存在 7 个解剖结构的区域。

在上述的存储介质中，在所述的步骤S4 中，通过VGG16Net 判断髋关节超声图像中是否存在 3 个标志点的区域。

在上述的存储介质中，在所述的步骤 S6 中，通过InceptionV3 计算髋关节超声图像中的α角和β角。

与现有技术相比，本发明通过对包含目标髋关节的超声图像进行一系列处理，全自动的对图像评估判断的循序始终是：1，解剖结构识别 anatomicalidentification，2，可用性检验 usability check， 3，对于中心型髋关节 （I、II 和D）需要测量α值和β值，以进一步明确分型骨性髋臼角度，而无需人工进行检测测量工作，能够有效减轻检测过程中工作人员负担，且本发明对超声图像处理的同时将一些信息不全的超声图像进行删除，能够有效提高髋关节发育不良诊断的效率，该发明主要负责标准图像的采集、识别和获取，有标准图

像就能做诊断，便于医护人员查看，降低患儿确诊时间；通过α值的测量，反 映的是骨性臼顶的发育情况，通过β值的测量，反映的是软骨臼顶的发育情况， 诊断的时候只考虑α值，意味着将超声方法的准确性降低到了 X 线的水平。

附图说明

图 1 是本发明的步骤原理示意图。图 2 是本发明中U-Net 网络结构图。图 3 是本发明中VGG 网络结构图。

图 4 是本发明中InceptionV3 网络结构图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

如图 1 所示，本Graf 法髋关节超声图像测量方法，包括以下步骤：S1：超声图像录入：接收检查者采集的多张髋关节超声图像；S3：图像筛选：识别髋关节超声图像中解剖结构的区域、并判断髋关节超声图像中是否存在 7 个解剖结构的区域；-若存在 7 个解剖结构的区域，则执行 S4；-若不存在 7 个解剖结构的区域，则删除该髋关节超声图像 S4：二次图像筛选:识别髋关节超声图像中标志点的区域、并判断髋关节超声图像中是否存在3 个标志点的区域；-若存在3 个标志点的区域，则执行S5；-若不存在 3 个标志点的区域，则储存该超声图像至服务器供检查者诊断：输出坐标：根据髋关节超声图像输出 3 个标志点的XY 坐标；S6：角度计算：根据 3 个标志点的XY 坐标计算α角和β角。

进一步细说，步骤 S5 中，还包括 S51：建立基线：根据 3 个标志点的XY 坐标分别建立基线、骨顶线以及软骨顶线，通过基线、骨顶线以及软骨顶线的建立，便于医护人员对超声图像的查看，便于医护人员与患者之间的沟通，一旦医护人员对α角和β角的数值存在异议可通过人工进行二次测量。

进一步细说，步骤S1 中，还包括 S11：婴幼儿信息录入：接收家长录入的婴幼儿基本信息、将基本信息录入至服务器、并与髋关节超声图像相互关联， 使得医护人员通过髋关节超声图像找到对应的婴幼儿信息或通过婴幼儿信息找到与之匹配的髋关节超声图像，保证婴幼儿与髋关节超声图像的一致，避免发生诊断错误等情况发生。

进一步细说，步骤S2 中，通过U-Net 提取髋关节超声图像中的骨边缘，特征加强效果较为明显。

如图 2 所示的U-Net 网络结构，输入和输出都是图像，没有全连接层，较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类，根据UNet 的结构，它能够结合底层和高层的信息；底层(深层)信息：经过多次采样后的低分辨率信息，能够提供分割目标在整个图像中上下文语义信息，可理解为反应目标和它的环境之间关系的特征，这个特征有助于物体的类别判断；高层(浅层)信息：经过concatenate 操作从 encoder 直接传递到同高度decoder 上的高分辨率信息。能够为分割提供更加精细的特征，如梯度等；因为医学图像边界模糊、梯度复杂，需要较多的高分辨率信息，高分辨率用于精准分割； 人体内部结构相对固定，分割目标在人体图像中的分布很具有规律，语义简单明确，低分辨率信息能够提供这一信息，用于目标物体的识别；UNet 结合了低分辨率信息（提供物体类别识别依据）和高分辨率信息（提供精准分割定位依据），完美适用于医学图像分割。

进一步细说，步骤 S3 中，通过 VGG16Net 判断髋关节超声图像中是否存在 7个解剖结构的区域。

如图 3 所示的VGG 网络结构，VGG 是Oxford 的Visual Geometry Group 的组提出的。该网络是在ILSVRC 2014 上的相关工作，主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VGG 有两种结构，分别是VGG16 和VGG19，两者并没有本质上的区别，只是网络深度不一样；GG16 相比AlexNet 的一个改进是采用连续的几个 3x3的卷积核代替AlexNet 中的较大卷积核（11x11，7x7，5x5）。对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增 加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少），VGGNet 的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3x3）和最大池化尺寸（2x2）；几个小滤波器（3x3）卷积层的组合比一个大滤波器（5x5 或 7x7） 卷积层好；验证了通过不断加深网络结构可以提升性能；过滤掉不符合规格的 图片，提高整体性能。

进一步细说，步骤 S4 中，通过 VGG16Net 判断髋关节超声图像中是否存在 3 个标志点的区域，过滤掉不符合规格的图片，提高整体性能。

进一步细说，步骤S6 中，通过InceptionV3 计算髋关节超声图像中的α角和β角，InceptionV3 能够显著降低网络参数和计算量，用来回归计算角度比较合适。

如图 4 所示的InceptionV3 的网络结构，首先是 5 个卷积层和 2 个池化层 交替的普通结构，然后是 3 个Inception 模块组，每个模块组内包含多个结构类似的Inception Module。设计Inception Net 的一个重要原则是，图片尺寸是不断缩小的，从299x299 通过 5 个步长为 2 的卷积层或池化层后，缩小为 8x8； 同时，输出通道数持续增加，从一开始的 3（RGB 三色）到 2048。从这里可以看出，每一层卷积、池化或Inception模块组的目的都是将空间结构简化，同时将空间信息转化为高阶抽象的特征信息，即将空间的维度转为通道的维度。这一过程同时也使每层输出张量的总量持续下降，降低了计算量。

本Graf 法髋关节超声图像测量装置，包括用于超声图像录入的装置：接收检查者采集的多张髋关节超声图像； 用于图像筛选的装置：识别髋关节超声图像中解剖结构的区域、并判断髋关节超声图像中是否存在 7 个解剖结构的区域； 用于二次图像筛选的装置:识别髋关节超声图像中标志点的区域、并判断髋关节超声图像中是否存在 3 个标志点的区域；用于输出坐标的装置：根据髋关节超声图像输出 3 个标志点的XY 坐标；用于角度计算的装置：根据 3 个标志点的XY 坐标计算α角和β角。

进一步细说，用于输出坐标的装置中，还包括用于建立基线的装置：根据 3 个标志点的XY 坐标分别建立基线、骨顶线以及软骨顶线。

进一步细说，用于超声图像录入的装置中，还包括用于婴幼儿信息录入的装置：接收家长录入的婴幼儿基本信息、将基本信息录入至服务器、并与髋关节超声图像相互关联。

进一步细说，用于特征加强的装置中，通过U-Net 提取髋关节超声图像中的骨边缘。

进一步细说，用于图像筛选的装置中，通过VGG16Net 判断髋关节超声图像中是否存在 7 个解剖结构的区域。

进一步细说，用于二次图像筛选的装置中，通过VGG16Net 判断髋关节超声图像中是否存在 3 个标志点的区域。

进一步细说，用于角度计算的装置中，通过InceptionV3 计算髋关节超声图像中的α角和β角。

本Graf 法髋关节超声图像测量设备，包括：显示器；输入装置；一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在 所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用 于执行以下步骤：S1：超声图像录入：接收检查者采集的多张髋关节超声图像；S3：图像筛选：识别髋关节超声图像中解剖结构的区域、并判断髋关节超声图像中是否存在 7 个解剖结构的区域；-若存在 7 个解剖结构的区域，则执行S4；-若不存在 7 个解剖结构的区域，则删除该髋关节超声图像S4：二次图像筛选: 识别髋关节超声图像中标志点的区域、并判断髋关节超声图像中是否存在 3个标志点的区域；-若存在 3 个标志点的区域，则执行S5；-若不存在 3 个标志点的区域，则储存该超声图像至服务器供检查者诊断：输出坐标：根据髋关节超声图像输出 3 个标志点的XY 坐标；S6：角度计算：根据 3 个标志点的XY 坐标计算α角和β角。

进一步细说，步骤 S5 中，还包括 S51：建立基线：根据 3 个标志点的XY 坐标分别建立基线、骨顶线以及软骨顶线，通过基线、骨顶线以及软骨顶线的建立。

进一步细说，步骤S1 中，还包括 S11：婴幼儿信息录入：接收家长录入的婴幼儿基本信息、将基本信息录入至服务器、并与髋关节超声图像相互关联。

进一步细说，步骤S2 中，通过U-Net 提取髋关节超声图像中的骨边缘。进一步细说，步骤 S4 中，通过 VGG16Net 判断髋关节超声图像中是否存在 3个标志点的区域。

进一步细说，步骤S6 中，通过InceptionV3 计算髋关节超声图像中的α角和β角。

本存储介质，存储有与显示器；输入装置；结合使用的计算机程序，所述计算机程序可被处理器执行以完成以下步骤：S1：超声图像录入：接收检查者采集的多张髋关节超声图像； S3：图像筛选：识别髋关节超声图像中解剖结构的区域、并判断髋关节超声图像中是否存在 7 个解剖结构的区域；-若存在 7 个解剖结构的区域，则执行 S4；-若不存在 7 个解剖结构的区域，则删除该髋关节超声图像S4：二次图像筛选:识别髋关节超声图像中标志点的区域、并判断髋关节超声图像中是否存在 3 个标志点的区域；-若存在 3 个标志点的区域，则执行S5；-若不存在 3 个标志点的区域，则储存该超声图像至服务器供检查者诊断： 输出坐标：根据髋关节超声图像输出 3 个标志点的XY 坐标；S6：角度计算：根据 3 个标志点的XY 坐标计算α角和β角。

进一步细说，步骤 S5 中，还包括 S51：建立基线：根据 3 个标志点的XY 坐标分别建立基线、骨顶线以及软骨顶线，通过基线、骨顶线以及软骨顶线的建立。

进一步细说，步骤S1 中，还包括 S11：婴幼儿信息录入：接收家长录入的婴幼儿基本信息、将基本信息录入至服务器、并与髋关节超声图像相互关联。

进一步细说，步骤S2 中，通过U-Net 提取髋关节超声图像中的骨边缘。进一步细说，步骤 S4 中，通过 VGG16Net 判断髋关节超声图像中是否存在 3个标志点的区域。

进一步细说，步骤S6 中，通过InceptionV3 计算髋关节超声图像中的α角和β角。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了大量术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。