发育性髋关节异常超声图像计算机智能算法辅助判别系统

技术领域

本发明涉及超声图像技术领域，尤其涉及发育性髋关节异常超声图像计算机智能算法辅助判别系统。

背景技术

DDH是常见的出生缺陷性疾病，其在新生儿和小于6个月的儿童发病率约为1％，是一种影响人类生活质量的严重疾病。DDH早期筛查(6个月内)可以早期诊断并治疗该病，提高整体人群健康素质和生活质量。

主要的筛查方法是利用超声波技术对6个月以下儿童开展髋关节检查，主要的技术是Graf法。该技术的核心就是通过超声波检查获取一张反映髋关节解剖关系的标准图像，然后依据这幅图像进行诊断分型。由此，髋关节超声图像的标准与否就成为了这项技术的关键！种种原因，目前筛查工作中标准图像不标准的情况较为普遍，严重干扰了DDH早期筛查工作的顺利开展，为此我们提出发育性髋关节异常超声图像计算机智能算法辅助判别系统。

发明内容

本发明的目的是为了解决现有技术中存在的问题，而提出的发育性髋关节异常超声图像计算机智能算法辅助判别系统。

为了实现上述目的，本发明采用了如下技术方案：

发育性髋关节异常超声图像计算机智能算法辅助判别系统，针对图像是否标准进行判别，具体技术线路包括：

1)图像预处理：关于超声髋关节图像预处理部分，目前普遍采用的技术需要获取超声图像的原图进行加工处理，并没有实现对其他来源的超声图像的处理筛查；

2)图像识别的算法创立、改进：进行超声标准图片筛选算法的改进，提高算法执行效率与算法普适性；

3)开启人工神经网络系统，开展机器学习和特征提取提高工作：人工神经网络愈加成熟，采用最优人工神经网络进行特征提取；

4)创建图片标准评定系统，创建图片测量系统，完成AI赋能的辅助诊断系统：针对图片，进行髋关节异常情况的检测判定，辅助判断幼儿髋关节是否发育正常；

5)诊断精度：提升计算机辅助发育性髋关节异常超声筛查系统诊断精度；

6)可视化平台：构建可视化操作平台用以医疗诊断辅助

本发明中有益效果如下：本发明早期可以辅助DDH超声筛查工作的开展，提高筛查工作质量，降低不同学习途径、不同经验基础医务人员对标准图像的判别差异，有利于提高超声医生获取标准图像的机率，提高筛查诊断的质量。后期，将为创建更加自动化、减少人员掌握超声检查细节获取优质检查效果的作用；

本发明第一步完成针对已经获得的髋关节超声波图像进行辅助测量和诊断，完成不同用户终端图像上传和即时鉴别回馈，后期，利用该系统嵌入现有超声仪的图文诊断系统中，实现非标准图像阻止进入临床诊断图文报告的技术把关，再后，与硬件商合作，开发以标准图像为基准的超声髋关节图像自动截取，提前技术把控关口。

系统设计除计算机辅助发育性髋关节异常超声筛查系统具备图像处理、筛查、判定功能外，后期可以实现开放患儿家属登陆接口，实时上传超声图片，给出幼儿髋关节是否发育异常的自动诊断意见，以及专家人工诊断的功能。

附图说明

图1为本发明提出的发育性髋关节异常超声图像计算机智能算法辅助判别系统的运行示意图；

图2为本发明提出的发育性髋关节异常超声图像计算机智能算法辅助判别系统的检查步骤示意图。

具体实施方式

下面将对结合附图，本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-2，发育性髋关节异常超声图像计算机智能算法辅助判别系统，针对图像是否标准进行判别，具体技术线路包括：

1)图像预处理：关于超声髋关节图像预处理部分，目前普遍采用的技术需要获取超声图像的原图进行加工处理，并没有实现对其他来源的超声图像的处理筛查；

2)图像识别的算法创立、改进：进行超声标准图片筛选算法的改进，提高算法执行效率与算法普适性；

3)开启人工神经网络系统，开展机器学习和特征提取提高工作：人工神经网络愈加成熟，采用最优人工神经网络进行特征提取；

4)创建图片标准评定系统，创建图片测量系统，完成AI赋能的辅助诊断系统：针对图片，进行髋关节异常情况的检测判定，辅助判断幼儿髋关节是否发育正常；

5)诊断精度：提升计算机辅助发育性髋关节异常超声筛查系统诊断精度；

6)可视化平台：构建可视化操作平台用以医疗诊断辅助。

超声髋关节图像预处理：在原有的基础上实现对手机拍摄和其他低性能设备获取的超声图像的处理，首先需要对图像进行梯形矫正和截取，保证图像符合后端判读，对于含有噪点或其他干扰信息的非超声图像原图，预训练的特征提取模型有较高的宽容度；

特征提取-YOLO：YOLO是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度很快，可以用于实时系统。本发明是基于YOLO V3的髋关节超声图像识别技术，利用的是在YOLO的原版基础上不断改进演化的最新的v3版本。

YOLO以速度见长，处理速度可以达到45fps，其快速版本(网络较小)甚至可以达到155fps。这得益于其识别和定位合二为一的网络设计，而且这种统一的设计也可以实现同时预测多个特征点的位置和类别，使得训练和预测可以端到端的进行，非常简便。在保持速度优势的前提下，提升了预测精度，尤其是加强了对小物体的识别能力。此项技术网络结构更小，可以部署在手机等智能设备上。

多维度诊断法：最终提取出髋关节图像经分割步骤后进行特征提取，而特征提取主要为特征点的提取。特征点的提取则是在髋臼区域中提取出本方法中需要的特征点，使得最终诊断部分能直接利用这些特征点依据角度进行诊断并作出分类计算最终得出诊断结论。

发育异常判定

1.髂骨平面短(小于股骨头1/2)，盂唇不清晰，判定髋关节发育异常

2.盂唇显示欠清，滑膜皱褶显示欠清，判定髋关节发育异常

3.髂骨平面不直，髂骨最低点不清，滑膜皱褶不清，判定髋关节发育异常

4.任意特征点无法识别或置信度低于0.7判定髋关节发育异常

本发明判断标准有7个维度，包含骨软骨交界面、滑膜折痕、盂唇、髂骨平面、髂骨最低点、软骨膜、股骨头，其他系统评判依据大多为三项指标:骨性髋臼顶角度，软骨性髋臼顶角度，及髋臼对股骨头覆盖率。相较而言可以获取筛查更多信息量来辅助诊断。

Laplacian算子：laplacian是一个在图像增强中经常出现的二阶微分算子，本发明用以超声图像处理钱以及特征提取后，检测图像/特征点是否清晰。

它的应用可增强图像中灰度突变的区域，减弱灰度的缓慢变化区域。因此，锐化处理可选择拉普拉斯算子对原图像进行处理，产生描述灰度突变的图像，再将拉普拉斯图像与原始图像叠加而产生锐化图像。

这种简单的锐化方法既可以产生拉普拉斯锐化处理的效果，同时又能保留背景信息，将原始图像叠加到拉普拉斯变换的处理结果中去，可以使图像中的各灰度值得到保留，使灰度突变处的对比度得到增强，最终结果是在保留图像背景的前提下，突现出图像中小的细节信息

模拟训练阶段：

[01]收集髋关节超声图片数据集；

[02]人工对髋关节超声图片进行处理，截取超声图像的有效范围，标记特征点位置；

[03]对其进行训练得到分割类型和分类类型；

模型训练方法：利用YOLOv3提供的darknet53预训练模型基础上进行深度训练；

[04]基于训练后的模型对样本数据集进行测试和精度评价，根据评价反馈调整模型epoch参数，重复进行训练直至模型性能稳定；

特征提取：

[05]利用训练好的模型对图像进行特征提取，同时得到各个特征点的位置和置信度；

特征点检测：

[06]任意特征点无法识别或置信度低于0.7判定髋关节发育异常；

[07]使用laplacian算子判定各个特征点的清晰度；

[08]根据特征点的位置信息，判断髂骨平面长度是否小于股骨头1/2；

[09]对髂骨平面特征点图片进行灰度化、中值滤波、二值化后，使用最小外接矩形方法获取髂骨平面倾斜角度，具体公式为：cv2.minAreaRect(image)[2]；

[10]根据[0007]-[0009]获得的信息，利用多维度判定法进行判定髋关节是否发育异常。

本发明中，基于YOLO深度神经网络的对象识别和定位算法的改进和利用，结合多维度诊断法所形成的计算机辅助发育性髋关节异常超声筛查系统。

本发明在设计构思上从图像预处理到最终的信息回馈上都形成了完整的体系流程，技术应用上采用当下较为流行的、普适性最强的方法如YOLO等。

基于本发明的关键构思的扩展，可以通过SSD(single shot multibox detector)替代YOLO神经网络算法，利用Graf诊断法替代多维度的评判依据。本产品可以通过修改诊断方法应用到其他医学超声图像中，神经网络算法可以应用到其他图像处理以及识别，如汽车牌照识别、机器人控制等。

本发明所设计的系统已经在幼儿髋关节超声图像上得到验证，项目进行三次测试，根据数据得出结果：已具备超过以往图像判断标准的精度、准确率，精确度(查准率)最高可以达到78.95％，在同时保证召回率(查全率)也较高的情况下，两者数值都可以达到68.24％。

整个系统具备高效快捷、筛查率高等特点，有效缓解超声科医生劳动强度，辅助判断当前超声图片是否符合骨科医生诊断标准，并对儿童髋关节异常筛查的普及起到一定的推动作用。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。