一种基于Faster-RCNN的桡骨远端骨折图像处理方法

技术领域

本发明涉及骨折影像的计算机辅助领域，更具体涉及一种基于Faster-RCNN的桡骨远端骨折图像处理方法。

背景技术

临床桡骨远端骨折术前的骨折检查多为拍摄X射线图像，其只能得到整个桡骨叠加在一起的影像和数据，使得桡骨远端骨折图像缺乏清晰的病灶显示。且因腕部的骨质结构不规则，骨碎块多，存在重叠、压缩、旋转、嵌插等复杂骨折形式，使得骨科医生判断桡骨远端骨折的具体类型困难，从而影响后续复位方式的选择。

在特征提取中，研究重点主要集中在设计新特征或特征选择以改进图像的描述和区分，如形态和纹理特征，形状特征，放射学特征，深度学习特征。然而它们中的大多数（除了深层特征）都受到类内变异和类间模糊问题的困扰，深度特征会遇到与其他特征融合的问题。整张桡骨远端骨折图像病灶区域占比小且病灶类型复杂，单纯的特征提取-分类器模型难以取得较好的效果。

发明内容

为了解决现有技术的不足，本发明提出以下解决方案。

一种基于Faster-RCNN的桡骨远端骨折图像处理方法，包括如下步骤：

101、获取待处理的桡骨远端骨折X射线图像，对获取的桡骨远端骨折X射线图像进行预处理，突出骨折图像内部的病灶信息；

102、利用LabelImg标注工具对桡骨远端骨折区域进行标注；

103、选取Faster-RCNN作为图像分割工具，并对原始的Faster-RCNN的特征提取层进行改进，将原始的特征提取网络VGG-16替换为层数较深，特征提取效果较好的Resnet101；

104、将经预处理后的桡骨远端骨折图像利用Faster-RCNN进行目标检测，从而获得桡骨远端骨折病灶的感兴趣区域；

105、输出步骤104中获取的桡骨远端骨折感兴趣区域的坐标点，并利用输出的坐标点完成感兴趣区域的分割任务。

优选的，步骤101还包括：

A1、将获取的桡骨远端骨折X射线图像全部转换为JPEG格式；

A2、利用CLAHE算法对桡骨远端骨折X射线图像进行预处理，突出骨折图像内部的病灶信息，抑制噪声。

优选的，步骤102还包括如下步骤：

B1、将桡骨远端骨折图像数据集制作成Pascal VOC数据集格式；

B2、将转化格式后的数据集利用LabelImg标注工具进行标注，并在标注好的区域注明桡骨远端骨折图像所属的具体类别。

优选的，步骤103还包括：

C1、将目标检测Faster-RCNN的原始特征提取网络VGG-16替换为Resnet101；

C2、将Faster-RCNN源程序里的Pascal VOC数据集替换为桡骨远端骨折图像数据集。

优选的，步骤104还包括：

利用改进后的Faster-RCNN完成桡骨远端骨折X射线图像病灶的检测和分类任务，用改进后的Faster-RCNN目标检测算法来自动检测桡骨远端骨折的病灶区域，将检测出的桡骨远端骨折病灶区域的图像分割出来，通过提取分割图像的特征，送入分类器进行分类。

优选的，步骤105还包括：

根据Faster-RCNN检测到的坐标值，利用坐标值对桡骨远端骨折图像的病灶区域进行裁剪。

优选的，还包括步骤：

106、将分割出的桡骨远端骨折感兴趣区域输入分类器。

优选的，步骤106还包括：

完成桡骨远端骨折X射线图像具体类型的分类任务。

优选的，使用深度学习算法来完成桡骨远端骨折X射线图像具体类型的分类任务。

本发明提供的方法能够使普通计算机完成对JPEG格式桡骨远端骨折X射线图像的分割任务，改进了原始的目标检测算法，优化骨折图像，以方便对桡骨远端骨折图像进行精准分类。

在我们的实验研究中，通过改进后的Faster R-CNN，其自动检测待测试的桡骨远端骨折X射线图像中的ROI数据集的成功率达到了80.23％，实验在图像特征提取方面，跳过传统机器学习方法，不对图像进行手动的特征选择(如每张图像进行形状、纹理等特征提取), 而是利用深度学习的卷积层逐层提取图像的深层语义特征，并引入迁移学习的概念，提高了现有模型的分类性能。

附图说明

图1是实施例1中所述方法的流程图。

具体实施方式

为了更好地解释本发明的技术方案，下文将结合附图进行具体的实施例阐述，应注意的是，实施例只作为对发明内容的补充辅助说明，并非对本发明保护范围的限制，任何本领域普通技术人员对实施例中的技术手段所做出的任何等效替换，都将落在本发明的保护范围内。

实施例1

如图1所示流程的一种基于Faster-RCNN的桡骨远端骨折图像处理方法，包括如下步骤：

S1、获取待处理的桡骨远端骨折X射线图像，将获取的桡骨远端骨折X射线图像全部转换为JPEG格式，由于X射线图像具有亮度低且对比度差的问题，因此对获取的桡骨远端骨折X射线图像进行预处理，选用限制对比度自适应直方图均衡化算法(Contrast LimitedAdaptive Histogram Equalization，CLAHE)能够增强图像对比度，还能抑制噪声，突出桡骨远端骨折图像的内部细节，从而更好地显示桡骨远端骨折图像的病灶信息。

S2、将桡骨远端骨折图像数据集制作成Pascal VOC数据集格式，将转化格式后的数据集利用LabelImg标注工具进行标注，并在标注好的区域注明桡骨远端骨折图像所属的具体类别。

S3、选取Faster-RCNN作为图像分割工具，并对原始的Faster-RCNN的特征提取层进行改进，将目标检测Faster-RCNN的原始特征提取网络VGG-16替换为层数较深，特征提取效果较好的Resnet101， Faster-RCNN自带的程序中的特征提取网络为VGG-16（一种深度学习模型，总共包括16层，13个卷积层和3个全连接层），为改进Faster-RCNN的目标检测性能，将原始特征提取网络替换为Resnet101，Resnet101是为了解决随着网络层数的增加而产生的梯度爆炸/弥散现象而产生的，Resnet网络通过引入残差块解决了上述问题；将Faster-RCNN源程序里的Pascal VOC数据集替换为桡骨远端骨折图像数据集，Pascal VOC数据集是指原始Faster-RCNN的目标检测代码中所用的公共数据集，将经预处理步骤后的桡骨远端骨折图像数据改为跟公共数据集Pascal VOC一样的结构，如Annotations文件夹存放的是xml文件，它们是一些标注信息，比如VOC数据集中000001图片的标注信息在中，中间存放的文件名，图片的长、宽、通道存放在中；桡骨远端骨折图像数据集是指经预处理步骤后的与公共数据集格式一致的图像数据。

S4、利用改进后的Faster-RCNN完成桡骨远端骨折X射线图像病灶的检测和分类任务，用改进后的Faster-RCNN目标检测算法来自动检测桡骨远端骨折的病灶区域，将检测出的桡骨远端骨折病灶区域的图像分割出来，通过提取分割图像的特征，送入分类器进行分类。

S5、根据Faster-RCNN检测到的坐标值，利用坐标值对桡骨远端骨折图像的病灶区域进行裁剪。

S6、将分割出的桡骨远端骨折感兴趣区域输入分类器，从而完成桡骨远端的骨折图像分类，完成桡骨远端骨折X射线图像具体类型的分类任务。

实施例2

在实施例1基础上，优选使用深度学习算法来完成桡骨远端骨折X射线图像具体类型的分类任务，在检测并分割出桡骨远端骨折的病灶区域后，利用分类器完成桡骨远端骨折的具体分类任务。不是必须用深度学习算法，可以选择常规的机器学习算法进行分类，其步骤为提取分割出骨折病灶图像的传统特征，选择经典的机器学习分类器如SVM,ELM,RF等进行分类，或者选择深度学习框架进行分类。深度学习框架的优点是其分类的速度快，且利用卷积层可以提取到骨折图像的高层语义特征，能够显著提高桡骨远端骨折具体类型的分类准确率，因此作为优选方案。