一种基于深度学习的骨折分型辅助分型系统

技术领域

本发明属于计算机视觉和深度学习技术，具体涉及一种三维重建多视角采样和卷积神经网络的分类技术。

背景技术

据调查显示，每年在全球范围内有超过900万列的骨折患者，其中30％的骨折病例发生在中国。股骨骨折是一种严重的疾病，虽然股骨骨折并不致命，但骨折所带来的并发症将产生极大的风险。在临床诊断中，外科和放射科医生通常需要利用X射线或计算机断层扫描(CT)图像确定骨折的发生和确切性质，为选择正确的复位固定方法提供参考。不过，在临床应用中通常出现如下问题：(1)由于影像设备的成像原理或不当的操作，可能造成图像质量下降，给医生阅片带来困难，导致误诊、漏诊等现象发生；(2)人工阅片只能够实现定性分析，许多微小的定量变化无法通过肉眼判断；(3)人工阅片会花费医生大量的精力和时间，难以实现大规模的诊断，同时医生水平和主观性会极大影响结果。而计算机技术的引入则能够有效解决部分问题，实现快速对患者的疾病类型判断，节省医生大量的精力，从而提高医生的诊断效率，降低误诊概率。

发明内容

本发明所要解决的技术问题是，在小样本的情况下，提供一种针对CT骨折影像的三维重建重采样分型系统。

本发明为解决上述技术问题所采用的技术方案是，一种基于深度学习的骨折分型辅助分型系统，包括兴趣区域ROI选取模块、三维区域重建模块、旋转采样模块以及骨折分型模块。

兴趣区域ROI选取模块用于接收输入的三维数据格式的CT影像，对CT影像按层划分，对各层面上的图像进行二维匹配，获取相似度最大值的图像作为ROI的中间帧；然后以中间帧为基准选取预设区域进行裁剪得到确定的ROI并输入至三维区域重建模块；

三维区域重建模块利用计算机视觉库中的重建算法对ROI进行三维重建后，将三维重建模型输出至旋转采样模块；

旋转采样模块用于将三维重建的模型绕空间中垂直的轴进行旋转，当旋转到特定位置时，通过虚拟相机拍摄当前视角的二维图像完成重采样后输出至骨折分型模块；

骨折分型模块用于将重采样的二维图像输入到二维卷积网络中实现对骨折的分型。

进一步的，为保证重建后的模型不会产生视角遮挡，本发明对倾斜图像进行配准，从而获取更加清晰的视觉信息。即，还包括位置配准模块，位置配准模块用于对来自兴趣区域ROI选取模块输出的ROI进行位置配准以消除之后重建三维模型的倾斜影响，再将位置配准后的ROI输出至三维区域重建模块。

本发明的有益效果是，提出的基于三维重建多视角采样分类具有效率高、样本需求量少的优点，可以为专业医生在临床环境中提供辅助诊断的作用。

附图说明

图1为本发明系统的实现步骤流程图；

图2为兴趣区域(ROI)选取流程图；

图3为局部位姿配准流程图；

图4为三维区域重建示意图；

图5为旋转重采样示意图；

图6为多视角位姿归一化网络；

图7为采用了实施方法的分型辅助诊断系统界面示意图。

具体实施方式

为了详细阐述本发明为达到预定技术目的而所采取的技术方案，下面将对本发明实施例中的技术方案进行清晰、完整地描述。

骨折分型辅助分型系统包括兴趣区域ROI选取模块、位置配准模块、三维区域重建模块、旋转采样模块以及骨折分型模块分别通过如图1所示步骤完成骨折分型：

步骤1、ROI选取：

由于原始的CT数据包含了下半身或全身数据，冗余数据将严重影响系统判别，因此需要对数据进行区域的选取。区域选取是通过模板匹配的方式实现的，其工作流程图如图2所示。虽然CT影像是三维数据形式并且模板匹配只能用于对二维图像的处理，但在CT图像中的某一个层上，数据为二维图像。因此实施例通过对不同层间的数据进行匹配，然后找出相似度最高的图像作为ROI选取的中间帧，最后按照设定的大小以中间帧为基准选取区域然后保存，从而完成整个ROI的选取。

步骤2、局部位姿配准：

由于患者在拍摄过中存在未按照标准姿态进行拍摄，从而会导致部分拍摄的CT图像会出现倾斜的情况影响系统的采样。所以本方案在设计过程中加入局部配准的功能，其目的是为了消除重建后模型的倾斜情况。

本系统采用的配准方案如图3所示。由于复杂的骨折场景不能实现对骨折部位的直接配准，因此本系统采用了局部配准的方式。因为骨骼在旋转平移等变换中不会发生形变，因此骨骼局部位置发生的变换一样可以应用于整个股骨。

将最不容易发生骨折的骨干部位作为配准的模板。在配准时选取骨折的下半部位作为待配准的对象。然后采用梯度下降的方式使骨干部位和骨折的下半部位这两个局部的部位进行配准并的到变换的旋转矩阵R和位移变量h参数。最后将得到的R和h参数应用于整个骨折区域，从而通过配准消除骨折倾斜的情况。

步骤3、三维重建与多视角采样：

将骨折区域配准完成后，通过轮廓滤波法对骨折表面网格进行创建，然后采用计算机视觉库中的图形渲染接口对表面进行渲染，最终得到重建后的三维模型。将三维模型绕Z轴旋转，旋转到计算的位置时拍摄该视角的视图并保存。其采样具体方式如图4和图5所示。

步骤4、骨折分型

将采样后的数据进行分型，实现对骨折的分类。采用卷积神经网络方式对多视角的图像进行分类。该方法首先生成旋转矩阵，矩阵的表达式如(1)所示。

旋转矩阵V为一个m×m的方阵，其中m为视角的个数。引入旋转矩阵V后，则可以将所有的采样后样本的位姿状况进行标记。在对样本进行分类时，则不能采用原始的分类策略，而是需要将旋转矩阵的每一行进行叠加计算，最后选出在m个旋转序列中概率最大的值作为最终的结果。网络的结构如图6所示，其中，主干网络采用了常用的卷积神经网络(CNN)作为特征提取网络，从而提高了方法的通用性图6中以视图数M＝3为例，即V1，V2，V3；类别数N为2，即A1，A2表示所属的类型，EI表示(Error View)错误视图。训练样本由M幅位姿未知的图像及其类别标签y组成。

对每个视角的输入图像，经过特征提取网络后最终都会输出M个直方图，每张视图都会在每个视角输出N+1个类别。每个直方图的最后一行错误视图EI,作为直方图不对应于每个视角变量的可能性的权重。根据直方图的值决定哪个图像对应于视图1、2和3。视图旋转有三个候选项：(1,2,3)、(2,3,1)和(3,1,2)。对于每个候选项，将直方图相乘并选择最佳选项来计算真实类别的得分，图示情况下为2、3、1的旋转顺序。最后，用估计的视角变量以反向传播方式更新CNN模型参数。

图7为采用了实施方法的分型辅助诊断系统界面示意图，主要包括数据的三视图显示、3维重绘区域、菜单栏区域、区域预选取、患者基本信息和一些功能按键。