一种骨龄图像数字化处理后自动识别方法

【技术领域】

本发明涉及骨龄识别的技术领域，特别是一种骨龄图像数字化处理后自动 识别方法的技术领域。

【背景技术】

人的生长发育可用两个“年龄”来表示，即生活年龄(日历年龄)和生物年龄 (骨龄)。骨龄是骨骼年龄的简称，是人体的骨骼生长程度的一种状态反映，需要 借助于骨骼在X光摄像中所产生的特定图像来确定。骨龄能较准确地反映个体 的生长发育水平和成熟程度，不仅有助于对个体的生长发育阶段进行监护和诊 断某些疾病，还可用于预测个体在成人时的最终身高和指导内分泌临床用药。

目前，在各大医院中，一般由医师根据所拍的人体手部的X光片进行人工 解读及评分，从而获得骨龄信息。该方法由于依赖人工根据X光片估计骨龄和 预测身高，因此，存在精度受人的主观因素影响较大以及效率较低的问题，亟 待改进。

【发明内容】

本发明的目的就是解决现有技术中的问题，提出一种骨龄图像数字化处理 后自动识别方法，解决了骨龄读片耗时长且精度不高的难题，为骨龄的快速评 定提供了有利的支撑。

为实现上述目的，本发明通过以下技术方案来实现：

一种骨龄图像数字化处理后自动识别方法，包括如下步骤：

S-1、图像收集：

导入所拍摄的测试者的手骨图像、测试者的生理数据以及测试者的父母的 生理数据；

S-2、图像预处理：

对步骤S-1所导入的手骨图像进行图像去噪处理和图像空间变换处理，将手 骨图像处理成统一的规格和格式，得到图像样本；

S-3、目标预测：

根据CHN法(中国人手腕骨发育标准CHN法)的骨发育等级标准，利用图像 标注工具对步骤S-2所得到的图像样本的14个目标骨骼区域分别进行标记，采 用经过深度学习而训练好的骨等级识别模型分别对14个目标骨骼区域进行定 位、分割和分类，再根据步骤S-1中所导入的测试者的生理数据，按照CHN法 的各骨发育分期得分表，将各个目标骨骼区域的骨等级转化为不同的分值并累 加起来，最后自动对照CHN法的骨发育成熟分与骨龄对照表计算出相应的骨龄；

S-4、结果报告：

根据步骤S-3所计算出的测试者的骨龄，并参考步骤S-1所导入的测试者的 父母的生理数据，得到测试者的生长报告。

作为优选，所述步骤S-1中，生理数据包括年龄、身高、性别和体重其中的 一种或几种的组合。

作为优选，所述步骤S-2中，采用双边滤波算法对手骨图像图像进行去噪处 理，所述双边滤波算法的公式如下：

在上式中，i和j是当前被卷积像素的坐标点，k和l是邻域像素的坐标点。

作为优选，所述步骤S-2中，图像空间变换处理包括裁剪、缩放、旋转、数 据增强和色彩空间转换其中的一种或几种的组合。

作为优选，所述步骤S-3中，图像标注工具为labelimg。

作为优选，所述步骤S-3中，14个目标骨骼区域分别为桡骨，第1、3、5 掌骨，第1、3、5近节指骨，第3、5中节指骨，第1、3、5远节指骨以及腕骨 部分的钩骨和头状骨。

作为优选，所述步骤S-4中，生长报告包括测试者的年龄、骨龄、骨龄与年 龄差、预测发生初潮的骨龄、骨发育百分位数评价图、身高龄、按年龄评价的 身高、按骨龄评价的身高、预测身高、未来身高评价、身高评价图、BMI、按年 龄评价的BMI、按骨龄评价的BMI、BMI以及评价图其中的一种或几种的组合。

作为优选，所述步骤S-3中，深度学习方法为，采集各个年龄段的男女性的 手骨图像，在处理成统一的规格和格式后，利用图像标注工具对手骨图像样本 的目标骨骼区域和等级分别进行标注，得到骨龄样本数据集并划分成训练集、 验证集和测试集三个部分，先将训练集的手骨图像输入到骨等级识别框架中， 利用骨等级识别模型自动学习手骨图像的14个目标骨骼区域的结构信息，从而 产生若干个初步学习模型，再利用验证集测试各个初步学习模型的准确率，从 而选定最佳的初步学习模型为二级学习模型，最后利用测试集对二级学习模型 进行评估和微调，生成最终学习模型。

作为优选，所述骨等级识别框架为yolov3框架。

作为优选，所述骨等级识别模型为ResNet101模型。

本发明的有益效果：

本发明通过对x线拍摄的数字化骨龄片进行坐标系定位，然后在CHN骨龄 标准上，使用ResNet101学习标准样本的形状、纹理和颜色等特征，最后对比 待识别的图像和标准样本图像中骨等级的相似性，得出各关节的骨等级以及骨 龄，能够对手骨图像的骨等级进行有效的识别，并提高骨龄识别精度和骨龄识 别的实时性，对测试者后续的身高预测以及指导家长对孩子的生长发育进行监 督等方面提供了有力的支持，解决了当前手骨X线光片的识别效率过低、识别 结果不够及时以及无法批量处理手骨图像的技术问题，缓解了医生读片速度低 和读片精度不高的困难。

本发明的特征及优点将通过实施例结合附图进行详细说明。

【附图说明】

图1是本发明的结构示意图；

图2是骨等级识别模型的整体流程图；

图3是骨等级识别模型的目标提取流程图；

图4是骨等级识别模型的目标分类流程图；

图5是骨龄计算和身高预测的流程图。

【具体实施方式】

实施例一、具体使用方式：

S-1、图像收集：

导入所拍摄的测试者的手骨图像、测试者的生理数据以及测试者的父母的 生理数据。

其中，手骨图像为采用X射线骨密度骨龄测定仪所拍摄的数字化的左手手 骨图像。

生理数据包括年龄、身高、性别和体重其中的一种或几种的组合。

在进行数据导入时，可采用逐一导入方式或者批量导入方式。此外，还可 由骨龄测试仪将数据直接上传至本系统之中。

S-2、图像预处理(使用Python实现)：

S-2-1、图像去噪处理：

对步骤S-1所导入的手骨图像进行图像去噪处理。

其中，采用双边滤波算法(Bilateral Filters)对手骨图像图像进行去噪处理。双边滤波是一种非线性滤波器，是使图像平滑的一项重要操作。相对于传统的 高斯模糊来说，其很重要的一个特性为可以保持边缘。一般的高斯模糊在进行 采样时，主要考虑了像素间的空间距离关系，却并没有考虑像素值之间的相似 程度。因此，这样得到的模糊结果通常是整张图片一团模糊。双边滤波的改进 就在于，在采样时，不仅考虑了像素在空间距离上的关系，同时考虑了像素间 的相似程度，因而可以保持原始图像的大体分块，进而保持边缘。在双边滤波 器中，输出像素的值依赖于邻域像素的值的加权组合，双边滤波算法的公式如 下：

在上式中，i和j是当前被卷积像素的坐标点，k和l是邻域像素的坐标点。

权重系数ω(i，j，k，l)取决于空域核和值域核的乘积。其中，空域滤波器对空间上邻近的点进行加权平均，加权系数随着距离的增加而减少。值域滤波器则是 对像素值相近的点进行加权平均，加权系数随着值差的增大而减少。

S-2-2、图像空间变换处理：

在进行图像去噪处理后，对手骨图像进行图像空间变换处理，将手骨图像 处理成统一的规格和格式，实现图像的归一化，得到图像样本。

其中，格式统一为JPG格式，并将预处理好的手骨图像存储到系统的指定 存储位置中，以便系统在使用时能够准确取到与测试者基本信息相对应的图像。

图像空间变换处理包括裁剪、缩放、旋转、数据增强和色彩空间转换其中 的一种或几种的组合。

S-3、目标预测(此部分，用户仅需选择需要进行识别的骨龄图像，其他均由 系统自动完成)：

S-3-1、骨等级自动识别：

S-3-1-1、目标提取：

根据CHN法的骨发育等级标准，利用图像标注工具对步骤S-2所得到的图 像样本的14个目标骨骼区域分别进行标记，利用经过深度学习而训练好的骨等 级识别模型提取各个目标骨骼区域的形状特征、颜色特征和空间特征，从而分 别对各个目标骨骼区域进行定位和分割。

图像标注工具为labelimg。数据的标注方法为，先在数字化的图像上建立横 纵坐标轴，再在坐标轴上标记出14个目标区域和目标区域的骨等级，并将标注 完的数据保存为XML格式，然后利用Python脚本将XML文件批量转换为 COCO数据集的格式。

14个目标骨骼区域分别为桡骨，第1、3、5掌骨，第1、3、5近节指骨， 第3、5中节指骨，第1、3、5远节指骨以及腕骨部分的钩骨和头状骨。

S-3-1-2、目标分类：

再利用经过深度学习而训练好的骨等级识别模型，对各个目标骨骼区域进 行分类。

S-3-2、骨龄计算：

根据步骤S-1中所导入的测试者的生理数据，按照CHN法的各骨发育分期 得分表，将各个目标骨骼区域的骨等级转化为不同的分值并累加起来，最后自 动对照CHN法的骨发育成熟分与骨龄对照表计算出相应的骨龄。

S-4、结果报告：

利用“展望未来中国人骨发育(骨龄)评定应用软件”，根据步骤S-3所计 算出的测试者的骨龄，并参考步骤S-1所导入的测试者的父母的生理数据，得到 测试者的生长报告。

生长报告包括测试者的年龄、骨龄、骨龄与年龄差、预测发生初潮(女)的骨 龄、骨发育百分位数评价图、身高龄、按年龄评价的身高、按骨龄评价的身高、 预测身高、未来身高评价、身高评价图、BMI、按年龄评价的BMI、按骨龄评 价的BMI、BMI以及评价图其中的一种或几种的组合。

对于VIP用户，还会生成一份生长发育的指导报告，对后期有利于测试者 生长发育的饮食、睡眠和运动等方面给出有效的建议和意见，方便测试者及其 家长对测试者的身高生长进行动态地监控。

实施例二、深度学习方法：

1.手骨图像收集：

从医院、诊所或卫生院等处收集不同性别的各年龄段的手骨图像。其中， 手骨图像为由各种设备所拍摄的数字化图像，光片格式包括DICOM、PNG和 JPG等。同时，利用双能X射线骨密度骨龄测定仪SGY-Ⅱ拍摄左手骨的图像数 据。除此之外，还不断将后期的已识别的待预测的图像增加到骨龄样本数据集 中，以便提高骨等级识别的准确率，进而提高骨龄自动识别的准确率。

2.深度学习：

采用同实施例一的步骤S-2，对手骨图像进行图像去噪处理和图像空间变换 处理。再采用同实施例一的步骤S-3，利用图像标注工具对手骨图像样本的目标 骨骼区域和等级分别进行标注，得到的骨龄样本数据集，并按照8；1：1的比 例划分成训练集、验证集和测试集三个部分。

先将训练集的手骨图像输入到yolov3框架中，利用ResNet101模型自动学 习手骨图像的14个目标骨骼区域的结构信息，包括目标关节的颜色、形状、位 置和大小等信息，使模型能够准确识别出14个目标关节的位置。在这个过程中 需要不断对模型的参数进行调整，不断优化模型的结构，使模型能够尽可能多 的学习到样本图像的特征。

在上述过程中会产生多个初步学习模型。接着，将验证集数据输入各个初 步学习模型中，并记录下各个初步学习模型自动识别骨等级的准确率，再综合 对各个评估指标进行考虑，筛选出识别效果最佳的初步学习模型为二级学习模 型。

将测试集数据输入二级学习模型中，对二级学习模型进行微调，不断优化 模型的结构，提高模型的泛化能力，生成最终学习模型。

将上述的最终学习模型部署到系统中。每当有新的待识别的图像进入系统 中后，系统便会自动识别出该图像的骨等级并计算骨龄，同时自动生成该图像 的身高生长报告。

实施例三、实际测试试验1：

首先，直接导入骨龄图像，录入测试者的基本信息(姓名：李某)和生理数 据(性别：男；身高：168cm；体重：34kg；年龄：9岁)。接着，点击预测按钮， 系统自动生成报告。

报告内容如下：

姓名：李某；性别：男；身高：168cm；体重：34kg；年龄：9岁；测试骨 龄：9.1；未来成年身高：180cm；同百分位的孩子成年身高：176.7cm。

实施例四、实际测试试验2：

首先，直接导入骨龄图像，录入测试者的基本信息(姓名：张某)和生理数 据(性别：女；身高：144cm；体重：30kg；年龄：11.6岁)。接着，点击预测按 钮，系统自动生成报告。

报告内容如下：

姓名：张某；性别：女；身高：144cm；体重：30kg；年龄：11.6岁；测试 骨龄：10.5；未来成年身高：159.9cm；同百分位的孩子成年身高：160.6cm。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单 变换后的方案均属于本发明的保护范围。