一种腹部超声图像的脂肪厚度和肌肉厚度测量方法及系统

技术领域

本发明涉及图像处理技术领域，特别是一种腹部超声图像的脂肪厚度和肌肉厚度测量方法及系统。

背景技术

肥胖及其导致的疾病越来越为人们所重视，对自己身体的脂肪含量也越来越关注。同时人们对健身越来越热爱，在健身中每日关注自己的皮下脂肪和腹肌厚度可以有提高健身的积极性，也有利于有效安排训练计划。皮下脂肪占身体总脂肪的40–60％，因而检测皮下脂肪厚度可以反映身体各部分的脂肪分布。超声成像技术可以较准确测量脂肪组织厚度，但是超声图像专业性很强，普通没有经过训练的人很难分清各层组织结构。

专利号为CN109009224A的发明专利，公开了一种方便快捷的皮下脂肪测量仪，通过设计硬件电路，利用超声波在皮下脂肪层和肌肉交界处的反射，利用超声波发射和回波的时间间隔和在脂肪中的传播速度计算皮下脂肪厚度。但是只能测量脂肪的厚度，不能测量其他组织结构的厚度。而且因为是在信号上做的，相应的信号传输还依赖于硬件电路的功能。

专利号为CN103027713A的发明专利，公开了一种基于超声图像的肌肉厚度测量方法和系统，利用通过对选取的多个跟踪窗口进行跟踪，通过跟踪算法确定在后续每帧图像中的多个跟踪窗口的位置，计算每帧图像中的经过中心点处理的跟踪窗口的位置与边缘检测法处理后的跟踪窗口的位置之间的最大垂直距离，作为肌肉厚度值。测量复杂，且数据单一，不能全面的反映被测量位置的组织结构情况。

发明内容

本发明的目的在于：针对现有技术存在的无法分清结构和测量数据单一的问题，提供一种腹部超声图像的脂肪厚度和肌肉厚度测量方法，利用腹部超声图像的组织结构分割图像计算脂肪层厚度和肌肉层厚度，还能够将腹部超声图像处理成用不同色彩区分不同组织结构的可视化结构图。

为了实现上述目的，本发明采用的技术方案为：

一种腹部超声图像的脂肪厚度和肌肉厚度测量方法，包括以下步骤：

A1、采集腹部超声图像，选取部分图像作为待处理图像，对所述待处理图进行缩放，得到大小一致的待分割图像；

A2、利用基于深度学习训练得到的超声腹部组织分割模型对所述待分割图像中的组织结构进行分割，分别得到第一皮肤层图像、第一脂肪层图像、第一筋膜层图像、第一肌肉层图像和第一背景层图像；

A3、将所述第一皮肤层图像、所述第一脂肪层图像、所述第一筋膜层图像、所述第一肌肉层图像和所述第一背景层图像进行缩放处理，得到与所述待处理图像大小一致的第二皮肤层图像、第二脂肪层图像、第二筋膜层图像、第二肌肉层图像和第二背景层图像；

A4、分别利用所述所述第二脂肪层图像和所述第二肌肉层图像，计算脂肪层厚度和肌肉层厚度。

作为本发明的优选方案，所述步骤A2分割得到的所述第一皮肤层图像、所述第一脂肪层图像、所述第一筋膜层图像、所述第一肌肉层图像和所述第一背景层图像均为大小一致的二值图像，并且图像中包含属于该层组织结构的组织像素信息。

作为本发明的优选方案，所述步骤A3包括：利用所述第二脂肪层图像中的脂肪像素信息和图像的宽度信息计算所述脂肪厚度；以及利用所述第二肌肉层图像中的肌肉像素信息和宽度信息计算所述脂肪厚度。

作为本发明的优选方案，还包括对所述待处理图像进行伪彩色处理，得到可视化结构图；所述伪彩色处理：

对所述待处理图像归一化处理：首先计算所述待处理图像Img的均值mean和标准差std，根据下列公式进行归一化，得到归一化图像Img_nor：

Img_nor(i,j)＝(Img(i,j)-mean)/std

其中，Img_nor(i,j)为所述归一化图像的像素值；Img(i,j)为所述待处理图像的像素值，mean为所述待处理图像的均值；std为所述待处理图像的标准差；

对所述归一化图像Img_nor进行Gamma校正，得到校正图像Img_gamma：

Img_gamma＝(Img_nor)

采用低通滤波，平滑所述第二皮肤层图像、所述第二脂肪层图像、所述第二筋膜层图像、所述第二肌肉层图像和所述第二背景层图像的边缘结构，得到各层组织结构对应的平滑图像；

将所述校正图像以各层对应的平滑图像为权重，为各层组织结构应用不同伪彩色映射；得到所述待处理图像对应的所述可视化结构图。

本发明还提供一种腹部超声图像的脂肪厚度和肌肉厚度测量系统，包括：

图像采集模块：用于采集腹部超声图像，选取部分图像作为待处理图像，对所述待处理图进行缩放，得到大小一致的待分割图像；

深度学习组织分割模块：用于分割所述待分割图像的各层组织结构，分别得到第一皮肤层图像、第一脂肪层图像、第一筋膜层图像、第一肌肉层图像和第一背景层图像；

缩放模块，所述缩放模块用于将所述第一皮肤层图像、所述第一脂肪层图像、所述第一筋膜层图像、所述第一肌肉层图像和所述第一背景层图像进行缩放处理，得到与所述待处理图像大小一致的第二皮肤层图像、第二脂肪层图像、第二筋膜层图像、第二肌肉层图像和第二背景层图像；

计算模块：用于根据所述第二脂肪层图像和所述第二肌肉层图像，分别计算脂肪层厚度肌肉层厚度。

作为本发明的优选方案，所述系统还包括伪彩化模块，所述伪彩化模块包括：

归一化模块：用于对所述待处理图像进行归一化处理，得到归一化图像；

Gamma校正模块：用于对所述归一化图像进行校正，得到校正图像；

低通滤波模块：用于平滑所述第二皮肤层图像、所述第二脂肪层图像、所述第二筋膜层图像、所述第二肌肉层图像和所述第二背景层图像的边缘结构；

伪彩映射模块：用于将所述校正图像以所述第二皮肤层图像、所述第二脂肪层图像、所述第二筋膜层图像、所述第二肌肉层图像和所述第二背景层图像平滑边缘后的模板为权重，为各个组织层结构应用不同的伪彩色映射，得到可视化结构图。

作为本发明的优选方案，所述系统还包括显示模块：用于显示所述可视化结构图、所述脂肪层厚度和所述肌肉层厚度。

本发明还提供一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明利用腹部超声图像分割出的组织结构图像，计算脂肪层厚度和肌肉层厚度，计算简单、高效。

2、本发明计算脂肪层厚度、肌肉层厚度的同时，还可通过伪彩化处理得到组织结构的可视化结构图，能够更直观的表明脂肪和肌肉的分布情况。

附图说明

图1是本发明的方法流程图。

图2是本发明的待处理图像。

图3是本发明的皮肤层图像

图4是本发明的脂肪层图像。

图5是本发明的筋膜层图像

图6是本发明的肌肉层图像。

图7是本发明的可视化结构图。

图8是本发明的系统结构示意图。

图9是本发明提供的电子设备终端示意图。

图标：S1-皮肤层；S2-脂肪层；S3-筋膜层；S4-肌肉层；S5-背景层。

具体实施方式

下面结合附图，对本发明作详细的说明。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

参照图1，一种腹部超声图像的脂肪厚度和肌肉厚度测量方法，包括以下步骤：

采集腹部超声图像，提取待处理图像；

A1、采集腹部超声图像，选取部分图像作为待处理图像，对所述待处理图进行缩放，得到大小一致的待分割图像；

在采集到的腹部超声图像中选取部分图像，缩放成与所述超声腹部组织分割模型的输入所需的大小一致的单通道图像，参照图2，为本实施例选取的所述待处理图像，因为超声图像为灰度图像，图中各层组织结构难以辨别。本实施例的待处理图像为1024*512，经缩放处理后，得到512*512的所述待分割图像。

分割待分割图像的组织结构；

A2、利用基于深度学习得到的超声腹部组织分割模型对所述待分割图像中的组织结构进行分割，分别得到第一皮肤层图像、第一脂肪层图像、第一筋膜层图像、第一肌肉层图像和第一背景层图像；

分割得到的所述第一皮肤层图像、所述第一脂肪层图像、所述第一筋膜层图像、所述第一肌肉层图像和所述第一背景层图像均为与所述待分割图像大小一致的二值图像，并且图像中包含属于该层组织结构的组织像素信息。

本实施例所述的基于深度学习得到的超声图像腹部组织分割模型，首先搭建基于U-Net的深度学习网络，利用腹部超声图像和对应的各层分割图像的二值图像进行训练，得到训练好的超声腹部组织分割模型。网络结构采用改进的U-Net网络架构，主体结构与U-Net网络类似。与U-net网络不同的是：

1、网络输入为一个512*512*1单通道的图像，输出为一个512*512*5的张量。

2、网络包含4个下采样层与4个上采样层，其中每个下采样层的卷积层均采用与MobileNetV2一致的深度可分离卷积的结构。

3、上采样层与下采样层的每个卷积操作后都接一个BatchNormalization层。

训练网络采用的损失函数为：

Total_loss＝Dice_loss+0.5*Focal_loss

其中：Dice_loss＝Dice_skin+Dice_fat+Dice_fascia+Dice_muscle+0.5*Dice_background；Focal_loss＝Focal_skin+Focal_fat+Focal_fascia+Focal_muscle+0.5*Focal_background。

其中：Dice_skin，Dice_fat，Dice_fascia，Dice_muscle，Dice_background均为标准的Dice coefficient。

Dice coefficient定义如下：

Dice系数，根据Lee Raymond Dice命名，是一种集合相似度度量函数，通常用于计算两个样本的相似度(值范围为[0,1])：

|X∩Y|是X和Y之间的交集；|X|和|Y|分别表示X和Y的元素个数，其中，分子中的系数2，是因为分母存在重复计算X和Y之间的共同元素的原因，

在本实施例中，X是标注的各层组织结构的区域，Y是网络输出的预测结果。

Focal_skin，Focal_fat，Focal_fascia，Focal_muscle，Focal_background均为标准的Focal Loss,其中公式中的alpha设置为0.25,gamma设置为2.0。

基于深度学习训练而获得的超声腹部组织分割模型。此模型的输入为所述待分割图像，输出为所述第一皮肤层图像、所述第一脂肪层图像、所述第一筋膜层图像、所述第一肌肉层图像和所述第一背景层图像。

本实施例每一输出层都为与输入层大小一致的二值图像，图像中为1的像素表征该像素属于对应的结构层，为0的像素表示不属于对应的结构层；

将分割图像进行缩放处理，得到与待处理图像大小一致的组织图像

A3、将所述第一皮肤层图像、所述第一脂肪层图像、所述第一筋膜层图像、所述第一肌肉层图像和所述第一背景层图像进行缩放处理，得到与所述待处理图像大小一致的第二皮肤层图像、第二脂肪层图像、第二筋膜层图像、第二肌肉层图像和第二背景层图像。

该步骤为所述步骤A1中缩放处理的逆缩放，将分割得到的512*512的所述第一皮肤层图像、所述第一脂肪层图像、所述第一筋膜层图像、所述第一肌肉层图像和所述第一背景层图像，再次缩放为与所述待处理图像大小一致的1024*512的所述第二皮肤层图像、所述第二脂肪层图像、所述第二筋膜层图像、所述第二肌肉层图像和所述第二背景层图像。

参照图3、图4图5和图6，分别为本实施例分割得到的所述第二皮肤层图像、所述第二脂肪层图像、所述第二筋膜层图像和所述第二肌肉层图像。

A4、利用所述第二脂肪层图像和所述第二肌肉层图像分别计算脂肪厚度和肌肉厚度；

按照以下公式进行计算：

Count/W*mm_pixel

其中，Count为要计算的层对应的图像中属于该层组织结构的像素个数；W为该层组织结构图像的宽度，即为该层组织结构的宽度；mm_pixel为一个像素对应的毫米。

本实施例采用像素值1表示分别统计所述第二脂肪层图像和所述第二肌肉层图像中像素为1的像素个数，分别得到脂肪层的像素个数和肌肉层的像素个数。

则脂肪层的厚度为：

脂肪层的厚度＝Fat_Count/W*mm_pixel

其中，Fat_Count为第二脂肪层图像中像素值为1的像素个数；W为第二脂肪层图像的宽度；mm_pixel为一个像素对应多少毫米。

肌肉层的厚度为：

肌肉层的厚度＝Muscle_Count/W*mm_pixel

其中，Muscle_Count第二肌肉层图像中像素值为1的像素个数；W为第二肌肉层图像的宽度；mm_pixel为一个像素对应的毫米。

本方法分割得到的各层组织结构图像进行缩放处理后的大小均一致，所以各层组织结构图像的宽度信息相同，即各层组织结构的宽度相同。

本方法还包括利用所述待处理图像Img、所述第二皮肤层图像、所述第二脂肪层图像、所述第二筋膜层图像、所述第二肌肉层图像和所述第二背景层图像进行伪彩色处理，得到可视化结构图；

将所述待处理图像做归一化处理：首先计算所述待处理图像Img的均值mean和标准差std，根据下列公式进行归一化，得到归一化图像Img_nor：

Img_nor(i,j)＝(Img(i,j)-mean)/std

其中，Img_nor(i,j)所述归一化图像的像素值；Img(i,j)为所述待处理图像的像素值，mean为所述待处理图像的均值；std为所述待处理图像的标准差；

为了增加各个组织层次的对比度，对所述归一化图像Img_nor进行Gamma校正，得到校正图像Img_gamma：

Img_gamma＝(Img_nor)

本实施例中各个层次的γ取值为：皮肤层1.2，脂肪层1.1，筋膜层1.0，肌肉层1.3，背景层1.07。

采用低通滤波，平滑所述第二皮肤层图像、所述第二脂肪层图像、所述第二筋膜层图像、所述第二肌肉层图像和所述第二背景层图像的边缘结构。

将所述校正图像Img_gamma以平滑边缘结构后的各层组织结构图像为权重，为各层组织结构应用不同伪彩色映射；不同组织层结构的伪彩选择以接近现实的颜色为原则，得到所述可视化结构图。

上述实施例所述的方法能够得到得到脂肪层厚度和肌肉层厚度，参照图7，为本实施例的可视化结构图，用不同颜色表示不同组织结构的可视化结构示意图，可清楚的分辨图中的皮肤层(S1)、脂肪层(S2)、筋膜层(S3)、肌肉层(S4)和背景层(S5)。

参照图8，一种腹部超声图像的脂肪厚度和肌肉厚度测量系统，包括：

图像采集模块：用于采集腹部超声图像，选取部分图像作为待处理图像，对所述待处理图进行缩放，得到大小一致的待分割图像

本实施例利用现有的超声设备，进行图像采集，将超声探头置于肚脐上1cm，垂直于涂有超声耦合剂的皮肤表面(不要用力按压)，扫描获得一系列超声腹部图像后冻结超声系统，从超声电影回放中选取一帧组织结构清晰的超声图像，将选取的图像作为所述待处理图像，将所述待处理图像缩放成大小一致的单通道图像，作为组织结构分割模型的输入图像，即为所述待分割图像。

深度学习组织分割模块：用于分割所述待处理图像的各层组织结构，分别得到第一皮肤层图像、第一脂肪层图像、第一筋膜层图像、第一肌肉层图像和第一背景层图像；

缩放模块，所述缩放模块用于将所述第一皮肤层图像、所述第一脂肪层图像、所述第一筋膜层图像、所述第一肌肉层图像和所述第一背景层图像进行缩放处理，得到与所述待处理图像大小一致的第二皮肤层图像、第二脂肪层图像、第二筋膜层图像、第二肌肉层图像和第二背景层图像；

伪彩化模块：对所述待处理图像和所述第二皮肤层图像、所述第二脂肪层图像、所述第二筋膜层图像、所述第二肌肉层图像和所述第二背景层图像进行伪彩色处理，得到用不同伪彩色区分皮肤层、脂肪层、筋膜层、肌肉层和背景层的可视化结构图；

所述伪彩化模块包括归一化模块、Gamma校正模块、低通滤波模块和伪彩映射模块；

所述归一化模块，利用所述待处理图像的均值和标准差进行归一化处理，得到归一化图像。该模块减小医学图片由于光线不均匀造成的干扰。

所述Gamma模块对所述归一化图像进行校正，得到校正图像，增加了各个组织层次的对比度。

所述低通滤波模块，用于处理所述第二皮肤层图像、所述第二脂肪层图像、所述第二筋膜层图像、所述第二肌肉层图像和所述第二背景层图像，平滑各层的边缘结构；有利于更美观的可视化。

所述伪彩映射模块，用于将所述校正图像以所述第二皮肤层图像、所述第二脂肪层图像、所述第二筋膜层图像、所述第二肌肉层图像和所述第二背景层图像平滑边缘后的模板为权重，为各个组织层结构应用不同的伪彩色映射，得到可视化结构图。

计算模块，用于计算所述脂肪厚度和所述肌肉厚度。直接在所述第二脂肪层图像和所述第二肌肉层图像中，进行计算。

显示模块：用于显示所述伪彩化模块的所述可视化结构图、所述计算模块计算得到的脂肪增厚度和肌肉层厚度。

本实施例所述的显示模块可以是显示屏幕、平板电脑或者手机设备等。

综上所述，本实施例所述的方法及系统可以将腹部的超声图像，进行组织结构分割，利用分割得到的组织结构图计算可得到脂肪厚度和肌肉厚度，还可对超声图像进行伪彩化处理，得到可视化结构图，图中不同的色彩代表不同的层次结构，便于辨别组织层次，能够更加直观的了解脂肪和肌肉的分布状况。

如图9所示，本发明还提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一实施例所述的方法。所述输入输出接口可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据；电源用于为电子设备提供电能。

本发明还提供一种计算机可读存储介质，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)等。

需要说明的是，对于装置及电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。