一种基于深度神经网络的影像三维组织分割与测定方法

技术领域

本发明涉及计算机视觉、深度学习的技术领域，尤其涉及一种基于深度神经网络的影像三维组织分割与测定方法。

背景技术

养殖动物的分级和分类一般是基于脂肪、瘦肉和骨骼等组织在体内的占比情况，传统的测定方法要求活体被屠宰后通过手工解剖的方式将骨骼、脂肪、肌肉等组织从活体中分离出来，从而计算出三者的占比情况。该方法虽然准确但需要投入一定的人力和物力，其测定结果无法预测动物的生长状况，因此无法适用于整个动物群体。

计算机断层扫描(Computed Tomography，以下简称CT)技术是一种在无损条件下获取物体内部微观结构信息的手段，其主要原理是根据物体对X线的吸收程度来反应的物体的密度。CT是最早应用于临床医疗诊断的无创成像的方法之一，它可以显示物体完整的三维信息，使器官结构更加清楚，从而发现一些微小的病灶。随着计算机技术及科技水平的发展，CT技术的应用领域也更加广泛。在畜牧业生产方面，将CT与计算机技术相结合用于测定活体动物各组织含量是目前研究热点之一。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在活体猪肌肉脂肪含量监测方法的问题，提出了本发明。

因此，本发明解决的技术问题是：提供一种基于深度神经网络的影像三维组织分割与测定方法，只需对活猪进行CT扫描，即可做到快速精确地分割、测定出猪体的骨骼、肌肉、脂肪组织的重量及其占比，从而减少屠宰猪带来的不必要的损失。

为解决上述技术问题，本发明提供如下技术方案：采集活体猪的CT图像，划分为训练集与测试集并在训练集上进行标注；构建CT床分割网络和内脏分割网络，并利用所述标注好的训练集进行训练得到CT床分割模型和内脏分割模型；利用所述CT床分割模型和所述内脏分割模型预测其掩膜图并去除所述CT床和内脏；结合所述活体猪的CT图像提取出猪体的脂肪、肌肉与骨骼部分并计算猪体的总体质量及各个组织的占比。

作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述构建CT床分割网络包括，所述CT床分割网络主要由编码器和译码器组成，所述编码器包括三个子模块，每个子模块包括两个a×a卷积操作，一个残差块，以及一个b×b的最大池化；所述译码器包括三个子模块，每个子模块包括一个c×c的反卷积，两个d×d卷积操作和一个残差块，其中网络中的每个卷积操作后都跟随一个非线性激活函数，卷积操作的函数表示如下：

其中：f(x,y)为输入图像特征，h(i,j)为卷积核，g(x,y)为输出的特征；残缺块的函数表示为如下：

x

其中：x

作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述训练CT床分割模型包括，将所述手工标记的CT床和其原始图像放入所述CT床分割网络进行训练，得到CT床分割模型，其损失函数选择二值交叉熵，定义如下：

其中，X为原始图像，Y为手工标注的CT床，

作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：其特征在于：所述构建内脏分割网络包括，所述内脏分割网络包括残差密集连接网络和双向卷积长短期记忆模型，其中搭建所述残差密集连接网络由一系列残差密集连接块，下采样和上采样操作组成；所述双向卷积长短期记忆模型由两个不同方向的卷积长短期模型组成，卷积长短期模型的函数定义如下所示：

其中：*为卷积操作，

作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述训练内脏分割模型包括，将所述手工标记的内脏和其原始图像放入所述内脏分割网络进行训练，得到所述内脏分割模型，其损失函数选择同样的二值交叉熵。

作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述预测CT床掩膜图包括，在剩余测试集中选取任一CT影像，将其输入所述CT床分割模型，得到网络预测的CT床掩膜图。

作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：先对所述预测的CT床掩膜图取反，再与原图进行相“与”运算，将原图图像数组与所述掩模图像数组进行像素点匹配，若CT扫描床图像数组中某像素的值为1，则把原始CT图像数组中的该位置的像素值置0，得到去除CT床的图像。

作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述去除内脏包括，将原始CT影像输入所述内脏分割模型中进行预测，得到预测的内脏掩膜图；将所述内脏掩膜图进行腐蚀操作，去除噪声点，其中腐蚀操作函数表示如下：

其中：

其中：

作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述提取出猪体的脂肪、肌肉与骨骼包括，根据所述脂肪、肌肉与骨骼分别的CT值范围，在所述去除内脏的图像中提取所述脂肪、肌肉与骨骼部分，并统计各自的体素点个数。

作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述计算猪体的总体质量及各个组织的占比包括，计算所述脂肪、肌肉与骨骼的重量，其计算公式如下：

Wf＝Fn×PS×ST×ρf

Wb＝Bn×PS×ST×ρb

Wl＝Ln×PS×ST×ρl

其中：Wf为脂肪的重量，Wl为肌肉的重量，Wb为骨头的重量，Fn为脂肪的体素点个数，Bn为记肌肉的体素点个数，Ln为记骨骼的体素点个数，PS为CT的像素间距，ST为切片厚度，ρf,ρb和ρl分别为脂肪，肌肉和骨骼的密度其值分别为0.92g/cm

W＝Wf+Wb+Wl

Pf＝Wf/W

Pb＝Wb/W

Pl＝Wl/W

其中：W为猪体的总质量，ρf为脂肪的占比，ρb为肌肉的占比，ρl为骨骼的占比。

本发明的有益效果：可以自动、快速、准确分割出种猪的脂肪、肌肉和骨骼等组织，并且本方法适用于任何形状、任何大小的种猪；本发明提出的3D CT床分割方法，可以精确地分割CT扫描床，避免CT床的不同位置在不同的压力下可能会发生的变化；本发明提出的内脏分割模型将残差密集连接网络和双向卷积长短期记忆模型结合起来，既可以考虑到切片内部的语义信息同时也考虑到了切片之间的信息，能够一次性分割出猪体的内脏器官，有助于实现CT影像三维组织分割与测定。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的流程示意图；

图2为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的种猪横断面图；

图3为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的预测的CT床掩膜图；

图4为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的去除CT床后的图像；

图5为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的内脏掩膜图；

图6为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的去除内脏后的图像；

图7为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的提取脂肪组织的效果图；

图8为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的提取肌肉组织的效果图；

图9为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的提取骨骼组织的效果图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1，为本发明的第一个实施例，该实施例提供了一种基于深度神经网络的影像三维组织分割与测定方法，包括：

S1：采集活体猪的CT图像，划分为训练集与测试集并在训练集上进行标注。

S2：构建CT床分割网络和内脏分割网络，并利用标注好的训练集进行训练得到CT床分割模型和内脏分割模型。其中需要说明的是，

CT床分割网络主要由编码器和译码器组成，编码器包括三个子模块，每个子模块包括两个a×a卷积操作，一个残差块，以及一个b×b的最大池化；译码器包括三个子模块，每个子模块包括一个c×c的反卷积，两个d×d卷积操作和一个残差块，其中网络中的每个卷积操作后都跟随一个非线性激活函数，卷积操作的函数表示如下：

其中：f(x,y)为输入图像特征，h(i,j)为卷积核，g(x,y)为输出的特征；残缺块的函数表示为如下：

x

其中：x

内脏分割网络包括残差密集连接网络和双向卷积长短期记忆模型，其中搭建残差密集连接网络由一系列残差密集连接块，下采样和上采样操作组成；双向卷积长短期记忆模型由两个不同方向的卷积长短期模型组成，卷积长短期模型的函数定义如下所示：

其中：*为卷积操作，

进一步的是，训练CT床分割模型包括，将手工标记的CT床和其原始图像放入CT床分割网络进行训练，得到CT床分割模型，其损失函数选择二值交叉熵，定义如下：

其中，X为原始图像，Y为手工标注的CT床，

S3：利用CT床分割模型和内脏分割模型预测其掩膜图并去除CT床和内脏。其中需要说明的是，

去除CT床包括，先对预测的CT床掩膜图取反，再与原图进行相“与”运算，将原图图像数组与掩模图像数组进行像素点匹配，若CT扫描床图像数组中某像素的值为1，则把原始CT图像数组中的该位置的像素值置0，得到去除CT床的图像。

去除内脏包括，将原始CT影像输入内脏分割模型中进行预测，得到预测的内脏掩膜图；将内脏掩膜图进行腐蚀操作，去除噪声点，其中腐蚀操作函数表示如下：

其中：

其中：

S4：结合活体猪的CT图像提取出猪体的脂肪、肌肉与骨骼部分并计算猪体的总体质量及各个组织的占比。其中需要说明的是，

提取出猪体的脂肪、肌肉与骨骼包括，根据脂肪、肌肉与骨骼分别的CT值范围，在去除内脏的图像中提取脂肪、肌肉与骨骼部分，并统计各自的体素点个数。

进一步的是，计算脂肪、肌肉与骨骼的重量，其计算公式如下：

Wf＝Fn×PS×ST×ρf

Wb＝Bn×PS×ST×ρb

Wl＝Ln×PS×ST×ρl

其中：Wf为脂肪的重量，Wl为肌肉的重量，Wb为骨头的重量，Fn为脂肪的体素点个数，Bn为记肌肉的体素点个数，Ln为记骨骼的体素点个数，PS为CT的像素间距取为0.977*0.977mm

W＝Wf+Wb+Wl

Pf＝Wf/W

Pb＝Wb/W

Pl＝Wl/W

其中：W为猪体的总质量，ρf为脂肪的占比，ρb为肌肉的占比，ρl为骨骼的占比。

实施例2

参照图2～9，为本发明的第二个实施例，选取40头健康种猪注射镇定剂后以一种四肢分开的方式固定好种猪的位置并将其送入CT机中，拍摄CT图像，将一头种猪的CT影像视为一个三维数组T(x,y,z)，最终生成若40个三维数组，获得CT图像切片，并选择10头种猪的影像数据作为训练集，剩下的30头猪的影像集作为测试集，并在训练集上手工标注出CT床和猪的内脏；将标注好的内脏训练集训练内脏分割网络，得到内脏分割模型并利用CT床分割模型在测试集上预测CT床掩膜图，并在原始图像中去除CT床，结合猪体CT值提取出猪体的脂肪、肌肉、骨骼部分，其中脂肪的CT值范围为(-200,0)，所得到的脂肪组织参照图7，肌肉的CT值范围为(0,200)，所得到的肌肉组织参照图8，骨骼的CT值范围为(230,1500)，所得到的肌肉组织参照图9；根据密度信息计算猪体的脂肪重量、肌肉重量、骨骼重量及各组织的占比，由于脂肪，肌肉和骨骼的密度值分别为0.92g/cm

为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例中选择人工解剖方法进行测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果；通过人工解剖的方法对同样40头种猪进行解剖，通过将种猪的脂肪，肌肉和骨骼各部分分割开进行重量及占比的计算，通过计算可得种猪的总质量为107.71kg，其脂肪占比为34.38％、肌肉占比为59.18％以及骨头的占比为6.44％，两种方法对同样40头种猪的分析结果如下表1所示：

表1：数据分析结果

由表1可知，通过人工解剖的方法所得到的总质量以及占比的数据与使用本发明方法所得到的数据相差不大，平均误差均不超过2％，因此可以看出使用本发明方法对于三维组织的分割与测定的误差很小，可以精准测定结果，并且与人工解剖方法相比，使用本发明放方法可以在不伤害种猪的情况下对种猪进行测定，可以预测其生长情况，并且适用于整个动物群体。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。