一种基于深度学习的红外猪只实例分割方法和系统

技术领域

本发明属于图像分割技术领域，特别是涉及在红外场景下的基于深度学习的猪只实例分割方法。

背景技术

在密集化养殖、育种环境中，猪只密度的增加不仅显著增加了感染的风险，也增加了防治猪瘟的难度。群体猪的健康状况与农场可获得的经济效益密切相关。基于机器视觉的图像分析技术，为群种猪的研究提供了一种低成本、非接触性、无损伤的监测方法。对猪个体进行准确、快速的分割，有利于识别猪的异常行为，在此基础上及时采取应对措施，降低疾病的发病率。然而，复杂的光变化、猪只群躺存在猪体粘连和猪圈内的刚性闭塞等客观因素使猪个体的研究非常困难。因此，在各种全天候多干扰场景下实现猪的快速准确分割是必要的。

早在2008年，Wathes等人已经开发了基于计算机视觉的早期预警系统，用于检测牲畜的行为变化，以监测健康状况。在猪个体领域，研究人员探索多个方向，包括Nasirahmadi等人研究猪姿势的自动识别、Kim等人研究检测站立和躺着行为、Dominiak等人研究估算生长猪的用水量等等。过去几年来，基于深度学习的一些技术在农牧业逐步推广，Kamilaris等人运用深度学习技术进行植物疾病分类、Kamal等人进行水果检测，Marsota等人识别猪的面部。然而，上述方法的性能在很大程度上取决于猪与背景之间的区别，因此对于弱光照条件和低分辨率等复杂的环境图像，效果不如预期的那样令人满意。另一方面，上述方法主要依赖于颜色、形状、纹理等形态学特征，它们只能在有限的范围内工作，方法的泛化能力不足，比如当猪只群躺互相粘结在一起时，很难从形态学的角度来区分它们。

实例分割可以区分具有同一类别的不同个体。作为实例分割领域最早的网络模型，Mask_R-CNN在牛的细分、牛的计数等均有所应用。然而，上述基于Mask_R-CNN的方法仅将原始的Mask_R-CNN模型应用于猪的个体，没有进行实质性的模型结构调整，因此效果有限。另外，在育种环境中，由于极易受光照和复杂环境的干扰，效果差异巨大。综上所述：目前猪只实例分割存在的问题有：分割模型泛化性不足：猪的颜色和外形会因为年龄、品种、养殖环境等因素而发生变化，这会导致在进行猪实例分割时以往的算法难以具备较高的鲁棒性。

由于红外图像不受光照影响，且能将多余的大部分背景去除，不论猪只品种、颜色区别有多大，红外图像效果是一致的，从而使得训练出来的模型具有较好的泛化能力。另外，受注意机制的启发，在特征金字塔(FPN)框架中引入通道和空间注意力块，捕获通道和空间维度中的特征依赖性，同时对通道和空间注意力块的输出进行求和，进一步改进特征表示，可以提高猪群躺粘连情况的分割纹理细节。将这种双注意力引导方法放入更先进的Cascade_Mask_R-CNN中能够实现鲁棒性更强的猪只实例分割。总的来说，在红外图像场景下，利用深度学习方法进行猪只实例分割有着巨大的潜力，但当前还没有开展红外场景下的猪只实例分割研究。

发明内容

本发明针对现有技术的不足，主要包括由于猪群躺粘连情况的存在以及复杂环境的干扰，分割准确率较低；由于采集图像受光照变化的影响，难以应用于全时段实时监测，此外模型对猪只品种、颜色的差别存在泛化性不强等问题，提供了一种基于深度学习的红外猪只实例分割方法。

为了达到上述目的，本发明提供的技术方案是：一种基于深度学习的红外猪只实例分割方法，包括如下步骤：

步骤1，采集红外猪只实例红外图像，并进行预处理；

步骤2，对预处理后的图像进行多边形标注，将标注好的图像作为输入；

步骤3，将预训练的卷积神经网络作为主干网络，对输入图像进行特征提取获取图像的特征图；

步骤4，步骤3中得到的特征图通过双注意力引导模块得到可信度更高的特征图F

首先将高层特征图、低层特征图(F

步骤5，利用候选框生成算法从特征图中生成一系列候选框，对生成的候选框应用分类器，用于判断每个候选框是否包含目标物体，包含目标物体的候选框为正样本候选框；

步骤6，将经过双注意力引导模块得到的特征图F

步骤7，将双线性插值结果依次通过多个检测器，除最后一个检测器外，其他检测器的输出均与双注意力引导模块的输出进行特征融合后再次进行双线性插值操作，并输入到下一层的检测器中，最后一层的检测器的输出即为最终的目标分割结果。

进一步的，步骤1中所述预处理包括对采集到的图像进行挑选，对挑选后的图像进行数据增强，数据增强为随机亮度变化操作和随机增加高斯噪声操作中的一种；

随机亮度变化操作的具体实现方式如下：

设新的亮度为L

L

随机增加高斯噪声操作的具体实现方式如下：

设输入的像素为P

P

其中，sigma代表的标准方差，d为一个线性的随机数，Xmeans是代表平均值。

进一步的，步骤2中Labelme标注软件对所有的猪只进行多边形标注；步骤3中所述卷积神经网络为ResNet101模型。

进一步的，候选框生成算法的具体处理过程为，首先生成锚框anchor boxes；然后进行二分类，判断每个anchor box为目标还是背景；用softmax分类器提取可能的候选框，通过边界框回归bounding box regression进行微调使得候选框和真实框groud truthbox更加接近。

进一步的，对称卷积单元包括3x3卷积单元、1x3卷积单元和3x1卷积单元。

进一步的，双线性插值法具体步骤如下：

令未知值的函数关系f的相应坐标为(x,y)，假设已知的4个点是Q

其中，R1为x轴上的两个临时点；

进一步的，在y轴上作线性插值，得到如下式子：

其中，P为线性插值后y轴上的点；

将x轴和y轴结果综合起来就是双线性插值最后的结果，如下式子：

进一步的，多个检测器的网络结构完全相同，具体处理过程如下：

将双线性插值结果通过第一级检测器输出自底向上的第一级特征映射图和自顶向下的第一级特征映射图；

自顶向下的第一级特征映射图与经过双注意力引导模块输出的特征图进行特征融合后再次进行第二次双线性插值操作；

将第二次双线性插值操作的结果输入到第二级检测器输出自底向上的第二级特征映射图和自顶向下的第二级特征映射图；

自顶向下的第二级特征映射图与经过双注意力引导模块输出的特征图进行特征融合后再次进行第三次双线性插值操作；

将第三次双线性插值操作的结果输入到第三级检测器输出自底向上的第三级特征映射图和自顶向下的第三级特征映射图；

自顶向下的第三级特征映射图即为分割的结果。

进一步的，检测器包括一个正向的自底向上的金字塔和反向的自顶向下的金字塔，分别输出自底向上的特征映射图和自顶向下的特征映射图，两个金字塔之间横向连接，自底向上即为下采样，自顶向下即为上采样，横向连接是将具有高分辨率的浅层特征图和具有丰富语义信息的深层特征图进行交互，最终将自顶向下的特征映射图输出作为预测结果特征图。

本发明还提供一种基于深度学习的红外猪只实例分割系统，包括如下模块：

预处理模块，用于采集红外猪只实例红外图像，并进行预处理；

标注模块，用于对预处理后的图像进行多边形标注，将标注好的图像作为输入；

特征提取模块，用于将预训练的卷积神经网络作为主干网络，对输入图像进行特征提取获取图像的特征图；

高可信度特征图获取模块，用于将得到的特征图通过双注意力引导模块得到可信度更高的特征图F

首先将高层特征图、低层特征图(F

候选框获取模块，用于利用候选框生成算法从特征图中生成一系列候选框，对生成的候选框应用分类器，用于判断每个候选框是否包含目标物体，包含目标物体的候选框为正样本候选框；

双线性插值模块，用于将经过双注意力引导模块得到的特征图F

目标分割模块，用于将双线性插值结果依次通过多个检测器，除最后一个检测器外，其他检测器的输出均与双注意力引导模块的输出进行特征融合后再次进行双线性插值操作，并输入到下一层的检测器中，最后一层的检测器的输出即为最终的目标分割结果。

与现有技术相比，本发明的优点和有益效果：

本发明提出了一种基于深度学习的红外猪只实例分割方法，将传统的猪只分割背景从可见光图像换成红外图像，能将多余的大部分可见光背景噪声去除，同时不会受光照的影响，训练出来的模型不论猪只品种、颜色区别，效果是一致的，具有较好的泛化能力。本发明提出了通道和空间注意力结合的双通道引导特征金字塔进行特征提取模块，即DAG模块。该模块可以提高猪群躺粘连等情况的纹理细节分割效果，实现鲁棒性更强的猪只实例分割，解决了现有猪只分割方法的分割准确率较低、难以应用于全时段实时监测的问题。

附图说明

图1为本发明实施例数据集制作流程图。

图2为本发明实施例方法的总流程图。

图3为本发明实施例方法中DAG双注意力引导原理结构示意图。

图4为本发明实施例猪圈红外图像获取前后结果示意图。

图5为本发明实施例基于Labelme进行图像标注后的可视化示意图。

图6为本发明实施例所提出的DAG_Cascade_Mask_R-CNN实例分割模型与现有主流模型的精确率对比示意图。

图7为本发明实施例所提出的DAG_Cascade_Mask_R-CNN实例分割模型与现有主流模型的mAP对比示意图。

图8为本发明实施例中基于DAG_Cascade_Mask_R-CNN实例分割模型在有猪尿、猪粪情况下的分割结果示意图。

图9为本发明实施例中基于DAG_Cascade_Mask_R-CNN实例分割模型在镜头具有较大模糊的情况下的分割结果示意图。

图10为本发明实施例中基于DAG_Cascade_Mask_R-CNN实例分割模型在有大、小猪及部分遮挡情况下的分割结果示意图。

图11为本发明实施例中基于DAG_Cascade_Mask_R-CNN实例分割模型在有人存在情况下的分割结果示意图。

图12为本发明实施例中基于DAG_Cascade_Mask_R-CNN实例分割模型在猪群躺粘连情况下的分割结果示意图。

图13为本发明实施例中第三级检测器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

如图1所示，本发明提出了在红外场景下的猪只实例分割数据集制作方法，如图2所示，展示了本发明利用制作好的数据集在所提出的分割方法上进行训练和测试的流程图，具体包括如下步骤：

步骤1：通过红外摄像头采集猪圈里的全景猪只红外图像，采集到的图片如图4所示，左边为红外图像，右边为实时可见光图像。

步骤1.1：在猪圈的正上方约4米高的位置，放置型号为MAG64AI的红外摄像头进行拍摄，每隔1个小时进行1一分钟的数据采集，采集到的图像分辨率为640x480，格式为bmp。

步骤2：将采集到的图像进行挑选，使得挑选出来的图像就有代表性、多样性和挑战性，最终得到图像共计1150张。

步骤2.1：原始的数据拍摄了三个月，共计54000张图像，数据集的代表性是通过挑选猪只分布、温度和湿度不同场景下的图片，多样性是通过挑选不同时期的猪只大小和猪只姿态下的图片，挑战性是通过挑选复杂背景如猪只群躺粘连、镜头模糊状态下的图片。

步骤3，将采集到的原始的1150张图像，按50％的概率进行随机亮度(0.8～1.2)或随机增加高斯噪声来进行数据增强，最后得到的数据集原始图像共计2300张。

步骤3.1：数据增强是一个随机概率操作，这里假设随机进行了亮度变化操作，设新的亮度为L

L

步骤3.2：如果进行了步骤3.1的亮度变化操作，其将不再进行高斯噪声的操作，如果没有则进行随机增加高斯噪声的操作，设输入的像素为P

P

其中，sigma代表的标准方差，d为一个线性的随机数，Xmeans是代表平均值。

步骤4：基于增强后的数据集原始图像，使用Labelme标注软件对所有的猪只进行多边形标注，标注后会生成相关红外图像的json格式文件，其中每个json文件的可视化如图5所示。

步骤5：将所有标注好的json格式文件和原始图像放入同一个文件夹内，制作出类coco格式的数据集。

步骤5.1：具体制作类coco格式的数据集方法是，训练集和测试集按4比1的比例通过代码随机分配，最终文件名为Pig的文件夹内有四个第二级文件夹，其中第一个文件annotations包含了整合后的训练集和测试集所有单个json文件信息，分别命名为pig_instances_train2023.json和pig_instances_val2023.json，此外第二个文件train2023和第三个文件val2023分别装有训练集和测试集的所有原始图像，最后一个文件visualization包含所有标注后的可视化图像。

步骤6：上述步骤标注好的数据集用于训练和测试。

步骤6.1：如果是训练，则会用到pig_instances_train2023.json和train2023作为输入.

步骤6.2：如果是测试，则会用到pig_instances_val2023.json和val2023作为输入。

步骤7：对输入后的信息，使用预训练的卷积神经网络ResNet101作为backbone，对输入图像进行特征提取获取图像的特征图。

步骤8：利用候选框生成算法Region Proposal Network，从特征图中生成一系列候选框，这些候选框可能包含感兴趣的目标区域，即猪只区域，另外上述步骤7生成的特征图还将通过所设计的双注意力引导模块(DAG模块)，分别在特征金字塔中引入通道和空间注意力块，从捕获通道和空间维度中的特征依赖性，对通道和空间注意力块的输出进行融合。

步骤8.1：候选框生成算法Region Proposal Network的具体流程为，输入步骤7中经过特征提取的特征图，首先生成锚框anchor boxes；然后进行二分类，判断每个anchorbox为目标还是背景；用softmax分类器提取可能的候选框，通过边界框回归bounding boxregression进行微调使得候选框和真实框groud truth box更加接近。

步骤8.2：通过ResNet101得到的特征图还将通过所本发明设计的DAG模块，如图3所示，首先将高层特征图、低层特征图(F

步骤9：对生成的候选框应用候选框分类器，用于判断每个候选框是否包含目标物体，分类器通常是一个全连接层网络，用于对每个候选框进行分类，并预测其所属的目标类别。

步骤10：将经过DAG模块得到的特征图F

步骤10.1：双线性插值法具体步骤是，令未知值的函数关系f的相应坐标为(x,y)，假设已知的4个点是Q

其中，R1为x轴上的两个临时点；

步骤10.2：进一步的，在y轴上作线性插值，得到如下式子：

其中，P为线性插值后y轴上的点；

步骤10.3：将x轴和y轴结果综合起来就是双线性插值最后的结果，如下式子：

步骤11：将双线性插值结果通过第一级检测器输出自底向上和自顶向下的特征映射图。

步骤12：第一级输出的自顶向下的特征映射图将和经过步骤8所设计的DAG模块进行特征融合后的特征图再次进行双线性插值操作。

步骤13：将得到的双线性插值操作的结果输入到第二级检测器输出自底向上和自顶向下的特征映射图。

步骤14：第二级输出的自顶向下的特征映射图将和经过步骤8所设计的DAG模块进行特征融合后的特征图再次进行双线性插值操作。

步骤15：将得到的双线性插值操作的结果输入到第三级检测器输出自底向上和自顶向下的特征映射图。

如图13所示，第一级检测器、第二级检测器和第三级检测器的网络结构相同，均包括一个正向的自底向上的金字塔和反向的自顶向下的金字塔，分别输出自底向上的特征映射图和自顶向下的特征映射图，两个金字塔之间横向连接，自底向上即为下采样，自顶向下即为上采样，横向连接是将具有高分辨率的浅层特征图和具有丰富语义信息的深层特征图进行交互。本实施例中每一个检测器包括4次下采样和3次上采样，三个检测器一个进行了12次下采样，9次上采样。

步骤16：将共计通过了三级检测器后的自底向上和自顶向下的特征映射图作为分割结果的依据，即第三级检测器最终输出的特征图就是分割的结果，作为红外猪只实例分割结果，在正常情况下的分割结果如图8所示，在镜头模糊情况下的分割结果如图9所示，在有大小猪只和围栏遮挡情况下的分割结果如图10所示，在人在的情况下的分割结果如图11所示，在猪只群躺粘连情况下的分割结果如图12所示。

对比实验是本发明单位建立的红外图像猪只数据集，该数据库含有2300张图像，其中实验用的是测试集460张图像。实验中对比了多种现有的方法，如表1所示，最佳值由粗体标出，DAG_Cascade_Mask_R-CNN为本发明方法，另外各算法的精确度变化如图6所示，各算法的mAP对比如图7所示，可发现本方法优于现有的其他方法。

表1本发明与现有其他方法的对比

本发明实施例还提供一种基于深度学习的红外猪只实例分割系统，包括如下模块：

预处理模块，用于采集红外猪只实例红外图像，并进行预处理；

标注模块，用于对预处理后的图像进行多边形标注，将标注好的图像作为输入；

特征提取模块，用于将预训练的卷积神经网络作为主干网络，对输入图像进行特征提取获取图像的特征图；

高可信度特征图获取模块，用于将得到的特征图通过双注意力引导模块得到可信度更高的特征图F

首先将高层特征图、低层特征图(F

候选框获取模块，用于利用候选框生成算法从特征图中生成一系列候选框，对生成的候选框应用分类器，用于判断每个候选框是否包含目标物体，包含目标物体的候选框为正样本候选框；

双线性插值模块，用于将经过双注意力引导模块得到的特征图F

目标分割模块，用于将双线性插值结果依次通过多个检测器，除最后一个检测器外，其他检测器的输出均与双注意力引导模块的输出进行特征融合后再次进行双线性插值操作，并输入到下一层的检测器中，最后一层的检测器的输出即为最终的目标分割结果。

各模块的具体实现方式与各步骤相同，本发明不予撰述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。