一种基于ST-GCN的鱼群摄食强度预测方法

技术领域

本发明属于鱼类养殖投喂技术领域，特别是涉及一种基于ST-GCN的鱼群摄食强度预测方法。

背景技术

目前，对鱼类摄食强度评估模型的研究主要分为两个方面：一是采用CNN分类算法对鱼群摄食行为图像进行识别，二是对图像中鱼群个体的行为进行特征提取，然后通过人为设计的摄食强度指数进行评估或者通过svm、lstm等算法进行时间序列预测。CNN分类算法在训练和预测过程中，每一帧图像相互独立，而非一条完整的时间序列，因此，模型只能学习到图像中鱼群空间位置的特征，却忽略了速度、转向角等同样与评估鱼群食欲息息相关的特征，当图像出现昏暗、对比度低，背景环境复杂，光线干扰等情况时，只通过学习图像特征往往难以取得良好的效果。目标检测算法也有很多局限性，由于鱼类养殖池环境往往十分复杂，存在有大量噪声、光线干扰、鱼群堆叠等现象，使得很难得到效果良好的鱼类前景；同时，目标检测算法会通过预处理将图像二值化，导致图像的颜色特征的缺失。除了目标检测算法外，还可以使用centertrack、fairmort等追踪算法对鱼类个体进行跟踪，通过只追踪鱼头的方法，虽然大大减少了鱼群身体遮挡造成的影响，但在高摄食强度的情况下，鱼群剧烈抢食，头部追踪同样无法获得好的效果。此外，与cnn分类算法正好相反的是，目标检测算法结合人为设计评价方式框架和追踪算法结合时序预测算法框架都忽略了图像中鱼群的空间位置信息，而只能学习到提取出的特征值，当不同摄食强度下的特征值差别较小时，算法则无法取得较好的效果。

因此，亟需提出一种基于时空图卷积神经网络（ST-GCN）的鱼群摄食强度预测方法，对鱼群的摄食行为进行精确分析，提高养殖效益。

发明内容

本发明的目的是提供一种基于ST-GCN的鱼群摄食强度预测方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于ST-GCN的鱼群摄食强度预测方法，包括以下步骤：

构建特征提取模型并进行训练，将鱼群摄食行为视频图像输入到训练后的特征提取模型中进行时空特征提取，获得鱼群个体与时间序列一一对应的空间位置信息；

获取摄食强度信息，基于所述摄食强度信息为所述空间位置信息做数据标注，获得标注后的空间位置信息；

构建初始摄食强度预测模型，基于所述标注后的空间位置信息对所述初始摄食强度预测模型进行训练，获得目标摄食强度预测模型，基于所述目标摄食强度预测模型对鱼群的摄食强度进行预测。

可选地，对鱼群摄食行为视频图像进行特征提取之前还包括：预设视频长度，将所述视频图像划分为满足预设视频长度的片段，获得鱼群摄食行为的数据集。

可选地，对特征提取模型进行训练的过程包括：对所述数据集中的鱼群每个个体的头部进行标注，获得标注后的数据集，并将所述标注后的数据集输入到所述特征提取模型中进行训练。

可选地，进行时空特征提取的过程包括：截取鱼群中每个个体的头部图像并输入到训练后的特征提取模型中，获得鱼群中每个个体的头部权重；基于所述头部权重，对数据集中的鱼群每个个体的头部进行追踪，获得鱼群中每个个体与时间序列一一对应的空间位置信息。

可选地，基于所述摄食强度信息为所述空间位置信息做数据标注之前还包括：所述空间位置信息均包括预设数量的按跟踪序号排列的元素，当实际获得的空间位置信息的元素数小于预设数量时，基于数据补全算法自动复制最后一个元素对所述实际获得的空间位置信息进行补充。

可选地，构建初始摄食强度预测模型的过程包括：将ST-GCN的网络结构修改成八节点边的连接方式，基于修改后的ST-GCN网络构建初始摄食强度预测模型。

本发明的技术效果为：

本发明的鱼群摄食强度预测方法在获取中、弱摄食强度等级的数据集上提高了鱼群的跟踪准确率，并能够对高摄食等级下的鱼群特征信息的缺失值进行补全，实现了特征增强。

本发明构建的鱼群摄食强度预测模型，在训练模型所需的数据量大大降低，并且对鱼群摄食强度的预测拥有更高的准确率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的基于ST-GCN的鱼群摄食强度预测方法流程图；

图2为本发明实施例中的YOLOv5-deepsort的模型结构示意图；

图3为本发明实施例中的连续时间序列上鱼群的拓扑图；

图4为本发明实施例中的鱼群摄食强度预测过程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1-图4所示，本实施例中提供一种基于ST-GCN的鱼群摄食强度预测方法。本实施例的实验系统为一个0.8m*0.8m*0.6m的玻璃缸，图像采集系统由摄像机、光源和数据存储器组成，为避免光线干扰，光源被放置在养殖池底部，由六根LED灯管构成，摄像机被放置于系统正上方，采集分辨率为1080×1920像素，速率为60fps。系统中共养殖鱼8尾，用漂浮颗粒喂养，水温维持在20-25℃之间，实验前，已在系统中进行了为期8周的养殖。

首先，通过视频采集系统，对鱼群喂食前、喂食中和喂食后的摄食行为进行拍摄，共采集到79500帧长度的视频图像，针对st-gcn的输入方式，将视频分为265个300帧长度的片段，制作出鱼群摄食行为数据集。

本实施例中，利用YOLOv5-deepsort进行特征提取的工作流程为：使用labelimg对图像中的鱼类头部进行标注，将标注好的数据集输入YOLOv5网络中进行训练，其网络结构获得用于识别鱼类头部的权重；将鱼类头部图像截取并输入到deepsort网络中，训练出用于鱼类头部追踪的权重；将权重输入追踪器中，对视频中的鱼类头部进行追踪，并输出每一个鱼类个体在连续帧中的空间位置。

YOLOv5-deepsort的模型结构如图2所示，其原理为：（1）将第一帧次检测到的结果创建为对应的轨迹并通过卡尔曼滤波产生下一帧的预测框，此时为不确认态轨迹。（2）将该帧的检测框和上一帧通过预测框一一进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵。（3）将（2）中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候得到的结果有三种，第一种是轨迹失配，删除；第二种是检测框失配，将这样的检测框初始化为一个新的轨迹；第三种是检测框和预测框配对，这说明前一帧和后一帧追踪成功，将其对应的检测框通过卡尔曼滤波更新其对应的轨迹变量。（4）反复循环（2）-（3）步骤，直到出现确认态的轨迹或者视频帧结束。（5）通过卡尔曼滤波对确认态和不确认态的轨迹生成预测框，将确认态的预测框和检测进行级联匹配。（6）进行级联匹配后有三种可能的结果。第一种，轨迹匹配，这样的轨迹通过卡尔曼滤波更新其对应的轨迹变量。第二第三种是检测框和轨迹失配，这时将之前的不确认状态的轨迹和失配的轨迹一起和失配的检测框一一进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵。（7）将（6）中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候得到的结果有三种，第一种是轨迹失配，不确认态删除，确认态的达到最大失配次数后删除；第二种是检测框失配，将其初始化为一个新的轨迹；第三种是检测框和预测框配对成功，将其对应的检测框通过卡尔曼滤波更新其对应的轨迹变量。（8）反复循环（5）-（7）步骤，直到视频帧结束。在本实施例中，超参数如表1所示：

表1

对输出的位置数据进行数据补全处理，在输出中，每一帧数据为一个内含八个按跟踪序号排列的元素的数组，当元素数不足八个时，数据补全算法会自动复制最后一个元素补充，通过这种方式，解决了高摄食强度下由于追踪效果差出现的特征值缺失问题，同时增加了坐标点的聚集程度，强化了高摄食强度下鱼群空间位置高度聚集的特征，补全后的文件保存为.json格式；

结合Overli提出的4步分级表与实际养殖过程中观察的鱼群摄食情况，将鱼群摄食强度分为了强、中、弱三个等级，如表2所示：

表2

根据每个视频片段中鱼群的摄食状态在对应的.json文件中输入摄食强度信息（strong、mid、weak），并转换成适合st-gcn输入的.npy和.pkl文件。

修改st-gcn的网络结构，由于鱼类之间存在着社会关系，因此每个节点之间边的连接方式设置为各节点之间均存在一条无向边进行连接，故在graph.py文件中增加一个layout部分，用于使st-gcn可以适应鱼群结构的八节点边连接方式，将数据输入st-gcn训练，保存训练好的模型文件。

将视频文件进行鱼群结构信息提取，并将提取的数据输入模型中，即可对鱼群摄食强度进行预测。

本实施例提出的一种基于YOLOv5-deepsort和st-gcn的鱼群摄食强度预测方法，分为特征提取部分和食欲分析部分，可以将鱼群摄食行为图抽象成由点和边组成，形成在时间序列中的拓扑结构图，如图3所示，其中，拓扑图中节点的特征信息被表征为300个被特征提取器跟踪并提取出的数组，数组中包含有8个一一对应的鱼类个体的空间位置坐标，各节点之间均存在一条无向边连接，以此来实现鱼群在空间位置与时间序列上特征的融合，并通过对图结构的分析，对鱼群的摄食强度进行精准的评估，避免了单独使用某一特征而出现弊端。

本实施例的预测方法在中、弱摄食强度等级的数据集上提高了鱼群的跟踪准确率，并能够对高摄食等级下的鱼群特征信息的缺失值进行补全，实现了特征增强；同时，本实施例提出的鱼群摄食强度预测模型相比于resnet（74.06％）和lstm（86.63％）模型的准确率仅经过265个时间长度为5秒的鱼类摄食行为影像的训练后便达到了94.44％，分别提高了20.38％和7.81％，因此，该鱼类摄食强度预测模型在拥有更高准确率的同时，还大大降低了训练所需的数据量。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。