一种基于全息认知画像的饲喂方法及系统

技术领域

本发明涉及畜牧养殖技术领域，具体涉及一种基于全息认知画像的饲喂方法及系统。

背景技术

近年来，互联网企业和金融机构纷纷入局智慧养殖，数字化手段的介入，养殖行业依托着互联网深度融合物联网IOT技术、智能算法等展现出全新的面貌，推动着粗放式养殖向知识型、技术型、现代化的智慧养殖转变。传统方法对奶牛身份识别依靠人工读取或传感器方式完成。需要将奶牛身份ID书写、打印在耳标上，或在奶牛表面设置传感器。容易引起奶牛的应激反应。并且人工读取方法检测速度慢，传感器识别方法成本高昂。

目前面部识别已经由人脸识别扩展到了牛脸识别，目的是让养殖人员能够无接触、自动地同时对多头奶牛进行身份识别，降低人工成本，避免因为奶牛应激反应的发生，保证奶牛健康，能够无接触、自动地同时对多头牛只进行身份识别，降低人工成本，避免因为牛只应激反应的发生，保证牛只健康。

如申请号2021107383813公开了一种多目标奶牛身份识别方法及系统，其中，多目标奶牛身份识别方法，包括：基于待识别视频，确定待识别视频帧集合；其中，待识别视频包括至少一头奶牛的面部图像信息；基于待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；基于多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息。

该专利申请在进行多目标奶牛身份识别过程中，仅能识别出牛只身份，不能实时计算出牛只当前健康状况，具体健康状况仍需依靠传统手段检测。因此如何使养殖人员及时发现牛只身体出现的问题并远程调控饲料营养成分配比，实现精准投喂并提高产出效率，成为亟待解决的问题。

发明内容

本发明的目的在于提供一种基于全息认知画像的饲喂方法及系统，以解决现有技术中不能根据饲养物信息调节饲料的问题。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明公开了一种基于全息认知画像的饲喂方法，包括：

采集饲养物面部图像信息并记录饲养物多维生物特征数据，提取饲养物面部图像信息特征并计算识别饲养物身份；

根据饲养物多维生物特征数据构建饲养物图结构数据并计算获得饲养物标签库，将饲养物标签库和饲养物身份绑定生成动态更新下的饲养物画像；

提取所述饲养物画像中的数据并分析饲养物动态进食需求，根据所述进食需求调节投喂的饲料配比。

进一步地，采集饲养物面部图像信息并记录饲养物多维生物特征数据，提取饲养物面部图像信息特征并计算识别饲养物身份包括：

采用YOLOv4目标检测算法从视频帧中提取饲养物面部图像信息；

将所述面部图像信息输入到Resnet50的神经网络中进行图像特征提取，获取特征图；

将所述特征图进行RGB三通道分解，并采用OMP算法进行稀疏分解，根据稀疏分解的结果更新具有饲养物信息矩阵的数据库字典识别出饲养物身份。

进一步地，根据饲养物多维生物特征数据构建饲养物图结构数据并计算获得饲养物标签库，将饲养物标签群和饲养物身份绑定生成动态更新下的饲养物画像包括：

根据饲养物多维生物特征数据及其对应的时间数据，填充构建饲养物图结构数据；

根据饲养物的状态不同表征形式设计标签簇，以生成饲养物标签库；

基于低回溯空域图卷积的饲养物画像标签结果，将饲养物标签库与饲养物身份进行绑定，生成动态信息更新下的饲养物画像。

进一步地，提取所述饲养物画像中的数据并分析饲养物动态进食需求，根据所述进食需求调节投喂的饲料配比包括：

从所述饲养物画像中提取饲养物标签簇，提取并处理所述标签簇获得饲养物动态进食需求与最优进食目标；

根据饲养物动态进食需求与最优进食目标调节投喂的饲料配比、饲喂时机及饲喂量。

进一步地，所述饲养物多维生物特征数据包括：运动数据、体温数据、身份数据及体况数据。

第二方面，本发明公开了一种基于全息认知画像的饲喂系统，包括：

体态信息识别模块，用于采集饲养物面部图像信息并记录饲养物多维生物特征数据，提取饲养物面部图像信息特征并计算识别饲养物身份；

画像构建模块，用于根据饲养物多维生物特征数据构建饲养物图结构数据并计算获得饲养物标签库，将饲养物标签库和饲养物身份绑定生成动态更新下的饲养物画像；

饲喂模块，用于提取所述饲养物画像中的数据并分析饲养物动态进食需求，根据所述进食需求调节投喂的饲料配比。

进一步地，所述体态信息识别模块包括数据采集单元和身份识别单元，所述画像构建模块包括图结构构建单元、需求解析单元和画像生成单元，所述饲喂模块包括需求分析单元和饲喂终端单元；

所述数据采集单元用于采用YOLOv4目标检测算法从视频帧中提取饲养物面部图像信息，并将所述面部图像信息输入到Resnet50的神经网络中进行图像特征提取，获取特征图；所述身份识别单元用于将所述特征图进行RGB三通道分解，并采用OMP算法进行稀疏分解，根据稀疏分解的结果更新具有饲养物信息矩阵的数据库字典识别出饲养物身份；

所述图结构构建单元用于根据饲养物多维生物特征数据及其对应的时间数据，填充构建饲养物图结构数据；所述需求解析单元用于根据饲养物的状态不同表征形式设计标签簇，以生成饲养物标签库；所述画像生成单元用于基于低回溯空域图卷积的饲养物画像标签结果，将饲养物标签库与饲养物身份进行绑定，生成动态信息更新下的饲养物画像；

所述需求分析单元用于从所述饲养物画像中提取饲养物标签簇，提取并处理所述标签簇获得饲养物动态进食需求与最优进食目标；所述饲喂终端单元用于根据饲养物动态进食需求与最优进食目标调节投喂的饲料配比、饲喂时机及饲喂量。

进一步地，所述饲养物多维生物特征数据包括：运动数据、体温数据、身份数据及体况数据。

第三方面，本发明公开了一种电子设备，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据权利要求1～5任一项所述方法的步骤。

第四方面，本发明公开了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

根据上述技术方案，本发明的实施例至少具有以下效果：本发明根据饲养物多维生物特征数据构建饲养物图结构数据并计算获得饲养物标签库，将饲养物标签库和饲养物身份绑定生成动态更新下的饲养物画像；可准确获取饲养物动态进食需求，根据进食需求调节投喂的饲料配比能够实现精准饲喂。

附图说明

图1为本发明的整体流程图；

图2为本发明中饲养物身份识别的流程示意图；

图3为本发明饲养物画像构建的流程示意图；

图4为本发明中饲喂的流程示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明立足当前乳畜养殖的实际需求，针对牛只饲喂这一关键环节，提供基于牛只面部识别的智能精准饲喂关键技术来解决当前乳畜养殖亟需解决的感知数据不全面、牛只体况难分析、饲喂决策不准确的问题，包括：基于奶牛行为特征、生命体征(如体重、体温、心率)相关的个体信息，分析牛只生长过程的动态进食需求；制定基于智慧化饲喂辅助的多功能导向饲喂策略，进一步设计用于扩充精准饲喂方法效能的自优化机制；根据系统上传的牛只全息影像，远程调节牛只饲料各项营养物质占比，从而实现人畜分离远程管理。

实施例1

本发明公开了一种基于全息认知画像的饲喂系统，包括体态信息识别模块、画像构建模块和饲喂模块，体态信息识别模块用于采集饲养物面部图像信息并记录饲养物多维生物特征数据，提取饲养物面部图像信息特征并计算识别饲养物身份；画像构建模块用于根据饲养物多维生物特征数据构建饲养物图结构数据并计算获得饲养物标签库，将饲养物标签库和饲养物身份绑定生成动态更新下的饲养物画像；饲喂模块用于提取所述饲养物画像中的数据并分析饲养物动态进食需求，根据所述进食需求调节投喂的饲料配比。

本申请的饲养物可以为牛、羊等牲畜，本申请以牛进行具体说明。

具体的，本申请的牛只体态信息识别模块用于采集饲养物面部图像信息并记录饲养物多维生物特征数据，提取饲养物面部图像信息特征并计算识别饲养物身份。可实现跨尺度特征融合的牛只脸部目标检测，通过参数共享方式对牛只整体健康进行评估。

牛只画像构建模块用于根据饲养物多维生物特征数据构建饲养物图结构数据并计算获得饲养物标签库，将饲养物标签库和饲养物身份绑定生成动态更新下的饲养物画像。可实现融合获取的多源生物信息，映射至牛只高维状态标签集，得到面向清晰化饲喂管理决策的牛只画像功能。

饲喂模块用于提取所述饲养物画像中的数据并分析饲养物动态进食需求，根据所述进食需求调节投喂的饲料配比。可实现远程调节环境温湿度及饲料各项营养物质占比的功能、分析牛只生长过程的动态进食需求，实现精准饲喂。

针对以上三个模块，具体研究内容阐述如下：

牛只体态信息识别模块：该模块通过目标检测算法YOLOv4，从视频帧中提取实验牛只的面部图像信息，将捕获到的图像输入到Resnet50的神经网络中进行图像特征提取。记录牛只多维生物特征及其相关参数，用于填充构建牛只图结构数据。该模块包括数据采集单元、目标检测单元和身份识别单元，具体流程如图2所示。

数据采集单元：数据采集和特征提取，首先使用YOLOv4目标检测算法从视频帧中提取实验牛只的面部图像信息，同时利用YOLOv4记录牛只生物特征(视网膜、耳部静脉、面部特征信息及其相关参数)；接着，为了防止出现的过拟合现象，使用Resnet50进行二次训练，将捕获到的图像输入到Resnet50的神经网络中进行图像特征提取，该网络引入三层残差模块，输出基本特征图。

综合评价指标：F∈R

其中，H表示特征图的高度，W表示特征图的宽度，C表示特征图的通道数，R表示召回率，召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确。

目标检测单元：多尺度特征融合目标检测，为了高效地利用不同尺度的特征图，利用YOLOv4的特征金字塔结构，使网络可以自动跨不同特征层进行特征融合，首先将前述获取到的牛只运动数据、体温数据、身份数据、体况数据及其对应的时间数据，填充构建牛只图结构数据，分析需求信息，进行语意泛化，生成高精度牛只标签库以实现信息融合，以低回溯空域图作为目标检测子网络的输入，然后根据特征图分辨率差异化实际情况分别进行求和或最大池化操作，将其保留在最大化的池化输出里，最后根据输出池里记录的特征实现牛只脸部在整体捕获图像中的目标精确定位。

身份识别单元：牛只身份识别，将上述包含牛脸目标的特征图进行RGB三通道分解，并对每一通道生成图像进行网格切分，按照从左往右，从上往下的顺序将图像块的像素值展成一列，获得重构输入矩阵Y

全息认知下的牛只画像构建模块：通过采集的牛只多维数据，解析融合前述获取的多源生物信息，将牛只差异图数据转化为统一的对齐网络结构，以适应牛只图数据的差异性。该模块主要利用前述完成的图结构构建单元、需求解析单元，并在此基础上实现映射单元、画像生成单元，其具体关系如图3所示。

图结构构建单元：基于前述获取到的牛只运动数据、体温数据、身份数据、体况数据及其对应的时间数据，填充构建牛只图结构数据。在牛只图结构数据集中，对于图集合G＝{G

当

需求解析单元：针对本项目牛只画像的具体需求，对特定的需求信息进行解析并进行语义泛化。如对于饲喂管理对象“青壮期高产健康发情奶牛”，泛化出“青壮期”、“高产”、“健康”、“发情”等与之相近的词语表示。分析饲喂管理所需的实体与实体之间的语义相似性和逻辑相关性，计算相关词语之间的距离，得到词语与实体之间的相关性。

设计面向饲喂管理的标签体系，将高泛化的强语义标签与高精准的量化标签进行结合，依照牛只状态的不同表征形式设计标签簇，得到条理清晰、内容充实的牛只标签库。

映射单元：在得到牛只异构数据处理后的可传递一致对齐信息后，可将任意大小的牛只图数据映射到固定大小的网格结构中，以充分利用不规则的牛只数据知识。进一步计算图的K级对齐节点特征矩阵

采用基于深度的表示方法来表示牛只节点向量，以计算K级节点一致矩阵，得到对齐节点网格结构

画像生成单元：将网络分为两个部分，将第一部分表征相似度的低回溯邻接矩阵

基于牛只全息画像的精准饲喂模块：根据系统上传的牛只全息影像，管理人员可以根据牛只当前情况远程调节饲料各项营养物质占比。该模块包括需求分析单元和饲喂终端单元，其功能如图4所示。

需求分析单元：基于前述得到的牛只全息精准画像，从牛只画像多维标签中提取多层特征并对数据进行预处理，得到数据序列，分析牛只动态进食程度与最优进食目标。选取不同饲喂路线的牛只动态画像特征及产出数据，如进食量、进食频率、饲料配比、产奶量以及奶料比，将牛只饲喂过程相关特征依照时序进行序列化处理，以一日或一周为时间步，选取连续有规律的数日或数周牛只饲喂过程时序特征数据进行需求的分析。基于牛只画像标签，分析牛只生长过程的动态进食需求，为饲喂过程提供智慧化的业务支撑，从而考虑牛只饲料配比、饲喂时机选择、饲喂量控制等要素。

饲喂终端单元：管理人员可以根据牛只当前情况远程调节饲料各项营养物质占比，在实现人畜分离远程管理的同时，将本项目与物联网技术结合，实现精准投喂饲料。

需求分析单元：选取不同饲喂路线的牛只动态画像特征及产出数据，如进食量、进食频率、饲料配比、产奶量以及奶料比，将牛只饲喂过程相关特征依照时序进行序列化处理，以一日或一周为时间步，选取连续有规律的数日或数周牛只饲喂过程时序特征数据进行需求的分析。为此，我们对获取的数据建立两个数据库DA1和DA2进行存储。其调整饲料配比过程如下：

步骤a、建立第一数据库DA1，此数据库用来存储养殖场标识数据集I，此标识数据可以用于唯一确定某一个养殖场；同时存储对应的养殖场环境数据C。由此形成相对应的数据对。

步骤b.建立第二数据库DA2，其包含多个标准文档[C，M，F，R，A，B],其中C、M、F、R、A、B分别为环境数据、进食量、进食频率、饲料配比、产奶量和奶料比，可用来存储已获得的序列化数据。在要确定某一养殖场的未来相关产出数据时，先得到此养殖场的标识数据I

|C

其中，Δ1和Δ2为相应的误差值，是一个较小的值。如确定的饲料配比等数据不止一个数据对，则对其取平均值。M

步骤c.根据上述确定的算法，对该养殖场的牛只进行饲养。在饲养过程中获取此轮周期饲养实际的[M

根据上述所述算法对饲养的相关数据进行确定与实时更新。

基于牛只画像标签，分析牛只生长过程的动态进食需求，为饲喂过程提供智慧化的业务支撑，从而考虑牛只饲料配比、饲喂时机选择、饲喂量控制等要素。

依据上述第二数据库DA2中的[M，F，R]，即进食量、进食频率、饲料配比，来确定饲料配比方案和具体饲喂时机，由饲喂终端单元负责分发指令给相对应牛只的饲料投喂机，通过控制不同出料口的出料时间进行成比例的饲料配比，同时根据进食频率间隔相应时间进行投喂，DA2中的进食量即为投喂量，从而实现精准饲喂。

本发明提供了多维数据采集模型，提高牛只饲喂精确度。促进牛只养殖业发展，不断提高生产管理的精细化水平，节约养殖成本，提高效率。有益于从传统养殖模式到畜牧业智能化建设的转变，加快乳畜业现代化的进程，可以有效提高饲养管理的精准程度和工作效率、降低人力成本。

实施例2

基于实施例1同样的发明构思，本实施例公开了一种基于全息认知画像的饲喂方法，包括：步骤1、采集饲养物面部图像信息并记录饲养物多维生物特征数据，提取饲养物面部图像信息特征并计算识别饲养物身份。步骤2、根据饲养物多维生物特征数据构建饲养物图结构数据并计算获得饲养物标签库，将饲养物标签库和饲养物身份绑定生成动态更新下的饲养物画像。步骤3、提取所述饲养物画像中的数据并分析饲养物动态进食需求，根据所述进食需求调节投喂的饲料配比。

本发明根据饲养物多维生物特征数据构建饲养物图结构数据并计算获得饲养物标签库，将饲养物标签库和饲养物身份绑定生成动态更新下的饲养物画像；可准确获取饲养物动态进食需求，根据进食需求调节投喂的饲料配比能够实现精准饲喂。

步骤1、数据采集与特征提取，特征融合与目标检测，牛只身份识别。

步骤11、首先使用YOLOv4目标检测算法从视频帧中提取实验牛只的面部图像信息，并采用YOLOv4目标检测算法记录牛只多维生物特征(牛只运动数据、体温数据、身份数据、体况数据)及其相关参数。

本申请采用的YOLOv4目标检测算法是一种单阶段目标检测算法，该算法在YOLOv3的基础上添加了一些新的改进思路，使得其速度与精度都得到了极大的性能提升。

步骤1.2、将捕获到的面部图像输入到Resnet50的神经网络中进行图像特征提取。

Resnet50神经网络能有效解决深度网络退化问题的一种结构，将输入的多重非线性变化拟合变成了拟合输入与输出的残差，变为恒等映射，50即50层。

步骤1.3、将上述检测出的牛脸目标进行RGB三通道分解，在此基础上，利用OMP(正交匹配追踪算法)进行稀疏分解，通过循环稀疏编码与数据库字典更新两个过程识别出牛只身份。

OMP为正交匹配追踪算法(OrthogonalMatchingPursuit)本申请采用该算法具有简单高效的特点。

步骤2、填充构建牛只图结构数据，对特定需求信息进行语义泛化，并生成动态更新信息下的牛只画像。

步骤2.1、基于前述获取到的牛只运动数据、体温数据、身份数据、体况数据及其对应的时间数据，填充构建牛只图结构数据。

步骤2.2、对特定的需求信息进行解析并进行语义泛化，分析饲喂管理所需的实体与实体之间的语义相似性和逻辑相关性，梳理冗杂的牛只信息生成高精度牛只标签库。

步骤2.3、利用图网络结构的两部分聚合节点自身与内邻点的顶点特征并聚合节点自身及其外邻点的顶点特征。由此得到基于低回溯空域图卷积的牛只画像标签结果，将牛只标签群与牛只身份进行绑定，最终生成动态信息更新下的牛只画像。

步骤3、从画像中提取数据，分析牛只动态进食需求，调整饲料配比进行精确投喂。

步骤3.1、基于前述得到的牛只画像，从牛只画像多维标签中提取多层特征并对数据进行预处理，得到数据序列。

步骤3.2、基于牛只画像标签，分析牛只生长过程的动态进食需求，，从而调整牛只饲料配比、饲喂时机选择以及饲喂量的控制。

步骤3.3、根据牛只当前情况远程调节饲料各项营养物质占比，实现精确投喂。

本发明提供了多维数据采集模型，提高牛只饲喂精确度。促进牛只养殖业发展，不断提高生产管理的精细化水平，节约养殖成本，提高效率。有益于从传统养殖模式到畜牧业智能化建设的转变，加快乳畜业现代化的进程，可以有效提高饲养管理的精准程度和工作效率、降低人力成本。

实施例3

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本申请的实施例还提供了一种电子设备，在本申请实施例中，电子设备可以是平板电脑、智能手机、个人数字助理等。

电子设备可以包括：存储器、处理器、通信接口和通信总线，通信总线用于实现这些组件的连接通信。

存储器用于存储全部模型数据、以及本申请实施例提供的基于全系认知画像的饲喂方法及系统对应的计算程序指令等各种数据，其中，存储器可以是随机存取存储器(RAM)，只读存储器(ROM)，可编程只读存储器(PROM)，可擦除只读存储器(EPROM)等。

处理器用于读取并运行存储于存储器中的与基于全系认知画像的饲喂方法对应的计算机程序指令时，执行本申请实施例提供的紧急决策控制方法。

处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(CPU)、网络处理器(NP)等；还可以是数字信号处理器(DSP)、分立门或者晶体管逻辑器件、分立硬件组件。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。