一种基于数字孪生的植物培育系统及方法

技术领域

本发明涉及数字孪生技术领域，尤其涉及一种基于数字孪生的植物培育系统与方法。

背景技术

作为智能化时代的新兴技术，数字孪生技术有很大的应用前景，其可应用于产品设计、产品制造、医学分析、工程建设。但目前在植物培育领域，数字孪生技术尚未有一套完整的系统流程，来分析植物当前较适宜的生长环境。在数字农业的推动下，数字农业孪生技术亟需实现落地化。

数字孪生技术是物理实体的工作状态和工作进展在信息空间的全要素重建及数字化映射，是一个集成多物理、多尺度、超写实和动态概率的仿真模型，可用于模拟、监控、诊断、预测和控制产品物理实体在现实环境中的生产过程、状态和行为。

在植物培育领域，数字孪生技术可以融合多种算法，数字孪生技术与传统的机器学习算法相比，能更准确地分析出植物当前所处的生长状态，对现实的植物做到更精细的仿真。数字孪生技术配合5G高数据传输速率，可以做到实时的精细化管理。

现有技术中对植物的生长状况评估仅从单一角度出发，基于监测数据进行数据挖掘，然后以文字界面的形式呈现求解信息，在虚拟端缺乏对植物的物理信息、环境变化信息等多方面信息的融合，无法直观地展现出植物生长过程的状态变化。

同时用于植物监测的智能设备的发展趋向于复杂化，各类数据呈现爆炸式增长，且数据种类十分丰富，将庞大的数据传送至远端的云服务器进行处理，会导致额外的无线电回程负载引起的高延迟，不适用于实时精细化植物控制领域。且现有技术中未能充分利用影响植物生长状态的数据，不能准确给出植物生长所需的最适内外环境，因此需要新的架构模式来适应精细化，实时化的植物培育要求。

发明内容

本发明的目的在于针对上述现有技术的缺陷，提供一种基于数字孪生的植物培育系统与方法，建立一种新型智能化植物培育系统。

本发明公开的一种基于数字孪生的植物培育系统，包括：

摄像头模块，用于每隔一个时间片拍摄多角度植物图片；

传感器模块，用于检测植物内数据和外数据；

数据预处理模块，用于对摄像头模块和传感器模块上传的植物内数据和外数据进行数据具体化和量化，数量级统一，异常值处理，转换为综合分析模块易于处理的数据形式，并向数据库模块发送处理后的数据；

数据库模块，用于存储数据预处理模块发送的数据；

综合分析模块，用于从数据库模块中取出数据，使用图像建模方法，结合植物不同角度的图片数据，得到植物的3D模型；使用神经网络或多目标优化算法求解出植物当前最适的内数据和外数据；将当前最适的内数据和外数据发送至可视化展示模块；

可视化展示模块，用于展示植物的实时环境数据，展示植物的3D模型，展示植物当前最适的内数据和外数据供用户参考决策；

控制器模块，用于控制传植物生长环境。

进一步地，所述传感器模块包括温度传感器、湿度传感器、光强度传感器和土壤传感器，所述温度传感器、湿度传感器、光强度传感器检测的数据属于外数据，所述土壤传感器检测的数据属于内数据，所述土壤传感器包括土壤养分传感器，土壤湿度传感器，土壤ph值传感器。

进一步地，所述数据预处理模块对传感器模块上传的植物内数据和外数据进行归一化，公式如下：

其中，

进一步地，所述综合分析模块从数据库模块中取出数据，使用图像建模方法，结合植物不同角度的图片数据，得到植物的3D模型。

进一步地，所述综合分析模块使用LSTM神经网络或多目标优化算法求解出植物当前最适的内数据和外数据，所述LSTM神经网络包括遗忘门、输入门和输出门；

遗忘门：该门决定节点丢弃什么信息，公式表示为：

其中，

输入门：该门决定让多少新的输入信息进入当前节点的门结构，包括更新门和tanh函数，通过更新门决定哪些信息需要更新，通过tanh函数生成一个备选的更行内容，然后将更新门和tanh函数进行组合，公式表示为：

其中，

上一节点的输出经过遗忘门丢弃掉无效的内容，然后加上

其中，

输出门：该门决定当前节点的最终输出，函数表示为：

其中，

本发明还公开了一种基于数字孪生的植物培育方法，根据上述基于数字孪生的植物培育系统，包括以下步骤：

步骤1：摄像头模块每隔一个时间片拍摄多角度植物图片，并上传至数据预处理模块，通过接入育苗板的土壤传感器和布置在空气中的温度传感器、湿度传感器、光强度传感器获取植物生长环境的内数据和外数据上传至数据预处理模块；

步骤2：数据预处理模块对摄像头模块和传感器模块上传的植物内外数据进行数据具体化和量化，数量级统一，异常值处理，转换为综合分析模块易于处理的数据形式，并向数据库模块发送处理后的数据；

步骤3：数据库模块存储数据预处理模块发送的数据；

步骤4：综合分析模块从数据库模块中取出数据，使用图像建模方法，结合植物不同角度的图片数据得到植物的3D模型；使用LSTM神经网络或多目标优化算法求解出植物当前最适的内数据和外数据，形成虚拟端的植物孪生实体和植物孪生环境；

步骤5：可视化展示模块展示在虚拟端的植物孪生实体和植物孪生环境观察到植物的相关信息供用户参考决策；

步骤6：控制模块响应系统或用户的决策指令，改变植物生长的内外环境，并向可视化模块发送动画显示指令。

进一步地，步骤2包括以下步骤：

步骤2.1：数据预处理模块接收摄像头模块和传感器模块上传的数据进行数学建模，传感器模块检测到t时间的数据为

步骤2.2：对传感器模块检测到数据进行归一化，归一化公式如下：

其中，

步骤2.3：如果数据预处理模块接收的数据中心出现缺失值，则采取均值填补的方法，否则转入步骤3。

进一步地，所述LSTM神经网络输入为

其中，

本发明的有益效果是：本发明提出了一种新型的植物培育系统，在植物培育过程中融入数字孪生技术，结合3D建模方法、机器学习、智能优化算法，考虑植物生长期对植物环境需求的影响，得到了更准确的植物最适生长环境数据。采取相应控制措施使得数字孪生实际端始终处于最适生长状态。本发明公开的方法在植物周围布置摄像头，每隔一个时间片在植物周围环绕，拍摄多张照片，得到植物不同角度的图片内数据，采用3D建模方法得到植物的3D模型并在虚拟端可视化展示，从而使用户可以观察到植物的实时生长状态，同时采取相应措施改变植物生长环境时，会触发相应的动画控制效果，使得数字孪生虚拟端的可视化效果更为逼真精细，用户体验更佳。

附图说明

图1为本发明公开的基于数字孪生的植物培育系统框架图；

图2为本发明公开的基于数字孪生的植物培育方法流程图；

图3为本发明公开的LSTM神经网络结构图；

图4为本发明公开的基于数字孪生的植物培育系统虚实映射图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述。

如图1所示，本发明实施例记载了一种基于数字孪生的植物培育系统，包括感知层，系统层，控制层，所述感知层由摄像头模块和传感器模块组成，所述系统层由数据预处理模块、数据库模块、综合分析模块和可视化展示模块组成，所述控制层由控制器模块构成。

所述摄像头模块由一个在植物周围的摄像头组成，为植物拍摄不同角度的照片，每隔一个时间片在植物周围环绕，拍摄多张照片，得到植物不同角度的图片内数据，并输入到系统层中；

所述传感器模块包括温度传感器、湿度传感器、光强度传感器和土壤传感器，用于检测植物育苗板中植物的生长环境，接入育苗板的土壤传感器和布置在空气中的温度传感器、湿度传感器、光强度传感器来获得植物生长环境的相关信息并将其输入到系统层中。

温度传感器、湿度传感器：检测植物生长环境空气的温湿度，属于外数据。

光强度传感器：用来检测植物生长环境的光照强度，属于外数据。

土壤传感器包括土壤养分传感器，土壤湿度传感器，土壤ph值传感器。土壤养分传感器用来实时监测育苗板土壤中的氮磷钾含量，土壤湿度传感器用来实时监测育苗板土壤的湿度值，土壤ph值传感器用来实时监测育苗板土壤中的ph值，土壤传感器检测的数据均属于内数据。

数据预处理模块：对感知层上传的植物内外数据进行数据具体化和量化，数量级统一，异常值处理，转换为综合分析模块易于处理的数据形式。并向数据库模块发送处理后的数据。

数据预处理模块对传感器模块上传的植物内数据和外数据进行归一化，公式如下：

其中，

数据库模块：用于存储数据预处理模块发送的数据。

综合分析模块：从数据库模块中取出数据，使用图像建模方法，结合植物不同角度的图片数据得到植物的3D模型；使用LSTM神经网络或多目标优化算法求解出植物当前最适的内数据和外数据；最后发送至可视化展示模块。

具体来说，综合分析模块通过摄像头模块倾斜摄影与三维激光扫描搭配使用，获取植物不同角度的数据，得到植物的3D模型，并根据植物生长环境的特点结合植物自身特征造型识别提取关键几何特征，如地表特征、植物叶片特征等。参照影像数据以及植物相关基础资料，基于3dsMax软件进行精细化建模。

如图3所示，LSTM神经网络包括遗忘门、输入门和输出门。

遗忘门：该门决定节点丢弃什么信息。公式表示为：

其中，

输入门：该门决定让多少新的输入信息进入当前节点的门结构，主要分为两步：一是通过更新门决定哪些信息需要更新；二是通过tanh函数生成一个备选的更行内容。然后将两部分进行组合，公式表示为：

其中，

上一节点的输出经过遗忘门丢弃掉无效的内容，然后加上

其中，

输出门：该门决定当前节点的最终输出。首先，使用sigmoid函数确定节点中哪个部分将输出出去。然后，将节点状态通过tanh函数进行处理，将该值和 sigmoid 函数的输出相乘，最终仅输出确定输出的部分。函数表示为：

其中，

具体的，网络前向传递过程包括：

其中，

可视化展示模块：展示植物的实时环境数据，展示植物的3D模型，展示植物当前最适的内数据和外数据供用户参考决策，展示相关的控制触发效果。

考虑到植物培育的实时化要求和感知层上传的数据量大，数据种类多，系统层的各模块均使用MEC服务器提供的计算服务，可以避免云计算服务造成的高延迟而导致数据上传和下发不及时的问题。

控制器模块包括温度控制器、湿度控制器、光强度控制器、土壤控制器。用户根据系统可视化展示结果，选择自动或者手动模式。自动模式即把控制权交给系统，由系统根据推荐值自动控制植物的生长环境，手动模式即把植物生长环境控制权交给用户，用户可以把系统的推荐值当成一种参考，做出自己的调整决策。

基于上述系统，本发明还公开了一种基于数字孪生的植物培育方法，如图2所示，具体步骤包括：

步骤1：摄像头模块每隔一个时间片在植物周围环绕，拍摄多张照片，得到植物不同角度的图片内数据，并上传至数据预处理模块，通过接入育苗板的土壤传感器和布置在空气中的温度传感器、湿度传感器、光强度传感器来获得植物生长环境的相关信息并将其输入到数据预处理模块；

步骤2：数据预处理模块对感知层上传的植物内外数据进行数据具体化和量化，数量级统一，异常值处理，转换为综合分析模块易于处理的数据形式，并向数据库模块发送处理后的数据。具体步骤如下：

步骤2.1：数据预处理模块接收感知层上传的数据并进行数学建模。具体来说，设光强传感器检测到t时刻的光照强度为

步骤2.2：对数据进行归一化，为后期综合分析模块的进行相关操作奠定基础，各个数据归一化公式所示：

其中，

步骤2.3：如果数据预处理模块接收的数据中心出现缺失值，则采取均值填补的方法，否则转入步骤3。

步骤3：数据库模块存储数据预处理模块发送的数据

步骤4：综合分析模块从数据库模块中取出数据

使用图像建模方法，结合植物不同角度的图片数据得到植物的3D模型；使用LSTM神经网络或多目标优化优化算法求解出植物当前最适的内数据和外数据，形成虚拟端的植物孪生实体和植物孪生环境；

使用LSTM神经网络求解出植物当前最适的内数据和外数据的步骤具体如下：

以训练环境温度LSTM网络为例，当训练环境温度LSTM网络时，LSTM网络输入为

其中，

剩余植物生长环境内外数据相应的LSTM网络训练同理，最终可以得到

使用多目标优化优化算法求解出植物当前最适的内数据和外数据的步骤如下：

在求解之前首先建立植物的光照强度，环境湿度，环境温度，土壤湿度，植物生长期，土壤养分，土壤ph值关于植物生长健康状况的复杂非线性函数关系；接着开始求解过程：将相关植物内外数据作为决策变量，采用诸如蚁群算法寻找所建立函数的最优值，进而可得出植物当前最适的内数据和外数据。

步骤5：可视化展示模块展示植物的实时环境数据

步骤6：控制模块响应系统或用户的决策指令，改变植物生长的内外环境，并向可视化模块发送动画显示指令。用户根据系统可视化展示结果，选择自动或者手动模式。自动模式即把控制权交给系统，由系统根据推荐值自动控制植物的生长环境，手动模式即把植物生长环境控制权交给用户，用户可以把系统的推荐值当成一种参考，做出自己的调整决策。如图4所示，具体分情况阐述如下：

1.用户调整环境温度

2.用户调整环境湿度

3.用户调整环境光照强度

4.用户调整土壤环境时，在土壤氮磷钾框，土壤湿度框或土壤ph值框内输入相关参数值。系统通过启用土壤控制器达到所设定的土壤条件。土壤控制器通过控制储藏罐开关开闭的时间（即加压时间）达到控制土壤环境的目的。其中储藏罐包含水储藏罐，营养液储藏，石灰粉浊液储藏罐和硫酸铝的稀释水储藏罐，储藏罐液体由引出的线负责导出，滴灌到土壤里。

当用户决定调整土壤湿度

当用户决定调整土壤氮磷钾含量

当用户决定增大土壤ph值

实际端由植物物理实体和植物生长环境构成，虚拟端由植物孪生实体和植物孪生环境构成。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。