基于无人机的稻穗检测方法及装置

技术领域

本发明涉及作物图像信息技术领域，尤其涉及一种基于无人机的稻穗检测方法及装置。

背景技术

稻穗是水稻生长中重要的植被特征，稻穗的形状，大小，颜色都可视为基因的显性表达，单位面积内稻穗的个数也常用于估计水稻的产量。随着计算机数字图像处理技术的发展，利用相机拍摄记录且自动化的水稻检测方法被广泛的应用在农业生产和表型研究中。早期多数的研究仅采集和集中研究了局限场景中的水稻图像，图像数据的获取局限在有限且单一的场景内。为了摆脱固定拍摄的局限性，无人机被视为灵活的高通量平台，用于高效地大范围获取图像数据。无人机平台搭配合适的图像处理技术使得观测效率大大提升。

目前，受限于飞行高度和画面分辨率的取舍，不得不使用昂贵的大型无人机搭载长焦镜头的相机来获取图像。无人机飞行高度较低时，虽然可以获得较高分辨率的图像，但大型无人机桨叶产生的风压会摇动下方的水稻秸秆，导致获得的图像模糊。无人机飞行高度升高后，需使用长焦端的镜头保证图像分辨率，长焦端镜头获取的图像易受无人机飞行中晃动影响，在保证飞行平稳的同时降低了飞行效率。

发明内容

本发明实施例提供一种基于无人机的稻穗检测方法及装置，用以解决现有技术中的缺陷。

本发明实施例提供一种基于无人机的稻穗检测方法，包括：根据本发明一个实施例的基于无人机的稻穗检测方法，根据无人机采集的每一航拍图像，提取出对应的稻穗区域，并获取稻穗图像坐标；根据每一航拍图像的无人机位姿信息，对得到的稻穗图像坐标进行变换，生成世界坐标系内稻穗分布图；根据所述稻穗分布图，通过预设的生育模型，得到稻穗数量。

根据本发明一个实施例的基于无人机的稻穗检测方法，所述根据无人机采集的每一航拍图像，提取出对应的稻穗区域，包括：将无人机采集的航拍图像，输入预设的Mask R-CNN网络模型，得到对应的稻穗区域；其中，所述Mask R-CNN网络模型，根据带有稻穗区域标签的样本航拍图像训练得到。

根据本发明一个实施例的基于无人机的稻穗检测方法，所述根据每一航拍图像的无人机位姿信息，对得到的稻穗图像进行坐标变换之前，还包括：记录每个轨迹点的时间戳信息，并采用卡尔曼平滑器，对无人机飞行轨迹进行平滑处理；根据平滑处理前的轨迹点所对应的时间戳，在平滑后的轨迹中确定校准后轨迹点；根据校准后轨迹点的位姿，确定对应航拍图像的位姿。

根据本发明一个实施例的基于无人机的稻穗检测方法，对得到的稻穗图像进行坐标变换之后，还包括：采用基于空间的密度聚类算法，对所有航拍图像的稻穗区域进行去重。

根据本发明一个实施例的基于无人机的稻穗检测方法，所述生成世界坐标系内的稻穗分布图，包括：将检测到的稻穗区域图像坐标变换到横轴墨卡托坐标系，生成地理位置的稻穗分布图。

本发明实施例还提供一种基于无人机的稻穗检测装置，包括：检测模块，用于根据无人机采集的每一航拍图像，提取出对应的稻穗区域，并获取稻穗图像坐标；制图制图模块，用于根据每一航拍图像的无人机位姿信息，对得到的稻穗图像进行坐标变换，生成世界坐标系内的稻穗分布图；处理模块，用于根据所述稻穗分布图，通过预设的生育模型，得到稻穗数量。

根据本发明一个实施例的基于无人机的稻穗检测装置，所述检测模块，具体用于：将无人机采集的航拍图像，输入预设的Mask R-CNN网络模型，得到对应的稻穗区域；其中，所述Mask R-CNN网络模型，根据带有稻穗区域标签的样本航拍图像训练得到。

根据本发明一个实施例的基于无人机的稻穗检测装置，所述制图模块，还用于：记录每个轨迹点的时间戳信息，并采用卡尔曼平滑器，对无人机飞行轨迹进行平滑处理；根据平滑处理前的轨迹点所对应的时间戳，在平滑后的轨迹中确定校准后轨迹点；根据校准后轨迹点的位姿，确定对应航拍图像的位姿。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于无人机的稻穗检测方法的步骤。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于无人机的稻穗检测方法的步骤。

本发明实施例提供的基于无人机的稻穗检测方法及装置，根据每一航拍图像的无人机位姿信息，对得到的稻穗区域进行拼接，生成稻穗分布图，通过轻型无人机便可实现图像采集后的拼接，无需大型无人机搭载长焦镜头的相机来获取图像，从而避免了长焦镜头在无人机飞行中晃动的影响，避免飞行效率降低。此外，无人机飞行高度较低时，轻型无人机桨叶产生的风压不会剧烈摇动下方的水稻秸秆，从而可以避免获得的过度图像模糊。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于无人机的稻穗检测方法的流程示意图；

图2是本发明实施例提供的基于无人机的稻穗检测装置的结构示意图；

图3是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图3描述本发明实施例的基于无人机的稻穗检测方法及装置。图1是本发明实施例提供的基于无人机的稻穗检测方法的流程示意图，如图1所示，本发明实施例提供一种基于无人机的稻穗检测方法，包括：

101、根据无人机采集的每一航拍图像，提取出对应的稻穗区域，并获取稻穗图像坐标。

本发明实施例可基于轻型无人机实现，首先，无人机对待分析的区域进行航拍，得到能够覆盖整个待分析区域的多个航拍图片，同时记录飞行轨迹，其记录了飞行过程中相机中心的GPS坐标，无人机的姿态信息，即无人机位姿信息。基于现有的图像分析方法，如神经网络，从每一幅航拍图片中，提取稻穗区域，得到区域中每个像素点的坐标。

102、根据每一航拍图像的无人机位姿信息，对得到的稻穗图像进行坐标变换，生成世界坐标系内的稻穗分布图。

根据无人机的位置信息和姿态信息，可得到每一稻穗区域的位姿信息。根据已知位姿的所有稻穗区域，进行坐标变换，拼接到一个世界坐标系中，从而生成稻穗分布图。

103、根据所述稻穗分布图，通过预设的生育模型，得到稻穗数量。

根据现有的生育模型，基于稻穗分布图，可得到估计的稻穗数量，根据不同生育期多次航拍，可获得对应的生育曲线。如根据整体的水稻区域和稻穗分布，得出稻穗数量位于整体50％和70％。此情况下，通常分别被认为是全体进入出穗的标志和水稻进入成熟期的标志，可在收割前预测稻穗产量。

本发明实施例的基于无人机的稻穗检测方法，根据每一航拍图像的无人机位姿信息，对得到的稻穗图像进行坐标变换，生成稻穗分布图，通过轻型无人机便可实现图像采集后的处理，无需大型无人机搭载长焦镜头的相机来获取图像，从而避免了长焦镜头在无人机飞行中晃动的影响，避免飞行效率降低。此外，无人机飞行高度较低时，轻型无人机桨叶产生的风压不会摇动下方的水稻秸秆，从而可以避免获得的图像模糊。

基于上述实施例的内容，作为一种可选实施例，所述根据无人机采集的每一航拍图像，提取出对应的稻穗区域，包括：将无人机采集的航拍图像，输入预设的Mask R-CNN网络模型，得到对应的稻穗区域；其中，所述Mask R-CNN网络模型，根据带有稻穗区域标签的样本航拍图像训练得到。

基于深度学习的稻穗检测使用了高精度的实例分割网络，将Mask R-CNN作为主要的检测模型。Mask R-CNN网络具备高精度的像素级分割能力，其主干部分的特征金字塔网络和卷积神经网络对不同尺度的目标进行缩放采样，保证了图像特征的多尺度，对小的目标也具有较高的检测精度。通过网络超参数的调优和精心准备的数据集，训练后的模型可以在非结构化的田间场景中检测到稻穗，并且有足够的泛化能力，能够处理不同品种的水稻。

基于上述实施例的内容，作为一种可选实施例，所述根据每一航拍图像的无人机位姿信息，对得到的稻穗图像坐标进行变换之前，还包括：记录每个轨迹点的时间戳信息，并采用卡尔曼平滑器，对无人机飞行轨迹进行平滑处理；根据平滑处理前的轨迹点所对应的时间戳，在平滑后的轨迹中确定校准后轨迹点；根据校准后轨迹点的位姿，确定对应航拍图像的位姿。

由于传感器通常包含噪声，飞行轨迹并不平滑。基于三维运动模型的卡尔曼平滑器被用于平滑化处理无人机飞行轨迹，过滤轨迹中存在的传感器噪声。在记录轨迹时，除了记录位姿信息，对应的航拍图像，还记录对应的时间戳信息。平滑后的飞行轨迹，根据其所对应的时间戳，以及校准后轨迹点的位姿，确定对应航拍图像的位姿。

本发明实施例的基于无人机的稻穗检测方法，可避免无人机传感器误差的影响，得到准确的各航拍图像的位置，从而提高最后得到的稻穗分布图的准确性。

基于上述实施例的内容，作为一种可选实施例，对得到的稻穗图像坐标进行变换之后，还包括：采用基于空间的密度聚类算法，对所有航拍图像的稻穗区域进行去重。

由于用于检测和绘制稻穗分布图的航拍图像为保证尽可能包含所有的检测目标，图像与图像之间含重叠部分使得同一稻穗被多次检测且被绘制在分布图中。在后续处理中，采用基于空间密度分布的聚类算法DBSCAN，按照空间坐标对分布图中的稻穗进行去重。去重后的稻穗区域用于拼接处成稻穗分布图。最终，用于拟合生育模型，得到最终的稻穗数量和生长变化曲线。

基于上述实施例的内容，作为一种可选实施例，所述生成世界坐标系内的稻穗分布图，包括：将检测到的稻穗区域图像坐标变换到横轴墨卡托坐标系，生成地理位置的稻穗分布图。

本发明实施例提供一种坐标变换方法，将检测到的稻穗图像坐标变换到横轴墨卡托坐标系，生成真实地理位置的稻穗分布图。

下面对本发明实施例提供的基于无人机的稻穗检测装置进行描述，下文描述的基于无人机的稻穗检测装置与上文描述的基于无人机的稻穗检测方法可相互对应参照。

图2是本发明实施例提供的基于无人机的稻穗检测装置的结构示意图，如图2所示，该基于无人机的稻穗检测装置包括：检测模块201、制图模块202和处理模块203。其中，检测模块201用于根据无人机采集的每一航拍图像，提取出对应的稻穗区域，并获取稻穗图像坐标；制图模块202用于根据每一航拍图像的无人机位姿信息，对得到的稻穗图像坐标进行变换，生成世界坐标系内的稻穗分布图；处理模块203用于根据所述稻穗分布图，通过预设的生育模型，得到稻穗数量。

基于上述实施例的内容，作为一种可选实施例，所述检测模块201具体用于：将无人机采集的航拍图像，输入预设的Mask R-CNN网络模型，得到对应的稻穗区域；其中，所述Mask R-CNN网络模型，根据带有稻穗区域标签的样本航拍图像训练得到。

基于上述实施例的内容，作为一种可选实施例，所述制图模块202还用于：记录每个轨迹点的时间戳信息，并采用卡尔曼平滑器，对无人机飞行轨迹进行平滑处理；根据平滑处理前的轨迹点所对应的时间戳，在平滑后的轨迹中确定校准后轨迹点；根据校准后轨迹点的位姿，确定对应航拍图像的位姿。

本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。

本发明实施例提供的基于无人机的稻穗检测装置，根据每一航拍图像的无人机位姿信息，对得到的稻穗区域进行拼接，生成稻穗分布图，通过轻型无人机便可实现图像采集后的拼接，无需大型无人机搭载长焦镜头的相机来获取图像，从而避免了长焦镜头在无人机飞行中晃动的影响，避免飞行效率降低。此外，无人机飞行高度较低时，轻型无人机桨叶产生的风压不会摇动下方的水稻秸秆，从而可以避免获得的图像模糊。

图3是本发明实施例提供的一种电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行基于无人机的稻穗检测方法，该方法包括：根据无人机采集的每一航拍图像，提取出对应的稻穗区域，并获取稻穗图像坐标；根据每一航拍图像的无人机位姿信息，对得到的稻穗图像进行坐标变换，生成世界坐标系内的稻穗分布图；根据所述稻穗分布图，通过预设的生育模型，得到稻穗数量。

此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于无人机的稻穗检测方法，该方法包括：根据无人机采集的每一航拍图像，提取出对应的稻穗区域，并获取稻穗图像坐标；根据每一航拍图像的无人机位姿信息，对得到的稻穗图像进行坐标变换，生成世界坐标系内的稻穗分布图；根据所述稻穗分布图，通过预设的生育模型，得到稻穗数量。

又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于无人机的稻穗检测方法，该方法包括：根据无人机采集的每一航拍图像，提取出对应的稻穗区域，并获取稻穗图像坐标；根据每一航拍图像的无人机位姿信息，对得到的稻穗图像进行坐标变换，生成世界坐标系内的稻穗分布图；根据所述稻穗分布图，通过预设的生育模型，得到稻穗数量。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。