一种喷洒效果的确认方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种喷洒效果的确认方法及装置。

背景技术

目前，针对农作物的喷洒作业大都通过农用机械进行大面积的喷洒，或者人工喷洒。大面积的喷洒作业方式存在精准度差、浪费农药、毒性大等问题，影响环境同时耗费成本，因此现有技术中有了针对目标作物特定精准喷洒的方式。该方法精度较高，可以只针对喷洒目标进行喷洒。然而，对于该喷洒方法的喷洒效果进行检查时，一般是通过人工查看，耗时耗力并且效率较低，影响后续农务工作的开展。

发明内容

本申请实施例提供了一种喷洒效果的确认方法及装置，用以解决人工巡查对自动化精准施药后对施药效果进行确认导致效率较低的问题。

第一方面，本申请实施例提供了一种喷洒效果的确认方法，包括：

通过摄像头采集包含需要进行喷洒的目标的第一图像，并根据所述第一图像确定作业区域中需要进行喷洒的至少一个目标；

在对所述至少一个目标进行喷洒作业后，通过热成像摄像头对所述作业区域进行图像采集以获得第二图像；

根据所述第二图像中所述至少一个目标包括的像素点所对应的温度，从所述至少一个目标中确定被喷洒到的目标，并根据所述被喷洒到的目标确定喷洒效果。

基于上述方案，通过摄像头热成像摄像头分别对作业区域进行图像采集，并通过热成像图像上的温度变化确定目标的喷洒效果，可以提高喷洒效果的确认效率。

一种可能的实现方式中，通过下列方式确定所述第二图像中的至少一个目标：

根据第一外参将所述第一图像中的像素点从像素坐标系转换到世界坐标系，并确定所述第一图像中所述至少一个目标的第一世界坐标；

根据第二外参将所述第二图像中的像素点从像素坐标系转换到世界坐标系得到各个像素点的第二世界坐标，并根据所述各个像素点的第二世界坐标和所述至少一个目标的第一世界坐标确定第二图像中包括的至少一个目标。

一种可能的实现方式中，在通过摄像头采集第一图像之前，所述方法还包括：

对所述摄像头和所述热成像摄像头进行标定，获得所述摄像头的第一外参和所述热成像摄像头的第二外参。

基于上述方案，可以先对摄像头和热成像摄像头进行标定得到外参，并通过外参将摄像头和热成像摄像头采集的图像中的像素坐标统一到世界坐标系中，可以确定第二图像中的与至少一个目标相同的目标，进而确定被喷洒到的目标。

一种可能的实现方式中，通过如下方式确定所述喷洒效果：

若所述喷洒效果中包括喷洒准确率，则确定所述第二图像中确定被喷洒到的目标的数量，并将所述被喷洒到的目标的数量与至少一个目标的总数量的比值作为所述喷洒准确率；

若所述喷洒效果中包括喷洒覆盖率，则确定所述被喷洒到的目标中像素点对应的温度低于设定温度阈值的像素点数量，并将所述像素点数量与所述至少一个目标对应的像素点的总数量的比值作为所述喷洒覆盖率。

基于上述方案，通过不同参数确定喷洒效果，可以提高喷洒效果确认的准确性。

一种可能的实现方式中，所述根据所述第二图像中所述至少一个目标包括的像素点所对应的温度，从所述至少一个目标中确定被喷洒到的目标，包括：

针对所述第二图像中的任意一个目标，当所述任意一个目标包括的设定数量的像素点所对应的温度低于设定温度阈值时，确定所述任意一个目标被喷洒到。

一种可能的实现方式中，所述设定温度阈值为高于喷洒药液温度值的设定温度差值的温度阈值。

第二方面，本申请实施例提供了一种喷洒效果的确认装置，包括：

第一确定模块，用于通过摄像头采集包含需要进行喷洒的目标的第一图像，并根据所述第一图像确定作业区域中需要进行喷洒的至少一个目标；

在对所述至少一个目标进行喷洒作业后，通过热成像摄像头对所述作业区域进行图像采集以获得第二图像；

第二确定模块，用于根据所述第二图像中所述至少一个目标包括的像素点所对应的温度，从所述至少一个目标中确定被喷洒到的目标，并根据所述被喷洒到的目标确定喷洒效果。

一种可能的实现方式中，通过下列方式确定所述第二图像中的至少一个目标：

根据第一外参将所述第一图像中的像素点从像素坐标系转换到世界坐标系，并确定所述第一图像中所述至少一个目标的第一世界坐标；

根据第二外参将所述第二图像中的像素点从像素坐标系转换到世界坐标系得到各个像素点的第二世界坐标，并根据所述各个像素点的第二世界坐标和所述至少一个目标的第一世界坐标确定第二图像中包括的至少一个目标。

一种可能的实现方式中，所述第一确定模块，在通过摄像头采集第一图像之前，还用于：

对所述摄像头和所述热成像摄像头进行标定，获得所述摄像头的第一外参和所述热成像摄像头的第二外参。

一种可能的实现方式中，通过如下方式确定所述喷洒效果：

若所述喷洒效果中包括喷洒准确率，则确定所述第二图像中确定被喷洒到的目标的数量，并将所述被喷洒到的目标的数量与至少一个目标的总数量的比值作为所述喷洒准确率；

若所述喷洒效果中包括喷洒覆盖率，则确定所述被喷洒到的目标中像素点对应的温度低于设定温度阈值的像素点数量，并将所述像素点数量与所述至少一个目标对应的像素点的总数量的比值作为所述喷洒覆盖率。

一种可能的实现方式中，所述第二确定模块，在根据所述第二图像中所述至少一个目标包括的像素点所对应的温度，从所述至少一个目标中确定被喷洒到的目标时，具体用于：

针对所述第二图像中的任意一个目标，当所述任意一个目标包括的设定数量的像素点所对应的温度低于设定温度阈值时，确定所述任意一个目标被喷洒到。

一种可能的实现方式中，所述设定温度阈值为高于喷洒药液温度值的设定温度差值的温度阈值。

第三方面，本申请实施例提供了一种执行设备，包括：

存储器，用于存储程序指令；

处理器，用于获取所述存储器存储的程序指令，并按照获得的所述程序指令执行第一方面以及第一方面不同实现方式所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面以及第一方面不同实现方式所述的方法。

第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面以及第一方面不同实现方式所带来的技术效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种喷洒效果的确认方法流程图；

图2为本申请实施例提供的一种喷洒效果的确认装置示意图；

图3为本申请实施例提供的一种执行设备的示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

目前，针对农作物的喷洒作业大都通过农用机械进行大面积的喷洒，或者人工喷洒。大面积的喷洒作业方式存在精准度差、浪费农药、毒性大等问题，影响环境同时耗费成本，现有技术中有了针对目标作物特定精准喷洒的方式，但是此种方法精度较高，只针对喷洒目标进行喷洒，如果通过人工查看喷洒效果的话非常耗时并且效率非常低，难以了解目标作物是否被喷洒以及喷洒效果。

本申请提供一种执行设备，包括作业装置、摄像头和热成像摄像头。其中摄像头可以是可见光摄像头、红外摄像头和激光雷达等传感器设备。其中，摄像头用于对待作业区域进行采集得到第一图像，并对采集到的第一图像进行目标识别，确定作业区域中需要进行喷洒的目标。进一步地，作业装置行驶到作业区域，并对目标进行喷洒作业。待进行喷洒作业后，热成像摄像头对已作业区域进行图像采集，进而获得作业区域的第二图像。其中，第二图像为热成像图像。进一步地，可以根据第二图像中目标包括的像素点所对应的温度，从目标中确定被喷洒到的目标，并根据被喷洒到的目标确定喷洒效果。

本申请实施例提供了一种喷洒效果的确认方法，图1示例性地示出了喷洒效果的确认方法的流程，该流程可通过执行设备执行。具体流程如下：

101，通过摄像头采集包含需要进行喷洒的目标的第一图像，并根据第一图像确定作业区域中需要进行喷洒的至少一个目标。

一些实施例中，可以先对摄像头进行标定。其中，可以通过通用标定方法对摄像头进行标定，得到摄像头的第一外参和第一内参。

一些实施例中，当摄像头采集第一图像后，可以根据第一图像确定作业区域中需要进行喷洒的至少一个目标。一些场景中，当需要对农作物进行喷药时，目标可以为农作物。当需要进行除草时，该目标为除作物之外的杂草。

进一步地，可以通过测距器测量摄像头相对于成像目标的距离，进而通过距离、第一外参和第一内参将第一图像中的像素点从像素坐标转换到世界坐标系，进而得到第一图像中各个像素点所对应的第一世界坐标。其中，测距器可以为超声波雷达、激光雷达、光学深度传感器等等，本申请对此不作具体限定。坐标转换满足如下公式所示的条件：

102，在对至少一个目标进行喷洒作业后，通过热成像摄像头对作业区域进行图像采集以获得第二图像。

一些实施例中，可以通过作业装置对目标进行喷洒。作业装置可以包括多个喷头，以通过多个喷头对多个目标进行喷洒作业。其中，多个喷头可以同时进行喷洒作业，也可以不同时进行喷洒作业，本申请对此不作具体限制。一些场景中，可以先确定多个喷头相对于作业装置的位置信息，进而在作业装置移动时，可以确定多个喷头的世界坐标。

一些实施例中，在确定至少一个目标的世界坐标后，可以将至少一个目标的世界坐标发送至作业装置。进而作业装置可以将至少一个目标的世界坐标与作业装置在当前位置多个喷头的世界坐标进行比对，以确定多个喷头是否进行喷洒作业。其中，在进行世界坐标比对时，只需要在水平面上坐标一致即可，不需要对纵坐标进行限制。作为一种举例，当确定有一个目标需要进行喷洒时，该目标的世界坐标为(223,325,14)。若作业装置包括4个喷头，在当前位置时，4个喷头分别对应的世界坐标分别为(223,325,60)，(223,485,60)，(383,325,60)，(383,485,60)，则可以确定第一个喷头的世界坐标与目标的坐标在水平面上相同，则通过第一个喷头对目标进行喷洒作业。

一些实施例中，每个喷头可以对应一定的喷洒区域，该喷洒区域可以为正方形、矩形或圆形，本申请对此不作具体限制。一些场景中，在确定至少一个目标的世界坐标后，可以根据至少一个目标的世界坐标与多个喷头分别对应的喷洒区域的世界坐标进行比对，进而确定多个喷头分别对应的喷洒区域是否包含至少一个目标。当确定某个喷头的作业区域包含目标时，可以控制打开该喷头以对目标进行喷洒作业。以每个喷头对应的喷洒区域为矩形为例，当业装置包括4个喷头，在当前位置时，4个喷头分别对应的喷洒区域的世界坐标分别为(223,325,60)-(303,405,60)，(223,406,60)-(303,485,60)，(304,325,60)-(383,405,60)，(304,406,60)-(383,465,60)。当确定一个目标的世界坐标为(335,412,20)时，确定该目标在第4个喷头所对应的喷洒区域，进而通过打卡第4喷头对目标进行喷洒作业。

一些实施例中，热成像摄像头根据作业装置的行进速度和位姿确定采样时机，当热成像摄像头到达目标区域及喷洒后的目标的实际位置时，开始采样得到第二图像。其中，车辆速度和位姿可以由车载速度及位姿传感器获取。

一些实施例中，可以先对热成像摄像头进行标定，得到热成像摄像头的第二外参和第二内参。进一步地，可以通过测距器测量热成像摄像头相对于成像目标的距离，进而通过距离、第二外参和第二内参将热成像图像中的植物从像素坐标转换到世界坐标系。

一些实施例中，可以通过下列方式确定第二图像中的至少一个目标：根据第一外参将第一图像中的像素点从像素坐标系转换到世界坐标系，并确定第一图像中至少一个目标的第一世界坐标。进一步地，可以根据第二外参将第二图像中的像素点从像素坐标系转换到世界坐标系得到各个像素点的第二世界坐标，并根据各个像素点的第二世界坐标和至少一个目标的第一世界坐标确定第二图像中包括的至少一个目标。

103，根据第二图像中至少一个目标包括的像素点所对应的温度，从至少一个目标中确定被喷洒到的目标，并根据被喷洒到的目标确定喷洒效果。

一些实施例中，由于喷洒液体的温度低于环境温度，喷洒上和未喷洒上药液的目标作物在热成像摄像头中的温度数据不同，颜色成像也不同。因此，根据所述第二图像中至少一个目标包括的像素点所对应的温度，从至少一个目标中确定被喷洒到的目标，可以通过以下方式实现：针对第二图像中的任意一个目标，当任意一个目标包括的设定数量的像素点所对应的温度低于设定温度阈值时，确定任意一个目标被喷洒到。其中，设定温度阈值为高于喷洒药液温度值的设定温度差值的温度阈值。一些场景中，由于在喷洒作业过程中喷洒药液的温度会变化，因此可以在药箱中安装温度传感器，通过温度传感器实时获取药箱中喷洒药液的温度，设定温度阈值可以设置为略高于喷洒药液的温度，这样在工作过程中阈值就可以动态配置，继而提高匹配的准确性。

一些实施例中，可以通过如下方式确定所述喷洒效果：

一些场景中，若喷洒效果中包括喷洒准确率，则确定第二图像中确定被喷洒到的目标的数量，并将被喷洒到的目标的数量与至少一个目标的总数量的比值作为喷洒准确率。作为一种举例，若第一图像中共包含4个目标需要喷洒药液。第二图像中，在确定四个目标后，通过确定4个目标包含的像素点的温度，确定有3个目标的设定数量的像素点所对应的温度低于设定温度阈值，则确定被喷洒到的目标数量为3，则喷洒准确率为75％。

另一些场景中，若喷洒效果中包括喷洒覆盖率，则确定被喷洒到的目标中像素点对应的温度低于设定温度阈值的像素点数量，并将像素点数量与至少一个目标对应的像素点的总数量的比值作为喷洒覆盖率。

作为一种举例，可以先确定目标的所有像素点数量为N

通过上述方案，由于作业装置中存在喷头安装歪斜、损坏等原因，导致喷头不能喷洒药液或者没有将喷洒药液喷洒在目标上，而导致喷洒准确率下降。因此，可以通过不同方式确定喷洒效果，以提高准确率。

基于相同的技术构思，本申请实施例提供了一种喷洒效果的确认装置200，如图2所示，装置200可以执行上述喷洒效果的确认方法中的任一步骤，为了避免重复，此处不再赘述。装置200包括第一确定模块201和第二确定模块202。

第一确定模块201，用于通过摄像头采集包含需要进行喷洒的目标的第一图像，并根据所述第一图像确定作业区域中需要进行喷洒的至少一个目标；

在对所述至少一个目标进行喷洒作业后，通过热成像摄像头对所述作业区域进行图像采集以获得第二图像；

第二确定模块202，用于根据所述第二图像中所述至少一个目标包括的像素点所对应的温度，从所述至少一个目标中确定被喷洒到的目标，并根据所述被喷洒到的目标确定喷洒效果。

一种可能的实现方式中，通过下列方式确定所述第二图像中的至少一个目标：根据第一外参将所述第一图像中的像素点从像素坐标系转换到世界坐标系，并确定所述第一图像中所述至少一个目标的第一世界坐标；根据第二外参将所述第二图像中的像素点从像素坐标系转换到世界坐标系得到各个像素点的第二世界坐标，并根据所述各个像素点的第二世界坐标和所述至少一个目标的第一世界坐标确定第二图像中包括的至少一个目标。

一种可能的实现方式中，所述第一确定模块201，在通过摄像头采集第一图像之前，还用于对所述摄像头和所述热成像摄像头进行标定，获得所述摄像头的第一外参和所述热成像摄像头的第二外参。

一种可能的实现方式中，通过如下方式确定所述喷洒效果：若所述喷洒效果中包括喷洒准确率，则确定所述第二图像中确定被喷洒到的目标的数量，并将所述被喷洒到的目标的数量与至少一个目标的总数量的比值作为所述喷洒准确率；

若所述喷洒效果中包括喷洒覆盖率，则确定所述被喷洒到的目标中像素点对应的温度低于设定温度阈值的像素点数量，并将所述像素点数量与所述至少一个目标对应的像素点的总数量的比值作为所述喷洒覆盖率。

一种可能的实现方式中，所述第二确定模块202，在根据所述第二图像中所述至少一个目标包括的像素点所对应的温度，从所述至少一个目标中确定被喷洒到的目标时，具体用于：针对所述第二图像中的任意一个目标，当所述任意一个目标包括的设定数量的像素点所对应的温度低于设定温度阈值时，确定所述任意一个目标被喷洒到。

一种可能的实现方式中，所述设定温度阈值为高于喷洒药液温度值的设定温度差值的温度阈值。

基于相同的技术构思，本申请实施例提供一种执行设备300，该设备300可以实现前文论述的喷洒效果的确认方法的任一步骤，请参照图3。该设备包括存储器301和处理器302。

所述存储器301，用于存储程序指令；

所述处理器302，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述喷洒效果的确认方法。

在本申请实施例中，处理器302可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器301作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器301可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器301是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器301还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于相同的技术构思，本申请实施例提供一种计算机可读存储介质，包括：计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如前文论述的喷洒效果的确认方法。由于上述计算机可读存储介质解决问题的原理与喷洒效果的确认方法相似，因此上述计算机可读存储介质的实施可以参见方法的实施，重复之处不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。