目标物的特征检测方法和装置

技术领域

本发明涉及图像目标检测的技术领域，尤其是涉及一种目标物的特征检测方法和装置。

背景技术

随着科学技术的发展，深度学习算法广泛应用于图像目标检测的领域中，通过训练模型从图像中识别出目标特征，来实现对相应目标对象进行检测的目的。

然而，在一些实际应用场合中，首先，目标对象的图像特征可能并不固定，例如对于雌雄同株的作物来说，存在雄穗的可能作为父本，也可能作为母本，基于深度学习算法仅能识别雄穗的存在，而无法准确识别出当前存在雄穗的是父本植株还是母本植株。另外，该用于识别的图像由于光线、目标对象存在相互遮挡等采集环境因素，也不利于算法的图像特征准确识别。基于前述情况，其特征无法得到准确检测，当前一般采用人工方式直接至田间检测特征，工作量大、效率低下、成本较高。

发明内容

本发明的目的在于提供一种目标物的特征检测方法和装置，通过并行识别第一特征图片，并通过并行级联识别第一特征图片中的第二特征，从而实现目标物特征的检测，提高检测准确率和检测效率。

第一方面，本发明实施例提供了一种目标物的特征检测方法，包括：

获得在目标区域中采集的目标物图片；

并行处理多个所述目标物图片，识别所述目标物图片中的第一特征；

保存所述目标物图片中识别的所述第一特征为第一特征图片；

在检测界面中展示多个所述第一特征图片；

从所述检测界面中并行筛选所述第一特征图片中具有第二特征的第二特征图片；

提取筛选的所述第二特征图片。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，获得在目标区域中采集的目标物图片的步骤，包括：

批量上传采集到的所述目标物图片，其中，所述目标物图片通过相同的方法在所述目标区域中采集，所述目标区域为抽样区域。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，并行处理多个所述目标物图片，识别所述目标物图片中的第一特征的步骤，包括：

通过第一特征模型并行识别多个所述目标物图片中的第一特征，所述第一特征模型是预先经过深度学习历史第一特征图片习得的。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，从所述检测界面中并行筛选所述第一特征图片中具有第二特征的第二特征图片的步骤，包括：

响应于第一操作指令，通过并行识别的方式确定所述第一特征图片中具有第二特征的第二特征图片，其中，所述操作指令包括以下一种或多种：人工并行选择所述第二特征图片、人工并行删除第二特征图片、人工并行逆选所述第二特征图片。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，在检测界面中展示多个所述第一特征图片的步骤，包括：

根据图像参数对多个所述第一特征图片进行排序，并按照顺序同时展示于检测界面，其中，图像参数包括RGB参数、HSV参数和图像纹理参数。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，在检测界面中展示多个所述第一特征图片的步骤，包括：

响应于针对所述第一特征图片的第二操作指令，选择并查看所述第一特征图片所在的目标物图片。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，在检测界面中展示多个所述第一特征图片的步骤，包括：

响应于针对所述第一特征图片的第三操作指令，放大或缩小所述第一特征图片。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：

基于所述第二特征图片的数量和所述目标区域中目标物数量，获得所述目标区域的第二特征去除率。

结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述第一特征为玉米雄穗，所述第二特征为雄穗形状、雄穗颜色、叶子颜色中的一种或多种；或者，所述第一特征为电力线异物，所述第二特征为开口销、防震锤、线夹中的一种或多种；或者，所述第一特征为玉米花苞，所述第二特征为花苞形状、花苞颜色、叶子颜色中的一种或多种。

第二方面，本发明实施例还提供一种目标物的特征检测装置，包括：

获取模块，获得在目标区域中采集的目标物图片；

识别模块，并行处理多个所述目标物图片，识别所述目标物图片中的第一特征；

保存模块，保存所述目标物图片中识别的所述第一特征为第一特征图片；

展示模块，在检测界面中展示多个所述第一特征图片；

筛选模块，从所述检测界面中并行筛选所述第一特征图片中具有第二特征的第二特征图片；

提取模块，提取筛选的所述第二特征图片。

本发明实施例带来了一种目标物的特征检测方法和装置，对目标区域中采集到的目标物图片进行上传，并行识别第一特征，将具有该第一特征的图片进行保存，于检测界面展示，基于操作指令从检测界面筛选确定第二特征图片，并提取第二特征图片，通过级联识别的方式达到准确检测目标物第二特征图片的目的，极大地提高检测效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种目标物的特征检测方法流程图；

图2为本发明实施例提供的一种满天星种植模式的父母本植株示意图；

图3为本发明实施例提供的一种识别出第一特征的目标物图片示意图；

图4为本发明实施例提供的一种第一特征图片示意图；

图5为本发明实施例提供的一种检测界面示意图；

图6为本发明实施例提供的一种目标物的特征检测装置功能模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在实际生产过程中，通过深度学习方法存在瓶颈，无法对某一特征的精细特征做到自主识别，进而影响识别准确率和识别效率，基于此，本发明实施例提供的一种目标物的特征检测方法和装置，通过级联并行识别的方法，快速有效地检测到目标物的难以区分的特征，提高检测准确率和检测效率。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种目标物的特征检测方法进行详细介绍，可应用于服务器端。

图1为本发明实施例提供的一种目标物的特征检测方法流程图。

参照图1，本发明实施例提供了一种目标物的特征检测方法，包括：

步骤S102，获得在目标区域中采集的目标物图片；

步骤S104，并行处理多个所述目标物图片，识别所述目标物图片中的第一特征；

步骤S106，保存所述目标物图片中识别的所述第一特征为第一特征图片；

步骤S108，在检测界面中展示多个所述第一特征图片；

步骤S110，从所述检测界面中并行筛选所述第一特征图片中具有第二特征的第二特征图片；

步骤S112，提取筛选的所述第二特征图片。

通过上述方法，在目标区域中先通过并行自主别方式获得第一特征图片，后基于第一特征图片并行筛选获得第二特征图片，通过级联方式对目标物图片进行二次快速筛选，从而获得高准确率的检测结果，达到快速高效检测的目的。

一种实施例中，所述第一特征为玉米雄穗，所述第二特征为雄穗形状、雄穗颜色、叶子颜色中的一种或多种，所述第一特征图片为玉米雄穗图片，所述第二特征图片为母本雄穗图片。目标物图片为玉米图片，通过本实施例中级联识别方法，从玉米图片中确定母本雄穗图片，解决了无法快速准确检测母本雄穗的难题。

在杂交育种中，多采用去雄处理，即在授粉期间，将母本的雄穗去除，只留下父本的雄穗，授粉时，母本植株株上结的果实都是父本的花粉和母本的卵子结合而成，如此实现杂交制种。如果母本去雄不好，母本花粉授到自身的果穗上，形成自交种子，会极大影响种子纯度。

玉米杂交制种一般采用行比模式，即把父母本行按一定比例交叉种植。由于该行比模式下父本行不产生种子，造成土地浪费，人们常常全部或部分地以母本行取代父本行，同时在母本行中间零星地种植一些父本以提供花粉，俗称“满天星”种植模式。满天星模式由于较行比种植多出来的母本比例，常常能较行比模式增产30％以上。如图2所示，图2中圆形为母本植株，星形为父本植株。作业时需要去除所有母本植株上的雄穗。

制种公司在培育种子时，对种子纯度的要求达99.7％以上，对去雄检测精确度的要求也随之提高。为了获取高纯度种子，种业公司需要彻底去除玉米母本的雄穗，目前采用机械去雄或人工去雄的方法，并且在去雄的同时，及时检测去雄效果，确保去雄率，并在纯度不满足要求时重新去雄。一种实施例中，通过人工智能图像识别的方法分析无人机拍摄的去雄后地块的图片来做去雄纯度检测可以极大地节省人力和时间，提高去雄检测效率。但是人工智能图像识别只能有效识别玉米雄穗，缺乏有效方式区分父母本雄穗，即无法具体识别出当前具有雄穗的植株属于父本还是母本，进而无法实现进行准确的母本雄穗检测。

经发明人研究发现，尤其是满天星种植方式，由于父母本相隔很近，玉米父母本紧密交错种植，通过图像识别方法区分父母本雄穗更加困难。一种解决方法为，人工去田间检查是否去雄彻底，效率低，作业条件恶劣，费时费力费钱，在另一种实施例中，无人机拍摄去雄后地块的图片，识别雄穗图片，通过人工对机器识别后的图片进行确认，而通过确认每一张图片来筛选母本雄穗工作量大，图片下载量大，效率极为低下。

基于此，通过本实施例中的目标物检测方法，通过并行自动识别第一特征图片(玉米雄穗)，进一步人工并行筛选获得第二特征图片对应的目标特征(母本雄穗)的方法，实现了目标特征(母本雄穗)的快速检测，可应用于去雄现场快速获得结果，进而辅助去雄。

在一些实施例中，第一特征为玉米花苞，第二特征为花苞形状、花苞颜色、叶子颜色中的一种或多种，第一特征图片为花苞图片，第二特征图片为母本花苞图片，通过上述方法，可以快速有效地从玉米图片中检测出母本花苞的图片。

在另一实施例中，所述第一特征为电力线异物，所述第二特征为开口销、防震锤、线夹中的一种或多种，所述第一特征图片为异物图片，所述第二特征图片为开口销图片、防震锤图片、或线夹图片。本实施例还可应用于电力巡检领域，通过并行异物检测，进一步级联筛选确定开口销图片、防震锤图片、或线夹图片，实现了快速检测具体异物的目的。

需要说明的是，目标物图片包括玉米图片、电力线图片，而相对应的第一特征和第二特征随着目标物图片的变化而相应变化，此处不作限制。

在实际应用的优选实施例中，对抽样区域中采集到的全部目标物图片进行上传，并行识别出第一特征，将具有该第一特征的第一特征图片进行保存，于检测界面展示，基于操作指令从检测界面筛选确定第二特征图片，并提取第二母特征图片，通过并行识别获得第一特征图片，以及并行确认第二特征图片的方式，进一步提高检测效率，弥补了机器视觉检测的不确定性，使得检测准确度能达到99％以上。

在一些实施例中，步骤S102，还包括以下步骤：

批量上传采集到的所述目标物图片，所述目标物图片通过相同的方法在所述目标区域中采集；

其中，在目标区域为抽样区域，在一片地块中随机抽样获得多个目标区域，采集覆盖该目标区域的几十至上百张目标物图片，以适应地块较大的情况，提高检测效率。或者，目标区域为整个地块，此时需要采集覆盖全部地块的目标物图片，图片数量较多，会降低检测效率。

为了提高后续图像识别的准确率，采集目标物图片的方法相同，一种实施例中，目标物图片为在目标物正上方固定距离处采集，采集图片的姿态的一致性可以保证后续识别图像的一致性。具体的，无人机接收采集指令控制无人机以相同的采集姿态，悬停于每个目标物上方，采集多个目标物图片。需要说明的是，采集到的目标物图片无需坐标信息，也可以实现之后的步骤。在一些实施例中，该采集的目标物图片中具有坐标信息，可以依据此坐标信息对检测出的第二特征图片中的检测结果进行单独处理。

在采集目标物图片后，批量上传采集到的目标物图片，或者，在采集目标物图片时，实时上传采集到的目标物图片，前者降低对通信的要求，提高检测效率，后者对通信要求较高。一种实施例中，在无人针对多个目标区域进行采集后，获得多个目标物图片，通过批量上传方式传输至服务器端(可以几十、上百、成千张图一起上传)。

为了提高检测准确度和检测效率，步骤S104中：通过第一特征模型并行识别多个所述目标物图片中的第一特征，所述第一特征模型是预先经过深度学习历史第一特征图片习得的。

本实施例通过云计算与AI结合的方法，预选通过深度学习历史第一特征模型，获得第一特征模型，基于第一特征模型高并发处理上传的目标物图片，快速识别第一特征，并标识出第一特征。应用于玉米雄穗检测中，极大地缩短了满天星父母本雄穗识别的时间，实现对满天星去雄效果的实时检测。服务器端可预先通过深度学习历史玉米雄穗图片，获得玉米雄穗模型，基于玉米雄穗模型进而高并发处理所有上传的玉米图片(目标物图片)，并行处理每张上传的玉米图片，识别玉米雄穗(第一特征)。需要说明的是，此时的玉米雄穗模型用于识别出玉米雄穗，识别出的玉米雄穗图片中包括父本雄穗图片以及母本雄穗图片(第二特征图片)，需要进一步筛选确定以获得母本雄穗图片。

可以理解，通过深度学习的方法，并且通过并行处理识别多个目标物图片的方法，一种实施例中，可以同时处理所有的目标物图片，快速确定目标物图片中的第一特征，提高检测效率，并且由于目标物图片的采集方法一致，极大提高了识别特征的准确率，提高检测精度。

在步骤S106中，在并行识别了第一特征之后，并行标示第一特征，并且将标示的第一特征图片并行保存为第一特征图片。其中，标示可以通过任意的标识来实现，只要能醒目并且清晰的看到第一特征即可，例如，可以为圆形框、矩形框、多边形框等等。此方法中，通过并行识别、标示、保存的方法，获得多个第一特征图片，提高检测效率。

一种实施例中，目标物图片是包括玉米雄穗特征的玉米图片，如图3所示，而白色方框标示的为识别的第一特征。其中第一特征图片是从目标物图片中识别到的第一特征的小图，如图4所示，即将图3中每个白色方框区域从大图(目标物图片)中提取出的小图(第一特征图片)。通过保存第一特征图片，便于后续筛选的下载量，提高了检测效率，并且便于进一步从第一特征图片中识别筛选第二特征，避免了直接从目标物图片中筛选第二特征的步骤，大大提高了检测准确率。

在一些实施例中，步骤S108，根据图像参数对多个所述第一特征图片进行排序，并按照顺序同时展示于检测界面，其中，图像参数包括RGB参数、HSV参数和图像纹理参数。

其中，检测界面如图5所示，将保存的第一特征图片在界面上进行排布展示，使得一个页面中可以展示多个第一特征图片。如果第一特征图片的数量较多，超出了界面的范围，或者第一特征图片较小无法准确筛选，或者第一特征图片排布较少时筛选效率低时，可以根据用户输入的操作指令，适应性调整第一特征图片的排布，以便提高筛选体验。例如，在一些实施例中，响应于针对所述第一特征图片的第二操作指令，选择并查看所述第一特征图片所在的目标物图片，即点击小图，也可以查看小图所在的大图，使得难以确认的第一特征图片仍可通过打开其链接的大图的方式以辅助确认。又如，响应于针对所述第一特征图片的第三操作指令，放大或缩小所述第一特征图片，对每个第一特征图片进行进一步确认，进一步的，还可以对所有的第一特征图片进行放大或缩小，以便适应性排布特征图片，根据不用的筛选环境调节第一特征图片至合适的大小，以及调节在检测界面展示的第一特征图片的数量，便于后续操作，提高检测效率。在其他实施例中，还可通过拖动操作，使得超出界面范围的第一特征图片进行展示，保证全部的第一特征图片经过后续筛选。

需要说明的是，第一特征图片通过并排排列的方式，展示于检测界面，便于同步检测多个特征图片，如图5所示，其中第一特征图片内容仅仅是示例，实际应用中的第一特征图片各不相同。进一步的，通过多行并排排列的方式，提高第一特征图片的排布的规律性，便于后续筛选时按照规律进行筛选，提高用户体验，进而提高检测效率。在一种实施例中，在检测界面展示所有的第一特征图片，可以同时对所有的第一特征图片进行筛选，更加提高检测效率。

为了提高母特征的检测准确率和检测效率，步骤S110，包括：响应于第一操作指令，通过并行识别的方式确定所述第一特征图片中具有第二特征的第二特征图片，其中，所述操作指令包括以下一种或多种：人工并行选择所述第二特征图片、人工并行删除第二特征图片、人工并行逆选所述第二特征图片。

通过人工筛选的方式，从检测界面直接筛选第二特征图片，可以加大提高检测效率，需要说明的是，该人工筛选的用户了解该目标区域的第二特征图片对应的第二特征，进而通过快速识别第二特征快速确定第二特征图片。在检测界面上展示第一特征图片集合，通过人工筛选的方式并行处理多个第一特征图片，同时筛选出多个第二特征图片，提高检测效率。需要说明的是，本实施例能够通用于高通量的AI及人工辅助识别相结合的特征检测与确认，可以应用于任何需要对AI识别结果进行人工确认微调的场景。

具体的，进入检测界面，如图5所示为局部界面，第一特征图片被规律性的排布于检测界面上，通过人工筛选、分拣的方式直接选择第二特征图片，进一步的还可以删除除第二特征图片以外的图片。在玉米去雄应用中，当玉米雄穗图片规则排布于检测界面时，通过人工筛选雄穗颜色、形状、颜色等，综合考虑确定该玉米雄穗图片中是否为母本雄穗，当确定为母本雄穗，则确定为母本雄穗图片，否则可以进行删除。由于没有固定的母本雄穗，即父母本角色不固定，机器学习的方法无法识别不固定的母本雄穗，而作业人员由于已知父母本雄穗和现场环境，可以很快根据玉米雄穗图片识别出此目标区域/地块中的母本雄穗，进而实现筛选。

需要说明的是，第二特征不仅包括第一特征的自身特征，还包括第一特征的环境特征、生长特征等等，可以通过一种第二特征确定第二特征图片，也可以通过多种第二特征融合确定第二特征图片，确定方法不限制，对第二特征也不做限制，只要能通过第二特征确定第二特征图片即可。而第一特征图片至少包括第二特征图片，从第一特征图片中确定第二特征图片，从而确定第二特征图片对应的目标特征，达到从目标物图片中检测目标特征的目的。在玉米去雄领域，从目标物图片(玉米图片)中确定第二特征图片(母本雄穗图片)，第二特征图片的目标特征为母本雄穗，其通过第二特征(雄穗颜色、形状、叶子颜色等)而确定。

本发明实施例可通过排序、筛选、标注、删除功能中的一种或多种的任意组合辅助筛选第二特征图片的步骤，提高第二特征图片的确认效率，提高检测方法的适应性，进而提高用户体验。示例性地，在上述筛选过程中，可以根据作业人员的操作进行批量父本雄穗的删除，也可以进行批量母本雄穗的提取。在无法确定时，可以针对第一特征图片进行单独批注或批量批注的操作。通过颜色等因素进行筛选，可以加快筛选速度，通过在检测界面对第一特征图片进行排序，例如通过颜色排序，配合批量删除和提取，可以进一步提高第二特征图片的检测效率。在删除或提取错误时，还可以恢复前一步操作，以便提高用户体验，避免操作失误。同时，还可以对已经筛选的图片进行逆选，提高筛选的多样化和适用性，便于提高筛选速度。

作为一种可选的实施例，为了提高检测的适用性，所述方法还包括以下步骤：

基于所述第二特征图片的数量和所述目标区域中目标物数量，获得所述目标区域的所述第二特征图片对应的目标特征去除率。

这里，可基于本发明实施例实现准确的去除率计算或校验，即通过实时上传的目标物图片，快速确定第二特征图片，实现第二特征图片的检测。进一步，基于采集到的目标物图片中植株的数量，可以确定目标区域、目标区域所属的地块中的目标特征去除率。

本实施例中，目标区域的目标物图片不限制数量，可以从个位数、几十、上百、或者上千不等。首先通过深度学习检测算法检测出所有的玉米雄穗，然后将所有玉米雄穗内容保存到新的第一特征图片中，并将所有的第一特征图片展示到检测界面上，通过系统响应作业用户的操作指令，对第一特征图片进行一系列相应处理操作，其中该操作包括排序(例如按RGB/HSV各个颜色通道)、选择，删除、批注、逆选等，实现对目标特征(母本雄穗)的快速提取和非目标特征(父本雄穗)的快速删除，从而达到准确检测母本雄穗的目的。

另外，由于所有的人工辅助筛选过程都发生在第一特征图片上，使所有目标物图片的确认工作可以同步完成(一个目标物图片可能存在多个第一特征图片)，从而实现检测效率的十倍乃至上百倍的提高。

在一些应用场景中，特别是玉米育种检测雄穗时，对检测时效的要求较高，由于植株处于不断的生长过程中，其检测如果无法及时得出(一般的图像检测需要的时间以天计数)，将无法反应现场真实的情况。而本实施例通过实时采集目标物图片，并行识别第一特征得到第一特征图片集合，批量呈现第一特征图片集合避免大量数据下载，同时便于筛选识别第二特征图片，及时得到检测结果，将检测时间节约至分钟级别，大大提高检测效率。本实施例及时获得现场情况的检测结果，可真正应用于种植育种等应用场景中。

本实施例应用于难以通过机器训练方法识别区分出图像精细特征的场合，如杂交育种领域中父母本雄穗识别、玉米花苞识别中母本花苞和父本花苞的识别、大豆杂交育种中父母本的识别，又如无人机巡检领域中，用于从图像中检测螺丝、开口销、线夹等特征部分。

进一步的，如图6所示，本发明实施例还提供一种目标物的特征检测装置600，包括：

获取模块601，获得在目标区域中采集的目标物图片；

识别模块602，并行处理多个所述目标物图片，识别所述目标物图片中的第一特征；

保存模块603，保存所述目标物图片中识别的所述第一特征为第一特征图片；

展示模块604，在检测界面中展示多个所述第一特征图片；

筛选模块605，从所述检测界面中并行筛选所述第一特征图片中具有第二特征的第二特征图片；

提取模块606，提取筛选的所述第二特征图片。

本发明实施例提供的目标物的特征检测装置，与上述实施例提供的目标物的特征检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例所提供的目标物的特征检测方法、装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的目标物的特征检测方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的目标物的特征检测方法的步骤。