掌桥专利:专业的专利平台
掌桥专利
首页

一种目标区域的选定方法、装置、以及电子设备

文献发布时间:2023-06-19 10:54:12


一种目标区域的选定方法、装置、以及电子设备

技术领域

本申请涉及计算机技术领域,具体涉及一种目标区域的选定方法。本申请同时涉及一种宠物玩具。

背景技术

随着计算机技术和图像识别技术的不断发展,越来越多基于图像识别技术的发射装置被应用到人们的日常生活、工作中。例如:使用能够发射灭火物质的灭火无人机进行灭火,或者使用能够发射激光或者宠物球的宠物玩具进行逗宠。使用灭火无人机进行灭火的原理为:无人机通过图像采集设备实时采集相关地点的图像数据,然后根据采集到的当前图像数据,确定相关地点是否为着火地点,在确定相关地点为着火地点后,会随机向当前图像数据对应的地点自动发射灭火物质,以达到灭火的目的。使用宠物玩具进行逗宠的原理为:通过与宠物玩具建立连接的APP,控制宠物玩具上的图像采集设备采集宠物活动地点的图像数据,宠物玩具根据当前采集到的图像数据,向当前采集到的图像数据对应的地点随机发射激光或者宠物球等预设对象,以实现人与宠物的互动,增加人们饲养宠物的乐趣和宠物自身的乐趣,达到逗宠的目的。

现有基于图像识别技术的发射装置发射预设对象的方法一般为:根据采集到的当前图像数据,随机向当前图像数据的对应地点发射预设对象,但是,现有发射预设对象的方法,预设对象发射的针对性差。

发明内容

本申请提供一种目标区域的选定方法,以提高预设对象发射的针对性。

本申请提供一种目标区域的选定方法,包括:

获得待处理图像;

从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;

如果至少有一个候选框中包含目标对象,则根据包含所述目标对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述目标对象;

从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

可选的,还包括:

确定所述目标区域对应的地理位置;

向所述地理位置发射预设对象。

可选的,还包括:如果全部所述候选框中都不包含所述目标对象,则根据所述待处理图像生成所述主体框。

可选的,所述从所述主体框中选定目标区域,包括:从所述主体框中的任意位置选定所述目标区域。

可选的,所述从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像,包括:

在所述待处理图像中获得所述待处理图像的子图像;

根据所述待处理图像的子图像,获得所述候选框。

可选的,所述在所述待处理图像中所述待处理图像的子图像,包括:

将所述待处理图像输入到目标检测模型中,获得所述待处理图像中包含的候选目标对象;

获得所述候选目标对象在所述待处理对象中所属的子图像。

可选的,还包括:

获得所述候选框中包含所述目标对象的预测分值数据;

判断所述预测分值数据是否等于或者超出预设分值数据;

若是,则确定所述候选框中包含目标对象。

可选的,所述如果至少有一个候选框中包含目标对象,则根据包含目标对象的候选框生成所述待处理图像的主体框,包括:

获得包含所述目标对象的候选框的数目;

根据包含所述目标对象的候选框的数目和包含所述目标对象的候选框,生成所述主体框。

可选的,所述根据包含所述目标对象的候选框的数目和包含所述目标对象的候选框,生成所述主体框,包括:

如果有仅一个包含所述目标对象的候选框,则根据所述包含所述目标对象的候选框;

生成所述主体框。

可选的,所述根据包含所述目标对象的候选框的数目和包含所述目标对象的候选框,生成所述主体框,包括:

如果至少两个包含所述目标对象的候选框,则获得包含所述目标对象的候选框的预测分值数据占全部包含所述目标对象的候选框的总预测分值数据的比例值数据;

根据所述比例值数据,获得包含所述目标对象的候选框在占据所述主体框中占据的权重比数据;

根据所述权重比数据,将全部包含所述目标对象的候选框合并为所述主体框。

可选的,所述从所述主体框中选定目标区域,包括:从所述主体框的边缘位置任意选定坐标区域。

本申请另一方面,提供一种目标区域的选定装置,包括:

待处理图像获得单元,用于获得待处理图像;

候选框获得单元,用于从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;

主体框生成单元,用于如果至少有一个候选框中包含目标对象,则根据包含所述目标对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述目标对象;

目标区域选定单元,用于从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

本申请另一方面,提供一种宠物玩具,包括图像获得装置、图像识别装置、控制器和预设对象发射装置;

所述图像获得装置,用于获取待处理图像;

所述图像识别装置,用于从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;如果至少有一个候选框中包含目标对象,则根据包含目标对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述目标对象;从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置;向所述控制器提供所述目标区域的信息;

所述控制器,用于根据所述目标区域的信息,控制所述预设对象发射装置对准所述目标点对应的地理位置,并控制所述预设对象发射装置向所述地理位置发射预设对象;

所述预设对象发射装置,用于向所述地理位置发射预设对象。

本申请还一种目标区域的选定方法,包括:

获得待处理图像;

从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;

如果至少有一个候选框中包含宠物对象,则根据包含宠物对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述宠物对象;

从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置。

可选的,还包括:

确定所述目标区域对应的地理位置;

向所述地理位置发射激光。

可选的,还包括:如果全部所述候选框中都不包含所述目标对象,则根据所述待处理图像生成所述主体框。

可选的,所述从所述主体框中选定目标区域,包括:在所述主体框中的任意位置选定所述目标区域。

可选的,所述从所述主体框中选定目标区域,包括:在所述主体框的边缘位置任意选定目标区域。

本申请另一方面,提供一种目标区域的选定装置,包括:

待处理图像获得单元,用于获得待处理图像;

候选框获得单元,用于从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;

主体框生成单元,用于如果至少有一个候选框中包含宠物对象,则根据包含宠物对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述宠物对象;

目标点选定单元,用于从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置激光。

本申请另一方面,提供一种宠物玩具,包括图像获得装置、图像识别装置、控制器和激光发射装置;

所述图像获得装置,用于获取待处理图像;

所述图像识别装置,用于从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;如果至少有一个候选框中包含宠物对象,则根据包含宠物对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述宠物对象;从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置;向所述控制器提供所述目标区域的信息;

所述控制器,用于根据所述目标区域的信息,控制所述激光发射装置对准所述目标区域对应的地理位置,并控制所述激光发射装置向所述地理位置发射激光;

所述激光发射装置,用于向所述地理位置发射激光。

本申请另一方面,提供一种目标区域的选定方法,包括:

获得待处理图像;

从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为宠物对象;

从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

可选的,还包括:

确定所述目标区域对应的地理位置;

向所述地理位置发射预设对象。

可选的,所述从所述主体框中选定目标区域,包括:从所述主体框的边缘位置任意选定目标区域。

本申请另一方面,提供一种目标区域的选定装置,包括:

待处理图像获得单元,用于获得待处理图像;

主体框生成单元,用于从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为宠物对象;

目标点选定单元,用于从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

本申请另一方面,提供一种宠物玩具,包括图像获得装置、图像识别装置、控制器和预设对象发射装置;

所述图像获得装置,用于获取待处理图像;

所述图像识别装置,用于从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为目标对象;从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置;向所述控制器提供所述目标区域的信息;

所述控制器,用于根据所述目标区域的信息,控制所述预设对象发射装置对准所述目标区域对应的地理位置,并控制所述预设对象发射装置向所述地理位置发射预设对象;

所述预设对象发射装置,用于向所述地理位置发射预设对象。

本申请另一方面,提供一种目标区域的选定方法,包括:

获得待处理图像;

从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为宠物对象;

从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置。

可选的,还包括:

确定所述目标区域对应的地理位置;

向所述地理位置发射激光。

可选的,所述从所述主体框中选定目标区域,包括:从所述主体框的边缘位置任意选定坐标点。

本申请另一方面,提供一种目标区域的选定装置,包括:

待处理图像获得单元,用于获得待处理图像;

主体框生成单元,用于从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为宠物对象;

目标点选定单元,用于从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置。

本申请另一方面,提供一种宠物玩具,包括图像获得装置、图像识别装置、控制器和激光发射装置;

所述图像获得装置,用于获取待处理图像;

所述图像识别装置,用于从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为宠物对象;从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置;向所述控制器提供所述目标区域的信息;

所述控制器,用于根据所述目标区域的信息,控制所述激光发射装置对准所述目标点对应的地理位置,并控制所述激光发射装置向所述地理位置发射激光;

所述激光发射装置,用于向所述地理位置发射激光。

本申请另一方面,提供一种电子设备,其特征在于,包括:

处理器;以及

存储器,用于存储目标区域的选定方法的程序,该设备通电并通过所述处理器运行该目标区域的选定方法的程序后,执行下述步骤:

获得待处理图像;

从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;

如果至少有一个候选框中包含目标对象,则根据包含所述目标对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述目标对象;

从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

本申请另一方面,提供一种存储设备,其特征在于,存储有目标区域的选定方法的程序,该程序被处理器运行,执行下述步骤:

获得待处理图像;

从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;

如果至少有一个候选框中包含目标对象,则根据包含所述目标对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述目标对象;

从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

与现有技术相比,本申请具有以下优点:

本申请提供的目标区域的选定方法,在根据包含目标对象的候选框生成待处理图像的主体框后,能够进一步从主体框中选定目标区域。由于该目标区域对应的地理位置为预设对象的发射目的位置,从而本申请提供的目标区域的选定方法能够提高预设对象发射的针对性。

附图说明

图1为本申请提供的应用场景实施例的示意图。

图2为本申请提供的使用SEP-Net目标预测模型处理待处理图像获得候选框的流程图。

图3为本申请提供的宠物装置的工作流程图。

图4为本申请第一实施例提供一种目标区域的选定方法的流程图。

图5为本申请第一实施例提供的一种判断候选框中是否包含目标对象的方法的流程图。

图6为本申请提供的一种目标区域的选定装置的示意图。

图7为本申请提供的一种宠物玩具的示意图。

图8为本申请第四实施例提供的目标区域的选定方法的流程图。

图9为本申请提供的一种宠物玩具的示意图。

图10为本申请第七实施例提供的一种目标区域的选定方法的流程图。

图11为本申请提供的另一种目标区域的选定装置的示意图。

图12为本申请第十实施例提供的目标区域的选定方法的流程图。

图13为本申请提供的一种电子设备的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。

为了更清楚地展示本申请,先介绍一下本申请第一实施例提供的目标区域的选定发射的方法的应用场景。本申请提供的一些实施例可以应用于宠物玩具逗宠的场景,如图1所示,其为本申请提供的第一应用场景实施例的示意图。宠物玩具在进行逗宠时,首先,通过图像获得装置101来采集宠物活动区域的图像,获得待处理图像102。其次,通过图像识别装置处理该待处理图像102,具体的,将待处理图像102依次划分为多个大小形状都相同的小区域,建立针对待处理图像102的坐标系,并获得每一小区域中心位置处的坐标点,将每一小区域中心位置处的坐标点分别作为每一小区域的坐标点。由于待处理图像102为宠物活动区域的图像,所以,待处理图像102中的每一小区域都与宠物活动区域的地理位置一一对应,为了能够目标区域对应的地理位置,可以在针对待处理图像102的坐标系时,在控制器中预先存储每一坐标点与地理位置的对应关系。再次,再通过图像识别装置,获得待处理图像102的子图像,根据待处理图像102的子图像获得待处理图像中获得候选框,根据候选框中的待处理图像102的子图像是否包含目标对象,分别根据候选框中的待处理图像102的子图像或者待处理图像102的子图像。其中,在生成待处理图像102的主体框103的过程中,同时获得用于生成主体框103的待处理图像102或者待处理图像102的子图像中包含的每一小区域的坐标点。最后,从主体框103中选定目标区域104,并获得该目标区域中包含的多个小区域,以及这些小区域对的坐标点,由于每一小区域都与宠物活动区域的地理位置一一对应,这样,在选定目标区域后,就能进一步确定目标区域对应的地理位置。在选定目标区域后通过控制器,控制预设对象发射装置105向该目标区域104对应的地理位置发射预设对象。其中,发射的预设对象可以为激光、宠物球等,由于宠物一般会对亮光或者运动物体感兴趣,通过向目标区域对应的地理位置发射预设对象即可实现逗宠的作用。此外,通过图像识别装置处理待处理图像时,具体是基于图像识别装置中的目标检测模块,该目标检测模块在获得待处理图像后会基于SEP-Net目标检测模型,待处理图像,获得待处理图像的子图像和子图像所属类目,并进一步获得候选框和候选框中包含预设目标的预测分数。

本申请提供的使用SEP-Net目标预测模型处理待处理图像获得候选框的流程如下:如图2所示,在步骤S201中,使用Backbone CNN(骨架卷积神经网络)获得待处理图像的候选子图像,具体过程为,通过Backbone CNN获得待处理图像中包含的候选目标对象,根据候选目标对象确定候选目标对象所属的待处理图像的子图像;步骤S202-1,对候选子图像进行级联搜索,确定待处理图像的子图像;其中,步骤S202-1包括:步骤S202-11,对候选子图像进行全卷积网络处理,获得目标检测框架,步骤S202-12,根据目标检测框架,提取候选子图像的特征集合,步骤S202-13,根据特征集合,确定子图像。步骤S202-2,对候选子图像进行分类预测,确定子图像的所属类目;其中,步骤S202-2包括:步骤S202-21,对候选子图像进行全卷积网络处理,获得目标检测框架,步骤S202-22,根据目标检测框架,提取候选子图像的特征集合。步骤S202-23,根据特征集合,确定子图像的全部所属类目。步骤S203,根据子图像和子图像的全部所属类目,获得子图像和子图像的所属类目;步骤S204,根据子图像,确定候选框;步骤S205,根据子图像所属类目,对候选框中包含预设目标进行分数预测;步骤S206,获得候选框中包含目标对象的预测分数。

此外,本申请提供的宠物装置的工作流程如下:步骤S301,获得待处理图像。步骤S302,判断图像识别装置中的目标检测模块是否运行,其中,图像识别装置中的目标检测模块在获得待处理图像后会基于SEP-Net目标检测模型,待处理图像,获得待处理图像的子图像和子图像所属类目,并进一步获得候选框和候选框中包含预设目标的预测分数。步骤S303-1,若图像识别装置中的目标检测模块在运行,则获得主体框。步骤S303-2,若图像识别装置中的目标检测模块未运行,则将待处理图像输入到目标检测模块中。步骤S303-21,判断候选框中是否包含目标对象。步骤S303-211,若候选框中包含目标对象,则根据候选框,获得主体框。步骤S303-212,若候选框中未包含目标对象,则根据待处理图像,获得主体框。步骤S304,更新主体框。步骤S305,从主体框中选定目标区域。步骤S306,向目标区域对应的地理位置发射预设对象。

需要说明的是,上述的应用场景仅仅为了便于理解本申请的目标区域的选定方法,而并非用于限定本申请的目标区域的选定方法。

本申请第一实施例提供一种目标区域的选定方法,以下结合图4、图5进行说明。

如图4所示,在步骤S401中,获得待处理图像。

本申请具体以应用在目标区域的选定宠物玩具为例,对本申请第一实施例中提供的目标区域的选定方法进行详细的说明。当将本申请提供的目标区域的选定方法应用于其它装置或者场景时,该目标区域的选定方法的执行步骤与本申请第一实施例中的目标区域的选定方法相同或者相似,在此不再一一赘述。

在以宠物玩具为基础执行本申请提供的目标区域的选定方法时,待处理图像为宠物所在地理场所的待处理图像。此时,获得待处理图像,包括:使用宠物玩具中的图像获得装置获取待处理图像。其中,宠物玩具包括图像获得装置、图像识别装置、控制器和预设对象发射装置;图像获得装置,用于获取待处理图像;图像识别装置,用于从待处理图像中获得候选框,候选框为待处理图像的子图像;如果至少有一个候选框中包含目标对象,则根据包含目标对象的候选框生成待处理图像的主体框,主体框为待处理图像的子图像,主体框包含待处理图像中的主体对象,主体对象为目标对象;从主体框中选定目标区域;向控制器提供目标区域的信息;控制器,用于根据目标区域的信息,目标区域的选定装置对准目标区域对应的地理位置,并目标区域的选定装置向地理位置发射预设对象;预设对象发射装置,用于向地理位置发射预设对象。

如图4所示,步骤S402,从待处理图像中获得候选框,候选框为待处理图像的子图像。

从待处理图像中获得候选框,候选框为待处理图像的子图像,包括:在待处理图像中获得待处理图像的子图像;根据待处理图像的子图像,获得候选框。在待处理图像中待处理图像的子图像,包括:将待处理图像输入到目标检测模型中,获得待处理图像中包含的候选目标对象;获得候选目标对象在待处理对象中所属的子图像。

获得的待处理图像中,有时会包含多个对象,如:一张待处理图像中可能不仅包含宠物对象、可能还包括宠物对象以外的对象(如人、植物、生活用品等实体对象),这些对象统一称为候选目标对象。在获得待处理图像的子图像时,可以先将待处理图像输入到SEP-Net目标检测模型中,获得待处理图像中包含的候选目标对象,然后获得候选目标对象在待处理对象中所属的子图像,最后根据待处理图像的子图像,获得候选框。其中,SEP-Net目标检测模型也可以为其它目标检测模型。

在获得候选框后,需要执行步骤S403,步骤S403,如果至少有一个候选框中包含目标对象,则根据包含目标对象的候选框生成待处理图像的主体框。在执行步骤S403之前,需要先判断候选框中是否包含目标对象,如图5所示,步骤S501,获得候选框中包含目标对象的预测分值数据。在将待处理图像输入到SEP-Net目标检测模型中,该SEP-Net目标检测模型会输出待处理图像的子图像对应的候选框,和针对待处理图像的子图像中包含目标对象的预测分值数据。

获得候选框中包含目标对象的预测分值数据的具体步骤为:获得候选框中的候选目标对象,获得候选目标对象的特征数据集合,获得目标对象的特征数据集合,将候选目标对象的特征数据集合与目标对象的特征数据集合进行比较,获得候选目标对象的特征数据集合与目标对象的特征数据集合的相似度,根据候选目标对象的特征数据集合与目标对象的特征数据集合的相似度获得候选框中包含目标对象的预测分值数据。

步骤S502,判断预测分值数据是否等于或者超出预设分值数据。

在判断预测分值数据是否等于或者超出预设分值数据时,首先获得预设分值数据,然后将预测分值数据与预设分值数据进行比较,从而判断预测分值数据是否等于或者超出预设分值数据。

步骤S503,若是,则确定候选框中包含目标对象。

当预测分值数据等于或者超出预设分值数据时,判断候选框中包含目标对象,当预测分值数据小于预设分值数据时,判断候选框中未包含目标对象。本申请第一实施例中具体以预设分值属于百分制,且获得的预设分值数据为80为例,只要预测分值数据等于或者超出80,则就认定候选框中包含目标对象。

在根据候选框中包含目标对象的预测分值数据判断候选框中包含目标对象时,如果至少有一个候选框中包含目标对象,则根据包含目标对象的候选框生成待处理图像的主体框,包括:获得包含目标对象的候选框的数目;根据包含目标对象的候选框的数目和包含目标对象的候选框,生成主体框。

因为待处理图像中包含目标对象的候选框的数目可能不止一个,根据包含目标对象的候选框的数目和包含目标对象的候选框,生成主体框,包括:如果仅有一个包含目标对象的候选框,则根据所述包含目标对象的候选框,生成主体框。即,将该唯一包含目标对象的候选框,作为主体框。此时,主体框为包含目标对象的候选框对应的待处理图像的子图像,主体框包含待处理图像中的主体对象,主体对象为目标对象。

当包含目标对象的候选框的数目为两个以上时,根据包含目标对象的候选框的数目和包含目标对象的候选框,生成主体框,包括:如果至少两个包含目标对象的候选框,则获得包含目标对象的候选框的预测分值数据占全部包含目标对象的候选框的总预测分值数据的比例值数据;根据比例值数据,获得包含目标对象的候选框在主体框中占据的权重比数据;根据权重比数据,将全部包含目标对象的候选框合并为所述主体框。因为包含目标对象的候选框即为包含目标对象的候选框对应的待处理图像的子图像。根据权重比数据,将全部包含目标对象的候选框合并为主体框,具体可以为:根据待处理图像对应的坐标系,获得全部包含目标对象的候选框的坐标点,然后将全部包含目标对象的候选框的坐标点,按照权重比进行加权平均,合并为主体框。即,在包含目标对象的候选框的数目为两个以上时,则进一步获得每一候选框的预测分值数据与全部候选框的预测分值数据的分值总和的比例值数据,并根据该比例值数据,将全部包含目标对象的候选框的坐标点进行加权平均,合并成主体框。此时,主体框为全部待处理图像的子图像,主体框包含待处理图像中的主体对象,主体对象为目标对象。如待处理图像包含三个包含目标对象的候选框,且三个候选框的预测分值数据分别为60、60、80时,则比例值数据分别为3/10、3/10、4/10,此时,可以对全部包含目标对象的候选框各自选定的四个坐标点按照3/10、3/10、4/10的比例进行加权平均,从而将三个候选框合并为主体框。

此外,如果全部候选框中都不包含目标对象,则根据待处理图像生成主体框。

步骤S404,从主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

如果根据待处理图像生成主体框,此时,从主体框中选定目标区域,包括:从主体框中任意位置选定目标区域。主体框为待处理图像的子图像,此时,从主体框中选定目标区域,包括:从主体框的边缘位置任意选定目标区域。其中,本申请第一实施例中的目标区域可以仅为一个目标点,此时,从主体框中选定目标区域,包括:从主体框的边缘位置任意选定目标点。根据本申请第一实施例中提供的目标区域的选定方法的应用场景可知,在目标区域确定后,可以进一步确定目标区域对应的地理位置,本申请第一实施例中目标区域对应的地理位置为预设对象的发射目的位置。当目标区域可以仅为一个目标点时,目标区域对应的地理位置可以记为目标点对应的地理坐标点。

本申请第一实施例中,如果全部候选框中都不包含目标对象,则根据待处理图像生成主体框,此时,从主体框中选定目标区域,包括:从主体框中任意位置选定目标区域。由于全部候选框中都不包含目标对象,说明待处理图像对应的区域中不存在目标对象,这样,即使从主体框中任意位置选定目标区域,都能够确保宠物玩具发射的预设对象,不会打到宠物身上。

本申请提供的目标区域的选定方法,在根据包含目标对象的候选框生成待处理图像的主体框后,能够进一步从主体框中选定目标区域。由于没该目标区域对应的地理位置为预设对象的发射目的位置,从而本申请提供的目标区域的选定方法能够提高预设对象发射的针对性。

本申请步骤S402-S404都在宠物玩具中的图像获得装置被执行。

在选定目标区域后,本申请第一实施例中的提供的目标区域的选定方法,还包括:确定目标区域对应的地理位置;向地理位置发射预设对象。在将本申请第一实施例中的提供的目标区域的选定方法应用于逗宠玩具中时,从主体框中选定目标区域后,图像获得装置会向宠物玩具中的图像获得装置中的控制器提供目标区域的信息,控制器根据目标区域的信息,控制预设对象发射装置对准目标区域对应的地理位置,并控制预设对象发射装置向地理位置发射预设对象。当目标区域为坐标点时,确定目标区域对应的地理位置,向地理坐标位置发射预设对象具体为:确定目标区域对应的地理坐标点;向地理坐标点发射预设对象。本申请提供的目标区域的选定方法,首先根据包含目标对象的候选框生成待处理图像的主体框,然后从主体框中选定目标区域,最后再向目标区域对应的地理位置发射预设对象。能够确保预设对象发射时的针对性。

本申请第一实施例中的逗宠玩具,具体可以为宠物陪伴机器人。该宠物陪伴机器人能够与移动终端进行远程连接,当宠物饲养者不在宠物身边时,宠物饲养者可以通过安装在移动终端上的应用程序来远程控制该宠物陪伴机器人采集宠物(如宠物猫)活动区域的图像,并在宠物活动区域的图像中选取发射目标对象(如宠物球)的目标点,在目标点选定后,进一步控制宠物陪伴机器人能够向目标点对应的地理位置坐标点发射宠物球,从而使宠物饲养者能够通过该宠物陪伴机器人进行远程逗猫。此外,该宠物陪伴机器人也以进行自动逗猫,具体的,该宠物陪伴机器人启动后,能够自动采集宠物(如宠物猫)活动区域的图像,并自行根据宠物活动区域的图像是否存在猫,自动在宠物活动区域的图像中选取发射宠物球的目标点,在目标点选定后,自动向目标点对应的地理位置坐标点发射宠物球,从而实现宠物陪伴机器人的自动逗猫。

在上述宠物陪伴机器人中还可以预先录入不同宠物的声音和饲养者的声音,宠物饲养者可以根据自己饲养的宠物来自行设置该宠物陪伴机器人发出的宠物的声音是何种声音,或者由宠物陪伴机器人在获得包含宠物的宠物活动区域的图像后,进一步对图像中的宠物进行识别,选择要发出的宠物的声音是何种声音。

第二实施例

在上述第一实施例中,提供了一种目标区域的选定方法,与之相对应的,本申请第二实施例提供了一种目标区域的选定装置。由于装置实施例基本相似于方法第一实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请参照图6,其出示了本申请提供的一种目标区域的选定装置的示意图。

该目标区域的选定装置包括:

待处理图像获得单元601,用于获得待处理图像;

候选框获得单元602,用于从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;

主体框生成单元603,用于如果至少有一个候选框中包含目标对象,则根据包含所述目标对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述目标对象;

目标区域选定单元604,用于从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

可选的,该目标区域的选定装置,还包括:

预设对象发射单元,用于确定所述目标区域对应的地理位置;向所述地理位置发射预设对象。可选的,所述主体框生成单元603,还用于如果全部所述候选框中都不包含所述目标对象,则根据所述待处理图像生成所述主体框。

可选的,所述从所述主体框中选定目标区域,包括:从所述主体框中的任意位置选定所述目标区域。

可选的,候选框获得单元602具体用于,在所述待处理图像中获得所述待处理图像的子图像;根据所述待处理图像的子图像,获得所述候选框。

可选的,所述在所述待处理图像中所述待处理图像的子图像,包括:

将所述待处理图像输入到目标检测模型中,获得所述待处理图像中包含的候选目标对象;

获得所述候选目标对象在所述待处理对象中所属的子图像。

可选的,还包括:候选框判定单元,用于获得所述候选框中包含所述目标对象的预测分值数据;判断所述预测分值数据是否等于或者超出预设分值数据;若是,则确定所述候选框中包含目标对象。

可选的,主体框生成单元603具体用于,获得包含所述目标对象的候选框的数目;根据包含所述目标对象的候选框的数目和包含所述目标对象的候选框,生成所述主体框。

可选的,所述根据包含所述目标对象的候选框的数目和包含所述目标对象的候选框,生成所述主体框,包括:

如果仅有一个包含所述目标对象的候选框,则根据所述待处理图像与包含所述目标对象的候选框生成所述主体框。

可选的,所述根据包含所述目标对象的候选框的数目和包含所述目标对象的候选框,生成所述主体框,包括:

如果至少两个包含所述目标对象的候选框,则获得包含所述目标对象的候选框的预测分值数据占全部包含所述目标对象的候选框的总预测分值数据的比例值数据;

根据所述比例值数据,获得包含所述目标对象的候选框在占据所述主体框中占据的权重比数据;

根据所述权重比数据,将全部包含所述目标对象的候选框合并为所述主体框。

可选的,所述从所述主体框中选定目标区域,包括:从所述主体框的边缘位置任意选定目标区域。

第三实施例

在上述第一实施例中,提供了一种目标区域的选定方法,与之相对应的,本申请第三实施例提供了一种宠物玩具。由于宠物玩具实施例基本相似于方法第一实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请参照图7,其出示了本申请提供的一种宠物玩具的示意图。

该宠物玩具包括图像获得装置701、图像识别装置702、控制器703和预设对象发射装置704;

所述图像获得装置701,用于获取待处理图像;

所述图像识别装置702,用于从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;如果至少有一个候选框中包含目标对象,则根据包含目标对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述目标对象;从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置;向所述控制器703提供所述目标区域的信息;

所述控制器703,用于根据所述目标区域的信息,控制所述预设对象发射装置704对准所述目标区域对应的地理位置,并控制所述预设对象发射装置704向所述地理位置发射预设对象;

所述预设对象发射装置704,用于向所述地理位置发射预设对象。

本申请第三实施例中对图像获得装置701、图像识别装置702、控制器703和预设对象发射装置704的数目、安装位置均不作具体限制。此外,该宠物玩具还包括为宠物玩具运行提供动力的驱动装置。

第四实施例

在上述第一实施例中,提供了一种目标区域的选定方法,与之相对应的,本申请第四实施例提供了另一种目标区域的选定方法。由于本申请第四实施例中的目标区域的选定方法实施例基本相似于方法第一实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。

请参照图8,其出示了本申请第四实施例提供的目标区域的选定方法的流程图。

在步骤S801中,获得待处理图像。

在步骤S802中,从待处理图像中获得候选框,候选框为待处理图像的子图像。

在步骤S803中,如果至少有一个候选框中包含宠物对象,则根据包含宠物对象的候选框生成待处理图像的主体框。其中,主体框为待处理图像的子图像,主体框包含待处理图像中的主体对象,主体对象为宠物对象。此外,如果全部所述候选框中都不包含所述目标对象,则根据所述待处理图像生成所述主体框。

在步骤S804中,从主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置。其中,从主体框中选定目标区域,包括:从主体框的边缘位置任意选定目标区域。在全部候选框中都不包含目标对象,则根据待处理图像生成主体框时,从主体框中选定目标区域,包括:从主体框中任意位置选定目标区域。本申请第四实施例提供的目标区域的选定方法,还包括:

确定所述目标区域对应的地理位置;

向所述地理位置发射激光。。

需要说明的是,如果全部候选框中都不包含目标对象,则根据待处理图像生成主体框。此时,从主体框中选定目标区域,包括:从主体框中任意位置选定目标区域。

第五实施例

在上述第四实施例中,提供了一种目标区域的选定方法,与之相对应的,本申请第五实施例提供了一种目标区域的选定装置。由于目标区域的选定方法实施例基本相似于方法第四实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。

请再参照图6,该目标区域的选定装置包括:

待处理图像获得单元601,用于获得待处理图像;

候选框获得单元602,用于从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;

主体框生成单元603,用于如果至少有一个候选框中包含宠物对象,则根据包含所述宠物对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述宠物对象;

目标区域选定单元604,用于从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置。

可选的,该目标区域的选定装置,还包括:激光发射单元,用于确定所述目标区域对应的地理位置;向所述地理位置发射激光。

可选的,所述主体框生成单元603,还用于如果全部所述候选框中都不包含所述宠物对象,则根据所述待处理图像生成所述主体框。

可选的,所述从所述主体框中选定目标区域,包括:从所述主体框中的任意位置选定所述目标区域。

可选的,所述从所述主体框中选定目标区域,包括:从所述主体框的边缘位置任意选定目标区域。

第六实施例

在上述第四实施例中,提供了一种目标区域的选定方法,与之相对应的,本申请第六实施例提供了一种宠物玩具。由于宠物玩具实施例基本相似于方法第四实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请参照图9,其出示了本申请提供的一种宠物玩具的示意图。

该宠物玩具包括图像获得装置901、图像识别装置902、控制器903和激光发射装置904;

所述图像获得装置901,用于获取待处理图像;

所述图像识别装置902,用于从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;如果至少有一个候选框中包含宠物对象,则根据包含宠物对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述宠物对象;从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置;向所述控制器903提供所述目标区域的信息;

所述控制器903,用于根据所述目标区域的信息,控制所述激光发射装置904对准所述目标区域对应的地理坐标区域,并控制所述激光发射装置904向所述地理位置发射激光;

所述激光发射装置904,用于向所述地理位置发射激光。

本申请第三实施例中对图像获得装置901、图像识别装置902、控制器903和激光发射装置904的数目、安装位置均不作具体限制。此外,该宠物玩具还包括为宠物玩具运行提供动力的驱动装置。

第七实施例

在上述第一实施例中,提供了一种目标区域的选定方法,与之相对应的,本申请第七实施例提供了另一种控目标区域的选定方法。由于该目标区域的选定方法实施例基本相似于方法第一实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。

请参照图10,其出示了本申请第七实施例提供的目标区域的选定方法的流程图。

在步骤S1001中,获得待处理图像。

在步骤S1002中,从待处理图像中获得待处理图像的主体框,主体框为待处理图像的子图像。其中,主体框包含待处理图像中的主体对象,主体对象为宠物对象。

在步骤S1003中,从主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。在从主体框中选定目标区域后,本申请第七实施例提供的控目标区域的选定方法,还包括:确定所述目标区域对应的地理位置;向所述地理位置发射预设对象。

第八实施例

在上述第七实施例中,提供了一种目标区域的选定方法,与之相对应的,本申请第八实施例提供了一种目标区域的选定装置。由于装置实施例基本相似于方法第七实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请参照图11,其出示了本申请提供的另一种目标区域的选定装置的示意图。

该目标区域的选定装置,包括:

待处理图像获得单元1101,用于获得待处理图像;

主体框生成单元1102,用于从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为宠物对象;

目标区域选定单元1103,用于从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

该目标区域的选定装置,还包括:预设对象发射单元,用于

确定所述目标区域对应的地理位置;向所述地理位置发射预设对象。

可选的,所述从所述主体框中选定目标区域,包括:从所述主体框的边缘位置任意选定目标区域。

第九实施例

在上述第七实施例中,提供了一种目标区域的选定方法,与之相对应的,本申请第九实施例提供了一种宠物玩具。由于宠物玩具实施例基本相似于方法第七实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请再参照图7,其出示了本申请第九实施例提供的一种宠物玩具示意图。

该宠物玩具包括图像获得装置701、图像识别装置702、控制器703和预设对象发射装置704;

所述图像获得装置701,用于获取待处理图像;

所述图像识别装置702,用于从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为目标对象;从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置;向所述控制器703提供所述目标区域的信息;

所述控制器703,用于根据所述目标区域的信息,控制所述预设对象发射装置704对准所述目标区域对应的地理位置,并控制所述预设对象发射装置704向所述地理位置发射预设对象;

所述预设对象发射装置704,用于向所述地理位置发射预设对象。

本申请第九实施例中对图像获得装置701、图像识别装置702、控制器703和预设对象发射装置704的数目、安装位置均不作具体限制。此外,该宠物玩具还包括为宠物玩具运行提供动力的驱动装置。

第十实施例

在上述第七实施例中,提供了另一种目标区域的选定激光方法,与之相对应的,本申请第十实施例提供了另一种目标区域的选定方法。由于该目标区域的选定方法实施例基本相似于方法第七实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。

请参照图12,其出示了本申请第十实施例提供的目标区域的选定方法的流程图。

在步骤S1201中,获得待处理图像。

在步骤S1202中,从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为宠物对象。

在步骤S1203中,从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置。在从主体框中选定目标区域后,本申请第七实施例提供的控目标区域的选定方法,还包括:确定所述目标区域对应的地理位置;向所述地理位置发射激光。需要说明的是,所述从所述主体框中选定目标区域,包括:从所述主体框的边缘位置任意选定目标区域。

第十一实施例

在上述第十实施例中,提供了一种目标区域的选定方法,与之相对应的,本申请第十一实施例提供了一种目标区域的选定装置。由于方法实施例基本相似于方法第十实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。

请再参照图11

该目标区域的选定装置包括:

待处理图像获得单元1101,用于获得待处理图像;

主体框生成单元1102,用于从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为宠物对象;

目标区域选定单元1103,用于从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置。

该目标区域的选定装置,还包括:激光发射单元,用于

确定所述目标区域对应的地理位置;向所述地理位置发射激光。;

可选的,所述从所述主体框中选定目标区域,包括:从所述主体框的边缘位置任意选定目标区域。

第十二实施例

在上述第十实施例中,提供了一种目标区域的选定方法,与之相对应的,本申请第十二实施例提供了一种宠物玩具。由于宠物玩具实施例基本相似于方法第十实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请再参照图9,其出示了本申请第六实施例提供的一种宠物玩具示意图。

该宠物玩具包括图像获得装置901、图像识别装置902、控制器903和激光发射装置904;

所述图像获得装置901,用于获取待处理图像;

所述图像识别装置902,用于从所述待处理图像中获得所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为宠物对象;从所述主体框中选定目标区域,所述目标区域对应的地理位置为激光的发射目的位置;向所述控制器提供所述目标区域的信息;

所述控制器903,用于根据所述目标区域的信息,控制所述激光发射装置904对准所述目标区域对应的地理位置,并控制所述激光发射装置904向所述地理位置发射激光;

所述激光发射装置904,用于向所述地理位置发射激光。

本申请第十二实施例中对图像获得装置901、图像识别装置902、控制器903和激光发射装置904的数目、安装位置均不作具体限制。此外,该宠物玩具还包括为宠物玩具运行提供动力的驱动装置。

第十三实施例

与本申请第一实施例提供的目标区域的选定方法相对应的,本申请第十三实施例提供一种电子设备。

如图12所示,所述电子设备包括:

处理器1201;以及

存储器1202,用于获得待处理图像;

从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;

如果至少有一个候选框中包含目标对象,则根据包含所述目标对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述目标对象;

从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

第十四实施例

与本申请第一实施例提供的针对目标区域的选定方法相对应的,本申请第十四实施例提供一种存储设备,存储有目标区域的选定方法的程序,该程序被处理器运行,执行下述步骤:

获得待处理图像;

从所述待处理图像中获得候选框,所述候选框为所述待处理图像的子图像;

如果至少有一个候选框中包含目标对象,则根据包含所述目标对象的候选框生成所述待处理图像的主体框,所述主体框为所述待处理图像的子图像,所述主体框包含所述待处理图像中的主体对象,所述主体对象为所述目标对象;

从所述主体框中选定目标区域,所述目标区域对应的地理位置为预设对象的发射目的位置。

需要说明的是,对于本申请第十四实施例提供的存储设备的详细描述可以参考对本申请第一实施例的相关描述,这里不再赘述。

本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本发明的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

相关技术
  • 一种目标区域的选定方法、装置、以及电子设备
  • 目标区域检测方法、装置和电子设备
技术分类

06120112721654