一种目标追踪方法和仿生视觉装置
文献发布时间:2023-06-19 10:00:31
技术领域
本申请涉及仿生技术领域,特别涉及一种目标追踪方法和仿生视觉装置。
背景技术
双目相机可以采集周边环境的三维立体信息,近年来随着图像技术的发展得到了非常广泛的应用。仿生双目视觉则是通过模拟人类双眼的运动方式实现的双目结构,通常每个“眼睛”的视野中包含中心视和周边视两个部分,中心视通常采用长焦望远相机,可以捕捉物体的细节纹理,周边视通常采用短焦广角相机,可以获取较广的视野范围,周边视视野中包含中心视视野,通常中心视视野区域位于周边视的中心位置,两者相对位置固定不变。仿生双目视觉左右眼均采用上述周边视和中心视的组成结构,左右眼分别被安装至两个云台上,能够独立旋转控制视线方向,在追踪目标物体时,云台运动使目标物体位于中心视视野中央,能够捕捉丰富的细节纹理。
为了达到仿生眼的功能,一般需要采用多轴云台配合不同视野的相机来完成装置,现有的仿生视觉装置存在如下缺陷:一方面,云台和不同视角的相机设备增加了系统的成本与复杂度;另一方面,由于云台的运动引起双目外参实时变化导致对外界环境的三维感知运算过程非常复杂。
发明内容
本申请实施例提供了一种目标追踪方法和仿生视觉装置,通过对采集的图像进行处理来模拟相机视线的变化,实现目标的追踪,不需要设置云台,可以降低装置成本,同时可以简化三维感知运算过程。
一方面,本申请实施例提供了一种目标追踪方法,包括:
获取当前帧的第一图像;第一图像是通过仿生视觉成像单元得到的;
对第一图像进行对象位置检测,得到第一图像中对象的第一位置信息;
基于第一位置信息确定第一追踪区域和特征区域;
在下一帧的第一图像中,确定与第一追踪区域相匹配的第一目标追踪区域;
基于特征区域对第一目标追踪区域进行目标检测,得到下一帧的第一图像中对象的第一目标位置信息。
可选的,对第一图像进行对象位置检测之前,方法还包括:
对第一图像进行下采样处理,得到下采样处理后的第一图像;
对第一图像进行对象位置检测,得到第一图像中对象的第一位置信息之后,基于第一位置信息确定第一追踪区域和特征区域之前,方法还包括:
基于采样系数对第一位置信息进行修正,得到修正后的第一位置信息。
可选的,仿生视觉成像单元包括第一图像采集组件和第二图像采集组件;第一图像采集组件和第二图像采集组件相对固定;
获取当前帧的第一图像,包括:
通过第一图像采集组件采集当前帧的第一图像;
获取当前帧的第一图像之后,方法还包括:
通过第二图像采集组件采集当前帧的第二图像。
可选的,对第一图像进行对象位置检测,得到第一图像中对象的第一位置信息之后,方法还包括:
基于第一位置信息在第二图像中确定第一搜索区域;
根据第一位置信息的像素值,从第一搜索区域中确定出第一目标像素,将第一目标像素的位置确定为对象的第二位置信息;第一目标像素的像素值和第一位置信息的像素值满足预设匹配程度值。
可选的,将第一目标像素的位置确定为对象的第二位置信息之后,方法还包括:
基于第二位置信息确定第二追踪区域;
在下一帧的第二图像中,确定与第二追踪区域相匹配的第二目标追踪区域;
基于特征区域对第一目标追踪区域进行目标检测,得到下一帧的第一图像中对象的位置信息之后,还包括:
基于第一目标位置信息在第二目标追踪区域中确定第二搜索区域;
根据第一目标位置信息的像素值,从第二搜索区域中确定出第二目标像素,将第二目标像素的位置信息确定为对象的第二目标位置信息;第二目标像素的像素值和第一目标位置信息的像素值满足预设匹配程度值。
可选的,对第一图像进行对象位置检测,得到第一图像中对象的第一位置信息之后,基于第一位置信息确定第一追踪区域和特征区域之前,方法还包括:
对对象进行识别,得到对象的类别;
根据对象的类别确特征区域的尺寸。
可选的,对第一图像进行对象位置检测,得到第一图像中对象的第一位置信息,包括:
根据获取的已训练的对象检测模型对第一图像进行检测,得到第一图像中对象的第一位置信息;
或;根据获取的目标对象参考图像和已训练的目标检测模型对第一图像进行检测,得到第一图像中对象的第一位置信息。
可选的,基于特征区域对第一目标追踪区域进行目标检测,得到下一帧的第一图像中对象的第一目标位置信息,包括:
获取已训练的特征匹配模型;
将特征区域或者特征区域经过特征提取后的特征信息,以及第一目标追踪区域作为已训练的特征匹配模型的输入,输出特征匹配结果;
若特征匹配结果为第一目标追踪区域中包含与特征区域或特征信息匹配的目标区域,则基于目标区域确定下一帧的第一图像中对象的第一目标位置信息。
可选的,方法还包括:
若特征匹配结果为第一目标追踪区域中不包含与特征区域或特征信息匹配的目标区域,则对特征区域进行下采样处理;
将下采样处理后的特征区域作为目标对象参考图像。
另一方面,本申请实施例提供了一种仿生视觉装置,包括仿生视觉成像单元和目标追踪单元,目标追踪单元包括:
获取模块,用于获取当前帧的第一图像;第一图像是通过仿生视觉成像单元得到的;
第一检测模块,用于对第一图像进行对象位置检测,得到第一图像中对象的第一位置信息;
第一确定模块,用于基于第一位置信息确定第一追踪区域和特征区域;
第二确定模块,用于在下一帧的第一图像中,确定与第一追踪区域相匹配的第一目标追踪区域;
第二检测模块,用于基于特征区域对第一目标追踪区域进行目标检测,得到下一帧的第一图像中对象的第一目标位置信息。
本申请实施例提供的一种目标追踪方法和仿生视觉装置具有如下有益效果:
通过获取当前帧的第一图像;第一图像是通过仿生视觉成像单元得到的;对第一图像进行对象位置检测,得到第一图像中对象的第一位置信息;基于第一位置信息确定第一追踪区域和特征区域;在下一帧的第一图像中,确定与第一追踪区域相匹配的第一目标追踪区域;基于特征区域对第一目标追踪区域进行目标检测,得到下一帧的第一图像中对象的第一目标位置信息。本申请通过对采集的图像进行处理来模拟相机视线的变化,实现目标的追踪,不需要设置云台,如此可以降低装置成本,同时可以简化三维感知运算过程。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种应用场景的示意图;
图2是本申请实施例提供的一种目标追踪方法的流程示意图;
图3是本申请实施例提供的一种原始第一图像、周边视的视图和中心视视图的示意图;
图4是本申请实施例提供的另一种目标追踪方法的流程示意图;
图5是本申请实施例提供的一种具体的应用场景的示意图;
图6是本申请实施例提供的一种仿生视觉装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,图1是本申请实施例提供的一种应用场景的示意图,包括仿生视觉成像单元101和图像处理单元102,仿生视觉成像单元101和图像处理单元102形成完整的仿生视觉装置;仿生视觉成像单元101的图像数据可传递至图像处理单元102,图像处理单元102实现对图像中目标的追踪。
通过仿生视觉成像单元101获取当前帧的第一图像;然后将当前帧的第一图像传递至图像处理单元102;图像处理单元102首先对第一图像进行对象位置检测,得到第一图像中对象的第一位置信息;然后基于第一位置信息确定第一追踪区域和特征区域;通过仿生视觉成像单元101获取下一帧的第一图像,图像处理单元102在下一帧的第一图像中,确定与第一追踪区域相匹配的第一目标追踪区域;然后图像处理单元102基于特征区域对第一目标追踪区域进行目标检测,得到下一帧的第一图像中对象的第一目标位置信息。
可选的,仿生视觉成像单元101包括仿生单目相机或仿生双目相机;其中仿生双目相机的两个相机采用同型号的成像元件,且两个相机固定在同一结构上,相对位置不会发生改变;两个相机通过同一外部硬件时钟同步工作;仿生双目相机的两个镜头采用焦距同样视角的镜头,分别固定在两个相机上,位置不会发生改变。
本申请方法实施例的执行主语为图像处理单元102,通过图像处理单元102模拟相机视线的变化,实现目标的追踪,仿生视觉成像单元101不需要再额外设置云台,如此可以降低设备硬件成本,同时也简化了三维感知运算过程。
以下介绍本申请一种目标追踪方法的具体实施例,图2是本申请实施例提供的一种目标追踪方法的流程示意图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该方法可以包括:
S201:获取当前帧的第一图像;第一图像是通过仿生视觉成像单元得到的。
本申请实施例中,通过仿生视觉成像单元采集环境信息,生成第一图像并标记当前帧。
一种可选的实施方式中,获取当前帧的第一图像之后,可以对第一图像进行畸变校正、降噪等预处理操作,增强有关信息的可检测性,从而增强图像检测的可靠性。
一种可选的实施方式中,在执行下一步骤之前,为了简化数据,加快图像处理速度,该方法还可以包括:对第一图像进行下采样处理,得到下采样处理后的第一图像。如图3所示,下采样处理后的第一图像可以作为类似于仿生眼视野中周边视的视图成像,而在原始第一图像分辨率较小的情况下,可以不进行下采样,直接将通过仿生视觉成像单元获得的原始始第一图像作为周边视的视图成像。
- 一种目标追踪方法和仿生视觉装置
- 一种基于新型视觉追踪技术的目标追踪方法