一种目标追踪方法和仿生视觉装置

技术领域

本申请涉及仿生技术领域，特别涉及一种目标追踪方法和仿生视觉装置。

背景技术

双目相机可以采集周边环境的三维立体信息，近年来随着图像技术的发展得到了非常广泛的应用。仿生双目视觉则是通过模拟人类双眼的运动方式实现的双目结构，通常每个“眼睛”的视野中包含中心视和周边视两个部分，中心视通常采用长焦望远相机，可以捕捉物体的细节纹理，周边视通常采用短焦广角相机，可以获取较广的视野范围，周边视视野中包含中心视视野，通常中心视视野区域位于周边视的中心位置，两者相对位置固定不变。仿生双目视觉左右眼均采用上述周边视和中心视的组成结构，左右眼分别被安装至两个云台上，能够独立旋转控制视线方向，在追踪目标物体时，云台运动使目标物体位于中心视视野中央，能够捕捉丰富的细节纹理。

为了达到仿生眼的功能，一般需要采用多轴云台配合不同视野的相机来完成装置，现有的仿生视觉装置存在如下缺陷：一方面，云台和不同视角的相机设备增加了系统的成本与复杂度；另一方面，由于云台的运动引起双目外参实时变化导致对外界环境的三维感知运算过程非常复杂。

发明内容

本申请实施例提供了一种目标追踪方法和仿生视觉装置，通过对采集的图像进行处理来模拟相机视线的变化，实现目标的追踪，不需要设置云台，可以降低装置成本，同时可以简化三维感知运算过程。

一方面，本申请实施例提供了一种目标追踪方法，包括：

获取当前帧的第一图像；第一图像是通过仿生视觉成像单元得到的；

对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息；

基于第一位置信息确定第一追踪区域和特征区域；

在下一帧的第一图像中，确定与第一追踪区域相匹配的第一目标追踪区域；

基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的第一目标位置信息。

可选的，对第一图像进行对象位置检测之前，方法还包括：

对第一图像进行下采样处理，得到下采样处理后的第一图像；

对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息之后，基于第一位置信息确定第一追踪区域和特征区域之前，方法还包括：

基于采样系数对第一位置信息进行修正，得到修正后的第一位置信息。

可选的，仿生视觉成像单元包括第一图像采集组件和第二图像采集组件；第一图像采集组件和第二图像采集组件相对固定；

获取当前帧的第一图像，包括：

通过第一图像采集组件采集当前帧的第一图像；

获取当前帧的第一图像之后，方法还包括：

通过第二图像采集组件采集当前帧的第二图像。

可选的，对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息之后，方法还包括：

基于第一位置信息在第二图像中确定第一搜索区域；

根据第一位置信息的像素值，从第一搜索区域中确定出第一目标像素，将第一目标像素的位置确定为对象的第二位置信息；第一目标像素的像素值和第一位置信息的像素值满足预设匹配程度值。

可选的，将第一目标像素的位置确定为对象的第二位置信息之后，方法还包括：

基于第二位置信息确定第二追踪区域；

在下一帧的第二图像中，确定与第二追踪区域相匹配的第二目标追踪区域；

基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的位置信息之后，还包括：

基于第一目标位置信息在第二目标追踪区域中确定第二搜索区域；

根据第一目标位置信息的像素值，从第二搜索区域中确定出第二目标像素，将第二目标像素的位置信息确定为对象的第二目标位置信息；第二目标像素的像素值和第一目标位置信息的像素值满足预设匹配程度值。

可选的，对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息之后，基于第一位置信息确定第一追踪区域和特征区域之前，方法还包括：

对对象进行识别，得到对象的类别；

根据对象的类别确特征区域的尺寸。

可选的，对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息，包括：

根据获取的已训练的对象检测模型对第一图像进行检测，得到第一图像中对象的第一位置信息；

或；根据获取的目标对象参考图像和已训练的目标检测模型对第一图像进行检测，得到第一图像中对象的第一位置信息。

可选的，基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的第一目标位置信息，包括：

获取已训练的特征匹配模型；

将特征区域或者特征区域经过特征提取后的特征信息，以及第一目标追踪区域作为已训练的特征匹配模型的输入，输出特征匹配结果；

若特征匹配结果为第一目标追踪区域中包含与特征区域或特征信息匹配的目标区域，则基于目标区域确定下一帧的第一图像中对象的第一目标位置信息。

可选的，方法还包括：

若特征匹配结果为第一目标追踪区域中不包含与特征区域或特征信息匹配的目标区域，则对特征区域进行下采样处理；

将下采样处理后的特征区域作为目标对象参考图像。

另一方面，本申请实施例提供了一种仿生视觉装置，包括仿生视觉成像单元和目标追踪单元，目标追踪单元包括：

获取模块，用于获取当前帧的第一图像；第一图像是通过仿生视觉成像单元得到的；

第一检测模块，用于对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息；

第一确定模块，用于基于第一位置信息确定第一追踪区域和特征区域；

第二确定模块，用于在下一帧的第一图像中，确定与第一追踪区域相匹配的第一目标追踪区域；

第二检测模块，用于基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的第一目标位置信息。

本申请实施例提供的一种目标追踪方法和仿生视觉装置具有如下有益效果：

通过获取当前帧的第一图像；第一图像是通过仿生视觉成像单元得到的；对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息；基于第一位置信息确定第一追踪区域和特征区域；在下一帧的第一图像中，确定与第一追踪区域相匹配的第一目标追踪区域；基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的第一目标位置信息。本申请通过对采集的图像进行处理来模拟相机视线的变化，实现目标的追踪，不需要设置云台，如此可以降低装置成本，同时可以简化三维感知运算过程。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种应用场景的示意图；

图2是本申请实施例提供的一种目标追踪方法的流程示意图；

图3是本申请实施例提供的一种原始第一图像、周边视的视图和中心视视图的示意图；

图4是本申请实施例提供的另一种目标追踪方法的流程示意图；

图5是本申请实施例提供的一种具体的应用场景的示意图；

图6是本申请实施例提供的一种仿生视觉装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本申请实施例提供的一种应用场景的示意图，包括仿生视觉成像单元101和图像处理单元102，仿生视觉成像单元101和图像处理单元102形成完整的仿生视觉装置；仿生视觉成像单元101的图像数据可传递至图像处理单元102，图像处理单元102实现对图像中目标的追踪。

通过仿生视觉成像单元101获取当前帧的第一图像；然后将当前帧的第一图像传递至图像处理单元102；图像处理单元102首先对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息；然后基于第一位置信息确定第一追踪区域和特征区域；通过仿生视觉成像单元101获取下一帧的第一图像，图像处理单元102在下一帧的第一图像中，确定与第一追踪区域相匹配的第一目标追踪区域；然后图像处理单元102基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的第一目标位置信息。

可选的，仿生视觉成像单元101包括仿生单目相机或仿生双目相机；其中仿生双目相机的两个相机采用同型号的成像元件，且两个相机固定在同一结构上，相对位置不会发生改变；两个相机通过同一外部硬件时钟同步工作；仿生双目相机的两个镜头采用焦距同样视角的镜头，分别固定在两个相机上，位置不会发生改变。

本申请方法实施例的执行主语为图像处理单元102，通过图像处理单元102模拟相机视线的变化，实现目标的追踪，仿生视觉成像单元101不需要再额外设置云台，如此可以降低设备硬件成本，同时也简化了三维感知运算过程。

以下介绍本申请一种目标追踪方法的具体实施例，图2是本申请实施例提供的一种目标追踪方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：

S201：获取当前帧的第一图像；第一图像是通过仿生视觉成像单元得到的。

本申请实施例中，通过仿生视觉成像单元采集环境信息，生成第一图像并标记当前帧。

一种可选的实施方式中，获取当前帧的第一图像之后，可以对第一图像进行畸变校正、降噪等预处理操作，增强有关信息的可检测性，从而增强图像检测的可靠性。

一种可选的实施方式中，在执行下一步骤之前，为了简化数据，加快图像处理速度，该方法还可以包括：对第一图像进行下采样处理，得到下采样处理后的第一图像。如图3所示，下采样处理后的第一图像可以作为类似于仿生眼视野中周边视的视图成像，而在原始第一图像分辨率较小的情况下，可以不进行下采样，直接将通过仿生视觉成像单元获得的原始始第一图像作为周边视的视图成像。

具体的，假设第一图像的原始分辨率为M*N，对原始第一图像进行下采样，得到分辨率为aM*bN的周边视视图，其中0

S203：对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息。

本申请实施例中，对第一图像进行对象位置检测，即检测出第一图像中的对象并得到该对象的位置，对象包括待追踪目标；当第一图像存在多个对象时，可以得到多个对象的多个第一位置信息，即也可以包含多个待追踪目标。根据实际需要，可以对检测出第一图像中的多个对象进行筛选，将不符合要求的对象删除，将剩余对象作为待追踪目标，也可以将全部对象作为待追踪目标。

一种可选的对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息的实施方式中，包括：

若没有待追踪目标的参考图像，可以根据获取的已训练的对象检测模型对第一图像进行检测，得到第一图像中对象的第一位置信息；或者；若已知待追踪目标的参考图像，可以根据获取的目标对象参考图像和已训练的目标检测模型对第一图像进行检测，得到第一图像中对象的第一位置信息。具体的，对象检测模型和目标检测模型均可以是基于现有神经卷积网络模型或对其结构进行改进后训练得到的。

一种可选的实施方式中，与上文中对第一图像进行下采样处理的步骤相对于的，在执行下一步骤之前，该方法还包括：基于采样系数对第一位置信息进行修正，得到修正后的第一位置信息。即，基于采样系数或者说是缩放关系，得到对象在原始第一图像中的位置，对象在原始第一图像中的位置即修正后的第一位置信息。例如，利用模型或者算法得到的第一图像中对象的第一位置信息为(x1，y1)，由采样系数或缩放关系得其在原始第一图像的位置为(x1/a，y1/b)，其中a和b为上文中在生成周边视视图时原始第一图像水平和垂直方向的缩放系数。

S205：基于第一位置信息确定第一追踪区域和特征区域。

本申请实施例中，基于第一位置信息确定第一追踪区域和特征区域指的是，以对象的第一位置信息为中心，在第一图像中截取预设尺寸的第一追踪区域和特征区域；如图3所示，第一追踪区域类似于仿生眼视野中中心视的视图区域，以待追踪目标为中心，保留原始第一图像中的所有像素，保证中心视视图中物体纹理细节的完整性。从第一图像中截取的预设范围内的图像信息作为该待追踪目标的图像特征，用特征区域来表示，后续步骤可通过匹配此特征区域完成对目标的追踪。若前序步骤中确定了多个对象以及多个第一位置信息，则该步骤中需要以每个第一位置信息为中心，截取多个第一追踪区域和多个特征区域。

一种可选的实施方式中，特征区域的范围可以是固定尺寸的宽*高；也可以根据待追踪目标进行适配，因此对应的，在执行该步骤之前，该方法还包括：对对象进行识别，得到对象的类别；根据对象的类别确特征区域的尺寸。

S207：在下一帧的第一图像中，确定与第一追踪区域相匹配的第一目标追踪区域。

本申请实施例中，由于图像的连贯性，对于已经处于中心视视野内的追踪中的目标，其追踪过程不需要在全图视野内进行搜索，可以优先在上一帧的中心视视图区域内搜索其位置；即，在下一帧的第一图像中，首先需要确定与当前帧第一图像中第一追踪区域相匹配的第一目标追踪区域，在该第一目标追踪区域搜索待追踪目标的位置。

S209：基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的第一目标位置信息。

本申请实施例中，对第一目标追踪区域进行目标检测，即在第一目标追踪区域中找到与特征区域相匹配的位置，该位置即下一帧的第一图像中对象的第一目标位置信息。

一种可选的基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的第一目标位置信息的实施方式中，包括：

获取已训练的特征匹配模型；

将特征区域或者特征区域经过特征提取后的特征信息，以及第一目标追踪区域作为已训练的特征匹配模型的输入，输出特征匹配结果；

若特征匹配结果为第一目标追踪区域中包含与特征区域或特征信息匹配的目标区域，则基于目标区域确定下一帧的第一图像中对象的第一目标位置信息；

若特征匹配结果为第一目标追踪区域中不包含与特征区域或特征信息匹配的目标区域，则对特征区域进行下采样处理；

将下采样处理后的特征区域作为目标对象参考图像。该情况下，目标对象参考图像可以用于上文中步骤S203，参见步骤S203的一种可实施方式中，该目标对象参考图像可以作为待追踪目标的参考图像，根据该目标对象参考图像和已训练的目标检测模型对第一图像进行检测，相比于没有待追踪目标的参考图像的情况，更加有针对性，可以提高检测的效率。

以下介绍本申请另一种目标追踪方法的具体实施例，图4是本申请实施例提供的另一种目标追踪方法的流程示意图，该实施例中，如图5所示的具体应用场景中，仿生视觉成像单元包括第一图像采集组件501和第二图像采集组件502；第一图像采集组件501和第二图像采集组件502相对固定；第一图像采集组件501和第二图像采集组件502采集的数据传递至图像处理单元，由图像处理单元实现目标的追踪，因此该实施例方法执行主语为图像处理单元，该实施例或者附图所示的方法可以顺序执行或者并行执行，具体的如图4所示，该方法可以包括：

S401：通过第一图像采集组件采集当前帧的第一图像。

S402：通过第二图像采集组件采集当前帧的第二图像。

具体的，第一图像采集组件501和第二图像采集组件502固定在同一结构上，第一图像采集组件501和第二图像采集组件502左右对称设置，相对位置不会发生改变；第一图像采集组件501包括第一相机5011和第一镜头5012，第二图像采集组件502包括第二相机5021和第二镜头5022，第一相机5011和第二相机5021采用同型号的成像元件，且通过同一外部硬件时钟同步工作；第一镜头5012和第二镜头5022采用焦距同样视角的镜头，分别固定在第一相机5011和第二相机5021上；进一步地，第一相机5011和第二相机5021采用高分辨率成像元件，如分辨率为4K的CMOS元件，第一镜头5012和第二镜头5022采用短焦广角镜头，如水平视野角在120度以上的镜头。

S403：对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息。

S404：基于第一位置信息在第二图像中确定第一搜索区域。

S405：根据第一位置信息的像素值，从第一搜索区域中确定出第一目标像素，将第一目标像素的位置确定为对象的第二位置信息；第一目标像素的像素值和第一位置信息的像素值满足预设匹配程度值。

该步骤中，假设对第一图像进行对象位置检测之后，得到的第一图像中对象的第一位置信息为P1(x1，y1)，第一搜索区域可以是第二图像中与P1(x1，y1)处于同一行或者同一列或者预设行列范围内的像素区域；根据第一位置信息的像素值在第一搜索区域内查找与P1(x1，y1)匹配的像素位置，像素值可以是RGB值或灰度值，若成功匹配到第一目标像素，则将第一目标像素的位置确定为对象的第二位置信息并标记为P2(x2，y2)。

S406：基于第一位置信息确定第一追踪区域和特征区域。

S407：基于第二位置信息确定第二追踪区域。

S408：在下一帧的第一图像中，确定与第一追踪区域相匹配的第一目标追踪区域。

S409：在下一帧的第二图像中，确定与第二追踪区域相匹配的第二目标追踪区域。

S410：基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的第一目标位置信息。

S412：根据第一目标位置信息的像素值，从第二搜索区域中确定出第二目标像素，将第二目标像素的位置信息确定为对象的第二目标位置信息；第二目标像素的像素值和第一目标位置信息的像素值满足预设匹配程度值。

S411：基于第一目标位置信息在第二目标追踪区域中确定第二搜索区域。

该步骤中，与步骤S405类似，假设基于特征区域对第一目标追踪区域进行目标检测之后，得到的下一帧的第一图像中对象的第一目标位置信息为Q1(x1’，y1’)，第二搜索区域可以是第二目标追踪区域中与Q1(x1’，y1’)处于同一行或者同一列或者预设行列范围内的像素区域；根据第一目标位置信息像素值在第二搜索区域内查找与Q1(x1’，y1’)匹配的像素位置，像素值可以是RGB值或灰度值，若成功匹配到第二目标像素，则将第二目标像素的位置确定为对象的第二目标位置信息并标记为Q2(x2’，y2’)。

本申请实施例还提供了一种仿生视觉装置，图6是本申请实施例提供的一种仿生视觉装置的结构示意图，如图6所示，该装置包括仿生视觉成像单元601和目标追踪单元6020，目标追踪单元602具体包括：

获取模块6021，用于获取当前帧的第一图像；第一图像是通过仿生视觉成像单元得到的；

第一检测模块6022，用于对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息；

第一确定模块6023，用于基于第一位置信息确定第一追踪区域和特征区域；

第二确定模块6024，用于在下一帧的第一图像中，确定与第一追踪区域相匹配的第一目标追踪区域；

第二检测模块6025，用于基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的第一目标位置信息。

一种可选的实施方式中，仿生视觉成像单元601的具体结构可以参照附图5所示以及上文方法实施例的介绍，此处不再赘述。

一种可选的实施方式中，目标追踪单元602具体还包括下采样模块和修正模型；

下采样模块，用于对第一图像进行下采样处理，得到下采样处理后的第一图像；

修正模块，用于基于采样系数对第一位置信息进行修正，得到修正后的第一位置信息。

一种可选的实施方式中，仿生视觉成像单元包括第一图像采集组件和第二图像采集组件；第一图像采集组件和第二图像采集组件相对固定；

获取模块6021具体用于：通过第一图像采集组件采集当前帧的第一图像；通过第二图像采集组件采集当前帧的第二图像。

一种可选的实施方式中，目标追踪单元602具体还包括第三确定模块；

第三确定模块，用于基于第一位置信息在第二图像中确定第一搜索区域；根据第一位置信息的像素值，从第一搜索区域中确定出第一目标像素，将第一目标像素的位置确定为对象的第二位置信息；第一目标像素的像素值和第一位置信息的像素值满足预设匹配程度值。

一种可选的实施方式中，第三确定模块还用于：

基于第二位置信息确定第二追踪区域；在下一帧的第二图像中，确定与第二追踪区域相匹配的第二目标追踪区域；基于第一目标位置信息在第二目标追踪区域中确定第二搜索区域；根据第一目标位置信息的像素值，从第二搜索区域中确定出第二目标像素，将第二目标像素的位置信息确定为对象的第二目标位置信息；第二目标像素的像素值和第一目标位置信息的像素值满足预设匹配程度值。

一种可选的实施方式中，第三确定模块还用于：对对象进行识别，得到对象的类别；根据对象的类别确特征区域的尺寸。

一种可选的实施方式中，第一检测模块6022具体用于：根据获取的已训练的对象检测模型对第一图像进行检测，得到第一图像中对象的第一位置信息；或；根据获取的目标对象参考图像和已训练的目标检测模型对第一图像进行检测，得到第一图像中对象的第一位置信息。

一种可选的实施方式中，第二检测模块6025具体用于：

获取已训练的特征匹配模型；将特征区域或者特征区域经过特征提取后的特征信息，以及第一目标追踪区域作为已训练的特征匹配模型的输入，输出特征匹配结果；若特征匹配结果为第一目标追踪区域中包含与特征区域或特征信息匹配的目标区域，则基于目标区域确定下一帧的第一图像中对象的第一目标位置信息；若特征匹配结果为第一目标追踪区域中不包含与特征区域或特征信息匹配的目标区域，则对特征区域进行下采样处理；将下采样处理后的特征区域作为目标对象参考图像。

本申请实施例中的装置与方法实施例基于同样地申请构思。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。