一种光楔组驱动仿生双目视觉追踪装置和方法

技术领域

本发明涉及光学成像及视觉跟踪技术领域，尤其是涉及一种光楔组驱动仿生双目视觉追踪装置和方法。

背景技术

随着视觉仿生和图像处理等技术的快速发展，诞生了机器视觉这一崭新领域，并已经在智能制造系统、智能监控、医疗成像、航天军工等领域得到了广泛的应用。在仿生视觉研究中，由于人类眼球具有卓越的动态特性和综合感知能力，仿人眼双目视觉一直是机器视觉的研究热点。目前双目立体视觉系统左右相机多为固定安装，具有深度感知、三维场景重现等功能，但由于相机视轴固定的局限性，导致传统双目视觉系统的公共视场较小，缺乏一定的灵活性和适应性。

以下现有技术提出了几种典型的仿生双目视觉立体装置：

现有技术中，申请号为CN200910045961.3的中国申请专利公开了一种仿生技术领域的仿生双目立体视觉装置，其基座和其中的一个装有摄像机的第二连杆通过两个分支相连接：第一分支的驱动摆杆的一端通过转动副与电机相连，另一端通过转动副与第一连杆的一端相连，第一连杆的另一端通过转动副与连接装有摄像机的第二连杆相连；第二分支的驱动摆杆的一端通过转动副与电机相连，另一端与第三连杆的一端相连，第三连杆的另一端通过转动副与设置有摄像机的U形件的一端相连；基座和另一个设置有摄像机的第六连杆亦通过两个分支相连接。利用两个电机实现两个摄像头同步运动，结构紧凑，两摄像机间的相互位置固定，降低了系统标定的难度。但该装置左右相机自由度较少，灵活度较差，难以模拟双眼的各种功能。

申请号为CN201611055676.6的中国申请专利公开了一种光楔组驱动仿生双目视觉追踪装置和方法九自由度双目仿生眼，包括：由左眼球机构、右眼球机构组成的双目仿生眼以及颈部机构；左眼球机构包括：安装在眼球内且可自旋转的摄像头，用于控制眼球左右运动的第一电机以及用于控制眼球上下运动的第二电机；左眼球机构安装在支架上；右眼球机构与左眼球机构的构成相同，以镜像对称的方式安装在支架上；颈部机构包括：用于带动双目仿生眼做旋转运动的第三颈部电机，用于带动双目仿生眼做上下俯仰运动的第一颈部电机；用于带动双目仿生眼做左右摆动运动的第二颈部电机。该装置可实现全场景的视觉信息获取，但多个电机的存在也会导致机械结构较为庞大，控制方法复杂。

综上所述，现有技术中对于仿生双目视觉的研究存在相机视轴固定、缺乏灵活性和适应性、机械结构庞大及控制方法复杂等缺点。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种光楔组驱动仿生双目视觉追踪装置和方法。本发明在左右相机固定的情况下，在左右镜头前分别增加了可实时调整相机成像视轴的旋转光楔装置，结合人类眼球运动机理，通过控制算法调整左右旋转光楔装置对应的转角和转速，能够实现类人眼的共轭运动、异向运动和稳态跟踪等多种动态视觉模式，具有良好的成像灵活性、动态响应性和环境适应性。

本发明的目的可以通过以下技术方案来实现：

一种光楔组驱动仿生双目视觉追踪装置，包括上位机、相机、旋转光楔装置及标定组件；

所述相机包括左相机和右相机，左相机和右相机的光轴平行；所述相机用于获取目标图像；

所述旋转光楔装置包括左旋转光楔装置及右旋转光楔装置，左旋转光楔装置和右旋转光楔装置分别设于所述左相机和右相机的正前方，所述旋转光楔装置用于调整相机的成像视轴；

所述左相机和右相机的成像视轴分别与左旋转光楔装置和右旋转光楔装置的光轴保持同轴；

所述标定组件包括平面靶标和标定板，所述平面靶标的十字准线与相机图像的中心准线重合，所述标定组件设置于左相机和右相机的公共视场内；所述标定组件用于标定相机和旋转光楔装置之间内外参数；

所述上位机分别与相机及旋转光楔装置连接。

优选的，所述的旋转光楔装置包括光楔组件和驱动组件；

所述光楔组件包括多个光楔元件；

所述驱动组件用于驱动旋转光楔，从而扩大相机的视场。

一种光楔组驱动仿生双目视觉追踪方法，包括以下步骤：

S1、建立人类双眼与左光楔组件和右光楔组件的等效关系，基于双眼重叠域兴趣目标的物像映射和成像反馈机理，以视轴调整连续运动为原则，采用左光楔组件和右光楔组件联控柔性调整成像感知单元视轴，模拟双眼运动成像方式；

S2、根据左光楔组件和右光楔组件对相机成像视轴的偏转特性，基于光路可逆原理，建立等效动态虚拟双目相机模型；

S3、建立左相机和右相机坐标系，采用张正友标定法获取左相机和右相机的内部参数及其镜头的径向畸变系数，确定左相机和右相机的相对位姿参数；

S4、采用自准直互标定法确定每组光楔的主截面零位，并对相机与光楔组对准关系进行标定，建立左光楔组件和右光楔组件坐标系；

S5、根据动态虚拟相机模型，对虚拟相机内部参数、虚拟双目相机之间位姿参数以及动态虚拟相机成像畸变进行标定；

S6、在左相机和右相机公共视场内放置追踪目标，上位机通过视轴调整算法分别调整左光楔组件和右光楔组件件与其配套的相机成像视轴，使追踪目标处于双目相机的公共视场的中心位置；

S7、利用仿人眼生理学机制的分布感知原理和协同控制策略，由上位机通过视觉跟踪算法调整左光楔组件和右光楔组件与其配套的相机成像视轴，实现仿生双目视觉系统的闭环反馈自动稳像和动态目标快速跟踪。

优选的，所述S1中左光楔组件和右光楔组件联控柔性调整成像感知单元视轴，模拟双眼运动成像的过程包括：

S11、根据光楔组件对相机成像视轴的偏转作用，依次获取光楔组件在不同转角方位组合所产生的成像视角，利用每个光楔绕光轴的独立旋转运动，改变成像单元的视轴指向；

S12、眼球运动主要可分为共轭运动、异向运动、稳态注视等，根据成像目标在相机视场内的运动模式，给予光楔组件中不同光楔元件一定的转角和转速进行同步旋转，从而依次改变左相机和右相机的成像视轴，使跟踪目标始终处于左相机和右相机的公共视场范围内。

优选的，所述S2中建立等效动态虚拟双目相机模型的过程包括：

S21、虚拟相机的视轴方向与实际相机的视轴偏转方向一致，则虚拟相机的光心位置位于虚拟相机的视轴线与逆向追迹光线的反向延长线的交点；

S22、根据实际相机位置与光楔元件参数，构建虚拟相机与实际相机在不同视轴指向下的位姿变换矩阵；

S23、结合虚拟相机光心位置和空间位姿参数，将两个固定相机的视轴指向序列等效为无穷组虚拟双目视觉阵列，即等效动态虚拟双目相机模型。

优选的，所述S3中确定左相机和右相机的相对位姿参数的过程包括：

S31、在左相机和右相机公共视场内放置一块标定板，改变标定板的位姿使左相机和右相机分别拍摄得到若干组左右图像；

S32、以左相机坐标系为世界坐标系，根据所述左右图像计算得到左相机和右相机的内部参数、镜头的径向畸变系数以及左相机和右相机的相对位姿。

优选的，所述S4中确定每组光楔的主截面零位，并对相机与光楔组对准关系进行标定的过程包括：

S41、采用自准直互标定法确定左光楔组件和右光楔组件的主截面零位，进行基准定位，调整两平行光管的分划板，使其水平刻线落在参考光楔主截面内，记录该位置；

S42、将参考光楔换成待标定光楔组进行装校，以平行光管刻线为基准，标定得到光楔组中各光楔主截面的初始位置；

S43、将已标定主截面的左光楔组件和右光楔组件与左相机和右相机同轴安装，移除左相机前方的光楔组装置，在左相机和右相机的公共视场内任意摆放平面靶标，分别控制左相机直视成像和右相机透过双光楔折射成像；

S44、基于左相机和右相机位姿关系，从左相机直视图像提取标定点的基准坐标并传递至右相机坐标系，同时从右相机折射成像结果预测标定点的三维坐标；

S45、通过最小化参考基准与模型预测之间的偏差，确定右相机与其光楔组的对准关系，同理以此方法标定左相机与其光楔组的对准关系。

优选的，所述S5中对虚拟相机内部参数、虚拟双目相机之间位姿参数以及动态虚拟相机成像畸变进行标定的过程包括：

S51、根据虚拟相机与实际相机的图像映射关系，虚拟像面上任意一点对应到实际像面上经过镜头畸变校正的一点，根据几何光学理论建立左右虚拟相机的针孔成像模型；

S52、结合左相机和右相机的相对位姿关系以及光楔组对成像视轴指向的控制规律，分别推导左相机和右相机对应虚拟相机的成像视轴指向和投影中心位置，得到左虚拟相机和右虚拟相机之间的坐标变换关系和相对位姿参数；

S53、采用虚拟相机投影光线逆向追迹方法，推导虚拟像面与实际像面的数学映射关系，建立非线性成像畸变拟合模型；

S54、利用虚拟相机投影光线与光楔组初始入射光线的重合约束，建立关于虚拟相机成像畸变系数的优化目标函数；

S55、针对不同棱镜转角组合下成像畸变分布与演变特性，形成以多阶畸变系数为变量、以光线追迹偏差最小为准则的优化目标函数。

优选的，所述S7中动态目标快速跟踪的过程包括：

S71、根据虚拟双目相机的运动轨迹描述和投影变换矩阵，建立双目图像序列的时空耦合约束关系，构建仿生双目共轭、异向、注视等不同运动模式视轴调整算法；

S72、从双目相机图像序列提取SURF特征运动流场，结合视觉显著性模型和空间信息引导机制进行前景区域分割与动态目标识；

S73、采用递推最小二乘算法估计目标位姿参数并建立其运动轨迹预测模型，获取当前目标相对于左相机和右相机视场中心的图像偏差信息；

S74、利用三角测量原理从左右图像偏差估计目标绝对定位信息，由视觉跟踪算法，通过光楔组逆向求解算法求解左光楔组件和右光楔组件转角参数，以保证双视场中心能同步锁定目标；

S75、将光楔组转角参数代入控制系统状态方程，在双视场协同控制能量约束条件下，产生左光楔组件和右光楔组件角速度、角加速度等多控制量的联合最优估计，建立闭环流程，实现连续、稳定、平滑的目标追踪功能。

优选的，所述光楔组逆向求解算法采用查表法、近似法或迭代法中的一种。

与现有技术相比，本发明具有以下有益效果：

1.本发明通过设置在左右相机前分别设置旋转光楔装置，通过旋转光楔装置调整相机的成像视轴，可以实现仿生双眼的运动模式，彻底摈弃了典型双目运动采用肌肉模拟或复杂机构组合模式，极大的简化了仿生眼球结构，实现在相机固定安装的情况下，大幅度提升相机的视场及成像灵活度，能够实现大视野、高分辨率以及低像差灵敏度的目标快速追踪、捕获和灵活切换，满足仿人眼双目动态视觉信息采集和传输的功能，同时结构紧凑、标定简单且具有较高的跟踪测量精度。

2.本发明中的两个固定相机可以等效为无穷组虚拟双目视觉阵列，形成自适应双目构型机制，从而为仿生双眼运动提供了丰富的选择模式。

3.由于双相机固定，一次标定内外参数即可满足各种不同眼球运动模式的双目成像需要，无需重复标定，简化了动态双目视觉的标定过程，控制方法简单。

4.本发明采用折射式视轴调整模式，棱镜转角和光束折射角存在较大减速比，具有很高的视轴指向精度，同时降低了机械误差扰动对视轴调整的影响。

5.本发明采用光楔装置正逆向解理论，可以精确的控制光楔装置调整视轴指向，配合有效的协同控制策略，可以追踪视域目标，进而获取双目立体视觉信息。

附图说明

图1为本发明的结构示意图；

图2为相机和虚拟相机位姿关系示意图；

图3为相机和光楔组系统标定流程框图；

图4为相机和虚拟相机位姿标定示意图；

图5为人眼与双光楔等效运动模式示意图；

图6为仿生动态双目视觉成像追踪方案；

图7为双光楔视轴跟踪迭代算法流程图。

附图标记：

1-左相机；2-左旋转双光楔；3-右相机；4-右旋转双光楔；5-上位机；6-标定组件；61-标定板；62-平面靶标；7-追踪目标；8-左虚拟相机；9-右虚拟相机；(a)-共轭运动；(b)-异向运动；(c)-稳态注视。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例一

如图1所示，本实施例提出一种光楔组驱动仿生双目视觉追踪装置，包括上位机5、相机、旋转光楔装置及标定组件6，具体的，包括左相机1、左旋转双光楔2、右相机3、右旋转双光楔4、上位机5和标定组件6；

左相机1和右相机3设置于追踪目标7周围，两相机光轴平行放置；左旋转双光楔2和右旋转双光楔4分别设置于左相机1和右相机3的正前方；且左、右相机的视轴和左、右旋转光楔装置的光轴分别对应保持同轴。

标定组件6包括标定板61和平面靶标62，设置于左相机1和右相机3的公共视场内；平面靶标62的十字准线与相机图像的中心准线重合，本实施例中使用同一个平面靶标依次对左相机和右相机进行标定，在其他实施方式中，可以使用两个平面靶标分别对左相机和右相机进行标定。

上位机5与左相机1、右相机3、左旋转双光楔2、右旋转双光楔4以及追踪目标7通信连接，本实施例中跟踪目标7以机器人为例。

如图2所示，可将双光楔驱动的双目立体视觉系统等效为动态虚拟双目相机系统，以提升动态视觉追踪控制与信息处理的简便性和灵活性。左相机1成像视轴经过左旋转双光楔2可等效为左虚拟相机8直视目标；同理，右相机3成像视轴经过右旋转双光楔4可等效为右虚拟相机9直视目标。

本实施例中，左相机和右相机的焦距、分辨率等内部参数以及与对应旋转光楔装置的外部位置参数可依据具体应用场合的变化进行同步调整，其中左相机和右相机的型号、参数以及与对应旋转光楔装置的外部位置参数可以完全相同，也可以根据实际需要差异化选择。

优选的，左旋转光楔装置和右旋转光楔装置的光楔参数、布置形式完全相同，也可以根据实际需要差异化选择。

旋转光楔装置包括光楔组件和驱动组件，光楔组件包括多个数量不等的光楔元件，其光学参数和布置形式可依据视场范围要求进行匹配和调整；驱动组件可采用力矩电机直驱或齿轮传动、同步带传动、蜗轮蜗杆传动等方式。

本实施例在相机前方放置旋转光楔装置，在相机固定的情况下，通过旋转光楔对相机的视场产生扩展作用，从双光楔视轴指向、运动维度和追踪模式三个层面构建三自由度单眼视觉运动模型，并引入双目立体视觉；同时根据成像原理构建等效虚拟双目相机，形成自适应双目构型机制，建立左右眼球模型与相机视场区域的对应关系，提升动态视觉追踪控制与信息处理的简便性和灵活性，实现仿人眼的双目视觉。相比于已有的多自由度仿生双目视觉系统，本实施例成像系统无须左右相机本体进行任何形式的运动，由两组光楔装置驱动即可实现仿生双眼的六维运动，整体装置结构紧凑，具有良好的成像视场范围、图像分辨率、成像效率、灵活性以及环境适应性。

实施例二

如图3至图7所示，本实施例提出一种光楔组驱动仿生双目视觉追踪方法，包括以下步骤：

S1、建立人类双眼与左光楔组件和右光楔组件的等效关系，基于双眼重叠域兴趣目标的物像映射和成像反馈机理，以视轴调整连续运动为原则，采用左光楔组件和右光楔组件联控柔性调整成像感知单元视轴，模拟双眼运动成像方式；

S2、根据左光楔组件和右光楔组件对相机成像视轴的偏转特性，基于光路可逆原理，建立等效动态虚拟双目相机模型；

S3、建立左相机和右相机坐标系，采用张正友标定法获取左相机和右相机的内部参数及其镜头的径向畸变系数，确定左相机和右相机的相对位姿参数；

S4、采用自准直互标定法确定每组光楔的主截面零位，并对相机与光楔组对准关系进行标定，建立左光楔组件和右光楔组件坐标系；

S5、根据动态虚拟相机模型，对虚拟相机内部参数、虚拟双目相机之间位姿参数以及动态虚拟相机成像畸变进行标定；

S6、在左相机和右相机公共视场内放置追踪目标，上位机通过视轴调整算法分别调整左光楔组件和右光楔组件件与其配套的相机成像视轴，使追踪目标处于双目相机的公共视场的中心位置；

S7、利用仿人眼生理学机制的分布感知原理和协同控制策略，由上位机通过视觉跟踪算法调整左光楔组件和右光楔组件与其配套的相机成像视轴，实现仿生双目视觉系统的闭环反馈自动稳像和动态目标快速跟踪。

S1中左光楔组件和右光楔组件联控柔性调整成像感知单元视轴，模拟双眼运动成像的过程包括：

S11、根据光楔组件对相机成像视轴的偏转作用，依次获取光楔组件在不同转角方位组合所产生的成像视角，利用每个光楔绕光轴的独立旋转运动，改变成像单元的视轴指向；

S12、眼球运动主要可分为共轭运动、异向运动、稳态注视等，根据成像目标在相机视场内的运动模式，给予光楔组件中不同光楔元件一定的转角和转速进行同步旋转，从而依次改变左相机和右相机的成像视轴，使跟踪目标始终处于左相机和右相机的公共视场范围内。

S2中建立等效动态虚拟双目相机模型的过程包括：

S21、虚拟相机的视轴方向与实际相机的视轴偏转方向一致，则虚拟相机的光心位置位于虚拟相机的视轴线与逆向追迹光线的反向延长线的交点；

S22、根据实际相机位置与光楔元件参数，构建虚拟相机与实际相机在不同视轴指向下的位姿变换矩阵；

S23、结合虚拟相机光心位置和空间位姿参数，将两个固定相机的视轴指向序列等效为无穷组虚拟双目视觉阵列，即等效动态虚拟双目相机模型。

S3中确定左相机和右相机的相对位姿参数的过程包括：

S31、在左相机和右相机公共视场内放置一块标定板，改变标定板的位姿使左相机和右相机分别拍摄得到若干组左右图像；

S32、以左相机坐标系为世界坐标系，根据左右图像计算得到左相机和右相机的内部参数、镜头的径向畸变系数以及左相机和右相机的相对位姿。

S4中确定每组光楔的主截面零位，并对相机与光楔组对准关系进行标定的过程包括：

S41、采用自准直互标定法确定左光楔组件和右光楔组件的主截面零位，进行基准定位，调整两平行光管的分划板，使其水平刻线落在参考光楔主截面内，记录该位置；

S42、将参考光楔换成待标定光楔组进行装校，以平行光管刻线为基准，标定得到光楔组中各光楔主截面的初始位置；

S43、将已标定主截面的左光楔组件和右光楔组件与左相机和右相机同轴安装，移除左相机前方的光楔组装置，在左相机和右相机的公共视场内任意摆放平面靶标，分别控制左相机直视成像和右相机透过双光楔折射成像；

S44、基于左相机和右相机位姿关系，从左相机直视图像提取标定点的基准坐标并传递至右相机坐标系，同时从右相机折射成像结果预测标定点的三维坐标；

S45、通过最小化参考基准与模型预测之间的偏差，确定右相机与其光楔组的对准关系，同理以此方法标定左相机与其光楔组的对准关系。

S5中对虚拟相机内部参数、虚拟双目相机之间位姿参数以及动态虚拟相机成像畸变进行标定的过程包括：

S51、根据虚拟相机与实际相机的图像映射关系，虚拟像面上任意一点对应到实际像面上经过镜头畸变校正的一点，根据几何光学理论建立左右虚拟相机的针孔成像模型；

S52、结合左相机和右相机的相对位姿关系以及光楔组对成像视轴指向的控制规律，分别推导左相机和右相机对应虚拟相机的成像视轴指向和投影中心位置，得到左虚拟相机和右虚拟相机之间的坐标变换关系和相对位姿参数；

S53、采用虚拟相机投影光线逆向追迹方法，推导虚拟像面与实际像面的数学映射关系，建立非线性成像畸变拟合模型；

S54、利用虚拟相机投影光线与光楔组初始入射光线的重合约束，建立关于虚拟相机成像畸变系数的优化目标函数；

S55、针对不同棱镜转角组合下成像畸变分布与演变特性，形成以多阶畸变系数为变量、以光线追迹偏差最小为准则的优化目标函数。

S7中动态目标快速跟踪的过程包括：

S71、根据虚拟双目相机的运动轨迹描述和投影变换矩阵，建立双目图像序列的时空耦合约束关系，构建仿生双目共轭、异向、注视等不同运动模式视轴调整算法；

S72、从双目相机图像序列提取SURF特征运动流场，结合视觉显著性模型和空间信息引导机制进行前景区域分割与动态目标识；

S73、采用递推最小二乘算法估计目标位姿参数并建立其运动轨迹预测模型，获取当前目标相对于左相机和右相机视场中心的图像偏差信息；

S74、利用三角测量原理从左右图像偏差估计目标绝对定位信息，由视觉跟踪算法，通过光楔组逆向求解算法求解左光楔组件和右光楔组件转角参数，以保证双视场中心能同步锁定目标；

S75、将光楔组转角参数代入控制系统状态方程，在双视场协同控制能量约束条件下，产生左光楔组件和右光楔组件角速度、角加速度等多控制量的联合最优估计，建立闭环流程，实现连续、稳定、平滑的目标追踪功能。

光楔组逆向求解算法采用查表法、近似法或迭代法中的一种。

具体实施时，包括以下步骤：

步骤1、参数匹配与系统构建：

步骤11、根据仿生眼系统的成像性质、视场范围、图像分辨率等要求，左相机和右相机的参数应完全相同，选择左右相机参数：水平视场角23.39°，垂直视场角17.65°，成像分辨率为1600×1200，像素尺寸为4.4μm×4.4μm，镜头焦距f＝12mm、16mm、35mm，帧频大于120fps，针对不同的应用场景，权衡视轴指向范围和立体成像质量；

步骤12、旋转双光楔装置中两光楔元件完全相同，光楔楔角α＝20.05°，折射率n＝1.517，直径D

步骤13、以左相机光心为原点建立左相机坐标系O

步骤2、成像系统内外参数标定，如图3所示，仿生双目视觉系统的标定采用自内向外的策略，先分别获取相机与双光楔的内部特征参数，即相机内外参数和光楔的主截面零位；再依次确定左右相机以及与双光楔的相对位姿关系，通过偏差最小化实现相机与双光楔的对准。具体步骤为：

步骤21、选择最小正方形边长为12.5mm的棋盘格标定板，采用张正友标定法，左右相机分别拍摄多幅不同位姿的标定板图像，获取左右相机的内部参数及其镜头的径向畸变系数；

步骤22、结合透视投影模型与刚体变换关系确定左右相机的相对位姿参数，即旋转矩阵和平移向量。

步骤23、采用自准直互标定法确定每组双光楔的主截面零位，进行基准定位，调整两平行光管的分划板，使其水平刻线落在参考光楔主截面内，记录该位置；

步骤24、将参考双光楔换成待标定双光楔进行装校，以平行光管刻线为基准，标定双光楔主截面的初始位置，并将标定好的双光楔以平面侧向外安装于相机正前方；

步骤25、利用辅助基准传递原理标定每组相机与双光楔的轴向对准关系，移除左相机前方的双光楔装置，在左右相机的公共视场内任意摆放平面靶标，针对不同位置的平面靶标，分别控制左相机直视成像和右相机透过双光楔折射成像；

步骤26、从左相机直视图像提取标定点的基准坐标并传递至右相机坐标系，同时从右相机折射成像结果预测标定点的三维坐标，通过最小化参考基准与模型预测之间的偏差，确定右相机与其双光楔的对准关系；

步骤27、同理以此方法标定左相机与其双光楔的对准关系，并标定左右相机与左右双光楔之间的几何位置参数。

步骤3、虚拟相机位姿标定与畸变校正：

步骤31、根据相机、旋转双光楔成像模型，将双光楔驱动的双目立体视觉系统等效为动态虚拟双目相机系统，建立左右虚拟相机坐标系，如图4所示；

步骤32、虚拟相机像面上任意一点均可对应到实际像面上经过镜头畸变校正的一点，根据虚拟相机与实际相机的图像映射关系，建立左右虚拟相机的针孔成像模型，获得其等效焦距分别为f

步骤33、结合左右相机的相对位姿关系以及双光楔对成像视轴指向的控制规律，通过矢量折射定律与逆向光线追迹方法，根据左右相机的成像视轴指向s

以左右实际相机的投影中心位置o

由于左右实际相机的相对旋转矩阵R

步骤34、采用虚拟相机投影光线逆向追迹方法，推导虚拟像面与实际像面的数学映射关系，建立非线性成像畸变拟合模型；

步骤35、利用虚拟相机投影光线与光楔组初始入射光线的重合约束，建立关于虚拟相机成像畸变系数的优化目标函数；

步骤36、针对不同棱镜转角组合下成像畸变分布与演变特性，形成以多阶畸变系数为变量、以光线追迹偏差最小为准则的优化目标函数，该目标函数通过数值迭代优化算法求解，表示为：

其中上标m用于区分左右虚拟相机，b

步骤4、仿生双目立体成像与视轴调整：

步骤41、跟踪目标以机器人末端为例，使跟踪目标落入左右相机公共视场内。目标光线对应左双光楔的出射点为(X

式中，T

步骤42、根据已标定好的左右相机和左右旋转双光楔，结合追踪目标在公共视场中的位置以及虚拟双目相机的视轴指向变化进行逆向追迹，通过旋转双光楔的逆向解调整左右旋转双光楔转角，即调整左右光线相对于系统光轴的俯仰角ρ和方位角

步骤5、仿生双目成像视轴追踪，如图6所示，为仿生动态双目视觉成像追踪方案，左、右仿生眼分别通过左、右相机及双光楔通信控制模块传输目标图像给高仿生双目视觉上位系统，其中眼球驱动控制系统实现各光楔转角控制，立体成像系统实现三维点云的生成与建模，动态追踪系统实现双视场成像视轴的协同跟踪控制，具体步骤为：

步骤51、设定跟踪目标移动路径，从双目相机图像序列提取跟踪目标步骤URF特征运动流场，结合视觉显著性模型和空间信息引导机制进行前景区域分割与动态目标识别；

步骤52、采用递推最小二乘算法估计目标位姿参数并建立其运动轨迹预测模型，获取当前目标相对于左右相机视场中心的图像偏差信息，利用三角测量原理从左右图像偏差估计目标绝对定位信息；

步骤53、由仿生双目共轭、异向、注视等不同运动模式视轴调整策略，如图5所示，其中(a)表示共轭运动，(b)表示异向运动，(c)表示稳态注视。通过旋转双光楔逆向求解算法求解并调整左右双光楔组转角参数，以保证双视场中心能同步锁定目标，实现仿生双目视觉联合反馈协同控制；

步骤54、设定综合图像误差阈值，计算追踪目标在左右相机中像点与视场中心的距离，计算左右相机综合跟踪误差。若综合误差大于误差阈值，则迭代上述调整过程；若小于误差阈值则结束任务，完成左右双光楔对视轴的协同控制，迭代过程如图7所示。

式中，(x

如图7所示，为双光楔视轴跟踪迭代算法流程图，包括以下步骤：

1)设置迭代次数上限CountMax，初始迭代步长Step和跟踪精度BiasThresh，令迭代次数Count＝0；

2)调整相机视轴方位角；

3)若当前偏差Bias>BiasThresh，则调整相机视轴俯仰角，执行Count++，并进入下一步骤；否则跟踪成功，并结束全部步骤。

4)判断是否满足Bias>BiasThresh且Count≤CountMax，若是，则令Step＝Step/2，并返回步骤(2)；否则执行下一步骤；

5)判断是否满足Bias>BiasThresh，若是，则超过迭代次数，并结束全部步骤；否则跟踪成功，并结束全部步骤。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。