一种TOF相机标定和补偿方法

技术领域

本申请涉及一种TOF相机标定和补偿方法。

背景技术

TOF(Time ofFlight飞行时间)相机通过对光子飞行时间的测量来捕获图像。相机上的高频调制的LED或者激光二极管(LD)发射出光子，然后光子被目标反射发散，最后，发射出去的光子中有一部分被反射回相机并被相机中的解调像素捕获。光子这段飞行时间发生在一个非常短的时间，光子的速度为300000km/s或者30cm/ns。而且，由于TOF相机可以同时获取灰度图像和深度图像，故已逐渐应用于手势控制、3D建模、汽车雷达以及机器人视觉等系统领域中。

TOF相机的测距精度极易受到内部和外部因素的影响，内部因素包括TOF传感器不均匀性的距离响应(DRNU Distance Response Non-Uniformity ofthe sensor)、温度漂移(测量过程中的探测器，内部不同区域的温度有差别，而且随时在改变)、接收光的信号幅度等，外部因素包括环境光、场景目标反射率等。

由于光速很快，高达30cm/ns，如果想通过TOF相机在测距上实现厘米级别的相位偏移角度和距离分辨率，那时间分辨率必须要达到30ps(picosecond皮秒)。这是非常高的要求，尤其是成千上万个像素在每秒几十次的测量里都要达到这样高的精度。TOF探测器芯片内的各个晶体管相互之间在各自的布局布线上，自身的温度和温度变化率都是有一些与生俱来的区别的。反射光的强度，温度漂移和最后的环境光改变都会导致测量偏差达到好几十厘米。

为了提高TOF深度相机的测量精度，业界普遍采用对TOF深度相机进行提前标定和测量补偿的方法来提高精度，但是已经存在的标定和补偿方法要么标定装置太复杂造成成本高昂，难以实现，要么标定补偿方法的精度不够。

发明内容

本发明的目的是提供一种TOF相机标定和补偿方法，具有标定操作简单、标定结果准确的优点。

为实现上述目的，本发明提供一种TOF相机标定和补偿方法，其包含：

S10、所述TOF相机进入TOF灰度标定模式，获取所述TOF相机的DSNU(x,y)校正查询表，计算获取PRNU(x,y)校正查询表；

S20、所述TOF相机开启深度DRNU标定模式，对所述TOF相机进行环境光标定并计算得到环境光补偿校正系数K

S30、得到所述TOF相机的DRNU校正表，读取所述TOF相机标定期间的温度T

S40、所述TOF相机进入运行状态，在所述运行状态完成灰度数据、差分相关性采样数据采集、环境光补偿、目标原生距离计算、DRNU误差补偿和温度补偿。

较佳地，所述TOF相机内设有TOF探测器，所述TOF探测器内设有DLL延时线，在S30中，通过所述DLL延时线或外加延时线得到所述TOF相机的所述DRNU校正表。

较佳地，所述S10包括以下步骤：

S101、搭建标定环境，将所述TOF相机设置为单个差分相关性采样模式并设置相应的积分时间为0，曝光得到一帧灰度图像DSNU image，并存储进DSNU(x,y)数组；

S102、调整积分时间并曝光得到信号幅度为全信号幅度50％的一帧图像并存储进gray

S103、根据所述DSNU(x,y)和所述gray

较佳地，在步骤S101中，连续曝光多次，将多次曝光结果的平均值作为所述灰度图像DSNU image存储进所述DSNU(x,y)数组。

较佳地，步骤S20包括：

S201、搭建标定环境；

S202、设置所述TOF相机的积分时间；

S203、所述TOF相机进入第一AL曝光设置，采集得到DCS0withALsetting1和DCS2withALsetting1；

S204、所述TOF相机进入第二AL曝光设置，采集得到DCS0withALsetting2和DCS2withALsetting2；

S205、在无环境光的时候采集得到DCS0withALsetting3和DCS2withALsetting3；

S206、计算K

较佳地，所述步骤S202中，设置所述TOF相机的积分时间为50us。

较佳地，所述第二AL曝光设置的积分时间长度为所述第一AL曝光设置的积分时间长度的四分之一。

较佳地，步骤S30包括：

S301、搭好标定环境并设置积分时间使相机的强度幅度达到1000LSB；

S302、启动标定程序开始标定，将所述TOF相机标定期间的温差控制在0.5度以内，读取并记录标定期间的所述温度T

S303、将标定结果保存至DRNUcalib

较佳地，步骤S40包括：

S401、灰度曝光得到补偿后的灰度图gray

S402、所述TOF相机进行不同深度曝光，得到四张差分相关性采样图：DCS0

S403、对DCS0

S404、根据所述DCS0

S405、根据所述DRNU校正表和DRNU校正算法对所述原生距离dRaw

S406、根据所述温度T

较佳地，所述DRNU校正算法包括以下步骤：

S501、在DRNUcalib

S502、在所述DRNUcalib

S503、根据DRNUcalib

综上所述，与现有技术相比，本发明提供的TOF相机标定和补偿方法，具有如下有益效果：

本申请的TOF相机标定和补偿方法，标定操作简单且准确，补偿充分，大大提高了TOF相机的精确度和鲁棒性。

附图说明

图1为本发明TOF相机标定和补偿方法的流程图。

具体实施方式

以下将结合本发明实施例中的附图1，对本发明实施例中的技术方案、构造特征、所达成目的及功效予以详细说明。

需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括明确列出的要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本发明提供了一种TOF相机标定和补偿方法，利用TOF相机的标定装置进行标定和补偿，其中标定装置包括标定盒、灯管、复印纸和安装有LED阵列的覆盖板。标定盒内壁以及灯管表面为黑色以最大程度减弱光在标定盒内壁和灯管内壁的反射。标定盒的一侧设有灯孔和灯管孔以便于带有光源的TOF相机和灯管安装。复印纸充当朗博反射体用来反射TOF相机光源发出的光。LED阵列安装在覆盖板的一侧，LED阵列主要用于TOF相机的灰度标定，在灰度标定过程中，覆盖板覆盖住标定盒的另一侧。LED阵列照明用于模拟环境光干扰。

TOF相机标定和补偿方法包括以下步骤：

S10、TOF相机进入TOF灰度标定模式，获取TOF相机的DSNU(x,y)校正查询表，计算获取PRNU(x,y)校正查询表；

在本实施例中，S10包括以下步骤：

S101、搭建标定环境，将TOF相机设置为单个差分相关性采样模式并设置相应的积分时间为0，曝光得到一帧灰度图像DSNUimage，并存储进DSNU(x,y)数组；在本步骤中，连续曝光多次，将多次曝光结果的平均值作为灰度图像DSNUimage存储进DSNU(x,y)数组。在本实施例中，连续曝光50次求平均值以避免偶然误差，提高测量精度。计算公式如下：

DSNU(x，y)＝temporalAverage(gray

S102、调整积分时间并曝光得到信号幅度为全信号幅度50％的一帧图像并存储进gray

gray

S103、根据DSNU(x,y)和gray

计算获取PRNU(x,y)LUT(Look-Up-Table)校正查询表公式如下：

式中spatialAverage间域上取平均即对所有像素值取平均。

S20、TOF相机开启深度DRNU标定模式，对TOF相机进行环境光标定并计算得到环境光补偿校正系数K

步骤S20包括：

S201、搭建标定环境；在标定盒的一侧安装TOF相机，在标定盒的另一侧安装带有LED阵列的覆盖板，并且把设有LED阵列的一面放置在标定盒的里侧。安装完成后，开启LED阵列，并等待足够长的时间以等待LED阵列的发光强度稳定下来。

S202、设置TOF相机的积分时间。首先，将TOF相机的积分时间设置为50us。随后使用于模仿环境光的LED阵列的强度达到TOF相机探测器的最大幅度值的50％，约1000LSB(Least SignificantBit最低有效位)，该强度与环境光的强度AL＝20LSB/us一致。保存该灰度幅度值为amplitude50％。

S203、TOF相机进入第一AL曝光设置，采集得到DCS0withALsetting1和DCS2withALsetting1。在第一AL曝光设置下，设置TOF相机的积分时间倍数为1。TOF相机在TOF模式下曝光并保存DCS0和DCS2，即DCS0withALsetting1和和DCS2withALsetting1。

S204、TOF相机进入第二AL曝光设置，采集得到DCS0withALsetting2和DCS2withALsetting2。在第二AL曝光设置中，设置TOF相机的积分时间倍数为4，并且将第二AL曝光设置的积分时间长度为第一AL曝光设置的积分时间长度的四分之一。TOF相机在TOF模式下曝光并并保存DCS0和DCS2为DCS0withALsetting2和DCS2withALsetting2。

S205、在无环境光的时候采集得到DCS0withALsetting3和DCS2withALsetting3。无环境光时的曝光为第三AL曝光设置，在第三AL曝光设置下，关闭覆盖板上的LED阵列并将另一面即含有朗博反射体(白色复印纸)的一面朝向标定盒里面。TOF相机在TOF模式下曝光并保存DCS0和DCS2为DCS0withALsetting3和DCS2withALsetting3。

S206、计算K

计算d0

d0

计算d2

d2

计算d0

d0

计算d2

d2

计算slope：

计算K

S30、得到TOF相机的DRNU校正表，读取TOF相机标定期间的温度T

S301、搭好标定环境并设置积分时间使相机的强度幅度达到1000LSB；

S302、启动标定程序开始标定，将TOF相机标定期间的温差控制在0.5度以内，读取并记录标定期间的温度T

S303、将标定结果保存至DRNUcalib

S40、TOF相机进入运行状态，在运行状态完成灰度数据、差分相关性采样数据采集、环境光补偿、目标原生距离计算、DRNU误差补偿和温度补偿。步骤S40包括：

S401、灰度曝光得到补偿后的灰度图gray

gray

随后根据前述过程得到的PRNU对补偿得到gray

gray

S402、TOF相机进行不同深度曝光，得到四张差分相关性采样图：DCS0

S403、对DCS0

S404、根据DCS0

S405、根据DRNU校正表和DRNU校正算法对原生距离dRaw

S501、在DRNUcalib

S502、在DRNUcalib

S503、根据DRNUcalib

S406、根据温度T

d

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。