一种可自动调节曝光时间的TOF成像系统及其自动曝光方法

技术领域

本发明涉及飞行时间(TOF)传感器领域，更具体地，涉及一种可自动调节曝光时间的TOF成像系统及其自动曝光方法。

背景技术

飞行时间(Time-of-Flight,TOF)技术即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线和反射时间差或相位差，进而换算被拍摄对象的距离，以产生深度信息，即物体与摄像头的距离信息，也就提供详细的空间位置关系。TOF技术在无人机飞行避障、人机交互和手势识别、机器定位和智能导航、人体检测和物体探测、工业自动化以及无人驾驶领域得到广泛应用。由于所使用的TOF传感器分辨率越来越高、帧率越来越高，同时处理的TOF传感器数量越来越多，对多个TOF传感器数据的采集、传输和处理的数据量必将是越来越大，难度也会越来越大，如何高速的采集、传输这些TOF传感器数据成为系统的设计关键所在。

公开号为“CN109819174A”，公开日为2019年5月8日的中国专利文件中公开了一种基于TOF成像系统的自动曝光方法及自动曝光时间计算方法和TOF相机，所述自动曝光时间计算方法以被测物体的幅度信息为依据计算一参考曝光时间，所述TOF成像系统获取所述参考曝光时间后，将所述参考曝光时间与原始曝光时间比对以获取一自动曝光时间，并且所述TOF成像系统依据所述自动曝光时间曝光。设置所述自动曝光方法的所述TOF成像系统可方便地获取所述被测物体的清楚的三维图像。

但在上述的技术方案中，无法在动态范围内获得合适的曝光时间，因为在不同的环境中，其自动曝光时间的计算不能保证此时没有曝光不足或者过度，曝光时间通过自动增益值结合参考曝光时间来直接按比例放大缩小是不行的，这不是一个简单的比例问题，在拍摄环境中有不同反射率、不同距离的物体时都会对曝光时间造成影响，而这影响作为其中的一个因数，并非是按照比例放大或缩小能够进行推断的，因此该方法不适合动态拍摄的环境。

发明内容

本发明为克服上述现有技术中不能用于动态拍摄环境的问题，提供一种可自动调节曝光时间的TOF成像系统及其自动曝光方法，在动态拍摄环境中，TOF成像系统的能够简单、快速和稳定地对曝光时间的调节。

为解决上述技术问题，本发明采用的技术方案是：一种可自动调节曝光时间的TOF成像系统，包括数据采集模块、与所述数据采集模块连接的Zynq开发平台控制模块和与所述Zynq开发平台控制模块通讯连接的上位机模块；所述数据采集模块包括用于数据采集的TOF传感器；所述Zynq开发平台控制模块包括可编程逻辑单元和处理器单元，所述可编程逻辑单元用于获取所述TOF传感器的数据并将数据传输至处理器单元中缓存，其通过FIFO跨时钟域数据采集和VDMA高速数据传输实现；所述处理器单元用于与所述上位机模块通讯、对TOF传感器进行配置和调节曝光时间。

在上述的技术方案中，TOF传感器采集到的图像信息传入Zynq开发平台控制模块中，Zynq开发平台控制模块既具有FPGA可编程的灵活性，同时也包含了ARM，具有更多资源更多接口的优势，使得TOF成像系统具有高性能和高扩展性。Zynq开发平台控制模块将TOF传感器采集的数据进行缓存，同时将数据发送至上位机中显示，处理器单元中设置有自动曝光算法，能够将计算得到的曝光时间配置给TOF传感器，令TOF传感器能够在动态环境下及时调整自动曝光时间。

优选的，所述处理器单元设置有用于与所述上位机模块通信的千兆网口，通过千兆网络与上位机模块通信，提高传输速率；所述处理器单元设置有用于对TOF传感器进行配置的寄存器配置单元，寄存器配置单元可以修改TOF传感器数据的工作距离、输出格式、深度图和红外图尺寸大小、调制频率、相位校正、提高动态范围等参数，同时当曝光时间不合适时，会执行自动曝光算法，算法将得到的合适的曝光时间通过寄存器配置单元配置给传感器。

优选的，所述数据采集模块还包括电源管理电路、TOF传感器外围电路、TOF相机镜头、LED驱动电路和晶振时钟电路。数据采集模块将深度信息转换成数字信号传入到Zynq开发平台中进行下一步的处理。

优选的，所述上位机模块包括数据处理单元和显示单元；所述数据处理单元用于对接受到的数据进行解析和滤波处理；显示单元用于将处理完成的数据进行实时的图片显示。显示单元可以将深度图和红外图进行实时显示，也可以在上位机模块上随时选择是否关闭或者显示深度图和红外幅值图，同时可以一键保存当前的TOF传感器数据、深度图和红外图，将当前TOF传感器数据存储为TXT格式文件，将和深度图和红外图存储为PNG格式文件。

优选的，所述TOF传感器为OPT8320图像传感器，该传感器具有80*60(QQQVGA)的分辨率，最高帧率可达1000fps，每个像素有32bit，包含深度信息、红外强度信息和环境光信息，可以得到拍摄物体的深度图和红外图，TOF传感器数据最大传输速率可达180Mbps。

一种TOF成像系统的自动曝光方法，可基于上述的TOF成像系统，包括如下步骤：

步骤一：设置初始参数值：根据实际应用场景设置对应的一个范围阈值，设置一个阈值D

步骤二：计算范围阈值内当前帧的平均幅值A

步骤三：利用步骤二中的偏差D

针对不同的应用场景设置一个对应范围阈值，并设置对应的参数，该值能够根据实际情况设置，能够减少运算量，提高运算速度。而在范围阈值内，考虑全部像素的平均幅值，避免因为只考虑若干的几点数据而导致的偶然性的错误，如当物体太近或者拍摄到镜面等反射率很高的物体时，出现的误差会比较大。通过设置阈值D

优选的，在在步骤二和步骤三中，若应用场景发生变化，则对应范围阈值的幅值发生变化，以变化前的曝光时间作为初始曝光时间，重新执行步骤一。应用场景变化后，能够及时调整各基础参数，令该曝光方法能够使用动态拍摄环境。

优选的，范围阈值是指设置数据采集模块与物体的距离范围。在计算的时候不用考虑范围阈值外的幅值，减少数据量，提高运算效率。

优选的，近距离为0-2米。一般情况下曝光过度的情况是出现在距离较近的区域，且一般用户对较近距离比较感兴趣。

优选的，所述最优幅值A

与现有技术相比，本发明的有益效果是：TOF成像系统通过数据采集模块采集图像数据并输送至Zynq开发平台控制模块，然后被送至上位机显示，在Zynq开发平台控制模块中通过设置自动曝光算法，令TOF传感器能够在动态环境下及时调整自动曝光时间。通过三个步骤的自动曝光方法，步骤更简单，涉及参数更少，能够适用于动态环境中对曝光时间的自动调整，令搭载该曝光方法的系统能够更加稳定运行。

附图说明

图1是本发明的一种可自动调节曝光时间的TOF成像系统的结构示意图；

图2是本发明的一种TOF成像系统的自动曝光方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：

实施例1

如图1所示为一种可自动调节曝光时间的TOF成像系统的实施例，包括数据采集模块、与数据采集模块连接的Zynq开发平台控制模块和与Zynq开发平台控制模块通讯连接的上位机模块；数据采集模块包括用于数据采集的TOF传感器；Zynq开发平台控制模块包括可编程逻辑单元和处理器单元，可编程逻辑单元用于获取TOF传感器的数据并将数据传输至处理器单元中缓存；处理器单元用于与上位机模块通讯、对TOF传感器进行配置和调节曝光时间。

具体的，处理器单元设置有用于与上位机模块通信的千兆网口，通过千兆网络与上位机模块通信，提高传输速率；处理器单元设置有用于对TOF传感器进行配置的寄存器配置单元，寄存器配置单元可以修改TOF传感器数据的工作距离、输出格式、深度图和红外图尺寸大小、调制频率、相位校正、提高动态范围等参数，同时当曝光时间不合适时，会执行自动曝光算法，算法将得到的合适的曝光时间通过寄存器配置单元配置给传感器。处理器单元可以采用双核Cortex-A9处理器。

其中，数据采集模块还包括电源管理电路、TOF传感器外围电路、TOF相机镜头、LED驱动电路和晶振时钟电路。数据采集模块将深度信息转换成数字信号传入到Zynq开发平台中进行下一步的处理。TOF传感器为OPT8320图像传感器，该传感器具有80*60(QQQVGA)的分辨率，最高帧率可达1000fps，每个像素有32bit，包含深度信息、红外强度信息和环境光信息，可以得到拍摄物体的深度图和红外图，TOF传感器数据最大传输速率可达180Mbps。

还有的，上位机模块包括数据处理单元和显示单元；数据处理单元用于对接受到的数据进行解析和滤波处理；显示单元用于将处理完成的数据进行实时的图片显示。显示单元可以将深度图和红外图进行实时显示，也可以在上位机模块上随时选择是否关闭或者显示深度图和红外幅值图，同时可以一键保存当前的TOF传感器数据、深度图和红外图，将当前TOF传感器数据存储为TXT格式文件，将和深度图和红外图存储为PNG格式文件。

本实施例的工作原理：TOF传感器采集到的图像信息传入Zynq开发平台控制模块中，Zynq开发平台控制模块既具有FPGA可编程的灵活性，同时也包含了ARM，具有更多资源更多接口的优势，使得TOF成像系统具有高性能和高扩展性。Zynq开发平台控制模块将TOF传感器采集的数据进行缓存，同时将数据发送至上位机中显示，处理器单元中设置有自动曝光算法，能够将计算得到的曝光时间通过寄存器配置单元配置给TOF传感器，令TOF传感器能够在动态环境下及时调整自动曝光时间。

本实施例的有益效果：TOF成像系统通过数据采集模块采集图像数据并输送至Zynq开发平台控制模块，然后被送至上位机显示，在Zynq开发平台控制模块中通过设置自动曝光算法，令TOF传感器能够在动态环境下及时调整自动曝光时间。

实施例2

如图2所示为一种TOF成像系统的自动曝光方法实施例，可基于实施例1的TOF成像系统，包括如下步骤：

步骤一：设置初始参数值：根据实际应用场景设置对应的一个范围阈值，设置一个阈值D

步骤二：计算范围阈值内当前帧的平均幅值A

步骤三：利用步骤二中的偏差D

其中，在在步骤二和步骤三中，若应用场景发生变化，则对应范围阈值的幅值发生变化，以变化前的曝光时间作为初始曝光时间，重新执行步骤一。应用场景变化后，能够及时调整各基础参数，令该曝光方法能够使用动态拍摄环境。

具体的，范围阈值是指设置数据采集模块与物体的距离范围。在计算的时候不用考虑范围阈值外的幅值，减少数据量，提高运算效率。近距离为0-2米。一般情况下曝光过度的情况是出现在距离较近的区域，且一般用户对较近距离比较感兴趣。

优选的，最优幅值A

本实施例的工作原理：针对不同的应用场景设置一个对应范围阈值，并设置对应的参数，该值能够根据实际情况设置，能够减少运算量，提高运算速度。而在范围阈值内，考虑全部像素的平均幅值，避免因为只考虑若干的几点数据而导致的偶然性的错误，如当物体太近或者拍摄到镜面等反射率很高的物体时，出现的误差会比较大。通过设置阈值D

本实施例的有益效果：通过三个步骤的自动曝光方法，步骤更简单，涉及参数更少，令该方法能够简单、快速、稳定且能够适用于动态环境中对曝光时间的自动调整，令搭载该曝光方法的系统能够更加稳定运行。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。