掌桥专利:专业的专利平台
掌桥专利
首页

基于嵌入式的长焦镜头自动聚焦系统及方法

文献发布时间:2023-06-19 19:30:30


基于嵌入式的长焦镜头自动聚焦系统及方法

技术领域

本发明涉及基于嵌入式的长焦镜头自动聚焦系统及方法,属于图像处理技术及检测应用领域,具体为一种变步长遍历的自动聚焦方法,以及用于实现该方法的基于嵌入式开发的自动聚焦系统。

背景技术

在视频监控系统中,为了能够实现对监控目标的快速定位,往往需要对云台摄像系统采取自动定位和自动聚焦方法。在一些监测范围较小的安防监控中,常常采用小巧灵活、安装方便的一体化摄像机,这类相机往往内置了自动聚焦功能,使用时非常便捷。然而在特殊场合的监控系统(如森林防火监控,大型工厂,船舶等环境远程视频监控)中,为了获得较大的监控范围,需要采用长焦电动二可变或三可变镜头。这类镜头一般都不具备自动聚焦功能,需要进行手动调焦。在实际使用中,监控人员先通过变倍调整图像的监控范围,再通过监控软件手动调整焦距,直至图像清晰。由于焦距较长其调节过程也长,调焦精度受监控人员主观影响较大。

因此,利用数字图像处理技术解决长焦镜头的调焦问题,减轻操作人员主观影响,从而进一步提高测量精度,测量速度及自动化程度,是目前本领域技术人员亟待解决的问题。

发明内容

本发明的技术解决问题是:克服现有技术的不足,提出基于嵌入式的长焦镜头自动聚焦系统及方法,用以解决长焦镜头自动聚焦、变焦问题,实现在整个镜头的行程范围内、任意位置下的自动聚焦,提高镜头聚焦的速度和精度。

本发明的技术解决方案是:

基于嵌入式的长焦镜头自动聚焦系统,该自动聚焦系统包括视频采集处理模块、嵌入式主控模块、电源模块、通讯模块、电机驱动模块、变焦电机和聚焦电机,外围设备包括输入接线端子、输出接线端子和上位机;

所述的视频采集处理模块用于采集基于嵌入式的长焦镜头输出的模拟视频信号,并将采集到的模拟视频信号转化为数字视频信号并输出给嵌入式主控模块;

所述的嵌入式主控模块用于接收视频采集处理模块输出的数字视频信号,并对接收到的数字视频信号进行清晰度评价,得到变焦控制指令和聚焦控制指令,最后将变焦控制指令和聚焦控制指令输出给电机驱动模块,嵌入式主控模块还用于接收电机驱动模块反馈的聚焦位置、变焦位置和速度信息,并实时通过通讯模块输出聚焦位置、变焦位置和速度信息给上位机;

所述的电机驱动模块用于接收嵌入式主控模块输出的变焦控制指令和聚焦控制指令,并根据接收到的变焦控制指令对长焦镜头的变焦电机进行控制,根据接收到的聚焦控制指令对长焦镜头的聚焦电机进行控制,使当前数字视频信号的清晰度评价值达到最大,实现自动聚焦,获得聚焦位置、变焦位置和速度信息,并将获得的聚焦位置、变焦位置和速度信息反馈给嵌入式主控模块;

所述的电源模块用于供电,电源模块采用12V直流电源;

基于嵌入式的长焦镜头自动聚焦系统还包括手动控制模块,当视频采集处理模块出现故障时,通过手动控制模块手动输出数字视频信号给嵌入式主控模块;

所述的嵌入式主控模块以STM32F103C8T6作为自动聚焦板的主控IC;

所述的视频采集处理模块采用SAA1117H与现场可编辑门阵列(FPGA)芯片EP2C8T144C8N配合对数字视频信号进行Sobel边缘检测,得到实时图像清晰度指标;

所述的电源模块采用低功耗DCDC降压芯片、LDO,在实际应用中总是力求控制系统功耗尽量小,电源尽量安全可靠;

所述的通讯模块设计了RS485和RS232两种通讯电路,适合多种应用场景;

所述的电机驱动模块选用双H桥驱动器芯片,在连续可变焦镜头中只需主控芯片给定PWM信号即可输出电压以控制镜头步进电机或直流电机;

所述的手动控制模块由三极管和MOS管组合。

基于嵌入式的长焦镜头自动聚焦方法,该方法的步骤包括:

第一步,视频采集处理模块采集基于嵌入式的长焦镜头输出的模拟视频信号,并将采集到的模拟视频信号转化为数字视频信号并输出给嵌入式主控模块;

第二步,嵌入式主控模块接收到视频采集处理模块输出的数字视频信号后,对接收到的数字视频信号进行清晰度评价,得到变焦控制指令和聚焦控制指令,最后将变焦控制指令和聚焦控制指令输出给电机驱动模块;

第三步,电机驱动模块接收到嵌入式主控模块输出的变焦控制指令和聚焦控制指令后,根据接收到的变焦控制指令对长焦镜头的变焦电机进行控制,根据接收到的聚焦控制指令对长焦镜头的聚焦电机进行控制,使当前数字视频信号的清晰度评价值达到最大,实现自动聚焦,获得聚焦位置、变焦位置和速度信息,并将获得的聚焦位置、变焦位置和速度信息反馈给嵌入式主控模块;

第四步,嵌入式主控模块接收到电机驱动模块反馈的聚焦位置、变焦位置和速度信息后,实时通过通讯模块输出聚焦位置、变焦位置和速度信息给上位机;

基于嵌入式的长焦镜头自动聚焦系统还包括手动控制模块,当视频采集处理模块出现故障时,通过手动控制模块手动输出数字视频信号给嵌入式主控模块。

所述的第二步中,对接收到的数字视频信号进行清晰度评价,得到变焦控制指令和聚焦控制指令的具体方法为:将长焦镜头所在位置处于有效范围内,调整处于有效范围内长焦镜头的方向,使长焦镜头朝着数字视频信号的清晰度评价值增大的方向移动,直至搜索到数字视频信号的清晰度评价值的最大值,在移动过程中,调整长焦镜头的步长以提高聚焦速度;

所述的搜索数字视频信号的清晰度评价值的最大值时采用过峰变步长控制、快速搜索的自动聚焦策略,具体方法为:

步骤S1:长焦镜头进行自检,记录聚焦电机电位计值最小、最大位置,并获取电位计增减与电机转向关系;

步骤S2:获取长焦镜头的初始位置,并将初始位置时的清晰度设为初始值,并确定初始遍历步长;

步骤S3:根据长焦镜头的初始位置选取聚焦电机初始移动方向,并按步骤S2中确定的初始遍历步长沿初始方向移动;

步骤S4:移动时实时获取当前数字视频信号的清晰度值,并计算当前的聚焦评价函数,根据当前清晰度值与初始值的大小关系,确定电机移动的正确方向,若采集分析的清晰度值呈单峰状先增后减,表示方向正确,比较各个遍历位置的聚焦评价函数,获取峰值位置;若清晰度值呈单调递减状,表示正确方向为反向,则改变电机方向,直至清晰度值呈单峰状先增后减时停止,获取峰值位置;

步骤S5:以步骤S4获取的峰值位置正负一个区间为下一轮搜索区间,过峰反向搜索时步长变为原步长的1/2,并计算遍历各位置的聚焦评价函数;

步骤S6:重复S3~S4,直至步长小于设定阈值时停止,并认定此时的数字视频信号的清晰度已满足要求,聚焦结束,完成数字视频信号的清晰度评价值的最大值的搜索;

所述步骤S2中初始遍历步长要小于聚焦评价函数最大峰值的宽度,且不能超过聚焦面;

所述步骤S3中初始移动方向取决于初始位置与步骤S1中记录的聚焦电机电位计值的最小、最大位置的相对位置,若距最大位置端近,则初始移动方向选电位计值增大方向;若距最小位置端近,则初始移动方向选电位计值减小方向;

所述步骤S4中,聚焦评价函数采用基于图像频域的DCT变换法,对于一个N×N的像素块,其二维离散余弦变换的计算公式如下:

其中,f(i,j)代表原始的数字视频信号于(i,j)点处的灰度值,F(u,v)代表DCT变化后的值,c(u)代表一个补偿系数,使得DCT变换矩阵为正交矩阵,当且仅当u为0时等于

所述步骤S6中,设定阈值的大小与电机精度有关,两者为同一数量级。

有益效果

(1)本发明针对视频监控系统中长焦电动二可变,三可变镜头不能实现自动聚焦的问题,利用图像处理技术及嵌入式平台自主开发了一套自动聚焦系统,包括硬件电路设计和软件算法。

(2)本发明针对监控系统在目标跟踪时对自动聚焦的速度和精度的要求,提出了过峰变步长控制、快速搜索的聚焦方法,并采用自适应“爬山法”进行摄像机镜头的反馈控制,兼具大步长遍历算法迅速和小步长遍历算法精准的优点,同时避免了大步长算法易在极值点振荡、小步长算法耗时的缺点。

(3)本发明在确保对焦精度的前提下,极大地提高了对焦速度和适应性,确保最终的聚焦位置清晰度最佳,具有很好的准确性、快速性和鲁棒性,可广泛应用于室内外长焦镜头的自动聚焦及手动聚焦环节。

附图说明

图1为本发明的系统组成示意图;

图2为过峰变步长控制示意图;

图3为本发明聚焦效果示意图。

具体实施方式

为了将本申请的目的、技术方案及优点进行更清楚、完整的描述,下面将结合附图及实施例做进一步详细说明。

如图1所示,基于嵌入式的长焦镜头自动聚焦系统,该自动聚焦系统包括视频采集处理模块、嵌入式主控模块、电源模块、通讯模块、电机驱动模块、变焦电机和聚焦电机,外围设备包括输入接线端子、输出接线端子和上位机;

所述的视频采集处理模块用于采集基于嵌入式的长焦镜头输出的模拟视频信号,并将采集到的模拟视频信号转化为数字视频信号并输出给嵌入式主控模块;

所述的嵌入式主控模块用于接收视频采集处理模块输出的数字视频信号,并对接收到的数字视频信号进行清晰度评价,得到变焦控制指令和聚焦控制指令,最后将变焦控制指令和聚焦控制指令输出给电机驱动模块,嵌入式主控模块还用于接收电机驱动模块反馈的聚焦位置、变焦位置和速度信息,并实时通过通讯模块输出聚焦位置、变焦位置和速度信息给上位机;

所述的电机驱动模块用于接收嵌入式主控模块输出的变焦控制指令和聚焦控制指令,并根据接收到的变焦控制指令对长焦镜头的变焦电机进行控制,根据接收到的聚焦控制指令对长焦镜头的聚焦电机进行控制,使当前数字视频信号的清晰度评价值达到最大,实现自动聚焦,获得聚焦位置、变焦位置和速度信息,并将获得的聚焦位置、变焦位置和速度信息反馈给嵌入式主控模块;

所述的电源模块用于供电,电源模块采用12V直流电源;

基于嵌入式的长焦镜头自动聚焦系统还包括手动控制模块,当视频采集处理模块出现故障时,通过手动控制模块手动输出数字视频信号给嵌入式主控模块;

所述的嵌入式主控模块以STM32F103C8T6作为自动聚焦板的主控IC;

所述的视频采集处理模块采用SAA1117H与现场可编辑门阵列(FPGA)芯片EP2C8T144C8N配合对数字视频信号进行Sobel边缘检测,得到实时图像清晰度指标;

所述的电源模块采用低功耗DCDC降压芯片、LDO,在实际应用中总是力求控制系统功耗尽量小,电源尽量安全可靠;

所述的通讯模块设计了RS485和RS232两种通讯电路,适合多种应用场景;

所述的电机驱动模块选用双H桥驱动器芯片,在连续可变焦镜头中只需主控芯片给定PWM信号即可输出电压以控制镜头步进电机或直流电机;

所述的手动控制模块由三极管和MOS管组合。

基于嵌入式的长焦镜头自动聚焦方法,该方法的步骤包括:

第一步,视频采集处理模块采集基于嵌入式的长焦镜头输出的模拟视频信号,并将采集到的模拟视频信号转化为数字视频信号并输出给嵌入式主控模块;

第二步,嵌入式主控模块接收到视频采集处理模块输出的数字视频信号后,对接收到的数字视频信号进行清晰度评价,得到变焦控制指令和聚焦控制指令,最后将变焦控制指令和聚焦控制指令输出给电机驱动模块;

第三步,电机驱动模块接收到嵌入式主控模块输出的变焦控制指令和聚焦控制指令后,根据接收到的变焦控制指令对长焦镜头的变焦电机进行控制,根据接收到的聚焦控制指令对长焦镜头的聚焦电机进行控制,使当前数字视频信号的清晰度评价值达到最大,实现自动聚焦,获得聚焦位置、变焦位置和速度信息,并将获得的聚焦位置、变焦位置和速度信息反馈给嵌入式主控模块;

第四步,嵌入式主控模块接收到电机驱动模块反馈的聚焦位置、变焦位置和速度信息后,实时通过通讯模块输出聚焦位置、变焦位置和速度信息给上位机;

基于嵌入式的长焦镜头自动聚焦系统还包括手动控制模块,当视频采集处理模块出现故障时,通过手动控制模块手动输出数字视频信号给嵌入式主控模块。

所述的第二步中,对接收到的数字视频信号进行清晰度评价,得到变焦控制指令和聚焦控制指令的具体方法为:将长焦镜头所在位置处于有效范围内,调整处于有效范围内长焦镜头的方向,使长焦镜头朝着数字视频信号的清晰度评价值增大的方向移动,直至搜索到数字视频信号的清晰度评价值的最大值,在移动过程中,调整长焦镜头的步长以提高聚焦速度;

所述的搜索数字视频信号的清晰度评价值的最大值时采用过峰变步长控制、快速搜索的自动聚焦策略,具体方法为:

步骤S1:长焦镜头进行自检,记录聚焦电机电位计值最小、最大位置,并获取电位计增减与电机转向关系;

步骤S2:获取长焦镜头的初始位置,并将初始位置时的清晰度设为初始值,并确定初始遍历步长;

步骤S3:根据长焦镜头的初始位置选取聚焦电机初始移动方向,并按步骤S2中确定的初始遍历步长沿初始方向移动;

步骤S4:移动时实时获取当前数字视频信号的清晰度值,并计算当前的聚焦评价函数,根据当前清晰度值与初始值的大小关系,确定电机移动的正确方向,若采集分析的清晰度值呈单峰状先增后减,表示方向正确,比较各个遍历位置的聚焦评价函数,获取峰值位置;若清晰度值呈单调递减状,表示正确方向为反向,则改变电机方向,直至清晰度值呈单峰状先增后减时停止,获取峰值位置;

步骤S5:如图2所示,以步骤S4获取的峰值位置正负一个区间为下一轮搜索区间,过峰反向搜索时步长变为原步长的1/2,并计算遍历各位置的聚焦评价函数;

步骤S6:重复S3~S4,直至步长小于设定阈值时停止,并认定此时的数字视频信号的清晰度已满足要求,聚焦结束,完成数字视频信号的清晰度评价值的最大值的搜索;

所述步骤S2中初始遍历步长要小于聚焦评价函数最大峰值的宽度,且不能超过聚焦面;

所述步骤S3中初始移动方向取决于初始位置与步骤S1中记录的聚焦电机电位计值的最小、最大位置的相对位置,若距最大位置端近,则初始移动方向选电位计值增大方向;若距最小位置端近,则初始移动方向选电位计值减小方向;

所述步骤S4中,聚焦评价函数采用基于图像频域的DCT变换法,对于一个N×N的像素块,其二维离散余弦变换的计算公式如下:

其中,f(i,j)代表原始的数字视频信号于(i,j)点处的灰度值,F(u,v)代表DCT变化后的值,c(u)代表一个补偿系数,使得DCT变换矩阵为正交矩阵,当且仅当u为0时等于

所述步骤S6中,设定阈值的大小与电机精度有关,两者为同一数量级。

实施例

本发明的自动聚焦功能分为两部分,一部分为自动聚焦,另一部分为手动聚焦。手动聚焦主要通过上位机发送目标位置给直流电机,驱动摄像机镜头位置移动。这一功能主要用于具体场景下需要镜头聚焦至某一特定位置时使用。

自动聚焦环节包括聚焦准备、自动聚焦和场景检测三阶段:

聚焦准备阶段使镜头所在位置处于有效范围内,并完成初始化工作;自动聚焦状态主要是根据连续五帧聚焦评价函数值间的关系,对当前方向和步长大小进行分析判断。主要包括聚焦评价函数的计算及聚焦图像清晰度最大值搜索策略的实现两部分。它们是影响聚焦实时性和准确性的关键。镜头移动方向为使得聚焦评价函数值增大、在焦平面上呈现图像更清晰的方向;镜头移动步长采取远焦区大步长搜索,近焦区小步长搜索的策略。要求镜头移动的步长必须快速、稳定、准确的找到聚焦评价函数曲线峰值所在的位置;场景检测阶段主要用于在聚焦完成后,检测当前场景是否发生变化,若改变则转换至聚焦准备阶段。

聚焦准备阶段对整个自动聚焦算法的聚焦效果、稳定性等起着至关重要的作用。这一阶段的主要工作包括两部分:一是以镜头最大移动步长移动镜头到Zoom下的有效聚焦范围内;二是初始化自动聚焦算法中的各个参数。

在聚焦搜索策略方面,爬山式(Hill-climbing)聚焦搜索算法是目前搜索聚焦评价函数峰值中应用最广的一种算法。传统爬山法的理论依据是理想的聚焦评价函数曲线呈单峰性,在峰值两侧呈递减或递增的趋势,当镜头位于聚焦评价函数曲线峰值位置时,在相机焦平面会呈现一幅清晰的图像,镜头位置离聚焦评价函数曲线峰值位置越远,呈像越模糊,聚焦评价函数值越小。通过前后镜头位置图像聚焦评价函数值搜索得到聚焦评价函数曲线峰值位置。首先,聚焦镜头作任意方向的搜索,确定聚焦清晰的方向后镜头向“山顶”方向运动,当发现越过“山顶”时,作反向搜索聚焦,直至达到峰值处停止。

本申请将聚焦最清晰的位置称为正焦位置,即聚焦评价函数的峰值位置。当采用固定的步长进行搜索时,较小的调焦步长虽然能够以较高的精度找到正焦位置,但是却会耗用较长的时间,降低了聚焦速度。此外,由于选择的步长不可能恰好为正焦位置,聚焦电机很可能过聚焦,导致越过峰值位置,此时,应当根据判别控制条件进行反向搜索,如此反复,直至找到正焦位置。在这种情况下,固定的步长很容易使聚焦陷入震荡。

针对这一问题,本申请采用过峰变步长控制,在每次聚焦过峰后要进行反向搜索时,根据一定规则缩小聚焦步长。

初始搜索步长为Step,过峰后反向搜索时步长变为S,再次过峰反向搜索时步长变为S/2,如此反复,直至步长小于某一阈值时停止,并认定此时的图像清晰度已满足要求。

本发明实施例所使用长焦镜头的驱动电机步长与通电时间成正比,当初始步长设定为100(ms)时,步长变化规则设为每次过峰缩小为原来的1/3,那么三次过峰后,搜索步长变为3.7,可认为此时镜头已经处于清晰区域,停止聚焦,得到聚焦效果示意图如图3所示。

以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

技术分类

06120115931904