一种电液可调焦镜头自动对焦方法、系统及电子设备

技术领域

本发明涉及镜头对焦技术领域，特别是涉及一种电液可调焦镜头自动对焦方法、系统及电子设备。

背景技术

在现代图像和视觉应用中，自动对焦技术对于获取清晰、高质量的图像至关重要。随着电子技术和自动化技术的不断发展，然而，传统的自动对焦方法往往基于规则或固定的算法，难以适应复杂多变的环境，特别是在存在运动目标或背景模糊等情况下表现不佳。

电液可调焦镜头作为一种先进的光学设备，广泛应用于相机、无人机、智能手机等领域，以实现实时、准确的自动对焦。传统的变焦镜头是通过调整两个固定焦距的镜头之间的距离来实现变焦。与传统的变焦镜头不同，电液可调焦镜头则是通过改变电场来调整液体的压力以实现焦距的调整。根据相关测试数据显示，每次变焦过程所消耗的能量仅为0.1mJ，而从最极端的凸面变到凹面所需的变焦时间也仅需几毫秒。图1展示了一种经典电液可调焦镜头光焦度与驱动电流关系示意图。

为了解决上述自动对焦问题，近年来，强化学习方法逐渐应用于自动对焦领域。强化学习方法是一种能够从环境中获取反馈并根据反馈逐步优化决策的机器学习方法。在电液可调焦镜头自动对焦问题中，强化学习方法可以使系统根据不同环境条件和目标特性自主调整焦距，从而获得更清晰、更锐利的图像。

然而，在实际应用中，基于强化学习方法的电液可调焦镜头自动对焦方法仍然面临一些挑战。其中，包括：

动态环境变化：环境条件的变化和运动目标可能导致自动对焦策略的失效。如何在动态环境下保持稳定且有效的自动对焦性能，是需要解决的问题。

奖励设计：强化学习方法依赖于奖励信号来优化策略，如何设计合适的奖励函数，能够准确地评估图像的清晰度和质量，是一个关键的挑战。

实时性要求：在许多应用场景中，自动对焦需要在实时性要求下进行。如何在保证对焦质量的同时，保持足够的实时性，是需要考虑的问题。

发明内容

本发明的目的是提供一种电液可调焦镜头自动对焦方法、系统及电子设备，以解决上述问题。

为实现上述目的，本发明提供了如下方案：

第一方面，一种电液可调焦镜头自动对焦方法，包括：

确定强度学习方法的状态空间、动作空间以及奖励函数；所述状态空间至少包括两个参数，分别为图像清晰度和相机焦距；所述动作空间包括一个参数，为电液可调焦镜头的调焦电流值；所述奖励函数是根据动作前后的图像差别设计的函数；

获取图像传感器采集的目标图像，并采用计算机视觉技术从目标图像中自动选定对焦目标区域，然后计算对焦目标区域的图像清晰度和相机焦距；

将当前状态输入至深度神经网络架构中的策略网络中得到当前初始动作，并在当前初始动作上添加噪声得到当前复合动作，然后根据当前复合动作确定下一状态；所述当前状态为当前对焦目标区域的图像清晰度和相机焦距；所述当前初始动作为当前调焦电流值；所述下一状态为下一对焦目标区域的图像清晰度和相机焦距；

根据当前状态、下一状态、当前复合动作以及奖励函数，计算当前奖励，并将当前状态、下一状态、当前复合动作以及当前奖励作为一组样本数据存入经验池；

当经验池中的样本数据组数为M组时，将经验池中的样本数据作为深度神经网络架构的训练数据，同时结合深度确定性策略梯度算法和单次爬山寻优算法，得到训练好的自动对焦策略；

将训练好的自动对焦策略部署到待对焦的电液可调焦镜头中，使待对焦的电液可调焦镜头能够在实时环境中自动调整焦点。

可选地，所述状态空间还包括图像对比度和边缘清晰度。

可选地，所述奖励函数为：

r(s

＝ω

其中，r

可选地，采用计算机视觉技术从目标图像中自动选定对焦目标区域，具体包括：

采用灰度变换算法和邻域平均算法对目标图像进行预处理，得到预处理后的目标图像；

采用计算机视觉技术从预处理后的目标图像中自动选定对焦目标区域。

可选地，当经验池中的样本数据组数为M组时，将经验池中的样本数据作为深度神经网络架构的训练数据，同时结合深度确定性策略梯度算法和单次爬山寻优算法，得到训练好的自动对焦策略，具体包括：

当经验池中的样本数据组数为M组时，采用优先经验回放方法，从经验池中选择n组样本数据作为深度神经网络架构的训练数据，同时结合深度确定性策略梯度算法和单次爬山寻优算法，得到训练好的自动对焦策略；其中，n小于M。

可选地，所述深度神经网络架构包括第一网络架构和第二网络架构；所述第一网络架构包括策略网络和目标策略网络；所述第二网络架构包括价值网络和目标价值网络；所述策略网络的输入为图像清晰度和相机焦距，所述策略网络的输出为调焦电流值；所述价值网络的输入为图像清晰度、相机焦距和调焦电流值，所述价值网络的输出为评价值；

其中，利用所述价值网络更新所述策略网络的参数，利用所述目标策略网络和所述目标价值网络更新所述价值网络的参数，利用指数平均移动算法对所述目标策略网络和所述目标价值网络的参数进行更新。

第二方面，本发明提供了一种电液可调焦镜头自动对焦系统，包括：

状态空间、动作空间以及奖励函数确定模块，用于确定强度学习方法的状态空间、动作空间以及奖励函数；所述状态空间至少包括两个参数，分别为图像清晰度和相机焦距；所述动作空间包括一个参数，为电液可调焦镜头的调焦电流值；所述奖励函数是根据动作前后的图像差别设计的函数；

图像清晰度和相机焦距计算模块，用于获取图像传感器采集的目标图像，并采用计算机视觉技术从目标图像中自动选定对焦目标区域，然后计算对焦目标区域的图像清晰度和相机焦距；

状态量和复合动作计算模块，用于将当前状态输入至深度神经网络架构中的策略网络中得到当前初始动作，并在当前初始动作上添加噪声得到当前复合动作，然后根据当前复合动作确定下一状态；所述当前状态为当前对焦目标区域的图像清晰度和相机焦距；所述当前初始动作为当前调焦电流值；所述下一状态为下一对焦目标区域的图像清晰度和相机焦距；

样本数据确定模块，用于根据当前状态、下一状态、当前复合动作以及奖励函数，计算当前奖励，并将当前状态、下一状态、当前复合动作以及当前奖励作为一组样本数据存入经验池；

训练好的自动对焦策略确定模块，用于当经验池中的样本数据组数为M组时，将经验池中的样本数据作为深度神经网络架构的训练数据，同时结合深度确定性策略梯度算法和单次爬山寻优算法，得到训练好的自动对焦策略；

调焦模块，用于将训练好的自动对焦策略部署到待对焦的电液可调焦镜头中，使待对焦的电液可调焦镜头能够在实时环境中自动调整焦点。

第三方面，本发明提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据第一方面所述的一种电液可调焦镜头自动对焦方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种电液可调焦镜头自动对焦方法、系统及电子设备，通过结合先进的电液可调焦技术和强化学习方法连续性控制DDPG算法，实现了更智能、自适应的自动对焦。本发明能够根据环境变化和目标特性，自主调整焦距和焦点，从而获得更清晰、更优质的图像，具备广泛的应用前景，可用于摄影、无人机航拍、医学成像等多个领域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术提供的一种经典电液可调焦镜头光焦度与驱动电流关系示意图；

图2为本发明实施例提供的一种电液可调焦镜头自动对焦方法的流程示意图；

图3为本发明实施例提供的一种电液可调焦镜头自动对焦方法的整体流程图；

图4为本发明实施例提供的图像清晰度评价函数曲线图；

图5为本发明实施例提供的Actor网络结构图；

图6为本发明实施例提供的Critic网络结构图；

图7为本发明实施例提供的清晰焦距的搜索过程示意图；

图8为本发明实施例提供的电液可调焦镜头电流值与清晰度值关系示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图2所示，本实施例提供了一种基于强化学习的电液可调焦镜头自动对焦方法，包括如下步骤。

步骤100：确定强度学习方法的状态空间、动作空间以及奖励函数；所述状态空间至少包括两个参数，分别为图像清晰度和相机焦距；所述动作空间包括一个参数，为电液可调焦镜头的调焦电流值；所述奖励函数是根据动作前后的图像差别设计的函数。

步骤200：获取图像传感器采集的目标图像，并采用计算机视觉技术从目标图像中自动选定对焦目标区域，然后计算对焦目标区域的图像清晰度和相机焦距。

步骤300：将当前状态输入至深度神经网络架构中的策略网络中得到当前初始动作，并在当前初始动作上添加噪声得到当前复合动作，然后根据当前复合动作确定下一状态；所述当前状态为当前对焦目标区域的图像清晰度和相机焦距；所述当前初始动作为当前调焦电流值；所述下一状态为下一对焦目标区域的图像清晰度和相机焦距。

步骤400：根据当前状态、下一状态、当前复合动作以及奖励函数，计算当前奖励，并将当前状态、下一状态、当前复合动作以及当前奖励作为一组样本数据存入经验池。

步骤500：当经验池中的样本数据组数为M组时，将经验池中的样本数据作为深度神经网络架构的训练数据，同时结合深度确定性策略梯度算法和单次爬山寻优算法，得到训练好的自动对焦策略。

步骤600：将训练好的自动对焦策略部署到待对焦的电液可调焦镜头中，使待对焦的电液可调焦镜头能够在实时环境中自动调整焦点。

在本实施例中，所述状态空间还包括图像对比度和边缘清晰度。

基于此，本实施例所述设计的奖励函数为：

r(s

＝ω

其中，r

在本实施例中，采用计算机视觉技术从目标图像中自动选定对焦目标区域，具体包括：

首先采用灰度变换算法和邻域平均算法对目标图像进行预处理，得到预处理后的目标图像；其次采用计算机视觉技术从预处理后的目标图像中自动选定对焦目标区域。

在本实施例中，当经验池中的样本数据组数为M组时，将经验池中的样本数据作为深度神经网络架构的训练数据，同时结合深度确定性策略梯度算法和单次爬山寻优算法，得到训练好的自动对焦策略，具体包括：

当经验池中的样本数据组数为M组时，采用优先经验回放方法，从经验池中选择n组样本数据作为深度神经网络架构的训练数据，同时结合深度确定性策略梯度算法和单次爬山寻优算法，得到训练好的自动对焦策略；其中，n小于M。

在本实施例中，所述深度神经网络架构包括第一网络架构和第二网络架构；所述第一网络架构包括策略网络和目标策略网络；所述第二网络架构包括价值网络和目标价值网络；所述策略网络的输入为图像清晰度和相机焦距，所述策略网络的输出为调焦电流值；所述价值网络的输入为图像清晰度、相机焦距和调焦电流值，所述价值网络的输出为评价值；其中，利用所述价值网络更新所述策略网络的参数，利用所述目标策略网络和所述目标价值网络更新所述价值网络的参数，利用指数平均移动算法对所述目标策略网络和所述目标价值网络的参数进行更新。

实施例二，

为解决现有技术中存在的问题，本实施例提供了一种基于强化学习的电液可调焦镜头自动对焦方法，利用图像清晰度作为评价指标和状态，利用强化学习和单次爬山寻优，快速、准确、高效地实现电液可调焦镜头的自动对焦功能，为后续动态目标捕捉、追踪等提供重要基础。

本实施例提供的一种基于强化学习的电液可调焦镜头自动对焦方法，包括如下步骤。

S1、设置动作空间和状态空间：根据电液可调焦镜头的焦距调整方式和采集到的图像信息，设置动作空间和状态空间。

S1.1电液可调焦镜头自动对焦的状态空间s

本实施例选用EOG函数作为图像清晰度的评价指标。该函数对图像的离焦程度有着高度的敏感性，其函数曲线表现出明显的单峰特性，并且曲线具有高度的对称性。该函数的表达式如下：

E

其中，I(x，y)表示坐标(x，y)处图像的像素值。

使用的电液相机成像清晰度与调焦电流呈现高斯态，以预定步长ΔI＝5mA遍历电液可调焦镜头的调焦区间[0mA，200mA]内的各电流值，利用上式获得各调焦电流值处的目标图像的清晰度评价值如图4所示。

S1.2电液可调焦镜头自动对焦动的作空间a

S2、设置奖励函数：设置奖励的目标权重，基于所需要的电液可调焦镜头对焦控制设置对应的奖励函数，以达到根据实际情况合理控制焦距以增加目标图像清晰度。奖励函数主要根据执行动作前后图像的数值差决定，其计算公式如下：

r(s

＝ω

其中，r

在奖励函数中，综合考虑了图像整体清晰度变化和边缘清晰度变化，虽在一定意义上有重叠，但主要考虑到在某些情况下，图像可能整体清晰，但物体的边缘清晰度不高；而在另一些情况下，图像的整体清晰度可能较低，但物体的边缘清晰度较高。通过分别衡量图像整体清晰度和边缘清晰度，可以更全面地捕捉图像质量的不同方面。因此设计包括二者的更准确的奖励函数，从而帮助强化学习代理更好地调整电动可调焦液体镜头，以实现更好的自动对焦效果。

将图像清晰度作为乘积因子与对比度变化和焦距变化求积的主要目的在于：图像清晰度和边缘清晰度是良好的奖励信号，即与图像质量成正比；而对比度变化和焦距变化只能反应修改前后图像差异较大，至于该动作是正向抑或反向只能通过正负判断，因此在添加清晰度之和作为乘积之后，也与图像质量成正相关。

S3、设置深度神经网络架构：DDPG算法在传统的Actor-Critic算法基础上进行了更新，在状态价值函数估计器网络结构和策略网络结构上，还添加两个对应的目标网络，即在Actor网络结构和Critic网络结构上，添加TargetActor网络结构和Target Critic网络结构。引入目标网络的主要目的是保证网络学习的平稳性以及防止网络出现过估计情况。引入4个神经网络，其中Actor网络结构和TargetActor网络结构共用一套架构，Critic网络结构和Target Critic网络结构共用一套架构。如图5所示，Actor网络结构包括四层结构，每层结构包含若干结点：根据输入层为图像清晰度和焦距，可以确定输入层含2个节点；隐层含有两层，第一层含有64个结点，第二层含有32个结点，输出层含有一个结点，即调焦电流值，通过电流的变化可以实现相机焦距的改变。如图6所示，Critic网络结构相对复杂，包含状态和动作两个输入层：状态输入同Actor网络结构，包含2个结点，也包含2个隐层，一层64个结点，一层32个结点，而动作输入为Actor网络结构的输出，有1个结点，隐层为一层有32个结点，将状态输入和动作输入的32结点隐层归一相加激活后输入到输出层，输出层仅包含1个结点，其数值即对当前状态和动作的评价值。当Actor网络结构和Critic网络结构训练达到最大更新次数或误差小于设定值时，权值更新停止。其中，Actor网络结构的最大更新次数设为1000，误差阈值设为0.005。Critic网络结构的最大更新次数设为500，误差阈值设为0.05。

S4、设置噪声参数：

为了保证智能体(电液可调焦镜头(也可以简称电液镜头))在确定性策略条件下仍然具有探索能力，在训练阶段，需要Actor网络结构得到的动作添加上噪声，以保证智能体具备探索能力。DDPG算法在动作选择中并不单纯依靠神经网络参与决策，而是采用复合动作结构。在每一步中算法网络首先选择的动作策略叫做行为策略，用β来表示。但不能简单地将该策略作为最优策略输出，而是应该将其储存作为经验池以训练更新动作策略μ，从而获得最优策略。然而在训练过程中，为保证探索性，最优策略上需要添加随机噪声参数N

其中θ，μ，σ是参数(θ＞0，σ＞0)，B

因此，训练中动作a

S5、基于DDPG算法的控制器训练：

使用DDPG算法进行无人艇相机云台运动控制训练，设定总训练周期为N，训练M次取n组数据对网络进行更新，主要流程如下，可参考图3。

(1)状态初始化；

(2)图像采集；

(3)图像预处理；

(4)YOLO自动选定对焦区域；

(5)计算图像对比度、边缘清晰度、图像清晰度和焦距；

(6)焦距和图像清晰度作为状态s

(7)执行动作a

(8)将状态s

(9)判断是否已经运行M次，若是，进行步骤(10)，若否返回步骤(2)，其过程如图7所示。

(10)使用优先经验回放方法，取出n组最相关数据利用DDPG算法对策略网络结构进行参数迭代；

(11)判断清晰度差值是否超过预设值，若是，返回步骤(5)，若否执行步骤(12)

(12)使用单次爬山寻优，找到最清晰的图像，本局调焦结束；

(13)重复步骤(1)-(12)，直到设定的总训练周期数目N全部训练结束，观察电液可调焦镜头对焦效果，并将学习步长，观测空间，动作空间，训练策略以及训练完成的神经网络数据保存，作为电液可调焦镜头实际调用数据，其结果如图8所示。

在步骤(2)中图像预处理主要通过以下方法去除环境中噪声和光照条件，提升图像质量，利于后续调焦处理：

①为了消除光线的影响，采用了灰度变换的方法。由于图像传感器在光线较暗或较亮的情况下可能会导致成像效果下降，因此有必要对图像的灰度值进行调整，以提升图像的对比度。假设原始图像的灰度范围为[a，b]，希望经过变换后的图像具有动态范围[c，d]，因此可以使用以下公式来实现这种变换：

式中a,b可从原始图像得到，c,d的调整以处理后的图像明暗适中为佳，在本实施例中c取值与a相等，d＝255；

②为了消除噪声，采用邻域平均法。由于图像中的像素分布存在较大的局部相关性，相邻像素之间存在显著的关联。而噪声则是以独立的方式叠加到图像上，其平均值为0。可以通过计算像素邻域内各像素灰度值的平均来代表原始灰度值，从而实现图像的平滑和噪声去除。为了在消除噪声的同时避免出现明显的模糊现象，我们采用了带有阈值的平均法。这种方法可以确保图像不会出现视觉上可见的模糊效果。

在图像中，像素点g(x,y)的灰度值表示其经过平滑处理后的结果，平滑是基于点的邻域S中其他坐标点的灰度值来计算的。在这个公式中，S代表了一个点邻域中坐标点的集合，但不包括点(x,y)本身。c表示集合中的坐标点总数，T是一个非负的预定阈值。这个方程的含义是，当某些点与它们邻域内的点的灰度平均值之差不超过预定的阈值T时，保留该点的灰度值不变；如果超过了阈值T，则用它们的平均灰度值来替代该点的灰度值。经过这种平滑处理，我们能够滤除脉冲噪声和部分加性噪声，从而显著提高图像的信噪比。为了实现消除噪声的同时避免明显的视觉模糊效果，S和T的设置需要谨慎。在这个应用实例中，选择了一个8×8的S尺寸，对应的c为64，同时设置T为15，以达到消除噪声并保持图像不出现明显视觉模糊的目的。

步骤(12)中单次爬山寻优，具体实施方法如下：

A)根据清晰度公式，计算当前经过强化学习修正后的较优图像清晰度评价值E

B)以调焦电流步长ΔI＝2mA沿清晰度评价值增大的方向调焦；

C)计算当前帧中目标图像的清晰度评价值E

D)比较E

DDPG算法主要分为四个部分，分别是策略网络(Actor)的更新、价值网络(Critic)的更新，两个目标网络(Target)的更新和经验回放。

1.策略网络(Actor)更新：

首先利用Actor网络计算出状态s

a

然后利用Critic网络计算出状态动作对(s

q

最后利用梯度上升算法最大化累积期望回报q

2.价值网络(Critic)的更新

利用Target Actor网络计算出状态s

a

然后利用Target Critic网络计算出状态动作对(s

y＝r

最后利用梯度下降算法最小化评估值和期望值之间的差值L

L

3.两个目标网络(Target)的更新

对于目标网络的更新，DDPG算法中采用软更新方式，也可以称为指数平均移动。即引入一个学习率(或者成为动量)τ，将旧的目标网络参数和新的对应网络参数做加权平均，然后赋值给目标网络：

Target Actor网络更新过程：

θ

Target Critic网络更新过程：

θ

学习率(动量)τ∈(0，1)，通常取值0.005。

4.经验回放

在基础DDPG算法中使用优先经验回放，相较于传统均匀经验回放随机抽取若干数据，优先经验回放根据当前状态选取优先级更高的若干数据，提高网络参数精度。具体如下：

其中，P(c)表示从所述经验池中筛选出来的经验四元组(s

与现有的技术相比，本发明具有以下优点和有益效果：

1.本发明采用强化学习算法，具有高度自我学习能力，不需要样本数据，在重复训练多次后能实现高效的自动控制。

2.本发明主要针对电液可调焦镜头的对焦控制，采用强化学习实现自动控制后能广泛应用于各种场景。

3.本发明通过强化学习和单次爬山寻优结合，可以快速高效地控制电液可调焦镜头电流达到最清晰图像的焦距。

4.本发明在DDPG算法基础上加入优先经验回放算法，高效地利用经验数据并进行更新，提高网络学习的精度和效率。

实施例三

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种电液可调焦镜头自动对焦系统。

本发明提供了一种电液可调焦镜头自动对焦系统，包括：

状态空间、动作空间以及奖励函数确定模块，用于确定强度学习方法的状态空间、动作空间以及奖励函数；所述状态空间至少包括两个参数，分别为图像清晰度和相机焦距；所述动作空间包括一个参数，为电液可调焦镜头的调焦电流值；所述奖励函数是根据动作前后的图像差别设计的函数。

图像清晰度和相机焦距计算模块，用于获取图像传感器采集的目标图像，并采用计算机视觉技术从目标图像中自动选定对焦目标区域，然后计算对焦目标区域的图像清晰度和相机焦距。

状态量和复合动作计算模块，用于将当前状态输入至深度神经网络架构中的策略网络中得到当前初始动作，并在当前初始动作上添加噪声得到当前复合动作，然后根据当前复合动作确定下一状态；所述当前状态为当前对焦目标区域的图像清晰度和相机焦距；所述当前初始动作为当前调焦电流值；所述下一状态为下一对焦目标区域的图像清晰度和相机焦距。

样本数据确定模块，用于根据当前状态、下一状态、当前复合动作以及奖励函数，计算当前奖励，并将当前状态、下一状态、当前复合动作以及当前奖励作为一组样本数据存入经验池。

训练好的自动对焦策略确定模块，用于当经验池中的样本数据组数为M组时，将经验池中的样本数据作为深度神经网络架构的训练数据，同时结合深度确定性策略梯度算法和单次爬山寻优算法，得到训练好的自动对焦策略。

调焦模块，用于将训练好的自动对焦策略部署到待对焦的电液可调焦镜头中，使待对焦的电液可调焦镜头能够在实时环境中自动调整焦点。

实施例四

本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的一种电液可调焦镜头自动对焦方法。

可选地，上述电子设备可以是服务器。

另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的一种电液可调焦镜头自动对焦方法。

本发明涉及一种基于强化学习的电液可调焦镜头自动对焦方法，用于实现在不同环境条件下自动对焦，以获得清晰且高质量的图像。该方法采用强化学习算法，包括深度确定性策略梯度(DDPG)算法，将自动对焦过程视为一个强化学习问题。本发明首先通过图像传感器获得目标图像，对图像进行预处理以消除环境干扰(光线、噪声等)；运用计算机视觉技术自动选定对焦目标区域；将图像中的关键信息作为强化学习状态量；通过训练好的神经网络，选择适当的动作，调整电液可调焦镜头的电场，使电液可调焦镜头进行调焦；根据调焦后的图像质量变化，计算奖励函数；使用DDPG算法，优化神经网络，从而提升自动对焦策略的性能。重复上述步骤并保存数据，将训练好的自动对焦策略部署到实际电液可调焦镜头中，使其能够在实时环境中自动调整焦点，获得清晰的图像。本发明方法通过强化学习技术，实现了电液可调焦镜头的智能化自动对焦，适用于摄影、无人机、医疗成像等领域。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。