测量深度信息的控制方法、装置、电子设备及存储介质
文献发布时间:2023-06-19 11:21:00
技术领域
本申请涉及影像技术领域,具体涉及一种测量深度信息的控制方法、装置、电子设备及存储介质。
背景技术
随着体感交互与控制、3D物体识别与感知、智能环境感知以及动态地图构建等技术与市场的发展,TOF(Time of Flight)技术应运而生。TOF技术可以理解为由一组人眼看不到的红外光(或激光脉冲)向外发射,遇到物体后反射,反射到摄像头结束,计算从发射到反射回摄像头的时间差或相位差,并将数据收集起来,形成一组距离深度数据,可以利用TOF技术来进行测距或者建立3D模型。
但是,在使用TOF技术的过程中,电子设备往往是采用默认的工作模式来获取物体的深度信息。当物体颜色较深时,由于深色反射率较差,采用默认的工作模式会导致TOF模组获取的深度信息不够准确;当物体颜色较浅时,采用默认的工作模式会导致电子设备获取深度信息时的功率较大,增加电子设备的功耗。
发明内容
本申请实施例提供一种测量深度信息的控制方法、装置、电子设备及存储介质。其中,该测量深度信息的控制方法能够根据被拍摄对象的颜色信息调节电子设备的工作参数,降低电子设备获取深度信息时的能耗。
第一方面,本申请实施例提供了一种测量深度信息的控制方法,该方法包括:
获取被拍摄对象的第一深度信息和至少一张彩色图像;
获取所述至少一张彩色图像对应的灰度值;
根据所述灰度值确定第一工作参数;
根据所述第一工作参数对所述第一深度信息进行更新,得到所述被拍摄对象的第二深度信息。。
第二方面,本申请实施例提供了一种测量深度信息的控制装置,该装置包括:
第一获取模块,用于获取被拍摄对象的第一深度信息和至少一张彩色图像;
第二获取模块,用于获取所述至少一张彩色图像对应的灰度值;
第一确定模块,用于根据所述灰度值确定第一工作参数;
更新模块,用于根据所述第一工作参数对所述第一深度信息进行更新,得到所述被拍摄对象的第二深度信息。
第三方面,本申请实施例提供了一种电子设备,所述电子设备包括存储有可执行程序代码的存储器、与所述存储器耦合的处理器,所述处理器用于执行本申请任一实施例提供的测量深度信息的控制方法中的步骤。
第四方面,本申请实施例提供了一种存储介质,所述存储介质存储有多条计算机可读指令,所述指令适于处理器进行加载,以执行本申请任一实施例提供的测量深度信息的控制方法中的步骤。
本申请实施例中,电子设备在获取被拍摄对象的深度信息时,先获取被拍摄对象的第一深度信息和至少一张彩色图像。然后获取至少一张彩色图像对应的灰度值,并根据灰度值确定第一工作参数。最后电子设备根据所述第一工作参数对第一深度信息进行更新,得到被拍摄对象的第二深度信息。电子设备能够根据被拍摄对象的颜色信息灵活调整获取深度信息时的工作参数,降低电子设备获取深度信息时的能耗。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的测量深度信息的第一场景示意图。
图2是本申请实施例提供的测量深度信息的控制方法的第一流程示意图。
图3是本申请实施例提供的测量深度信息的控制方法的第二流程示意图。
图4是本申请实施例提供的深度信息测量模块的第一工作示意图。
图5是本申请实施例提供的深度信息测量模块的第二工作示意图。
图6是本申请实施例提供的深度信息测量模块的第三工作示意图。
图7是本申请实施例提供的测量深度信息的控制方法的第三流程示意图。
图8是本申请实施例提供的测量深度信息的第二场景示意图。
图9是本申请实施例提供的测量深度信息的控制装置的第一结构示意图。
图10是本申请实施例提供的测量深度信息的控制装置的第二结构示意图。
图11是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
TOF(Time of Flight)技术是一种深度信息测量技术。在使用TOF技术的过程中,TOF模组发出经调制的近红外光,遇物体后反射,传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息。TOF技术常用的场景有3D建模、无人驾驶、测距等场景。
但是在实际应用中,电子设备往往是采用默认的工作模式来获取物体的深度信息,红外光投射在颜色较深的物体上时,由于深色物体的反光率较差,会导致反射回TOF模组的红外光有所损耗,最终导致TOF模组获取到的三维深度信息不够准确,从而降低了获取的深度信息的精度。当红外光投射在颜色较浅的物体上时,采用默认的工作模式又会徒增电子设备的功耗。
为了解决该技术问题,本申请实施例提供一种测量深度信息的控制方法、装置、电子设备及存储介质。以下分别进行详细说明。其中,该控制方法应用于电子设备,电子设备可以包括智能手机、智能穿戴设备、电脑、摄影设备等等。
请参阅图1,图1是本申请实施例提供的测量深度信息的第一场景示意图。
在本申请实施例中,电子设备包括深度信息测量模块和RGB摄像头C1,RGB摄像头C1能够捕获画面中的红色、绿色、蓝色像素信息,从而获得彩色图像。深度信息测量模块可以包括TOF摄像头。深度信息测量模块包括发送模块C2和接收模块C3,其中发送模块C2可以产生脉冲激光,并将脉冲激光发射到被拍摄对象上,当脉冲激光投射在被拍摄对象上时,会反射到接收模块C3上。电子设备可以根据脉冲激光的发射时间和接收时间来计算出时间差,电子设备还可以计算发射的脉冲激光和接受的脉冲激光之间的相位差。在获取到相位差和时间差之后,就可以计算出电子设备和被拍摄对象之间的距离,从而得到深度信息。
例如,在获取到相位差之后,可以根据以下公式来计算出电子设备和被拍摄对象之间的距离:
其中,D为距离,C为脉冲激光的传播速度,
在本申请实施例中,为了更加准确的获取被拍摄对象的深度信息,可以通过RGB摄像头C1来获取被拍摄对象的颜色信息,如果被拍摄对象的颜色较深,为了消除较深颜色对测量深度信息的影响,可以根据颜色信息来调整深度信息测量模块的工作参数,例如深度信息测量模块工作时的工作电流、积分时间等,从而使得深度信息测量模块在测量颜色较深的被拍摄对象的深度信息时,拥有更好的工作性能,从而提升测量深度信息时的精度。
如果被拍摄对象的颜色较浅时,浅色的反射率较高,电子可以根据颜色信息来调整深度信息测量模块的工作参数,从而使得深度信息测量模块在测量深度信息时拥有更低的功耗。
为了更好的理解本申请实施例提供的测量深度信息的控制方法,请参与图2,图2是本申请实施例提供的测量深度信息的控制方法的第一流程示意图。该测量深度信息的控制方法可以包括以下步骤:
110、获取被拍摄对象的第一深度信息和至少一张彩色图像。
在一些实施方式中,电子设备可以通过RGB摄像头C1获取至少一张被拍摄对象的彩色图像。例如可以获取第一彩色图像和第二彩色图像,然后获取第一彩色图像的第一图像信息和第二彩色图像的第二图像信息,其中第一图像信息和第二图像信息可以包括被拍摄对象的颜色信息、亮度信息、对比度信息、灰度值信息等信息。
第一图像信息和第二图像信息中包括多个像素点,多个像素点包括红色像素点、蓝色像素点、绿色像素点,这些像素点的可以通过不同的方式组合成自然界中所有的颜色。因此,电子设备可以在第一图像信息和第二图像信息中确定被拍摄对象的颜色信息。
需要说明的是,第一图像信息和第二图像信息可以是RGB摄像头C1连续捕获的两帧图像信息,因为在连续的两帧图像中,第一图像和第二图像中的灰度值变化会很小,从而不会影响后续步骤对灰度值的判断。
在拍摄场景较为稳定的情况下,例如在光源稳定的室内,被拍摄对象拥有稳定的光源及固定的色彩,此时电子设备可以获取任意两帧图像的图像信息,比如第一帧图像和第三帧图像的图像信息,利用第一帧图像和第三帧图像分别对应的灰度值来执行后续的步骤。
120、获取所述至少一张彩色图像对应的灰度值。
在一些实施方式中,电子设备可以通过全局处理的方式,直接获取到第一图像信息中的第一灰度值和第二图像信息中的第二灰度值。例如,直接把图像中的R(红色)、G(绿色)、B(蓝色)像素直接转换成Gray(灰色)像素,就可以得到整个图像的灰度图,然后再从灰度图中获取图像信息中的灰度值。
电子设备还可以通过计算的方式来获取第一灰度值和第二灰度值,例如,在图像中取R、G、B像素对应的像素值相加,然后再除以三就可以得到图像的灰度值。又比如,可以R、G、B像素值分别乘以对应的权重值,然后将得到的结果相加就可以得到图像的灰度值。
需要说明的是,灰度(Gray scale)数字图像是每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度,可以表示任何颜色的不同深浅,甚至可以是不同亮度上的不同颜色。
在本申请实施例中,第一灰度值和第二灰度值可以用于表示拍摄画面中被拍摄对象的颜色深浅,灰度值越高,则认为被拍摄对象的颜色越深。灰度值越低,则认为被拍摄对象的颜色越浅。为了更加准确的确定被拍摄对象的颜色深浅,电子设备还可以根据更多张彩色图像对应的灰度值来确定被拍摄对象的颜色信息。
在一些实施方式中,被拍摄对象往往拥有较为丰富的颜色,电子设备可以通过获取被拍摄对应的平均灰度值来代表被拍摄对象的颜色深浅情况。例如,电子设备可以通过获取第一图像信息中所有像素点的灰度值,然后通过所有像素点的灰度值求取所有像素点的第一平均灰度值,将第一平均灰度值作为第一灰度值。通过获取第二图像信息中所有像素点的灰度值,然后通过所有像素点的灰度值求取所有像素点的第二平均灰度值,将第二平均灰度值作为第二灰度值。平均灰度值能够代表整个图像中的颜色状况,能够反映出整个图像中是偏向深色或浅色。
130、根据灰度值确定第一工作参数。
由于第一灰度值和第二灰度值能够反映出被拍摄对象的颜色深浅,电子设备可以根据颜色深浅对深度信息测量模块的当前工作参数进行调整,从而得到第一工作参数,电子设备通过第一工作参数控制深度信息测量模块来测量被拍摄对象的深度信息,深度信息测量模块能够拥有更好的性能,从而获取的深度信息也更准确,同时对第一工作参数进行调整还能够降低深度信息测量模块在工作时的能耗。
例如,请一并参阅图3,图3是本申请实施例提供的测量深度信息的控制方法的第二流程示意图。
电子设备在获取第一图像信息的第一灰度值和第二图像信息的第二灰度值之后。步骤130可以包括以下步骤:
131、判断第一灰度值和第二灰度值是否在预设灰度值范围内。
需要说明的是,深度信息测量模块在测量深度信息时,会发射激光脉冲至被拍摄对象,然后接收被拍摄对象反射回来的激光脉冲,从而计算出发射激光脉冲和接收激光脉冲过程的时间差和相位差,最后根据时间差和相位差计算出被拍摄对象的深度信息。
但是当被拍摄对象有较深颜色的区域时,深色区域反射率较差,同时具备吸光的作用,导致反射回来的激光脉冲有较大损耗,深度信息测量模块接收到损耗的激光脉冲会影响深度信息的计算。
当被拍摄对象的颜色较浅时,一直采用当前的工作参数(默认工作参数),会导致深度信息测量模块消耗更多的能力,例如发射较高的激光脉冲能量、频繁的发射激光脉冲,都会多余耗费电子设备的电量。
在本申请实施例中,电子设备可以确定一个预设灰度值范围,只要第一灰度值和第二灰度值在这个预设灰度值范围外,都需要对深度信息测量模块的工作参数进行调整,从而使得深度信息测量模块拥有更好的性能,测得的深度信息的精度更高,使得深度信息测量模块工作时消耗更少的能量。
需要说明的是,该预设灰度值范围是根据环境的亮度值变化而确定的,例如,同一颜色的物体,在白天时的预设灰度值范围为130~180,而在晚上时该物体对应的预设灰度值范围在50~80。
132、当第一灰度值和第二灰度值在预设灰度值范围内,将深度信息测量模块的当前工作参数确定为第一工作参数。
需要说明的是,当第一灰度值和第二灰度值在预设灰度值范围内,深度信息测量模块的当前工作参数已经能够满足测量被拍摄对象的深度信息,且测得的深度信息的精度较高,无需对深度信息测量模块的工作参数进行调整。此时,电子设备将深度信息测量模块的当前工作参数确定为第一工作参数。
133、当第一灰度值和第二灰度值均大于预设灰度值范围的上限值时,则增加当前工作参数中的积分时间和/或工作电流。
在一些实施方式中,当第一灰度值和第二灰度值均大于预设灰度值范围的上限值时,说明被拍摄对象的颜色较深,为了防止测得的深度信息有误差,需要对深度信息测量模块的当前工作参数进行调整。
电子设备可以在当前工作参数的基础上增加深度信息测量模块工作时的积分时间,还可以在当前工作参数的基础上增加深度信息测量模块工作时的工作电流。
需要说明的是,电子设备在调节深度信息测量模块工作时的积分时间和/或工作电流时,深度信息测量模块的其他工作参数是不发生改变的,例如脉冲频率、占空比等参数是不发生改变的,因为在这些基础参数发生后,在深度信息测量模块使用的过程中,会直接影响到深度信息测量模块测量深度信息的精度,甚至导致测量的深度信息是错误的。
请一并参阅图4、图5,其中图4为本申请实施例提供的深度信息测量模块的第一工作示意图,图5为本申请实施例提供的深度信息测量模块的第二工作示意图。
在图4中,深度信息是在当前工作参数下工作的,深度信息测量模块在工作时的帧率为F1,深度信息测量模块在工作时的积分时间为T1。在图5中,深度信息测量模块是在第一工作参数下工作的,深度信息测量模块在工作时的帧率为F2,深度信息测量模块在工作时的积分时间为T2。
其中,帧率F1和帧率F2是相同的,没有发生改变,深度信息测量模块的脉冲频率、占空比也没有发生改变。唯一发生改变的是深度信息测量模块工作时的积分时间。
比如,如图4所示,当前工作参数中,脉冲频率为100MHz,占空比为50%,帧率F1为30fps,这些基本的工作参数是不发生改变的。在对当前工作参数调节后,脉冲频率、帧率、占空比也是不发生改变的,如图5所示,图5中对应的脉冲频率也是100MHz,占空比也是50%,帧率F2也是30fps。
但是电子设备在对当前工作参数进行调整时,当前工作参数的积分时间是发生改变的。例如,如图4所示,在当前工作参数下,积分时间T1为300us。在图5中的第一工作参数下,积分时间T2为500us。也就是说,积分时间T2相对于积分时间T1增加了。在一个积分时间T1内,脉冲信号有1万个周期,而在一个积分时间T2内,脉冲信号会增加到1.8万个周期。更长的积分时间对应更多周期的脉冲信号,则使得深度信息测量模块计算的相位差更加准确,最终使得深度信息测量模块测得的深度信息精度更高。
请一并参阅图6,图6是本申请实施例提供的深度信息测量模块的第三工作示意图。
当第一灰度值和第二灰度值均大于预设灰度值范围的上限值时,说明被拍摄对象颜色较深,深度信息测量模块发出的激光脉冲会被吸收一部分,导致深度信息测量模块接收到的激光脉冲有所损耗,最终导致深度信息测量模块测得的深度信息不够准确。
此时,电子设备可以通过增加深度信息测量模块工作时的工作点电流,对深度信息测量模块工作时的脉冲频率、帧率、占空比不进行调整。
如图6所示,在当前工作参数中,深度信息测量模块的工作电流较低,则深度信息测量模块发射出的脉冲信号的能量E1也较低。通过增大深度信息测量模块工作时的工作电流,使得深度信息测量模块每次发射出的脉冲信号拥有更高的能量,在调整深度测量模块的工作电流后,深度信息测量模块发射出的脉冲信号的能量E2相对于能量E1拥有更高的能量峰值。从而使得被拍摄对象反射回的激光脉冲能量损耗相对更小,最终使得深度信息测量模块计算的相位差更加准确,通过更加准确的相位差计算得到的深度信息也就更准确。
134、当第一灰度值和第二灰度值均小于预设灰度值的下限值时,则减小当前工作参数中的积分时间和/或工作电流。
当第一灰度值和第二灰度值均小于预设灰度值范围的下限值时,说明被拍摄对象的颜色较浅,深度信息测量模块可以采用当前工作参数对被拍摄对象进行深度信息测量,但是此时深度信息测量模块会消耗较多的能量,造成电子设备的电能损失。
此时,由于浅色相对于深色拥有较高的反射率,电子设备可以在当前工作参数的基础上,对深度信息测量模块工作时的积分时间和/或工作电流进行调小。使得深度信息测量模块在准确测得深度信息的同时,降低了深度信息测量模块工作时的能耗。
例如,在当前工作参数的基础上,对深度信息测量模块工作时的积分时间进行减小,在减小后的积分时间内,拥有更少的脉冲信号周期,从而实现深度信息测量模块对被拍摄对象进行深度信息测量的同时,减少了深度信息测量模块的能耗。
在当前工作参数的基础上,对深度信息测量模块工作时的工作电流进行减小,深度信息测量模块发射脉冲信号时的能量值降低,从而实现对被拍摄对象进行深度信息测量的同时,减少了深度信息测量模块的能耗。
140、根据第一工作参数对第一深度信息进行更新,得到被拍摄对象的第二深度信息。
在本申请实施例中,通过获取被拍摄对象的第一灰度值和第二灰度值,能够通过第一灰度值和第二灰度值确定被拍摄对象的颜色深浅。具体的,通过上述将第一灰度值和第二灰度值与预设灰度值范围进行对比,能够确定对当前工作参数的调节方式。
在第一灰度值和第二灰度值都在预设灰度值范围内时,说明当前工作参数适用于被拍摄对象的颜色。电子设备可以直接将当前工作参数作为深度信息测量模块的第一工作参数。此时,认为电子设备没有对深度信息测量模块的工作参数进行改变,深度信息测量模块可以继续在当前工作参数下获取被拍摄对象的深度信息,从而对第一深度信息进行更新,得到被拍摄对象的第二深度信息,即电子设备最终确定的被拍摄对象的深度信息。
在第一灰度值和第二灰度值都大于预设灰度值范围的上限值时,说明被拍摄对象的颜色较深。电子设备可以把当前工作参数作为基准,对当前工作参数中的积分时间和/或工作电流进行增大,得到第一工作参数。在第一工作参数下工作的深度信息测量模块拥有更好的工作性能,从而实现准确获取被拍摄对象的深度信息。然后电子设备将重新获取的深度信息对第一深度信息进行更新,从而得到被拍摄对象的第二深度信息,即电子设备最终确定的被拍摄对象的深度信息。
在第一灰度值和第二灰度值都小于预设灰度值范围的下限值时,说明被拍摄度对象的颜色较浅。电子设备可以把前工作参数作为基准,对当前工作参数中的积分时间和/或工作电流进行减小,得到第一工作参数。在第一工作参数下工作的深度信息测量模块拥有更低的工作能耗,从而节省电子设备的电量。然后电子设备将重新获取的深度信息对第一深度信息进行更新,从而得到被拍摄对象的第二深度信息,即电子设备最终确定的被拍摄对象的深度信息。
本申请实施例中,电子设备在获取被拍摄对象的深度信息时,先获取被拍摄对象的第一深度信息和至少一张彩色图像。然后获取至少一张彩色图像对应的灰度值,并根据灰度值确定第一工作参数。最后电子设备根据所述第一工作参数对第一深度信息进行更新,得到被拍摄对象的第二深度信息。电子设备能够根据被拍摄对象的颜色信息灵活调整获取深度信息时的工作参数,降低电子设备获取深度信息时的能耗。
请参阅图7,图7是本申请实施例提供的测量深度信息的控制方法的第三流程示意图。
201、获取电子设备与被拍摄对象的距离。
需要说明的是,在深度信息测量模块发送激光脉冲的过程中,由于被拍摄物体的距离影响,需要采取较为合适的脉冲频率,才能保证测量的深度信息的准确性。
电子设备可以通过红外激光传感器来获取电子设备与被拍摄对象之间的距离。还可以通过对第一图像信息和第二图像信息进行分析,来大概判断出被拍摄对象和电子设备之间的距离。还可以通过深度信息测量模块直接采用默认工作参数来获取电子设备和被拍摄对象之间的距离。
202、根据距离确定出深度信息测量模块的第二工作参数。
在电子设备测得电子设备和被拍摄对象之间的距离之后,可以根据距离来确定出第二工作参数。
例如,当测得的距离小于预设距离的时候,深度信息测量模块可以采用预设脉冲频率工作,因为电子设备获取深度信息的场景往往是在较近距离下,例如室内,往往会将近距离下对应的脉冲频率作为预设的脉冲频率,而预设脉冲频率往往是高频率,因为在较短的测距距离中,高频率的脉冲信号在传播时能量损耗极其低微,不影响获取的深度信息的精度。
当电子设备测得的距离大于预设距离的时候,电子设备可以降低预设脉冲频率,从而减小脉冲信号在传播过程中的损耗,提升深度信息测量模块测量的深度信息的准确性。电子设备可以将根据距离确定好的脉冲频率作为第二工作参数。
在一些实施方式中,可以认为第二工作参数是在电子设备根据当前工作参数获取被拍摄对象的第一深度信息和至少一张彩色图像之前就确定的,并且将第二工作参数作为当前工作参数的一部分。例如将第二工作参数中确定的脉冲频率作为当前工作参数的脉冲频率。
在一些实施方式中,当确定出电子设备和被拍摄对象的距离较近时,电子设备还可以降低深度信息测量模块工作时的积分时间,从而减少激光脉冲的发射次数,从而降低深度信息测量模块工作时的功耗。
203、获取被拍摄对象的第一图像信息和第二图像信息。
在一些实施方式中,电子设备可以通过RGB摄像头C1获取被拍摄对象的第一图像信息和第二图像信息,第一图像信息和第二图像信息包括被拍摄对象的颜色信息、亮度信息、对比度信息、灰度值信息等信息。
204、根据第一图像信息和第二图像信息确定被拍摄对象的多个区域之间的对比度。
可以理解的是,对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,差异范围越大代表对比越大,差异范围越小代表对比越小。
电子设备可以根据第一图像信息和第二图像信息对被拍摄对象划分为多个区域,这多个区域之间是存在对比度的。
例如,电子设备可以根据第一图像信息和第二图像信息综合确定出被拍摄对象的轮廓,然后根据被拍摄对象的轮廓来划分出多个区域,最后获取多个区域之间的对比度。
又比如,电子设备可以将直接对第一图像和第二图像进行预设个数的网格化处理。根据第一图像信息,来获取多个网格区域之间的对比度,将对比度差异较小的网格视为同一区域,从而实现对第一图像的区域分割,最终得到多个第一区域。根据第二图像信息,来获取多个网格区域之间的对比度,将对比度差异较小的网格视为同一区域,从而实现对第二图像的区域分割,最终得到多个第二区域。
最终,电子设备在多个第一区域和多个第二区域中确定出相同的区域,将这些区域确定为被拍摄对象的多个区域。
205、根据对比度在多个区域中确定出至少一个目标区域。
可以理解的是,对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,差异范围越大代表对比越大,差异范围越小代表对比越小。
也就是说,在被拍摄对象的画面中,深色和浅色是拥有较大差异范围的对比度的。通过获取多个区域之间的对比度,就能确定出色彩较深的区域,将色彩较深的区域作为目标区域。目标区域可以是一个,也可以是多个。
如图8所示,图8是本申请实施例提供的测量深度信息的第二场景示意图。其中,被拍摄对象的多个区域包括区域1、区域2、区域3,其中区域1和区域2的对比度较大,则确定区域2为目标区域。区域1和区域3的对比度较大,则确定区域3为目标区域。
206、确定第一图像信息中目标区域的第一目标平均灰度值,以及确定第二图像信息中目标区域的第二目标平均灰度值。
在一些实施方式中,在确定好目标区域之后,目标区域中的颜色都是深色,此时电子设备通过第一图像信息确定目标区域中的所有像素点的灰度值,然后通过目标区域中所有像素点的灰度值计算目标区域所有像素点的第一目标平均灰度值。电子设备通过第二图像信息确定目标区域中的所有像素点的灰度值,然后通过目标区域中所有像素点的灰度值计算目标区域所有像素点的第二目标平均灰度值。
需要说明的是,第一目标平均灰度值和第二目标平均灰度值能够代表所有目标区域的灰度值。
如图8所示,区域2和区域3为目标区域,可以获取区域2和区域3对应的目标灰度值,然后对目标灰度值求均值得到平均灰度值,则该平均灰度值就能够代表区域2和区域3的整体灰度值情况。
207、判断第一目标平均灰度值和第二目标平均灰度值是否在预设灰度值范围内。
在本申请实施例中,电子设备可以确定一个预设灰度值范围,第一目标平均灰度值和第二目标平均灰度值在这个预设灰度值范围外,都需要对深度信息测量模块的工作参数进行调整,从而使得深度信息测量模块拥有更好的性能,测得的深度信息的精度更高。
需要说明的是,第一目标平均灰度值可以为第一图像信息对应的第一灰度值,第二目标平均灰度值可以为第二图像信息对应的第二灰度值。也就是说,第一目标平均灰度值和第二目标平均灰度值能够反映出对应的图像中的颜色深浅。
208、当第一目标平均灰度值和第二目标平均灰度值均在预设灰度值范围内时,将深度信息测量模块的当前工作参数确定为第一工作参数。
需要说明的是,当第一目标平均灰度值和第二目标平均灰度值在预设灰度值范围内,深度信息测量模块的当前工作参数已经能够满足测量被拍摄对象的深度信息,且测得的深度信息的精度较高,无需对深度信息测量模块的工作参数进行调整。此时,则将深度信息测量模块的当前工作参数确定为第一工作参数。
209、当第一目标平均灰度值和第二目标平均灰度值均在预设灰度值范围外时,对当前工作参数中的积分时间和/或工作电流进行调整,以得到第一工作参数。
在第一目标平均灰度值和第二目标平均灰度值都大于预设灰度值范围的上限值时,电子设备可以把当前工作参数作为基准,对当前工作参数中的积分时间和/或工作电流进行增大,得到第一工作参数。
在第一目标平均灰度值和第二目标平均灰度值都小于预设灰度值范围的下限值时,电子设备可以把当前工作参数作为基准,对当前工作参数中的积分时间和/或工作电流进行减小,得到第一工作参数。
在一些情况中,第一目标平均灰度值可能小于预设灰度值范围的下限值,第二目标平均灰度值可能大于预设灰度值范围的上限值。此时认为该组数据不够准确,电子设备可以RGB摄像头C1重新获取第三图像信息和第四图像信息,重新第三图像信息和第四图像信息对应的灰度值进行获取,通过第三图像信息和第四图像信息对应的灰度值确定被拍摄对象的颜色深浅。
210、根据第一工作参数和第二工作参数控制深度信息测量模块测量被拍摄对象的深度信息。
在确定好第一工作参数和第二工作参数之后,此时,电子设备通过第一工作参数和第二工作参数控制深度信息测量模块对被拍摄对象进行深度信息测量,从而获取更加准确的被拍摄对象的深度信息,同时还能降低深度信息测量模块工作时的能耗。
在本申请实施例中,通过获取电子设备与被拍摄对象的距离确定出深度信息测量模块的第二工作参数,然后获取被拍摄对象的第一图像信息和第二图像信息,再根据第一图像信息和第二图像信息确定被拍摄对象的多个区域之间的对比度,根据对比度在多个区域中确定出至少一个目标区域,同时根据第一图像信息确定目标区域的第一目标平均灰度值,以及根据第二图像信息确定目标区域的第二目标平均灰度值。
最后,判断第一目标平均灰度值和第二目标平均灰度值是否在预设灰度值范围内,如果第一目标平均灰度值和第二目标平均灰度值在预设灰度值范围内,则将深度信息测量模块的当前工作参数确定为第一工作参数。如果第一目标平均灰度值和第二目标平均灰度值不在预设灰度值范围内,则对当前工作参数中的积分时间和/或工作电流进行调整,以得到第一工作参数。并根据第一工作参数和第二工作参数控制深度信息测量模块测量被拍摄对象的深度信息。电子设备能够根据被拍摄对象的颜色信息灵活调整获取深度信息时的工作参数,以及降低电子设备获取深度信息时的能耗。
请参阅图9,图9是本申请实施例提供的测量深度信息的控制装置的第一结构示意图。该测量深度信息的控制装置300包括:第一获取模块310、第二获取模块320、第一确定模块330及更新模块340。
其中,第一获取模块310,用于获取被拍摄对象的第一深度信息和至少一张彩色图像。
在一些实施方式中,第一获取模块310可以通过RGB摄像头C1获取至少一张被拍摄对象的彩色图像。其中彩色图像对应的图像信息可以包括被拍摄对象的颜色信息、亮度信息、对比度信息、灰度值信息等信息。
第二获取模块320,用于获取至少一张彩色图像对应的灰度值。
其中,请一并参阅图10,图10是本申请实施例提供的测量深度信息的控制装置的第二结构示意图。第二获取模块320包括:第一获取子模块321、第二获取子模块322。
第一获取子模块321,用于获取第一彩色图像对应的第一图像信息和第二彩色图像对应的第二图像信息。
第一获取子模块321可以获取第一彩色图像和第二彩色图像,然后获取第一彩色图像的第一图像信息和第二彩色图像的第二图像信息,其中第一图像信息和第二图像信息可以包括被拍摄对象的颜色信息、亮度信息、对比度信息、灰度值信息等信息。
第二获取子模块322,根据第一图像信息获取第一灰度值,以及根据第二图像信息获取第二灰度值。
在一些实施方式中,第二获取子模块322可以通过全局处理的方式,直接获取到第一图像信息中的第一灰度值和第二图像信息中的第二灰度值。例如,直接把图像中的R(红色)、G(绿色)、B(蓝色)像素直接转换成Gray(灰色)像素,就可以得到整个图像的灰度图,然后再从灰度图中获取图像信息中的灰度值。
第二获取子模块322还可以通过计算的方式来获取第一灰度值和第二灰度值,例如,在图像中取R、G、B像素对应的像素值相加,然后再除以三就可以得到图像的灰度值。又比如,可以R、G、B像素值分别乘以对应的权重值,然后将得到的结果相加就可以得到图像的灰度值。
在一些实施方式中,在RGB摄像头C1捕获到第一图像信息和第二图像信息时,第二获取模块320可以通过全局处理的方式,直接获取到第一图像信息中的第一灰度值和第二图像信息中的第二灰度值。例如,直接把图像中的R(红色)、G(绿色)、B(蓝色)像素直接转换成Gray(灰色)像素,就可以得到整个图像的灰度图,然后再从灰度图中获取图像信息中的灰度值。
第一确定模块330,用于根据灰度值确定第一工作参数。
由于第一灰度值和第二灰度值能够反映出被拍摄对象的颜色深浅,第一确定模块330可以根据颜色深浅对深度信息测量模块的当前工作参数进行调整,从而得到第一工作参数,电子设备通过第一工作参数控制深度信息测量模块来测量被拍摄对象的深度信息,深度信息测量模块能够拥有更好的性能,从而获取的深度信息也更准确,同时对第一工作参数进行调整还能够降低深度信息测量模块在工作时的能耗。
当第一灰度值和第二灰度值在预设灰度值范围内,深度信息测量模块的当前工作参数已经能够满足测量被拍摄对象的深度信息,且测得的深度信息的精度较高,无需对深度信息测量模块的工作参数进行调整。此时,第一确定模块330将深度信息测量模块的当前工作参数确定为第一工作参数。
当第一灰度值和第二灰度值均大于预设灰度值范围的上限值时,说明被拍摄对象的颜色较深,为了防止测得的深度信息有误差,需要对深度信息测量模块的当前工作参数进行调整。第一确定模块330可以在当前工作参数的基础上增加深度信息测量模块工作时的积分时间,还可以在当前工作参数的基础上增加深度信息测量模块工作时的工作电流。
当第一灰度值和第二灰度值均小于预设灰度值范围的下限值时,说明被拍摄对象的颜色较浅,深度信息测量模块可以采用当前工作参数对被拍摄对象进行深度信息测量,但是此时深度信息测量模块会消耗较多的能量,造成电子设备的电能损失。此时,由于浅色相对于深色拥有较高的反射率,。第一确定模块330可以在当前工作参数的基础上,对深度信息测量模块工作时的积分时间和/或工作电流进行调小。使得深度信息测量模块在准确测得深度信息的同时,降低了深度信息测量模块工作时的能耗。
更新模块340,用于根据第一工作参数对第一深度信息进行更新,得到被拍摄对象的第二深度信息。
在确定好深度信息测量模块对应的第一工作参数之后,更新模块340控制深度信息测量模块根据第一工作参数获取被拍摄对象的深度信息,并通过新获取的深度信息对第一深度信息进行更新,最终得到被拍摄对象的第二深度信息,即电子设备最终确定的被拍摄对象的深度信息。
如图10所示,该测量深度信息的控制装置300还包括:第三获取模块350和第二确定模块360。
第三获取模块350,用于在根据第一工作参数控制深度信息测量模块测量被拍摄对象的深度信息之前,获取电子设备与被拍摄对象的距离。
第三获取模块350可以通过红外激光传感器来获取电子设备与被拍摄对象之间的距离。还可以通过对第一图像信息和第二图像信息进行分析,来大概判断出被拍摄对象和电子设备之间的距离。还可以通过深度信息测量模块直接采用默认工作参数来获取电子设备和被拍摄对象之间的距离。
第二确定模块360,用于根据距离确定出深度信息测量模块的第二工作参数。
例如,当测得的距离小于预设距离的时候,深度信息测量模块可以采用预设脉冲频率工作,因为电子设备获取深度信息的场景往往是在较近距离下,例如室内,往往会将近距离下对应的脉冲频率作为预设的脉冲频率,而预设脉冲频率往往是高频率,因为在较短的测距距离中,高频率的脉冲信号在传播时能量损耗极其低微,不影响获取的深度信息的精度。
当电子设备测得的距离大于预设距离的时候,第二确定模块360可以降低预设脉冲频率,从而减小脉冲信号在传播过程中的损耗,提升深度信息测量模块测量的深度信息的准确性。第二确定模块360可以将根据距离确定好的脉冲频率作为第二工作参数。
更新模块340具体用于:根据第一工作参数和所述第二工作参数对第一深度信息进行更新,得到被拍摄对象的第二深度信息。
本申请实施例中,电子设备在获取被拍摄对象的深度信息时,先获取被拍摄对象的第一深度信息和至少一张彩色图像。然后获取至少一张彩色图像对应的灰度值,并根据灰度值确定第一工作参数。最后电子设备根据所述第一工作参数对第一深度信息进行更新,得到被拍摄对象的第二深度信息。电子设备能够根据被拍摄对象的颜色信息灵活调整获取深度信息时的工作参数,降低电子设备获取深度信息时的能耗。
相应的,本申请实施例还提供一种电子设备,请参阅图11,图11是本申请实施例提供的电子设备的结构示意图。
电子设备400包括:显示单元401、输入单元402、存储器403、中央处理器405、电源404和传感器406等部件。本领域技术人员可以理解,图中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
显示单元401可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元401可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给中央处理器404以确定触摸事件的类型,随后中央处理器404根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图11中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
输入单元402可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元402可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给中央处理器404,并能接收中央处理器404发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元402还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
存储器403可用于存储软件程序以及模块,处理器404通过运行存储在存储器403的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器404可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器403可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器403还可以包括存储器控制器,以提供处理器404和输入单元402对存储器403的访问。
电子设备还包括给各个部件供电的电源405(比如电池),优选的,电源可以通过电源管理系统与中央处理器404逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源405还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
电子设备还可包括至少一种传感器406,比如光传感器、压力传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
尽管图8未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的中央处理器404会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器403中,并由中央处理器404来运行存储在存储器403中的应用程序,从而实现各种功能:
获取被拍摄对象的第一深度信息和至少一张彩色图像;
获取所述至少一张彩色图像对应的灰度值;
根据所述灰度值确定第一工作参数;
根据所述第一工作参数对所述第一深度信息进行更新,得到所述被拍摄对象的第二深度信息。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种测量深度信息的控制方法中的步骤。例如,该指令可以执行如下步骤:
获取被拍摄对象的第一深度信息和至少一张彩色图像;
获取所述至少一张彩色图像对应的灰度值;
根据所述灰度值确定第一工作参数;
根据所述第一工作参数对所述第一深度信息进行更新,得到所述被拍摄对象的第二深度信息。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种测量深度信息的控制方法中的步骤,因此,可以实现本申请实施例所提供的任一种测量深度信息的控制方法中所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种测量深度信息的控制方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
- 测量深度信息的控制方法、装置、电子设备及存储介质
- 深度信息获取方法和装置、电子设备和存储介质