掌桥专利:专业的专利平台
掌桥专利
首页

基于域控制器ISP的相机数据处理方法与装置

文献发布时间:2024-04-18 20:02:18


基于域控制器ISP的相机数据处理方法与装置

技术领域

本申请涉及图像处理领域,具体而言,涉及一种基于域控制器ISP的相机数据处理方法、基于域控制器ISP的相机数据处理装置、存储介质和电子设备。

背景技术

基于域控制器ISP(Image Signal Process数字图像处理)的常规方案是通过少量的采集相机的RAW数据(原始图像数据,相机直接采集到的没有经过处理的数据),在实验室进行tuning工作(即图像处理工作),然后将tuning出来的结果再应用到车上,通过车辆在指定的道路和场景运行自动驾驶程序来判别图像质量是否满足需求,采集和验证的流程分离,一般是先采集,后验证的方式。具体的流程如图1所示。

上述这种处理方式具有如下不足:

1)Tuning流程很长,需要开车去指定的路径和场景进行数据采集,回实验室后进行Tuning后,需要再开车到指定的场景下验证,同时还需要和自动驾驶程序的算法进行匹配,有些场景转瞬即逝,可能采集的时候采集到了对应的场景,但是验证环节很难再捕获,因此导致整个时间线拉的很长,不利于快速迭代;

2)同样的数据需要反复采集和验证并配合算法进行验证,耗费大量的时间精力以及车辆资源。

发明内容

本申请的主要目的在于提供一种基于域控制器ISP的相机数据处理方法、基于域控制器ISP的相机数据处理装置、存储介质和电子设备,以至少解决现有技术中基于域控制器ISP车辆图像采集和验证的方案Tuning流程较长的问题。

为了实现上述目的,根据本申请的一个方面,提供了一种基于域控制器ISP的相机数据处理方法,包括:获取原始相机数据,所述原始相机数据为相机传感器直接采集到的未经处理的数据;基于未调整的ISP参数采用ISP模块对所述原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证;获取在车上无法实现测试的场景对应的所述原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对所述目标原始相机数据进行处理,且采用处理后的数据实现非车上对所述车上无法实现测试的场景的测试以及参数的验证。

可选地,获取在车上无法实现测试的场景对应的所述原始相机数据,得到目标原始相机数据,包括:获取得到的所述原始相机数据进行备份处理,得到备份原始相机数据;从所述备份原始相机数据中获取在车上无法实现测试的场景对应的所述原始相机数据,得到所述目标原始相机数据。

可选地,且采用处理后的数据实现非车上对所述车上无法实现测试的场景的测试以及参数的验证,包括:将所述处理后的数据、以及所述备份原始相机数据输入至自动驾驶的仿真软件中进行仿真,以实现非车上对所述车上无法实现测试的场景的测试以及参数的验证。

可选地,将所述处理后的数据、以及所述备份原始相机数据输入至自动驾驶的仿真软件中进行仿真,以实现非车上对所述车上无法实现测试的场景的测试以及参数的验证,包括:从所述备份原始相机数据中还原出所述车上无法实现测试的场景;将还原出的所述场景、以及所述处理后的数据输入至自动驾驶的仿真软件中进行仿真,以实现非车上对所述车上无法实现测试的场景的测试以及参数的验证。

可选地,采用调整ISP参数后的ISP模块对所述目标原始相机数据进行处理,且采用处理后的数据实现非车上对所述车上无法实现测试的场景的测试以及参数的验证,包括:分多次调整所述ISP参数,得到多种所述调整ISP参数,且将多种所述调整ISP参数应用于所述ISP模块对所述目标原始相机数据进行处理,且采用多种处理后的数据实现非车上对所述车上无法实现测试的场景的测试以及参数的验证,得到最适用所述车上无法实现测试的场景的所述调整ISP参数。

可选地,在基于未调整的ISP参数采用ISP模块对所述原始相机数据中的至少部分数据进行处理之后,所述方法还包括:将所述处理后的数据存储至预设存储区域;对所述处理后的数据进行格式转换处理,得到格式转换后的数据,且将所述格式转换后的数据存储至所述预设存储区域。

可选地,所述方法还包括:将所述处理后的数据发送至显示单元以在所述显示单元的预设显示区域进行显示;将所述格式转换后的数据发送至所述显示单元以在所述显示单元的所述预设显示区域进行显示。

可选地,将所述处理后的数据发送至显示单元以在所述显示单元的预设显示区域进行显示,包括:将所述处理后的数据发送至所述显示单元以在所述显示单元的不同的所述预设显示区域中显示不同的所述场景对应的所述处理后的数据,其中,所述场景与所述预设显示区域一一对应。

可选地,基于所述未调整的ISP参数采用所述ISP模块对所述原始相机数据进行处理得到的数据、以及采用调整ISP参数后的所述ISP模块对所述目标原始相机数据进行处理得到的数据均为YUV格式的数据,其中,Y表示亮度分量,UV表示色彩分量。

可选地,所述ISP参数至少包括图像亮度参数和图像色彩参数。

可选地,所述相机传感器安装在自动驾驶车辆的预设位置。

根据本申请的另一方面,提供了一种基于域控制器ISP的相机数据处理装置,其特征在于,包括:获取单元,用于获取原始相机数据,所述原始相机数据为相机传感器直接采集到的未经处理的数据;第一处理单元,用于基于未调整的ISP参数采用ISP模块对所述原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证;第二处理单元,用于获取在车上无法实现测试的场景对应的所述原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对所述目标原始相机数据进行处理,且采用处理后的数据实现非车上对所述车上无法实现测试的场景的测试以及参数的验证。

可选地,所述第二处理单元包括:备份模块,用于将获取得到的所述原始相机数据进行备份处理,得到备份原始相机数据;获取模块,用于从所述备份原始相机数据中获取在车上无法实现测试的场景对应的所述原始相机数据,得到所述目标原始相机数据。

根据本申请的再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的基于域控制器ISP的相机数据处理方法。

根据本申请的又一方面,提供了一种电子设备,其特征在于,包括:一个或多个处理器,存储器,以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行任意一种所述的基于域控制器ISP的相机数据处理方法。

应用本申请的技术方案,首先获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据;之后基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证;最后获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。通过基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证的方式,实现了非车上对车上无法实现测试的场景的测试以及参数的验证的目的,达到了数据采集和验证同步进行,减少数据反复采集和验证,减少非必要消耗人力物力的效果,进而解决了现有技术中基于域控制器ISP车辆图像采集和验证的方案Tuning流程较长的问题。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1示出了根据本申请的实施例提供的一种基于域控制器ISP的相机数据处理方法的流程示意图;

图2示出了根据本申请的实施例中提供的一种执行基于域控制器ISP的相机数据处理方法的移动终端的硬件结构框图;

图3示出了根据本申请的实施例提供的另一种基于域控制器ISP的相机数据处理方法的流程示意图;

图4示出了根据本申请的实施例提供的另一种基于域控制器ISP的相机数据处理方法的流程示意图;

图5示出了根据本申请的实施例提供的另一种基于域控制器ISP的相机数据处理方法的流程示意图;

图6示出了根据本申请的实施例提供的一种基于域控制器ISP的相机数据处理装置的结构框图。

具体实施方式

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

正如背景技术中所介绍的,现有技术中Tuning流程很长,需要开车去指定的路径和场景进行数据采集,回实验室后进行Tuning后,需要再开车到指定的场景下验证,同时还需要和自动驾驶程序的算法进行匹配,有些场景转瞬即逝,可能采集的时候采集到了对应的场景,但是验证环节很难再捕获,因此导致整个时间线拉的很长,不利于快速迭代,为解决现有技术中基于域控制器ISP车辆图像采集和验证的方案Tuning流程较长的问题,本申请的实施例提供了一种基于域控制器ISP的相机数据处理方法。

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图2是本发明实施例的一种基于域控制器ISP的相机数据处理方法的移动终端的硬件结构框图。如图2所示,移动终端可以包括一个或多个(图2中仅示出一个)处理器202(处理器202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器204,其中,上述移动终端还可以包括用于通信功能的传输设备206以及输入输出设备208。本领域普通技术人员可以理解,图2所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。

存储器204可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的基于域控制器ISP的相机数据处理方法对应的计算机程序,处理器202通过运行存储在存储器204内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器204可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器204可进一步包括相对于处理器202远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输设备206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备206包括一个网络适配器(Network InterfaceController,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备206可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于移动终端、计算机终端或者类似的运算装置的基于域控制器ISP的相机数据处理方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图3是根据本申请实施例的基于域控制器ISP的相机数据处理方法的流程图。如图3所示,该方法包括以下步骤:

步骤S301,获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据。

上述步骤中的原始相机数据可以是通过采集相机的RAW数据进行获取。

步骤S302,基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证。

具体地,图4是根据本申请实施例的另一种基于域控制器ISP的相机数据处理方法的流程图,如图4所示,基于未调整的ISP参数,即图4中的ISP参数,采用ISP模块对原始相机数据中的至少部分数据,即图4中的RAW数据,进行处理,并采用处理后的数据,即图4所示的YUV数据,需要说明的是,YUV格式的数据,其中,Y表示亮度分量,UV表示色彩分量。

在一个可选实施例中,如图4所示,假如针对8M的相机,先在路测的时候采集传感器的RAW图,一方面直接会基于实时ISP生成YUV,送到算法进行使用,另一方面也会把RAW图存储下来,还会直接在显示设备上进行显示,尤其是针对一些特殊场景,实验室不好复现的。

步骤S303,获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。

具体地,图5是根据本申请实施例的另一种基于域控制器ISP的相机数据处理方法的流程图,如图5所示,获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,即图5中示出的RAW图恢复,也即,是对之前采集数据的恢复,此步骤省去了重新去场地进行数据采集的过程,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,即图5中示出的采用更新的ISP参数后的ISP仿真模块对恢复的RAW数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。

在一个可选地实施例中,例如在路测车辆的时候,在某些特定的场景下发现曝光过度,此时采集这个场景的RAW,即获取原始相机数据,在车辆回来以后,把这些RAW通过ISP仿真工具进行调试,找到一组可以解决过度曝光的配置参数,如图5所示,基于这组参数把路测的RAW转成更新的YUV,接着把更新的YUV送到整个自动驾驶的仿真平台,仿真算法基于更新的YUV查看是否图片中的物体是不是可以被正常的识别,而不是之前曝光过度的情况下无法识别的错误,即图5所示生成YUV,送到算法进行使用,另一方面也会把RAW图存储下来,本申请集合数据采集,ISP仿真,以及自动驾驶仿真软件于一体来验证ISP Tuning的有效性,高效,快速,具有很好的横向对比和验证,更有利于ISP tuning的效果验证,同时,一次路测数据可以用于反复验证ISP tuning的效果,避免大量的重复无异议路测的时间浪费。

在一个可选地实施例中,如图5所示,相机原始数据从相机传输到域控SOC平台,经过ISP模块后,产生YUV图像,然后传输给后端的各个处理模块,针对ISP的部分,在路测的时候引入原始RAW数据的存储,在实验室仿真的时候重新生成基于新的Tuning的参数的YUV进行仿真验证过上述的方案,就能够做到路测和RAW数据采集同时进行,将相同的场景的所有的数据原封不动的保留下来,避免了后续无法再复制相同的场景局面,将数据都保存了以后,可以通过设计的ISP仿真模块,将路测的RAW基于新的ISP Tuning参数进行转换,生成新的YUV图像,替换在路测时候的产生的YUV图像,然后直接灌入自动驾驶的仿真软件中。本方案集合了数据采集,ISP的仿真,以及自动驾驶的仿真于一体,解决了原有的数据采集,验证环节脱钩以及需要反复验证的问题,一次数据采集,可以反复结合算法进行ISP Tuning参数的验证,能够快速得到ISP Tuning参数是否完备以及哪些场景仍需优化的结论,大大缩减了基于域控ISP的Tuning的时间,提升了相机的迭代的效率。

应用本申请的技术方案,首先获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据;之后基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证;最后获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。通过基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证的方式,实现了非车上对车上无法实现测试的场景的测试以及参数的验证的目的,达到了数据采集和验证同步进行,减少数据反复采集和验证,减少非必要消耗人力物力的效果,进而解决了现有技术中基于域控制器ISP车辆图像采集和验证的方案Tuning流程较长的问题。

可选地,获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,包括:获取得到的原始相机数据进行备份处理,得到备份原始相机数据;从备份原始相机数据中获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据。

在一个可选地实施例中,对于ISP的仿真,首先需要传感器出来的原始数据,这部分数据是没有通过ISP处理的,是最原始的数据,即上述的原始相机数据,经过ISP处理以后,图像会做很多的处理,使得图像亮度以及色彩都会正常,但是ISP的参数很多,如果直接在路测的时候一个个的调试就效率很低,就需要先把RAW图采集并且存储下来,返回实验室之后,把这部分数据再拿出来,实验室里反复去验证不同的参数的影响,就可以获取目标原始相机数据。

可选地,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证,包括:将处理后的数据、以及备份原始相机数据输入至自动驾驶的仿真软件中进行仿真,以实现非车上对车上无法实现测试的场景的测试以及参数的验证。

具体地,上述步骤中的仿真可以是是借助NVIDIA的ISP工具去调ISP的参数,调试后会基于RAW生成新的YUV给算法去作仿真,形成一个闭环的仿真,保证新的ISP参数生成的YUV给到算法这边是可以保证解决问题,这里的仿真一方面是基于RAW通过ISP工具重新生成YUV图像,另一方面是把重新生成的YUV图像送给自动驾驶的仿真平台进行测试新的YUV是否能够满足需求。

可选地,将处理后的数据、以及备份原始相机数据输入至自动驾驶的仿真软件中进行仿真,以实现非车上对车上无法实现测试的场景的测试以及参数的验证,包括:从备份原始相机数据中还原出车上无法实现测试的场景;将还原出的场景、以及处理后的数据输入至自动驾驶的仿真软件中进行仿真,以实现非车上对车上无法实现测试的场景的测试以及参数的验证。

在一个可选地实施例中,当车回到实验室的情况下,通过对采集的数据分析,发现在特定的场景下的图像太亮或者颜色不正常,就可以去找到这个时间点存储的RAW图,然后在实验室去调试不同的参数找到最佳参数,这时把这个参数再放到车上,在相同的场景下就不会再有类似的问题,需要说明的是,放在车上的只是ISP的参数,正常路测的时候会带着该参数,仿真和验证是在实验室进行的。进一步地,也即,如果可以直接在现场进行测试的就直接测试,如果现场处理太复杂的就带回实验室处理,在实验室处理的时候参考采集的RAW图,这样一部分数据就能直接在现场测试,另一部分就带回实验室处理。

可选地,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证,包括:分多次调整ISP参数,得到多种调整ISP参数,且将多种调整ISP参数应用于ISP模块对目标原始相机数据进行处理,且采用多种处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证,得到最适用车上无法实现测试的场景的调整ISP参数。

可选地,在基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理之后,方法还包括:将处理后的数据存储至预设存储区域;对处理后的数据进行格式转换处理,得到格式转换后的数据,且将格式转换后的数据存储至预设存储区域。

具体地,实现车上对至少部分场景的测试以及参数的验证,一般通过ISP处理后会输出YUV,然后后端根据自己的业务需求再作进一步的处理,比如直接用YUV,或者转成JPEG存储和显示,或者转成RGBA进行显示,需要说明的是,JPEG(Joint Photographic ExpertsGroup)即联合图像专家组,是用于连续色调静态图像压缩,JPEG可以用有损压缩方式去除冗余的图像数据,用较少的磁盘空间得到较好的图像品质,而且JPEG是一种很灵活的格式,具有调节图像质量的功能,它允许用不同的压缩比例对文件进行压缩,支持多种压缩级别,RGBA是代表Red(红色)Green(绿色)Blue(蓝色)和Alpha的色彩空间。

可选地,方法还包括:将处理后的数据发送至显示单元以在显示单元的预设显示区域进行显示;将格式转换后的数据发送至显示单元以在显示单元的预设显示区域进行显示。

可选地,将处理后的数据发送至显示单元以在显示单元的预设显示区域进行显示,包括:将处理后的数据发送至显示单元以在显示单元的不同的预设显示区域中显示不同的场景对应的处理后的数据,其中,场景与预设显示区域一一对应。

可选地,基于未调整的ISP参数采用ISP模块对原始相机数据进行处理得到的数据、以及采用调整ISP参数后的ISP模块对目标原始相机数据进行处理得到的数据均为YUV格式的数据,其中,Y表示亮度分量,UV表示色彩分量。

可选地,ISP参数至少包括图像亮度参数和图像色彩参数。

可选地,相机传感器安装在自动驾驶车辆的预设位置。

本申请实施例还提供了一种基于域控制器ISP的相机数据处理装置,需要说明的是,本申请实施例的基于域控制器ISP的相机数据处理装置可以用于执行本申请实施例所提供的用于基于域控制器ISP的相机数据处理方法。该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。

以下对本申请实施例提供的基于域控制器ISP的相机数据处理装置进行介绍。

图6是根据本申请实施例的基于域控制器ISP的相机数据处理装置的示意图。如图6所示,该装置包括:

获取单元61,用于获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据;

第一处理单元62,用于基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证;

第二处理单元63,用于获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。

应用本申请的技术方案,该装置包括获取单元,用于获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据;第一处理单元,用于基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证;第二处理单元,用于获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。通过基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证的方式,实现了非车上对车上无法实现测试的场景的测试以及参数的验证的目的,达到了数据采集和验证同步进行,减少数据反复采集和验证,减少非必要消耗人力物力的效果,进而解决了现有技术中基于域控制器ISP车辆图像采集和验证的方案Tuning流程较长的问题。

可选地,第二处理单元包括:备份模块,用于将获取得到的原始相机数据进行备份处理,得到备份原始相机数据;获取模块,用于从备份原始相机数据中获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据。

可选地,第二处理单元还包括:仿真模块,用于将处理后的数据、以及备份原始相机数据输入至自动驾驶的仿真软件中进行仿真,以实现非车上对车上无法实现测试的场景的测试以及参数的验证。

可选地,仿真模块包括:还原子单元,用于从备份原始相机数据中还原出车上无法实现测试的场景;仿真子单元,用于将还原出的场景、以及处理后的数据输入至自动驾驶的仿真软件中进行仿真,以实现非车上对车上无法实现测试的场景的测试以及参数的验证。

可选地,第二处理单元还包括:验证模块,用于分多次调整ISP参数,得到多种调整ISP参数,且将多种调整ISP参数应用于ISP模块对目标原始相机数据进行处理,且采用多种处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证,得到最适用车上无法实现测试的场景的调整ISP参数。

可选地,第一处理单元包括:存储模块,用于将处理后的数据存储至预设存储区域;转换模块,用于对处理后的数据进行格式转换处理,得到格式转换后的数据,且将格式转换后的数据存储至预设存储区域。

可选地,转换模块包括,第一显示子单元,用于将处理后的数据发送至显示单元以在显示单元的预设显示区域进行显示;第二显示子单元,用于将格式转换后的数据发送至显示单元以在显示单元的预设显示区域进行显示。

可选地,转换模块还包括,第三显示子单元,用于将处理后的数据发送至显示单元以在显示单元的不同的预设显示区域中显示不同的场景对应的处理后的数据,其中,场景与预设显示区域一一对应。

可选地,第一处理单元还包括:处理子模块,基于未调整的ISP参数采用ISP模块对原始相机数据进行处理得到的数据、以及采用调整ISP参数后的ISP模块对目标原始相机数据进行处理得到的数据均为YUV格式的数据,其中,Y表示亮度分量,UV表示色彩分量。

所述基于域控制器ISP的相机数据处理装置包括处理器和存储器,上述获取单元61、第一处理单元62、第二处理单元63等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。

处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决现有技术中基于域控制器ISP车辆图像采集和验证的方案Tuning流程较长的问题。

存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行所述基于域控制器ISP的相机数据处理方法。

具体地,基于域控制器ISP的相机数据处理方法包括:

步骤S301,获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据。

步骤S302,基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证。

步骤S303,获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。

本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述基于域控制器ISP的相机数据处理方法。

具体地,基于域控制器ISP的相机数据处理方法包括:

步骤S301,获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据。

步骤S302,基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证。

步骤S303,获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。

本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:步骤S301,获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据。

步骤S302,基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证。

步骤S303,获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:

步骤S301,获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据。

步骤S302,基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证。

步骤S303,获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。

显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:

1)、应用本申请的技术方案,首先获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据;之后基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证;最后获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。通过基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证的方式,实现了非车上对车上无法实现测试的场景的测试以及参数的验证的目的,达到了数据采集和验证同步进行,减少数据反复采集和验证,减少非必要消耗人力物力的效果,进而解决了现有技术中基于域控制器ISP车辆图像采集和验证的方案Tuning流程较长的问题。

2)、应用本申请的技术方案,该装置包括获取单元,用于获取原始相机数据,原始相机数据为相机传感器直接采集到的未经处理的数据;第一处理单元,用于基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证;第二处理单元,用于获取在车上无法实现测试的场景对应的原始相机数据,得到目标原始相机数据,采用调整ISP参数后的ISP模块对目标原始相机数据进行处理,且采用处理后的数据实现非车上对车上无法实现测试的场景的测试以及参数的验证。通过基于未调整的ISP参数采用ISP模块对原始相机数据中的至少部分数据进行处理,并采用处理后的数据实现车上对至少部分场景的测试以及参数的验证的方式,实现了非车上对车上无法实现测试的场景的测试以及参数的验证的目的,达到了数据采集和验证同步进行,减少数据反复采集和验证,减少非必要消耗人力物力的效果,进而解决了现有技术中基于域控制器ISP车辆图像采集和验证的方案Tuning流程较长的问题。

以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

技术分类

06120116580910