图像信号处理ISP参数的调整及相关设备

技术领域

本申请涉及图像信号处理技术领域，尤其涉及一种图像信号处理(Image SignalProcessing，ISP)参数的调整方法及相关设备。

背景技术

raw数据是图像感应器如相机传感器，将捕捉到的光源信号转化为数字信号的原始图像数据。图像信号处理器(Image Signal Processing，ISP)需要采用调试好的ISP参数对raw数据进行ISP处理，以实现对应用场景中本该识别内容的识别。如，在安防应用场景中，识别raw图像中出现的用户是否是合理用户。

相关技术中，ISP参数的调试过程被称之为ISP调试(tuning)，目的在于调试出更好或理想的ISP参数，以供进行前述应用场景下的图像识别。现有ISP tuning包括主观调试方法和客观调试方法。通常，这两种方法需要结合使用，其中主观调试方法依赖人的经验，客观调试方法依赖统计学结果，这种结合使用的方式在一定程度上带来了调试时间长，调试准确性有限的问题。

发明内容

本申请提供了一种图像信号处理(Image Signal Processing，ISP)参数的调整方法及相关设备，以至少解决现有技术中存在的以上技术问题。

根据本申请的第一方面，提供了一种图像信号处理ISP参数的调整方法，所述方法包括：

获得原始图像和所述原始图像在目标任务下的标签数据；

按照ISP初始参数，对原始图像进行处理，得到目标图像，所述目标图像和所述原始图像在图像属性上不同；

基于目标图像和所述目标任务对应的目标模型，得到在目标任务下的预测数据；

基于所述预测数据和所述标签数据，得到目标模型的损失函数的损失值；

基于所述损失值，对所述ISP初始参数进行调整，以得到ISP期望参数。

在一可实施方式中，所述原始图像包括各次迭代下的第一图像以及各次迭代的第一图像在目标任务下标签数据；

所述方法还包括：

按照各次迭代下的ISP初始参数，对各次迭代下的第一图像进行处理，得到各次迭代下的第二图像，所述第二图像和所述第一图像在图像属性上不同；

将各次迭代下的第二图像和所述目标任务对应的目标模型，得到在各次迭代下的预测数据；

根据各次迭代下的预测数据和各次迭代下的标签数据，得到在各次迭代下目标模型的损失函数的损失值；

基于各次迭代下目标模型的损失函数的损失值，对各次迭代下的ISP初始参数进行调整，得到各次迭代下的ISP目标参数；

将各次迭代下的ISP目标参数作为所述各次迭代下的下一次迭代的ISP初始参数；

将各次迭代结束时的ISP初始参数作为ISP期望参数。

在一可实施方式中，所述目标任务用于对所述目标图像中是否存在目标对象、目标对象的类别信息以及目标对象在图像中的位置信息中的至少其中之一进行预测；

所述基于所述损失值，对所述ISP初始参数进行调整，以得到ISP期望参数，包括：

基于目标图像中是否存在目标对象的预测损失、目标对象的类别预测损失以及目标对象的位置预测损失中的至少之一损失，对所述ISP初始参数进行调整，以得到ISP期望参数。

在一可实施方式中，所述方法还包括：

将ISP期望参数分配至图像信号处理器；

针对由相机传感器采集到的raw数据，

利用图像信号处理器将所述raw数据处理成预设属性的期望图像，其中所述图像信号处理器基于ISP期望参数将所述raw数据处理为所述期望图像；

将所述期望图像输入至所述目标模型，以得到所述期望图像中是否存在对象、对象的类别和/或对象的位置的预测结果。

在一可实施方式中，所述原始图像为外界环境为第一环境时由相机传感器采集到的第一raw数据；或者，所述原始图像为外界环境为第二环境时由所述相机传感器采集到的第二raw数据；其中，所述第一环境和所述第二环境下的光照条件不同；

在原始图像为所述第一raw数据时而得到的第一ISP期望参数，不同于在原始图像为所述第二raw数据时而得到的第二ISP期望参数。

在一可实施方式中，所述方法还包括：

针对由相机传感器采集到的raw数据，

获得所述相机传感器所处的外界环境信息；

从第一ISP期望参数和第二ISP期望参数中，确定与外界环境信息匹配的ISP期望参数；

利用图像信号处理器将所述raw数据处理成预设属性的期望图像，其中所述图像信号处理器基于与外界环境信息匹配的ISP期望参数将所述raw数据处理为所述期望图像；

将所述期望图像输入至所述目标模型，以得到所述期望图像中是否存在对象、对象的类别和/或对象的位置的预测结果。

在一可实施方式中，所述按照ISP初始参数，对原始图像进行ISP处理，得到目标图像，包括：

对ISP的硬件处理过程进行软件模拟；

在软件模拟过程中，按照ISP初始参数，将原始图像处理成目标图像。

在一可实施方式中，所述方法还包括：

将第三ISP期望参数和第四ISP期望参数分配至图像信号处理器，所述第三ISP期望参数对应于第一目标任务，所述第四ISP期望参数对应于第二目标任务；

针对由相机传感器采集到的raw数据，

利用图像信号处理器将所述raw数据处理成预设属性的期望图像，其中所述图像信号处理器基于与待执行的目标任务对应的ISP期望参数将所述raw数据处理为期望图像；

将期望图像输入至所述待执行的目标任务对应的目标模型，以实现对所述待执行的目标任务的执行。

根据本申请的第二方面，提供了一种图像信号处理ISP参数的调整设备，包括：

第一获得单元，用于获得原始图像和所述原始图像在目标任务下的标签数据；

第二获得单元，用于按照ISP初始参数，对原始图像进行处理，得到目标图像，所述目标图像和所述原始图像在图像属性上不同；

第三获得单元，用于基于目标图像和所述目标任务对应的目标模型，得到在目标任务下的预测数据；

第四获得单元，用于基于所述预测数据和所述标签数据，得到目标模型的损失函数的损失值；

调整单元，用于基于所述损失值，对所述ISP初始参数进行调整，以得到ISP期望参数。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请所述的方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请所述的方法。

本申请提供的图像信号处理ISP参数的调整方案，利用了对原始图像进行ISP处理后的图像(目标图像)、目标任务对应的目标模型以及损失值，得到ISP期望参数，与现有的将主观调试方法和客观调试方法结合进行ISP tuning的方案相比，工程上易于实施，可缩短调试时间，提高准确性，从而提高ISP tuning的效率。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1示出了本申请实施例中图像信号处理ISP参数的调整方法的实现流程示意图一；

图2示出了本申请实施例中图像信号处理ISP参数的调整方法的实现流程示意图二；

图3示出了本申请实施例中图像信号处理ISP参数的调整方法实现框图一；

图4示出了本申请实施例中图像信号处理ISP参数的调整方法的实现框图二；

图5示出了本申请实施例中图像信号处理ISP参数的调整设备的组成结构示意图；

图6示出了本申请实施例中电子设备的组成结构示意图。

具体实施方式

为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

应理解，在本申请的各种实施例中，各实施过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

与相关技术方案相比，本申请提供的图像信号处理ISP参数的调整方案，可提高ISP tuning的效率，缩短调试时间，提高调试准确性。本方案的具体实现过程请参见以下相关说明。

图1示出了本申请实施例中图像信号处理ISP参数的调整方法的实现流程示意图一。如图1所示，所述方法包括：

S101：获得原始图像和所述原始图像在目标任务下的标签数据。

本申请中，原始图像指的是图像感应器如相机传感器，将捕捉到的光源信号转化为数字信号的原始图像数据，如raw(图像)数据。

目标任务指的是在特定应用场景下的图像识别或预测任务。在自动驾驶应用场景，目标任务可以指对驾驶环境中是否出现诸如树、建筑、人行道、行人等类别的事物，以及在出现时对事物的位置进行识别或预测的任务。该任务下的标签数据可以是识别出的在驾驶环境中存在的事物的类别(如树、建筑)和位置。在安防应用场景中，目标任务可以指对需要监控区域中是否出现诸如人、动物、植物等类别的事物，以及在出现时出现的事物的位置进行识别或预测的任务。该任务下的标签数据可以是识别出的在监控图像中出现的人是否是合法身份的人，如该人的人脸是合法身份的人脸，及其在监控图像中出现的位置。

以目标任务指的是对驾驶环境中存在的事物如树、建筑、人行道、行人等进行识别的任务为例，对在驾驶环境中采集到的raw数据中出现的事物的类别和位置进行标定，从而得到标签数据。该标定可由人工来完成，也可由机器来完成，不做具体限定。

S102：按照ISP初始参数，对原始图像进行处理，得到目标图像，所述目标图像和所述原始图像在图像属性上不同。

本申请中，在ISP对原始图像进行处理时，ISP对应有ISP初始参数，按照该初始参数，对原始图像进行处理。对原始图像进行的处理包括ISP对图像可进行的任何ISP处理，包括但不限定于降噪、自动曝光、白平衡、色彩调整等处理。

可以理解，原始图像为raw图像数据，经过ISP处理，会将raw图像数据处理成符合一定标准的数据。如，处理成符合RGB(红绿蓝)标准的图像数据，或处理成符合颜色编码方法(YUV)标准的图像数据。目标图像是符合前述标准的数据，如，为RGB图像或为YUV图像。本申请中，目标图像和原始图像的图像属性不同可以指目标图像符合前述的标准，而raw图像数据是不符合前述标准的数据。

S103：基于目标图像和所述目标任务对应的目标模型，得到在目标任务下的预测数据。

本申请中，不同目标任务对应的目标模型不同。与目标任务对应的目标模型用于对目标图像中是否存在目标对象、目标对象的类别信息以及目标对象在图像中的位置信息中的至少其中之一进行预测或识别。在目标任务是对驾驶环境中存在的事物如树、建筑、人行道、行人等进行识别的任务为例，目标对象指的是该任务中会出现的诸如树、建筑、人行道、行人等事物。以前述目标任务为例，在实施时，可将目标图像输入至目标任务对应的目标模型。目标模型基于目标图像对驾驶环境中是否存在诸如树、建筑、人行道、行人等事物进行识别或预测，以及在驾驶环境中存在前述事物时，存在事物的类别和位置进行预测。前述的目标图像体现的驾驶环境中是否存在诸如树、建筑、人行道、行人等事物这一信息，以及在存在前述事物时，存在事物的类别和位置等信息，作为在目标任务下的预测数据使用。该预测数据由目标模型输出。

可以理解，虽然，目标图像是符合前述标准的图像，而原始图像是相机传感器将捕捉到的光源信号转化为数字信号的原始图像数据(raw数据)，但是，在图像内容上，二者无差别。基于目标图像和目标任务对应的目标模型，即，将目标图像输入至目标模型，目标模型输出的预测数据是目标图像在目标任务下的预测数据。考虑到目标图像和原始图像的内容相同，所以，可将目标模型输出的预测数据视为原始图像在目标任务下的预测数据使用。

S104：基于所述预测数据和所述标签数据，得到目标模型的损失函数的损失值。

本申请中，预先将目标模型的损失函数进行构建。不同目标任务下的损失函数可以相同，可以不同，视具体情况而定。在实际应用中，损失函数可以是平均绝对百分比误差(MAPE)函数、均方误差(MSE)函数、均方根误差(RMSE)函数等，当然还可以是其他合理的函数，不做具体限定。

在实施时，将预测数据和标签数据代入至目标模型的损失函数中，进行计算，得到损失函数的损失值。

S105：基于所述损失值，对所述ISP初始参数进行调整，以得到ISP期望参数。

如果损失值未小于或等于预设的损失阈值或者未收敛，则对ISP初始参数进行调整。调整的原则是：对ISP初始参数不断进行增大或减小，以在损失值小于或等于损失阈值或者损失值收敛时，停止增大或减小。将在停止增大或减小时的ISP参数作为ISP期望参数。

在一实施例中，所述目标任务用于对目标图像中是否存在目标对象、目标对象的类别信息以及目标对象在图像中的位置信息中的至少其中之一进行预测。相应的，本步骤可以是：基于目标图像中是否存在目标对象的预测损失、目标对象的类别预测损失以及目标对象的位置预测损失中的至少之一损失，对ISP初始参数进行调整，以得到ISP期望参数。

例如，对ISP初始参数不断进行变化如增大或减小，使得前述的至少之一损失向着损失越来越小的方向调整。调整结束时得到的ISP参数即可作为ISP期望参数。这种基于损失值对ISP初始参数进行调整的方案，可保证ISP调整的准确性，从而可调整出准确性高的ISP参数。

S101～S105中，按照ISP初始参数，对原始图像进行处理，得到目标图像；基于目标图像和目标任务对应的目标模型，得到在目标任务下的预测数据；基于预测数据和标签数据，得到目标模型的损失函数的损失值。基于损失值，对ISP初始参数进行调整，以得到ISP期望参数。本申请提供的图像信号处理ISP参数的调整方案，利用了对原始图像进行ISP处理后的图像(目标图像)、目标任务对应的目标模型以及损失值，对ISP参数进行调整，以得到ISP期望参数。与现有的将主观调试方法和客观调试方法结合进行ISP tuning的方案相比，工程上易于实施，可缩短调试时间，提高准确性，从而提高ISP tuning的效率。

可以理解，本申请技术方案是一种ISP tuning方案，本申请中的ISP初始参数是进行ISP tuning之前的ISP参数，ISP期望参数是经过本申请的ISP tuning之后的ISP参数。本申请意在对ISP参数进行调整，使之达到一个可令ISP更好地进行降噪、自动曝光、白平衡、色彩调整等处理的参数。

在实际应用中，可通过迭代运算的方式实现对ISP参数的调整。在一实施例中，所述原始图像包括各次迭代下的第一图像以及各次迭代的第一图像在目标任务下的标签数据。

假定总迭代次数是M，m为M次迭代次数中的任意一次，M为大于1的正整数，m为大于或等于1的正整数，且m≤M。第一图像为raw(图像)数据，每次迭代下都有对应于该次迭代下的raw数据。将每次迭代下的raw数据作为各次迭代下的第一图像。相邻两次迭代下的raw数据可以是相同数据，也可以是不同数据。本申请中，优选为，各个迭代次数下的raw数据是相同的。如此，可避免需要采集过多的raw数据而带来的工作量增加的问题，可大大节约调试前的准备工作，缩短调试时间。

以目标任务指的是对驾驶环境中存在的事物如树、建筑、人行道、行人等进行识别的任务为例，对在驾驶环境中采集到的每次迭代下的raw数据中出现的事物的类别和位置进行标定，从而得到每次迭代下的标签数据。其中，raw数据为图像，在raw数据中标定出现事物的位置，在实施时可采用检测框(box)将事物在图像中的位置圈出。

基于此，本申请实施例中图像信号处理ISP参数的调整方法如图2所示，包括：

S201：按照各次迭代下的ISP初始参数，对各次迭代下的第一图像进行处理，得到各次迭代下的第二图像，所述第二图像和所述第一图像在图像属性上不同。

本实施例中，各次迭代下均具有一个ISP初始参数，各次迭代下均会对相应次迭代下的ISP初始参数进行调整，以得到各次迭代下的ISP目标参数。以第m次迭代为例，第m＝1次迭代下的ISP初始参数为预先设置的参数，除了第m＝1次迭之外的其他任意次迭代下的ISP初始参数为其前一次迭代下，计算而得的ISP目标参数。

结合图3所示，以第m次迭代为例，按照第m次迭代下的ISP初始参数，对第m次迭代下的raw数据进行降噪、自动曝光、白平衡、色彩调整等一系列ISP调试处理。前述的一系列ISP调试处理具体请参见相关说明，不赘述。

经过对第m次迭代下的raw数据进行前述一系列ISP调试处理，将第m次迭代下的raw数据处理成符合RGB或符合YUV标准的图像。将该图像视为第m次迭代下的第二图像。与原始图像和目标图像在图像属性上不同类似，第二图像和第一图像在图像属性上也不同，这种不同可以指第二图像是符合前述标准的图像，而raw图像数据是不符合前述标准的图像。

S202：将各次迭代下的第二图像和所述目标任务对应的目标模型，得到在各次迭代下的预测数据。

将第m次迭代下的第二图像输入至目标任务对应的目标模型。以目标模型为目标检测算法(YOLO，You Only Look Once)网络模型为例，YOLO网络模型可用于预测或识别输入其的图像中是否存在目标对象，在存在目标对象时预测或识别对象的位置和类别等，以此来执行目标任务。目标模型基于第二图像对驾驶环境中是否存在诸如树、建筑、人行道、行人等事物进行识别或预测，以及在驾驶环境中存在前述事物时，存在事物的类别和位置进行预测，并将识别或预测结果输出，作为预测数据使用。

S203：根据各次迭代下的预测数据和各次迭代下的标签数据，得到在各次迭代下目标模型的损失函数的损失值。

本实施例中，YOLO网络模型的损失函数loss的公式是：

其中，S

其中，前述的(x

在实施时，将第m次迭代下的预测数据和标签数据代入至前述的公式，即可得到损失函数在第m次迭代下的损失值loss。其中，

为预测框的中心坐标与真实框的中心坐标之间的损失。

为预测框的宽高和真实框的宽高之间的损失。

为对象的预测类别和真实类别之间的损失。

为预测置信度和真实置信度之间的损失。

预测框的中心坐标与真实框的中心坐标之间的损失和预测框的宽高和真实框的宽高之间的损失，构成了对象的位置预测损失。预测置信度和真实置信度之间的损失可视为是否存在目标对象的预测损失。

S204：基于各次迭代下目标模型的损失函数的损失值，对各次迭代下的ISP初始参数进行调整，得到各次迭代下的ISP目标参数。

S205：将各次迭代下的ISP目标参数作为所述各次迭代下的下一次迭代的ISP初始参数。

S206：将各次迭代结束时的ISP初始参数作为ISP期望参数。

在S204～S206中，如果第m次迭代下的损失函数的损失值未收敛、或者未小于或等于预设的损失阈值，则对ISP参数向着其导数下降的方向进行调整，得到第m次迭代下的ISP目标参数。结合图3所示，m＝m+1，继续下一次迭代，下一次迭代的ISP初始参数是上一次迭代的ISP目标参数，重复执行S201～S205所示的方案，直至损失函数的损失值收敛。在损失函数的损失值收敛时，ISP参数的取值，即可视为ISP期望参数。

可以理解，在ISP处理包括降噪、曝光、白平衡和色彩调整等环节的情况下，ISP期望参数包括在降噪过程中期望使用的降噪参数、在自动曝光过程中期望使用的曝光参数、在白平衡过程中期望使用的白平衡参数、在色彩调整过程中期望使用的色彩调整参数。通过迭代实现ISP参数的调整方案，大大提高了ISP参数的调整准确性，在工程上易行。

一般情况下，ISP处理指的是图像信号处理器ISP，这个硬件对图像执行的降噪、曝光、白平衡和色彩调整等一系列处理过程，是一种硬件处理过程或流程。本申请中，对ISP的前述硬件处理过程进行软件模拟，以更好的实现本申请的ISP tuning方案。在前述S102中，利用软件模拟出的ISP处理流程，按照ISP初始参数，将原始图像处理成目标图像。在前述的S201中，利用软件模拟出的ISP处理流程，在每次迭代计算中，按照每次迭代下的ISP初始参数，对各次迭代下的第一图像进行处理、具体是ISP处理，得到各次迭代下的第二图像。以此来实现每次迭代下的ISP处理过程。这种利用软件对硬件ISP的处理流程进行模拟的方案，大大方便了对ISP参数的调整，从而为提高ISP tuning的效率提供了一定的保障。

以上方案可视为在软件层面上实现的方案，意在利用软件层面实现对硬件层面使用的ISP参数的更好调整。在实际应用中，在得到ISP期望参数之后，可将ISP期望参数分配至图像信号处理器这一硬件，以便后续执行目标任务。

结合图4所示，假定目标任务是对驾驶环境中出现的对象进行识别，设置在驾驶设备上的相机传感器采集针对驾驶环境的raw数据。针对由相机传感器采集到的raw数据，利用图像信号处理器将raw数据处理成预设属性的期望图像，其中图像信号处理器基于ISP期望参数将raw数据处理为期望图像。

具体的，图像信号处理器利用ISP期望参数对raw数据执行下列ISP处理：使用期望的降噪参数进行降噪，使用期望的曝光参数进行自动曝光，使用期望的白平衡参数进行白平衡，使用期望的色彩调整参数进行色彩调整，以得到符合RGB或YUV标准的(期望)图像。同时，也利用在软件层面得到的ISP期望参数，进行硬件层面的ISP处理，以更好地实现对目标任务的执行。其中，符合RGB或YUV标准的图像可作为预设属性的期望图像来使用。

以目标任务指的是对驾驶环境中存在的事物如树、建筑、人行道、行人等进行识别的任务为例，将期望图像输入至目标任务对应的目标模型中，以得到期望图像中是否存在对象、对象的类别和/或对象位置的预测结果。如果期望图像中存在诸如树、建筑等目标对象，则在期望图像中以box形式将对象位置圈出，并指示处于该位置的目标对象是何类别。

需要说明的是，本申请中的标签数据是在目标任务下的标签数据，目标任务不同，标签数据自然不同，利用图1-图3任一的技术方案，得到的ISP期望参数自然不同。本申请的方案适用于多种目标任务，如前述的自动驾驶应用场景中的任务和安防应用场景中的任务。可为不同的目标任务计算出与之对应的ISP期望参数。即，目标任务不同，利用原始图像和原始图像在目标任务下的标签数据，得到的ISP期望参数也不同。进而，在硬件层面上利用与之对应的ISP期望参数，可更好地实现对目标任务的执行，满足实际应用需求。

作为一种实现方式，第三ISP期望参数对应于第一目标任务，第四ISP期望参数对应于第二目标任务。第三ISP期望参数是在标签数据是第一目标任务下的标签数据，经过图1-图3任一的技术方案的处理，得到的ISP期望参数。第四ISP期望参数是在标签数据是在第二目标任务下的标签数据，而经过图1-图3任一的技术方案的处理，而得到的ISP期望参数。

将第三ISP期望参数和第四ISP期望参数分配至图像信号处理器。

针对由相机传感器采集到的raw数据，利用图像信号处理器将所述raw数据处理成预设属性的期望图像，其中所述图像信号处理器基于与待执行的目标任务对应的ISP期望参数将所述raw数据处理为期望图像；将期望图像输入至所述待执行的目标任务对应的目标模型，以实现对所述待执行的目标任务的执行。

针对不同目标任务的ISP期望参数被分配至图像信号处理器去存储。在硬件层面上，图像信号处理器存储针对不同目标任务的ISP期望参数。针对由采集到的raw数据，确定待执行的任务是何种任务，利用存储的多个ISP期望参数中，针对该待执行的任务的ISP期望参数，对raw数据进行ISP处理，得到符合RGB或YUV标准的期望图像。将期望图像输入至与待执行任务对应的目标模型，以更好地实现对该任务的应用。

如果待执行任务是自动驾驶应用场景中的任务，则能够更准确地识别出驾驶环境中出现的人、建筑、人行道等对象。如果待执行任务是安防应用场景中的任务，则能够更准确地识别监控环境中出现的人是自家人还是陌生人。图像信号处理器利用各任务下的各ISP期望参数进行ISP处理，可保证各任务执行的顺畅性，和各任务的识别或预测准确性。

作为一种实现方式，本申请中，原始图像可以是外界环境为第一环境时由相机传感器采集到的第一raw数据；或者，原始图像是外界环境为第二环境时由所述相机传感器采集到的第二raw数据；其中，第一环境和所述第二环境下的光照条件不同；在原始图像为第一raw数据时而得到的第一ISP期望参数，不同于在原始图像为第二raw数据时而得到的第二ISP期望参数。

这是考虑到，原始图像可以是在不同的外界环境下由相机传感器采集到的raw数据。不同的外界环境指的是不同的光照、不同的云层、不同的天气(如晴天和雨天)等。优选为，不同的外界环境指的是不同的光照。由于相机传感器是将捕捉到的光源信号转化为数字信号的器件，光照不同，相机传感器采集到的光源信号的光强会有所不同。光强有所不同的情况下，经转换后得到的raw图像的亮度会存在不同。

示例性地，针对同一相机传感器，在白天的光强和在晚上的光强存在很大的不同。对采集的白天的光源信号进行转换后得到的raw图像的亮度，明显亮于对采集的晚上的光源信号进行转换后得到的raw图像的亮度。不同亮度的raw图像，如果仍然采用同一ISP期望参数进行降噪、曝光，白平衡和色彩调整等一系列处理，可能会导致得到的期望图像不准确，进而无法实现对驾驶环境中的对象的准确识别。基于此，本申请中，针对同一图像信号处理器ISP，如果要保证该处理器对白天和夜晚采集到的图像均被准确执行ISP处理，需要得到针对白天采集的图像的ISP期望参数，以及得到针对晚上采集的图像的ISP期望参数。

在实施时，可将光强大的环境下作为第一环境，将光强小的环境作为第二环境。第一环境和第二环境下的光照条件不同。将在第一环境下由相机传感器采集到的raw数据作为第一raw数据，将第一raw数据作为原始图像或第一图像，执行图1至图3任一所示的方案，得到在光强大的环境下使用的(第一)ISP期望参数。将在第二环境下由相机传感器采集到的raw数据作为第二raw数据，将第二raw数据作为原始图像或第一图像，执行图1至图3任一所示的方案，得到在光强小的环境下使用的(第二)ISP期望参数。可以理解，因为第一raw数据和第二raw数据是在不同光照条件下采集到的图像数据，经过图1-图3任一所示方案的处理后，得到的ISP期望参数也是不同的。

还可以，将在第一环境下由相机传感器采集到的raw数据和少数在第二环境下采集到的raw数据作为第一raw数据，执行图1至图3任一所示的方案。将在第二环境下由相机传感器采集到的raw数据和少数在第一环境下采集到的raw作为第二raw数据，执行图1至图3任一所示的方案，执行图1至图3任一所示的方案。以得到不同光照条件下使用的ISP期望参数。

前述方案，针对不同的光照条件，得到不同光照条件下的ISP期望参数。如针对白天的强光照和晚上的弱光照，得到在强光照条件下的ISP期望参数和在弱光照条件下的ISP期望参数。可得到图像信号处理器的细分参数，为更细粒度的ISP参数的获得提供了一种技术支持。实用性更强，易于推广。

在应用层面上，在获得不同光照条件下的ISP期望参数之后，可将不同光照条件下的ISP期望参数分配至图像信号处理器这一硬件，以便该硬件对其进行使用，执行目标任务。

进一步地，针对由相机传感器采集到的raw数据，获得相机传感器所处的外界环境信息；从第一ISP期望参数和第二ISP期望参数中，确定与外界环境信息匹配的ISP期望参数；利用图像信号处理器将raw数据处理成预设属性的期望图像，其中所述图像信号处理器基于与外界环境信息匹配的ISP期望参数将raw数据处理为期望图像；将期望图像输入至目标任务对应的目标模型，以得到期望图像中是否存在对象、对象的类别和/或对象的位置的预测结果。

示例性地，假定第一ISP期望参数是利用光照强的raw数据得到的ISP参数，第二ISP期望参数是利用光照弱的raw数据得到的ISP参数。

如果相机传感器是在光照强的环境下采集到的raw数据，则在第一ISP期望参数和第二ISP期望参数中，确定出第一ISP期望参数为与外界环境信息匹配的ISP期望参数。图像信号处理器利用第一ISP期望参数，对raw数据执行降噪、自动曝光、色彩调整等一系列处理，从而将raw数据处理成符合RGB或YUV标准的(期望)图像。将期望图像输入至目标任务对应的目标模型中，以得到在光照强的环境下采集到的期望图像中是否存在对象、对象的类别和/或对象位置的预测结果。如，基于光照强条件下的ISP期望参数，得到在白天采集到的图像中是否存在对象、存在的对象类别和对象位置的预测结果。

如果相机传感器是在光照弱的环境下采集到的raw数据，则在第一ISP期望参数和第二ISP期望参数中，确定出第二ISP期望参数为与外界环境信息匹配的ISP期望参数。图像信号处理器利用第二ISP期望参数，对raw数据执行降噪、自动曝光、色彩调整等一系列处理，从而将raw数据处理成符合RGB或YUV标准的(期望)图像。将期望图像输入至目标任务对应的目标模型中，以得到在光照弱的环境下采集到的期望图像中是否存在对象、对象的类别和/或对象位置的预测结果。如，基于光照弱条件下的ISP期望参数，得到在晚上采集到的图像中是否存在对象、存在的对象类别和对象位置的预测结果。

在硬件层面上，图像信号处理器这一硬件，针对在光照强的环境下采集到的raw数据，使用光照强的环境下得到的第一ISP期望参数进行处理。针对在光照弱的环境下采集到的raw数据，使用光照弱的环境下得到的第二ISP期望参数进行处理。即，使用与外界环境信息匹配的ISP期望参数，对在该外界环境信息下采集到的raw数据进行降噪、自动曝光、色彩调整等一系列ISP处理，可实现图像信号处理器对不同光照环境下采集的raw数据的针对性的处理。在针对性处理下得到的期望图像，利用其所输入的目标模型，识别或预测出在光照强或光照弱的环境下出现的对象、对象类别和对象位置。这种针对性方案，可显著提高在不同光照环境下的预测或识别结果，为目标任务的应用提供了保障。

本申请具有以下几点优势：

第一，与现有的将主观调试方法和客观调试方法结合进行ISP tuning的方案相比，利用了对原始图像进行ISP处理后的图像(目标图像)、目标任务对应的目标模型以及损失值，对ISP参数进行调试以得到ISP期望参数，工程上易于实施，可缩短调试时间，提高准确性，从而提高ISP tuning的效率。

第二，针对不同的光照条件下得到的raw数据，利用本申请技术方案，得到不同光照条件下的ISP期望参数，可满足ISP硬件处理的实际需求，提升目标任务的易用性。而且，匹配了实际应用。

第三，对图像信号处理器的硬件处理过程进行软件模拟，可大大减少实现繁杂度。避免直接进行硬件处理过程而导致的资源负担问题。

第四，本申请中的标签数据是在目标任务下的标签数据，目标任务不同，标签数据自然不同。本申请的方案适用于多种目标任务，可为不同的目标任务计算出与之对应的ISP期望参数，进而，在硬件层面上利用与之对应的ISP期望参数，可更好地实现对目标任务的执行。

本申请技术方案，在(目标)任务发生变化时也能够获得高效、准确地ISP期望参数，可满足任意目标任务的需求，也能够兼顾新任务和老任务。

本申请实施例提供一种图像信号处理ISP参数的调整设备，如图5所示，所述设备包括：

第一获得单元501，用于获得原始图像和所述原始图像在目标任务下的标签数据；

第二获得单元502，用于按照ISP初始参数，对原始图像进行处理，得到目标图像，所述目标图像和所述原始图像在图像属性上不同；

第三获得单元503，用于基于目标图像和所述目标任务对应的目标模型，得到在目标任务下的预测数据；

第四获得单元504，用于基于所述预测数据和所述标签数据，得到目标模型的损失函数的损失值；

调整单元505，用于基于所述损失值，对所述ISP初始参数进行调整，以得到ISP期望参数。

作为一种实现方式，所述原始图像包括各次迭代下的第一图像以及各次迭代的第一图像在目标任务下标签数据。

第二获得单元502，按照各次迭代下的ISP初始参数，对各次迭代下的第一图像进行处理，得到各次迭代下的第二图像，所述第二图像和所述第一图像在图像属性上不同；

第三获得单元503，用于将各次迭代下的第二图像和所述目标任务对应的目标模型，得到在各次迭代下的预测数据；

第四获得单元504，用于根据各次迭代下的预测数据和各次迭代下的标签数据，得到在各次迭代下目标模型的损失函数的损失值；

调整单元505，用于基于各次迭代下目标模型的损失函数的损失值，对各次迭代下的ISP初始参数进行调整，得到各次迭代下的ISP目标参数；将各次迭代下的ISP目标参数作为所述各次迭代下的下一次迭代的ISP初始参数；将各次迭代结束时的ISP初始参数作为ISP期望参数。

作为一种实现方式，所述目标任务用于对所述目标图像中是否存在目标对象、目标对象的类别信息以及目标对象在图像中的位置信息中的至少其中之一进行预测。调整单元505，用于基于目标图像中是否存在目标对象的预测损失、目标对象的类别预测损失以及目标对象的位置预测损失中的至少之一损失，对所述ISP初始参数进行调整，以得到ISP期望参数。

作为一种实现方式，所述设备还包括第一预测单元，用于：

将ISP期望参数分配至图像信号处理器；

针对由相机传感器采集到的raw数据，

利用图像信号处理器将所述raw数据处理成预设属性的期望图像，其中所述图像信号处理器基于ISP期望参数将所述raw数据处理为所述期望图像；

将所述期望图像输入至所述目标模型，以得到所述期望图像中是否存在对象、对象的类别和/或对象的位置的预测结果。

作为一种实现方式，所述原始图像为外界环境为第一环境时由相机传感器采集到的第一raw数据；或者，所述原始图像为外界环境为第二环境时由所述相机传感器采集到的第二raw数据；其中，所述第一环境和所述第二环境下的光照条件不同；

在原始图像为所述第一raw数据时而得到的第一ISP期望参数，不同于在原始图像为所述第二raw数据时而得到的第二ISP期望参数。

作为一种实现方式，所述设备还包括第二预测单元，用于：

针对由相机传感器采集到的raw数据，

获得所述相机传感器所处的外界环境信息；

从第一ISP期望参数和第二ISP期望参数中，确定与外界环境信息匹配的ISP期望参数；

利用图像信号处理器将所述raw数据处理成预设属性的期望图像，其中所述图像信号处理器基于与外界环境信息匹配的ISP期望参数将所述raw数据处理为所述期望图像；

将所述期望图像输入至所述目标模型，以得到所述期望图像中是否存在对象、对象的类别和/或对象的位置的预测结果。

作为一种实现方式，第二获得单元502，用于：

对ISP的硬件处理过程进行软件模拟；

在软件模拟过程中，按照ISP初始参数，将原始图像处理成目标图像。

需要说明的是，本申请实施例的ISP参数的调整设备，由于该ISP参数的调整设备解决问题的原理与前述的ISP参数的调整方法相似，因此，ISP参数的调整设备的实施过程及实施原理均可以参见前述方法的实施过程及实施原理描述，重复之处不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

其中，所述电子设备包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请所述的ISP参数的调整方法。所述计算机指令用于使所述计算机执行本申请所述的ISP参数的调整方法。

图6示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如ISP参数的调整方法。例如，在一些实施例中，ISP参数的调整方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的ISP参数的调整方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行ISP参数的调整方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。