基于反馈进行参数调整的图像处理方法及系统

技术领域

本申请涉及图像处理技术领域，特别涉及一种基于反馈进行参数调整的图像处理方法及系统。

背景技术

由于自动驾驶中车载相机中图像传感器输出的图像的位宽的动态范围相对比较高，ISP(图像信号处理器)会压缩一部分的动态范围，这样的话，不可避免的会有一部分动态范围的损失，也就是对比度的损失。

针对动态范围损失的问题，不同的感知模型的关注点可能会不一样，有的感知模型可能会关注图像中比较亮的目标，有的感知模型可能会关注图像中比较暗的目标。所有的图像经过同样的图像信号处理器的处理以后，没有办法满足各种感知模型对其各自关心的目标达到理想的图像状态。图像中目标本身的表现不是很理想的情况下，也会影响感知模型识别的效果。

发明内容

针对现有技术存在的无法选择相应的图像处理流程来适应感知模型的不同需求的问题，本申请主要提供一种基于反馈进行参数调整的图像处理方法及系统。

本申请采用的一个技术方案是：提供一种基于反馈进行参数调整的图像处理方法，其包括：

由位宽映射逻辑，将图像传感器采集的高位宽图像映射为图像信号处理器所要求输入的中位宽图像；

由图像信号处理器，对中位宽图像进行处理，并将中位宽图像转变为低位宽RGB图像；

由感知模型，对低位宽RGB图像进行识别，确定感兴趣图像区域，并生成对图像信号处理器反馈的包含感兴趣图像区域相关信息的图像信号处理器参数调整反馈信息；

由图像信号处理器，根据图像信号处理器参数调整反馈信息，对图像信号处理器的参数进行调整，使得中位宽图像在经过图像信号处理器进行的处理之后，得到的感兴趣图像区域，具有感知模型要求的特性。

本申请采用的另一个技术方案是：提供一种基于反馈进行参数调整的图像处理系统，其包括位宽映射逻辑，图像信号处理器，以及感知模型，其中：

由位宽映射逻辑，将图像传感器采集的高位宽图像映射为图像信号处理器所要求输入的中位宽图像；

由图像信号处理器，对中位宽图像进行处理，并将中位宽图像转变为低位宽RGB图像；

由感知模型，对低位宽RGB图像进行识别，确定感兴趣图像区域，并生成对图像信号处理器反馈的包含感兴趣图像区域相关信息的图像信号处理器参数调整反馈信息；

由图像信号处理器，根据图像信号处理器参数调整反馈信息，对图像信号处理器的参数进行调整，使得中位宽图像在经过图像信号处理器进行的处理之后，得到的感兴趣图像区域，具有感知模型要求的特性。

本申请采用的另一个技术方案是：提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被操作以执行方案一中的基于反馈进行参数调整的图像处理方法。

本申请采用的另一个技术方案是：提供一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，该计算机指令被操作以执行方案一中的基于反馈进行参数调整的图像处理方法。

本申请的技术方案可以达到的有益效果是：本申请设计了一种基于反馈进行参数调整的图像处理方法及系统。本申请中的感知模型通过图像信号处理器ISP处理后的图像进行识别，根据感知模型的感知效果，感知模型对图像信号处理器ISP的处理流程反向配置相应的ISP参数，通过配置好的ISP参数对图像进行处理，使得感知模型能够更好的识别处理后图像中的目标。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一种基于反馈进行参数调整的图像处理方法的一个具体实施方式的示意图；

图2是本申请一种基于反馈进行参数调整的图像处理系统的一个具体实施方式的示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征能更易于被本领域技术人员理解，从而对本申请的保护范围做出更为清楚明确的界定。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1示出了本申请一种基于反馈进行参数调整的图像处理方法的一个具体实施方式。在图1所示的具体实施方式中，基于反馈进行参数调整的图像处理方法主要包括：

步骤S101，由位宽映射逻辑，将图像传感器采集的高位宽图像映射为图像信号处理器所要求输入的中位宽图像。

本实施方式中，从车载相机中的图像传感器输出的原始图像具有较高的位宽动态范围，虽然有利于算法识别，但是由于位宽太高导致数据量过大，无法处理，所以需要根据位宽映射逻辑对具有位宽高动态范围的原始图像位宽的动态范围进行压缩。

在本申请的一个具体实例中，图像信号处理器根据ISP允许位宽，对高位宽动态图像的位宽进行砍位；或者根据图像信号处理器提供的映射函数，对高位宽动态图像的位宽进行映射。高位宽动态图像的位宽大于ISP允许位宽时，要对位宽进行压缩，压缩的方式包括砍位和函数映射。根据图像信号处理器后端算法对高位宽动态图像的位宽直接进行砍位，要么砍低位，要么砍高位。根据图像信号处理器反馈的映射函数，能够保留图像暗部的细节，也可以保证整个图像不过曝。

在图1所示的具体实施方式中，基于反馈进行参数调整的图像处理方法，还包括：

步骤S102，由图像信号处理器，对中位宽图像进行处理，并将中位宽图像转变为低位宽RGB图像。

本实施方式中，在图像信号处理器中，通过各个参数对中位宽图像进行处理，将中位宽图像转变为低位宽RGB图像，使得感知模型能够更好的感知图像中的目标。

在本申请的一个可选实施例中，由图像信号处理器，对中位宽图像进行处理，包括：对中位宽图像依次进行白平衡处理、色调映射处理、去马赛克处理、和伽马校正处理，其中，图像信号处理器的参数包括白平衡参数、色调映射参数、去马赛克参数和、或伽马矫正参数。

本实施例中，图像信号处理器(ISP)的参数处理包括但不限于黑电平矫正(blacklevel compensation)、镜头矫正(lens shading correction)、坏像素矫正(bad pixelcorrection)、颜色插值(demosaic)、Bayer噪声去除、白平衡(AWB)矫正，色彩矫正(colorcorrection)、伽马(gamma)矫正。这样得到图像效果更好。

在本申请的一个具体实例中，图像信号处理器(ISP)将中位宽图像进行白平衡，通过调整RGB像素的比例，将中位宽图像属于白色的像素值还原为白色，得到经白平衡的中位宽图像；图像信号处理器(ISP)将经白平衡的中位宽图像进行色调映射，得到灰度图像；图像信号处理器(ISP)将灰度图像进行去马赛克，得到颜色图像；图像信号处理器(ISP)将颜色图像进行伽马矫正，最后输出低位宽RGB图像。

在本申请的一个具体实例中，白平衡(AWB)矫正，拍出来的图像若是没有经过白平衡，就意味着白色不一定是白色。人眼根据场景、光照的不同，反射光的红绿蓝的比例也不同。ISP模块中的白平衡要做的其实是类似人眼的工作。如果被调校景物的白色偏一点蓝，那么白平衡调整就改变预置的比例关系，使所成影像依然为白色。自动白平衡最大的优势是；简单、快洁。色调映射(Tonemapping)，因为图像传感器sensor输出的都是光电转换的信号，光信号有多强，转换成电信号的话，图像的像素值就有多大，这是一个线性的映射关系。但对人眼本身来说，并不是一个线性映射关系，它是一个非线性映射，而且它会针对不同的目标，做的非线性映射是不一样的。所以色调映射也是模拟人眼的功能去做非线性映射。去马赛克(Domodaic)，因为图像传感器sensor输出的图像的像素，一个像素是R，一个像素是G，一个像素是B，那需要把它变成每一个像素都有rgb的信息，这就是去马赛克。Gama矫正，基本还算是线性的数据，人眼看的话，它其实是非线性的。对整个图像在重新做一遍这种非线性的，像是伽马曲线或者是反log曲线一样的映射。

在本申请的一个可选实施例中，由图像信号处理器，分块计算中位宽图像的亮度水平，包括：将高位宽图像切分为预设数量个图块，分别计算每一图块内像素的亮度的加权平均值，得到每一图块的亮度水平。

本实施例中，在图像信号处理器中，将中位宽图像切分为预设数量个图块，分别计算并得到每一图块的亮度值，即像素的亮度的加权平均值，进而得到中位宽图像的亮度水平。

在图1所示的具体实施方式中，基于反馈进行参数调整的图像处理方法，还包括：

步骤S103，由感知模型，对低位宽RGB图像进行识别，确定感兴趣图像区域，并生成对图像信号处理器反馈的包含感兴趣图像区域相关信息的图像信号处理器参数调整反馈信息。

本实施方式中，感知模型对输入的低位宽RGB图像中的目标进行检测，获得感知的图像信号处理器参数调整反馈信息。感知模型可以感知本身需要关注的目标。感知模型对图像信号处理器处理后的低位宽RGB图像进行感知，根据感知的效果的强弱，获取一些图像信号处理器参数，来调整反馈信息。

在本申请的一个可选实施例中，由图像信号处理器，分块计算中位宽图像的亮度水平，并根据感知模型反馈的感兴趣图像区域，以及感兴趣图像区域在中位宽图像中对应的亮度水平，确定中位宽图像的不同区域的亮度所需具有的灰阶精度，并且根据中位宽图像的不同区域的亮度所需具有的灰阶精度，生成对位宽映射逻辑反馈的位宽映射反馈信息；以及由位宽映射逻辑，根据位宽映射反馈信息，对高位宽图像与中位宽图像之间的映射关系进行调整，使得感兴趣图像区域的亮度具有高灰阶精度。

本实施例中，位宽映射反馈信息包括中位宽图像中的各个图块分别具有的灰阶精度。基于感知模型反馈的感兴趣图像区域在图像信号处理器中的中位宽图像对应的亮度水平，确定出灰阶精度并生成位宽映射反馈信息，由图像信号处理器根据生成的位宽映射反馈信息生成映射函数，既可以保留原始图像中暗部的细节，也可以保证整个图像不过曝。根据位宽映射反馈信息，调整高位宽图像与中位宽图像之间的映射关系，使得感知模型对感兴趣图像区域更加容易识别。

在本申请的一个可选实施例中，由位宽映射逻辑，根据位宽映射反馈信息，对高位宽图像与中位宽图像之间的映射关系进行调整，包括：在感兴趣图像区域的亮度均为低亮度水平的情况下，位宽映射反馈信息指示位宽映射逻辑，从高位宽图像的最高位开始砍掉一位或连续多位，得到中位宽图像；或者在感兴趣图像区域的亮度均为高亮度水平的情况下，位宽映射反馈信息指示位宽映射逻辑，从高位宽图像的最低位开始砍掉一位或连续多位，得到中位宽图像。

本实施例中，根据位宽映射反馈信息，通过对高位宽图像直接砍位得到中位宽图像；砍位只能砍低位或者砍高位，用砍位做位宽映射，尽可能高位宽图像中保留像素值比较低的目标的细节。

在本申请的一个可选实施例中，由位宽映射逻辑，根据位宽映射反馈信息，对高位宽图像与中位宽图像之间的映射关系进行调整，包括：在感兴趣图像区域的亮度包含多个亮度水平的情况下，位宽映射反馈信息指示位宽映射逻辑，根据图像信号处理器指定的位宽映射函数，利用高位宽图像的所有位，得到中位宽图像。

本实施例中，根据图像信号处理器指定的位宽映射函数中的映射关系，将高位宽图像作为位宽映射函数的输入，得到位宽映射函数的输出，即中位宽图像。

在本申请的一个具体实例中，感知模型检测出低位宽RGB图像中的目标，筛选出低位宽RGB图像中的感兴趣目标；根据感兴趣目标，获取低位宽RGB图像中的感兴趣目标范围，最终得到低位宽RGB图像中包含感兴趣目标范围的感知的图像信号处理器参数调整反馈信息。感知模型可以根据图像信号处理器处理的图像，确定图像圈定区域，根据图像中圈定出的数值决定图像信号处理器的参数的修改。

在图1所示的具体实施方式中，基于反馈进行参数调整的图像处理方法，还包括：

步骤S104，由图像信号处理器，根据图像信号处理器参数调整反馈信息，对图像信号处理器的参数进行调整，使得中位宽图像在经过图像信号处理器进行的处理之后，得到的感兴趣图像区域，具有感知模型要求的特性。

本实施方式中，感知模型将图像信号处理器参数调整反馈信息反馈到图像信号处理器中，图像信号处理器根据图像信号处理器的参数进行调整，使得图像处理的效果更佳，具有感知模型要求的特性。

在本申请的一个可选实施例中，由图像信号处理器，根据图像信号处理器参数调整反馈信息，对图像信号处理器的参数进行调整，包括：根据图像信号处理器参数调整反馈信息，对白平衡参数、色调映射参数、去马赛克参数和、或伽马矫正参数中的至少一者进行调整，使得中位宽图像在经过图像信号处理器进行的处理之后，得到的感兴趣图像区域，具有感知模型要求的特性。

本实施例中，根据感兴趣图像区域生成的图像信号处理器参数调整反馈信息，至少调整图像信号处理器中的一个参数。具体调整根据实际反馈结果进行。

在本申请的一个具体实例中，图像信号处理器利用ISP算法对感知的图像信号处理器参数调整反馈信息进行识别，得到已识别的调整信息；根据已识别的调整信息，对图像信号处理器的参数进行相应的调整。图像信号处理器后端的ISP算法可以识别感知模型反馈的图像信号处理器参数调整反馈信息，并调用图像信号处理器的参数进行修改。图像信号处理器根据已调整的图像信号处理器的参数对下一帧高位宽动态图像进行处理，并将处理结果输出到感知模型。已调整的图像信号处理器的参数对下一帧高位宽动态图像处理的效果更好，使得感知模型能更好的感知图像中的目标。

在本申请的一个具体实例中，根据不同类别的感知模型对图像的不同需求，选择对应的图像处理流程，其中图像处理流程包括图像信号处理器中的各个流水线，以及不带图像信号处理器的处理流程。根据反馈机制，修改图像信号处理器中不同流水线对应的图像信号处理器的参数，可以使得经过图像信号处理器处理的图像更加符合各个不同类别的感知的需求。

图2示出了本申请一种基于反馈进行参数调整的图像处理系统的具体实施方式。在图2所示的具体实施方式中，基于反馈进行参数调整的图像处理系统主要包括模块201位宽映射逻辑，模块202图像信号处理器，以及模块203感知模型，其中：

由模块201位宽映射逻辑，将图像传感器采集的高位宽图像映射为图像信号处理器所要求输入的中位宽图像；

由模块202图像信号处理器，对中位宽图像进行处理，并将中位宽图像转变为低位宽RGB图像；

由模块203感知模型，对低位宽RGB图像进行识别，确定感兴趣图像区域，并生成对图像信号处理器反馈的包含感兴趣图像区域相关信息的图像信号处理器参数调整反馈信息；

由模块202图像信号处理器，根据图像信号处理器参数调整反馈信息，对图像信号处理器的参数进行调整，使得中位宽图像在经过图像信号处理器进行的处理之后，得到的感兴趣图像区域，具有感知模型要求的特性。

本实施方式中，感知模型通过对图像信号处理器输出的低位宽RGB图像进行感知，反馈不同的图像信号处理器的参数，图像信号处理器调整好本身的参数，对下一帧图像进行同样的处理，使得图像更清晰，感知模型更容易识别其自身的关注目标。

在本申请的一个可选实施例中，由图像信号处理器，分块计算中位宽图像的亮度水平，包括：将高位宽图像切分为预设数量个图块，分别计算每一图块内像素的亮度的加权平均值，得到每一图块的亮度水平。

本实施例中，在图像信号处理器中，将中位宽图像切分为预设数量个图块，分别计算并得到每一图块的亮度值，即像素的亮度的加权平均值，进而得到中位宽图像的亮度水平。

在本申请的一个可选实施例中，由图像信号处理器，对中位宽图像进行处理，包括：对中位宽图像依次进行白平衡处理、色调映射处理、去马赛克处理、和伽马校正处理，其中，图像信号处理器的参数包括白平衡参数、色调映射参数、去马赛克参数和、或伽马矫正参数。

本实施例中，图像信号处理器(ISP)的参数处理包括但不限于黑电平矫正(blacklevel compensation)、镜头矫正(lens shading correction)、坏像素矫正(bad pixelcorrection)、颜色插值(demosaic)、Bayer噪声去除、白平衡(AWB)矫正，色彩矫正(colorcorrection)、gamma矫正。这样得到图像效果更好。

在本申请的一个可选实施例中，由图像信号处理器，根据图像信号处理器参数调整反馈信息，对图像信号处理器的参数进行调整，包括：根据图像信号处理器参数调整反馈信息，对白平衡参数、色调映射参数、去马赛克参数和、或伽马矫正参数中的至少一者进行调整，使得中位宽图像在经过图像信号处理器进行的处理之后，得到的感兴趣图像区域，具有感知模型要求的特性。

本实施例中，根据感兴趣图像区域生成的图像信号处理器参数调整反馈信息，至少调整图像信号处理器中的一个参数。具体调整根据实际反馈结果进行。

本申请提供的基于反馈进行参数调整的图像处理系统，可用于执行上述任一实施例描述的基于反馈进行参数调整的图像处理方法，其实现原理和技术效果类似，在此不再赘述。

在本申请的一个具体实施例中，本申请一种基于反馈进行参数调整的图像处理系统中各功能模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。

软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。

处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field Programmable Gate Array，简称：FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。

在本申请的另一个具体实施方式中，一种计算机可读存储介质，其存储有计算机指令，计算机指令被操作以执行任一实施例中的基于反馈进行参数调整的图像处理方法。

在本申请的另一个具体实施方式中，一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，该计算机指令被操作以执行任一实施例中的基于反馈进行参数调整的图像处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。