用于缩放后的影像的动态像素密度恢复和清晰度取回

技术领域

技术领域总体上涉及用于车辆中的物体检测和呈现的图像处理，并且更具体地涉及一种方法和装置，用于使用车辆摄像头捕获图像，缩放图像并调整缩放后的图像的锐度(sharpness)，以供高级驾驶辅助系统使用。

背景技术

现代车辆的操作正变得更加自动化，即能够在越来越少的驾驶员干预下提供驾驶控制。车辆自动化已被分类成从零到五的数字级别，零对应于没有自动化、完全由人控制，五对应于完全自动化、没有人的控制。各种自动驾驶员辅助系统，诸如巡航控制、自适应巡航控制和停车辅助系统，对应于较低的自动化级别，而真正的“无人驾驶”车辆对应于较高的自动化级别。这些驾驶员辅助系统必须被配备以使用车载传感器自主或半自主地确定其周围的环境。

摄像头通常用于光学检测车辆周围的环境，并且可以包括用于不同任务的不同分辨率的摄像头。例如，用于向用户界面提供后视图视频流的摄像头可以比用于车道标记检测的侧视图摄像头具有更高的分辨率。目前汽车视频架构的局限性迫使具有较高像素数(分辨率)的摄像头使用不足。利用较高分辨率的摄像头图像实现较高的感知精度和物体识别是具有挑战性的。此外，在具有不同分辨率的摄像头图像上使用通用的感知算法也同样具有挑战性。

因此，期望提供改进的系统和方法以克服前面列举的困难，并为具有较高和/或不同分辨率的图像提供改进的感知精度和物体检测。此外，根据随后的详细描述和所附的权利要求，结合附图和前述技术领域和背景技术，本公开的其他期望的特征和特性将变得显而易见。

发明内容

提供了一种用于为缩放后的影像提供动态像素密度恢复和清晰度取回的装置。在一个实施例中，该装置包括摄像头，其被配置为捕获具有第一分辨率和第一图像清晰度的图像；图像处理器，其用于接收图像，将图像缩放到第二分辨率以生成缩放后的图像，导致缩放后的图像具有第二图像清晰度，图像处理器还可操作以调整缩放后的图像的锐度以生成调整后的缩放图像，使得调整后的缩放图像具有第一图像清晰度；驾驶辅助处理器，其用于响应于调整后的缩放图像来生成运动路径；以及车辆控制器，其用于响应于运动路径来控制车辆。

根据另一个示例性实施例，该装置还包括用于检测车辆位置的全球定位系统和用于存储地图的存储器，并且其中图像处理器还可操作用于响应于地图和车辆位置将图像裁剪到感兴趣的区域。

根据另一个示例性实施例，图像处理器可操作以使用指数四度多项式缩小图像。

根据另一个示例性实施例，图像处理器可操作以使用线性四度多项式放大图像。

根据另一个示例性实施例，物体检测处理器用于检测调整后的缩放图像内的物体，并且其中图像处理器可操作以缩小图像，以生成缩放后的图像。

根据另一个示例性实施例，显示器用于显示调整后的缩放图像，并且其中图像处理器可操作以放大图像，以生成缩放后的图像。

根据另一个示例性实施例，图像处理器可操作以放大图像，以生成缩放后的图像，并且其中图像处理器还可操作以锐化缩放后的图像，以生成调整后的缩放图像。

根据另一个示例性实施例，图像处理器可操作以缩小图像，以生成缩放后的图像，并且其中图像处理器还可操作以模糊缩放后的图像，以生成调整后的缩放图像。

根据另一个示例性实施例，图像处理器可操作以使用小波核调整缩放后的图像的锐度。

根据另一个示例性实施例，一种方法包括：用摄像头捕获具有第一分辨率和第一图像清晰度的图像；用图像处理器将图像缩放到第二分辨率以生成缩放后的图像，导致缩放后的图像具有第二图像清晰度，并且调整缩放后的图像的锐度以生成调整后的缩放图像，使得调整后的缩放图像具有第一图像清晰度；用驾驶辅助处理器响应于调整后的缩放图像来生成运动路径；以及用车辆控制器响应于运动路径来控制车辆。

根据另一个示例性实施例，通过全球定位系统检测车辆位置，并响应于车辆位置和存储在存储器中的地图，将图像裁剪到感兴趣的区域。

根据另一个示例性实施例，缩放图像包括使用指数四度多项式缩小图像。

根据另一个示例性实施例，缩放图像包括使用线性四度多项式放大图像。

根据另一个示例性实施例，缩放图像包括缩小图像以生成缩放后的图像，并检测调整后的缩放图像内的物体。

根据另一个示例性实施例，缩放图像包括放大图像以生成缩放后的图像，并在车辆座舱内的显示器上显示调整后的缩放图像。

根据另一个示例性实施例，缩放图像包括放大图像以生成缩放后的图像，并且调整锐度包括锐化缩放后的图像以生成调整后的缩放图像。

根据另一个示例性实施例，缩放图像包括缩小图像以生成缩放后的图像，并且调整锐度包括模糊缩放后的图像以生成调整后的缩放图像。

根据另一个示例性实施例，一种车辆包括：摄像头，其被配置为捕获具有第一分辨率和第一图像清晰度的图像；图像处理器，其用于缩放图像以生成具有第二图像清晰度的缩放后的图像，图像处理器还可操作以调整缩放后的图像的锐度以生成调整后的缩放图像，使得调整后的缩放图像具有第一图像清晰度；以及显示器，其用于将调整后的缩放图像显示给车辆乘员。

根据另一个示例性实施例，图像处理器可操作以放大图像，以生成缩放后的图像，并且锐化缩放后的图像，以生成调整后的缩放图像。

根据另一个示例性实施例，图像处理器可操作以响应于由摄像头的镜头导致的图像失真而裁剪图像，以生成缩放后的图像。

附图说明

在下文中将结合以下附图描述示例性实施例，其中相同的数字表示相同的元件，并且其中：

图1是示例性车辆系统，其包括根据各种实施例的具有用于缩放后的影像的动态像素密度恢复和清晰度取回的增强型图像处理系统；

图2是流程图，示出了根据各种实施例的为缩放后的影像提供动态像素密度恢复和清晰度取回的示例性方法；

图3是根据各种实施例的图像的图像缩放与图像清晰度的图形表示。

具体实施方式

以下详细描述本质上仅是示例性的，并且不旨在限制应用和用途。此外，不旨在受到前述技术领域、背景技术、简要说明或以下详细描述中提出的任何明示或暗示的理论的约束。如本文所用，术语模块是指专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或组)和存储器、组合逻辑电路和/或提供所描述的功能的其他合适部件。

现在转向图1，根据各种实施例示出了示例性车辆系统100，其包括具有用于缩放后的影像的动态像素密度恢复和清晰度取回的增强型图像处理系统101。示例性车辆系统100包括第一摄像头110、第二摄像头112、图像处理器115、ADAS处理器160、用户界面165、GPS 175和车辆控制器155。示例性图像处理系统101可以被配置为利用一个或多个摄像头，这取决于设计要求。这些摄像头可以具有相同或不同的分辨率。示例性图像处理系统101被配置为执行动态方法以为了有效利用摄像头分辨率而基于从图像缩放得出的比例修改图像清晰度，以用于计算机视觉和感知并用于扩大观看能力。这允许将具有不同分辨率的摄像头整合到单个处理管线中，以用于观看应用的无损图像质量，并且还为计算机视觉和感知增加物体像素密度。

第一摄像头110可以安装在具有前向视场的主车辆上。第一摄像头110可以安装至主车辆格栅，安装在后视镜后面，或安装在主车辆车顶的前缘。第一摄像头110可以被配置为捕获前向视场的图像，并将该图像耦合到图像处理器115。在一些示例性实施例中，第一摄像头可以具有第一分辨率，诸如八百万像素。此外，第二摄像头112可以安装至一个或多个侧视镜壳体，具有与前向视场部分重叠的第二视场。在一些示例性实施例中，第二摄像头可以具有不同于第一分辨率的第二分辨率，诸如两百万像素。来自第一摄像头110的图像和由第二摄像头112捕获的图像可以用于感知和用于在用户界面165(诸如座舱显示器)上显示给驾驶员。此外，可以期望将这些图像组合，以生成包括第一视场和第二视场的扩展视图图像。

图像处理器115首先响应于所需的应用，对来自第一摄像头110或第二摄像头112二者之一的捕获图像进行缩放和/或裁剪。例如，为了感知，图像处理器115可以缩小(downscale)和/或裁剪图像。为了将图像呈现至显示器，图像处理器115可以放大(upscale)图像。然后，图像处理器115基于从图像缩放得出的比例执行动态图像清晰度修改。

在各种实施例中，图像处理器115被配置为响应于图像清晰度和图像缩放之间的关系，执行用于缩小的指数多项式曲线拟合，以及用于放大的线性多项式曲线拟合。将图像清晰度与缩放比例相关联，优化了像素密度的最大化和相关数据的取回。针对观看应用和感测应用的图像清晰度的归一化分别基于相应的图像缩放比例来执行。这允许图像处理系统101保留图像清晰度，并从缩放后的图像取回像素密度。尽管在处理管线中对摄像头分辨率进行缩放，但示例性图像处理系统101保留图像清晰度。示例性图像处理系统101还可以通过基于放大或缩小的比例对摄像头图像进行后处理，实现实时清晰度增强。然后，可以使用对缩放后的图像进行的图像处理的结果和耦合到ADAS处理器160的结果数据执行物体检测和分类。对融合的图像或来自第一摄像头110的图像的物体检测可以使用经过训练的神经网络来执行。物体检测的结果可以用于进一步训练神经网络。

然后，物体检测的结果可以作为输入提供给ADAS处理器160。ADAS处理器160可以使用检测到的物体信息、点云、存储在存储器170中的地图数据、响应于GPS 175接收到的位置数据，来生成相对于主车辆的本地化区域地图。ADAS处理器160还可以可操作以响应于ADAS算法来生成控制信号，以用于耦合到车辆控制器155来控制主车辆。例如，ADAS算法可以执行自适应巡航控制操作，并生成转向、制动和油门控制信息，以用于耦合到车辆控制器155。可替代地，ADAS处理器160可以响应于检测到的物体信息、存储在存储器170中的地图数据和从GPS 175接收到的主车辆位置数据来生成运动路径，并将该运动路径耦合到车辆控制器455。

用户界面165可以被配置为接收用于启动ADAS算法的用户输入。此外，用户界面165可以被配置为显示图像和/或来自图像处理器115的放大的图像。用户界面165还可以被配置为响应于由ADAS处理器160和/或车辆控制器155生成的用户警报控制信号，向车辆操作员提供用户警报、用户警告和/或ADAS系统反馈。

现在转向图2，示出了流程图，其示出用于为缩放后的影像提供动态像素密度恢复和清晰度取回的增强型图像处理系统101的示例性实现方式。示例性方法200首先可操作用于执行高级驾驶员辅助系统(ADAS)算法。ADAS算法可以包括自适应巡航控制(ACC)、车道保持ACC、自主车辆控制、避免碰撞系统、车道偏离警告、变道辅助等，其中需要实时操作的环境意识。ADAS算法可以由主车辆内的ADAS处理器或ADAS控制器执行。然后，ADAS控制器可以将控制信号耦合到车辆控制器，以响应于ADAS算法控制主车辆的操作。

响应于执行ADAS操作，示例性方法200可以接下来控制成像技术210，以捕获主车辆周围环境的图像。成像技术可以包括各种分辨率和视场的摄像头或光学传感器。在一些示例性实施例中，成像技术可以向视频处理器或类似装置连续提供图像流，例如视频流。

方法200接下来获取感兴趣视场的帧215。例如，视场可以包括由前向摄像头捕获的来自主车辆的前向视场。该方法接下来确定220所获取的图像的原始分辨率。帧获取可以包括从具有设定分辨率的来自车辆摄像头的图像流中接收图像。例如，图像可以是从前向摄像头接收的八百万像素图像。帧可以被其他系统(诸如ADAS或显示器)请求，并且可以用于显示给车辆乘员，或可以由ADAS系统用于物体检测或环境感知。

方法200接下来可操作以动态地缩放和/或裁剪225图像。图像可以根据应用而被缩放。例如，图像可以被放大以呈现给主车辆内的显示器。图像可以被缩小到较低的分辨率，以供物体识别算法使用。可以对图像进行裁剪，以去除请求应用不需要的视场的区域。例如，后视图像可以由鱼眼摄像头捕获，但在倒车操作期间，只有直接在车辆后面的区域会呈现给车辆乘员。然后，该方法可以裁剪图像描绘的区域在所需区域之外的区域。同样，在ACC操作期间，图像可以被裁剪以排除感兴趣的车辆通道之外的区域，从而减少图像识别操作期间的图像处理计算要求。这些在感兴趣的车辆通道之外的区域可以响应于来自主车辆的地图和GPS数据来检测。

该方法接下来可操作以确定230缩放后/裁剪后的图像的动态缩放分辨率。接下来响应于原始图像分辨率和缩放后的图像分辨率计算235缩放比例。如果图像缩放比例大于一240，其指示放大的图像，则该方法接下来可操作以根据高通值为缩放后的图像生成250线性4D多项式曲线拟合。如果图像缩放比例小于一240，则该方法接下来根据低通值为缩放后的图像生成245指数4D多项式曲线拟合。在一些示例性实施例中，高通值和低通值可以响应于缩放比例和原始图像的清晰度从查找表中确定。

在放大的图像的情况下，该方法可操作以为缩放后的图像生成250线性4D多项式曲线拟合。在放大操作的过程中，在整个图像中添加像素，以填充原始图像的像素之间的空隙，从而提高分辨率。这些添加的像素的颜色和亮度是响应于原始图像的相邻像素来估计的。例如，像素亮度可以是原始图像中相邻像素的平均值，并且颜色可以是原始图像中最近的相邻像素的颜色。这种放大可能引入不期望的图像伪影，诸如像素化、剪切、变色、振影(ringing)和梯度差异。

响应于缩放比例，图像清晰度、低通值和高通值被用来生成265小波核，以确定275处理后的图像的清晰度值。然后，可以将该清晰度值提供给成像技术210，用于捕获后续图像。然后，响应于生成的4D多项式曲线拟合，对缩放后的图像进行处理280，以生成具有与原始捕获图像的图像清晰度大致相同的图像清晰度的图像。

为了解决这些放大伪影，使用对图像进行的线性4D多项式曲线拟合来对缩放后的图像进行处理280，以便将图像锐化回到由原始图像的调制传递函数(MTF)定义的原始图像的图像清晰度。线性4D多项式曲线拟合是线性函数，其对给定的数据集计算最小二乘多项式。4D多项式曲线拟合生成多项式的系数，其可以用于对曲线进行建模以拟合数据。执行线性4D多项式曲线拟合，是因为期望将图像恢复到原始图像清晰度，以改进图像识别软件的性能，并去除来自放大的图像的失真。

在缩小的图像的情况下，对缩放后的图像执行指数4D多项式曲线拟合，以降低缩小的图像的图像清晰度。部分地通过减少图像中像素化线条的出现，清晰度的降低使图像模糊，以改进图像识别算法的性能。将缩小的图像的图像清晰度恢复到原始图像的图像清晰度值。

现在转向图3，根据各种实施例示出了针对示例性图像处理操作的图像缩放与图像清晰度的图形表示300。在图形300的中间示出了原始摄像头图像分辨率310。图形300描绘了七百万像素图像330和八百万像素图像320的清晰度值与缩放。在这些示例性实施例中，七百万像素图像的原始图像清晰度为0.24，八百万像素图像的原始图像清晰度为0.38。随着图像被线性地放大，每个图像的图像清晰度下降。随着图像被指数地缩小，每个图像的图像清晰度增加。现在期望将缩放后的图像的图像清晰度恢复回到原始图像的图像清晰度，以便确保缩小的图像的物体检测算法的兼容性，并消除放大的图像的视觉伪影和失真。

在一些示例性实施例中，当八百万像素的图像被线性放大1.5倍时，图像清晰度从0.38下降到0.21。然后，该示例性方法被配置为锐化350放大的图像，以使放大的图像清晰度恢复回到原始的0.38。期望锐化放大的图像以去除由放大操作产生的失真和伪影，从而改进图像的视觉呈现，以用于呈现在座舱显示器上。

在其他示例性实施例中，当七百万像素的图像被缩小到原始图像分辨率的0.3时，图像清晰度从0.24增加到0.51。然后，该示例性方法被配置为模糊340缩小的图像，以使缩小的图像的图像清晰度降回0.24。期望模糊图像以减少图像中的线条和其他边缘的像素化，从而减少物体检测算法的计算要求，并使图像清晰度恢复回到原始图像的图像清晰度，以便由预期已知图像清晰度的图像的标准物体检测算法使用。

尽管在前述详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，示例性实施例或多个示例性实施例仅是示例，并且不旨在以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实现示例性实施例或多个示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求及其合法等同物中阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。