一种基于时间同步的车载侧后视图像生成方法

技术领域

本发明涉及汽车领域，尤其涉及一种基于时间同步的车载侧后视图像生成方法。

背景技术

现有侧后视应用如雨后春笋般迅速发展，普遍采用车载摄像头直接替代后视镜，将各个位置摄像头采集到的鱼眼图像显示在屏幕的对应区域。但是在直观感受上，各个摄像头的视场图像是独立不连贯的，驾驶员观看屏幕的主观感受较差。此外由于摄像头是电子产品，具备一定的失效性，外置摄像头仍然存在被灰尘和泥浆污染的情况，使得画面某些区域模糊或者遮挡，造成驾驶感受的降低甚至出现意外。但现阶段，摄像头被污染仍然是依赖于人眼进行判断，尚未有摄像头被污染自动判断的方法，这导致摄像头出现污染影响成像时需要人判断校正，如果驾驶员不及时发现处理，依赖被污染摄像头的判断可能会发生安全事故。因此，现有技术仍然存在较多的缺陷，需要进行改进。

发明内容

基于现有技术中存在的缺陷，本发明提供一种基于时间同步的车载侧后视图像生成方法，至少包括：

步骤S1，对多个车载以太网摄像头进行图像采集的时间进行时间同步，并对采集图像进行畸变矫正；

步骤S2，获取冗余车载以太网摄像头拍摄的图像，在进行图像融合后获得融合图像，根据融合图像对应原始畸变图像判断选择未被污染的车载以太网摄像头作为工作摄像头；

步骤S3，获取不同安装位置的工作摄像头拍摄图像进行畸变矫正中的差异矫正单应性矩阵H

步骤S4，融合图像上的不同安装位置工作摄像头对应图像互相覆盖区域的各个像素值根据信息权重进行覆盖区域的图像融合。

一种基于时间同步的车载侧后视图像生成方法，进一步地，车载以太网摄像头通过以太网EAVB协议传输图像内容和控制信息，内置RTC时钟，智能主机通过车载以太网总线每隔一段时间修正每个车载以太网摄像头的RTC时钟。

一种基于时间同步的车载侧后视图像生成方法，进一步地，车载以太网摄像头进行图像采集的时间进行时间同步具体包括：

车载以太网摄像头计算各自与主处理器的链路传播延迟P

主处理器不定期对车载以太网摄像头发送主处理器本地时间报文时，车载以太网摄像头解析出报文中记录的主处理器本地时间戳tm，再加上传播链路延迟P

同时，车载太网摄像头将各自本地的RTC时钟时间戳修改为tc。

一种基于时间同步的车载侧后视图像生成方法，进一步地，畸变矫正至少包括第一次畸变矫正，其中，第一次畸变矫正至少包括：通过冗余车载以太网摄像头获取垂直于地面的预设靶图成像后的畸变图像，利用光学畸变参数映射表对畸变图像进行第一畸变矫正后获取第一畸变矫正图像。

一种基于时间同步的车载侧后视图像生成方法，进一步地，畸变矫正至少包括第二次畸变矫正，其中，第二次畸变矫正至少包括：建立差异矫正平面坐标系，分别获取预设靶图的特征点在第一畸变矫正图像的对应的第一坐标点以及在差异矫正平面对应的第二坐标点，利用透视变换，求解单应性矩阵H

获取单应性矩阵H

一种基于时间同步的车载侧后视图像生成方法，进一步地，在步骤S2中，针对安装在同一位置的冗余车载以太网摄像头，将同步采集后的原始摄像头的畸变图像分为若干区域，每个区域独立进行清晰度得分计算，一个摄像头得到一组各个区域的清晰度得分DF(f)

一种基于时间同步的车载侧后视图像生成方法，进一步地，在步骤S2中，针对安装在同一位置的冗余车载以太网摄像头，将矫正后的车载以太网摄像头画面映射到实际显示应用的融合画面，得到各个车载以太网摄像头安装位置差异矫正后对应融合画面的矫正融合单应性矩阵H

一种基于时间同步的车载侧后视图像生成方法，进一步地，覆盖区域包括：右侧和后侧工作摄像头覆盖区域融合图像Q

摄像头覆盖区域融合图像包括相应区域的工作摄像头在最终融合平面上的图像和信息权重的加权平均值，融合计算方法包括：

其中，左侧、后侧、右侧工作摄像头的信息权重leftINF(f)

right(Q

一种基于时间同步的车载侧后视图像生成方法，进一步地，左侧、后侧、右侧工作摄像头的信息权重leftINF(f)

leftINF(f)

rearINF(f)

rightINF(f)

其中rearDFk(f)

一种基于时间同步的车载侧后视图像生成方法，进一步地，清晰度得分的获取具体包括：将获取的原始畸变图像按边长为b1划分为VNUM×HNUM个小块IMB(f)

其中，f为当前图像帧序号，RESH、RESV分别为图像水平分辨率和垂直分辨率，b1为小块的边长，v∈[1，VNUM]，h∈[1，HNUM]，其中

一种基于时间同步的车载侧后视图像生成方法，进一步地，清晰度分值VAR(cf)

其中，IMB(f)

设定清晰度分值阈值thre，thre根据bl大小和统计帧数n设定，thre

清晰度分值阈值thre：

thre＝(thre

将各个小块统计的清晰度分值与清晰度分值阈值比较，大于等于清晰度分值阈值，认为该区域图像清晰度满足要求。

一种基于时间同步的车载侧后视图像生成方法，进一步地，融合图像的获取至少包括：

步骤S100，获取预设靶图矩形ROI区域4个顶点在融合矫正图像中的像素坐标，按照顺时针方向分别为(RESQ

步骤S101，设观察点在三维坐标系下的O点，O点在水平面G的投影为g，g点为三维坐标系的原点，g点位于靶图平面的后摄像头成像的垂直中心线上，以g点为原点建立靶图坐标系；

步骤S102，根据角点顺序按照顺时针方向分别为C1、C2、C3、C4，求解靶图坐标系下右冗余摄像头、左冗余摄像头、后冗余摄像头拍摄靶图成像后的ROI区域以观察点O观测的融合图像的像素坐标nameFC(i)x，nameFC(i)y，name＝rgt，rer，lft；i＝1，2，3，4；

步骤S103，设左右摄像头安装位置距离其对应靶图的像素距离为dis

一种基于时间同步的车载侧后视图像生成方法，进一步地，根据融合图像获取对应原始畸变图像至少包括：

步骤S201，根据观测的融合图像的像素坐标和靶图矩形ROI区域4个顶点的像素坐标nameC(i)x，nameC(i)y，其中，name＝right，rear，left；i＝1，2，3，4，利用透视变换进行求解H

步骤S202，重复步骤S201，依次获得不同位置的右、后、左冗余摄像头对应的单应性矩阵H

步骤S203，将摄像头最终融合平面图像(Q

步骤S204，差异矫正图像坐标(R

步骤S205，根据鱼眼相机的畸变矫正原理，获取畸变矫正图像坐标(RESP

步骤S206，重复步骤S203至S205，获取不同摄像头对应的原始畸变图像坐标(RESp′

一种基于时间同步的车载侧后视图像生成方法，进一步地，信息权重INFk(f)计算方法包括：

其中，k表示冗余摄像头的编号，RESQH、RESQV分别为融合后图像水平分辨率和垂直分辨率，x，y表示融合图像像素坐标，f表示帧的序列号；

DFk(f)

一种基于时间同步的车载侧后视图像生成方法，进一步地，区域信息权重函数VLD

VLD

其中，垂直信息权重函数VLD

其中，RESQH为最终融合图像的像素水平分辨率；

其中，ofst_h1和ofst_h2，low_val均为人为设定阈值，low_val为主观认为的最低权重，ofst_h1是主观认定的最低权重区域，ythre为根据经验设定的阈值；

Ofst_vt表示最上边像素到右侧相机拍摄到靶图right camera ROI的点(RESP

一种基于时间同步的车载侧后视图像生成方法，优选的，其中，第一次畸变矫正包括：

步骤S1，获取车载以太网摄像头的光学畸变参数，光学畸变参数包括摄像头镜头指定CMOS芯片条件下的实验模组进行实际实验环境图像采集的离散视场角度θ与其对应像高γ的映射表；

步骤S2，根据小孔成像原理，建立实际拍摄平面U各个像素点对应到成像面I上鱼眼图像的各个点的空间坐标关系，建立离散视场角度θ与物高λ的第一映射函数；

λ＝tan(θ)

步骤S3，根据光学畸变参数映射表，构建像高γ与离散视场角度θ第二映射函数θ＝G(γ)：

步骤S4，根据成像几何关系，求解实际拍摄平面U与对应的矫正成像面、畸变成像面之间的矫正缩放因子S

步骤S5：利用第一映射函数、第二映射函数以及矫正缩放因子S

有益效果：

1.本发明的技术方案通过一种基于时间同步的侧后视图像生成系统，通过采用以太网摄像头，组合了以太网同步技术和CMOS的被动触发采集，实现了各个摄像头在同一时刻的采集，使得各个摄像头采集的图像真正的具有了对三维世界的同时摄影，从根本上避免了行车过程中由于各个摄像头采集不同时而拍摄的实际物体的位置发生改变导致的图像变化，从而解决了对多摄像头图像融合带来的融合边界图像不可控误差的根本原因。此外通过冗余摄像头同步工作，通过算法实时选择画面信息量更大的摄像头作为工作摄像头，从而使得摄像头能尽可能多的提供驾驶所需要的图像信息，提升了驾驶的安全性，基于平面贴图的多图像融合技术更迎合了人眼的主观观察感受。

2.本发明的技术方案通过车载以太网摄像头，再加上EAVB协议以及对应的时间同步修正，能够保持冗余摄像头采集的图像在同一时刻，有助于融合图像的拼接，提高成像效果。

3.本发明提供的技术方案中，在判断摄像头是否被污染的情况，通过引入信息权重，并且创造性的定义了信息权重等于清晰度得分和融合画面区域信息的权重函数。在计算信息权重的过程中，并未将摄像头所有的区域都进行考虑，通过预设靶图，建立靶图坐标系，通过图像融合后确定最终的有效区域，计算有效区域的清晰度得分和区域信息权重，使其计算结果更准确，避免不参加融合摄像头形成图像的部分被考虑进来。即对形成安全不产生影响的图像不考虑进来。

4.本发明提供的技术方案中，创造性提出的清晰度得分的计算方法，并图像区域进行分块并计算每小块的像素差异，然后连续计算多帧图像的差异，设定阈值进行比较，使得计算结果更科学，准确。

附图说明

以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。

图1为本发明一实施例中车载以太网摄像头与主处理的时间链路示意图；

图2为本发明一实施例中LENS配型指定CMOS的情况下的实验模组进行实际实验环境图像采集得出的离散视场角度与其对应像高的映射表。

图3为本发明一实施例中鱼眼摄像头的成像模型原理示意图。

图4为本发明一实施例中鱼眼摄像头拍摄的未畸变矫正的棋盘格图片。

图5为本发明一实施例中经过第一次畸变矫正的棋盘格图片。

图6为本发明一实施例中经过第二次畸变矫正的图片。

图7为本发明一实施例中连续统计n帧图像的每一个小块内部的水平垂直的清晰度分值示意图。

图8为本发明一实施例中摄像头表面被严重污染以及对污染区域进行染色的示意图，图8a表示表面被严重污染原图像，图8b表示原图经过计算处理并染色的图像。

图9为本发明一实施例中摄像头表面轻微污染以及对污染区域进行染色的示意图，图9a表示表面轻微污染原图像，图9b表示原图经过计算处理并染色的图像。

图10为本发明一实施例中靶图T矩形ROI区域4个顶点在畸变矫正图像中的像素坐标示意图。

图11为本发明一实施例中左、后、右摄像头形成的靶图摆放在同一平面并垂于水平面的示意图。

图12为本发明一实施例中以观察点为视角对靶图进行观察的示意图。

图13为本发明一实施例中左、后、右摄像头拍摄画面进行融合后覆盖区域显示的示意图。

图14为本发明一实施例中工作摄像头安装在预设安装位置并朝向指定视场后拍摄的图像经过在融合平面形成的图像示意图。

图15为本发明一实施例中将图像中信息权重显示1染色为纯白，显示为0染色为纯黑形成的示意图。

图16为本发明一实施例中各个区域冗余摄像头(未污染和污染)的图像。

图17为本发明一实施例中各个区域冗余摄像头最终融合图像加上贴图的最终图像。

具体实施方式

为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。

关于控制系统，功能模块、应用程序(APP)本领域技术人员熟知的是，其可以采用任何适当的形式，既可以是硬件也可以是软件，既可以是离散设置的多个功能模块，也可以是集成到一个硬件上的多个功能单元。作为最简单的形式，所述控制系统可以是控制器，例如组合逻辑控制器、微程序控制器等，只要能够实现本申请描述的操作即可。当然，控制系统也可以作为不同的模块集成到一个物理设备上，这些都不偏离本发明的基本原理和保护范围。

本发明中“连接”，即可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。

本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合

应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆。

具体地，本发明提供一种基于时间同步的车载侧后视图像生成方法，应用于具备多摄像头的汽车，多摄像头通过车载以太网总线连接智能主机，智能主机控制多摄像头拍摄图像的融合拼接形成最终的侧后视图。

现有技术的解决方案中，如车载环视系统，在汽车前后左右安装四个设摄像头，实现360环视系统，但是同一区域仅安装一个摄像头，当该区域的摄像头被污染后，其无法实现环视系统。

因此，在本实施例中，同一区域安装有多个摄像头，其中一个摄像头被污染了，另外的摄像头可以启动来工作。但多个摄像头并没有主次之分，在都没有被污染的情况下，任意其中一个工作即可，若被污染，选择未被污染的一种摄像头进行工作即可。

优先的，冗余摄像头的个数为2个；

优先的，为了实现多个设想摄像头采集的图像能够保持同步，以便后续的拼接，本实施例采用车载以太网摄像头，类型镜头类型为鱼眼相机。

一种基于时间同步的车载侧后视图像生成方法，具体包括：

步骤S1，对多个车载以太网摄像头进行图像采集的时间进行时间同步，并对采集图像进行畸变矫正；

步骤S2，获取冗余车载以太网摄像头拍摄的图像，在进行图像融合后获得融合图像，根据融合图像对应原始畸变图像判断选择未被污染的车载以太网摄像头作为工作摄像头；

步骤S3，获取不同安装位置的工作摄像头拍摄图像进行畸变矫正中的差异矫正单应性矩阵H

步骤S4，融合图像上的不同安装位置工作摄像头对应图像互相覆盖区域的各个像素值根据信息权重进行覆盖区域的图像融合。

具体地，车载以太网设摄像头的时间同步过程如下：

冗余车载以太网摄像头同步采集模块负责多路摄像头同步采集图像数据并传递图像数据到鱼眼畸变矫正模块。

具体的，冗余车载以太网摄像头同步采集模块包括至少2个广角高清以太网摄像头，每个摄像头通过以太网线与其他模块连接。

车载以太网摄像头以EAVB协议对采集到的图像数据进行以太网封包并通过以太网连接线传输并进行时间同步，不同的车载以太网摄像头根据同步时间修正自身的RTC时钟，并在统一时间戳进行一帧图像的采集。

具体的，采集的图像数据可以采用IEEE 1722协议进行以太网封包和传输，其中AVTP Payload之前的数据统称包头，包头包含可定制控制信息，例如通过stream ID来区分摄像头，同一摄像头的以太网封包内的AVTP payload内部为该车载以太网摄像头顺序发送的图像数据段。

冗余摄像头间的时间同步，具体的，可以通过IEEE 802.1as协议进行时间同步如图1所示。

例如单个车载以太网摄像头通过以太网向主处理器发送Pdelay_Req报文，请求测量以太网信号链路传播延迟，当Pdelay_Req报文离开车载以太网摄像头MAC层时，车载以太网摄像头通过其本地RTC时钟记录此时的时间戳t1，同时当主处理器MAC层接收到Pdelay_Req报文时，通过主处理器的本地RTC时钟记录此时的时间戳t2；主处理器随后通过车载以太网向以太网摄像头发送Pdelay_Resp报文回复主处理器接收到的Pdelay_Req报文的本地时间戳t2，并且通过主处理器本地RTC时钟记录Pdelay_Resp报文从主处理器MAC层发出的时间t3，随后通过Pdelay_Reso_Follow_Up报文将t3发送给车载以太网摄像头；车载以太网摄像头记录下其MAC层接收到Pdelay_Resp报文时候的本地RTC时钟的时间戳t4，并通过解析Pdelay_Resp_Follow_Up报文搭载的Pdelay_Resp报文从主处理器MAC层发送的时间戳t3。以太网MAC层以下链路的传输延迟基本满足对称关系，即报文从以太网摄像头到主处理器的传输时间和主处理器到以太网摄像头的传输时间是相同的，则链路传播延迟P

不同以太网摄像头通过此方式得到各自与主处理器的链路传播延迟P

各个摄像头根据时间同步后的本地RTC时钟，每间隔预设好的固定时间ts进行一帧图像的采集，则实现了冗余以太网摄像头的图像同步采集，彻底避免了不同摄像头采集时间差异导致的图像空间误差。

在步骤S1中，畸变矫正至少包括第一次畸变矫正，其中，第一次畸变矫正至少包括：通过冗余车载以太网摄像头获取垂直于地面的预设靶图成像后的畸变图像，利用光学畸变参数映射表对畸变图像进行第一畸变矫正后获取获得第一畸变矫正图像；

第一次畸变矫正具体包括：

车载以太网摄像头基本选择鱼眼镜头，镜头LENS供应商对该款镜头会提供光学畸变参数表，光学畸变参数表为LENS配型指定CMOS的情况下的实验模组进行实际实验环境图像采集得出的离散视场角度与其对应像高的映射表如图2。

获取车载以太网摄像头的光学畸变参数，光学畸变参数包括摄像头镜头指定CMOS芯片条件下的实验模组进行实际实验环境图像采集的离散视场角度θ与其对应像高γ的映射表；

根据小孔成像原理，建立实际拍摄平面U各个像素点对应到成像面I上鱼眼图像的各个点的空间坐标关系，建立离散视场角度θ与物高λ的第一映射函数；

具体地，参见图3，

物高为λ，图1中光学畸变参数表的角度θ单位为度，像高γ单位为mm。

设LENS光心到实际拍摄平面距离为1，满足关系，则:

λ＝tan(θ),(γ->θ) 公式(1)

θ＝arctan(λ),(θ->γ) 公式(2)

第一映射函数：λ＝tan(θ)

根据光学畸变参数映射表，构建像高γ与离散视场角度θ第二映射函数θ＝G(γ)，

具体地，在本实施例中，假设：

对于任意角度θ，满足θ(n)≤θ≤θ(n+1)；在畸变参数表中，查找θ(n)、θ(n+1)相对应的γ(n)与γ(n+1)，则与θ对应的γ应满足满足γ(n)≤γ≤γ(n+1)；

其中n为像素点的序号，θ(n)、θ(n+1)表示相邻离散角度，γ(n)，γ(n+1)相邻像高，θ(n)、θ(n+1)、γ(n)、γ(n+1)根据已知θ或γ从光学畸变参数表中查找获得；

当γ为已知时，

当θ为已知时，

根据成像几何关系，求解实际拍摄平面U与对应的矫正成像面、畸变成像面之间的矫正缩放因子S

具体包括：

设此时OP连线与水平方向夹角为ψ，ψ的取值范围为0～180度，则P点在实际拍摄平面U上面的水平坐标P

P

p′

选择实际以太网摄像头的CMOS成像面水平方向最大宽度2γ

利用第一映射函数、第二映射函数以及矫正缩放因子S

具体包括：

成像面鱼眼畸变图像的像素级坐标RESp′

将公式(9)与公式(11)的等式两边分别相除，将公式(1)，公式(5)、公式(6)、公式(7)和公式(8)代入，获取RESP

同理：将公式(10)与公式(12)的等式两边分别相除，将公式(1)，公式(5)、公式(6)、公式(7)和公式(8)代入，获取RESP

其中，γ为P点的对应的像高，γ

以某款CMOS水平长度4mm为例，成像面刚刚覆盖完CMOS水平方向时，成像的鱼眼畸变图片水平分辨率RESH

设光学畸变参数表最小精度满足γ(n)≤γ≤γ(n+1)时的γ(n)为1.95；

γ(n+1)为2.03，θ(n)为55.5，θ(n+1)为56，

则带入式1，式2可得此时实际拍摄平面U上面OP在水平方向上对应点P的λ

设实际拍摄无畸变图像水平分辨率RESH

畸变矫正的图像即实际拍摄面U图像，其上任意像素点坐标(RESP

具体的估算方法如下：

(RESp′

获取p

根据权重系数计算出像素值VAL

VAL

按照畸变矫正图像的图像分辨率遍历P点像素坐标(RESP

冗余摄像头安装位置必然存在空间差异，因此其拍摄视场图像必然存在差异，且不同的以太网摄像头在生产过程中由于生产工艺精度也必然导致成像面与CMOS平面存在一定的光心偏移和焦平面角度误差，这都导致按照既定畸变矫正数学模型将鱼眼畸变图像还原为畸变矫正图像的误差。

冗余摄像头差异矫正将冗余的不同以太网摄像头的畸变矫正图像ROI区域差异进行最大限度的消除。

因此，需要在第一次畸变矫正图像的基础上进行第二次畸变矫正；

畸变矫正至少包括第二次畸变矫正，其中，第二次畸变矫正至少包括：第二次畸变矫正，其中，第二次畸变矫正至少包括：建立差异矫正平面坐标系，分别获取预设靶图的特征点在第一畸变矫正图像的对应的第一坐标点以及在差异矫正平面对应的第二坐标点，利用透视变换，求解单应性矩阵H

获取单应性矩阵H

具体包括：

在差异矫正平面坐标系，预设靶图的特征点(T

R

R

其中，SC为平面坐标尺度变换因子，OFST

步骤S101，通过冗余摄像头获取垂直于地面的预设靶图，获取预设靶图中多个特征点在靶图平面的实际物理坐标(T

步骤S102，根据实际物理坐标(T

步骤S103，建立差异矫正平面坐标系，求解与靶图中多个特征点的坐标映射到差异矫正平面坐标系下相对应的特征点坐标(R

步骤S104，根据透视变换，求解(R

透视变换：

H

步骤S105，再次利用透视变换变化，将差异矫正图像所有像素坐标(R

然后利用如第一畸变矫正中采用的像素值估算方法，计算差异矫正图像所有像素坐标对应的畸变矫正后的像素坐标，获取畸变矫正图像中的像素值并赋值给对应差异矫正图像中的坐标，形成最终的差异矫正图像如图6所示。

具体地，在行车过程中或者雨雪等天气影响下，尽管摄像头表面通过憎水膜的物理手段可以极大的降低污物粘着的概率，但仍然有一定可能沾上污渍，污渍沾染具有突发性，附着可变化的特征，这会减少以太网摄像头获取的图像信息使得驾驶员对真实环境情况感知受阻。清晰度判决计算出摄像头各个区域的清晰度得分，从而判断出摄像头各个区域的污染程度。从而确定工作摄像头和非工作摄像头。

将单个摄像头采集的原始图像按边长为b1划分为若干小块IMB，每个小块内部按照传统清晰度计算算法计算其清晰度得分。清晰度是表征图像信息含量的尺度，图像高频区域和中频区域的信息占据了绝大部分的图像信息，清晰度计算方式之一通过计算相邻像素的差异性，能体现出信息含量的尺度，当图像清晰时相邻像素差异性大，图像模糊时相邻像素差异性小。

具体的，当前帧序号f的水平分辨率为RESH、垂直分辨率为RESV的图像IMB(f)，按照边长为bl可以划分为水平HNUM、垂直VNUM个小正方形块IMB(f)

其中，IMB(f)

连续统计n帧图像的每一个小块内部的水平垂直的清晰度分值，如图7所示，分别对帧内划分的每一个小块IMB(f)

设定清晰度分值阈值thre，thre根据b1大小和统计帧数n设定。具体的，认为相邻像素值差异在thre

thre＝(thre

将各个小块统计的累计清晰度分值与清晰度分值阈值比较，大于等于清晰度分值阈值则认为该区域图像清晰度满足要求。

为方便直观观察，将小于清晰度分值阈值的小块染色为黑色，大于等于清晰度分值阈值的小块染色为白色，表面污染严重摄像头及其对应小块统计染色如图8所示，图8a表示未被染色的图像，图8b表示经过统计染色的图像。

对比摄像头及其对应小块统计染色图9所示，图9表示表示摄像头表面仅轻微污染。图9a表示未被染色的图像，图9b表示经过统计染色的图像。

具体地，需要说明的是，并不是所有的摄像头区域都对于行车有最重大的安全意义，比如天空区域相对地面区域而言，这部分的信息对与行车安全而言的更少，摄像头此部分区域如果被污渍遮挡相对于摄像头地面区域被遮挡的话危害性更小。摄像头作为外部器件，总有一定概率受到污染，因此当地面区域没有被污染的情况下，该摄像头采集的图像对应行车安全还是可以采纳的。同时安装在不同拍摄位置的冗余摄像头最后选取到融合图像中的区域也有所不同，安装在某一拍摄位置的摄像头内一些区域的数据根本不会采纳到最后的融合图像中，因此相对于最终的融合系统而言，这部分图像是冗余的可以舍弃的，也就意味着该区域被污染对整体的融合图像没有影响。有效内容判决模块将摄像头最终显示区域权重配合清晰度得分进行统计，得出各个冗余摄像头的融合信息含量得分，根据各个冗余摄像头融合信息含量得分选择得分最高的摄像头为工作摄像头，其余摄像头为待机摄像头。

清晰度得分计算方法得到的清晰度得分小块的块坐标定义为(v，h)，v∈[1，VNUM]，h∈[1，HNUM]，其水平和垂直像素坐标分别为RESp

设靶图特征点为水平k个，垂直j个，k×j＝t，根据冗余摄像头差异矫正模块步骤，可知靶图T矩形ROI区域4个顶点在融合矫正图像中的像素坐标(RESQ

不同摄像头安装区域分别对应一个靶图，靶图摆放在同一平面垂直于水平面，各靶图相对位置在靶图摆放像素平面Q上，3个靶图在水平方向上居中，如图11。其中ofst_right是像素屏幕Q最左边像素到右侧相机拍摄到靶图ROI的点(RESQ

ofst_rear是像素屏幕Q最左边像素到后侧相机拍摄到靶图rear camera ROI的点(RESQ

ofst_left是像素屏幕Q最左边像素到左侧相机拍摄到靶图left camera ROI的点(RESQ

设观察点在三维坐标系下的O点，其在水平面G的投影为g，如图12。其中O点离地平面的y轴像素距离为view

右侧摄像头ROI区域，

rgtFC1

rgtFC1

rgtFC3

rgtFC4

后侧摄像头ROI区域，

rerFC1

rerFC2

rerFC3

rerFC4

左侧摄像头ROI区域，

lftFC1

lftFC2

lftFC3

lftFC4

则根据透视原理，设左右摄像头安装位置距离其对应靶图的像素距离为dis

右侧摄像头ROI区域，

后侧摄像头ROI区域，式17

左侧摄像头ROI区域，式18

设各个安装位置的差异矫正图像与多个摄像头融合图像的单应性矩阵为H

右侧单个摄像头差异矫正图像与多个摄像头融合图像存在单应性矩阵，将(rgtFC(i)

后侧单个摄像头差异矫正图像与多个摄像头融合图像存在单应性矩阵，将(rerFC(i)

左侧单个摄像头差异矫正图像与多个摄像头融合图像存在单应性矩阵，将(lftFC(i)

设最终融合图像Q的像素分辨率为水平RESQH、垂直RESQV，则点的坐标范围为：

Q

RESQV＝ofst_vb+ofst_va

上述给出融合图像Qx和Qy的取值范围；

以右侧摄像头为例进行说明：

将右摄像头最终融合平面图像right(Q

将(R

根据鱼眼相机的畸变矫正原理，获取畸变矫正图像坐标(RESP

重复上述步骤，获取不同摄像头对应的原始畸变图像坐标(RESp′

根据原始畸变图像(RESp′

同理，后侧和左侧各个摄像头d最终融合平面图像rear(Q

以左侧污染摄像头为例，其最终融合平面图像对应的清晰度系数leftDFk(f)按照阈值thre判断如图13所示；

各安装位置摄像头区域信息权重为摄像头实际安装位置拍摄到的融合图像中驾驶员主观观察概率最大区域，即后、侧后方地面及车身延展线以下区域，该区域的获取方式为，将清洁的摄像头安装在指定安装位置并朝向指定视场，得到该摄像头在融合平面上的图像，优选的，选择ofst_vt以下区域，如图14灰色区域.

根据透视原理，离融合图像中心区域贴图越近，则信息有效性越大。设定垂直信息权重函数VLD

垂直信息权重函数VLD

水平信息权重函数VLD

ofst_h1和ofst_h2，low_val均为人为设定，low_val为主观认为的最低权重，ofst_h1是主观认定的最低权重区域，ofst1到ofst2之间的区域为权重渐变区域；

信息权重函数VLD

VLD

将信息权重1染色为纯白，0染色为纯黑，则VLD

单个摄像头k在最终融合图像的当前帧序号f对应的信息权重INFk(f)由清晰度系数DFk(f)

其中，k表示冗余摄像头的编号，RESQH、RESQV分别为融合后图像水平分辨率和垂直分辨率，x，y表示融合图像像素坐标，f表示帧的序列号；

DFk(f)

选择相同安装区域内所有冗余摄像头中信息权重得分最高的一个摄像头作为工作摄像头，其余摄像头作为待机摄像头。融合图像选择各个安装区域中的工作摄像头的最终平面融合图像进行融合。

具体地，各个安装区域的摄像头对应的最终融合平面的图像在最终融合平面上存在覆盖区域，覆盖区域图像进行加权融合，像素值加权方式根据信息权重进行计算，其中leftINF(f)

leftINF(f)

rearINF(f)

rightINF(f)

根据实际显示效果，人为定义贴图区域Q

各个区域冗余摄像头(未污染和污染)如图16所示；

各个区域冗余摄像头(未污染)最终融合图像加上贴图效果如图17所示。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。