一种基于CMS摄像头的环视监控方法、系统及存储介质

技术领域

本发明涉及图像监控技术领域，尤其是涉及一种基于CMS摄像头的环视监控方法、系统及存储介质。

背景技术

目前CMS尚处于起步阶段，车规要求高、开发难度大，随着汽车智能化技术发展，CMS可与自动驾驶域和智能座舱域进行融合，成为越来越需要突破的技术。

现有技术中，专利（申请号：202321117938.2）公开了一种电子后视镜系统及车辆，包括驾驶控制单元、电子外后视镜控制单元、侧视摄像头和电子外后视镜显示屏；每个侧视摄像头包括第一图像传感器和第一串行器，驾驶控制单元包括驾驶控制器、第二串行器、以及与第一串行器一一对应的第一解串器，电子外后视镜控制单元包括电子外后视镜控制器和第二解串器；每个侧视摄像头中的第一图像传感器均连接第一串行器，第一串行器连接第一解串器；第一解串器连接驾驶控制器，驾驶控制器连接第二串行器；第二串行器连接第二解串器，第二解串器连接电子外后视镜控制器，电子外后视镜控制器连接电子外后视镜显示屏。但是通过加串/解串的方式对同一路摄像头信息进行分流，需要多路加串/解串电路。

因此，如何对CMS摄像头获取的图像数据信息进行处理，得到全景数据信息，并进行显示，成为我们亟待解决的问题。

发明内容

鉴于以上现有技术的不足，本发明提供了一种基于CMS摄像头的环视监控方法、系统及存储介质，不仅能够对获取的图像数据信息进行准确处理并得到融合图像数据信息，而且优化摄像头配置，单一摄像头的多重功能利用，CMS摄像头和环视监控融合，减少了系统硬件需求，从而降低了零件成本。

为了实现上述目的及其他相关目的，本发明提供的技术方案如下：

一种基于CMS摄像头的环视监控方法，所述方法包括：

M1.车辆行驶在道路上，基于车载摄像头实时获取道路图像数据信息，基于车载高精地图实时获取道路的静态地图数据信息；

M2.基于所述道路的静态地图数据信息和所述道路图像数据信息，选取高精地图的坐标系，将所述道路图像数据信息变换至高精地图的坐标系，采用多项式纠正算法对道路图像进行纠正，输出纠正好的道路图像数据信息；

M3.基于所述纠正好的道路图像数据信息，采用序惯相似性检测算法对道路图像进行特征点匹配，输出匹配好的道路图像数据信息；

M4.基于所述匹配好的道路图像数据信息，采用改进的多频带融合算法进行图像融合，输出融合后的图像数据信息，将所述融合后的图像数据信息传输至车载中控显示屏，进行实时的图像数据信息显示。

进一步的，在步骤M2中，所述采用多项式纠正算法对道路图像进行纠正包括：

M21.在高精地图的坐标系下，对所述道路图像数据信息进行特征点提取，输出道路图像的特征点的坐标数据信息；

M22.基于所述道路图像的特征点的坐标数据信息，建立五次多项式组函数F，

，

其中，f

M23.基于所述道路图像的特征点拟合曲线组数据信息，对道路图像进行几何纠正，输出纠正好的道路图像数据信息。

进一步的，在步骤M21中，所述对所述道路图像数据信息进行特征提取包括：

M211.基于所述道路图像数据信息，选取任意一组道路图像坐标点作为内点，其他的道路图像坐标点作为外点，依据所述内点建立道路图像特征点模型函数G，

，

其中，U为距离误差函数，g

U212.基于所述道路图像特征点模型函数G，设置预设阈值，对道路图像特征点进行提取，若所述外点与内点的距离小于预设阈值则该外点为特征点，若所述外点与内点的距离大于预设阈值则该外点不为特征点，输出道路图像的特征点的坐标数据信息。

进一步的，在步骤M211中，所述第j个特征点的表征函数g

，

其中x为特征点的坐标点，β

进一步的，在步骤M211中，所述距离误差函数U为，

，

其中，q为表征阈值，g

进一步的，在步骤M4中，所述采用改进的多频带融合算法进行图像融合包括：

M41.基于所述匹配好的道路图像数据信息，采用金字塔算法进行图像分解，得到多个不同频率范围的道路图像数据信息；

M42.基于所述多个不同频率范围的道路图像数据信息，对图像中的每个像素进行权重分析，输出道路的权重图像数据信息；

M43.基于所述道路的权重图像数据信息，采用加权平均算法进行图像融合，输出道路的初步融合图像数据信息；

M44，基于所述道路的初步融合图像数据信息，将融合后的每个频带进行重建并合并，输出融合后的道路图像数据信息。

为了实现上述目的及其他相关目的，本发明还提供了一种用于实现所述的环视监控方法的基于CMS摄像头的环视监控系统，包括摄像头、CMS控制器、CMS监视器和车载显示屏，所述摄像头包括左侧V类视野摄像头、右侧V类视野摄像头、前部VI类视野摄像头、左侧II/VI类视野摄像头和右侧II/IV类视野摄像头，分别获取车辆外部相应位置的视频信息，通过LVDS传输至ECU；

所述CMS控制器，与所述摄像头连接，对各自输入的视频信息进行处理，输出给所述CMS监视器显示，同时将视频信息进行拼接，通过LVDS输出至车载显示屏；

所述CMS监视器，与所述CMS控制器连接，用于显示拼接好的视频信息。

进一步的，所述车载显示屏与所述CMS监视器连接，用于显示环视监控信息以及切换环视角度。

进一步的，所述车载显示屏通过电源线及CAN通讯与整车进行数据交互及操作设置。

为了实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述基于CMS摄像头的环视监控方法的计算机程序。

本发明具有以下积极效果：

1.本发明通过采用多项式纠正算法对道路图像进行纠正，并结合序惯相似性检测算法对道路图像进行特征点匹配，输出匹配好的道路图像数据信息，不仅能够对图像数据信息进行精确处理和划分，对以后图像的融合打下坚实的基础，而且实时性高和及时性高，能够应对不同的复杂环境。

2.本发明优化摄像头配置，单一摄像头的多重功能利用，CMS摄像头和环视监控融合，减少了系统硬件需求，从而降低了零件成本。

附图说明

图1为本发明方法流程示意图；

图2为本发明系统框架示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

实施例1：如图1所示，一种基于CMS摄像头的环视监控方法，所述方法包括：

M1.车辆行驶在道路上，基于车载摄像头实时获取道路图像数据信息，基于车载高精地图实时获取道路的静态地图数据信息；

M2.基于所述道路的静态地图数据信息和所述道路图像数据信息，选取高精地图的坐标系，将所述道路图像数据信息变换至高精地图的坐标系，采用多项式纠正算法对道路图像进行纠正，输出纠正好的道路图像数据信息；

M3.基于所述纠正好的道路图像数据信息，采用序惯相似性检测算法对道路图像进行特征点匹配，输出匹配好的道路图像数据信息；

M4.基于所述匹配好的道路图像数据信息，采用改进的多频带融合算法进行图像融合，输出融合后的图像数据信息，将所述融合后的图像数据信息传输至车载中控显示屏，进行实时的图像数据信息显示。

在本实施例中，在步骤M2中，所述采用多项式纠正算法对道路图像进行纠正包括：

M21.在高精地图的坐标系下，对所述道路图像数据信息进行特征点提取，输出道路图像的特征点的坐标数据信息；

M22.基于所述道路图像的特征点的坐标数据信息，建立五次多项式组函数F，

，

其中，f

M23.基于所述道路图像的特征点拟合曲线组数据信息，对道路图像进行几何纠正，输出纠正好的道路图像数据信息。

在本实施例中，在步骤M21中，所述对所述道路图像数据信息进行特征提取包括：

M211.基于所述道路图像数据信息，选取任意一组道路图像坐标点作为内点，其他的道路图像坐标点作为外点，依据所述内点建立道路图像特征点模型函数G，

，

其中，U为距离误差函数，g

U212.基于所述道路图像特征点模型函数G，设置预设阈值，对道路图像特征点进行提取，若所述外点与内点的距离小于预设阈值则该外点为特征点，若所述外点与内点的距离大于预设阈值则该外点不为特征点，输出道路图像的特征点的坐标数据信息。

在本实施例中，在步骤M211中，所述第j个特征点的表征函数g

，

其中x为特征点的坐标点，β

在本实施例中，在步骤M211中，所述距离误差函数U为，

，

其中，q为表征阈值，g

实施例2：在实施例1的一种基于CMS摄像头的环视监控方法的基础上，下面对本发明作进一步的说明和描述。

如图1所示，一种基于CMS摄像头的环视监控方法，所述方法包括：

M1.车辆行驶在道路上，基于车载摄像头实时获取道路图像数据信息，基于车载高精地图实时获取道路的静态地图数据信息；

M2.基于所述道路的静态地图数据信息和所述道路图像数据信息，选取高精地图的坐标系，将所述道路图像数据信息变换至高精地图的坐标系，采用多项式纠正算法对道路图像进行纠正，输出纠正好的道路图像数据信息；

M3.基于所述纠正好的道路图像数据信息，采用序惯相似性检测算法对道路图像进行特征点匹配，输出匹配好的道路图像数据信息；

M4.基于所述匹配好的道路图像数据信息，采用改进的多频带融合算法进行图像融合，输出融合后的图像数据信息，将所述融合后的图像数据信息传输至车载中控显示屏，进行实时的图像数据信息显示。

在本实施例中，在步骤M4中，所述采用改进的多频带融合算法进行图像融合包括：

M41.基于所述匹配好的道路图像数据信息，采用金字塔算法进行图像分解，得到多个不同频率范围的道路图像数据信息；

M42.基于所述多个不同频率范围的道路图像数据信息，对图像中的每个像素进行权重分析，输出道路的权重图像数据信息；

M43.基于所述道路的权重图像数据信息，采用加权平均算法进行图像融合，输出道路的初步融合图像数据信息；

M44，基于所述道路的初步融合图像数据信息，将融合后的每个频带进行重建并合并，输出融合后的道路图像数据信息。

为了实现上述目的及其他相关目的，本发明还提供了一种用于实现所述的环视监控方法的基于CMS摄像头的环视监控系统，包括摄像头、CMS控制器、CMS监视器和车载显示屏，所述摄像头包括左侧V类视野摄像头、右侧V类视野摄像头、前部VI类视野摄像头、左侧II/VI类视野摄像头和右侧II/IV类视野摄像头，分别获取车辆外部相应位置的视频信息，通过LVDS传输至ECU；

所述CMS控制器，与所述摄像头连接，对各自输入的视频信息进行处理，输出给所述CMS监视器显示，同时将视频信息进行拼接，通过LVDS输出至车载显示屏；

所述CMS监视器，与所述CMS控制器连接，用于显示拼接好的视频信息。

在本实施例中，所述车载显示屏与所述CMS监视器连接，用于显示环视监控信息以及切换环视角度。

在本实施例中，所述车载显示屏通过电源线及CAN通讯与整车进行数据交互及操作设置。

本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述基于CMS摄像头的环视监控方法的计算机程序。

本申请所提供的实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

综上所述，本发明不仅能够对获取的图像数据信息进行准确处理并得到融合图像数据信息，而且优化摄像头配置，单一摄像头的多重功能利用，CMS摄像头和环视监控融合，减少了系统硬件需求，从而降低了零件成本。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。