摄像头和雷达传感器系统及其误差补偿方法

技术领域

本文阐述的技术涉及一种摄像头和雷达传感器系统及其误差补偿方法。

背景技术

车辆在高速行驶过程中发生碰撞事故的致死率较高，并且此类事故可能引发连锁碰撞事故，导致重大事故。通常，前方碰撞事故的发生是由于驾驶员粗心大意或恶劣天气导致难以确保视场而导致车辆之间没有保持足够的距离来避免碰撞。尤其是驾驶员视觉能力有限，以及识别和判断危险情况所需的反应时间延迟，对高速移动的车辆发生连锁碰撞事故影响很大。

最近，在研究用于解决这种问题并提供安全驾驶条件的技术。

发明内容

相关技术中的驾驶员警告装置包括在车辆的各个部分中分开安装的传感器，和在发动机室中安装的控制器。因此，当安装传感器时，需要用于固定将信号传输至控制器的传感器的支架、用于向传感器供电的电力电缆以及用于向控制器提供检测信号的通信电缆。这些因素在很大程度上可能受到发动机室内产生的电磁波和外界引入的电磁波的影响，从而导致数据传输出现严重错误。

本文阐述的实施例的一个方面是用于解决相关技术中的上述问题。即，实施例旨在提供一种能够将外部影响最小化并产生更少错误的传感器系统。

实施例还旨在提供一种能够根据用户的选择将具有不同视场(FOV)角度和/或不同分辨率的摄像头模块中的一个和具有不同检测范围的雷达模块中的一个组合的传感器系统。

实施例提供了一种摄像头和雷达传感器系统，该系统包括摄像头模块和雷达模块，其中，分开地且可拆卸地容纳摄像头模块和雷达模块，并且摄像头和雷达传感器系统安装在车辆的驾驶室中。

本实施例的摄像头和雷达传感器系统适用于驾驶员警告装置、自动紧急制动(AEB)系统等装置。

根据实施例的一个方面，数据收发连接器可以设置在对应于用于容纳摄像头模块的摄像头外壳和用于容纳雷达模块的雷达外壳的位置处。

根据实施例的一个方面，雷达模块可以包括雷达处理器，被配置为根据从对象反射的无线电波计算对象的位置和运动信息，摄像头模块可以包括摄像头处理器，被配置为根据采集的图像计算对象的位置和运动信息，并且摄像头处理器可以接收通过雷达处理器计算的对象的位置和运动信息，并且针对该对象创建和输出驾驶员警告。

根据实施例的一个方面，传感器系统可以安装在车辆的挡风玻璃上。

根据实施例的一个方面，摄像头模块可以是具有不同视场(FOV)角度的第一摄像头模块和第二摄像头模块中的一个，并且雷达模块可以是具有不同检测范围的第一雷达模块和第二雷达模块中的一个。

根据实施例的一个方面，第一雷达模块的检测范围可以小于100nm，第二雷达模块的检测范围可以是100nm或更大。

根据实施例的一个方面，第一雷达模块可以使用79GHz的无线电波，第二雷达模块可以使用77GHz的无线电波。

根据实施例的一个方面，第一雷达模块可以是二维(2D)雷达、三维(3D)雷达和四维(4D)雷达中的一种，第二雷达模块可以是2D雷达、3D雷达和4D雷达中的另一种。

根据实施例的一个方面，第一摄像头模块的FOV角度可以小于60度，并且第二摄像头模块的FOV角度可以是60度或更大。

根据实施例的一个方面，第一摄像头模块可以具有小于全高清FHD(1920×1080)的分辨率，并且第二摄像头模块可以具有FHD(1920×1080)或更高的分辨率。

根据实施例的一个方面，雷达模块可以包括发射器，被配置为发射无线电波、接收器，被配置为接收从对象反射的无线电波、以及雷达处理器，被配置为控制发射器发射无线电波并根据反射的无线电波计算到对象的距离和对象的速度中的至少一个。

根据实施例的一个方面，雷达模块还可以包括雷达接口，被配置为将形成的对象信息输出到外部警告装置和摄像头模块中的至少一个。

根据实施例的一个方面，摄像头模块可以包括：成像单元，被配置为采集车辆的移动方向的图像；摄像头处理器，被配置为根据成像单元采集的图像计算是否存在对象、对象的速度和到对象的距离；以及摄像头接口，被配置为输出关于摄像头处理器计算的是否存在对象、对象的速度和到对象的距离的信息。

实施例提供了一种摄像头模块和雷达模块的误差补偿方法，该误差补偿方法包括：(a)在摄像头模块和雷达模块组装之后，计算摄像头模块中心轴的偏离角度与雷达模块中心轴的偏离角度之和，(b)在摄像头模块和雷达模块安装在车辆中之后，计算摄像头模块和雷达模块其中一个的偏离角度，以及(c)通过从偏离角度之和中减去摄像头模块和雷达模块其中一个的偏离角度，计算摄像头模块和雷达模块中另一个的偏离角度。

根据实施例的一个方面，(a)可以包括(a1)形成连接集成目标中心及组装的摄像头模块和雷达模块的中心的参考中心轴，其中，集成目标包括摄像头模块的摄像头目标和雷达模块的雷达目标，以及(a2)计算从摄像头模块观察到的摄像头中心轴和从雷达模块观察到的雷达中心轴之间的角度。

根据实施例的一个方面，(b)可以包括(b1)根据摄像头模块和雷达模块上的中心点之间的距离、摄像头目标和雷达目标中心之间的距离以及从摄像头模块和雷达模块上的中心点到摄像头模块或雷达模块的距离计算理想角度，(b2)当从摄像头模块和雷达模块其中一个观察时，计算超出理想角度的中心轴的角度，以及(b3)计算理想角度与从摄像头模块和雷达模块其中一个观察到的中心轴所形成的角度之间的差值，以计算摄像头模块和雷达模块其中一个的偏移角度。

附图说明

通过参考附图对本公开的示例性实施例进行详细描述，本公开的上述目的和其它目的、特征和优点对于本领域普通技术人员而言将变得更加显而易见，其中：

图1是根据实施例示出了传感器系统的概要立体图；

图2A是摄像头模块的正视图，图2B是摄像头模块的侧视图；

图3是示出了雷达模块的概要图；

图4是摄像头模块与雷达模块彼此组合的状态的框图；

图5是根据实施例的误差补偿方法的概要流程图；

图6是示出了计算摄像头模块的中心轴与雷达模块的中心轴之间的偏移角度的概要图；

图7A是示出了测量出的偏移角度θ

图8是示出了当安装摄像头模块和雷达模块时，摄像头模块的中心轴和雷达模块的中心轴都发生了与安装角度对应的偏移的情况的图；

图9和图10是用于描述误差补偿过程的图。

具体实施方式

下面，将参考附图对根据本实施例的传感器系统10进行描述。图1是根据实施例示出了传感器系统10的概要立体图。图2A是示出了摄像头模块100的一侧的图。图2B是示出了摄像头模块100的另一侧的图。图3是示出了雷达模块200的一侧的图。

参考图1至图3，根据本实施例的传感器系统10包括摄像头模块100和雷达模块200。摄像头模块100容纳在摄像头外壳H1中，雷达模块200容纳在不同于摄像头外壳H1的雷达外壳H2中。彼此分开容纳的摄像头模块100和雷达模块200可以彼此组合以形成传感器系统10。

摄像头模块100的成像单元110采集车辆移动方向的图像并将采集到的图像提供给摄像头处理器120(参见图4)。在雷达模块200中，雷达发射器210(参见图4)通过面向车辆移动方向的无线电波收发表面240发射无线电波，接收器220(参见图4)接收从对象反射的无线电波。

在图2B和图3所示的实施例中，耦合构件I1位于摄像头模块100的侧表面上，耦合构件I2位于与摄像头模块100的侧表面对应的雷达模块200的侧表面上。在所示的实施例中，雷达模块200的耦合构件I2为突出部，而摄像头模块100的耦合构件I1为插入部，突出部插入其中。根据本文未示出的实施例，雷达模块的耦合构件是插入部，而摄像头模块的耦合构件是插入到插入部中的突出部。

连接器260设置在雷达模块200的突出部I2上，以将通过雷达模块200计算出的对象的位置和运动信息提供给摄像头模块100或从摄像头模块100接收对象的位置和运动信息。类似地，当与连接器260连接时，某个连接器(未示出)位于摄像头模块100的插入部上以发送或接收数据。如下所述，通过雷达模块200形成的对象信息包括到对象的距离、对象的大小、和速度信息，可以通过雷达接口250提供给摄像头模块100或外部警告装置(未示出)。

作为另一示例，当雷达模块和摄像头模块彼此组合时，可以通过摄像头接口向雷达模块提供诸如车道信息之类的摄像头模块图像处理信息。雷达-摄像头数据融合可以使用模块耦合结构来实现。

在本文未示出的实施例中，雷达接口和摄像头接口使用诸如蓝牙、ZigBee或Wi-Fi等无线通信协议来发送和接收信息。

可以在雷达模块200的雷达外壳H2中形成孔。在作为内部组件的发射器、接收器、雷达接口和雷达处理器中产生的热量可以通过孔消散。

参考图1和图2A，摄像头模块100可以包括成像单元110，被配置为采集对象的图像并将图像提供给摄像头处理器120(参见图4)，以及铰链结构170，其设置在摄像头外壳H上。在一个实施例中，摄像头模块100还包括镜头遮光罩，其用于阻挡当阳光从车辆的仪表板或道路表面反射时产生的杂散光进入成像单元110。镜头遮光罩防止由于杂散光进入成像单元110而导致所采集图像的质量恶化。

在一个实施例中，铰链结构170的侧表面A可以是附接到车辆挡风玻璃的安装表面A。在安装表面A上，虽然未示出，但也可以设置粘合带等粘合剂，也可以设置由橡胶等材料形成的吸附板。因此，雷达模块200可以固定在摄像头模块100上，从而相对于挡风玻璃以与摄像头模块100相同的角度安装在车辆中。

在图1和图2A的实施例中，铰链结构170图示为设置在摄像头模块100上，但是在本文未示出的实施例中，铰链结构可以设置在雷达模块上，摄像头模块可以固定在雷达模块上并且安装在车辆中。

图4是示出了摄像头模块100和雷达模块200彼此组合的状态的框图。参考图4，雷达模块200包括发射器210，被配置为在雷达处理器230的控制下发射无线电波；接收器220，被配置为接收从对象(未示出)反射的无线电波；雷达处理器230，被配置为控制发射器210，通过根据反射的无线电波计算到对象的距离、对象的大小和对象的速度中的至少一个来形成对象信息；以及雷达接口250，被配置为输出对象信息。在一个实施例中，雷达接口250可以接收通过摄像头模块100检测到的对象信息并将对象信息提供给雷达处理器230。

根据发射器210发射的无线电波的波段，雷达模块200可以被分类为第一雷达模块或第二雷达模块。例如，第一雷达模块可以发射79GHz波段的无线电波以在小于100m的短距离内检测对象。第二雷达模块可以发射77GHz波段的无线电波以在100m或更大的中距离或远距离内检测对象。用户可以根据其意图以及第一雷达模块和第二雷达模块的对象检测特性来选择雷达模块，并结合摄像头模块100使用所选择的雷达模块。

作为另一示例，第一雷达模块可以是用于检测平面上的对象的二维(2D)雷达、用于检测空间中的对象的三维(3D)雷达和不仅用于检测对象还用于检测对象速度的四维(4D)雷达中的一种，第二雷达模块可以是2D、3D和4D雷达中的另一种。

雷达处理器230根据接收器220接收的无线电波形成对象信息，该对象信息包括到对象的距离、对象的位置、对象的大小、对象的速度等。如上所述，雷达处理器230检测包括对象的平面、空间和对象在空间中的速度中的至少一个，并形成关于检测结果的对象信息。

雷达接口250接收通过雷达处理器230形成的对象信息。在一个实施例中，雷达接口250可以通过连接器260向摄像头接口130提供对象信息。在另一个实施例中，雷达接口250通过摄像头接口130接收对象信息，对象信息通过摄像头处理器120形成。

雷达接口250可使用诸如蓝牙、ZigBee或Wi-Fi等无线通信协议向摄像头接口130提供通过雷达处理器230形成的对象信息，并且摄像头接口130可使用诸如蓝牙、ZigBee或Wi-Fi等无线通信协议向雷达接口250提供通过摄像头处理器120形成的对象信息。

在另一个实施例中，雷达模块200可以独立使用。当雷达模块200独立使用时，雷达接口250可以向外部警告装置300发送对象信息或从外部警告装置300接收对象信息。可以使用图3所示的连接器260或单独的连接器(未示出)通过有线通信发送和接收对象信息。作为另一示例，雷达接口250和外部警告装置300可以使用上述无线通信协议来发送和接收对象信息。

摄像头模块100包括成像单元110，被配置为形成图像；摄像头处理器120，被配置为通过根据成像单元110采集的图像对于是否存在对象、对象的速度和到对象的距离进行计算来形成对象信息；以及摄像头接口130，被配置为输出摄像头处理器120计算出的对象信息，该对象信息包括是否存在对象、对象的速度、和到对象的距离。

在一个实施例中，成像单元110可以包括CMOS图像传感器和CCD传感器中的至少一个。成像单元110可以包括用于执行诸如将光会聚和/或将光扩展成光谱等光学处理的镜头单元(未示出)。成像单元110拍摄车辆的移动方向，形成每单位时间由若干帧组成的图像，并将图像提供给摄像头处理器120。

根据成像单元110进行拍摄的视场(FOV)角度，摄像头模块100可以划分为第一摄像头模块或第二摄像头模块。例如，第一摄像头模块可以是FOV角度小于60度的窄角摄像头模块，并且其能够采集位于远离摄像头模块100的对象的图像。第二摄像头模块可以是FOV角度为60度或更大的广角摄像头模块，并且其能够采集位于比第一摄像头模块更短距离内的对象的图像。

作为另一个示例，第一摄像头模块和第二摄像头模块可以形成不同分辨率的图像。例如，第一摄像头模块可以具有小于全高清FHD(1920×1080)的分辨率，第二摄像头模块可以具有大于或等于FHD(1920×1080)的分辨率。

用户可以根据其意图以及第一摄像头模块和第二摄像头模块的对象检测特性来选择摄像头模块，并结合雷达模块200使用所选择的摄像头模块。

摄像头处理器120可以从摄像头接口130接收雷达模块200提供的对象信息，并且根据成像单元110采集和提供的图像，通过向其添加关于是否存在对象、对象的速度、到对象的距离等信息来形成对象信息。在另一个实施例中，摄像头处理器120可以从摄像头接口130接收摄像头模块100提供的对象信息，并且根据接收器220接收到的无线电波，通过向其添加关于是否存在对象、对象的速度、到对象的距离等信息来形成对象信息。

例如，当没有照明时，雷达模块200在例如雾、大雪或大雨等恶劣天气环境中的对象检测特性方面可能优于摄像头模块100，而摄像头模块100在用于检测对象当前是在当前车道上行驶还是在相邻车道行驶的对象识别和横越位置检测方面可能优于雷达模块200。因此，摄像头模块100既可以使用成像单元110提供的图像生成的对象信息又可以使用雷达模块200提供的对象信息来实现比单独使用摄像头模块100时更高水平的对象检测和识别特性。例如，即使在恶劣天气环境中计算出的到对象的距离急剧减小时，也可以向用户提供关于碰撞的警告以防止碰撞。

向摄像头接口130提供通过摄像头处理器120形成的对象信息。摄像头接口130可以将对象信息提供给外部警告装置300，外部警告装置300可以基于提供的对象信息向用户提供警告。例如，摄像头接口130和外部警告装置300使用单独的连接器(未示出)通过有线通信和/或使用诸如蓝牙、ZigBee或Wi-Fi等无线通信协议来发送和接收对象信息。

向雷达接口250提供通过雷达处理器230形成的对象信息。雷达接口250可以将对象信息提供给外部警告装置300，并且外部警告装置300可以基于该对象信息向用户提供警告。例如，雷达接口250和外部警告装置300使用单独的连接器(未示出)通过有线通信和/或使用诸如蓝牙、ZigBee或Wi-Fi等无线通信协议来发送和接收对象信息。

在本文未示出的实施例中，摄像头模块100和/或雷达模块200可以独立使用。当摄像头模块100和雷达模块200独立使用时，摄像头接口130和雷达接口250可以向外部警告装置300发送对象信息或从外部警告装置300接收对象信息。可以使用单独的连接器(未示出)通过有线通信发送和接收对象信息。作为另一示例，摄像头接口130和外部警告装置300和/或雷达接口250和外部警告装置300可以使用上述无线通信协议来发送和接收对象信息。

外部警告装置300(参见图4)可以是根据对象的位置和运动信息向车辆驾驶员显示警告的装置，也可以是发光装置、显示装置、向用户提供音频警告的扬声器等。

将通过摄像头处理器120形成的碰撞警告信号提供给摄像头接口130。摄像头接口130与摄像头处理器120以及包括发光装置和显示器的警告装置(未示出)进行接口，以允许警告装置根据摄像头处理器120输出的信号向用户提供警告。

在图1和图4的实施例中，示出了摄像头模块100和雷达模块200在彼此组合的同时进行操作的情况。然而，如上所述，摄像头模块和雷达模块中的每一个都可以独立操作来向外部警告装置300提供通过检测对象形成的对象信息，从而可以向用户提供警告。

根据本实施例，摄像头模块100和雷达模块200可以彼此分开，并且利用摄像头模块100和雷达模块200的不同优点可以更准确地检测对象。此外，还可以降低由于在一个模块中产生的噪声导致对另一个模块的影响。

下面将参考图5至图10对本实施例的摄像头模块100和雷达模块200的误差补偿方法进行描述。图5是根据本实施例的误差补偿方法的概要流程图。参考图5，根据本实施例的误差补偿方法包括(a)在摄像头模块和雷达模块组装后，测量摄像头模块的中心轴和雷达模块的中心轴之间的组装误差角度(S100)，(b)在将摄像头模块和雷达模块安装在车辆中之后，测量摄像头模块和雷达模块其中一个的安装误差角度(S200)，以及(c)基于组装误差角度以及摄像头模块和雷达模块其中一个的安装误差角度，补偿摄像头和雷达模块中另一个的安装误差角度(S300)。

图6是用于描述测量摄像头模块100的中心轴Ac和雷达模块200的中心轴Ar之间的组装误差角度(S100)的图。参考图6，测量雷达模块200的中心轴Ar与雷达模块200的理想中心轴ref_r之间的雷达组装误差角度θ

目标T包括摄像头目标Tc和雷达目标Tr。摄像头目标Tc的中心和雷达目标Tr的中心之间的距离与摄像头模块100的中心和雷达模块200的中心之间的距离相同。因此，当摄像头目标Tc的中心和雷达目标Tr的中心之间的距离的中点与摄像头模块100的中心和雷达模块200的中心之间的距离的中点连接时，形成目标T和传感器系统10之间的参考轴ref。

当参考轴ref平行地平移穿过雷达模块200的中心时，形成雷达参考轴ref_r，当参考轴ref平行地平移穿过摄像头模块100的中心时，形成摄像头参考轴ref_c。摄像头参考轴ref_c是指当摄像头模块100与外壳H1无误差地组装时摄像头视场的中心轴。同样地，雷达参考轴ref_f是指当雷达模块200与壳体H2无误差地组装时雷达视场的中心轴。

虽然摄像头模块100和雷达模块200是通过精密工艺制造和组装的，但由于组装工艺误差或电气原因，例如信号不匹配，摄像头模块100的实际中心轴Ac可能与摄像头参考轴ref_c不会重合，并且雷达模块200的实际轴Ar可能与雷达参考轴ref_r不会重合，如图6所示。

测量雷达模块200的雷达参考轴ref_r与实际中心轴Ar之间的雷达组装误差角度θ

角度是相对于参考轴测量的。本文所示出的实施例中，摄像头模块100的摄像头参考轴ref_c与实际中心轴Ac之间的偏移角度θ

图7A和图7B是根据实施例示出了计算偏移角度θo的图。如图7A和图7B所示，当摄像头模块100的实际中心轴Ac与雷达模块200的实际中心轴Ar相对于参考轴ref对齐时，偏移角度θo对应于摄像头模块100的实际中心轴Ac与雷达模块200的实际中心轴Ar之间的角度。

图7A示出了测量出的摄像头组装误差角度θ

图7B示出了测量出的摄像头组装误差角度θ

通过雷达组装误差角度θ

[式1]

θo＝|θc-θr|…①

图8是示出了当安装摄像头模块和雷达模块时，摄像头模块的中心轴和雷达模块的中心轴都发生了与安装角度对应的变化的情况的图。参考图8，摄像头模块100和雷达模块200安装并用于车辆中。在安装摄像头模块100和雷达模块200的过程中，摄像头模块100和雷达模块200偏离车辆中心轴的角度可能相同。然而，即使在安装摄像头模块100和雷达模块200之后，如上所述计算出的偏移角度θo也保持恒定。

图9是用于描述误差补偿过程的图。参考图9，参考轴ref是连接雷达目标Tr的中心和传感器系统10的中心的轴并且可以与车辆的中心轴重合或平行。理想雷达参考轴ref_r

实际雷达参考轴ref_r是在安装根据本实施例的传感器系统10时形成的雷达模块200的参考轴。在理想状态下，实际雷达参考轴ref_r与理想雷达参考轴ref_r

在安装传感器系统10之后，对实际雷达参考轴ref_r和理想雷达参考轴ref_r

当对误差进行补偿时，从雷达模块200观察目标Tr的角度为(θ

[式2]

当对安装误差角度θ

图10是用于描述误差补偿过程的图。参考图10，参考轴ref是连接摄像头目标Tc的中心和传感器系统10的中心的轴并且可以与车辆的中心轴重合或平行。理想摄像头参考轴ref_c

实际雷达参考轴ref_r是在安装根据本实施例的传感器系统10时形成的摄像头模块100的参考轴。在理想状态下，实际摄像头参考轴ref_c与理想摄像头参考轴ref_c

在安装传感器系统10之后，实际摄像头参考轴ref_c和理想摄像头参考轴ref_c

此外，当在车辆中安装传感器系统10的过程中出现误差时，摄像头模块100和雷达模块200都以相同的角度错位。因此，在组装过程中产生的组装误差角度在安装过程之后保持恒定。因此，可以使用雷达模块200的安装误差角度、在组装过程中测量和存储的摄像头组装误差角度θ

[式3]

θ

＝θ

在一个实施例中，可以存储摄像头模块100和雷达模块200的组装误差角度形成的偏移角度θo(参见式1)，并且通过即使在执行安装时也能获得与上述式3中的①相同的结果，将偏移角度θo用于补偿相机模块100的误差角度。

例如，当配备有摄像头模块100和雷达模块200的驾驶员车辆在第一车道行驶而另一车辆跨过中心线反方向行驶时，在还未计算出误差角或不能准确地计算误差角时，可以识别出反方向行驶的车辆正在接近，同时与驾驶员车辆在同一车道上以错误的方式行驶，从而产生错误警告并导致重大事故。

然而，根据本实施例的误差补偿方法，可以更准确地补偿制造和组装过程中产生的误差以及在车辆中安装摄像头模块100和雷达模块200时产生的误差，从而更准确地识别对象。

如上所述，误差角度θ

根据本实施例，将摄像头模块和雷达模块安装在车辆的驾驶室中以减少安装在车辆外部时的影响并减少数据传输长度，从而提高数据传输和接收速率以及传输速度。

尽管上文已经描述了附图中所示的实施例来帮助理解本公开，但是这些实施例仅是示例并且对于本领域的普通技术人员来说显而易见的是可以进行各种修改并且其它等效实施例可以从这些实施例中推导出来。因此，本公开的范围应由所附权利要求书限定。