基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法

技术领域

本发明涉及汽车仪表显示领域，具体涉及一种基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法。

背景技术

驾驶员视线从前方转移到仪表盘，获取仪表信息后，重新回到前方视野大概需要4～7秒的时间。这段时间驾驶员就属于驾驶盲区，存在巨大的安全隐患。增强现实抬头显示器(AR-HUD)利用增强现实技术将车速、导航、驾驶辅助系统的状态、周边环境状况等信息合理地叠加显示在驾驶员的视野区域内，为驾驶员提供更加直观和逼真的信息，增强驾驶员的环境感知能力，减少驾驶员视线在路面与仪表盘之间转换时间，使驾驶员将注意力更多集中在路面信息上，提高驾驶安全。但由于HUD(抬头显示器)自身光学系统以及挡风玻璃曲率不一的原因，使得HUD投射到汽车挡风玻璃上的图像发生畸变，使驾驶员所观察到的HUD投影图像出现扭曲变形等问题。

目前，对于HUD投影图像的畸变问题，大多仅对中心眼核位置进行畸变矫正，即采用固定眼位下的畸变矫正方法。但驾驶员眼部位置不同，HUD投影光线在挡风玻璃上的反光点(反光曲率)则会不同，使得驾驶员在不同视点下所看到虚像大小和畸变不同。因此，采用固定眼位下的畸变矫正方法，当驾驶员视点偏移标定视点时，驾驶员观察到的HUD投影图像仍会出现畸变，为此该方法难以满足用户的实际需求。

除此之外，也有通过多眼位标定的方式来解决畸变矫正的问题的方法，即通过标定多个视点下的HUD投影图像的畸变参数，再通过瞳孔检测等技术确定当前驾驶员的眼位信息，从而匹配不同的畸变参数。但该方法大多将驾驶员的观察区域分为几个小区域，根据驾驶员的眼位信息进行参数匹配，当驾驶员眼位变化时HUD输出画面往往会出现跳变等问题，影响驾驶员的驾驶安全。而且上述两种方法均未考虑HUD高度变化等因素对HUD投影图像的畸变带来的影响。

发明内容

本发明的目的在于克服现有技术不能很好解决HUD投影图像畸变的不足，提供一种基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法。

动态眼位下计算HUD虚像平面与矫正畸变的方法。根据驾驶员的眼位，实时计算HUD投影虚像平面的空间位置，和实际屏幕与虚拟投影屏幕的映射关系，矫正驾驶员从不同位置所看到HUD投影虚像的扭曲变形，还原真实的成像效果。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法，包括以下步骤：

S1，定位车体，标定当前位置的人眼模拟设备；

S2，使用人眼模拟设备捕捉根据HUD系统输出图像得到的投影虚像的图像，记作投影虚像图像；对投影虚像图像进行预处理，获取投影虚像图像特征点的像素坐标；建立HUD投影虚像图像特征点与输出图像的对应点的映射关系；

S3，在投影虚像前设置一平面，所述平面记作虚像曲面透视等效平面，获取HUD投影虚像的各特征点在虚像曲面透视等效平面上的观测等效点的坐标；根据所有观测等效点的集合设置虚拟投影屏幕；

S4，建立虚像曲面透视等效平面上的观测等效点与输出图像的对应点的映射关系，并利用插值算法计算虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系；

S5，调整人眼模拟设备位置和显示画面高度，重复步骤S1至S4，标定不同位置不同显示画面高度时的虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系，形成标定映射表；

S6，根据映射表对HUD系统的输出图像进行预畸变处理。

优选地，所述输出图像为规则图案成矩阵分布的点阵图像；矩阵分布的规则图案的中心是特征点。

优选地，所述步骤S2通过以下步骤对捕捉的点阵图像对应的投影虚像图像进行预处理：

S21，确定感兴趣区域，截取捕捉的投影虚像图像中的点阵区域；

S22，图像灰度处理与平滑处理；

S23，自适应二值化；

S24，轮廓检测；

S25，去除噪点；

S26，计算点阵中轮廓的中心像素坐标；

S27，建立HUD投影虚像图像的点阵与输出图像的点阵的映射关系。

优选地，所述虚像曲面透视等效平面所在空间位置介于HUD投影在挡风玻璃的反光点与虚像成像景深之间，且不与车辆坐标系Y轴平行，所述车辆坐标系Y轴为车辆正前方。

优选地，虚像曲面透视等效平面垂直于车辆坐标系的Y轴。

优选地，所述步骤S4虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系的计算方式如下所示：

根据点阵图像上的点阵，对虚拟投影屏幕进行三角剖分；虚拟投影屏幕中任意一点非特征点记作Q″

Q″

输出图像中与虚拟投影屏幕中点Q″

优选地，所述步骤S5根据HUD系统的EyeBox范围调整人眼模拟设备位置，并根据显示画面高度调节范围调整显示画面高度；所述步骤S5具体包括以下步骤：

S51，对显示画面高度调节范围和EyeBox范围划分区间，分别设置多个显示画面高度档位和眼位；

S52，设置显示画面高度档位，重复步骤S1至S4，标定当前显示画面高度档位时的各眼位的虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系，形成多眼位标定映射表；

S53，调节更新显示画面高度档位，重复步骤S52，直至HUD系统的各显示画面高度档位的多眼位标定映射表获取完毕，形成多档位多眼位标定映射表。

优选地，所述步骤S6包括以下步骤：

S61，采集实时的眼位与显示画面高度档位，根据标定映射表与虚像平面表示获取实时畸变映射表与实时虚像平面表示；

S62，根据实时畸变映射表对HUD系统的输出图像进行预畸变处理。

与现有技术相比，本发明的有益效果：

1、通过虚像曲面透视等效平面，对HUD投影虚像点阵精确定位，建立实际屏幕与虚拟投影屏幕的映射关系，通过预畸变处理解决HUD图像扭曲变形的问题；

2、通过标定EyeBox范围内多个眼位下的HUD系统的虚像平面表示以及实际屏幕与虚拟投影屏幕像素间的映射关系，形成多眼位映射表，利用线性插值方法，可获取EyeBox范围内任一位置对应的HUD系统的虚像平面表示以及实际屏幕与虚拟投影屏幕像素间的映射关系。解决了不同驾驶员眼部位置不同，所看到的HUD系统的虚像畸变不同的问题，同时在眼位变化过程中，可以实时采集多个眼位，针对多个眼位进行畸变的校正，避免眼位变化时成像图案的跳变，改善了HUD系统的成像效果。

附图说明：

图1为本发明示例性实施例1的基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法的流程图；

图2是本发明示例性实施例1所述的国际象棋盘图案标定板；

图3是本发明示例性实施例1所示的HUD系统投影虚像畸变示意图；

图4是本发明示例性实施例1所示的捕捉的点阵图像；

图5是本发明示例性实施例1所示的投影虚像图像的特征点与原输入点阵图像的对应点的映射关系示意图；

图6是本发明示例性实施例1所示的虚拟投影屏幕进行三角剖分的示意图；

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

如图1所示，本实施例提供一种基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法，具体包括以下步骤：

S1，定位车体，标定当前位置的人眼模拟设备；

利用标定辅助设备对车体自身定位，并利用标定板采用张正友标定法对人眼模拟设备进行标定。如图2所示，所述的标定板是国际象棋盘图案标定板，所述的人眼模拟设备是相机，可以为单目相机或双目相机；若为双目相机，多根据国内眼间距统计的平均数值，采用左右相机间距为61mm的双目相机。对人眼模拟设备标定的参数包括内参、畸变系数、外参，内参用于表示相机从三维空间(相机坐标系)到二维图像的投影关系；外参用于表示相机坐标系与世界坐标系(车辆坐标系)之间的相对位置关系。

S2，使用人眼模拟设备捕捉根据HUD系统输出图像得到的投影虚像的图像，记作投影虚像图像；对投影虚像图像进行预处理，获取投影虚像图像特征点的像素坐标；建立HUD投影虚像图像特征点与输出图像的对应点的映射关系；

如图3所示，输出图像经HUD系统投射后经过挡风玻璃反射进入驾驶员视野，在驾驶员前方形成HUD投影虚像，由于挡风玻璃曲率不一以及HUD自身光学系统等原因，使得HUD投影虚像出现扭曲变形，且不在同一个平面上，这给后续的畸变矫正、UI设计带来了困难；为了后续的畸变矫正，需得到捕捉的HUD投影虚像图像的特征点的像素坐标，并建立HUD投影虚像图像的特征点与输出图像的对应点的映射关系。

示例性的，为了方便快捷的得到HUD投影虚像图像的特征点与输出图像的对应点的映射关系，本实施例采用的输出图像为规则图案成矩阵分布的点阵图像，则矩阵分布的规则图案的中心即是特征点，也是点阵图像的点阵。步骤S2通过以下步骤对捕捉的点阵图像对应的投影虚像图像进行预处理：

S21，确定感兴趣区域，截取捕捉的投影虚像图像中的点阵区域；

S22，图像灰度处理与平滑处理；

S23，自适应二值化；

S24，轮廓检测；

S25，去除噪点；

S26，计算点阵中轮廓的中心像素坐标；

S27，建立HUD投影虚像图像的点阵与输出图像的点阵的映射关系。

如图4所示，捕捉的点阵图像包含投影的周边信息。为了排除周边信息的干扰，预处理时，首先截取感兴趣区域，即截取图像中点阵所在的区域；然后通过灰度处理、平滑处理以及二值化等操作得到二值图像；针对二值图像进行轮廓检测，并去除噪点的干扰，得到点阵中各规则图案的轮廓；各规则图案轮廓的中心像素记作特征点，计算特征点坐标；如图5所示，建立HUD投影虚像图像的特征点与输出图像的对应点的映射关系。

S3，在投影虚像前设置一平面，所述平面记作虚像曲面透视等效平面，获取HUD投影虚像的各特征点在虚像曲面透视等效平面上的观测等效点的坐标；根据所有观测等效点的集合设置虚拟投影屏幕；

如图3所示，HUD系统投射出的投影虚像是一个不规则的空间曲面。在投影虚像前设置一平面，记作虚像曲面透视等效平面。车辆坐标系以车辆正前方作为Y轴，以车辆右方作为X轴，以车辆正上方作为Z轴。虚像曲面透视等效平面所在空间位置应介于HUD投影在挡风玻璃的反光点与虚像成像景深之间，该平面不能与车辆坐标系Y轴平行。本实施例中为了便于虚像曲面透视等效平面与虚拟投影屏幕的求取，虚像曲面透视等效平面垂直于车辆坐标系的Y轴(虚像曲面透视等效平面表示为y＝y

所有P′

虚拟投影屏幕可以有效表示HUD系统的投影虚像的空间位置及大小，为后续HUD系统虚像预畸变处理、虚实注册(AR-HUD系统中的处理过程)等提供重要参数信息。

S4，建立虚像曲面透视等效平面上的观测等效点与输出图像的对应点的映射关系，并利用插值算法计算虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系；

具体的，以输出图像为点阵图像为例，步骤S4根据HUD投影虚像的点阵与原输入点阵图像的点阵的映射关系，利用线性插值算法计算虚拟投影屏幕各像素点与输出图像的像素点的映射关系，包括以下步骤：

如图6所示，根据点阵图像上的n个点阵，对虚拟投影屏幕进行三角剖分。设虚拟投影屏幕中任意一点非特征点Q″

设输出图像(点阵图像)中与虚拟投影屏幕中点Q″

其中，虚拟投影屏幕中任意一点非特征点Q″

S5，调整人眼模拟设备位置和显示画面高度，重复步骤S1至S4，标定不同位置不同显示画面高度时的虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系，形成标定映射表；

具体的，步骤S5根据HUD系统的EyeBox范围(眼动范围)调整人眼模拟设备位置，并根据显示画面高度调节范围调整显示画面高度，具体包括以下步骤：

S51，对显示画面高度调节范围和EyeBox范围划分区间，分别设置多个显示画面高度档位和眼位；

S52，设置显示画面高度档位，重复步骤S1至S4，标定当前显示画面高度档位时的各眼位的虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系，形成多眼位标定映射表；

S53，调节更新显示画面高度档位，重复步骤S52，直至HUD系统的各显示画面高度档位的多眼位标定映射表获取完毕，形成多档位多眼位标定映射表。

以显示画面高度调节范围为例，一般我们将HUD显示画面高度调节范围划分成n组等长的区域，并由低到高设置n+1个显示画面高度档位，由0至n档命名。上述步骤通过对HUD系统的离线标定处理，可获取HUD系统在各档位中的各眼位下的畸变映射表与虚像曲面透视等效平面。

S6，根据映射表对HUD系统的输出图像进行预畸变处理。

HUD系统投影的虚像会发生畸变，本申请的映射表可以反映虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系。根据映射关系对输出图像进行预畸变处理，使得预畸变处理后的预畸变图像投影后的虚像通过观察未发生畸变，实现对HUD系统投影虚像畸变的校正。

具体的，步骤S6包括以下步骤：

S61，采集实时的眼位与显示画面高度档位，根据标定映射表与虚像平面表示获取实时畸变映射表与实时虚像平面表示；

首先采集HUD系统的当前显示画面高度档位以及瞳孔检测技术获取的驾驶员实时眼位，根据上述离线标定处理获取的标定映射表与虚像平面表示中，选取与当前显示画面高度档位相同且当前眼位相近的三个眼位的标定数据，利用相近的三个眼位的标定数据，采用插值算法实时在线计算HUD系统的当前档位当前眼位下的实时畸变映射表以及虚像平面表示。

S62，根据实时畸变映射表对HUD系统的输出图像进行预畸变处理。

根据输出图像的各像素点与虚拟投影屏幕对应像素点的映射关系，通过预设的三角剖分进行纹理贴图，生成HUD系统的输出图像的预畸变图像，从而实现对HUD投影虚像的矫正。

本发明在统一坐标系的情况下，通过虚像曲面透视等效平面，对HUD投影虚像点阵精确定位，建立实际屏幕(即HUD系统输出图像)与虚拟投影屏幕的映射关系，通过预畸变处理解决HUD图像扭曲变形的问题；除此之外，本发明通过标定EyeBox范围内多个眼位下的HUD系统的虚像平面表示以及实际屏幕与虚拟投影屏幕像素间的映射关系，形成多眼位映射表，利用线性插值方法，可获取EyeBox范围内任一位置对应的HUD系统的虚像平面表示以及实际屏幕与虚拟投影屏幕像素间的映射关系。解决了不同驾驶员眼部位置不同，所看到的HUD系统的虚像畸变不同的问题，同时在眼位变化过程中，可以实时采集多个眼位，针对多个眼位进行畸变的校正，避免眼位变化时成像图案的跳变，改善了HUD系统的成像效果。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。