用于获取坐标变换信息的装置和方法

技术领域

本公开内容涉及用于获取车辆、安装在车辆上的激光雷达与安装在车辆上的摄像装置之间的坐标系变换信息的装置以及用于获取该坐标系变换信息的方法。作为参考，本申请要求基于2018年8月17日提交的韩国专利申请(No.10-2018-0096210)的优先权，该韩国专利申请的全部内容通过引用并入本文。

背景技术

车辆一般指由化石燃料或电力提供动力、在道路或轨道上运行的运输机器。

随着技术的发展，车辆已经被发展为向驾驶员提供各种功能。特别地，与车辆的电气化趋势一致，已经出现了具有主动安全系统(ASS)的车辆，该主动安全系统被激活以避免事故。

此外，当前正在对配备有高级驾驶员辅助系统(ADAS)的车辆展开积极研究，该高级驾驶员辅助系统(ADAS)主动提供关于驾驶环境的信息，例如车辆的状态、驾驶员的状态和车辆的周围环境，以减少驾驶员的负担并且为驾驶员提高便利性。

高级驾驶员辅助系统可以具有检测驾驶环境的检测工具。例如，检测工具可以包括摄像装置和激光雷达(LiDAR)。摄像装置和激光雷达安装在车辆的外部或内部，并且它们可以通过获取与它们的安装位置和姿态角对应的图像或点云而检测驾驶环境。

发明内容

本公开内容要解决的问题是提供用于获取车载摄像装置、激光雷达与行驶车辆之间的坐标系变换信息的坐标系变换信息获取装置和方法。

本公开内容要解决的问题不限于以上提及的问题，并且本文中未提及的本领域技术人员根据以下描述清楚理解的其他问题也将包括在本公开内容要解决的问题中。

根据本公开内容的一个方面，提供了一种用于获取坐标系变换信息的方法，该方法包括：通过安装在车辆上的激光雷达获取包括与邻近于车辆的车道对应的第一车道信息的三维信息，并且通过安装在车辆上的摄像装置获取包括与该车道对应的第二车道信息的周围图像；通过将第二车道信息与第一车道信息进行匹配，获取关于激光雷达和摄像装置的第一坐标系变换信息；以及通过使用基于周围图像获取的俯视图图像变换信息和车辆的行驶方向，获取关于车辆和摄像装置的第二坐标系变换信息。

根据本公开内容的另一方面，提供了一种用于获取坐标系变换信息的装置，该装置包括：水平地面识别单元，其被配置成基于通过安装在车辆上的激光雷达获取的关于与车辆相邻的车道的第一车道信息来识别车辆是否正在水平地面上行驶；第一坐标系变换信息获取单元，其被配置成将通过安装在车辆上的摄像装置获取的车辆的周围图像中的关于车道的第二车道信息与第一车道信息进行匹配，以获取关于激光雷达和摄像装置的第一坐标系变换信息；以及第二坐标系变换信息获取单元，其被配置成通过使用基于周围图像获取的俯视图图像变换信息和车辆的行驶方向来获取关于车辆和摄像装置的第二坐标系变换信息。

根据本公开内容的一个实施方式的用于获取坐标系变换信息的装置和方法，可以在不需要设备或人工操作的情况下获取用于行驶车辆的激光雷达和摄像装置的坐标系变换信息，从而减少校准所需的成本和时间。

附图说明

图1和图2示出了根据各个实施方式的坐标系变换信息获取系统的功能框图。

图3是用于说明根据一个实施方式的车辆、摄像装置和激光雷达的坐标系的视图。

图4是根据一个实施方式的坐标系变换信息获取方法中的如何识别车辆是否正在水平地面上行驶的方法的流程图。

图5是用于说明根据一个实施方式的从通过车辆的激光雷达获取的三维信息提取第一车道信息的方法的视图。

图6是根据一个实施方式的坐标系变换信息获取方法中的用于获取第一坐标系变换信息的方法的流程图。

图7是用于说明根据一个实施方式的从通过车辆的摄像装置获取的周围图像提取第二车道信息的方法的视图。

图8是根据一个实施方式的坐标系变换信息获取方法中的用于获取第二坐标系变换信息的方法的流程图。

图9是用于说明根据一个实施方式的从通过车辆的摄像装置获取的周围图像提取扩展焦点的方法的视图。

图10是根据一个实施方式的通过的车辆的摄像装置获取的周围图像的俯视图图像的视图。

具体实施方式

根据下面结合附图对实施方式作出的描述将清楚地理解本公开内容的实施方式的优点和特征以及实现它们的方法。然而，本公开内容不限于这些实施方式，而是以各种形式来实现。注意，提供实施方式以进行全面公开，并且也使本领域技术人员能够知晓本公开内容的全部范围。

在下面的描述中，如果公知的功能和/或配置将不必要地使本公开内容的特征模糊，则将不会详细描述它们。此外，下面要描述的术语是考虑到它们在本公开内容的实施方式中的功能而定义的，并且根据用户或操作者的意图或实践而变化。因此，基于本公开内容的整个内容进行定义。

图1和图2示出了根据各个实施方式的坐标系变换信息获取系统的功能框图。图3是用于说明根据一个实施方式的车辆、摄像装置和激光雷达的坐标系的视图。

参照图1，根据一个实施方式的坐标系变换信息获取系统1可以包括车辆V和坐标系变换信息获取装置100。

车辆V可以指在沿着道路或轨道行驶时允许人、物体或动物从一个地方移动到另一地方的运输工具。根据一个实施方式，车辆V可以包括三轮车辆或四轮车辆，两轮车辆例如摩托车，施工机械，机动装备，自行车以及在轨道上运行的列车。

图1的车辆V可以预先存储精确地图。此处，精确地图可以指以下地图：该地图具有用于车辆V的安全且精确的控制的高精确度，并且包含关于道路的高度、坡度、曲率等以及道路的平面位置的信息。

此外，精确地图是其中至少标记出车道的地图，并且可以另外包含诸如道路标志、交通灯和护栏之类的道路上设施。

精确地图包括点云，每个点云是通过由激光扫描仪等扫描道路获得的点集，并且点云中的每个点都可以具有基础坐标系中的三维空间坐标。可以通过由噪声滤波器从所获取的点云中过滤有意义的数据并且然后在每个点云中标记界标来构建精确地图。

此处，基础坐标系是指不依赖于任何设备的正交坐标系，并且可以包括世界坐标系。

此外，也可以将精确地图存储在坐标系变换信息获取装置100以及车辆V中。

此外，图1的车辆V可以配备有高级驾驶员辅助系统(ADAS)。此处，高级驾驶员辅助系统可以指提供诸如车辆V的状态、驾驶员的状态和周围环境信息之类的驾驶环境信息或者主动控制车辆V的系统。例如，车辆V可以配备有车道偏离警告系统(LDWS)、车道保持辅助系统(LKAS)等。应当注意，安装在车辆V中的高级驾驶员辅助系统不限于以上上述。

由于高级驾驶员辅助系统响应于车辆V的驾驶环境信息而操作，因此车辆V可以包括用于检测提供给高级驾驶员辅助系统的驾驶环境信息的检测工具。根据一个实施方式的检测工具可以包括雷达和/或超声传感器，所述雷达通过围绕车辆V发射脉冲并且接收从位于该方向上的对象反射的回声脉冲来检测驾驶环境，所述超声传感器围绕车辆V发射超声波并且接收从位于该方向上的对象反射的回声超声波。

此外，车辆V可以包括摄像装置C作为检测工具。摄像装置C可以被配置成面向车辆V的前方、侧方和/或后方并且捕获相应方向上的图像。捕获的图像可以成为用于通过图像处理过程获取诸如车道或道路标志以及车辆V周围的对象之类的信息的基础。

在下文中，将由安装在车辆V上的摄像装置C捕获的图像称为车辆的周围图像，该周围图像可以包括由被配置成面向车辆V的前方的摄像装置C捕获的前方图像，由被配置成面向车辆V的后方的摄像装置C捕获的后方图像，以及由被配置成面向车辆V的侧方的摄像装置C捕获的侧面图像。

此外，车辆V还可以包括激光雷达L作为检测工具。激光雷达L可以被配置成面向车辆V的前方、侧方和/或后方并且沿相应的方向发射激光。激光雷达L能够通过接收从位于激光的发射方向上的对象反射的激光来检测车辆V的周围环境的三维信息，作为车辆V的驾驶环境信息。

在这种情况下，通过摄像装置C获取的周围图像和由激光雷达L检测到的三维信息可以包含关于至少两个相同车道的信息。这将在后面描述。

同时，车辆V可以并入CAN(控制器区域网络)DATA(数据)，例如，经由CAN通信(即，摄像装置C、激光雷达L和车辆V内部的模块之间通信的方法)传输的转向角信息和横摆率信息，并且将该CAN DATA用于控制车辆V。在这种情况下，通过摄像装置C获取的图像可以符合摄像装置坐标系，通过激光雷达L获取的点云可以符合激光雷达坐标系、并且CAN DATA可以符合车辆坐标系。

图3是根据一个实施方式的车辆V的示意性平面图，其示出了车辆V的坐标系、安装在车辆V中的激光雷达L的坐标系、安装在车辆V中的摄像装置C的坐标系，以及基于这些坐标系的地球表面R的坐标系。参照图3，车辆V可以具有以下车辆坐标系：该车辆坐标系包括沿车辆V的行驶方向的X

为此，可以在车辆V驾驶之前执行摄像装置C和激光雷达L校准。具体地，可以将车辆V停在预定位置处，并且然后可以获取从该位置预先感知的校准点的图像和点云。接下来，将校准点相对于摄像装置坐标系的坐标、校准点相对于激光雷达坐标系的坐标，以及校准点相对于车辆坐标系的坐标进行比较，从而获得它们之间的坐标系变换信息。

然而，上述方法要求车辆V正确地停在预定位置处，并且还要求对校准点的位置进行精确感知。该初步工作由人手动执行，这在正确性方面造成了困难，并且将花费大量的时间和金钱来实现高精确度。此外，如果摄像装置和/或激光雷达被替换或它们的位置被改变，则需要在驾驶之前执行初步校准过程。

为了解决这个问题，根据一个实施方式的坐标系变换信息获取装置100可以在行驶车辆上实时地执行校准。返回参照图1，根据一个实施方式的坐标系变换信息获取装置100可以通过使用从行驶车辆V接收的信息来获取车辆V、摄像装置C与激光雷达L之间的坐标系变换信息。

为了接收由行驶车辆V检测到的周围环境信息，坐标系变换信息获取装置100可以通过依据各种公知的通信方法与车辆V通信来交换信息。根据一个实施方式的坐标系变换信息获取装置100可以采用诸如CDMA、GSM、W-CDMA、TD-SCDMA、WiBro、LTE或EPC之类公知通信方法，以经由基站与车辆V通信。相反，根据另一实施方式的坐标系变换信息获取装置100可以采用诸如无线LAN、Wi-Fi、蓝牙、Zigbee、WFD(Wi-Fi直连)、UWB(超宽带)、IrDA(红外数据关联)、BLE(蓝牙低能量)、和NFC(近场通信)之类的通信方法以在预定距离内与车辆V通信。然而，坐标系变换信息获取装置100与车辆V通信的方法不限于上述实施方式。

坐标系变换信息获取装置100可以基于通过安装在车辆V上的摄像装置C获取的周围图像和通过激光雷达L获取的点云来获取坐标系变换信息。为此，根据一个实施方式的坐标系变换信息获取装置100可以包括：车道信息获取单元140；水平地面识别单元110；第一坐标系变换信息获取单元120；第二坐标系变换信息获取单元130。

车道信息获取单元140可以通过安装在车辆V处的激光雷达L获取与邻近于车辆V的车道对应的第一车道信息。具体地，根据一个实施方式的车道信息获取单元140可以接收通过车辆V的激光雷达L获取的车辆V的周围环境的三维信息。接下来，根据一个实施方式的车道信息获取单元140可以提取车辆V的周围环境的三维信息上的关于车道的第一车道信息。

以上实施方式已经以车道信息获取单元140直接从本车辆V接收通过激光雷达L获取的三维信息为示例进行了描述。相反，根据另一实施方式的车道信息获取单元140可以只从车辆V接收第一车道信息。也就是说，一旦车辆V从通过激光雷达L获取的三维信息中提取了第一车道信息并且然后将提取到的第一车道信息发送至水平地面识别单元110，则水平地面识别单元110在接收到第一车道信息时，可以通过使用第一车道信息来判定车辆V是否正在水平地面上行驶。

另外，车道信息获取单元140可以通过车辆V的摄像装置C获取包含与车道对应的第二车道信息的周围图像。此外，车道信息获取单元140可以接收从车辆V的周围图像提取的第二车道信息。相反，车道信息获取单元140可以直接从接收到的周围图像中提取第二车道信息。

在这种情况下，从三维信息中提取的第一车道信息以及从周围图像中提取的第二车道信息可能需要包括至少两个对应车道的信息。为此，激光雷达L和摄像装置C可以安装在车辆V中，使得它们获取均包括至少两个对应车道的三维信息和周围图像。

另外，车道信息获取单元140可以接收分别通过车辆V的激光雷达L和摄像装置C在同一时间点获取的三维信息和周围图像。作为结果，通过激光雷达L获取的三维信息和通过摄像装置C获取的周围图像可以包括关于邻近于车辆V存在的车道的信息。水平地面识别单元110可以基于通过车辆V的激光雷达L获取的车辆V的周围环境的第一车道信息来识别车辆V是否正在水平地面上行驶。当车辆V正在水平地面上行驶时，可以使用周围环境的点云和图像上的车道信息来实现校准的精确度。因此，坐标系变换信息获取装置100可以在获取坐标系变换信息之前通过水平地面识别单元110识别车辆V是否正在水平地面上行驶。

具体地，水平地面识别单元110可以基于由车道信息获取单元140获取的第一车道信息来拟合平面，并且，如果拟合平面中的拟合误差等于或小于预定参考误差，则可以判定车辆V正在水平地面上行驶。

第一坐标系变换信息获取单元120可以将车辆V的周围图像中的第二车道信息与第一车道信息进行比较，以获取关于激光雷达L和摄像装置C的第一坐标系变换信息。如上所述，为了提高获取的坐标系变换信息的精确度，第一坐标系变换信息获取单元120可以仅当车辆V正在水平地面上行驶时执行用于第一坐标系变换信息获取的操作。

具体地，一旦车辆V通过水平地面识别单元110被识别为正在水平地面上行驶，则根据一个实施方式的第一坐标系变换信息获取单元120可以提取关于在由车道信息获取单元140接收的周围图像中存在的车道的第二车道信息。接下来，第一坐标系变换信息获取单元120可以通过将提取到的第二车道信息与先前提取的第一车道信息进行匹配来获取第一坐标系变换信息。

以上实施方式已经以第一坐标系变换信息获取单元120仅被提供有由车道信息获取单元140接收的周围图像为示例进行了描述。相反，根据另一实施方式的第一坐标系变换信息获取单元120可以从车道信息获取单元140接收从周围图像提取的第二车道信息。也就是说，一旦车辆V从通过摄像装置C获取的周围图像提取了第二车道信息，并且然后将提取的第二车道信息发送至车道信息获取单元140，则车道信息获取单元140可以向第一坐标系变换信息获取单元120提供第二车道信息以及周围图像，并且第一坐标系变换信息获取单元120可以通过使用第二车道信息来判定车辆V是否正在水平地面上行驶。

第二坐标系变换信息获取单元130可以通过使用周围图像的俯视图图像变换信息和车辆的行驶方向来获取关于车辆V和摄像装置C的第二坐标系变换信息。与第一坐标系变换信息获取单元120类似，第二坐标系变换信息获取单元130可以仅当车辆V正在水平地面上行驶时执行用于第二坐标系变换信息获取的操作。

具体地，根据一个实施方式的第二坐标系变换信息获取单元130可以从通过安装在车辆V上的摄像装置C获取并且从车道信息获取单元140提供的周围图像来获取扩展焦点(focus of expansion)，并且基于所获取的扩展焦点来获取车辆V的行驶方向。在获取车辆V的行驶方向之后，第二坐标系变换信息获取单元130可以通过使用从第一车道信息获取的车道的宽度和车道的方向来获取俯视图图像变换信息。最后，第二坐标系变换信息获取单元130基于俯视图图像变换信息的逆信息和车辆V的行驶方向来获取第二坐标系变换信息。

以上实施方式已经以第二坐标系变换信息获取单元130通过车道信息获取单元140从车辆V接收通过摄像装置C获取的周围图像为示例进行了描述。相反，根据另一实施方式的第二坐标系变换信息获取单元130可以通过车道信息获取单元140从车辆V接收扩展焦点的位置以及周围图像。也就是说，一旦车辆V在通过摄像装置C获取的周围图像中识别出扩展焦点的位置，并且然后将扩展焦点的位置连同周围图像一起发送至车道信息获取单元140，则车道信息获取单元140向第二坐标系变换信息获取单元130提供接收到的周围图像和扩展焦点的位置，并且第二坐标系变换信息获取单元130在接收到周围图像和扩展焦点的位置时，可以通过使用扩展焦点来获取车辆V的行驶方向。

同时，尽管图1示出了坐标系变换信息获取装置100与车辆V分开配置并且构成坐标系变换信息获取系统1，但坐标系变换信息获取装置100也可以被包括作为车辆V的一个部件。

参照图2，根据另一实施方式的坐标系变换信息获取系统1可以被配置为包括坐标系变换信息获取装置100的车辆V。应当注意，除了坐标系变换信息获取装置100被配置的方式之外，图1的坐标系变换信息获取系统1和图2的坐标系变换信息获取系统1以相同的方式操作。

根据图1和图2的实施方式的坐标系变换信息获取装置100的部件中的每一个可以被实现为包括微处理器——例如，中央处理单元(CPU)和图形处理单元(GPU)中的至少一个——的计算设备。相反，坐标系变换信息获取装置100的组件中的至少两个可以被实现为SOC(片上系统)。

到目前为止，已经描述了坐标系变换信息获取系统1的部件。参照图4至图10，下面将描述由坐标系变换信息获取系统1执行的坐标系变换信息获取方法。

首先，车辆V可以通过激光雷达L获取车辆V的周围环境的三维信息。

坐标系变换信息获取系统1可以基于通过车辆V的激光雷达L获取的车辆V的周围环境的第一车道信息来识别车辆V是否正在水平地面上行驶。这将参照图4和图5进行描述。

图4是根据一个实施方式的坐标系变换信息获取方法中的如何识别车辆是否正在水平地面上行驶的方法的流程图。图5是用于说明根据一个实施方式的从通过车辆的激光雷达获取的三维信息中提取第一车道信息的方法的视图。

参照图4，首先，坐标系变换信息获取装置100的水平地面识别单元110可以从车辆V的周围环境的三维信息中提取第一车道信息(S100)。此处，三维信息可以是指由车辆V周围的对象反射的激光所生成的点云。具体地，激光雷达L可以接收由在周围环境中的雷达发射区域内存在的对象反射的激光，并且生成点云，点云是亮度值随着接收到的激光的强度而变化的点集。例如，对于具有较高激光反射比的对象，激光雷达L可以增加与该对象的位置对应的点的亮度值。

此外，第一车道信息可以包括构成三维信息的点云上的推测的车道区域的曲率导数、曲率、方向、偏移等。

由于车辆V周围的道路上的车道区域的激光反射比高于其周围区域，所以在通过激光雷达L获取的三维信息中，与车道区域对应的点的亮度值可以高于周围区域中的亮度值。因此，根据一个实施方式的水平地面识别单元110可以基于分别与道路上的车道区域及其周围区域对应的点的亮度值模式，在三维信息上提取关于车道的第一车道信息。

图5是通过在与中央的矩形区域对应的车辆V中配置的激光雷达L获取的三维信息的平面视图。在图5中，可以看到向左和向右延伸的点云，并且水平地面识别单元110可以将点云识别为车道并提取关于车道的第一车道信息。

为了提取第一车道信息，根据一个实施方式的水平地面识别单元110可以使用公知的模式识别技术中的一种，或者可以使用诸如深度学习的机器学习方法。

尽管以上实施方式假定通过坐标系变换信息获取装置100的水平地面识别单元110执行步骤S100，但也可以通过车辆V执行步骤S100，并且车辆V可以将第一车道信息发送至坐标系变换信息获取装置100。相反，车辆V可以将三维信息发送至坐标系变换信息获取装置100，并且然后坐标系变换信息获取装置100的车道信息获取单元140可以从接收到的三维信息中提取第一车道信息，并且将第一车道信息提供给水平地面识别单元110。

接下来，坐标系变换信息获取装置100的水平地面识别单元110可以基于提取的第一车道信息来拟合平面(S110)。由于车道设置在行驶道路上，因此可以通过获得由与车道对应的第一车道信息上的点组成的平面的方程来将行驶道路拟合到平面上。具体地，水平地面识别单元110可以通过使用构成第一车道信息的至少四个点(假设它们具有坐标(x,y,z))来获得平面方程ax+by+cz＝d的系数a、b、c和d。

在拟合平面之后，坐标系变换信息获取装置100的水平地面识别单元110可以比较拟合的平面中的误差是否等于或小于参考误差(S120)。此处，参考误差可以指可靠的拟合平面方程针对第一车道信息具有的误差的最大值。具体地，水平地面识别单元110可以根据数学式1获得拟合误差(fitting error)：

[数学式1]

其中，(x

如果拟合平面中的误差超过参考误差，则坐标系变换信息获取装置100的水平地面识别单元110可以再次提取第一车道信息。另一方面，如果拟合平面中的误差等于或小于参考误差，则坐标系变换信息获取装置100的水平地面识别单元110可以确定车辆V正在水平地面上行驶(S130)。

因此，一旦基于第一车道信息确定车辆V正在水平地面上行驶，则坐标系变换信息获取装置100可以获取关于激光雷达L和摄像装置C的第一坐标系变换信息。这将参照图6和图7进行描述。

图6是根据一个实施方式的坐标系变换信息获取方法中的用于获取第一坐标系变换信息的方法的流程图。图7是用于说明根据一个实施方式的从通过车辆的摄像装置获取的周围图像中提取第二车道信息的方法的视图。

首先，根据一个实施方式的坐标系变换信息获取装置100的第一坐标系变换信息获取单元120可以识别车辆V是否正在水平地面上行驶(S200)。如果车辆V没有在水平地面上行驶，则第一坐标系变换信息获取单元120可以重复地识别车辆V是否正在水平地面上行驶。

另一方面，如果车辆V正在水平地面上行驶，则根据一个实施方式的第一坐标系变换信息获取单元120可以从周围图像中提取第二车道信息(S210)。此处，第二车道信息可以包括周围图像中的假定的车道区域的曲率导数、曲率、方向、偏移等。

图7是通过正在水平地面上行驶的车辆V的摄像装置C获取的周围图像的示例图。在图7的周围图像中，看到黑色道路上的白线，并且第一坐标系变换信息获取单元120可以将白线识别为车道，并且提取关于车道的第二车道信息。图7示出了与车道沿相同方向延伸的线以粗线示出。

为了提取第二车道信息，根据一个实施方式的第一坐标系变换信息获取单元120可以使用公知的模式识别技术中的一种或者可以使用诸如深度学习的机器学习方法。

尽管以上实施方式假定步骤S210由坐标系变换信息获取装置100的第一坐标系变换信息获取单元120执行，但是步骤S210可以由车辆V执行，并且车辆V可以将得到的第二车道信息发送至坐标系变换信息获取装置100。相反，车辆V可以将周围图像发送至坐标系变换信息获取装置100，并且然后，坐标系变换信息获取装置100的车道信息获取单元140可以从接收到的周围图像中提取第二车道信息，并且将第二车道信息提供给第一坐标系变换信息获取单元120。

一旦提取了第二车道信息，第一坐标系变换信息获取单元120可以通过将提取的第二车道信息与第一车道信息进行匹配来获取第一坐标系变换信息(S220)。如上所述，第一车道信息和第二车道信息包括关于至少两个相应车道的信息。因此，第一坐标系变换信息获取单元120可以将相应车道的第一车道信息和第二车道信息进行匹配。

具体地，第一坐标系变换信息获取单元120可以根据数学式2获取摄像装置C与激光雷达L之间的第一坐标系变换信息：

[数学式2]

其中，数学式2的解T*

为了通过使用数学式2获得T*

为了查找数学式2的解，第一坐标系变换信息获取单元120可以选择公知的算法中的至少之一，例如，高斯牛顿算法(Gauss Newton algorithm)或莱文伯格-马夸特算法(Levenberg-Marquardt algorithm)。

在通过上述方法获取第一坐标系变换信息之后，坐标系变换信息获取装置100可以获取关于车辆V和摄像装置C的第二坐标系变换信息。这将参照图8至图10进行描述。

图8是根据一个实施方式的坐标系变换信息获取方法中的用于获取第二坐标系变换信息的方法的流程图。图9是用于说明根据一个实施方式的从通过车辆的摄像装置获取的周围图像中提取扩展焦点的方法的视图。图10是根据一个实施方式的通过车辆的摄像装置获取的周围图像的俯视图图像的视图。

参照图8，坐标系变换信息获取装置100的第二坐标系变换信息获取单元130可以基于周围图像中的扩展焦点来获取车辆V的行驶方向(S300)。为此，第二坐标系变换信息获取单元130可以首先判定车辆V是否直线向前行驶。具体地，第二坐标系变换信息获取单元130可以基于车辆V的转向角和横摆率中的至少一个来判定车辆V是否直线向前行驶。如果车辆V的转向角和横摆率的绝对值小于预定阈值，则第二坐标系变换信息获取单元130可以判定车辆V正在直线向前行驶。

一旦判定车辆V正在直线向前行驶，则第二坐标系变换信息获取单元130可以在不同时间点处获取的多个周围图像中提取多个特征点。根据一个实施方式的第二坐标系变换信息获取单元130可以通过基于卢卡斯-卡纳德(Lukas-Kanade)方法使用光流来提取周围图像中的特征点，其结果如图9所示。然而，这仅仅是提取周围图像中的特征点的方法的实施方式，并且特征点提取方法不限于上述实施方式。

接下来，第二坐标系变换信息获取单元130可以获取多个周围图像中相同特征点的运动矢量。在获取运动矢量之后，第二坐标系变换信息获取单元130可以找到运动矢量的交点。在车辆V正在直线向前行驶的情况下，运动矢量在一点处相遇，该点被称为扩展焦点。假设与车辆的行驶方向垂直的方向被称为参考侧方向，在摄像装置C被安装成相对于参考侧方向面向行驶方向的情况下，可以在车辆的前方形成从多个周围图像中提取的多个特征点的运动矢量的交点。在这种情况下，第二坐标系变换信息获取单元130可以确定交点是扩展焦点。另一方面，在摄像装置C被安装成相对于车辆V的参考侧方向面向行驶方向的相反方向情况下，可以在车辆的后方形成从多个周围图像中提取的多个特征点的运动矢量的交点。在这种情况下，第二坐标系变换信息获取单元130可以确定交点的Z坐标的180度旋转位置是扩展焦点。

同时，在执行光流时，可能存在由于实际道路环境而生成的误差。因此，第二坐标系变换信息获取单元130可以通过以下步骤找到扩展焦点。

在第一步中，第二坐标系变换信息获取单元130可以找到包括周围图像中的k个特征点的特征点组的运动矢量的交点，并且获取该交点作为候选的扩展焦点。在第二步中，第二坐标系变换信息获取单元130可以找到周围图像中的特征点的通过第一步中获取的候选扩展焦点的运动矢量的数量。在第三步中，第二坐标系变换信息获取单元130可以重复执行第一步和第二步。在第四步中，第二坐标系变换信息获取单元130可以确定最大数量的特征点的运动矢量所通过的候选扩展焦点是扩展焦点。

相反，除了上述方法之外，根据另一实施方式的第二坐标系变换信息获取单元130还可以执行第五步骤：通过使用通过第四步中确定的扩展焦点的特征点的所有运动矢量来找到另一交点，并且将该另一交点选为最终的扩展焦点。由此，可以提高扩展焦点确定的精确度。

作为通过上述过程查找图9中扩展焦点的结果，点P被确定为扩展焦点。

在基于周围图像确定了扩展焦点之后，第二坐标系变换信息获取单元130可以基于扩展焦点来获取车辆V相对于摄像装置C的坐标系的行驶方向。此处，车辆V的行驶方向可以由图3中车辆V的坐标系中的X

[数学式3]

其中，矢量X

在获取车辆V的行驶方向之后，第二坐标系变换信息获取单元130通过使用从第一车道信息获取的车道的宽度和车道的方向来获取俯视图图像变换信息。此处，俯视图图像变换信息可以指示表示摄像装置C相对于地球表面的坐标系的姿态角的变换矩阵，变换矩阵用于将周围图像转换为俯视图图像，这可以由以下数学式4定义：

[数学式4]

m

其中，m

第二坐标系变换信息获取单元130可以基于变换矩阵R

[数学式5]

xcosθ

其中，(x,y)表示相对于地球表面的坐标系的俯视图图像中的像素坐标，i表示用于区分车道的多条车道的索引。

参照图10，在俯视图图像中存在白色车道，以及沿车道方向延伸的黑色直线可以通过由数学式5限定的线性方程给出。

在求解了针对车道的线性方程之后，第二坐标系变换信息获取单元130可以通过使用从第一车道信息获取的车道宽度和车道方向来获取俯视图图像变换信息(S310)。通过激光雷达L获取的三维信息中的第一车道信息包括关于车道的实际宽度信息，并且第二坐标系变换信息获取单元130可以通过使用周围图像中的车道的平行构造、根据以下数学式6获得变换矩阵R

[数学式6]

其中，i和j表示车道的索引，并且d

第二坐标系变换信息获取单元130可以通过将由数学式6获取的变换矩阵R

在根据上述方法获取俯视图图像变换信息之后，第二坐标系变换信息获取单元可以基于俯视图图像变换信息的逆信息和车辆V的行驶方向最终获取第二坐标系变换信息(S320)。具体地，第二坐标系变换信息获取单元130可以根据以下数学式7获取车辆V相对于摄像装置C的坐标系的作为第二坐标系变换信息的姿态角R

[数学式7]

其中，R

根据上述过程，一旦获取了第一坐标系变换信息和第二坐标系变换信息，则坐标系变换信息获取装置100可以通过使用第一坐标系变换信息和第二坐标系变换信息来获取车辆V与激光雷达L之间的第三坐标系变换信息。由此，可以完成在车辆V、摄像装置C和激光雷达L之间的校准。

上述用于获取坐标系变换信息的装置和方法允许在无需设备或人工操作的情况下获取用于行驶车辆的摄像装置和激光雷达的坐标系变换信息，从而减少校准和获取精确坐标系变换信息所需的成本和时间。

同时，根据一个实施方式的上述坐标系变换信息获取方法中包括的每个步骤可以以用于存储被编程为执行这些步骤的计算机程序的计算机可读记录介质来实现。

以上描述仅仅是本公开内容的技术范围的示例性描述，并且本领域技术人员将理解，在不脱离本公开内容的原始特征的情况下，可以进行各种改变和修改。因此，本公开内容中公开的实施方式旨在说明而非限制本公开内容的技术范围，并且本公开内容的技术范围不受实施方式的限制。本公开内容的保护范围应当基于所附权利要求来解释，并且应当理解的是，包括在与其等同的范围内的所有技术范围都包括在本公开内容的保护范围内。

根据一个实施方式，因为上述用于获取坐标系变换信息的装置和方法在诸如家庭或工业的各种领域中使用，因此其在工业上是可应用的。