几何相机校正系统及方法

技术领域

本发明是有关一种机器视觉，特别是关于一种几何相机校正。

背景技术

几何相机校正(geometric camera calibration或resectioning)是一种估算相机模型(例如针孔相机模型)的参数的方法，用以近似相机或摄影机。此参数通常以相机矩阵(例如4x3矩阵)来表示，其包含代表相机于三维场景的位置的外部矩阵，以及代表相机的光学中心与焦距的内部矩阵。估算参数可适用于机器视觉，以提供基于影像的自动检测与分析，可应用于自动检测、程序控制及机器人引导。

传统相机校正方法通常遭受到相当的误差。因此，亟需提出一种新颖且减少误差的相机校正机制。

发明内容

鉴于上述，本发明实施例的目的之一在于提出一种估算相机模型参数的几何相机校正系统与方法，用以有效降低误差。

根据本发明实施例，几何相机校正系统包含外部叠代最近点装置及内部叠代最近点装置。外部叠代最近点装置根据相机坐标的第一三维点，借以调整初始外部矩阵，因而产生估算外部矩阵。内部叠代最近点装置接收棋盘坐标的三维点，据以产生棋盘坐标的三维点与预设第二参考三维点之间的误差量。外部叠代最近点装置执行叠代最近点法，用以将相机坐标的三维点与预设第一参考三维点之间差值予以最小化。如果目前误差量不大于先前误差量，则输出目前内部矩阵作为更新内部矩阵。

附图说明

图1显示本发明实施例的几何相机校正系统的方框图。

图2显示本发明实施例的几何相机校正方法的流程图。

【主要元件符号说明】

100：几何相机校正系统 100A：外部估算装置

100B：内部最佳化装置 10A：棋盘

10B：物件 11：三维相机

12：初始校正器 13：背景去除器

14：(第一)重投射器 15：外部叠代最近点装置

16：(第二)重投射器 17：映射装置

18：内部叠代最近点装置 19：决定装置

200：几何相机校正方法 21：提供三维相机

22：产生初始外部矩阵 23：产生前景影像

24：将三维点重投射至相机坐标

25：执行叠代最近点法以产生估算外部矩阵

26：将三维点重投射至相机坐标

27：产生棋盘坐标的三维点

28：执行叠代最近点法以产生误差量

29：决定目前误差量是否大于先前误差量

I1：第一影像

I2：第二影像

具体实施方式

图1显示本发明实施例的几何相机校正系统100的方框图，图2显示本发明实施例的几何相机校正方法200的流程图。几何相机校正系统(以下简称系统)100的方框与几何相机校正方法(以下简称方法)200的步骤，其实施可使用电子电路、电脑软件或其组合。例如，系统100与方法200的至少一部份可使用数字影像处理器来执行。在另一例子中，系统100与方法200的至少一部份可使用指令控制的电脑来实施。在一实施例中，系统100与方法200可应用于扩增实境(AR)装置。扩增实境装置的硬件元件主要包含处理器(例如影像处理器)、显示器(例如头戴式显示器)及感测器(例如色彩-深度相机，例如红绿蓝-深度相机，用以撷取红、绿、蓝及深度)。其中，感测器或相机撷取场景以产生影像图框(frame)，馈至处理器以执行系统100与方法200的操作，因而呈现扩增实境于显示器。

在本实施例中，系统100可包含外部估算装置100A，用以产生估算外部(参数)矩阵；及内部最佳化装置100B，用以产生更新内部(参数)矩阵。本说明书采用电脑或机器视觉领域的习惯用法，外部(参数)矩阵是包含外部参数，以代表相机于三维场景的位置与方位，内部(参数)矩阵是包含内部参数，以代表相机的光学中心与焦距。外部矩阵可用以将点从系统坐标转换为相机坐标，内部矩阵可用以将点从相机坐标映射至(相应于影像平面的)影像坐标。

系统100可包含至少一个三维相机11，用以撷取影像(步骤21)。其中，三维相机11可撷取不含物件10B的棋盘10A(其具预设图案)的第一影像I1及相关深度影像；及撷取含物件10B的棋盘10A的第二影像I2及相关深度影像。在本说明书中，三维相机(例如红绿蓝-深度相机)是指一种可撷取深度影像与色彩(例如红、绿、蓝)影像的相机。

在本实施例中，外部估算装置100A可包含初始校正器12，其接收第一影像I1(亦即不含物件10B的影像)，据以产生初始外部矩阵(步骤22)。初始校正器12还可产生(初始)内部矩阵。

本实施例的外部估算装置100A可包含背景去除器(background subtractor)13，其接收第一影像(及其深度图)与第二影像I2(及其深度图)，据以产生前景影像(其代表物件10B)，其包含相关深度图(步骤23)。背景去除器13可使用背景分割(segmentation)或背景去除技术。

本实施例的外部估算装置100A可包含(第一)重投射器(reprojector)14，其接收前景影像(及相关深度图)，根据(初始或目前)内部矩阵，用以将前景影像的三维点从影像坐标映射(或投射)至相机坐标，因而产生相机坐标的(第一)三维点(步骤24)。

根据本实施例的特征之一，外部估算装置100A可包含外部叠代最近点(iterativeclosest point,ICP)装置15，其根据(重投射器14的)相机坐标的三维点，借以调整(初始校正器12的)初始外部矩阵，因而产生估算外部矩阵(步骤25)。外部叠代最近点装置15可执行叠代最近点法，用以将相机坐标的三维点与预设第一参考(或黄金(golden))三维点之间差值予以最小化，其中初始外部矩阵可作为外部叠代最近点装置15于执行叠代最近点法时的初始解，用以产生估算外部矩阵，作为外部估算装置100A的输出。叠代最近点法的细节可参考以下文献：李施乐(Shile Li)等人提出的“使用强度辅助的叠代最近点法的快速视觉测距(Fast Visual Odometry Using Intensity-Assisted Iterative Closest Point)”，公开于2016年七月，刊登于电气及电子工程师学会的机器人学与自动化期刊(IEEE ROBOTICSAND AUTOMATION LETTERS)第1册第2号；克里斯琴·克尔(Christian Kerl)等人提出“红绿蓝-深度相机的密集视觉同步定位与地图构建(Dense Visual SLAM for RGB-DCameras)”，公开于2013年，刊登于智能机器人系统的国际会议公报(Proc.of theInt.Conf.on Intelligent Robot Systems (IROS))；卡里·普立(Kari Pulli)提出的“大数据集的多视配准(Multiview Registration for Large Data Sets)”，公开于1999年十月，刊登于三维数字影像与模型建立第二次国际会议(Second International Conferenceon 3D Digital Imaging and Modeling)；以及弗朗索瓦·帕莫洛(Francois Pomerleau)等人提出的“深度相机追踪：快速叠代最近点法的参数研究(Tracking a Depth Camera:Parameter Exploration for Fast ICP)”，公开于2011年九月，刊登于电气及电子工程师学会/日本机器人学会的智能机器人学与系统国际会议(IEEE/RSJ InternationalConference on Intelligent Robots and Systems)，其内容视为本说明书的一部份。

在本实施例中，内部最佳化装置100B可包含(第二)重投射器16(类似于第一重投射器14)，其接收(背景去除器13的)前景影像(及相关深度图)，根据目前内部矩阵，用以将前景影像的三维点从影像坐标映射(或投射)至相机坐标，因而产生相机坐标的(第二)三维点(步骤26)。

本实施例的内部最佳化装置100B可包含映射装置17，其接收(重投射器16的)相机坐标的三维点，将其映射至相关于棋盘10A的(三维)棋盘坐标，因而产生棋盘坐标的三维点(步骤27)。

本实施例的内部最佳化装置100B可包含内部叠代最近点装置18，其接收棋盘坐标的三维点，据以产生棋盘坐标的三维点与预设第二参考(或黄金(golden))三维点之间的误差量(步骤28)。其中，内部叠代最近点装置18可执行叠代最近点法以得到棋盘坐标的三维点与预设第二参考三维点之间的对应(correspondence)与转换(transformation)。在本实施例中，使用误差平方和(sum of squared differences)作为内部叠代最近点装置18于执行叠代最近点法时的成本函数(cost function)。

本实施例的内部最佳化装置100B可包含决定装置19，其接收(内部叠代最近点装置18的)误差量，据以决定(目前叠代最近点法的)目前误差量是否大于(先前叠代最近点法的)先前误差量(步骤29)。值得注意的是，决定装置19可实施于内部叠代最近点装置18内。如果决定装置19的结果是肯定的(亦即目前误差量>先前误差量)，则调整目前内部矩阵的内部参数，以产生调整内部矩阵，馈至重投射器16以再次执行。如果决定装置19的结果是否定的(亦即目前误差量<＝先前误差量)，则输出目前内部矩阵作为更新内部矩阵。

以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的申请专利范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在申请专利范围内。