影像处理系统及其方法

技术领域

本发明有关于广角影像，特别地，尤有关于一种影像处理系统及其方法，利用内向式或外向式多镜头相机产生投影影像。

背景技术

图1A是公开于美国第10,810,700B2号专利文献中的一立方体架构11A与一球体12之间的关系(上述专利的内容在此被整体引用作为本说明书内容的一部份)。图1B显示一等距长方全景影像(equirectangular panoramic image)，源自于架设在该立方体架构11A的六个工作面的六镜头相机的六个镜头影像(顶面、底面、背面、左面、右面、正面)的等距长方投影。因为图1B中有六个镜头影像，故可推论架设在该立方体架构11A的六个工作面的该相机的六个镜头(顶面、底面、背面、左面、右面、正面)，相对于该立方体架构11A的重心，分别朝向外，如图2A所示。该立方体架构11A的任两个邻近表面/边缘(用来架设上述六个镜头)所形成的内角θ1等于90°。以下，将图2A中的六镜头相机称为“外向式六镜头相机”。图2B例示架设在架构11B的外向式三镜头相机。图2B的外向式三镜头相机是用来产生三个镜头影像，且上述三个镜头影像用来形成一广角影像，该架构11B的任两个邻近表面/边缘(用来架设上述三个镜头)形成的内角θ2小于180°。然而，前述外向式多镜头相机的缺点是镜头会突出于电子产品的机身22之外，故该电子产品不利于携带且镜头本身容易磨损。

因此，业界亟需一种具内向式多镜头相机的影像处理系统，用产生广角影像且镜头免于磨损。

发明内容

有鉴于上述问题，本发明的目的之一是提供一种影像处理系统，具内向式多镜头的相机，用以产生投影影像且镜头免于磨损。

根据本发明的一实施例，提供一种影像处理系统，包含：一部具M个镜头的相机、一补偿装置以及一对应性产生器。该具M个镜头的相机，用以捕捉一个涵盖X度水平视域以及Y度垂直视域的视野，以产生M个镜头影像。该补偿装置，用以根据一第一顶点列表及该M个镜头影像，产生一投影影像。对应性产生器，用来产生一组操作，包含：对多个顶点进行校正，以在该M个镜头影像及该投影影像之间定义多个第一顶点映射；水平地及垂直地扫描各镜头影像，以决定各镜头影像的影像中心；根据所述多个第一顶点映射及该投影影像中各重叠区内的P1个控制点，决定所有控制点的纹理坐标；以及，根据所有控制点的纹理坐标及各镜头影像的影像中心，决定各顶点于各镜头影像的两个邻近控制点及一系数混合权重，以产生该第一顶点列表，其中X<＝360，Y<180，M>＝2以及P1>＝3。

本发明的另一实施例，提供一种影像处理方法，包含：对多个顶点进行校正，以在M个镜头影像及一投影影像之间定义多个第一顶点映射，其中该M个镜头影像是由一个具M个镜头的相机捕捉到一个涵盖X度水平视域以及Y度垂直视域的视野而产生；水平地及垂直地扫描各镜头影像，以决定各镜头影像的影像中心；根据所述多个第一顶点映射及该投影影像中各重叠区内的P1个控制点，决定所有控制点的纹理坐标；根据所有控制点的纹理坐标及各镜头影像的影像中心，决定各顶点于各镜头影像的两个邻近控制点及一系数混合权重，以产生一第一顶点列表；以及，根据该第一顶点列表及该M个镜头影像，产生该投影影像，其中X<＝360，Y<180，M>＝2以及P1>＝3。

兹配合下列图示、实施例的详细说明及申请专利范围，将上述及本发明的其他目的与优点详述于后。

附图说明

图1A显示一立方体架构11A与一球体12之间的关系，已公开于美国第10,810,700B2号专利文献。

图1B显示一等距长方全景影像，源自于架设在该立方体架构11A上的六个工作面的六镜头相机的六个镜头影像(顶面、底面、背面、左面、右面、正面)的等距长方投影。

图2A例示架设在图1A架构11A上的外向式六镜头相机。

图2B例示架设在架构11B上且突出于机身22之外的外向式三镜头相机。

图3A根据本发明一实施例，例示架设在架构11C上、位于机身32的内部且镜头免于磨损的内向式三镜头相机的两个侧视图。

图3B根据本发明一实施例，例示架设在架构11D上的内向式双镜头相机的两个侧视图。

图4A例示一内向式三镜头相机及一外向式三镜头相机的架设方式。

图4B例示包含三个镜头影像(由图4A的外向式三镜头相机所输出)的一广角影像。

图4C例示包含三个镜头影像(由图4A的内向式三镜头相机所输出)的一广角影像。

图4D例示包含两个镜头影像(由图3B的内向式双镜头相机所输出)的一广角影像。

图5A根据本发明一实施例，显示一投影影像处理系统的方块图。

图5B根据本发明一实施例，显示影像处理装置520的示意图。

图6A显示一架构11C与一球体62之间的关系。

图6B显示一个三角形网格(mesh)，用以模型化一球体表面。

图6C显示一个多边形网格，用以组成/模型化一等距长方投影影像。

图7A显示顶点处理装置510根据最佳接合系数，修改所有顶点于各镜头影像的纹理坐标后，改善了因偏移量ofs(镜头中心76偏离其相机系统中心73的距离)所引起的不匹配的影像缺陷。

图7B显示由左至右扫描各行(row)像素，以得到各行的左边界点，以及由右至左扫描各行像素，以得到各行的右边界点。

图7C显示由上至下扫描各列(column)像素，以得到各列的上边界点，以及由下至上扫描各列像素，以得到各列的下边界点。

图8A例示一网格(grid)用以模型化一等距长方广角影像，且该等距长方广角影像包含两个重叠区A(1)～A(2)与来自图3A内向式三镜头相机的三镜头影像。

图8B例示具有不同数量四边形的两个预设列且P1＝3。

图8C与图8A有关，例示一等距长方广角影像包含二十个控制点R(1)～R(20)及十个测量区M(1)～M(10)且各控制列包含5个控制点(P1＝5)。

图8D例示于镜头C影像中一目标顶点P及十个控制点R(1)～R(10)间的位置关系。

图9A根据本发明一实施例，显示决定控制点的最佳接合系数的方法流程图。

图9B根据本发明一实施例，显示进行步骤S912的系数决策操作的方法流程图。

图9C显示在该连结计量的所有路径中，路径0-1-1(实线路径)的连结计量值总和是最小的。

图10A例示架设在架构11E的外向式四镜头相机。

图10B例示一网格用以模型化一等距长方全景影像，且该等距长方全景影像包含四个重叠区A(1)～A(4)及由图10A的外向式四镜头相机产生的四个镜头影像。

图10C根据图10B，例示一等距长方全景影像包含二十个控制点R(1)～R(20)及二十个测量区M(1)～M(20)且各控制列包含5个控制点(P1＝5)。

附图标号：

11A 立方体架构

11B～11E 架构

12、62 球体

22、32、33 机身

41、A(1)～A(4) 重叠区域

42、43 非重叠区域

70 理想成像位置

74 镜头影像的影像中心

73 影像撷取模块51的相机系统中心

75 物体

76 镜头中心

78 实际成像位置

81 交叉点/顶点

500 投影影像处理系统

51 影像撷取模块

52 补偿装置

53 对应性产生器

510 顶点处理装置

520 影像处理装置

530 拼接决策单元

521 栅格化引擎

522 纹理映射电路

52a、52b 纹理映射引擎

523 混合单元

524 目的缓冲器

525 测量单元

D1～D7 镜头的光轴

R(1)～R(20) 控制点

M(1)～M(20) 测量区

θ

θ

V1 第一向量

V2 第二向量

V3 第三向量

O1～O3 镜头光轴的交叉点

具体实施方式

在通篇说明书及后续的请求项当中所提及的“一”及“该”等单数形式的用语，都同时包含单数及复数的涵义，除非本说明书中另有特别指明。在通篇说明书及后续的请求项当中所提及的相关用语定义如下，除非本说明书中另有特别指明。在通篇说明书中，具相同功能的电路元件使用相同的参考符号。

本发明的特色之一是利用一内向式多镜头相机产生多个镜头影像，再利用拼接(stitching)及混合(blending)方式来产生一广角影像。

图3A根据本发明一实施例，例示架设在架构11C上的内向式三镜头相机的两个侧视图。图3B根据本发明一实施例，例示架设在架构11D上的内向式双镜头相机的两个侧视图。该架构11C的任两个邻近表面/边缘形成的优角θ3以及该架构11D的任两个邻近表面/边缘形成的优角θ4都是大于180°且小于270°。各外向式多镜头相机具有一个内部的中心，而各内向式多镜头相机具有一个外部的中心。举例而言，图2B的外向式三镜头相机的三个镜头(左面镜头、正面镜头、右面镜头)的三条光轴D1～D3的交叉点O1形成于架构11B的内部或位于该三个镜头的下方，故称之为“内部的中心”；相对地，图3B的内向式双镜头相机的双镜头(镜头A、镜头B)的两条光轴D4～D5的交叉点O2形成于架构11D的外部或位于该双镜头的上方，再者，图4A的内向式三镜头相机的三镜头(镜头A、镜头C、镜头B)的三条光轴D6、D2及D7的交叉点O3形成于架构11C的外部或位于该三镜头的上方，故称交叉点O2、O3为“外部的中心”。

前述内向式多镜头相机的优点是镜头会被包覆于电子产品的机身32/33之内，故该电子产品可便于携带且镜头本身可免于磨损。

图4A例示一内向式三镜头相机及一外向式三镜头相机的架设方式。图4B例示包含三个镜头影像(由图4A的外向式三镜头相机所输出)的一广角影像。图4C例示包含三个镜头影像(由图4A的内向式三镜头相机所输出)的一广角影像。图4D例示包含两个镜头影像(由图3B的内向式双镜头相机所输出)的一广角影像。图4A中两个相机的架设方式仅用于做比较。图4A中外向式三镜头相机的三镜头(由左至右为：左面镜头、正面镜头、右面镜头)架设于该架构11B上的顺序相同于三个镜头影像被配置于图4B的广角影像中的顺序(由左至右为：左面镜头影像、正面镜头影像、右面镜头影像)。然而，图4A中内向式三镜头相机的三镜头(由左至右为：镜头A、镜头C、镜头B)架设于该架构11C上的顺序相反于三个镜头影像被配置于图4C的广角影像中的顺序(由左至右为：镜头B影像、镜头C影像、镜头A影像)；另外，图3B中内向式双镜头相机的双镜头(由左至右为：镜头A、镜头B)架设于该架构11D上的顺序亦相反于两个镜头影像被配置于图4D的广角影像中的顺序(由左至右为：镜头B影像、镜头A影像)。于图4A的例子中，透过适当选择架构11B中的内角θ2以及架构11C中的内角θ3，使得内向式三镜头相机的镜头B的光轴D7相对于水平线(图未示)的角度相同于外向式三镜头相机的左向镜头的光轴D1相对于水平线的角度，以及内向式三镜头相机的镜头A的光轴D6相对于水平线的角度相同于外向式三镜头相机的右向镜头的光轴D3相对于水平线的角度。然而，即使光轴的角度相同，该左向镜头影像与该镜头B影像之间以及该右向镜头影像与该镜头A影像之间仍存有位移，因此，需适当地拼接及混合由内向式多镜头相机输出的多个镜头影像，以形成高品质的广角影像。

根据本发明，上述内向式或外向式多镜头相机的各镜头，同时捕捉到一个涵盖x1度水平视域(horizontal field of view，HFOV)以及y1度的VFOV的视野，以产生一镜头影像，之后，来自上述内向式或外向式多镜头相机的多个镜头影像形成一个具x2度HFOV以及y2度VFOV的投影影像，其中0

图5A根据本发明一实施例，显示一投影影像处理系统的方块图。参考图5A，投影影像处理系统500包含一影像撷取模块51、一补偿装置52以及一对应性产生器(correspondence generator)53。该补偿装置52接收来自对应性产生器23的原始顶点列表及来自影像撷取模块51的多张镜头影像，以产生一投影影像，例如一张广角影像或一张全景影像。

许多投影方式都适用于本发明投影影像处理系统500。“投影”一词指的是：将一球体表面摊平成一个二维平面，例如一投影平面。该投影包含，但不受限于，等距长方投影、圆柱(cylindrical)投影以及修正圆柱投影。修正圆柱形投影包含，但不受限于，米勒(Miller)投影、墨卡托(Mercator)投影、兰伯特圆柱等面积(Lambert cylindrical equalarea)投影、帕尼尼(Pannini)投影等。据此，上述投影影像包含，但不受限于，一等距长方投影影像、一圆柱投影影像以及一修正圆柱投影影像。图1A-图1B、图6A-图6C、图8A-图8D及图10B-图10C有关于等距长方投影。至于圆柱投影以及修正圆柱投影的实施方式已为本领域技术人士所熟知，在此不予赘述。请注意，无论本发明投影影像处理系统500采用哪一种投影方式，上述对应性产生器53都会对应地产生一原始顶点列表(例如表一)，其定义了所述多个镜头影像及该投影影像之间的顶点映射关系。

该影像撷取模块51是一部具多镜头的照相机，例如一部外向式多镜头相机、一部内向式双镜头相机或一部内向式三镜头相机，可同时捕捉到一个涵盖X度HFOV以及Y度VFOV的视野，以产生多个镜头影像，其中X<＝360，Y<180。为清楚及方便描述，以下的例子及实施例仅以等距长方投影作说明及假设该影像撷取模块51是一部内向式三镜头相机且该投影影像是一张等距长方广角影像。须注意的是，本发明投影影像处理系统500的运作方式及图7B-图7C、图8A-图8D及图9A-图9C的相关描述与方法同样亦适用于上述外向式多镜头相机、内向式双镜头相机、圆柱投影以及修正圆柱投影。

在通篇说明书及后续的请求项当中所提及的相关用语定义如下，除非本说明书中另有特别指明。“纹理坐标”一词指的是一纹理空间(如一纹理影像或镜头影像)中的坐标；“栅格化操作(rasterization)”一词指的是将场景几何形状(scene geometry)(或一投影影像)映射至各镜头影像的纹理坐标的计算过程。

投影影像处理系统500的处理管线(pipeline)分为离线阶段(offline phase)和连线阶段。于离线阶段，分别校正该影像撷取模块51的三个内向式镜头，该对应性产生器53采用适合的影像对准(registration)技术来产生一原始顶点列表，并且该原始顶点列表中的各顶点提供该等距长方投影影像及所述多个镜头影像之间(或该等距长方坐标及所述多个纹理坐标之间)的映射关系。例如，图6A中半径2公尺(r＝2)的球体62表面上被划出许多圆圈，当作经度及纬度，其多个交叉点被视为多个校正点。架设于架构11D上的影像撷取模块51的三个镜头捕捉所述多个校正点，且所述多个校正点于所述多个镜头影像上的位置为已知。然后，因为所述多个校正点的视角(view angle)和所述多个纹理坐标被连结，故可建立该等距长方全景影像及所述多个镜头影像之间的映射关系。在本说明书中，具上述映射关系的校正点被定义为一个“顶点”。简言之，该对应性产生器53对各顶点进行校正，以定义在该等距长方投影影像及所述多个镜头影像之间的顶点映射关系，进而得到该原始顶点列表。在离线阶段中，该对应性产生器53会完成所有必要计算。

图6B显示一个三角形网格，用以模型化一球体表面。参考图6B，一个三角形网格被利用来模型化一球体62的表面。图6C显示一个多边形网格，用以组成/模型化该等距长方投影影像。透过对图6B的三角形网格进行一等距长方投影而产生图6C的多边形网格，而图6C的多边形网格是由上述顶点定义的多个四边形或/及多个三角形的集合。

于离线阶段，根据该等距长方投影影像及所述多个镜头影像的几何形状，该对应性产生器53为多边形网格(图6C)的各顶点，计算其等距长方坐标及纹理坐标，以产生该原始顶点列表。之后，该对应性产生器53将该原始顶点列表传送给该顶点处理装置510。该原始顶点列表是多个顶点的列表，所述多个顶点形成该多边形网格(图6C)的多个四边形或/及三角形，且各顶点由一相对应数据结构所定义。该数据结构定义了一目的空间及一纹理空间之间(或该等距长方坐标及该纹理坐标之间)的顶点映射关系。表一显示该原始顶点列表中各顶点的数据结构的一个例子。

在理想状况下，该影像撷取模块51的三个镜头同时位于该架构11C的相机系统中心73(图未示)，因此一远物体75的单一理想成像位置(imaging point)70位于半径2公尺(r＝2)的成像平面(image plane)62上。以镜头B及镜头C为例，因为镜头B影像的理想成像位置70与镜头C影像的理想成像位置70相符，在完成影像拼接/混合操作后，该等距长方广角影像就会呈现出完美的拼接/混合结果。然而，在实际状况下，镜头B影像与镜头C影像的镜头中心76相对于系统中心73有一偏移量ofs，如图7A左侧所示，结果，在完成影像拼接/混合操作后，该等距长方广角影像就会清楚呈现出不匹配的影像缺陷。

由于镜头的光学特性，例如镜头阴影(lens shading)及亮度阴影(lumashading)，尺寸等于Wi×Hi的镜头影像的影像中心74未必位于上述镜头影像的中间(Wi/2，Hi/2)，其中，Wi及Hi分别表示上述镜头影像的宽与高。于离线阶段，该对应性产生器53执行以下五个步骤来决定一镜头影像的实际影像中心74的纹理坐标。(i)决定一亮度临界值TH，以界定该镜头影像的边界；(ii)由左至右扫描各行像素，以决定各行的左边界点，如图7B所示。扫描时，若有一像素的亮度值小于TH，表示该像素位于该镜头影像之外，反之，表示该像素位于该镜头影像内，之后，存储各行的左边界点。同样地，由右至左扫描各行像素，以决定并存储各行的右边界点；由上至下扫描各列像素，以决定并存储各列的上边界点；由下至上扫描各列像素，以决定并存储各列的下边界点，如图7C所示。(iii)根据第i行的左边界点及右边界点，计算第i行的行中心Uc(i)；以及，根据第j列的上边界点及下边界点，计算第j列的列中心Vc(j)，其中，0<＝i<＝(Wi-1)及0<＝j<＝(Hi-1)。(iv)平均所有行的行中心，以得到一平均u值，以及平均所有列的列中心，以得到一平均v值。(v)将该镜头影像的真实影像中心74的纹理坐标(u

图8A例示一网格(grid)用以模型化一等距长方广角影像。参考图8A，可将一网格视为在等距长方广角影像内的一个具五行及六列四边形的矩形结构。图8A的网格示例对应至图6C的多边形网格，因此，图8A网格上的顶点/交叉点81对应至图6C多边形网格的顶点。在等距长方坐标系统中，水平轴上任二相邻顶点的水平间距是相同的，而垂直轴上任二相邻顶点的垂直间距是相同的。图8A中的水平轴及垂直轴分别以θ及

根据本发明，一投影影像中各重叠区域包含有一列的P1个控制点，其中P1>＝3。所述多个重叠区域的大小会随着影像撷取模块51的三个镜头的FOV、镜头感应器解析度及镜头架设角度而改变。一般而言，该投影影像中，各重叠区域的宽度会大于或等于一列四边形的宽度的倍数。若各重叠区域内包含有多列四边形，则于该多列四边形中预设其中一列四边形(以下称之为“预设列”)来容纳P1个控制点。在图8A的例子中，等距长方广角影像包含两个重叠区域A(1)及A(2)，且各重叠区域内仅包含一列四边形，该列四边形直接被当成该预设列，用来容纳P1个控制点。

于离线阶段，该对应性产生器53执行以下四个步骤(a)～(d)来决定等距长方广角影像中各控制点的纹理坐标。(a)将等距长方广角影像的最左侧一列四边形、最右侧一列四边形及各重叠区内的预设列皆定义为“控制列”。(b)于各控制列中，将最上面及最下面的两个控制点分别放置在最上面及最下面的四边形的中心。在本步骤(b)中，各控制列根据本身四边形的左边界与右边界于等距长方域的x坐标(例如x1及x2)，决定位于同一控制列内各控制点的x坐标，例如x＝(x1+x2)/2。(c)于各控制列中，将最上面及最下面的两个控制点之间的距离除以(P1-2)，以得到该(P1-2)个控制点在等距长方域的y坐标。换言之，于各控制列中，该(P1-2)个控制点平均分布于最上面及最下面的两个控制点之间。图8B例示具有不同数量四边形的两个预设列且P1＝3。如图8B所示，两个不同控制列分别具有五个四边形及六个四边形，因此，该两个不同预设列的三个控制点A～C的y坐标都不相同。测量区的范围定义(用来在测量模式中测量区域误差量)的方法如下：对于各重叠区的预设列内的一四边形i，搜寻最接近的控制点j，并将该四边形i分类或定义为测量区j(对应至控制点j)，其中1<＝i<＝n1、1<＝j<＝P1以及n1表示各预设列所包含的四边形数目。(d)根据各控制点的等距长方坐标及原始顶点列表(定义了等距长方坐标及纹理坐标之间的顶点映射关系)，进行内插以得到各控制点的纹理坐标。

图8C与图8A有关，例示一等距长方广角影像内包含二十个控制点R(1)～R(20)及十个测量区M(1)～M(10)且各控制列包含5个控制点(P1＝5)。图8C中，二十个控制点R(1)～R(20)分别具有二十个接合系数C(1)～C(20)，且所述多个接合系数C(1)～C(20)分别表示该二十个控制点R(1)～R(20)的不同接合程度。另外，十个控制点R(1)～R(10)位于两个重叠区A(1)～A(2)内，而另十个控制点R(11)～R(20)则位于非重叠区。由于控制点R(11)～R(20)位于非重叠区，故将其对应的十个接合系数C(11)～C(20)设定等于一常数(例如1)，且在本说明书中称为“常数接合系数”。以下的例子及实施例以图8C中等距长方广角影像的二十个控制点R(1)～R(20)及十个测量区M(1)～M(10)为例作说明。

请回到图5A，该补偿装置52包含一顶点处理装置510、一拼接决策单元530以及一影像处理装置520。在一测量模式下，该顶点处理装置510接收该原始顶点列表及来自该拼接决策单元520的测试接合系数C

在该测量模式下，该顶点处理装置510根据来自该原始顶点列表的各顶点于各镜头影像中对应的接合系数混合权值以及两个最邻近控制点的“两个测试接合系数”或“一个测试接合系数与一常数接合系数”，修正各顶点于各镜头影像中的纹理坐标，以便该影像处理装置520测量区域误差量E(1)～E(10)(如图9A的步骤S905～S906)。在显像模式下，该顶点处理装置510根据来自该原始顶点列表的各顶点于各镜头影像中对应的接合系数混合权值以及两个最邻近控制点的“两个最佳接合系数”或“一个最佳接合系数与一常数接合系数”，修正各顶点于各镜头影像中的纹理坐标，以最小化上述不匹配的影像缺陷。图8D例示于镜头C影像中一目标顶点P及十个控制点R(1)～R(10)间的位置关系。在图8D的例子中，第一角度θ

本发明特色之一是在一预设的回圈数目(图9A中的max)内最小化不匹配的影像缺陷。该预设的回圈数目有关于一偏移量ofs，该偏移量ofs上述影像撷取模块51的镜头中心76偏离其系统中心73的距离(参考图7A)。在测量模式下，根据图7A的偏移量ofs，该拼接决策单元530将十个测试接合系数C

图9A根据本发明一实施例，显示决定控制点的最佳接合系数的方法流程图(由该拼接决策单元530于测量模式下执行)。以下，假设ofs＝3公分，说明图9A的决定十个控制点R(1)～R(10)的最佳接合系数C(1)～C(10)的方法及图9B的系数决策步骤(步骤S912)的方法流程图。

步骤S902：将回圈数目Q1及测试接合系数分别设定成新值。一实施例中，第一次回圈中将Q1设为1，之后每次回圈都将Q1增加1；若ofs＝3公分，第一次回圈中将所述多个测试接合系数C

步骤S904：将所有区域误差量E(i)清除为0，其中，i＝1,2,…,10。

步骤S905：根据测试接合系数C

步骤S906：由该影像处理装置520，根据该修正顶点列表及来自影像撷取模块51的三个镜头影像，测量该等距长方广角影像的十个测量区M(1)～M(10)的区域误差量E(1)～E(10)(将于图5B详述)。为方便描述，利用E(i)＝f(C

步骤S908：存储所有区域误差量E(1)～E(10)于一个二维(2D)误差表格中。表三显示当ofs＝3公分(测试接合系数的数值范围0.96～1.04)时，该2D误差表格的一个例子。在表三的2D误差表格中，总共有十个区域误差量E(1)～E(10)及测试接合系数的九个不同的值(0.96～1.04)。

步骤S910：决定回圈次数Q1是否到达max值9。若是，跳到步骤S912，否则，回到步骤S902。

步骤S912：根据上述2D误差表格，进行系数决策操作。

步骤S914：输出最佳接合系数C(i)，其中，i＝1,2,…,10。在该显像模式中，输出所述多个最佳接合系数C(i)至该顶点处理装置510，以产生对应的修正顶点列表，使得该影像处理装置520根据该对应的修正顶点列表及来自影像撷取模块51的三个镜头影像，产生一对应的广角影像(将于稍后说明)。

图9B根据本发明一实施例，显示该拼接决策单元530进行步骤S912的系数决策操作的方法流程图。以下，请参考图9B，说明该进行系数决策操作的所有步骤。

步骤961：将Q2设为0以进行初始化。

步骤S962：从上述2D误差表格中，撷取出一选定的决策群组。回到图8C，通常各控制区分别邻接两个控制区，一选定的控制区及其邻接的两个控制区形成一选定的决策群组，以决定该选定的控制区的最佳接合系数。例如，一选定控制点R(9)及其邻接的两个控制点R(8)及R(10)形成一决策群组，如图8A及图8C所示。然而，若一选定的控制点(如R(6))位于重叠区A(2)的顶部或底部，则该选定的控制点R(6)就只会与其唯一邻接的控制点R(7)形成一决策群组，以决定其最佳接合系数C(6)。后续步骤的说明假设选定一控制点R(7)，且R(7)与其邻接的两个控制点R(6)及R(8)形成一选定的决策群组，以决定其最佳接合系数C(7)。

步骤S964：在该选定决策群组的各控制点的区域误差量中，决定局部最小值。表四显示R(6)～R(8)的区域误差量E(6)～E(8)及测试接合系数的一个例子。

如表四所示，在R(6)的九个区域误差量中只有一个局部最小值，而在R(7)及R(8)的九个区域误差量中各有两个局部最小值，其中表四中各局部最小值旁分别标出星号(*)。

步骤S966：根据所述多个局部最小值，选出候选者。表五显示从表四的所述多个局部最小值中，选出候选者，其中ID表示索引、WC表示接合系数，而RE表示区域误差量。候选者的数目等于表四中所述多个局部最小值的数目。

步骤S968：根据表五的所述多个候选者，建立一连结计量(link metric)。如图9C所示，根据表五的所述多个候选者，建立一连结计量。

步骤S970：在该连结计量的所有路径中，决定连结计量值的最小总和。关于两个连结计量值

步骤S972：决定该选定控制区的最佳接合系数。关于步骤S970所举的例子中，因为

步骤S974：决定回圈次数Q2是否到达上限值TH1(＝10)。若是，结束本流程，否则，回到步骤S962以处理下一个控制区。

在该顶点处理装置510根据所述多个测试/最佳接合系数C(1)～C(20)修正完来自该原始顶点列表的所有顶点的所有纹理坐标之后，因影像撷取模块51的镜头中心偏移(亦即一镜头中心76相对于该系统中心73有一个偏移量ofs)而造成的不匹配影像缺陷问题即可大幅改善(即实际成像位置78会被推向理想成像位置70)，如图7A所示。请注意，因为球体62是虚拟的，故物体75有可能位于球体62的外面或里面或表面。

图5B根据本发明一实施例，显示该影像处理装置的示意图。请参考图5B，该影像处理装置520包含一栅格化引擎521、一纹理映射电路522、一混合单元523(由一控制信号CS2所控制)、一目的缓冲器524以及一测量单元525(由一控制信号CS1所控制)。请注意，在测量模式下，若一像素/点的等距长方坐标落在任一测量区内，透过控制信号CS2，该混合单元523会被禁能(disabled)，以及透过控制信号CS1，该测量单元524会被致能(enabled)；在显像模式下，透过两个控制信号CS1及CS2，该混合单元523会被致能以及该测量单元524会被禁能。该纹理映射电路522包含两个纹理映射引擎52a～52b。栅格化引擎521可对来自一修正顶点列表的各组四个顶点所形成的一个四边形(如图6C)内的各像素进行四边形栅格化操作，或者对来自该修正顶点列表的各组三个顶点所形成一个三角形(如图6C)内的各像素进行三角形栅格化操作。

请回到图8C，对于四边形的情况，假设来自该修正顶点列表的一组四个顶点(E、F、G、H)(形成多边形网格内的一个四边形)位于重叠区A(1)的五个测量区M(1)～M(5)之一的范围内且被镜头B影像及镜头C影像所重叠(N＝2)，该四个顶点(E、F、G、H)分别包含以下数据结构：顶点E：{(x

对于三角形的情况，类似于上述四边形的操作，栅格化引擎521及两个纹理映射引擎52a～52b对来自该修正顶点列表的各组三个顶点所形成一个三角形(如图6C)内的各像素进行三角形栅格化操作及纹理映射，以产生两个对应的取样值s1、s2，除了修改步骤(1)如下：栅格化引擎521不是利用上述双线性内插方法，而是利用一重心加权(barycentricweighting)方法，根据等距长方坐标(x

接着，栅格化引擎521根据该点Q的等距长方坐标(x,y)，判断该点Q是否落入该五个测量区M(1)～M(5)之一，若判断该点Q落入该五个测量区M(1)～M(5)之一，则将控制信号CS1设为有效(asserted)使测量单元525开始测量该测量区的区域误差量。测量单元525可利用任何已知的演算法，例如绝对差值和(sum of absolute differences，SAD)、平方差值和(sum of squared differences，SSD)、中位数绝对误差(median absolute deviation，MAD)等等，估计/测量所述多个控制区的区域误差量。举例而言，若判断该点Q落入测量区M(1)，该测量单元525利用下列方程式：E＝|s1-s2|；E(1)+＝E，来累积该镜头B影像中测量区M(1)的各点与该镜头C影像中测量区M(1)的对应点之间的取样值差异的绝对值，以得到一SAD值当作该测量区M(1)的区域误差量E(1)。依此方式，该测量单元525测量五个测量区M(1)～M(5)的区域误差量E(1)～E(5)。依同样的方式，测量单元525，根据该修正顶点列表、镜头C影像及镜头A影像，测量五个测量区M(6)～M(10)的区域误差量E(6)～E(10)。

显像模式下，栅格化引擎521及纹理映射电路522的运作方式如同在测量模式下。以下，再次以上述的例子(一个点Q具有等距长方坐标(x,y)且位于该多边形网格的四边形EFGH内，并且该四边形EFGH被镜头B影像及镜头C影像所重叠(N＝2))做说明。在两个纹理映射引擎52a～52b纹理映射镜头B影像及镜头C影像的纹理数据以产生两个取样值s1、s2后，混合单元523以下列方程式混合两个取样值s1、s2，以产生点Q的混合值Vb：Vb＝fw

当该影像撷取模块51为一外向式M镜头相机且该投影影像为一全景影像时，于离线阶段，该对应性产生器53也是执行前述四个步骤(a)～(d)来决定控制点的纹理坐标，除了修改步骤(a)如下：将等距长方全景影像中各重叠区内的预设列皆定义为“控制列”。以M＝4(如图10A)为例，图10A例示架设在架构11E的外向式四镜头相机。假设图10A的外向式四镜头相机可同时捕捉到一个涵盖360度HFOV以及50度的VFOV的视野，以产生四个镜头影像(左面镜头、正面镜头、右面镜头、背面镜头)。图10B例示一网格用以模型化一等距长方全景影像，且该等距长方全景影像包含四个重叠区A(1)～A(4)及(由图10A的外向式四镜头相机产生的)四个镜头影像。假设图10B的网格示例对应至图6C的多边形网格，因此，图10B网格上的顶点/交叉点对应至图6C多边形网格的顶点。图10C根据图10B，例示一等距长方全景影像内包含二十个控制点R(1)～R(20)及二十个测量区M(1)～M(20)且各控制列包含5个控制点(P1＝5)。图10B-图10C的例子中，由于二十个控制点R(1)～R(20)都位于重叠区A(1)～A(4)内，因此，利用图9A～图9B的方法来决定二十个控制点R(1)～R(20)的最佳接合系数C(1)～C(20)且TH1＝20。

本发明补偿装置52及对应性产生器53可以软体、硬体、或软体(或韧体)及硬体的组合来实施，一单纯解决方案的例子是现场可编程栅阵列(field programmable gatearray)或一特殊应用集成电路(application specific integrated circuit)。一较佳实施例中，该顶点处理装置510以及该影像处理装置520利用一图形处理单元(GraphicsProcessing Unit)以及一第一程序存储器来实施；该拼接决策单元530及该对应性产生器53利用一第一一般用途(general-purpose)处理器以及一第二程序存储器来实施。该第一程序存储器存储一第一处理器可执行程序，而第二程序存储器存储一第二处理器可执行程序。当该图形处理单元执行该第一处理器可执行程序时，该图形处理单元被组态(configured)以运作有如：该顶点处理装置510以及该影像处理装置520。当该第一一般用途处理器执行该第二处理器可执行程序时，该第一一般用途处理器被组态以运作有如：该拼接决策单元530及该对应性产生器53。

另一实施例中，该补偿装置52及对应性产生器53利用一第二一般用途处理器以及一第三程序存储器来实施。该第三程序存储器存储一第三处理器可执行程序。当该第二一般用途处理器执行该第三处理器可执行程序时，该第二一般用途处理器被组态以运作有如：该顶点处理装置510、该拼接决策单元530、该对应性产生器53以及该影像处理装置520。

上述仅为本发明的较佳实施例而已，而并非用以限定本发明的申请专利范围；凡其他未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在本申请权利要求的范围内。