多视角立体影像产生方法及系统

技术领域

本发明涉及校正影像与输出多视角立体影像的技术领域，尤其有关于适用于裸眼显示器的一种多视角立体影像产生方法及系统。

背景技术

现有多视角立体影像的撷取与运算的其中一方式是通过架设固定的轨道，以及滑行于轨道上的摄影装置，进而拍摄不同时间与不同角度的影像。接着，再进行校正运算以得出多视角立体影像。然而，上述的方法被拍摄者以及背景必须于拍摄期间都维持不动，因此，现有方法仅适用于静态画面的撷取，则无法捕捉瞬间的画面。并且，由于必须先架设轨道，导致其使用上的便利度有加强空间。

发明内容

本发明提供一种多视角立体影像产生方法及多视角立体影像产生系统，这多视角立体影像产生方法及系统可输出具有校正后且保有透视感的多视角立体影像。

本发明实施例的多视角立体影像产生方法，包括以下步骤：处理器接收影像获取装置所拍摄的影像，以获得影像之中的基准影像以及待校正影像；处理器依据基准影像以及待校正影像以分别运算出每一个待校正影像映射于基准影像的多个单应性矩阵；处理器依据单应性矩阵以分别对每一个单应性矩阵执行矩阵拆解运算，以获得单应性矩阵之中每一个单应性矩阵的校正矩阵；基于校正矩阵，使处理器对待校正影像分别执行校正运算以获得多个校正影像；使处理器输出多视角立体影像，其中多视角立体影像包括基准影像以及校正影像。

本发明实施例的多视角立体影像产生系统包括(但不仅限于)影像获取装置及处理器。影像获取装置用以拍摄设置有实体校正板的影像。处理器耦接影像获取装置。处理器经配置用以接收影像获取装置所拍摄的影像以获得影像之中的基准影像以及多个待校正影像，依据基准影像以及待校正影像以分别运算出每一个待校正影像映射于基准影像的多个单应性矩阵，依据单应性矩阵分别对每一个单应性矩阵执行矩阵拆解运算以获得单应性矩阵之中每一个单应性矩阵的校正矩阵，基于校正矩阵对待校正影像分别执行一校正运算以获得多个校正影像，组合输出多视角立体影像。多视角立体影像包括基准影像以及校正影像。

基于上述，通过拆解单应性矩阵，藉此提取仿射矩阵以及相似矩阵以作为校正矩阵。藉此，令输出的多视角立体影像具有校正后的流畅感(即，不会有位置的偏差)同时保有透视感，解决了现有直接乘以单应性矩阵导致立体画面的立体感不够以及影像对齐的问题，并达到影像之间校正的功效。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1是依据本发明一实施例的多视角立体影像产生系统的方块图。

图2是依据本发明一实施例的多视角立体影像产生系统的示意图。

图3是依据本发明的一种多视角立体影像产生方法的流程图。

图4是依据本发明的内插运算的示意图。

图5是依据本发明的平移处理的示意图。

图6是依据本发明的内插运算以及平移处理的示意图。

附图标号说明

1：多视角立体影像产生系统；

110：影像获取装置；

120：处理器；

130：存储装置；

CB：实体校正板；

CP：棋盘格图样；

P1、P2、Pd：待校正影像；

H

H

T：平移矩阵；

T

Pd、Pd’：基准影像；

S1、S2：虚拟影像；

C1、C2、C3、C4、C5、Cm-1、Cm：校正影像；

C1’、C2’、C3’、C4’、C5’、Cm-1’、Cm’：经平移处理的校正影像；

SC1、SC3：虚拟影像；

SC1’、SC3’：经平移处理的虚拟影像；

S310～S360：步骤。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。

图1是依据本发明一实施例的多视角立体影像产生系统1的方块图。请参照图1，多视角立体影像产生系统1包括影像获取装置110以及处理器120。在此，处理器120透过有线连接或是无线连接的方式，耦接至影像获取装置110。即，影像获取装置110利用有线传输或是无线传输的方式与处理器120进行沟通，使得处理器120得以自影像获取装置110接收数据。

于另一实施例中，多视角立体影像产生系统1还包括存储装置130及多视角立体影像显示器。处理器120透过有线连接或是无线连接的方式耦接至存储装置130及多视角立体影像显示器。即，存储装置130及多视角立体影像显示器利用有线传输或是无线传输的方式与处理器120进行沟通，使得处理器120得以自存储装置130存取数据，并且传送数据至多视角立体影像显示器。

影像获取装置110例如是采用电荷耦合组件(Charge coupled device，CCD)镜头、互补式金氧半晶体管(Complementary metal oxide semiconductor transistors，CMOS)镜头的摄影机、照相机等。

处理器120例如为中央处理单元(Central Processing Unit，CPU)、影像处理单元(Graphic Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、可程序化之微处理器(Microprocessor)、嵌入式控制芯片、数字信号处理器(Digital SignalProcessor，DSP)、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)或其他类似装置。

存储装置130可以是任何型态的固定或可移动随机存取内存(Radom AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(flash memory)、传统硬盘(HardDisk Drive，HDD)、固态硬盘(Solid-State Drive，SSD)或类似组件。在一实施例中，存储装置130用以储存程序代码、软件模块、组态配置、数据(例如，影像、待校正影像、基准影像、校正影像、单应性矩阵、校正矩阵、或多视角立体影像)或档案。在本实施例中，存储装置130可耦接印刷输出装置，以将处理器所输出的多视角立体影像透过印刷装置输出多视角立体图片。印刷装置可以是光栅印刷(Lenticular printing)装置。

多视角立体影像显示器可以是裸眼式立体(Without glasses,autostereoscopic)显示器、时间多任务式(Temporal multiplexed)立体显示器、空间多任务式(Spatial multiplexed)立体显示器、头戴式显示器(Head mount display)、多层深度式屏幕(Depth-fused multi-layer)、全像式(Holographic)显示器、容积式(volumetric)显示器及/或其他类型适合的显示器，或者是具有前述显示器的电子装置，但本发明不限于此。在本实施例中，多视角立体影像显示器显现处理器所输出的多视角立体影像，以实时(Real-time)地呈现经校正处理且/或平移处理的多视角立体影像。印刷装置可以是光栅印刷(Lenticular printing)装置。

图2是依据本发明一实施例的多视角立体影像产生系统的示意图。在多视角立体影像产生系统1中，利用复数个影像获取装置110来拍摄多张影像。其中多张影像为以不同角度对设置有实体校正板CB的画面进行拍摄所获得的影像。处理器120透过将上述多张影像，计算出影像相对于基准影像的单应性矩阵，进一步再将每个影像的单应性矩阵拆解成仿射、透视与相似矩阵。基于将上述仿射矩阵与相似矩阵作为校正矩阵的特征，令多视角立体影像产生系统1与方法所输出的多视角立体影像于视觉上具有校正后的流畅感以及保有透视感。在此，实体校正板CB平面上的图样例如为规则的彩色棋盘格图样CP，也可以是具有可识别图案的墙面，然，并不以此为限。

另外，在其他实施例中，处理器120可设置于影像获取装置110中。而在其他实施例中，也可将影像获取装置110、处理器120以及存储装置130整合至同一装置。例如是具有照相、摄影以及投影功能的个人计算机、笔记本电脑、智能型手机以及平板计算机，本发明不以此为限。

以下即配合上述多视角立体影像产生系统1来说明本发明的多视角立体影像产生方法各步骤。图3是依据本发明的一种多视角立体影像产生方法的流程图。请同时参照图1至图3，在步骤S310中，多个影像获取装置110分别撷取设置有一实体校正板的多个影像，且影像是包括实体校正板CB的影像。具体而言，多个影像获取装置110彼此相邻，且多个影像获取装置110之中相邻的影像获取装置有介于0.5度至10度之间的夹角。于本实施例中，多个影像获取装置110为横向设置，即多个影像获取装置110皆设置于同一水平上，且每一影像获取装置110于同一瞬间下各拍摄/撷取设置有校正用的校正平面(实体校正板CB)的影像。举例来说，影像获取装置110的数量为6个之时，每个影像获取装置110皆撷取一个影像，因此影像获取装置110将输出6个影像至处理器120。于本实施例中，相邻的影像获取装置110彼此的夹角为0.9度至1.1度，以令本发明的多视角立体影像产生方法和系统能够输出视觉上更加顺畅且具有立体感的多视角立体影像。在影像获取装置110拍摄包括有实体校正板CB的影像，且将影像传送至处理器120，即，执行步骤S320。

在步骤S320中，处理器120接收影像获取装置110所拍摄的影像，以获得影像之中的基准影像以及待校正影像。具体而言，处理器120接收影像获取装置110所拍摄的复数影像，且处理器120分析以从复数影像中获得基准影像以及待校正影像。举例来说，当影像获取装置110的数量为奇数之时，上述基准影像为位于正中间的影像获取装置110所拍摄/撷取的影像。另一方面，当影像获取装置110的数量为偶数之时，多个影像获取装置110之中最靠近正中间的二影像获取装置110所撷取到的二个影像，对上述二个影像进行内插运算所得出的影像作为基准影像。关于内插运算将于下方说明。接着，处理器120分析出基准影像之后，其余的影像皆为待校正影像。并且，于处理器120获得基准影像以及待校正影像之后，即，执行步骤S330。

在步骤S330中，处理器120依据基准影像以及待校正影像以分别运算出每一个待校正影像映射于基准影像的多个单应性(homography)矩阵。每个影像拍摄时其画面包括有实体校正板。并且，实体校正板CB的图样例如为规则的棋盘格图样CP，然而，本发明不应以此为限。值得说明的是，于本实施例中，实体校正板上印有彩色图案，因此，处理器120可通过实体校正板上的彩色图案将待校正影像与基准影像进行影像中特征点的位置校正转换以及色彩校正转换。于本发明之中，色彩校正并不仅以基准影像的色彩为限，而是经过色彩校正转换后，基准影像以及多个待校正影像之间无色彩差异即属于本发明所提及的色彩校正转换。值得说明的是，本发明具有利用同一实体校正板CB(即，校正板)完成位置与色彩校正的功效，且于实际操作上墙壁或放置于拍摄者附近的板子上印有色彩图案，即可作为本发明的实体校正板CB。具体而言，处理器120使用特征侦测方法，找出待校正影像以及基准影像中的多个特征点x'

接着，单应性矩阵H例如为3×3的矩阵。在此，单应性矩阵用于描述影像获取装置110所拍摄到的平面坐标与基准影像之间的投影转换。单应性矩阵H是用来描述齐次坐标中(homogenous coordinate)的平面到另一个平面的投影运算。如用3X3矩阵来表示单应性矩阵H如方程式(1)，其中x'

H为

且x为

换句话说，单应性矩阵H为待校正影像中的特征点与基准影像中的特征点之间的映像转换。接着，为了要解出单应性矩阵H，假设由影像获取装置110的坐标的特征点为x

方程式(1):

方程式(2):

x′

而方程式(1)与方程式(2)可以改写并简化为方程式(3)与方程式(4)，最后以奇异值分解(SVD)来解出单应性矩阵H。其中可以采用现有的奇异值分解(Singular ValueDecomposition,SVD)方法来整理方程式(2)，进而将H值计算出。更详细地说明整理方程式(2)的具体作法，将H矩阵个别拆解成行向量，例如，方程式(3)中h

方程式(3):

方程式(4):

当单应性矩阵H计算出来后相当于一个回归矩阵。因此根据单应性矩阵H，于影像获取装置110所拍摄的坐标系上的任意一点xi乘以单应性矩阵H即可计算出已知的坐标系之坐标值x'i。

处理器120根据上述公式运算出每一个待校正影像映射于基准影像的单应性矩阵H，接着执行步骤S340。

并且，在步骤S340中，处理器120依据单应性矩阵以分别对每一个单应性矩阵执行一矩阵拆解运算，以获得每一个单应性矩阵H的校正矩阵。其中，单应性矩阵H包含了影像的旋转、平移、缩放、仿射与透视投影之矩阵组合。于步骤S340中，还包括以下步骤:处理器120依据执行矩阵拆解运算，将每一个单应性矩阵H拆解成一透视矩阵、一相似矩阵以及一仿射矩阵，以及处理器120将相似矩阵以及仿射矩阵作为上述校正矩阵。进一步地说，可将单应性矩阵H分解为透视(Perspective)变换矩阵Hp、仿射(affine)变换矩阵H

方程式(5):

处理器120运算出每一个待校正影像相对于基准影像的校正矩阵之后，接着，执行步骤S350。在步骤S350中，基于校正矩阵，处理器120对待校正影像分别执行校正运算以获得多个校正影像。具体而言，校正运算为将每一个待校正影像乘以其对应的校正矩阵，以得出校正影像。接着执行步骤S360，在步骤S360中，处理器120输出多视角立体影像。多视角立体影像包括基准影像以及校正影像。补充说明的是，通过将仿射变化矩阵H

于另一实施例，于步骤S330之中，还包括处理器120对待校正影像与基准影像分别执行枢轴校正处理，其中枢轴校正处理是依据枢轴矩阵进行运算。接着，处理器120对经枢轴校正处理的待校正影像运算出每一个待校正影像映射于经枢轴校正处理的基准影像的单应性矩阵H。

接着，于步骤S350之中，还包括处理器120对待校正影像分别执行校正运算以及补偿运算，以获得校正影像；其中补偿运算是依据枢轴矩阵的反矩阵进行运算。具体而言，枢轴(Pivot)校正处理为先将待校正影像以及基准影像根据其影像内容中的校正板中心点平移至原点后，才进行后续利用单应性矩阵进行的校正运算。并且，将进行校正运算后的影像以及基准影像进行补偿运算，以将影像(例如，校正板的中心点)平移至初始位置。换句话说，补偿运算是将上述枢轴校正处理的枢轴平移矩阵补偿回原本的位置。于另一实施例中，补偿运算是乘以基准影像的反矩阵(如，本实施例中的T

举例来说，待校正影像的齐次坐标中心为(x

方程式(6):

/>

方程式(7):

接着，待校正影像的中心点为(x

方程式(8):

方程式(9):

由上述可以得知，在这实施例中，待校正影像与基准影像之间的校正板之单应矩阵为H(即，从待校正影像映像至基准影像)。则我们所需进行枢轴(Pivot)校正处理的单应性矩阵为T

方程式(10)：

换句话说，H

由于，于本实施例中，其校正矩阵(即，H

举例来说，假设待校正影像为I

方程式(11)：

I

单应性矩阵为当影像乘以枢轴校正处理的枢轴平移矩阵之后，其影像(例如，实体校正板的特征点)的中心点将重迭于象限原点。接着，经枢轴校正处理的影像进行校正运算后，再乘以枢轴平移矩阵的反矩阵(Inverse)以平移回原本的位置。如此一来，先经枢轴校正处理的再进行校正运算的影像可以避免影像于校正处理时产生偏差(bias)以及影像部分画面被不等比例的放大的情况，进而令输出的多视角立体影像更加稳定与和谐。补充说明的是，于本发明中所提及的中心点与坐标中心可以是呈现于(即，被摄影)待校正影像或基准影像之中的实体校正板的特征点之中心。

于另一实施例，于步骤S360之中，还包括使处理器120对基准影像以及校正影像之中彼此相邻的每二个影像执行内插运算，以得出多个虚拟影像。接着，处理器120输出多视角立体影像，这多视角立体影像包括基准影像、校正影像以及虚拟影像。接着，处理器120对经枢轴校正处理的待校正影像运算出每一个待校正影像映射于经枢轴校正处理的基准影像的单应性矩阵H。图4是依据本发明的内插运算的示意图。举例说明，第一待校正影像P1、第二待校正影像P2与基准影像Pd。其中，I1为第一待校正影像P1的影像数据，I2为第一待校正影像P1的影像数据，Is1与IS2为介于第一待校正影像P1与第二待校正影像P2间三等份间距位置的内插影像(即，虚拟影像S1、S2)的影像数据，其之间的投影转换方程式为如方程式(12)和方程式(13)。于本发明中，通过内插运算的技术令本发明之多视角立体影像产生系统1与方法具有设置少数影像获取装置即可运算出包含多张校正影像以及多张虚拟影像的多视角立体影像，进而达到设置成本低同时输出高度立体感的多视角立体影像的优点。

方程式(12):

方程式(13):

于另一实施例，于步骤S360之中，还包括处理器120分别对校正影像进行平移处理，以得出经平移的校正影像。更详细地说明，校正影像与基准影像根据其对应的影像获取装置的相对位置依序作排列。并且，平移处理为校正影像根据其与基准影像之间的相对N个距离乘以N个平移矩阵。具体而言，N为正整数，若校正影像位于基准影像的右侧(即，所对应的影像获取装置110的相对位置)，则乘以N个平移矩阵；若校正影像位于基准影像的左侧，则乘以N个平移矩阵的反矩阵。如此一来，本发明之多视角立体影像产生系统与方法，通过将校正影像进行平移处理后以令其输出的多视角立体影像整体画面的呈现更加扩大，且令其视觉上还具有三维效果。于另一实施例中，使用者亦可通过将校正影像经过平移处理后令输出的多视角立体影像整体画面向中间平移，令其视觉上的三维效果更加顺畅与平滑。

图5是依据本发明的平移处理的示意图。如图5所示，举例来说，于此实施例中校正影像加上基准影像Pd的总数量为7个，且平移矩阵T如方程式(14)所示，则此实施例中基准影像为依序排列于第四个的影像，因此基准影像Pd的d等于4。接着，以第m校正影像Cm为例，由于此实施例的影像数量为7个，因此第m校正影像Cm为依序排列的第七个影像。第m校正影像与基准影像Pd之间的相对距离为3，故第m校正影像乘以3个平移矩阵T。而当第i个校正影像位于基准影像Pd的左侧时，其平移矩阵T’为上述平移矩阵T的反矩阵T-1，其方程式如方程式(15)所示。也就是说，第一校正影像C1位于基准影像Pd的左侧(即，i小于d)，则第一校正影像C1乘以3个平移矩阵T-1。

方程式(14):

方程式(15):

/>

补充说明的是，上述实施例中，平移矩阵T是以3个像素(pixel)为例。因此，平移矩阵的单位增量可依据用户的需求调整为1至任意数像素。举例来说，若平移矩阵的增量单位为2，则方程式(13)的矩阵数组中3替换为2，以此类推。

于另一实施例，于步骤S360之中，还包括处理器120分别对校正影像以及虚拟影像进行平移处理，以得出经平移处理的校正影像以及经平移处理的虚拟影像。图6是依据本发明的内插运算以及平移处理的示意图。如图6所示，这实施例中，影像获取装置的数量为4个，因此经校正处理的校正影像(C1、C2、C3、C4)为四个，且经过上述内插运算所得出的虚拟影像(SC1、Pd’、SC3)为3个。并且，这实施例中其基准影像Pd’为第二待校正影像与第三待校正影像经过内插运算所得出的基准影像Pd’。由图6可以得知，第四校正影像C4与基准影像Pd’之间的距离为3，因此第四校正影像C4乘以3个平移矩阵T以完成平移处理。接着，处理器120输出包括经平移处理的校正影像(C1’、C2’、C3’、C4’)、经平移处理的虚拟影像(SC1’、SC3’)及基准影像Pd’的多视角立体影像。补充说明的是，本发明的多视角立体影像产生系统与方法于实际使用时其影像获取装置110与被拍摄者的距离可设置为1至3公尺，更佳地，上述影像获取装置110与被拍摄者的距离为2.5公尺至3公尺。但本发明亦可应用于自然景观的拍摄(距离大于3公尺，或更远)，因此本案不应以次为限。

综上所述，在本发明实施例的多视角立体影像产生系统与方法中，通过将单应性矩阵拆解成透视变换矩阵、仿射变换矩阵以及相似变换矩阵，并将仿射变换矩阵与相似变换矩阵作为本发明的校正矩阵。藉此，令本发明之多视角立体影像产生系统与方法所输出的多视角立体影像之中的影像彼此通过校正板的校正，但同时保有透视的效果。并且，通过枢轴校正处理以及平移处理可令多视角立体影像更加稳定以及其三维效果可依据使用者与实际使用情况做调整。值得说明的是，通过内插运算令本发明的多视角立体影像产生系统与方法可以设置有少量的影像获取装置(例如，照相机)即可输出多张校正影像，以使得运算处理更少以及运算时间更快，进而达到拍摄后实时呈现或实时输出成立体照片的功效。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。