平面物件的增强现实渲染方法

技术领域

本发明涉及一种平面物件的增强现实渲染方法。

背景技术

增强现实(Augmented Reality，AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。一般来说，增强现实可以分成两个主要阶段：图像辨识的阶段以及根据辨识的结果来将对应的增强现实内容叠加在图像上并显示的阶段。

在传统的增强现实技术中会对图像进行图像辨识来确认图像中标记图的位置。当标记图的位置确认后，虚拟物体便会根据标记图的位置来显示。然而，在增强现实的景象中叠加的虚拟物体时，这些虚拟物体常常会遮蔽到原有的现实背景中的物体，而造成整体的显示图像不自然。据此，如何能够提出一种增强现实渲染方法来让虚拟物体不会影响现实物体的呈现，是本领域技术人员所共同致力的目标。

发明内容

本发明提出一种平面物件的增强现实渲染方法，能够产生适当的虚拟物体来叠加在现实背景上，使得用户所看到的增强现实图像更加自然。

根据本发明的实施例，平面物件的增强现实渲染方法包括以下步骤：取得现实图像与理想图像，其中现实图像包括标记图所在的第一图像，理想图像包括已知图样；基于第一图像与理想图像之间的相对关系，将第一图像映射为校正图像；基于理想图像或校正图像的影像数值，对应调整校正图像或理想图像的图像特性，以产生调整后的校正图像或是调整后的理想图像；以及根据理想图像与调整后的校正图像或调整后的理想图像与校正图像的差异区域以及第一图像在现实图像中的位置渲染虚拟物体，以产生显示图像，其中虚拟物体避开差异区域。

在根据本发明的实施例的平面物件的增强现实渲染方法中，上述基于第一图像与理想图像之间的相对关系，将第一图像映射为校正图像的步骤包括：对现实图像与理想图像进行特征点侦测，以识别现实图像与理想图像的多个特征点配对；以及根据多个特征点配对找出现实图像与理想图像的相对关系，并基于相对关系将第一图像映射为校正图像。

在根据本发明的实施例的平面物件的增强现实渲染方法中，上述根据多个特征点配对找出现实图像与理想图像的相对关系，并基于相对关系将第一图像映射为校正图像的步骤包括：根据多个特征点配对中的特征点，利用线性转换建立转换矩阵；以及利用转换矩阵将第一图像映射为校正图像。

在根据本发明的实施例的平面物件的增强现实渲染方法中，上述图像特性是对比度、饱和度、色调、亮度或色差等至少其中之一。

在根据本发明的实施例的平面物件的增强现实渲染方法中，上述基于理想图像或校正图像的影像数值，调整校正图像或理想图像的图像特性，以产生调整后的校正图像或调整后的理想图像的步骤包括：将校正图像分割为多个第一区块，并将理想图像分割为多个第二区块；计算各多个第一区块与位置对应的多个第二区块之间的多个亮度比值；设定多个亮度比值的中位数为调整参数；以及依据调整参数调整校正图像或理想图像的亮度，以产生调整后的校正图像或调整后的理想图像。在根据本发明的实施例的平面物件的增强现实渲染方法中，上述基于理想图像或校正图像的影像数值，调整校正图像或理想图像的图像特性，以产生调整后的校正图像或调整后的理想图像的步骤包括：将校正图像分割为多个第一区块，并将理想图像分割为多个第二区块；计算各多个第一区块与位置对应的多个第二区块之间的多个色差比值；设定多个色差比值的中位数为调整参数；以及依据调整参数调整校正图像或理想图像的颜色，以产生调整后的校正图像或调整后的理想图像。

在根据本发明的实施例的平面物件的增强现实渲染方法中，上述色差比值是红绿颜色的比值以及蓝绿颜色的比值。

在根据本发明的实施例的平面物件的增强现实渲染方法中，上述根据理想图像与调整后的校正图像或调整后的理想图像与校正图像的差异区域以及第一图像在现实图像中的位置渲染虚拟物体，以产生显示图像的步骤包括：利用图像匹配比对理想图像与调整后的校正图像或比对调整后的理想图像与校正图像以产生差异区域。

根据本发明的实施例，平面物件的增强现实渲染方法包括以下步骤：取得现实图像与理想图像，其中现实图像包括标记图所在的第一图像，理想图像包括已知图样；基于第一图像与理想图像之间的相对关系，将第一图像映射为校正图像；基于理想图像及校正图像的影像数值，对应调整校正图像与理想图像的图像特性，以产生调整后的校正图像及调整后的理想图像；以及根据调整后的校正图像及调整后的理想图像的差异区域以及第一图像在现实图像中的位置渲染虚拟物体，以产生显示图像，其中虚拟物体避开差异区域。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1显示本发明一实施例中增强现实系统的框图；

图2显示本发明一实施例中平面物件的增强现实渲染方法的流程图；

图3显示本发明一实施例中取得现实图像的示意图；

图4显示本发明一实施例中理想图像的示意图；

图5显示本发明一实施例中转换现实图像的示意图；

图6显示本发明一实施例中调整校正图像的示意图；

图7显示本发明一实施例中在显示图像中叠加虚拟物体的示意图；

图8显示本发明一实施例中在显示图像中叠加虚拟物体的示意图。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在图式和描述中用来表示相同或相似部分。

图1显示本发明一实施例中增强现实(Augmented Reality，AR)系统的框图。请参考图1，增强现实系统100包括影像获取装置110、处理器120以及显示器130，其中，处理器120耦合于影像获取装置110以及显示器130。增强现实系统100是利用包括标记图的第一图像来定位虚拟物体的系统。详细来说，处理器120会对影像获取装置110所拍摄到的图像进行图像辨识来找出第一图像在图像中的位置，同时处理器120可解析第一图像所对应的虚拟物体并取得其三维立体空间位置，随后处理器120会参考第一图像在图像中的位置来渲染虚拟物体并且将其通过显示器130加以显示。在一些实施例中，第一图像的标记图例如是对应于用户自定义的图样或预设的简单图片，本发明并不在此限制。

影像获取装置110用以捕获影像。在一些实施例中，影像获取装置110例如是深度摄影机(depth camera)或立体摄影机，或任何具有电荷耦合器件(Charge coupleddevice，CCD)镜头或互补金属氧化物半导体晶体管(Complementary metal oxidesemiconductor transistors，CMOS)镜头等的摄影机、照相机，本发明并不在此限制。

处理器120用以分析并处理影像获取装置110所捕获的图像，处理器120产生图像信号，并且通过显示器130来显示增强现实的影像，以完成增强现实系统100的平面物件的增强现实渲染方法。在一些实施例中，处理器120例如是中央处理单元(CentralProcessing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、专用集成电路(Application Specific Integrated Circuits，ASIC)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field-programmable GateArray，FPGA)或其他类似装置或这些装置的组合，本发明并不在此限制。

显示器130用以接收来自处理器120的图像信号并对应地显示图像，以使得用户能够看到显示器130所显示的图像。在一些实施例中，显示器130例如是液晶显示器(LiquidCrystal Display，LCD)或发光二极管(Light Emitting Diode，LED)等平面显示器、或者为投影显示器、抑或是软性显示器(soft display)等，本发明并不在此限制。

图2显示本发明一实施例中平面物件的增强现实渲染方法的流程图。请同时参照图1及图2，本实施例的方法适用于图1中的增强现实系统100，故以下将搭配图1的增强现实系统100的各项装置与元件说明本实施例的平面物件的增强现实渲染方法的详细步骤。

首先，在步骤S202中，处理器120会取得现实图像与理想图像，其中现实图像包括标记图所在的第一图像，理想图像包括已知图样。其中，第一图像对应於理想图像，且标记图对应于已知图样。详细来说，第一图像的标记图是将可对应至特定虚拟物体的已知图样印制在卡片上，以让用户利用影像获取装置110采集图像后，可以通过图像特征比对来确定第一图像的标记图是对应哪一个理想图像的已知图样，以决定要渲染哪一个虚拟物体。因此，标记图会对应至多个预先设定好的理想图像的已知图样之一。

具体来说，处理器120会通过影像获取装置110来进行拍摄，以取得影像获取装置110的视野范围内的现实图像。然而，影像获取装置110拍摄到的第一图像可能被其它物体遮蔽，因此不一定会完整的对应至理想图像。若不考虑遮蔽物体的位置直接将理想图像对应的虚拟物体渲染在第一图像上，虚拟物体可能会覆盖在遮蔽第一图像的物体上，而造成不自然的情形。

在一些实施例中，影像获取装置110的视野范围内例如包括绘制标记图的卡片以及拿着卡片的手。因此，影像获取装置110会拍摄到如图3所示的现实图像R1，其中现实图像R1包括标记图所在的第一图像IMG1以及手部图像F1。在图3的实施例中，标记图例如为多个正方形或其他形状的几何图形组合而成的图样，例如第一图像IMG1上绘制的图样。在其它实施例中，标记图也可以是图片，或者同时包括图样和图片，本发明未限制标记图包括的图样。在图4的实施例中，理想图像IDL1例如包括由三个区块401组成的已知图样，此已知图样与图3中第一图像IMG1上绘制的图样相对应。在其它实施例中，由于理想图像IDL1的已知图样与第一图像IMG1的标记图相对应，因此已知图像同样可例如是图样、图片或者同时配置图样和图片于理想图像中，本发明未限制已知图样包括的图样。

值得一提的是，由于影像获取装置110的拍摄角度、手持卡片的状态以及透视(perspective)原理等因素，第一图像IMG1可能不会完全相同于理想图像IDL1。举例来说，虽然理想图像IDL1是长方形，但在图3所示的现实图像R1中的第一图像IMG1却显示为梯形，因此第一图像IMG1的标记图也受影响而改变形状。

在本实施例中，若根据第一图像IMG1渲染虚拟物体，则虚拟物体可能会覆盖在手部图像F1上，将造成显示的虚拟物体不会呈现出在真实世界中，手持物体时手部会遮蔽手持物体的状态，因此渲染后的图像看起来会不自然。基此，本发明根据理想图像调整第一图像，并通过理想图像和调整后的第一图像之间的差异区域，来决定遮蔽第一图像的现实物体的范围，避免渲染的虚拟物体遮蔽现实物体，以下进行详细说明。

在步骤S204中，处理器120会基于第一图像与理想图像之间的相对关系，将第一图像映射为校正图像。具体来说，处理器120会根据第一图像与理想图像之间的相对关系来将第一图像映射为形状与理想图像相同的校正图像。

详细来说，处理器120会对现实图像与理想图像进行特征点侦测，以识别现实图像与理想图像的多个特征点配对。接着，处理器120根据多个特征点配对找出现实图像与理想图像的相对关系，并基于相对关系将第一图像映射为校正图像。在一些实施例中，处理器120例如是对现实图像与理想图像采用尺度不变特征变换(Scale-Invariant FeatureTransform，简称SIFT)检测得到关键点，并对现实图像与理想图像中的关键点进行匹配，以得到现实图像与理想图像之间的多个特征点配对。在其它实施例中，取得现实图像与理想图像之间特征点配对的方法也可以采用FAST(Features from Accelerated SegmentTest)检测、ORB(Oriented FAST and Rotated BRIEF)检测等其它检测方法，本发明不在此限制特征点的匹配方法。

在一些实施例中，上述的相对关系例如是表示为转换矩阵，为了能够求解以得到转换矩阵，在一些实施例中，特征点配对的数量不小于4个。然而，本发明并不在此限制特征点配对的具体数量。详细来说，处理器120例如是根据多个特征点配对中的多个特征点，利用直接线性转换建立转换矩阵。处理器120会根据上述特征点配对中现实图像的各个特征点位置，以及上述特征点配对中理想图像的各个特征点位置，以找出现实图像的第一图像与理想图像之间的转换矩阵。接着，处理器120利用转换矩阵将第一图像映射为校正图像。在一实施例中，转换矩阵例如是单应性矩阵(Homography Matrix)。换句话说，经转换後产生的校正图像可以视为是将影像获取装置110的镜头正对第一图像时所获取的影像，因此在经转换的校正图像中，第一图像的标记图并不会产生形变，校正图像中的第一图像的标记图与理想图像的已知图样形状相同。

在将第一图像映射为校正图像后，在步骤S206中，处理器120会基于理想图像的影像数值，调整校正图像的图像特性，以产生调整后的校正图像，图像特性可以是对比度、饱和度、色调、亮度或色差等至少其中之一。以下将以亮度或色差作举例，其中处理器120可以只调整校正图像的亮度或色差，也可以先后调整校正图像的亮度及色差。然而，一般而言亮度调整及色差调整之间不会互相影响，因此本发明不在此限制调整亮度或色差的先后顺序。

具体来说，在调整亮度的部分，处理器120会将校正图像分割为多个第一区块，并将理想图像分割为多个第二区块。接着处理器120计算各个第一区块与位置对应的各个第二区块之间的多个亮度比值，设定各亮度比值的中位数为调整参数。随后，处理器120会依据调整参数调整校正图像的亮度，以产生调整后的校正图像。另一方面，在调整色差的部分，处理器120将校正图像分割为多个第一区块，并将理想图像分割为多个第二区块。接著，处理器120计算各个第一区块与位置对应的各个第二区块之间的多个色差比值，并设定多个色差比值的中位数为调整参数。随后，处理器120依据调整参数调整校正图像的颜色，以产生调整后的校正图像。在一实施例中，以RGB(红、绿、蓝)图像为例，色差比值例如是红绿颜色的比值R/G以及蓝绿颜色的比值B/G。

通过上述步骤调整校正图像的亮度或色差以产生调整后的校正图像，此调整后的校正图像的影像强度(Intensity)及白平衡(White Balance)会接近理想图像的影像强度及白平衡，有利于后续找出遮蔽第一图像的现实物体的范围，例如找出图3中遮蔽第一图像IMG1的手部图像F1的范围。

最后，在步骤S208中，处理器120会根据理想图像与调整后的校正图像的差异区域以及第一图像在现实图像中的位置渲染虚拟物体，以产生显示图像。具体来说，处理器120利用图像匹配比对理想图像与调整后的校正图像以产生两个图像中的差异区域，并且处理器120在第一图像中差异区域以外的区域渲染虚拟物体，以产生显示图像。值得一提的是，所述差异区域即表示遮蔽第一图像的现实物体的范围，因此处理器120在差异区域以外的区域渲染虚拟物体，可避免虚拟物体覆盖遮蔽第一图像的现实物体。在不同实施例中，处理器120例如是利用绝对误差和算法(Sum of Absolute Differences，简称SAD)、误差平方和算法(Sum of Squared Differences，简称SSD)、归一化积相关算法(Normalized CrossCorrelation，简称NCC)或其他习知的图像匹配算法决定理想图像与调整后的校正图像之间差异区域，本发明不在此限制所使用的图像匹配算法。

在产生显示图像后，处理器120会根据第一图像在现实图像中的位置，显示显示图像于显示器130。以下将利用图1至图7来举实施例对上述流程进行详细说明。

图3显示本发明一实施例中取得现实图像的示意图，图4显示本发明一实施例中理想图像的示意图。请先参照图1至图4，在步骤S202中，首先处理器120控制影像获取装置110拍摄视野范围内的现实图像R1，现实图像R1包括第一图像IMG1以及手部图像F1。在影像获取装置110拍摄现实图像R1后，处理器120通过图像特征比对来找出现实图像R1中对应预先设定好的理想图像之一的第一图像IMG1。在本实施例中，处理器120取得现实图像R1以及图4中的理想图像IDL1，其中理想图像IDL1包括由三个区块401组成的已知图样，此已知图样与第一图像IMG1上绘制的图样相对应。

随后，在步骤S204中，处理器120根据现实图像R1与理想图像IDL1进行特征点侦测的结果识别现实图像R1与理想图像IDL1的多个特征点配对。接着，处理器120根据多个特征点配对找出现实图像R1与理想图像IDL1的相对关系，并基于相对关系将第一图像IMG1映射为校正图像。

图5显示本发明一实施例中转换现实图像的示意图。详细来说，请参照图5，处理器120利用特征点侦测对现实图像R1与理想图像IDL1中的特征点进行匹配，以得到现实图像R1与理想图像IDL1之间的多个特征点配对，其中，特征点侦测方法例如是SIFT检测、FAST检测、ORB检测或其它检测方法，但本发明并不限于此。随后，处理器120根据多个特征点配对中现实图像R1的各个特征点位置P1、P2、P3、P4的位置，以及上述特征点配对中理想图像IDL1的各个特征点位置P1’、P2’、P3’、P4’，来建立转换矩阵，以使第一图像IMG1经由转换矩阵映射后产生的校正图像R1’的形状会相同于理想图像IDL1。

详细来说，处理器120先设定理想图像IDL1的各个特征点位置P1’、P2’、P3’、P4’的座标为现实图像R1中第一图像IMG1经转换后的坐标，然后根据方程式“p’＝Hp”来得到转换矩阵H。其中，p’是用以表示经转换后的多个特征点P1’、P2’、P3’、P4’的座标，而p是用以表示多个特征点P1、P2、P3、P4在现实影像R1的第一图像IMG1中的座标。在一些实施例中，转换矩阵H为单应性矩阵，但本发明并不限于此。值得一提的是，为了能够求解以得到转换矩阵，在一些实施例中，特征点的数量不小于4个。然而，本发明并不在此限制特征点的具体数量。

在将第一图像映射为校正图像R1’后，在步骤S206中，处理器120会基于理想图像IDL1的影像数值，调整校正图像R1’的图像特性，例如亮度或色差至少其中之一，以产生调整后的校正图像。详细来说，图6显示本发明一实施例中调整校正图像的示意图。请参照图6，在调整亮度的部分，处理器120会将校正图像R1’分割为多个第一区块A1～A6，并将理想图像IDL1分割为多个第二区块A1’～A6’。其中，第一区块与第二区块的数量也可以是8个、16个或是更多个区块，分割成更多个区块会增加后续处理程序中找出差异区域的准确性，本发明并不限制分割区块的数量。随后，处理器120计算各个第一区块A1～A6与位置对应的各个第二区块A1’～A6’之间的多个亮度比值，并设定各亮度比值的中位数为调整参数。详细来说，处理器120会计算第一区块A1与第二区块A1’之间的亮度比值，以及第一区块A2与第二区块A2’、第一区块A3与第二区块A3’、第一区块A4与第二区块A4’、第一区块A5与第二区块A5’、以及第一区块A6与第二区块A6’各别对应区块之间的亮度比值，并且处理器120设定上述6个亮度比值排序后的中位数作为调整参数。最后，处理器120根据调整参数调整校正图像R1’的亮度。举例来说，假设各个第一区块与第二区块计算出的亮度比值的中位数是1/2，则将校正图像R1’的亮度调为两倍，以将校正图像R1’中大部分区域的亮度调整为接近理想图像IDL1的亮度。

另一方面，在调整色差的部分，同样请参照图6，处理器120会将校正图像R1’分割为多个第一区块A1～A6，并将理想图像IDL1分割为多个第二区块A1’～A6’。其中，第一区块与第二区块的数量也可以是8个、16个或是更多个区块，分割成更多个区块会增加后续处理程序中找出差异区域的准确性，本发明并不限制分割区块的数量。接着，处理器120计算各个第一区块A1～A6与位置对应的各个第二区块A1’～A6’之间的多个色差比值，并设定多个色差比值的中位数为调整参数。

详细来说，在本实施例中，处理器120会计算第一区块A1与第二区块A1’之间的色差比值，以及第一区块A2与第二区块A2’、第一区块A3与第二区块A3’、第一区块A4与第二区块A4’、第一区块A5与第二区块A5’、以及第一区块A6与第二区块A6’各别对应区块之间的色差比值，其中，色差比值为红绿颜色的比值R/G以及蓝绿颜色的比值B/G。处理器120设定上述红绿颜色的6个色差比值以及蓝绿颜色的6个色差比值分别排序后的中位数作为调整参数。最后，处理器120根据调整参数调整校正图像R1’的颜色。举例来说，假设各个第一区块与第二区块计算出的红绿颜色的比值R/G的中位数是1/2，蓝绿颜色的比值B/G的中位数1/2，则将校正图像R1’的绿色调为两倍，以将校正图像R1’中大部分区域的颜色调整为接近理想图像IDL1的颜色。

校正图像R1’经由处理器120调整亮度及色差后，产生调整后的校正图像。需说明的是，本发明不在此限制调整亮度或色差的先后顺序，也不限制同时要调整亮度及色差，可以仅调整其中一个图像特性即可，而且本发明也可以调整校正图像R1’的对比度、饱和度、色调等特性，使调整后的校正图像更接近理想图像IDL1的图像特性。

最后，在步骤S208中，处理器120利用图像匹配算法决定理想图像IDL1与调整后的校正图像之间的差异区域，图像匹配算法例如是绝对误差和算法、误差平方和算法、归一化积相关算法或其他习知的图像匹配算法，本发明不在此限制所使用的图像匹配算法。其中，利用图像匹配算法决定出的差异区域，即代表图3中手部图像F1所遮蔽第一图像IMG1的遮蔽范围。图7显示本发明一实施例中在显示图像中叠加虚拟物体的示意图。请同时参照图3及图7，随后，处理器120会根据差异区域以及第一图像IMG1在现实图像R1中的位置，在第一图像IMG1中差异区域以外的区域BLK1渲染虚拟物体OBJ1，以产生显示图像USR-VIEW1。如此一来，用户将能够通过显示器130看到如图7所示，同时包括现实图像R1及虚拟物体OBJ1的显示图像USR-VIEW1。

在上述实施例中，是将拍摄的第一图像IMG1调整成与理想图像IDL1具有相同的图像特性(如亮度、色差)，然而，也可以调整理想图像IDL1的图像特性使其与第一图像IMG1的图像特性相同，同样可以找出被手部图像F1所遮蔽第一图像IMG1的遮蔽范围。甚至，可以同时调整第一图像IMG1与理想图像IDL1的图像特性至相同数值，也可以找到两个图像之间的差异区域，本发明不在此限制是调整第一图像IMG1、理想图像IDL1或同时调整调整第一图像IMG1及理想图像IDL1。

在一些实施例中，不同的理想图像IDL1内容例如会对应到不同的虚拟物体，而处理器120则会根据不同现实影像中的第一图像对应的理想图像IDL1来对应地渲染不同的虚拟物体。

在其它实施例中，只要是由平面所构成的对象，皆可用本发明提供的平面物件的增强现实渲染方法来渲染虚拟物体，其中，由平面所构成的对象例如是正方体、长方体等其它物件。举例来说，图8显示本发明一实施例中在显示图像中叠加虚拟物体的示意图。请参照图8，图8显示正方体的三个面。处理器120会先辨识出正方体的三个平面，并基于此三个平面经由上述平面物件的增强现实渲染方法产生显示图像后，用户将能够通过显示器130看到如图8所示，在差异区域以外的区域BLK2渲染虚拟物体OBJ2的显示图像USR-VIEW2。

综上所述，本发明实施例所提出的平面物件的增强现实渲染方法通过现实图像的第一图像与理想图像之间的相对关系以及理想图像的影像数值来调整第一图像，以决定调整后的第一图像与理想图像之间的差异区域，来找出遮蔽第一图像的现实物体的范围。据此，能够避免渲染的虚拟物体遮蔽现实物体的状况，使得增强现实影像看上去更加自然。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。