视频会议全景影像展开方法

技术领域

本发明是关于一种视频会议全景影像展开方法，特别是以人身特征辨识来做为二维全景图像展开的分割点闪避、调整与缝合、展开依据的方法。

背景技术

现有全景摄影机广泛使用于室内360度会议全景摄影及记录场合，诸如具有多镜头的鱼眼(Fisheye)镜头型态的全景摄影机，可以取得360度全景会议图像或影像，然而，现有全景摄影机所使用的鱼眼镜头会导致人物变形，甚至无法进行人脸辨识，必需进行变形校正、分割截取及缝合为二维全景图像，就算使用现有非鱼眼镜头的一般全景摄影机镜头，影像虽未变形，但要组合成二维全景图像，也需经影像分割截取及缝合程序，无论如何，上述的鱼眼镜头或非鱼眼镜头的全景摄影机所取得的360度全景会议图像或影像，在上述分割截取的处理过程中，会有切割到摄影对象的人脸问题，导致最终缝合形成二维的全景图像时，会有遭切割摄影对象人脸被分开在两侧的问题及窘况，实乃目前全景摄影机应用于视频会议全景影像展开所极待解决的课题。

如图1及图2所示，则显示典型现有的鱼眼镜头型式的全景摄影机的摄影及360度全景会议图像或影像分割、缝合的操作方式，其中，为了避开切割截取过程，则在会议桌A的某一角度位置，例如：90度位置(即12点钟方向)，设置一参考物B，以供置放于会议桌A中的全景摄影机C可以有360度全景会议图像或影像分割、缝合的参考基准点，而为了避免参加视讯会的被摄影对象D1、D2、D3及D4在上述360度全景会议图像或影像分割、缝合时，会有切割到被摄影对象D1、D2、D3或D4任一者的人脸、人身图像或影像的情况，被摄影对象D1、D2、D3及D4的座位安排亦必需避开该参考物B的前方涵盖范围，以让使用者得以在选择360度全景会议图像或影像分割起始点时，得以用该参考物B为360度全景会议图像或影像分割起始点，但如此一来，必需让该全景摄影机C的至少一个镜头或一面必需对准该参考物B，因而大幅局限该全景摄影机C的设置与应用范围，并且，使该被摄影对象D1、D2、D3及D4的座位位置与数量也会因此被大幅限制，而不具产业利用价值及经济效益。

另外，在先前专利技术文献方面，如中国台湾专利公报第I549070号「行动装置及其控制方法」发明专利案，其主要目的是利用摄影镜头(即影像撷取单元110)所截取的全景影像中的人脸辨识来控制该行动装置的休眠关闭屏幕或开启屏幕的操作控制，但相同地，在诸如进行该360度全景会议图像或影像分割操作的过程中，亦无法解决被摄影对象的人脸或人身被切割，而造成最终缝合形成二维的全景图像时，会有遭切割摄影对象人脸被分开在两侧的问题及窘况。

除此之外，再如中国台湾专利公报第I633499号「全景影像的显示方法与其电子装置」发明专利案，显示一种应用于手机上的人脸辨识列出人脸显示，后对某个人脸显示操作时上方的全景图示会响应其操作，其主要是应用在手机上的全景拍摄，并无法适用于一般室内的视频会议系统，并且，该手机360viewer的全景影像显示皆为接续摄影画面，并不是将一个全景影像或图像，以上述的截取及缝合方式，形成该二维展开的全景图像，也就是这样的专利前案技术，并不能适用于室内的视讯会的全景影像的切割及缝合处理，退万步言，就算可以应用，但也没有办法解决上述全景影像的切割及缝合处理过程中，该摄影对象的人脸或人身被切割的问题及缺点，仍有不具产业利用价值及经济效益。

发明内容

本发明所要解决的主要技术问题在于，克服现有技术存在的上述缺陷，而提供一种视频会议全景影像展开方法，以消除上述现有及前案专利的全景摄影机使用于室内360度会议全景摄影及记录场合，以及，该全景摄影机的摄影及360度全景会议图像或影像分割、缝合展开形成的二维全景图像的操作过程，所产生的与会者的被摄影对象的人脸或人身被切割，而造成最终缝合形成二维的全景图像时，会有遭切割摄影对象人脸或人身被分开在两侧的问题及缺点。

本发明解决其技术问题所采用的技术方案是：

一种视频会议全景影像展开方法，其步骤包括：

(a)取得原始全景图像或影像，即透过至少一全景摄影机摄影撷取取得至少一原始视频会议全景图像或影像；

(b)进行人身特征辨识，即针对步骤(a)的全景摄影机摄影撷取取得至少一原始视频会议全景图像或影像中的与会者被摄影对象逐一进行人身特征辨识；

(c)寻找二维图像展开的分割点，并将该分割点定为二维全景影像展开的起始点，即根据步骤(b)经逐一与会者被摄影对象人身特征辨识的原始视频会议全景图像或影像中，予以寻找到不会切割到与会者被摄影对象的人身特征的分割点，并以此分割点作为将来二维全景影像展开起始点；

(d)依分割点进行所需影像区域的截取，即根据步骤(c)已寻找到的分割点进行该原始视频会议全景图像或影像区域的分割截取，亦即主要以该原始视频会议全景图像或影像中的各与会者被摄影对象的区域为主，进行分割截取，以截取得至少一准全景影像；

(e)将初步全景影像以该二维全景影像展开起始点进行组合、缝合，即将经由步骤(d)截取的准全景影像依据所对应的二维全景影像展开起始点，即步骤(c)的分割点，予以进行组合及缝合；

(f)形成一二维全景图像，即经由步骤(e)的准全景影像组合及缝合后，即形成一展开的二维全景图像。

进一步，本发明的一种视频会议全景影像展开方法，其中，该步骤(a)中的全景摄影机为一具鱼眼镜头的全景摄影机。

上述本发明的一种视频会议全景影像展开方法，其中，该步骤(a)中的全景摄影机为一具多镜头的全景摄影机。

上述本发明的一种视频会议全景影像展开方法，其中，该步骤(b)中的人身特征辨识为该与会者被摄影对象的人脸、五官、上半身人形轮廓或脸部动态影像的其中至少任一者或至少二者结合的特征辨识。

上述本发明的一种视频会议全景影像展开方法，其中，该步骤(c)的寻找二维图像展开的分割点，并将该分割点定为全景影像的起始点的步骤还包含：

(c1)随机选取一测试分割点，于该步骤(b)经逐一与会者被摄影对象人身特征辨识的原始视频会议全景图像或影像中，随机选取一测试分割点；

(c2)测试分割点是否切割到人身特征？如果是则进行步骤(c21)，如果不是则进行步骤(c22)，即依据该步骤(c1)所选出的测试分割点位置来判断是否切割到步骤(c1)的任一与会者被摄影对象人身特征；

(c21)移动测试分割点，即将步骤(c1)的测试分割点予以向顺时针或逆时针方向进行移动，并再重复步骤(c2)；

(c22)以该测试分割点作为二维图像展开的分割点，即以步骤(c2)中不会切割到步骤(c1)的任一与会者被摄影对象人身特征的测试分割点作为该二维图像展开的分割点；

(c3)结束。

上述本发明的一种视频会议全景影像展开方法，其中，该步骤(a)～步骤(f)为一预先储存于该步骤(a)的全景摄影机内的图像处理软件。

上述本发明的一种视频会议全景影像展开方法，其中，该步骤(a)～步骤(f)为一预先储存于该图像处理器内的图像处理软件。

上述本发明的一种视频会议全景影像展开方法，其中，该步骤(a)～步骤(f)为一预先储存于该智能型通讯装置内的图像处理软件。

上述本发明的一种视频会议全景影像展开方法，其中，该步骤(a)中的全景摄影机链接的智能型通讯装置为一智能型手机。

上述本发明的一种视频会议全景影像展开方法，其中，该步骤(a)中的全景摄影机链接的智能型通讯装置为一平板计算机。

上述本发明的一种视频会议全景影像展开方法，其中，该步骤(a)中的全景摄影机连结至少一桌面计算机，该步骤(a)～步骤(f)为一预先储存于该桌面计算机内的图像处理软件。

上述本发明的一种视频会议全景影像展开方法，其中，该步骤(a)中的全景摄影机连结至少一笔记本电脑，该步骤(a)～步骤(f)为一预先储存于该笔记本电脑内的图像处理软件。

本发明的一种视频会议全景影像展开方法的功效，在于借由该上述步骤(a)～(f)的各步骤，对于该全景摄影机摄影撷取取得至少一原始视频会议全景图像或影像中的与会者被摄影对象，是以诸如：人脸、五官、上半身人形轮廓或脸部动态影像等人身特征辨识处理，并以人身特征辨识后的结果作为该提供该原始视频会议全景图像或影像最后切割及展开成二维全景图像的分割点与起始点选择依据，并且，该分割点可以随机变化与移动，不必如现有技术设置任何参考物，即可在切割过程中，根据上述该原始视频会议全景图像或影像中的各与会者被摄影对象的人身特征辨识结果予以选择避开，可完全消弭上述现有或专利前案技术进行该360度全景会议图像或影像分割操作的过程中，无法解决该与会者被摄影对象的人脸或人身被切割，而造成最终缝合形成二维的全景图像，会有遭切割与会者摄影对象的人脸或人身被分开在两侧的问题及缺点，毋需增加任何设备及成本，并且，本发明所提供的原始视频会议全景图像或影像中的各与会者被摄影对象人身特征辨识结果，也可以进一步提供后续该展开后的二维全景图像的至少一选定的与会者被摄影对象的实时变动、放大锁定追踪影像应用功能，进一步提升本发明的产业利用价值及经济效益。

本发明的有益效果是，消除上述现有及前案专利的全景摄影机使用于室内360度会议全景摄影及记录场合，以及，该全景摄影机的摄影及360度全景会议图像或影像分割、缝合展开形成的二维全景图像的操作过程，所产生的与会者的被摄影对象的人脸或人身被切割，而造成最终缝合形成二维的全景图像时，会有遭切割摄影对象人脸或人身被分开在两侧的问题及缺点。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是现有视频会议全景影像展开方法的操作示意图；

图2是图1中现有二维全景影像展开示意图；

图3是本发明的视频会议全景影像展开方法的流程图；

图4是本发明的视频会议全景影像展开方法第一实施例的切割截取操作示意图；

图5是本发明的视频会议全景影像展开方法第一实施例的展开二维全景图像示意图；

图6是图3中寻找二维图像展开的分割点，并将该分割点定为全景影像的起始点步骤的施实例流程图；

图7是本发明的视频会议全景影像展开方法第一实施例的选取分割点切割截取操作示意图一；

图8是本发明的视频会议全景影像展开方法第一实施例的选取分割点切割截取操作示意图二；

图9是本发明的视频会议全景影像展开方法的第二实施例图；

图10是本发明的视频会议全景影像展开方法的第三实施例图；

图11是本发明的视频会议全景影像展开方法的第四实施例图；

图12是本发明的视频会议全景影像展开方法的第五实施例图；

图13是本发明的视频会议全景影像展开方法的较佳应用例图；

图14是图13中应用例的展开二维全景图像示意图；

图15是图14的展开二维全景图像示意图显示的另一实施例。

图中标号说明：

具体实施方式

请参阅如图3、图4及图5所示，图3为本发明的视频会议全景影像展开方法的流程图，其步骤包含步骤(10)～(60)，其中:

(10)取得原始全景图像或影像，即透过至少一全景摄影机60A(如图4所示)摄影撷取取得至少一原始视频会议全景图像或影像，该全景摄影机60A的型式不限，在本发明中是列举以具鱼眼镜头的全景摄影机为例，其他如具多镜头的全景摄影机亦不脱本发明的范畴；

(20)进行人身特征辨识，即针对步骤(10)的全景摄影机60A摄影撷取取得至少一原始视频会议全景图像或影像中的与会者被摄影对象70、71、72及73逐一进行人身特征辨识，该人身特征辨识项目不限，在本发明中是列举以该与会者被摄影对象70、71、72及73的人脸、五官、上半身人形轮廓或脸部动态影像的其中至少一者或至少二者结合的特征辨识为例；

(30)寻找二维图像展开的分割点，并将该分割点定为二维全景影像展开的起始点，即根据步骤(20)经逐一与会者被摄影对象70、71、72及73人身特征辨识的原始视频会议全景图像或影像中，予以寻找到不会切割到与会者被摄影对象70、71、72及73的人身特征的分割点X(如图4及图5所示)，并以此分割点X作为将来二维全景影像100(如图5所示)展开起始点；

(40)依分割点进行所需影像区域的截取，即根据步骤(30)已寻找到的分割点X进行该原始视频会议全景图像或影像区域的分割截取，亦即主要以该原始视频会议全景图像或影像中的各与会者被摄影对象的区域为主进行分割截取，以截取得至少一准全景影像P(如图4下方所示)，此准全景影像P非最终的显示图像，为虚拟图像；

(50)将准全景影像以该二维全景影像展开起始点进行组合、缝合，即将经由步骤(40)截取的准全景影像P依据所对应的二维全景影像展开起始点，即步骤30的分割点X，予以进行组合及缝合，也就是根据该分割点X分割位于该与会者被摄影对象70及73之间，使该与会者被摄影对象70及73影像分割分别置于最左边及最右边位置，该与会者被摄影对象70影像右侧与该与会者被摄影对象71影像的左侧进行黏贴缝合，该与会者被摄影对象71影像右侧与该与会者被摄影对象72影像的左侧进行黏贴缝合，该与会者被摄影对象72影像右侧与该与会者被摄影对象73影像的左侧进行黏贴缝合；

(60)形成一二维全景图像，即经由步骤(50)的准全景影像P组合及缝合后，即形成一展开的二维全景图像100。

上述本发明的视频会议全景影像展开方法的流程图中的步骤(10)～(60)是列举单一分割点X为该至少一原始视频会议全景图像或影像的对应展开的二维全景图像100的起始点，该分割点X的数量与位置选取、黏贴及缝合等组合程序不限于此，亦可以多个分割点X在不同的位置来作为该二维全景图像100的组合、缝合的起始点，其操作步骤亦可比照上述步骤(10)～(60)而得到相同的对应展开的二维全景图像100。

请再配合图6及图7所示，图6为上述图3所示步骤(30)的本发明中寻找二维图像展开的分割点，并将该分割点定为全景影像的起始点步骤的施实例流程图，包含步骤(31)～(35)，其中：

(31)随机选取一测试分割点，于上述图3所示的步骤(20)经逐一与会者被摄影对象70、71、72及73人身特征辨识的原始视频会议全景图像或影像中，随机选取一测试分割点T(如图7所示)；

(32)测试分割点是否切割到人身特征？如果是则进行步骤(33)，如果不是则进行步骤(34)，即依据该步骤(31)所选出的测试分割点T位置来判断是否切割到步骤(31)的任一与会者被摄影对象70、71、72及73人身特征；

(33)移动测试分割点，即将步骤(31)的测试分割点T予以向顺时针方向或逆时针方向进行移动，在本发明中是列举该原来位于对应0度位置的测试分割点T向逆时针方向移动到45度角位置的例子(如图7及图8对照所示)，并再重复步骤(32)；

(34)以该测试分割点作为二维图像展开的分割点，即以步骤(32)中不会切割到步骤(31)的任一与会者被摄影对象人身特征的测试分割点T(如图8所示)作为该二维图像展开的分割点X，也就是对应于图4所示的分割点X；

(35)结束。

上述图6～图8所示的本发明中的寻找二维图像展开的分割点，并将该分割点定为全景影像的起始点步骤(31)～(35)的施实例流程图及其对应的切割操作示意图，仅为便于说明本发明的技术内容及技术手段的实施例说明，并非用以限制本发明的范畴，举凡是等效的切割操作流程与技术手段，当不脱本发明的范畴。

上述本发明图3所示的视频会议全景影像展开方法的流程图中的步骤(10)～(60)可以为一预先储存于该步骤(10)的全景摄影机60A内的图像处理软件。

请再参阅图9所示，为本发明的视频会议全景影像展开方法的第二实施例，其中，显示该步骤(10)的全景摄影机60A连结至少一图像处理器61，而上述图3所示的步骤(10)～(60)可以为一预先储存于该图像处理器61内部的软件。

请再配合图10所示，为本发明的视频会议全景影像展开方法的第三实施例，其中，显示该步骤(10)的全景摄影机60A链接至少一智能型通讯装置62，而上述图3所示的步骤(10)～(60)可以为一预先储存于该智能型通讯装置62内部的软件，该智能型通讯装置62的型式不限，在本发明中是列举智能型手机、平板计算机为例。

请再参阅图11所示，为本发明的视频会议全景影像展开方法的第四实施例，其中，显示该步骤(10)的全景摄影机60A连结至少一桌面计算机63，而上述图3所示的步骤(10)～(60)可以为一预先储存于该桌面计算机63内部的软件。

请再配合图12所示，为本发明的视频会议全景影像展开方法的第五实施例，其中，显示该步骤(10)的全景摄影机60A连结至少一笔记本电脑64，而上述图3所示的步骤(10)～(60)可以为一预先储存于该笔记本电脑64内部的软件。

请再参阅图13及图14所示，为本发明的视频会议全景影像展开方法的较佳应用例，其中，显示在原先如图4所示及图5所示四个与会者被摄影对象70、71、72及73的展开的二维全景图像100，如在视频会议过程中，有另一个新的与会者被摄影对象74实时加入介入该与会者被摄影对象71及72之间时，同样可实时借由上述本发明方法的步骤(10)～(60)所示的视频会议全景影像展开方法，让该与会者被摄影对象70、71、74、72及73的人身特征辨识结果，以及，新的分割点X’(如图13所示)选取、影像重新黏贴、缝合等组合程序，同样可以得到新的实时更新包括与会者被摄影对象70、71、74、72及73的展开的二维全景图像100＇(如图14所示)。

请再配合图15所示，为上述图14中的本发明的视频会议全景影像展开方法的较佳应用例的展开的二维全景图像100＇的另一显示实施例，即该包括与会者被摄影对象70、71、74、72及73新的实时更新的展开的二维全景图像100＇在显示过程中，并可再选定至少一与会者被摄影对象70、71、74、72或73的实时放大锁定追踪影像显示，即在本发明图15中是列举将该与会者被摄影对象71、72及73作为该实时放大锁定追踪影像的对象，并在该二维全景图像100’下方分别显示三个对应的实时放大锁定追踪影像711、721及731，以提供如视频会议终端监控或会议发言记录单位的实时放大锁定追踪功效。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。