掌桥专利:专业的专利平台
掌桥专利
首页

信息显示方法及其处理装置与显示系统

文献发布时间:2023-06-19 11:35:49


信息显示方法及其处理装置与显示系统

技术领域

本发明涉及一种信息显示技术。

背景技术

随着图像处理技术与空间定位技术的发展,透明显示器的应用已逐渐受到重视。此类的技术可让显示器搭配实体物件,再辅以虚拟相关信息,并且依照用户的需求来产生交互式的体验,可使信息以更为直观的方式呈现。

然而,为了达到影像融合,目前的显示系统需要将用户、实体物件以及显示器转换至同一坐标系统,再根据用户的位置计算虚拟物件投影于屏幕上的大小以及位置,进而产生融合影像。若显示器的姿态发生变化,则需要重新侦测显示器的系统参数(例如高度、倾角等等)以建立新的坐标系统,再将用户、实体物件以及显示器转换至新的坐标位置后,重新计算虚拟物件投影于显示器上的大小以及位置,因而耗费较长的运算时间。

发明内容

本发明提供一种信息显示方法及其处理装置与显示系统。

在本发明的一范例实施例中,上述的显示系统包括可透光的显示器、至少一第一信息撷取装置、至少一第二信息撷取装置以及处理装置,其中处理装置连接于显示器、第一信息撷取装置以及第二信息撷取装置。第一信息撷取装置用以撷取用户的位置信息。第二信息撷取装置用以撷取目标物的位置信息。处理装置用以建立固定的参考坐标系统,并且定位用户的初始位置、目标物的初始位置以及显示器的初始位置,根据用户的初始位置、目标物的初始位置以及显示器的初始位置,显示融合影像于显示器,以及根据显示器的变动量以及用户的变动量的至少之一者,更新显示于显示器上的融合影像。

在本发明的一范例实施例中,上述的信息显示方法适用于具有可透光的显示器、至少一第一信息撷取装置、至少一第二信息撷取装置以及处理装置的显示系统,其中第一信息撷取装置用以撷取用户的位置信息,第二信息撷取装置用以撷取目标物的位置信息。信息显示方法包括建立固定的参考坐标系统,并且定位用户的初始位置、目标物的初始位置以及显示器的初始位置,根据用户的初始位置、目标物的初始位置以及显示器的初始位置,显示融合影像于显示器,以及根据显示器的变动量以及用户的变动量的至少之一者,更新显示于显示器上的融合影像。

在本发明的一范例实施例中,上述的处理装置连接于显示器、第一信息撷取装置以及第二信息撷取装置,其中第一信息撷取装置用以撷取用户的位置信息,第二信息撷取装置用以撷取目标物的位置信息。处理装置包括存储器以及处理器。存储器用以存储数据。处理器用以建立固定的参考坐标系统,并且定位用户的初始位置、目标物的初始位置以及显示器的初始位置,根据用户的初始位置、目标物的初始位置以及显示器的初始位置,显示融合影像于显示器,以及根据显示器的变动量以及用户的变动量的至少之一者,更新显示于显示器上的融合影像。

为让本发明能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。

附图说明

包含附图以便进一步理解本发明,且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例,并与描述一起用于解释本发明的原理。

图1为根据本发明一范例实施例所绘示的显示系统的示意图。

图2是根据本发明一范例实施例所绘示的信息显示方法的流程图。

图3A是根据本发明的一范例实施例所绘示的显示系统的应用情境的示意图。

图3B是根据本发明一范例实施例所绘示的信息显示方法的流程图。

图4A是根据本发明的一范例实施例所绘示的显示系统的应用情境的示意图。

图4B是根据本发明一范例实施例所绘示的信息显示方法的流程图。

图5A是根据本发明的一范例实施例所绘示的显示系统的应用情境的示意图。

图5B是根据本发明一范例实施例所绘示的信息显示方法的流程图。

图6A是根据本发明的一范例实施例所绘示的显示系统的应用情境的示意图。

图6B是根据本发明一范例实施例所绘示的信息显示方法的流程图。

附图标号说明

100:显示系统

110:显示器

120:第一信息撷取装置

130:第二信息撷取装置

140:处理装置

141:存储器

142:处理器

S202、S204、S206、S208、S302、S304、S306、S308、S310、S312、S314、S316、S318、S320、S322、S324、S326、S328、S402、S404、S406、S408、S410、S412、S413、S414、S416、S418、S420、S422、S424、S426、S428、S502、S504、S506、S508、S510、S511、S512、S514、S516、S518、S520、S522、S524、S528、S602、S604、S606、S607、S608、S610、S611、S612、S614、S616、S618、S620、S622、S624、S628:步骤

C1、C2:影像传感器

U3、U4、U5、U6:用户

T3、T4、T51、T52、T6:目标物

F3、F3’、F4、F51、F52、F6:融合影像

P31、P31’、P32、P32’、P41、P42、P43、P51、P51’、P52、P52’、P61、P62:位置

K:手术器具

N:网络

L:定位器

具体实施方式

本发明的部份范例实施例接下来将会配合附图来详细描述,以下的描述所引用的元件符号,当不同附图出现相同的元件符号将视为相同或相似的元件。这些范例实施例只是本发明的一部份,并未揭示所有本发明的可实施方式。更确切的说,这些范例实施例仅为本发明的权利要求中的方法、装置以及系统的范例。

图1为根据本发明一范例实施例所绘示的显示系统的示意图。首先图1先介绍显示系统中的所有构件以及配置关系,详细功能将配合后续范例实施例的流程图一并揭露。

请参照图1,本范例实施例中的显示系统100包括显示器110、至少一个第一信息撷取装置120、至少一个第二信息撷取装置130以及处理装置140,其中处理装置140可以是以无线、有线、或电性连接于显示器110、第一信息撷取装置120以及第二信息撷取装置130。

显示器110用以显示信息,其包括例如液晶显示器(Liquid crystal display,LCD),场序彩色(Field sequential color)LCD显示器,发光二极管(Light emittingdiode,LED)显示器,电润湿显示器等穿透式可透光显示器,或者是投影式可透光显示器。用户透过显示器110所观看到的内容可以是迭加融合影像的实体场景。第一信息撷取装置120用以撷取用户的位置信息,而第二信息撷取装置130用以撷取实体场景中的目标物的位置信息。第一信息撷取装置120可以例如是至少一个影像传感器或者是至少一个影像传感器搭配至少一个深度传感器,其中影像传感器可为可见光传感器或非可见光传感器如红外线传感器等,深度传感器可为光场雷达或超音波传感器等,也就是可以定位出用户所在位置信息的装置或其组合,皆属于第一信息撷取装置120的范畴。类似地,第二信息撷取装置120则可以例如是至少一个影像传感器、或者是至少一个影像传感器搭配至少一个深度传感器,也就是可以定位出目标物所在的位置信息以及辨识出目标物影像信息的装置或其组合,皆属于第二信息撷取装置130的范畴。本领域普通技术人员应明了,上述的影像传感器可用以撷取影像并且包括具有透镜以及感光元件的摄像镜头。上述的深度传感器可用以侦测深度信息,其可以分为主动式深度感测技术以及被动式深度感测技术来实现。主动式深度感测技术可藉由主动发出光源、红外线、超音波、雷射等作为信号搭配时差测距技术来计算深度信息。被动式深度感测技术可以藉由两个影像传感器以不同视角同时撷取其前方的两张影像,以利用两张影像的视差来计算深度信息。

处理装置140用以控制显示系统100的作动,其包括存储器141以及处理器142。存储器141可以例如是任意型式的固定式或可移动式随机存取存储器(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。处理器142可以例如是中央处理单元(central processingunit,CPU)、应用处理器(application processor,AP),或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor,DSP)、影像信号处理器(image signal processor,ISP)、图形处理器(graphicsprocessing unit,GPU)或其他类似装置、集成电路及其组合。

在本范例实施例中,处理装置140可以是内建于显示器110。第一信息撷取装置120以及第二信息撷取装置130可以是分别设置于显示器110上的相对两侧、显示系统100所属场域的上方相对于显示器110的相对两侧等可以针对用户以及目标物的位置进行定位,并且透过各自的通讯接口以有线或是无线的方式传输信息至处理装置140。在另一范例实施例中,显示系统100可为单一整合系统,其可以实作成头戴式显示装置、智能型手机、平板计算机等,本发明不在此设限。以下范例实施例中将搭配显示系统100的各元件来说明信息显示方法的实施细节。

图2是根据本发明一范例实施例所绘示的信息显示方法的流程图,而图2的方法流程可由图1的显示系统100来实现。在此,用户可透过显示系统100的显示器110来观看目标物及其相关的融合影像。

请同时参照图1以及图2,首先,显示系统100启动时,处理装置140的处理器142将建立固定的参考坐标系统(步骤S202)。在此的参考坐标系统可以例如是基于显示系统100所在的实体场景所建立的世界坐标系统(world coordinate system)或者是基于第一信息撷取装置120以及第二信息撷取装置130所建立的相机坐标系统(camera coordinatesystem),而此参考坐标系统将会存储于存储器141中做为后续计算的参考依据。

接着,处理器142将会定位用户、目标物以及显示器的初始位置(步骤S204)。在此,处理器142可利用第一信息撷取装置120撷取用户的位置信息,并且利用第二信息撷取装置130撷取目标物的位置信息。接着,处理器142可针对第一信息撷取装置120以及第二信息撷取装置130所撷取到的位置信息进行校正,以转换至相同的参考坐标系统来表示。具体来说,用户的位置信息具有用户相对于第一信息撷取装置120的用户坐标,目标物的位置信息具有目标物相对于第二信息撷取装置的目标物坐标,而处理装置140可将用户坐标以及目标物坐标转换至相同的坐标系统,例如是前述的世界坐标系统或相机坐标系统,进而取得用户以及目标物分别在三维空间中的位置。

附带说明的是,在一范例实施例中,由于显示器110与第一信息撷取装置120以及第二信息撷取装置130的相对位置为已知,处理器142可以利用第一信息撷取装置120以及/或是第二信息撷取装置130所撷取到的信息来推估显示器110在参考坐标系统中的初始位置。在另一范例实施例中,显示器110更可以额外设有定位器,其可以例如是以Wifi、RFID、蓝芽、Zigbee等用于室内定位或是室内外融合定位的通讯技术来对显示器110进行定位以及坐标转换,以取得显示器120在参考坐标系统中的初始位置。

接着,处理器142将根据用户的初始位置、目标物的初始位置以及显示器110的初始位置,将融合影像显示于显示器(步骤S206)。在此,处理器142将根据用户的初始位置、目标物的初始位置以及显示器110的初始位置,产生用户与目标物之间的融合信息于显示器110上。处理器142可藉由用户的初始位置以及目标物的初始位置,以任何眼球追踪算法来估算出用户的人眼视线信息,以计算出用户于显示器110上的关注点(例如,用户的凝视范围),并且根据第二信息撷取装置130所撷取到的影像进行目标物的影像辨识,以产生影像辨识结果。之后,处理装置140可根据关注点以及影像辨识结果来产生融合信息,以做为产生融合影像的依据。在此可合理地假设目标物是位于用户视线上,而处理器142可根据人眼视线信息来利用目标物的影像进行目标物的影像辨识,以取得用户所观看到的实体场景的内容。在此的融合影像可以是目标物的导览信息、目标物的虚拟互动物件等,本发明不以此为限。

之后,处理装置140的处理器142将根据显示器110的变动量以及用户的变动量的至少之一者,更新显示于显示器110的融合影像(步骤S208)。详细来说,在本范例实施例中,处理器142可以是透过第一信息撷取装置120以及/或是第二信息撷取装置130来判断显示器110是否有位移、旋转,而处理器142可以是透过第一信息撷取装置120来判断用户是否有移动、转向或者是本身视线有改变。若有至少一者为是,即代表原本的融合影像将无法与用户的视线达到良好的匹配,因此必须要针对显示器110上的融合影像进行更新。

在此的显示器110的变动量为显示器110于参考坐标系统的位移量及/或旋转角度。在一范例实施例中,在目标物的位置信息恒定的前提下,处理器142可以是依据第二信息撷取装置130所撷取到的目标物的位置信息来判断显示器110的变动量。在一范例实施例中,处理器142可以是依据第一信息撷取装置120以及/或是第二信息撷取装置130所撷取到的固定参考物的位置信息来判断显示器110的变动量。在另一范例实施例中,显示器110亦可以额外设有动作传感器,其可以例如是加速度计、陀螺仪或任何可侦测显示器110的线性变动量、线性移动方向、旋转角度的传感器,以侦测显示器110的变动量。另一方面,在此用户的变动量为用户相对于显示器110的视线位移量。处理器142将根据此变动量来计算融合信息,以更新原本显示于显示器110上的融合影像。换句话说,当显示器110或者/以及用户的位置信息改变时,处理器142仅需要基于固定的参考坐标系统以及此变动量来更新融合信息,而无需重新计算整个坐标系统,可大幅缩短运算量以及运算时间。

为了方便明了,以下范例实施例将搭配显示系统100的不同应用情境来具体地说明图2流程的细节。在以下的范例实施例中,第一信息撷取装置120以及第二信息撷取装置130将分别实作为一组影像传感器C1、C2,然而本发明并不在此设限。此外,在以下的范例实施例中,显示系统100将会视为单一整合系统来进行说明,因此显示系统100的位置即代表显示器110的位置,然而本发明不受限于此。

图3A是根据本发明的一范例实施例所绘示的显示系统的应用情境的示意图,图3B是根据本发明一范例实施例所绘示的信息显示方法的流程图。

请先参照图1以及图3A,在本范例实施例中,用户例如为医师U3,而目标物例如为病患T3。本范例实施例的应用情境为手术前,医师U3将显示系统100移动至不同位置,以不同角度来透过显示器110观看病患T3,进而对其进行手术前的评估。

请再同时参照图1、图3A以及图3B,在本范例实施例中,当显示系统100启动后,处理装置140将会开始进行系统的初始化(步骤S302),以开始进行系统参数的侦测(步骤S304),进而进行参考坐标系统的建立(步骤S306)。在此的系统参数可由两组影像传感器C1、C2于显示系统100所在场景所撷取到的相关信息,用以建立固定的参考坐标系统。在此,处理装置140亦可得到显示系统100(即,显示器110)的初始位置。另一方面,处理装置140将会针对影像传感器C1、C2所撷取到的医师U3的影像以及病患T3的影像进行相机影像的校正(步骤S308),以将不同的影像传感器于实际空间中的偏差量进行对齐并且合并至相同的坐标系统。在此,处理装置140可以是针对医师U3的影像以及病患T3的影像进行用户眼睛以及目标物的辨识(步骤S310),以对用户眼睛以及目标物进行坐标转换(步骤S312),从而得到医师U3以及病患T3于相同的参考坐标系统下的空间定位(步骤S314)。也就是说,处理装置140在此已得到医师U3、病患T3以及显示器110的初始位置。

具体来说,处理装置140可以例如是根据本领域技术人员所熟知的方程式(1)来针对用户眼睛以及目标物进行个别的坐标转换:

其中

接着,处理装置140可先进行融合物件的特征撷取(步骤S316)以及融合物件的特征匹配(步骤S318)。在此的融合物件即为稍后欲显示在显示器110上的相关信息,其可以是存储于存储器141或者是透过通讯接口(未绘示)自其它数据库所取得。处理装置140可先将融合物件与用户视线、包括目标物的实际场景进行模型匹配,以计算融合影像要呈现于显示器110的方式。换句话说,处理装置140将会进行转换矩阵的计算(步骤S320),以做为融合信息。处理装置140再根据融合信息,将融合影像显示于显示器110上(步骤S322)。

在本范例实施例中,处理装置140可进行系统变动量的侦测(步骤S324)以及用户眼睛的定位(步骤S326),并且根据系统变动量以及视线变动量的至少之一者来进行转换参数的更新(步骤S328),以重新回到步骤S320来重新进行转换矩阵的计算,从而更新融合影像。也就是说,本范例实施例中无需再重新建立坐标系统,仅需要根据所侦测到的任何系统变动量以及视线变动量来更新转换矩阵即可。举例来说,当处理装置140仅侦测到视线变动量时(即,显示器110的位置不变,而用户视线改变),则处理装置140仅会根据视线变动量来进行转换参数的更新。

举例来说,假设处理装置140仅侦测到视线变动量(即,相对于X、Y、Z轴的位移量x、y、z),则处理装置140将仅针对用户眼睛来进行坐标转换的更新。前述方程式(1)的外部参数矩阵中

以图3A来说,假设医师U3先在位置P31透过位于位置P32的显示器110观看患者T3的心脏区域,而处理装置140可以先自数据库取得患者T3的立体心脏影像或是立体转换后的多角度平面心脏影像来做为融合物件,而医师U3可透过显示器110观看到迭加于患者T3的融合影像F3,以在位置P31进行评估,之后,当医师U3移动至位置P31’并且显示器110对应地移动至位置P32’后,处理装置140将会计算系统变动量以及视线变动量,其中系统变动量为显示器110自位置P32移动至位置P32’的位移量以及旋转角度,而视线变动量为医师U3自位置P31移动至位置P31’的视线位移量。当医师U3在位置P31’观看患者T3的心脏区域时,即可观看到迭加于患者T3的融合影像F3’,以在位置P31’进行评估。此外,医师U3无论是在位置P31或者是P31’,显示器110更可以对应地显示手术导引以及评估信息,以供医师U3参考。

图4A是根据本发明的一范例实施例所绘示的显示系统的应用情境的示意图,图4B是根据本发明一范例实施例所绘示的信息显示方法的流程图。相较于图3A~图3B,本范例实施例的用户手中更持有用于操作目标物的操作物件,而图4B中的标号末尾二码与图3B相同者为类似步骤,其细节可由本领域普通技术人员参照图3B推导,于此不再赘述。

请先参照图1以及图4A,在本范例实施例中,用户例如为医师U4,目标物例如为病患T4,而操作物件例如为手术器具K。本范例实施例的应用情境为手术前,医师U4透过显示系统100的显示器110以不同角度观看手术器具K与器官的相对位置信息以及导引信息。

请再同时参照图4B,在本范例实施例中,当显示系统100启动后,处理装置140将会开始进行系统的初始化(步骤S402),以开始进行系统参数的侦测(步骤S404),进而进行参考坐标系统的建立(步骤S406)。在此的系统参数可由两组影像传感器C1、C2于显示系统100所在场景所撷取到的相关信息,用以建立固定的参考坐标系统。在此,处理装置140亦可得到显示系统100(即,显示器110)的初始位置。另一方面,处理装置140将会针对影像传感器C1所撷取到的医师U4的影像以及病患T4的影像进行相机影像的校正(步骤S408)。在此,处理装置140可以是针对医师U4的影像以及病患T4的影像进行用户眼睛以及目标物的辨识(步骤S410),以对用户眼睛以及目标物进行坐标转换(步骤S412)。另一方面,处理装置140将针对操作物件的坐标侦测(步骤S413),从而得到医师U4、病患T4以及手术器具K于相同的参考坐标系统下的空间定位(步骤S414)。也就是说,处理装置140在此已得到医师U3、病患T3、手术器具K以及显示器110的初始位置。

接着,处理装置140可先进行融合物件的特征撷取(步骤S416)以及融合物件的特征匹配(步骤S418)。之后,处理装置140将进行转换矩阵的计算(步骤S420),以计算出融合信息。处理装置140再将融合影像显示于显示器110上(步骤S422)。在本范例实施例中,处理装置140将会进行系统变动量的侦测(步骤S424)以及用户眼睛与操作物件的定位(步骤S426),并且根据系统变动量、视线变动量的至少之一者以及物件变动量来进行转换参数的更新(步骤S428),以重新回到步骤S420来进行转换矩阵的计算,从而更新融合影像。也就是说,本范例实施例中无需再重新建立坐标系统,仅需要根据所侦测到的任何系统变动量、视线变动量的至少之一者以及物件变动量来更新转换矩阵即可。

以图4A来说,假设医师U4于位置P41透过位于位置P42的显示器110来观看患者T4的心脏区域,而此时医师U4所手持的手术器具K正位于位置P43。处理装置140可以先自数据库取得立体心脏影像或是立体转换后的多角度平面心脏影像来做为融合物件,而医师U4可观看到迭加于患者T4的融合影像F4。此融合影像F4可以更包括导引信息I4,以提示医师U4可以根据例如提示线来进行后续手术程序。之后,处理装置140可以根据显示器110的位移量以及旋转角度、医师U4的视线位移量以及/或手术器具K的位移量以及旋转角度来对应地更新融合影像F4及其所包含的导引信息I4。

图5A是根据本发明的一范例实施例所绘示的显示系统的应用情境的示意图,图5B是根据本发明一范例实施例所绘示的信息显示方法的流程图。相较于图3A~图3B,本范例实施例的使用场域为自由空间,显示器110后方的目标物可能会有所变动。此外,图5B中的标号末尾二码与图3B以及图4B相同者为类似步骤,其细节可由本领域普通技术人员参照图3B以及图4B推导,于此不再赘述。

请先参照图1以及图5A,本范例实施例的应用情境为零售场域,用户例如为顾客U5,而目标物例如为多个商品。顾客U5可将显示系统100移动至不同位置,而显示器110后方的目标物则会有所变动,在本范例实施例中是可额外增设辨识新目标物的步骤。

请再同时参照图5B,在本范例实施例中,当显示系统100启动后,处理装置140将会开始进行系统的初始化(步骤S502),以开始进行系统参数的侦测(步骤S504),进而进行参考坐标系统的建立(步骤S506)。在此的系统参数可由两组影像传感器C1、C2于显示系统100所在场景所撷取到的相关信息,用以建立固定的参考坐标系统。在此,处理装置140亦可得到显示系统100(即,显示器110)的初始位置。另一方面,处理装置140将会针对影像传感器C1所撷取到的顾客U5的影像以及商品T51的影像进行相机影像的校正(步骤S508)。在此,处理装置140可以是针对顾客U5的影像以及商品T51的影像进行用户眼睛以及目标物的辨识(步骤S510),以判断是否有新目标物(步骤S511)。在此为系统的初始化阶段,处理装置140将会视所有的目标物为新目标物,而对用户眼睛以及目标物进行坐标转换(步骤S512),从而得到顾客U5以及商品T51于相同的参考坐标系统下的空间定位(步骤S514)。也就是说,处理装置140在此已得到顾客U5、商品T51以及显示器110的初始位置。

接着,处理装置140可先进行融合物件的特征撷取(步骤S516)以及融合物件的特征匹配(步骤S518)。之后,处理装置140将进行转换矩阵的计算(步骤S520),以计算出融合信息。处理装置140再将融合影像显示于显示器110上(步骤S522)。在本范例实施例中,处理装置140将会进行系统变动量的侦测(步骤S524),并且再回到步骤S510重新进行目标物的辨识,以在步骤S512判断是否有新目标物。若有新目标物(例如新商品T52),则处理装置140将会重新针对顾客U5以及新商品T52进行坐标转换,并且再回到步骤S514,以重新进行顾客U5以及新商品T52空间定位,并且取得新的融合物件及其相关步骤。另一方面,若没有新目标物,则处理装置140仅需根据系统变动量以及视线变动量来进行转换参数的更新(步骤S528),以重新回到步骤S520来进行转换矩阵的计算,从而更新融合影像。

以图5A来说,假设顾客U5先在位置P51透过位于位置P51’的显示器110观看到商品T51,而处理装置140可以先自数据库取得商品T51的相关信息来做为融合物件,而顾客U5可观看到迭加于商品T51的融合影像F51,以获得商品T51的相关信息。之后,当顾客U5移动至位置P51’并且显示器110对应地移动至位置P52’后,顾客U5会观看到新商品T52,而处理装置140可以先自数据库取得新商品T52的相关信息来做为融合物件。在此商品T51、T52的相关信息可以是其简介、价钱、使用方式、评价等等,本发明不在此设限。

图6A是根据本发明的一范例实施例所绘示的显示系统的应用情境的示意图,图6B是根据本发明一范例实施例所绘示的信息显示方法的流程图。相较于图3A~图3B以及图4A~图4B,本范例实施例的使用场域为自由空间,因此显示器110后方的目标物可能会有所变动。相较于图5A~图5B,本范例实施例的显示系统100在进入到使用场域后,将会与使用场域的坐标系统进行匹配。此外,图6B中的标号末尾二码与图3B、图4B以及图5B相同者为类似步骤,其细节可由本领域普通技术人员参照图3B、图4B以及图5B推导,于此不再赘述。

请先参照图1以及图6A,本范例实施例的应用情境为展览馆,用户例如为参观访客U6,而目标物例如为展示品T6。展览馆本身可提供本身的场域坐标系统,而显示系统100在进入到展览馆的场域后,可以与展览馆的场域坐标系统进行匹配,以减少显示系统100本身存储的信息。

请再同时参照图6B,在本范例实施例中,当显示系统100启动后,处理装置140将会开始进行系统的初始化(步骤S602),以开始进行系统参数的侦测(步骤S604),进而进行参考坐标系统的建立(步骤S606)。在此的系统参数可由两组影像传感器C1、C2于显示系统100所在场景所撷取到的相关信息,用以建立固定的参考坐标系统。接着,显示系统100可以透过通讯接口(未绘示)来自网络N取得展览馆的场域坐标系统,以进行场域坐标匹配(步骤S607)。附带说明的是,在本范例实施例中,显示系统100更可以额外设有定位器L,随时定位到显示系统100的所在位置。

另一方面,处理装置140可针对影像传感器C1所撷取到的参观访客U6的影像以及展示品T6的影像进行相机影像的校正(步骤S608)。在此,处理装置140可以是针对参观访客U6的影像以及展示品T6的影像进行用户眼睛以及目标物的辨识(步骤S610),以判断是否有新目标物(步骤S611)。在此为系统的初始化阶段,处理装置140将会视所有的目标物为新目标物,而对用户眼睛以及目标物进行坐标转换(步骤S612),从而得到参观访客U6以及展示品T6于相同的参考坐标系统下的空间定位(步骤S614)。也就是说,处理装置140在此已得到参观访客U6、展示品T6以及显示器110的初始位置。

接着,处理装置140可先进行融合物件的特征撷取(步骤S616)以及融合物件的特征匹配(步骤S618)。之后,处理装置140将进行转换矩阵的计算(步骤S620),以计算出融合信息。处理装置140再将融合影像显示于显示器110上(步骤S622)。在本范例实施例中,处理装置140将会进行系统变动量的侦测(步骤S624),并且再回到步骤S610重新进行目标物的辨识,以在步骤S612判断是否有新目标物。若有新目标物,则处理装置140将会重新针对参观访客U6以及新的展示品进行坐标转换,并且再回到步骤S614,以重新进行参观访客U6以及新的展示品空间定位,并且取得新的融合物件及其相关步骤。另一方面,若没有新目标物,则处理装置140仅需根据所侦测到的任何系统变动量以及视线变动量来进行转换参数的更新(步骤S628),以重新回到步骤S620来进行转换矩阵的计算,从而更新融合影像。

以图6A来说,假设参观访客U6在位置P6观看到展示品T6,而处理装置140可以先透过网络N自数据库取得展示品T6的相关信息来做为融合物件,而顾客U6可观看到迭加于展示品T6的融合影像F6,以获得展示品T6的相关信息例如简介。之后,处理装置140可以根据显示器110的位移量以及旋转角度、顾客U6的视线位移量来对应地更新融合影像F6。

本发明的范例实施例所提出的信息显示方法及其处理装置与显示系统,其于系统启动时建立固定的参考坐标系统,并且定位用户、目标物以及显示器的初始位置后,即可根据所侦测到的用户以及/或是显示器的变动量来更新融合影像,可大幅缩短运算量以及运算时间。

虽然本发明已以范例实施例揭露如上,然其并非用以限定本发明,任何所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视所附权利要求书及其均等范围所界定者为准。

相关技术
  • 信息显示装置、信息处理装置、信息显示系统及信息显示方法
  • 信息处理装置、信息处理方法、程序、显示系统、显示方法及电子书写用具
技术分类

06120112986837