数字展馆多媒体设备智能交互控制方法及系统

技术领域

本发明涉及数字展馆多媒体设备控制技术领域，尤其涉及一种数字展馆多媒体设备智能交互控制方法及系统。

背景技术

数字展馆以多媒体和数字化技术作为展示技术，使用最新的影视动画技术，结合独到的图形数字和多媒体技术，以各类新颖的技术吸引参观者，实现人机交互方式的展览形式。数字展馆通常是集各种多媒体展览展示系统为一体的综合展示平台，包括数字沙盘、环幕/弧幕/球幕影厅、迎宾地幕系统、互动吧台、互动镜面及触摸屏等等。同时，由于融入了各种高新科技技术，让展厅极具内涵和吸引力，通过对视频、声音、动画等媒体加以组合应用，深度挖掘展览陈列对象所蕴含的背景、意义，带给观众高科技的视觉震撼感。为了提高观众的用户体验，数字展馆往往注重观众与展馆内的多媒体设备之间的交互。目前数字展馆常常采用鼠标、键盘、触摸屏、用户语音、用户手势等交互方式来实现观众与展馆内的多媒体设备之间的交互。现有技术中，例如公开号为CN111462334A的专利中的人馆互动子系统通过语音识别技术，识别用户发出的声音；通过动作捕捉与识别，确定用户的动作；通过用户的操作，产生相应的反馈信息；用户可通过智能机器人的触摸屏，对展馆的相关信息进行查询，这里的交互方式多样且均需要用户（观众）在观展时进行专门的操作才能向展馆控制系统输入用户需求信息，例如用户需要点击鼠标，触摸触控屏，专门做出特定的手势或者动作等这些方式来向展馆的控制系统输入自身需求信息。而这些观展之外的额外操作容易影响观众观展的连续性并分散对展示内容的专注力，因此降低了观众的观展体验。

发明内容

有鉴于此，本发明实施例提供了一种数字展馆多媒体设备智能交互控制方法及系统，用以解决目前数字展馆交互方式需要用户频繁操作，从而影响观众观展的连续性和分散观众对展示内容的专注力的技术问题。

第一方面本实施例提供一种数字展馆多媒体设备智能交互控制方法，包括以下步骤：

获取数字展馆中目标观众的经过授权的身份信息和行为信息，所述身份信息至少包括目标观众的年龄、性别、职业和兴趣爱好；

获取数字展馆中各个展示标的的信息；

根据目标观众的身份信息、行为信息和各个展示标的的信息生成交互信息，所述交互信息至少包括目标观众与各个展示标的关联度和展示标的的展示内容和展示模式；

根据所述交互信息确定数字展馆中的至少一部分多媒体设备作为目标多媒体设备并由中控数据处理器生成用于控制目标多媒体设备的控制指令；

根据控制指令控制各个目标多媒体设备执行与目标观众的交互。

第二方面本发明提供一种数字展馆多媒体设备智能交互控制系统，所述系统包括：中控数据处理器、多媒体设备和数据采集设备；所述多媒体的设备类型包括：射灯、显示屏、地毯屏、流水屏、飘带屏、音箱，所述数据采集设备包监控摄像头，所述系统采用第一方面所述的基于模式场景进行智能节点控制的数据处理方法。

有益效果：本发明的数字展馆多媒体设备智能交互控制方法及系统在由于通过观众的身份信息和在展馆中的行为信息来生成交互信息，然后根据相互信息生成控制指令，通过控制指令控制各个多媒体设备与用户交互的形式实现对展示标的展示。数字展馆通过多媒体设备与用户交互的过程中不需要用户在观展之外再专门做出触摸触控屏，手势控制，移动鼠标，点击键盘这些额外的操控动作，不会打断用户自然观展的过程，让用户可以专注于展示内容本身，因此可以显著提高观众的观展体验。本发明将观众的身份信息和行为信息两个维度的信息结合后综合判断用户的交互需求，可以在减少用户额外操作的情况下提高更符合观众需求的交互体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。

图1为本发明的数字展馆多媒体设备智能交互控制方法的流程示意图；

图2为本发明的根据关联度区间确定展示标的的展示模式的方法的流程示意图；

图3为本发明的简易展示模式的下根据交互信息生成控制指令的方法的流程示意图；

图4为本发明生成引导动画的方法的流程示意图；

图5为本发明详细展示模式的下根据交互信息生成控制指令的方法的流程示意图；

图6为本发明根据光照情况调整显示图像的方法的流程示意图；

图7为本发明沉浸式展示模式的下根据交互信息生成控制指令的方法的流程示意图；

图8为本发明计算目标观众与展示标的的关联度的方法的流程示意图；

图9为本发明根据用户行为信息更新修正系数的方法的流程示意图；

图10为本发明的数字展馆展示场景的示意图；

图11为本发明的规划移动路径的示意图；

图12为本发明的原始引导图像处于初始位置时的示意图；

图13为本发明的原始引导图像沿移动路径移动到另一个位置时的示意图第；

图14为本发明的获取目标观众视角下移动路径长度的示意图；

图15为本发明的以流动溪水作为引导动画的示意图；

图16为本发明将第二中间图像投影到显示屏上的示意图；

图17为本发明的第二中间图像的像素投影到显示屏上与显示屏上的像素的对应关系的示意图；

图18为本发明的数字展馆处于详细展示模式的场景示意图；

图19为本发明的数字展馆处于沉浸式展示模式的场景示意图；

图20为本发明由目标观众的头部角度和视线角度确定目光注视范围的示意图；

图21为本发明确定目标观众视线角度的示意图；

图22为本发明的数字展馆多媒体设备智能交互控制系统的结构框图。

实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。

实施例

本发明实施例提供一种数字展馆多媒体设备智能交互控制方法，所述方法通过中控数据处理器对观众的身份信息和行为信息进行分析处理后控制展馆中的各个多媒体设备配合用户的需求利用多种技术手段进行对展示标的1进行展示，其中多媒体设备包括第一显示屏3，第二显示屏4和若干个与所述展示标的1一一对应的第三显示屏5，所述第一显示屏3铺设于展馆地面并用于供目标观众2行走，所述第二显示屏4铺设于展台并用于陈列展示标的1，所述第三显示屏5一端与第一显示屏3相连，相对的另一端与第二显示屏4在与展示标的1相对应的位置相连，所述第一显示屏3、第二显示屏4、第三显示屏5分别由中控数据处理器控制；此外本实施例中的多媒体设备还包括第四显示屏12，所述第四显示屏12铺设在数字展馆墙壁表面和天花板上。为了分别目标观众2近距离观看展示标的1时可以看清楚展示标的1的细节，本实施例的多媒体设备还包括射灯10。为了在沉浸式展示中提高用户的观展体验，本实施例的多媒体设备还包括音响。

其中中控数据处理器具有1路网络信号，2路RS485，2路RS232，负责串口信号的分发，系统响应速度快，无延时。串口通讯采用的16进制自定义，串口参数可自由设置，方便与被控设备顺畅链接。中控数据处理器的产品参数如下：ARM+Linux系统；供电电源：DC24V；通讯接口：modbus总线，udp ,tcp通讯；安装方式：DIN标准导轨；外观尺寸：长×宽×高=160mm×95mm×56。如图1所示，本实施例的控制方法包括以下步骤：

S1：获取数字展馆中目标观众2的经过授权的身份信息和行为信息，所述身份信息至少包括目标观众2的年龄、性别、职业和兴趣爱好；观众在进入展馆前可以选择是否接受本实施例的交互方式，如果选择接受则可以在观众的授权下获取用户的一些身份信息。观众可以通过输入设备将自己的身份信息输入给中控数据处理器，这些操作都在用户进入到展馆前完成，因此不会影响用户进入到展馆后的观展感受。如果观展不接受不实施例的交互方法则可以采用普通的交互方式，而接受本实施例交互方式的观众则可以作为目标观众2。其中观众的行为信息则是指观众进入到展馆后在观展的过程中的一些自然行为，例如观众在各个展示标的1附近的停留行为，观众目光对各个展示标的1关注行为等。布置在数字化展馆中的各种传感器采集与观众行为相关的数据，然后由中控数据处理器对这些数据进行分析处理后得到用户的行为信息。

S2：获取数字展馆中各个展示标的1的信息；其中展示标的1可以是用于展示的实物，也可以是虚拟的展示物品。也可以是历史名人雕像，文化遗产等，这里不做限制。

S3：根据目标观众2的身份信息、行为信息和各个展示标的1的信息生成交互信息，所述交互信息至少包括目标观众2与各个展示标的1关联度和展示标的1的展示内容和展示模式；本步骤观众结合目标观众2的身份信息、行为信息和展示标的1的信息进行分析处理，得出符合用户交互需求的交互信息。交互信息中确定了符合观众需求的展示内容和展示模式。其中关联度是指观众对各个展示标的1感兴趣的概率大小，关联度越高则表明观众对该展示标的1感兴趣的概率越大。

S4：根据所述交互信息确定数字展馆中的至少一部分多媒体设备作为目标多媒体设备并由中控数据处理器生成用于控制目标多媒体设备的控制指令；

本步骤根据交互信息中所确定的展示内容和展示模式来控制各个多媒体设备协同配合，以所述展示模式向观众展示所述展示内容。由于不同的展示模式和展示内容往往会用到不同的多媒体设备，因此本步骤可以先根据交互信息选择需要使用的多媒体设备，然后根据展示内容和展示模式确定这些多媒体设备需要执行的动作。

S5：根据控制指令控制各个目标多媒体设备执行与目标观众2的交互。 中控数据处理器将生成的控制指令发生给对应的目标多媒体设备。目标多媒体设备则按照控制指令执行交互动作，例如显示屏按照控制指令显示展示的图像、视频，音响按照控制指令播放展示的语音、音乐，灯光设备按照控制指令发出设定的灯光效果。如图2所示，在本实施例中所述S3：根据目标观众2的经过授权的身份信息、行为信息和各个展示标的1的信息生成交互信息，所述交互信息至少包括目标观众2与各个展示标的1关联度和展示标的1的展示内容和展示模式还包括以下步骤:

S301：获取按照关联度大小范围划分的第一关联度区间，第二关联度区间，第三关联度区间，和各个展示标的1关联度；由于同一个观众对不同展示标的1关联度高低可能不同，因此本步骤对观众与展示标的1的关联度进行区间划分，以便后续根据关联度所属的区间来合理选择各个展示标的1展示内容和展示方式。 例如本实施例将关联度划分为三个区间，其中第一关联度区间是关联度相对较低的区间，而第二关联度区间则是关联度较高的区间。而第一关联度区间、第二关联度区间、第三关联度区间和第四关联度区间的关联度依次递增。本实施例中的第一关联度区间，第二关联度区间，第三关联度区间的范围可以根据经验进行设置。例如关联度的取值范围为0至100的实数，其中第一关联度区间为[20,40]，第二关联度区间为(40,80]，第二关联度区间为(80,100]。

S302：当某个展示标的1关联度处于第一关联度区间时，该展示标的1展示模式为简易展示模式；即当目标观众2对某个展示标的1的关联度较低时，采用第一模式对该展示标的1进行展示。由于关联度较低，因此第一模式可以用较为简洁的形式和/或内容对展示标的1进行展示，不会展示过多的细节。

S303：当某个展示标的1关联度处于第二关联度区间时，该展示标的1展示模式为详细展示模式；即当目标观众2对某个展示标的1的关联度较高时，采用第二模式对该展示标的1进行展示。由于关联度较高，因此第一模式可以用较为丰富的和/或对展示标的1进行展示，让目标观众2更加全面和深入地了解其感兴趣的展示标的1。

S304：当某个展示标的1关联度处于第三关联度区间时，该展示标的1展示模式为沉浸式展示模式；当目标观众2对某个展示标的1的关联度处于第三关联区间时表明目标观众2对该展示标的1很感兴趣，这时可以采用沉浸式的方式对该展示标的1进行展示，利用数字展馆中的多媒体设备将整个数字展馆营造成适合该展示标的1的环境，然后目标观众2沉浸在该与展示标的1相关的环境中。本实施例自动根据展示标的所属的关联度区间来选取向目标展示该标的展示模式。在关联度反映出目标观众对展示标的具有一定兴趣，但是兴趣不是特别高的情况下通过简易展示模式以引导目标观众关注的方式向用户展示一些展示标的的简明信息，让用户可以方便快速地通过这些简要信息来决定是否需要进一步了解该展示标的。当关联度反映出目标观众对展示标的比较感兴趣时采用详细展示模式，让目标观众可以充分了解展示标的的情况。当关联度反映出目标观众对展示标的非常感兴趣时，采用沉浸式的展示模式，让用户以融入到展示标的相关场景中的方式进行观展。由于本实施例通过目标观众对展示标的关联度大小采用不同的展示模式，因此数字展馆中各种多媒体设备可以按照目标观众的观众对展示标的的观展需求提供最合适的观展交互方式。

虽然目前也有通过WiFi来确定观众在数字展馆中的位置，然后根据观众在数字展馆中的位置为观众提供导览的技术。但是该技术仅仅根据观众的位置向观众使用的移动客户端推送导览信息，而没有根据观众丰富的行为信息自动与观众进行交互，既不能准确获取用户的交互交需求，也没有减少用户对移动客户端的额外操作。作为一种可选但有利的实施方式，如图10所示，在本实施例中所述多媒体设备包括第一显示屏3，第二显示屏4和若干个与所述展示标的1一一对应的第三显示屏5，所述第一显示屏3铺设于展馆地面并用于供目标观众2行走，所述第二显示屏4铺设于展台并用于陈列展示标的1，所述第三显示屏5一端与第一显示屏3相连，相对的另一端与第二显示屏4在与展示标的1相对应的位置相连，所述第一显示屏3、第二显示屏4、第三显示屏5分别由中控数据处理器控制；在本实施例中，用第一显示屏3铺设数字展馆的地面，从而可以利用第一显示屏3的显示功能，来提高数字展馆的展示效果。本实施例将第二显示屏4设置为展台的形式，展示标的1可以放置在第二显示屏4上，第二显示屏4根据展示模式和展示内容展示相关的文字，图像和动画等。第三显示屏5则将第一显示屏3和第二显示屏4连接起来组成一体式的显示屏。由于观展时观众在第一显示屏3上行走或停留，展示标的1放置在第二显示屏4上，因此通过前述三个显示屏可以将观众和展示标的1融合在同一个场景中。所述交互信息包括目标观众2在数字展馆中的位置，所述展示标的1的信息包括展示标的1在展馆中的位置设目标观众2在数字展馆中的位置为第一位置；目标观众2在数字展馆中的位置为第二位置，展示标的1的展示内容包括第一展示内容，所述第一展示内容为粗略展示内容，如图3所示当展示标的1展示模式为简易展示模式时，所述S4：根据所述交互信息确定数字展馆中的至少一部分多媒体设备作为目标多媒体设备并由中控数据处理器生成用于控制目标多媒体设备的控制指令还包括以下步骤；

S41：获取关联度处于第一关联度区间的展示标的1作为第一目标展示标的1；在观众刚进入到数字展馆中时，控制系统所获取的用户的观展行为的信息较少，这时主要以用户在入馆前输入的身份信息为主判断其感兴趣的目标展示标的1，因此此时各个展示标的1的关联度都较低，只有某些与观众身份信息匹配度较高的展示标的1的关联度处于第一关联度区间，而这些展示标的1则作为第一目标展示标的1。S42：获取用于引导目标观众2关注目标展示标的1原始引导图像7，所述引导图像中包含目标展示标的1第一展示内容；由于属于第一关联度区间的展示标的1对于目标观众2来说不是特别感兴趣，因此在简易展示模式中不会对该展示标的1进行详细的介绍和展示。其中第一展示内容只是对目标展示标的1少量的文字描述和简单图像介绍。简易展示模式侧重于引导用户对目标展示标的1有所关注。S43：根据第一位置和第二位获取原始引导图像7的移动路径6，如图11所示，所述移动路径6由第一位置依次经过第一显示屏3、与第一目标展示标的1对应的第三显示屏5和第二显示屏4并延伸至第二位置；本实施例利用移动动画来引导观众的目光转向第一目标展示标的1，这样可以使观众在进入到数字展馆后快速从众多展示标的1中找到其较大可能感兴趣的展示标的1。如图12和图13所示，其中引导动画是指原始引导图像7沿着移动路径6从第一位置移动到第二位置的动画，观众的目光可以跟随引导动画转移到第一目标展示标的1的位置。其中引导动画可以是由目标观众2位置朝第一目标展示标的1位置移动的箭头序列，可以是由目标观众2位置朝第一目标展示标的1位置缓缓流动的溪流，也可以是由目标观众2位置朝第一目标展示标的1位置徐徐展开的画卷。

S44：根据所述第一位置和移动路径6对原始引导图像7进行处理后生成目标引导动画；S45：中控数据处理器根据目标引导动画生成控制第一显示屏3、第二显示屏4和第三显示屏5显示引导动画的控制指令。引导动画生成后，中空数据将移动动画的数据和控制第一显示屏3、第二显示屏4和第三显示屏5显示引导动画的控制指令分别发送给第一显示屏3、第二显示屏4和第三显示屏5显示屏，控制三个显示屏执行显示命令通过三个显示屏的协同配合显示出引导动画。如图4所示，在本实施例中所述44：根据所述第一位置和移动路径6对原始引导图像7进行处理后生成目标引导动画以下步骤：S441：根据第一位置和移动路径6获取目标观众2视角下的移动路径6的长度；由于目标观众2在不同的位置观看引导动画的视角不同，因此观看的效果也不相同。为了使目标观众2无论在那个位置都能观看到最佳的引导动画效果，本实施例从观众视角来对生成引导动画。如图14所示，对此可以采用虚拟图像投影的方式，即将效果最理想的图像放置在观众最佳的观看位置，然后将该理想的图像投影到显示屏上，所得到的投影图像作为显示屏要显示的图像。这样目标观众2所看到的显示屏的图像的显示效果与理想图像最接近。对此首先将移动路径6由显示屏投影到观众最佳的观看位置所在的平面，得到移动路径的投影14，该投影的长度即为目标观众2视角下的移动路径6的长度。其中获取目标观众视角的方法为先获取目标观众在数字展馆中的位置。可以通过数字展馆中的监控摄像头所拍摄的图像来获取目标观众在数字展馆中的位置。也可以将第一显示屏设置为电容屏，目标观众在电容屏的不同位置来确定目标观众眼睛的位置时会使电容屏产生不同的电流变化，通过这些电流变化可以确定目标观众在电容屏上的位置。然后用监控摄像头拍摄目标观众的图像，通过图像中目标观众眼睛的位置来确定目标观众眼睛的高度，进而在数字展馆中确定目标观众眼睛的位置，以该位置作为目标观众视角的位置，定义处于该位置的人体的视角作为目标观众视角。S442：根据移动路径6的长度对原始引导图像7做延长处理后得到包含有原始引导图像7的第一中间图像；当目标观众2与第一目标展示标的1的相对位置不同时，在目标观众2视角下移动路径6的长度也有所不同，为了便于图像处理，可以对原始引导图像7进行延长处理，使延长处理后得到的图像的长度可以填满整个移动路径6。由于引导动画有一帧一帧的图像组成，因此可以将引导动画各帧所对应的原始引导图像7按照移动路径6的长度延长为同一的长度。具体延长处理的方式为沿移动路径6方向增加原始图像的像素，使增加像素后的图像的长度与移动路径6的长度一致，然后将这些增加像素的像素值设置为0,前述延长处理均是在目标观众2视角条件下进行。

S443：根据第一中间图像和移动路径6生成若干帧第二中间图像8，针对任意一帧第二中间图像8，原始引导图像7在该帧第二中间图像8中的位置对应该帧第二中间图像8显示时目标观众2视角下原始引导图像7所在的位置；引导动画由按时间顺序排列的若干帧图像组成，因此可以先获取到每一帧图像，再将这些图像按照时间顺序存储，最后按照时间顺序播放这些图像形成引导动画的效果。在目标观众2视角下，原始引导图像7随着动画的播放而不断地沿着移动路径6移动位置，因此在每一帧第二中间图像8中，原始引导图像7会处于不同的位置。本步骤则在第一中间图像的基础上将原始引导图像7移动到其在某一帧图像的正确位置后得到该帧第二中间图像8。如图17所示，对于流水或者卷轴这类动画，可以下每一帧第二中间图像8的起始位置和原始引导动画之间填充周期性的图像。其中起始位置为第二中间图像8最靠近目标观众2的位置。

S444：针对任意一帧第二中间图像8，根据目标观众2视角下第二中间图像8与第一显示屏3、第二显示屏4和第三显示屏5的投射关系确定第二中间图像8中每一个像素所对应的目标像素和目标像素的像素值，其中目标像素为第一显示屏3和/或第二显示屏4和/或第三显示屏5第一显示屏3的像素中的像素，所有目标像素组成与该帧第二中间图像8对应的一帧目标图像9；本实施例将理想效果的第二中间图像通过目标客户视角投射在显示屏上后得到显示屏显示的目标图像，这样不仅可以消除不同显示屏衔接位置造成的图像效果的突变，还可以使目标客户在各个位置都可以通过3个显示屏观看到最接近理想效果的引导动画。如图16所示，具体实施时将第二中间图像8放置在观众观看的最佳位置，第二中间图像8的一个像素可以用一个矩形表示。本实施例以目标观众2双眼的中间位置作为原点。如图17所示，用若干条直线将原点和第二中间图像8像素的边缘分别相连，这些直线在显示屏上的交点所围成的区域为显示屏上与第二中间图像8上像素对应的区域，处于该区域中的显示屏上的像素即为与第二中间图像8的像素对应的像素。第二中间图像8的一个像素投影到显示屏上时可能会占据显示屏上的一个像素位置，也可能占据多个像素位置。如果占据显示屏上的一个像素位置，则该像素位置的像素值即为所投影的第二中间图像8像素的像素值，例如图17中第二中间图像8的像素f1投影到显示屏11后对应了f11、f12、f13、f14这4个像素。如果占据多个像素位置，则这多个像素位置的像素值均为所投影的第二中间图像8像素的像素值。如果第二中间图像8的多个像素投影到了显示屏的同一个像素位置，那么该像素位置的像素值为所投影的所有像素的像素值的平均值。例如第二中间图像8的有n个像素投影到了显示屏上的同一个像素位置，设这n个像素中第i个像素的像素值为Ri，那么显示屏上该像素位置的像素值为 (W1+W2+……+Wn)/n。当多个第二中间图像8的像素投影到显示屏的同一个像素位置时，为了提高投影精度也可以采用面积占比的方式计算像素值。设第i个像素占显示屏11上的同一个像素位置的面积为Si，那么显示屏11上同一个像素位置的像素值为 (W1×S1+W2×S2+……+Wn×Sn)/ (S1+ S2+……+ Sn)。这种像素值的计算方法充分考虑第二中间图像不同像素面积占比对投影图像的影响，可以进一步提高目标图像与理想图像之间的接近程度。用上述方法确定所有投影到显示屏上的像素值后，将这些像素组合成得到一帧图像目标图像9。

S445：将各帧目标图像9按照各帧第二中间图像8的时序排列得到目标引导动画。当目标观众2在某个展示标的1周围停留的一端时间后，系统会判定目标观众2对该展示标的1的兴趣较高，从而进入到能够更加充分的为目标观众2展示该展示标的1详细展示模式。对此在本实施例中，所述多媒体设备包括音响和若干个用于照射展示标的1射灯10，当展示标的1展示模式为详细展示模式时，所述展示标的1的信息包括展示标的1辅助灯光效果信息，展示标的1的展示内容还包括第二展示内容，所述第二展示内容为详细展示内容，所述第二展示内容包括需要显示的详细文字和图像，如图5所示，所述S4：根据所述交互信息确定数字展馆中的至少一部分多媒体设备作为目标多媒体设备并由中控数据处理器生成用于控制目标多媒体设备的控制指令还包括以下步骤；

S47：获取关联度处于第二关联度区间的展示标的1作为第二目标展示标的1；S48：根据第二目标展示标的1辅助灯光效果信息确定用于照射第二目标展示标的1射灯10作为目标射灯10，并确定目标射灯10的光照强度和光照颜色；

S49：根据第二目标展示标的1确定用于播放所述展示内容的音响和用于显示所述展示内容的显示屏并生成控制所述音响播放所述展示内容和所述显示屏显示所述展示内容的控制指令。如图18所示，由于进入第二展示模式时目标观众2处于距离第二目标展示标的1较近的位置，因此可以打开射灯10照射第二目标展示标的1，从而让目标观众2可以清晰的看清楚第二目标展示标的1的细节，并且用第二展示内容中详细的文字和丰富的图像对第二目标展示标的1进行介绍。还可以通过语音的方式对第二目标展示标的1进行介绍。为了为第二目标展示标的1提供充足的光照，射灯10的光照强度往往较高，这时射灯10照射到显示屏上的显示图像后会影响图像显示的效果，对此作为一种可选但有利的实施方式，在本实施例中，如图6所示，所述S49：根据第二目标展示标的1确定用于播放所述展示内容的音响和用于显示所述展示内容的显示屏并生成控制所述音响播放所述展示内容和所述显示屏显示所述展示内容的控制指令还包括以下步骤：S491：根据所述展示内容获取显示屏所显示的图像作为原始图像；S492：获取所述目标射灯10照射到所述显示图像上的光照强度和光照颜色；具体实施时可以在显示屏显示图像的位置设置光线传感器，检测光照强度和光照颜色。S493：根据所述光照强度和光照颜色调整原始图像各个像素的像素值后得到目标图像9；当射灯10某一种颜色的光照较强时，可以将被照射到的显示对应该颜色的像素值调低，以减少或者消除这种颜色灯光对显示图像的影响。

S494：生成控制所述显示屏显示所述目标图像9的控制指令。当目标观众2在某个展示标的1附近停留的时间很长，则表明该目标观众2对这个展示标的1十分感兴趣，这时系统会进入到沉浸展示模式，让观众沉浸在与目标展示标的1相关的场景中。对此，在本实施例中所述多媒体设备还包括设置铺设在数字展馆墙壁表面和天花板上的第四显示屏12。为了可以通过图像和视频显示的方式营造出与展示标的1相关的场景，本实施例还在数字展馆墙壁表面和天花板上的第四显示屏12，通过与前述第一显示屏3，第二显示屏4和第三显示屏5的结合，可以使整个数字展馆整体形成一个无死角的显示屏，从而可以通过图像和画面显示的方式将整个数字展馆都营造成与目标展示标的1相关的场景。对此所述展示标的1的展示内容还包括第三展示内容，所述第三展示内容包括与展示标的1相关的场景图像11和场景声音。如图7所示，所述S4：根据所述交互信息确定数字展馆中的至少一部分多媒体设备作为目标多媒体设备并由中控数据处理器生成用于控制目标多媒体设备的控制指令还包括以下步骤；

S401：获取关联度处于第三关联度区间的展示标的1作为第三目标展示标的1；

S402：获取第三目标展示标的1场景图像11和场景声音；如图19所示，例如当目标展示标的1为皇宫中使用的瓷器时，可以将该瓷器所放置的周围的皇宫宫殿内的场景图像11作为前述场景图像11，将该瓷器所处时代皇宫中演奏的音乐作为前述场景声音。例如当目标展示标的1为战场上所使用的武器时，可以将该武器所处时代的战场环境的图像作为前述场景图像11，将战场战斗场景中的声音作为前述场景声音。S403：根据第三目标展示标的1场景图像11和场景声音确定用于显示所述场景图像11的显示屏作为目标显示屏和目标音响设备，所述目标显示屏至少包括第一显示屏3、第二显示屏4、第三显示屏5和第四显示屏12；S404：根据用于显示所述场景图像11的显示屏将场景图像11划分为若干个与各个目标显示屏对应的子场景图像11；由于场景图像11由多个不同的显示屏协同显示，因此本步骤将场景图像11按照显示屏进行划分，从整体场景图像11中划分出各个显示屏所显示的场景图像11的子场景图像11。S405：生成控制各个目标显示屏显示对应子场景图像11的控制指令和控制目标音响设备播放场景声音的控制指令。采用前述控制方式后，除了可以为目标观众展示其非常感兴趣的展示标的详细信息外，还可以利用数字展馆中的多媒体设备为目标观众营造出与展示标的相关的环境，让目标观众不仅仅是简单的获取展示标的的信息，而是沉浸在与展示标的相关的环境中，通过展示标的相关的环境来增加对展示标的理解的深度。为了可以按照目标观众2对展示标的1的兴趣来选择展示模式，在本实施例中所述行为信息至少包括目标观众2的目标观众2的目光关注范围和目光关注时间，所述展示标的1的信息还包括展示标的1对不同年龄段人群的兴趣度值，对不同性别类型人群的兴趣度值，对不同职业类型人群的兴趣度值以及对不同兴趣爱好类型人群的兴趣度值。前述兴趣度值可以根据经验进行设置。兴趣度值取0至10之间的任意实数，数值越大表示目标观众的对展示标的兴趣越高。例如当展示标的1为适合年轻男士穿的流行服装时，该展示标的1对0至14岁年龄段人群的兴趣度值为2，对14岁至30岁年龄段人群的兴趣度值为6，对30岁以上年龄段人群的兴趣度值为2。该展示标的1对女性人群的兴趣度值为1，对男性人群的兴趣度值为6。该展示标的1对从事服装设计制造的人群的兴趣度值为6,对其它职业类型的人群的兴趣度值均为1，该展示标的1对兴趣爱好为流行服装的人群的兴趣度值为6，对其它兴趣爱好的人群的兴趣度值为1。为了能够准确获取目标观众的目光关注范围，本实施例的方法还包括以下步骤：获取俯拍摄像头拍摄到的目标观众的包含鼻子部位的图像；其中俯拍摄像头安装在数字展馆的天花板上，俯拍摄像头从上往下拍摄目标观众的头部。根据图像中鼻子部位的中间线获取目标观众的头部角度；先从图像中提取出鼻子的轮廓，然后获取鼻子轮廓的最小矩形框20，并获取最小矩形框在参考坐标系中的角度作为头部角度。例如图20中方向e在参考坐标系x-y中的角度即为最小矩形框在参考坐标系中的角度。其中方向e为和矩形框与鼻子轮廓的鼻尖不相交的边平行的方向。获取正拍摄像头拍摄到的目标观众的包含眼睛部位的图像；其中正拍摄像头安装在数字展馆中正对目标观众的墙壁上。为了能够获取目标观众在各个位置的正拍图像，可以在数字展馆各个方位的墙壁上均安装正拍摄像头，然后根据目标观众在数字展馆的位置选择朝向目标观众正面的摄像头作为正拍摄像头。根据图像中瞳孔中心在眼睛中的位置获取目标观众的视线角度；如图21所示，本步骤先获取目标观众的眼睛轮廓，然后从图像中获取目标观众的瞳孔，并计算出瞳孔的中心位置16。获取眼睛轮廓的长轴，将瞳孔中心垂直投射到长轴上，得到长轴上的投射点。该投射点17在长轴19上的位置既作为瞳孔中心在眼睛中的位置。设长轴的总长度为S1，以长轴左边的端点作为参考点18，投射点到参考点的长度作为S2，计算出S2与S1的比值作为参考比值，然后将该比值转化为目标观众的视线角度。事先可以通过实验对参考比值和目标观众视线角度之间的对应关系进行标定。让实验者观察测试图像线不同设定角度的标志点，并记录下实验者观察每个标志点时的参考比值。本实施例采用长度比值的而非绝对长度的方法可以避免拍摄角度不同所造成的误差。根据头部角度和视线角度确定目标观众的目光注视范围。将头部角度（图21中h方向在x-y坐标系中的角度）和视线角度（如21中e方向与h方向之间的夹角）相加后得到目标观众的目光关注方向（图21中的h方向），最后将目标观众目视角度范围的对称中心线与目标关注方向重合后得到目标观众的目光注视范围（图21中角度A1所表示的范围）。除了前述方法外本实施例还可以采用其他现有技术中的方法来获取目标观众的目光注视方向。如图8所示，所述S3：根据目标观众2的身份信息、行为信息和各个展示标的1的信息生成交互信息，所述交互信息至少包括目标观众2与各个展示标的1关联度和展示标的1的展示内容和展示模式还包括以下步骤：S31:根据目标观众2的身份信息和展示标的1的信息获取第一兴趣因子q1，具体包括以下步骤：根据目标观众2的年龄所属的年龄段获取展示标的1对目标观众2的第一兴趣度值a1;例如目标观众2的年龄为20岁，那么流行服饰这类展示标的1对该目标观众2的第一兴趣度值为6。根据目标观众2的性别所属的性别类型获取展示标的1对目标观众2的第二兴趣度值a2;例如目标观众2为男性，那么那么流行服饰这类展示标的1对该目标观众2的第二兴趣度值为6。根据目标观众2的职业所属的职业类型获取展示标的1对目标观众2的第三兴趣度值a3;例如目标观众2为从事流行服饰设计生产以外的职业，那么那么流行服饰这类展示标的1对该目标观众2的第三兴趣度值为1。根据目标观众2的兴趣爱好所属的兴趣爱好类型获取展示标的1对目标观众2的地声兴趣度值a4;例如目标观众2的兴趣爱好为除流行服装之外的兴趣爱好，那么那么流行服饰这类展示标的1对该目标观众2的第四兴趣度值为1。计算第一兴趣因子，其中第一兴趣因子q1= a1+a2+a3+a4。本步骤利用目标观众2身份信息从多个维度评价展示标的1对目标观众2的兴趣度值，然后利用各个维度的兴趣度值进行综合计算得到目标观众2身份信息和展示标的1信息匹配程度确定的第一兴趣因子。S32:根据目标观众2的目光关注范围、目光关注时间和展示标的1的位置获取第二兴趣因子q2；本步骤可以先根据展示标的1的位置判断展示标的是否处于目标观众2的目光关注范围，若是则获取展示标的1连续处于目光关注范围内标的时间长度作为目光关注时间，然后根据目标关注时间来确定第二兴趣因子的大小，其中目标关注时间越长则第二兴趣因子的越大。目标关注时间的长短与则第二兴趣因子的大小的具体对应关系可以根据经验进行设置。S33:根据目标观众2的停留范围、停留时间和展示标的1的位置获取第三兴趣因子q3；当目标观众2在设定时间段内的位置变化小于第一预设半径的圆时，可以判定目标观众2处于停留状态，这时以用户当前位置为圆心以第二预设半径的圆内为，目标观众2的停留范围。然后判断根据展示标的1的位置是否处于目标观众2的停留范围内，若是则获取展示标的1连续处于停留范围的时间长度作为停留时间，然后根据停留时间来确定第三兴趣因子的大小，其中目标关注时间越长则第三兴趣因子的越大。其中第一预设半径，第二预设半径和目标关注时间的长短与则第三兴趣因子的大小的具体对应关系可以根据经验进行设置。

S34:获取第一权重k1（ta）,第二权重k2（ta）和第三权重k1（ta）；其中第一权重k1（ta）,第二权重k2（ta）和第三权重k1（ta）分别为第一兴趣因子，第二兴趣因子和第三兴趣因子所占的权重，这些权重随目标观众2在展馆中的时间而改变。S35:根据目标观众2在展馆中停留的总时间ta获取当前时刻的第一修正系数C1（ta）、第二修正系数C2（ta）和第三修正系数C3（ta）；

由于随着目标观众2在展馆中的行为信息的不断丰富，身份信息和不同的行为信息对确定关联度的影响也在变化对此，本实施例设置修正系数对3个权重进行修正。这些修正系数可以随时间调整更新，因此可以看做是随时间变化的函数。由于目标观众2刚进入到展馆中时，其行为信息有限，无法为系统判断目标观众2的意图提供足够方信息，主要依靠目标观众2提供的身份信息进行，这时第二权重和第三权重较低。具体调整方法如图9所示，调整方法包括以下步骤：S38:当目标观众2的目光在同一目光范围中的停留时间超过第一阈值T1时，对第二修正系数的当前值进行调整，其中C2（ta）= C2（t0）× (1+m1×( Ts-T1)),其中m1为第一调整系数，C2（t0）为第二修正系数的初始值，Ts为目标观众2的目光在同一目光范围中的停留时间；如果观众的目光在同一目光范围中的停留时间较长则表明观众的注意力开始集中在该目光范围内的那些展示标的1上。因此由标观众的目光关注范围、目光关注时间所体现的目标观众2的行为信息增多，为了充分利用这些有用的信息，本实施例通过提高修正系数来提高第二兴趣因子的权重，从而更加准确地获取目标观众2对展示标的1的关联度。当目标观众2的目光超出所述同一目光范围的时间超过第三阈值时，说明目标观众2已经不再关注之前目光范围内的展示标的1。这时将第二修正系数的当前值重置为C2（t0）；S39:当目标观众2的在同一区域停留的时间超过第二阈值T2时，对第三修正系数的当前值进行调整，其中C3（ta）= C3（t0）× (1+m2×( Tc-T1)),其中m2为第二调整系数，C3（t0）为第三修正系数的初始值，Ts为目标观众2的目光在所述同一区域中的停留时间；当目标观众2的位置位于所述同一区域外时将第三修正系数的当前值重置为C3（t0）。如果目标观众2在同一区域的停留较长的时间，则表明观众对处于该区域附近的展示标的1具有较浓厚的兴趣，因此由目标观众2的停留范围、停留时间所体现的目标观众2的行为信息增多，为了充分利用这些有用的信息，本实施例通过提高修正系数来提高第三兴趣因子的权重，从而更加准确地获取目标观众2对展示标的1的关联度。当目标观众2的目光超出所述同一目光范围的时间超过第三阈值时，说明目标观众2已经不再关注之前目光范围内的展示标的1。当目标观众2的位置位于所述同一区域外的时间超过第四阈值时，表明目标观众2已经不再关注先前停留范围附近的展示标的1，这时可以将第三修正系数的当前值重置为C3（t0）。S36:计算目标观众2和展示标的1当前时刻的关联度R（ta），其中R（ta）= C1（ta）×k1×q1+ C2（ta）×k2×q2+ C3（ta）×k3×q3。本实施例通过前述方式在目标观众观展的过程中不断到调整修正系数从而根据目标观众观展的进程来动态调整三个兴趣因子的权重。然后利用调整后的权重来实时更新目标观众对各个展示标的的关联度，让身份信息和行为信息在不过的观展阶段都得到最合理的利用。采用前述修正系数的调整方法可以在目标观众刚进入展馆时主要依靠目标客户提供的身份信息初步判断目标客户对各个展示标的感兴趣的程度。等目标客户的向一些感兴趣的展示标的投去关注的目光的时候，提高由目光关注范围和目光停留时间这些行为信息所确定的兴趣因子占的权重。等到目标观众近距离长时间靠近某个很感兴趣的展示标的时候提高由目标观众停留范围和停留时间所确定的兴趣因子的权重。采用前述方法获取的关联度可以最大程度反映目标观众对展示标的感兴趣的程度，从而让系统执行符合目标用户需求的交互操作。

实施例

如图22所示，本实施例提供一种数字展馆多媒体设备智能交互控制系统，所述系统包括：中控数据处理器、多媒体设备和数据采集设备；所述多媒体的设备类型包括：射灯10、显示屏、地毯屏、流水屏、飘带屏、音箱，所述数据采集设备包监控摄像头13，所述系统采用实施例1中所述的基于模式场景进行智能节点控制的数据处理方法

以上就是对本发明的基于模式场景进行智能节点控制的数据处理方法及系统的详细介绍。