一种基于人工智能和物联网相结合的多媒体互动展示系统

技术领域

本发明涉及多媒体互动展示领域，涉及到一种基于人工智能和物联网相结合的多媒体互动展示系统。

背景技术

随着国家经济、科技的发展以及综合国力的提高，多媒体技术得到迅速发展，多媒体展示的应用更以极强的渗透力进入人类生活的各个领域。

现有的多媒体展示系统虽然在一定程度上满足了人们获取多样信息的需要，丰富了宣传形式，但是，作为非多媒体管理者的用户仍是作为多媒体展示的观看者，缺少用户与多媒体展示系统的互动，无法真正地融入到多媒体互动展示现场的切身体验效果中，难以实现用户与多媒体展示系统之间的交互，这在很大程度上降低了人们对现有的多媒体展示系统的憧憬程度，从而降低用户对多媒体展示系统的体验感和兴趣感，为了解决以上问题，现设计一种基于人工智能和物联网相结合的多媒体互动展示系统。

发明内容

本发明的目的在于提供一种基于人工智能和物联网相结合的多媒体互动展示系统，本发明通过操作人员进入多媒体互动展示厅内互动操作区域中选择互动模式，若选择语音互动模式，则采集多媒体互动展示厅内互动操作区域中发出的语音指令数据，分别进行语音数据处理和内容识别，提取多媒体互动展示厅内互动操作区域中发出的有效句内容，对比筛选有效句内容对应的标准互动指令内容，并进行互动展示，同时若选择手势动作互动模式，则采集多媒体互动展示厅内互动操作区域中手势指令图像，获取手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，通过图像矫正处理得到手势指令矫正图像，对比筛选手势指令矫正图像对应的标准手势指令，并进行互动展示，解决了背景技术中存在的问题。

本发明的目的可以通过以下技术方案实现：

一种基于人工智能和物联网相结合的多媒体互动展示系统，包括互动模式选择模块、语音数据采集模块、语音数据处理模块、语音内容识别模块、有效句提取模块、手势图像采集模块、手势图像处理模块、偏转角度获取模块、偏转角度矫正模块、分析服务器、互动展示模块和存储数据库；

所述互动模式选择模块分别与语音数据采集模块和手势图像采集模块连接，语音数据处理模块分别与语音数据采集模块和语音内容识别模块连接，有效句提取模块分别与语音内容识别模块和分析服务器连接，手势图像处理模块分别与手势图像采集模块和偏转角度获取模块连接，偏转角度矫正模块分别与偏转角度获取模块和分析服务器连接，分析服务器分别与互动展示模块和存储数据库连接；

所述互动模式选择模块用于对多媒体互动展示厅的互动模式进行选择，通过操作人员进入多媒体互动展示厅内互动操作区域中选择互动模式，若操作人员选择多媒体互动展示厅的语音互动模式，则发送语音采集指令至语音数据采集模块，若操作人员选择多媒体互动展示厅的手势动作互动模式，则发送图像采集指令至手势图像采集模块；

所述语音数据采集模块用于接收互动模式选择模块发送的语音采集指令，对多媒体互动展示厅内互动操作区域中发出的语音指令数据进行采集，获取多媒体互动展示厅内互动操作区域中发出的语音指令数据，将多媒体互动展示厅内互动操作区域中发出的语音指令数据发送至语音数据处理模块；

所述语音数据处理模块用于接收语音数据采集模块发送的多媒体互动展示厅内互动操作区域中发出的语音指令数据，采用语音数据处理技术对接收的多媒体互动展示厅内互动操作区域中发出的语音指令数据进行处理，得到处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据，将处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据发送至语音内容识别模块；

所述语音内容识别模块用于接收语音数据处理模块发送的处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据，对接收的多媒体互动展示厅内互动操作区域中发出的语音指令数据进行内容识别，获取多媒体互动展示厅内互动操作区域中发出的语音指令内容，将多媒体互动展示厅内互动操作区域中发出的语音指令内容发送至有效句提取模块；

所述有效句提取模块用于接收语音内容识别模块发送的多媒体互动展示厅内互动操作区域中发出的语音指令内容，对接收的多媒体互动展示厅内互动操作区域中发出的语音指令内容进行无实义助词和部分停顿词的过滤，提取多媒体互动展示厅内互动操作区域中发出的有效句内容，将多媒体互动展示厅内互动操作区域中发出的有效句内容发送至分析服务器；

所述分析服务器用于接收有效句提取模块发送的多媒体互动展示厅内互动操作区域中发出的有效句内容，提取存储数据库中存储的多媒体互动展示厅的各标准互动指令内容，将多媒体互动展示厅内互动操作区域中发出的有效句内容与各标准互动指令内容进行对比，统计多媒体互动展示厅内互动操作区域中发出的有效句内容与各标准互动指令内容的符合度，筛选多媒体互动展示厅内互动操作区域中发出的有效句内容对应的符合度最大的标准互动指令内容，将多媒体互动展示厅内互动操作区域中发出的有效句内容对应的标准互动指令内容发送至互动展示模块；

所述手势图像采集模块用于接收互动模式选择模块发送的图像采集指令，对多媒体互动展示厅内互动操作区域中手势指令图像进行采集，获取多媒体互动展示厅内互动操作区域中手势指令图像，将多媒体互动展示厅内互动操作区域中手势指令图像发送至手势图像处理模块；

所述手势图像处理模块用于接收手势图像采集模块发送的多媒体互动展示厅内互动操作区域中手势指令图像，对接收的多媒体互动展示厅内互动操作区域中手势指令图像进行图像处理，得到多媒体互动展示厅内互动操作区域中手势指令处理图像，将多媒体互动展示厅内互动操作区域中手势指令处理图像发送至偏转角度获取模块；

所述偏转角度获取模块用于接收手势图像处理模块发送的多媒体互动展示厅内互动操作区域中手势指令处理图像，分别测量多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，获取多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，将多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度发送至偏转角度矫正模块；

所述偏转角度矫正模块用于接收偏转角度获取模块发送的多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，采用图像矫正技术对多媒体互动展示厅内互动操作区域中手势指令处理图像进行矫正处理，得到多媒体互动展示厅内互动操作区域中手势指令矫正图像，将多媒体互动展示厅内互动操作区域中手势指令矫正图像发送至分析服务器；

所述分析服务器用于接收偏转角度矫正模块发送的多媒体互动展示厅内互动操作区域中手势指令矫正图像，提取存储数据库中存储的多媒体互动展示厅的各标准手势指令图像，将多媒体互动展示厅内互动操作区域中手势指令矫正图像与各标准手势指令图像进行对比，统计多媒体互动展示厅内互动操作区域中手势指令矫正图像与各标准手势指令图像的相似度，筛选相似度最大的标准手势指令图像，获得多媒体互动展示厅内互动操作区域中手势指令矫正图像对应的标准手势指令，将多媒体互动展示厅内互动操作区域中手势指令矫正图像对应的标准手势指令发送至互动展示模块；

所述存储数据库用于存储多媒体互动展示厅的各标准互动指令内容，同时存储多媒体互动展示厅的各标准手势指令图像；

所述互动展示模块用于接收分析服务器发送的多媒体互动展示厅内互动操作区域中发出的有效句内容对应的标准互动指令内容，并进行对应互动指令内容的展示，同时接收分析服务器发送的多媒体互动展示厅内互动操作区域中手势指令矫正图像对应的标准手势指令，并进行对应手势指令的展示。

进一步地，所述互动模式分别为语音互动模式和手势动作互动模式。

进一步地，所述语音数据采集模块包括麦克风，其中麦克风安装在多媒体互动展示厅内互动操作区域内，用于采集多媒体互动展示厅内互动操作区域中发出的语音指令数据。

进一步地，所述语音数据处理技术为对多媒体互动展示厅内互动操作区域中发出的语音指令数据进行降噪和回音消除处理，获取中间音频数据，并对中间音频数据进行编码，得到处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据。

进一步地，所述语音内容识别模块中内容识别步骤如下：

S1、对多媒体互动展示厅内互动操作区域中发出的语音指令数据进行滤波、分帧预处理工作，除去冗余语音数据；

S2、提取处理后的语音指令数据中影响语音识别的关键信息和表达语音含义的特征信息；

S3、用最小单元识别字词，并按照语音对应的语法依次识别排序；

S4、同时将排序的字词进行连接，根据语句意思调整句子构成；

S5、并结合语义，仔细分析上下文的相互联系，对当前正在处理的语句进行适当修正，获取多媒体互动展示厅内互动操作区域中发出的语音指令内容。

进一步地，所述手势图像采集模块包括高清摄像头，其中高清摄像头安装在可以拍摄整个多媒体互动展示厅内互动操作区域的位置，用于采集多媒体互动展示厅内互动操作区域中手势指令图像。

进一步地，所述手势图像处理模块中图像处理为多媒体互动展示厅内互动操作区域中手势指令图像进行图像分割，选取多媒体互动展示厅内互动操作区域中包裹手势指令的最小区域图像，去除包裹手势指令的最小区域之外的图像，强化多媒体互动展示厅内互动操作区域中包裹手势指令的最小区域图像的高频分量，并对多媒体互动展示厅内互动操作区域中包裹手势指令的最小区域图像进行归一化处理，变化为固定标准形式的手势指令处理图像。

进一步地，所述图像矫正技术包括如下步骤：

H1、根据接收的多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度进行旋转矫正；

H2、并将经过垂直平面旋转矫正的手势指令处理图像进行相对于水平平面偏转角度的旋转矫正；

H3、对旋转矫正后的手指指令图像进行轮廓提取，获取轮廓内的手指指令图像；

H4、将轮廓内的手指指令图像区域进行图像分割，得到多媒体互动展示厅内互动操作区域中手势指令矫正图像。

有益效果：

本发明提供的一种基于人工智能和物联网相结合的多媒体互动展示系统，通过操作人员进入多媒体互动展示厅内互动操作区域中选择互动模式，若选择语音互动模式，则采集多媒体互动展示厅内互动操作区域中发出的语音指令数据，分别进行语音数据处理和内容识别，提取多媒体互动展示厅内互动操作区域中发出的有效句内容，对比筛选有效句内容对应的标准互动指令内容，并进行互动展示，从而增加用户与多媒体展示系统的互动，满足用户对多媒体互动展示现场的切身体验效果。

本发明通过操作人员选择互动模式，若选择手势动作互动模式，则采集多媒体互动展示厅内互动操作区域中手势指令图像，获取手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，通过图像矫正处理得到手势指令矫正图像，对比筛选手势指令矫正图像对应的标准手势指令，并进行互动展示，从而实现用户与多媒体展示系统之间的交互，提高人们对现有的多媒体展示系统的憧憬程度，增加用户对多媒体展示系统的体验感和兴趣感。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，一种基于人工智能和物联网相结合的多媒体互动展示系统，包括互动模式选择模块、语音数据采集模块、语音数据处理模块、语音内容识别模块、有效句提取模块、手势图像采集模块、手势图像处理模块、偏转角度获取模块、偏转角度矫正模块、分析服务器、互动展示模块和存储数据库。

所述互动模式选择模块分别与语音数据采集模块和手势图像采集模块连接，语音数据处理模块分别与语音数据采集模块和语音内容识别模块连接，有效句提取模块分别与语音内容识别模块和分析服务器连接，手势图像处理模块分别与手势图像采集模块和偏转角度获取模块连接，偏转角度矫正模块分别与偏转角度获取模块和分析服务器连接，分析服务器分别与互动展示模块和存储数据库连接。

所述互动模式选择模块用于对多媒体互动展示厅的互动模式进行选择，通过操作人员进入多媒体互动展示厅内互动操作区域中选择互动模式，其中互动模式分别为语音互动模式和手势动作互动模式，若操作人员选择多媒体互动展示厅的语音互动模式，则发送语音采集指令至语音数据采集模块，若操作人员选择多媒体互动展示厅的手势动作互动模式，则发送图像采集指令至手势图像采集模块。

所述语音数据采集模块包括麦克风，其中麦克风安装在多媒体互动展示厅内互动操作区域内，用于接收互动模式选择模块发送的语音采集指令，通过麦克风对多媒体互动展示厅内互动操作区域中发出的语音指令数据进行采集，获取多媒体互动展示厅内互动操作区域中发出的语音指令数据，将多媒体互动展示厅内互动操作区域中发出的语音指令数据发送至语音数据处理模块。

所述语音数据处理模块用于接收语音数据采集模块发送的多媒体互动展示厅内互动操作区域中发出的语音指令数据，采用语音数据处理技术对接收的多媒体互动展示厅内互动操作区域中发出的语音指令数据进行处理，得到处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据，将处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据发送至语音内容识别模块。

所述语音数据处理技术为对多媒体互动展示厅内互动操作区域中发出的语音指令数据进行降噪和回音消除处理，获取中间音频数据，并对中间音频数据进行编码，得到处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据。

所述语音内容识别模块用于接收语音数据处理模块发送的处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据，对接收的多媒体互动展示厅内互动操作区域中发出的语音指令数据进行内容识别，获取多媒体互动展示厅内互动操作区域中发出的语音指令内容，将多媒体互动展示厅内互动操作区域中发出的语音指令内容发送至有效句提取模块。

所述语音内容识别模块中内容识别步骤如下：

S1、对多媒体互动展示厅内互动操作区域中发出的语音指令数据进行滤波、分帧预处理工作，除去冗余语音数据；

S2、提取处理后的语音指令数据中影响语音识别的关键信息和表达语音含义的特征信息；

S3、用最小单元识别字词，并按照语音对应的语法依次识别排序；

S4、同时将排序的字词进行连接，根据语句意思调整句子构成；

S5、并结合语义，仔细分析上下文的相互联系，对当前正在处理的语句进行适当修正，获取多媒体互动展示厅内互动操作区域中发出的语音指令内容。

所述有效句提取模块用于接收语音内容识别模块发送的多媒体互动展示厅内互动操作区域中发出的语音指令内容，对接收的多媒体互动展示厅内互动操作区域中发出的语音指令内容进行无实义助词和部分停顿词的过滤，提取多媒体互动展示厅内互动操作区域中发出的有效句内容，将多媒体互动展示厅内互动操作区域中发出的有效句内容发送至分析服务器。

所述分析服务器用于接收有效句提取模块发送的多媒体互动展示厅内互动操作区域中发出的有效句内容，提取存储数据库中存储的多媒体互动展示厅的各标准互动指令内容，将多媒体互动展示厅内互动操作区域中发出的有效句内容与各标准互动指令内容进行对比，统计多媒体互动展示厅内互动操作区域中发出的有效句内容与各标准互动指令内容的符合度，筛选多媒体互动展示厅内互动操作区域中发出的有效句内容对应的符合度最大的标准互动指令内容，将多媒体互动展示厅内互动操作区域中发出的有效句内容对应的标准互动指令内容发送至互动展示模块，从而增加用户与多媒体展示系统的互动，满足用户对多媒体互动展示现场的切身体验效果。

所述手势图像采集模块包括高清摄像头，其中高清摄像头安装在可以拍摄整个多媒体互动展示厅内互动操作区域的位置，用于接收互动模式选择模块发送的图像采集指令，通过高清摄像头对多媒体互动展示厅内互动操作区域中手势指令图像进行采集，获取多媒体互动展示厅内互动操作区域中手势指令图像，将多媒体互动展示厅内互动操作区域中手势指令图像发送至手势图像处理模块。

所述手势图像处理模块用于接收手势图像采集模块发送的多媒体互动展示厅内互动操作区域中手势指令图像，对接收的多媒体互动展示厅内互动操作区域中手势指令图像进行图像分割，选取多媒体互动展示厅内互动操作区域中包裹手势指令的最小区域图像，去除包裹手势指令的最小区域之外的图像，强化多媒体互动展示厅内互动操作区域中包裹手势指令的最小区域图像的高频分量，并对多媒体互动展示厅内互动操作区域中包裹手势指令的最小区域图像进行归一化处理，变化为固定标准形式的手势指令处理图像，获取多媒体互动展示厅内互动操作区域中手势指令处理图像，从而减少图像分析所需的时间以及任务量，并将多媒体互动展示厅内互动操作区域中手势指令处理图像发送至偏转角度获取模块。

所述偏转角度获取模块用于接收手势图像处理模块发送的多媒体互动展示厅内互动操作区域中手势指令处理图像，分别测量多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，获取多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，将多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度发送至偏转角度矫正模块。

所述偏转角度矫正模块用于接收偏转角度获取模块发送的多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，采用图像矫正技术对多媒体互动展示厅内互动操作区域中手势指令处理图像进行矫正处理，得到多媒体互动展示厅内互动操作区域中手势指令矫正图像，将多媒体互动展示厅内互动操作区域中手势指令矫正图像发送至分析服务器。

所述图像矫正技术包括如下步骤：

H1、根据接收的多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度进行旋转矫正；

H2、并将经过垂直平面旋转矫正的手势指令处理图像进行相对于水平平面偏转角度的旋转矫正；

H3、对旋转矫正后的手指指令图像进行轮廓提取，获取轮廓内的手指指令图像；

H4、将轮廓内的手指指令图像区域进行图像分割，得到多媒体互动展示厅内互动操作区域中手势指令矫正图像。

所述分析服务器用于接收偏转角度矫正模块发送的多媒体互动展示厅内互动操作区域中手势指令矫正图像，提取存储数据库中存储的多媒体互动展示厅的各标准手势指令图像，将多媒体互动展示厅内互动操作区域中手势指令矫正图像与各标准手势指令图像进行对比，统计多媒体互动展示厅内互动操作区域中手势指令矫正图像与各标准手势指令图像的相似度，筛选相似度最大的标准手势指令图像，获得多媒体互动展示厅内互动操作区域中手势指令矫正图像对应的标准手势指令，将多媒体互动展示厅内互动操作区域中手势指令矫正图像对应的标准手势指令发送至互动展示模块。

所述存储数据库用于存储多媒体互动展示厅的各标准互动指令内容，同时存储多媒体互动展示厅的各标准手势指令图像。

所述互动展示模块用于接收分析服务器发送的多媒体互动展示厅内互动操作区域中发出的有效句内容对应的标准互动指令内容，并进行对应互动指令内容的展示，同时接收分析服务器发送的多媒体互动展示厅内互动操作区域中手势指令矫正图像对应的标准手势指令，并进行对应手势指令的展示，从而实现用户与多媒体展示系统之间的交互，提高人们对现有的多媒体展示系统的憧憬程度，增加用户对多媒体展示系统的体验感和兴趣感。

以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。