一种沉浸式多媒体展厅用维护检修系统

技术领域

本发明涉及一种沉浸式多媒体展厅用维护检修系统，属于多媒体展厅技术领域。

背景技术

多媒体展厅又叫做数字化展厅、多媒体数字化展厅等，是指以多媒体和数字化技术作为展示技术，使用最新的影视动画技术，结合独到的图形数字和多媒体技术，以各类新颖的技术吸引参观者，实现人机交互方式的展厅形式。

数字展厅集各种多媒体展示系统为一体的综合展示平台，包括数字沙盘、环幕/弧幕/球幕影厅、迎宾地幕系统、互动吧台、互动镜面及触摸屏等，使展厅对视频、声音、动画等媒体加以组合应用。

沉浸式多媒体展厅通常是在现有多媒体展厅的基础上，加装多种用来提高立体感的设备，如触觉，进一步提高逼真感，如同置身于影片中。

现有的沉浸式多媒体展厅内部设备多，地面设置有台阶，现在通常都是人工巡检，但是人工巡检通常无法检出内部情况，如空洞等缺陷，因此，急需一种沉浸式多媒体展厅用维护检修系统。

发明内容

本发明针对现有技术存在的不足，提供了一种沉浸式多媒体展厅用维护检修系统，具体技术方案如下：

一种沉浸式多媒体展厅用维护检修系统，包括：

爬楼机器人，所述爬楼机器人的顶部安装有六轴机械手，所述六轴机械手的机械臂末端安装有连接球，所述连接球的外壁安装有最少三个高清摄像头，所述高清摄像头呈对称设置在连接球的外部；相邻两个高清摄像头之间设置有超声波探测器，所述超声波探测器固定安装在连接球的外部；

控制模块，用来控制六轴机械手的机械臂运动方向；

云端数据处理中心，用来处理、运算数据；

数据储存模块，所述数据储存模块安装在连接球的内部，所述高清摄像头所拍摄的视频数据、超声波探测器所探测得到的波形数据和时间数据存储在数据储存模块；

数据发射模块，所述数据发射模块安装在连接球的内部，数据储存模块所储存的数据通过数据发射模块发送到云端数据处理中心。

作为上述技术方案的改进，所述波形数据包括发射方波和接收方波，所述爬楼机器人在沉浸式多媒体展厅的内部进行初次巡视时，高清摄像头对沉浸式多媒体展厅的内部进行拍摄，拍摄得到初始视频；初始视频在数据储存模块处进行储存，然后通过数据发射模块发送到云端数据处理中心，在云端数据处理中心将初始视频转化为初始图像，对初始图像进行特征提取得到特征图像集；之后，通过超声波探测器发射方波和接收方波，超声波探测器所发射方波为初始发射方波信号集，超声波探测器所接收方波为初始接收方波信号集，对特征图像集中的特征图像与初始发射方波信号集以及初始接收方波信号集进行关联得到初始方波信号源集；

当爬楼机器人在沉浸式多媒体展厅的内部进行再次巡视时，其中一个高清摄像头对沉浸式多媒体展厅的内部进行拍摄得到第一实时视频，第一实时视频在数据储存模块处进行储存，然后通过数据发射模块发送到云端数据处理中心，在云端数据处理中心将第一实时视频转化为第一实时图像，对第一实时图像进行特征提取得到第一实时特征图像；

第二个高清摄像头对沉浸式多媒体展厅的内部进行拍摄得到第二实时视频，第二实时视频在数据储存模块处进行储存，然后通过数据发射模块发送到云端数据处理中心，在云端数据处理中心将第二实时视频转化为第二实时图像，对第二实时图像进行特征提取得到第二实时特征图像；

第三个高清摄像头对沉浸式多媒体展厅的内部进行拍摄得到第三实时视频，第三实时视频在数据储存模块处进行储存，然后通过数据发射模块发送到云端数据处理中心，在云端数据处理中心将第三实时视频转化为第三实时图像，对第三实时图像进行特征提取得到第三实时特征图像；

对第一实时特征图像与特征图像集中的特征图像进行相似度比对，得到比对结果一；对第二实时特征图像与特征图像集中的特征图像进行相似度比对，得到比对结果二；对第三实时特征图像与特征图像集中的特征图像进行相似度比对，得到比对结果三；

当比对结果一大于或等于第一阙值时，通过控制模块来控制六轴机械手的机械臂运动方向，最终使得结果一大于或等于第一阙值，比对结果二大于或等于第二阙值，比对结果三大于或等于第三阙值，完成定位作业；

当定位作业完成之后，从初始方波信号源集中比对出对应的初始发射方波信号集以及初始接收方波信号集；通过超声波探测器再次发射方波和接收方波，此时的超声波探测器所发射方波为实时发射方波信号集，超声波探测器所接收方波为实时接收方波信号集，将实时发射方波信号集与初始发射方波信号集进行相似度比对，得到比对结果四；将实时接收方波信号集与初始接收方波信号集进行相似度比对，得到比对结果五；当结果四小于或等于第四阙值，并且，结果五小于或等于第五阙值时，判定为“正常状态”；否则，判定为“异常状态”。

作为上述技术方案的改进，所述爬楼机器人在沉浸式多媒体展厅的内部进行初次巡视时，通过超声波探测器测距得到初始测距数据，对特征图像集中的特征图像与初始测距数据进行关联得到初始测距数据源集；

当定位作业完成之后，从初始测距数据源集中比对出对应的初始测距数据；通过超声波探测器测距得到实时测距数据，对实时测距数据与初始测距数据进行运算，当运算结果大于设定误差时，则说明“正常状态”存疑，需要重新作业。

作为上述技术方案的改进，所述连接球的一侧安装有与机械臂末端呈共轴设置的探杆，所述探杆的末端处设置有安装孔，安装孔处嵌设有红外激光器，所述红外激光器的发射方向与机械臂末端呈共轴设置。

作为上述技术方案的改进，所述高清摄像头设置有三个，所述超声波探测器设置有三个。

本发明的有益效果：

所述沉浸式多媒体展厅用维护检修系统在进行维护检修作业时，主要是通过爬楼机器人与六轴机械手配合，利用高清摄像头、超声波探测器来检查沉浸式多媒体展厅的内部异常，便于维护、检修，实施效果好。

附图说明

图1为本发明所述机械臂、连接球、高清摄像头、超声波探测器、探杆的连接示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

所述沉浸式多媒体展厅用维护检修系统，包括：

爬楼机器人，所述爬楼机器人的顶部安装有六轴机械手，如图1所示，所述六轴机械手的机械臂末端安装有连接球，所述连接球的外壁安装有最少三个高清摄像头，所述高清摄像头呈对称设置在连接球的外部；相邻两个高清摄像头之间设置有超声波探测器，所述超声波探测器固定安装在连接球的外部；

控制模块，用来控制六轴机械手的机械臂运动方向；

云端数据处理中心，用来处理、运算数据；

数据储存模块，所述数据储存模块安装在连接球的内部，所述高清摄像头所拍摄的视频数据、超声波探测器所探测得到的波形数据和时间数据存储在数据储存模块；

数据发射模块，所述数据发射模块安装在连接球的内部，数据储存模块所储存的数据通过数据发射模块发送到云端数据处理中心。

所述爬楼机器人适用于在沉浸式多媒体展厅的内部进行巡视，不受地面坡度、台阶限制。球状连接球的设置，一方面为安装高清摄像头和超声波探测器提供载体，同时为数据储存模块和数据发射模块的安装提供载体、防护。

其中，优选地，所述高清摄像头设置有三个，所述超声波探测器设置有三个。高清摄像头设置成三个，方便在后续进行定位时，通过三角定位的方式，使得定位更准确。

实施例2

所述沉浸式多媒体展厅用维护检修系统的工作原理如下：

所述波形数据包括发射方波和接收方波，所述爬楼机器人在沉浸式多媒体展厅的内部进行初次巡视时，高清摄像头对沉浸式多媒体展厅的内部进行拍摄，拍摄得到初始视频；初始视频在数据储存模块处进行储存，然后通过数据发射模块发送到云端数据处理中心，在云端数据处理中心将初始视频转化为初始图像，对初始图像进行特征提取得到特征图像集；之后，通过超声波探测器发射方波和接收方波，超声波探测器所发射方波为初始发射方波信号集，超声波探测器所接收方波为初始接收方波信号集，对特征图像集中的特征图像与初始发射方波信号集以及初始接收方波信号集进行关联得到初始方波信号源集；

所述爬楼机器人在沉浸式多媒体展厅的内部进行初次巡视时，高清摄像头和超声波探测器初次作业，均在采集原始数据，为后续的实时比对提供样本。

当爬楼机器人在沉浸式多媒体展厅的内部进行再次巡视时，其中一个高清摄像头对沉浸式多媒体展厅的内部进行拍摄得到第一实时视频，第一实时视频在数据储存模块处进行储存，然后通过数据发射模块发送到云端数据处理中心，在云端数据处理中心将第一实时视频转化为第一实时图像，对第一实时图像进行特征提取得到第一实时特征图像；

第二个高清摄像头对沉浸式多媒体展厅的内部进行拍摄得到第二实时视频，第二实时视频在数据储存模块处进行储存，然后通过数据发射模块发送到云端数据处理中心，在云端数据处理中心将第二实时视频转化为第二实时图像，对第二实时图像进行特征提取得到第二实时特征图像；

第三个高清摄像头对沉浸式多媒体展厅的内部进行拍摄得到第三实时视频，第三实时视频在数据储存模块处进行储存，然后通过数据发射模块发送到云端数据处理中心，在云端数据处理中心将第三实时视频转化为第三实时图像，对第三实时图像进行特征提取得到第三实时特征图像；

对第一实时特征图像与特征图像集中的特征图像进行相似度比对，得到比对结果一；对第二实时特征图像与特征图像集中的特征图像进行相似度比对，得到比对结果二；对第三实时特征图像与特征图像集中的特征图像进行相似度比对，得到比对结果三；

当比对结果一大于或等于第一阙值时，通过控制模块来控制六轴机械手的机械臂运动方向，最终使得结果一大于或等于第一阙值，比对结果二大于或等于第二阙值，比对结果三大于或等于第三阙值，完成定位作业。

在进行定位作业过程中，通过三组高清摄像头进行三点定位，只有其中一个或两个定位成功，仍可能存在较大的偏差；而采用三组高清摄像头进行三点定位，能显著提高定位的准确性。以1000次定位作业进行计算，通过对沉浸式多媒体展厅的内部进行各种异常模拟(缺损、错位、变形、空洞、断裂等)，采用三点定位的方式，定位准确率超过99.7％；采用一点定位，定位准确率不到20.3％；采用两点定位，定位准确率不到51.8％。

当定位作业完成之后，从初始方波信号源集中比对出对应的初始发射方波信号集以及初始接收方波信号集；通过超声波探测器再次发射方波和接收方波，此时的超声波探测器所发射方波为实时发射方波信号集，超声波探测器所接收方波为实时接收方波信号集，将实时发射方波信号集与初始发射方波信号集进行相似度比对，得到比对结果四；将实时接收方波信号集与初始接收方波信号集进行相似度比对，得到比对结果五；当结果四小于或等于第四阙值，并且，结果五小于或等于第五阙值时，判定为“正常状态”；否则，判定为“异常状态”。

利用方波信号来判断沉浸式多媒体展厅内部的缺损、变形、空洞、断裂等，尤其是采用两组信号(发射方波、接收方波)配合使用，判断准确率高达99.1％。

如果只使用接收方波，判断准确率不超过83.3％。发射方波相当于一个校验过程，同时，其还能够与接收方波进行比对，保留信号差。相对于电磁波来说，采用电磁波代替超声波，起码沉浸式多媒体展厅内部的变形、空洞是很难被检测到。

实施例3

所述爬楼机器人在沉浸式多媒体展厅的内部进行初次巡视时，通过超声波探测器测距得到初始测距数据，对特征图像集中的特征图像与初始测距数据进行关联得到初始测距数据源集；

当定位作业完成之后，从初始测距数据源集中比对出对应的初始测距数据；通过超声波探测器测距得到实时测距数据，对实时测距数据与初始测距数据进行运算，当运算结果大于设定误差时，则说明“正常状态”存疑，需要重新作业。

正常时，在完成定位作业完成之后，通过超声波探测器测距得到实时测距数据，应该与初始测距数据相差不大；而一旦运算结果大于设定误差时，则说明出现了不易被检查到的缺陷，如(缺损、变形、断裂、缺失等)。

实施例4

六轴机械手的设置，不但更方便调整高清摄像头和超声波探测器的角度，而且更进一步地，如图1所示，所述连接球的一侧安装有与机械臂末端呈共轴设置的探杆，所述探杆的末端处设置有安装孔，安装孔处嵌设有红外激光器，所述红外激光器的发射方向与机械臂末端呈共轴设置。

维护人员能够通过远程控制六轴机械手的方式，利用探杆进行各种操作，如对沉浸式多媒体展厅内部的灯具的开关进行开启和闭合。

当打开红外激光器，射出的红色激光，红色激光落到沉浸式多媒体展厅的内壁或内部展具上时，能够被高清摄像头拍摄得到，从而使得后续图像具有明显的特征点，从而起到辅助定位左右；一方面，提高定位作业的效率，能够极大的缩短调整六轴机械手的时间；另一方面，在后续图像处理过程中，有利于进行特征提取，从而进一步缩短图像处理时间，提高运算效率。

在上述实施例中，所述沉浸式多媒体展厅用维护检修系统在进行维护检修作业时，主要是通过爬楼机器人与六轴机械手配合，利用高清摄像头、超声波探测器来检查沉浸式多媒体展厅的内部异常，便于维护、检修，实施效果好。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。