一种基于虚拟现实技术的非物质文化遗产展示系统及方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于虚拟现实技术的非物质文化遗产展示系统及方法。

背景技术

目前，随着VR(Virtual Reality，虚拟现实)技术的发展，很多机构都可以通过VR技术给用户展示非物质文化遗产的音视频画面，从而给用户带来沉浸式的体验。

为了有效地传承非物质文化遗产，通常是拍摄非物质文化遗产的运作过程，然后在博物馆或者其它场所进行播放。

然而，这样的通过视频播放的方式，并不能完全体现非物质文化遗产的精髓，例如，非物质文化遗产中包含的实体道具就很难直观地在视频中进行展示。

鉴于此，目前需要一种更加有效的非物质文化遗产的展示方法。

发明内容

本发明提供一种基于虚拟现实技术的非物质文化遗产展示系统及方法，能够提高非物质文化遗产的展示效果。

鉴于此，本发明一方面提供一种基于虚拟现实技术的非物质文化遗产展示方法，所述方法包括：

通过虚拟现实眼镜拍摄非物质文化遗产的实体物品，生成所述实体物品的视频画面；

将所述视频画面投影至所述虚拟现实眼镜的眼部展示区域中；

对所述眼部展示区域的投影画面中的实体物品进行定位，并基于定位结果，在所述投影画面的上层添加渲染动画，所述渲染动画中的动画内容与所述投影画面中的实体物品组合成所述非物质文化遗产的展示动画。

在一个实施方式中，由于在拍摄过程中可能会出现各种原因的抖动，例如地面不平、拍摄者身体位置变化等，这些抖动都会导致生成的视频画面不平稳、连贯性差，给用户体验较差。为解决上述问题，在拍摄过程中增加拍摄防抖处理，使在抖动的环境下，拍摄的视频画面平稳流畅。详细如下：

设视频序列中图像I

X

其中A

其中i和k均为视频帧的编号，假设消除抖动后的第n帧图像与基准帧的全局变换参数为

因此为了消除拍摄过程中的随机抖动，第n帧图像按照下式变换就可以得到稳定的图像序列：

在一个实施方式中，将所述视频画面投影至所述虚拟现实眼镜的眼部展示区域中包括：

在所述视频画面和所述眼部展示区域之间确定多组映射点，并基于所述多组映射点的位置信息，生成映射矩阵；

通过所述映射矩阵，将所述视频画面中的各个像素点映射至所述眼部展示区域中。

在一个实施方式中，在所述视频画面和所述眼部展示区域之间确定多组映射点包括：

提取所述视频画面的四个第一角点，并提取所述眼部展示区域的四个第二角点；

将表征相同位置的第一角点和第二角点，作为一组映射点。

在一个实施方式中，基于定位结果，在所述投影画面的上层添加渲染动画包括：

确定所述定位结果表征的目标位置与基准位置之间的位置偏移，并按照所述位置偏移，对原始的渲染动画进行移动，并将移动后的渲染动画作为在投影画面的上层添加的渲染动画。

在一个实施方式中，在得到所述非物质文化遗产的展示动画之后，所述方法还包括：

采集线下场景的场景视频，并将所述展示动画的视频画面与所述场景视频的视频画面进行融合，并将融合后的视频画面在所述虚拟现实眼镜中进行播放。

本发明另一方面提供一种基于虚拟现实技术的非物质文化遗产展示系统，所述系统包括：

实体拍摄单元，用于通过虚拟现实眼镜拍摄非物质文化遗产的实体物品，生成所述实体物品的视频画面；

投影单元，用于将所述视频画面投影至所述虚拟现实眼镜的眼部展示区域中；

上层渲染单元，用于对所述眼部展示区域的投影画面中的实体物品进行定位，并基于定位结果，在所述投影画面的上层添加渲染动画，所述渲染动画中的动画内容与所述投影画面中的实体物品组合成所述非物质文化遗产的展示动画。

在一个实施方式中，所述投影单元具体用于，在所述视频画面和所述眼部展示区域之间确定多组映射点，并基于所述多组映射点的位置信息，生成映射矩阵；通过所述映射矩阵，将所述视频画面中的各个像素点映射至所述眼部展示区域中。

在一个实施方式中，所述投影单元具体还用于，提取所述视频画面的四个第一角点，并提取所述眼部展示区域的四个第二角点；将表征相同位置的第一角点和第二角点，作为一组映射点。

本发明提供的技术方案，可以将线下场景中拍摄的非物质文化遗产的实体物品与虚拟的渲染动画进行结合，从而在体现真实性的同时，还能够完整展现非物质文化遗产的整个展示过程，极大地提高了非物质文化遗产的展示效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于虚拟现实技术的非物质文化遗产展示方法的步骤示意图；

图2为本发明实施例中一种基于虚拟现实技术的非物质文化遗产展示系统的功能模块示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

请参阅图1，本申请一个实施方式提供一种基于虚拟现实技术的非物质文化遗产展示方法，所述方法包括：

S1：通过虚拟现实眼镜拍摄非物质文化遗产的实体物品，生成所述实体物品的视频画面；

S2：将所述视频画面投影至所述虚拟现实眼镜的眼部展示区域中；

S3：对所述眼部展示区域的投影画面中的实体物品进行定位，并基于定位结果，在所述投影画面的上层添加渲染动画，所述渲染动画中的动画内容与所述投影画面中的实体物品组合成所述非物质文化遗产的展示动画。

在本实施方式中，VR眼镜上可以配备摄像头，该摄像头可以拍摄用户前方的线下场景的实景画面。在实景画面中，可以包括非物质文化遗产的实体物品，通过对象检测算法，从实景画面中可以提取出实体物品的视频画面。拍摄到的视频画面，需要投影至用户眼前的眼部展示区域，这样用户才能够看得到。

在一个实施方式中，将所述视频画面投影至所述虚拟现实眼镜的眼部展示区域中包括：

在所述视频画面和所述眼部展示区域之间确定多组映射点，并基于所述多组映射点的位置信息，生成映射矩阵；

通过所述映射矩阵，将所述视频画面中的各个像素点映射至所述眼部展示区域中。

其中，在确定多组映射点时，可以提取所述视频画面的四个第一角点，并提取所述眼部展示区域的四个第二角点；将表征相同位置的第一角点和第二角点，作为一组映射点。

举例来说，拍摄的视频画面具备左上、左下、右上、右下这四个第一角点，同理，在眼部展示区域中，也存在左上、左下、右上、右下这四个第二角点。由于视频画面与眼部展示区域的大小并不一致，所以需要对视频画面进行投影处理，才能使得投影后的画面与眼部展示区域相适配。

上述的表征相同位置的第一角点和第二角点，例如可以是左上的第一角点和第二角点，这两个角点在同一个坐标系下可以完成坐标映射，该映射关系，便可以作为视频画面投影至眼部展示区域的依据。

四个不同位置的角点，可以构成四组映射点，对这四组映射点之间的映射关系进行加权求和，可以得到映射矩阵。通过该映射矩阵，最终可以将视频画面中的各个像素点映射至所述眼部展示区域中。

在完成投影后，用户在眼部展示区域中只能看到实体物品的画面，而非物质文化遗产的整个展示过程，还包括其它的一些动态画面。例如人们是如何对实体物品进行操作的。鉴于此，可以在投影画面的上层，添加一层渲染动画，该渲染动画展示的就是非物质文化遗产中的动态内容。为了将渲染动画与投影画面匹配上，可以对投影画面中的实体物品进行定位，得到定位结果。后续可以基于定位结果对渲染画面进行平移调整，使得两者能够匹配。

具体地，可以确定所述定位结果表征的目标位置与基准位置之间的位置偏移，基准位置可以是预先设定的位置，例如基准位置可以表征实体物品位于眼部展示区域的中心位置。由于用户的头部会转动，实体物品不一定位于眼部展示区域的中心位置，这样就会产生位置偏移。按照所述位置偏移，可以对原始的渲染动画进行同步移动，从而使得渲染动画也可以随着用户头部的转动而转动，并使得转动后的渲染动画与投影画面中的实体物品依然能够匹配上。最终，可以将移动后的渲染动画作为在投影画面的上层添加的渲染动画。

在一个实施方式中，在得到所述非物质文化遗产的展示动画之后，所述方法还包括：

采集线下场景的场景视频，并将所述展示动画的视频画面与所述场景视频的视频画面进行融合，并将融合后的视频画面在所述虚拟现实眼镜中进行播放。

这样处理的目的在于提高用户的沉浸式体验，用户在观看到展示动画的视频画面时，还能同时观看到线下场景的实景。

在一个实施方式中，由于在拍摄过程中可能会出现各种原因的抖动，例如地面不平、拍摄者身体位置变化等，这些抖动都会导致生成的视频画面不平稳、连贯性差，给用户体验较差。为解决上述问题，在拍摄过程中增加拍摄防抖处理，使在抖动的环境下，拍摄的视频画面平稳流畅。详细如下：

设视频序列中图像I

X

其中A

其中i和k均为视频帧的编号，假设消除抖动后的第n帧图像与基准帧的全局变换参数为

因此为了消除拍摄过程中的随机抖动，第n帧图像按照下式变换就可以得到稳定的图像序列：

请参阅图2，本发明另一方面提供一种基于虚拟现实技术的非物质文化遗产展示系统，所述系统包括：

实体拍摄单元，用于通过虚拟现实眼镜拍摄非物质文化遗产的实体物品，生成所述实体物品的视频画面；

投影单元，用于将所述视频画面投影至所述虚拟现实眼镜的眼部展示区域中；

上层渲染单元，用于对所述眼部展示区域的投影画面中的实体物品进行定位，并基于定位结果，在所述投影画面的上层添加渲染动画，所述渲染动画中的动画内容与所述投影画面中的实体物品组合成所述非物质文化遗产的展示动画。

在一个实施方式中，所述投影单元具体用于，在所述视频画面和所述眼部展示区域之间确定多组映射点，并基于所述多组映射点的位置信息，生成映射矩阵；通过所述映射矩阵，将所述视频画面中的各个像素点映射至所述眼部展示区域中。

在一个实施方式中，所述投影单元具体还用于，提取所述视频画面的四个第一角点，并提取所述眼部展示区域的四个第二角点；将表征相同位置的第一角点和第二角点，作为一组映射点。

在一个实施方式中，所述实体拍摄单元具体用于，设视频序列中图像I

X

其中A

其中i和k均为视频帧的编号，假设消除抖动后的第n帧图像与基准帧的全局变换参数为

因此为了消除拍摄过程中的随机抖动，第n帧图像按照下式变换就可以得到稳定的图像序列：

本发明提供的技术方案，可以将线下场景中拍摄的非物质文化遗产的实体物品与虚拟的渲染动画进行结合，从而在体现真实性的同时，还能够完整展现非物质文化遗产的整个展示过程，极大地提高了非物质文化遗产的展示效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。