基于裸眼3D的混合现实直播交互系统和方法

技术领域

本发明涉及裸眼3D技术领域，具体为基于裸眼3D的混合现实直播交互系统和方法。

背景技术

直播是近年来兴起和流行的新媒体之一，已经成为当前最受欢迎的媒体表现形式。经过几年的快速发展，直播的内容已经逐步从新闻直播、会议直播等专业领域，向舞动直播、游戏直播、发布会直播、直播带货等生活娱乐和商业领域发展。

公开号为CN105472374A的中国专利公开了一种3D视频直播方法、装置及系统，包括获取到网络直播过程中接入的视频信号对应的2D视频帧；将2D视频帧转换为多个格式的3D视频帧；将多个格式的3D视频帧通过媒体分发服务器分发至多个3D视频播放客户端进行3D视频播放。

上述专利虽然解决了将直播从2D转换为的3D的问题，但在实际使用过程中仍存在以下问题，上述专利在实际观看直播时，需要佩戴相应的辅助设备，长时间佩戴辅助设备容易使用户有束缚感和眩晕感，并且没有配备辅助设备的用户则直接无法观看直播，给直播带来了一定的局限性；因此，不满足现有的需求，对此我们提出了基于裸眼3D的混合现实直播方法及系统。

发明内容

本发明的目的在于提供基于裸眼3D的混合现实直播交互系统和方法，通过数据采集单元实时拍摄采集直播间所需的现实环境数据并发送至数据渲染单元，通过数据渲染单元对接收到的现实环境数据进行预处理，再利用渲染引擎软件将预处理后的现实环境数据渲染生成输出裸眼3D播放画面，并对输出的裸眼3D播放画面进行融合，为直播间实时构建裸眼3D场景，而通过人机交互单元将渲染引擎软件实时输出的裸眼3D画面传输到用户端，从而方便用户通过用户端对播放的裸眼3D画面进行观看，解决了上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于裸眼3D的混合现实直播交互系统，包括：

数据采集单元，用于：

实时拍摄采集直播间所需的现实环境数据，所采集到的现实环境数据包括环境数据和声音数据，将拍摄采集的现实环境数据发送至数据渲染单元，为后续数据渲染单元的渲染融合提供数据支持；

数据渲染单元，用于：

对接收到的现实环境数据进行预处理，将预处理后的现实环境数据接入渲染引擎软件，利用渲染引擎软件对现实环境数据进行渲染，通过渲染引擎软件将现实环境数据渲染生成输出裸眼3D播放画面，为直播间实时构建裸眼3D场景；

人机交互单元，用于：

将渲染引擎软件实时输出的裸眼3D画面传输到用户端，用户端对实时输出的裸眼3D画面播放，用户通过用户端对播放的裸眼3D画面进行观看，并且用户提供切换功能。

进一步地，所述数据采集单元包含采集设备，通过采集设备对直播现场周围的环境进行录制采集，实时拍摄采集到直播间所需的现实环境数据，采集到的现实环境数据为数据渲染单元的渲染融合提供数据支持。

进一步地，所述数据渲染单元，包括

预处理模块，用于：

对接收到的现实环境数据进行预处理，通过预处理增强现实环境数据的效果，为后续画面生成模块的渲染提供支持；

画面生成模块，用于：

接入渲染引擎软件，通过渲染引擎软件将预处理后的现实环境数据渲染生成输出裸眼3D播放画面，并对裸眼3D播放画面进行融合，为直播间实时构建裸眼3D场景。

进一步地，所述预处理模块，包括：

滤波模块，用于：

对现实环境数据进行滤波处理，滤除现实环境数据图像中的干扰噪声；

增强模块，用于：

对滤波后的现实环境数据进行增强处理，增强现实环境数据图像的视觉效果；

去抖动模块，用于：

对现实环境数据进行去抖动处理，利用去抖动消除工具消除现实环境数据中抖动效果。

进一步地，所述画面生成模块，具体执行以下操作：

接入渲染引擎软件，通过渲染引擎软件将预处理后的现实环境数据进行渲染；

通过渲染引擎软件将现实环境数据中的环境数据渲染生成输出裸眼3D播放画面；

再将渲染生成的裸眼3D播放画面与现实环境数据中的声音数据进行融合。

进一步地，所述滤波模块，具体执行以下操作：

选取现实环境数据，计算现实环境数据内所有像素点的灰度值的平均值；

将现实环境数据的中心像素点的灰度值替换为平均值，完成对现实环境数据的滤波处理。

进一步地，所述增强模块包括：

灰度值提取模块，用于完成对现实环境数据的滤波处理之后，提取除了中心像素点之外的所有像素点的灰度值；

灰度因数获取模块，用于利用所述除了中心像素点之外的所有像素点的灰度值，以及，所述现实环境数据的中心像素点的灰度值分别获取其对应的第一灰度因数和第二灰度因数；

利用所述第一灰度因数和第二灰度因数获取所述现实环境数据中的每个像素点对应的目标灰度值；其中，所述目标灰度值通过如下公式获取：

其中，H

其中，H

灰度值调整模块，用于按照所述每个像素点对应的目标灰度值对所述现实环境数据中的每个像素点进行灰度值调整，获取灰度值调整后的现实环境数据。

进一步地，所述灰度因数获取模块，包括：

中心像素点灰度值提取模块，用于提取所述现实环境数据的中心像素点进行平均值替换之前的灰度值；

平均值提取模块，用于现实环境数据内所有像素点的灰度值的平均值；

第一灰度因数获取模块，用于利用所述除了中心像素点之外的所有像素点的灰度值、所述现实环境数据的中心像素点进行平均值替换之前的灰度值以及现实环境数据内所有像素点的灰度值的平均值获取第一灰度因数；其中，所述第一灰度因数通过如下公式获取：

其中，H

第二平均值获取模块，用于利用所述除了中心像素点之外的所有像素点的灰度值，获取除了中心像素点之外的所有像素点对应的平均值；

第二灰度因数获取模块，用于利用所述现实环境数据的中心像素点的灰度值、现实环境数据内所有像素点的灰度值的平均值和除了中心像素点之外的所有像素点对应的平均值获取第二灰度因数，其中，所述第二灰度因数通过如下公式获取：

其中，H

进一步地，所述人机交互单元，包括：

交互模块，用于：

与用户的用户端相连接，将裸眼3D播放画面实时传输到用户端进行播放，为用户提供混合现实的直播交互现场，并且实时捕捉用户观看时眼球的运动，根据捕捉的眼球运动，实时改变直播画面；

切换模块，用于：

为用户端的用户提供切换功能，通过切换功能，用户对用户端的直播间播放显示效果进行切换。

基于裸眼3D的混合现实直播交互系统的实施方法，包括以下步骤：

S1：实时拍摄采集直播间所需的现实环境数据，将拍摄采集的现实环境数据发送至数据渲染单元；

S2：对接收到的现实环境数据进行预处理，通过对现实环境数据的滤波、去抖动和增强处理，改善现实环境数据图像的显示效果；

S3：接入渲染引擎软件，利用渲染引擎软件对预处理后的现实环境数据进行渲染，将现实环境数据渲染生成输出裸眼3D播放画面，并对裸眼3D播放画面进行融合；

S4：将经过渲染和融合的裸眼3D画面传输到用户端进行播放，用户通过用户端对播放的裸眼3D画面进行观看，并且用户对用户端的直播间播放显示效果进行切换。

与现有技术相比，本发明的有益效果是：

1.本发明通过数据采集单元实时拍摄采集直播间所需的现实环境数据并发送至数据渲染单元，数据渲染单元通过预处理模块对接收到的现实环境数据进行预处理，一是滤除现实环境数据图像中的干扰噪声，二是增强现实环境数据图像的视觉效果，三是消除现实环境数据中抖动效果，通过对现实环境数据进行滤波、增强和去抖动的处理，以此能够改善现实环境数据的显示效果，使得后续的渲染效果更好，从而有效提高现实环境数据的渲染效果和渲染质量。

2.本发明通过画面生成模块对预处理后的现实环境数据进行渲染和融合，接入渲染引擎软件将现实环境数据渲染生成输出裸眼3D播放画面，然后再对输出的裸眼3D播放画面进行融合，经过渲染和融合的现实环境数据能够为直播间实时构建裸眼3D场景，而通过人机交互单元可以将渲染引擎软件实时输出的裸眼3D画面传输到用户端进行播放，从而为用户提供一个裸眼3D的混合现实直播间，可让用户无需佩戴任何辅助设备就可以体验到3D效果，提高用户观看直播时的沉浸感，同时，实时捕捉用户观看时眼球的运动，根据捕捉的眼球运动，直播画面将同步转换方向，并且还为用户提供切换功能，便于用户随时切换直播显示效果。

附图说明

图1为本发明的基于裸眼3D的混合现实直播交互系统原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有的用户在实际观看直播时，需要佩戴相应的辅助设备，长时间佩戴辅助设备容易使用户有束缚感和眩晕感，并且没有配备辅助设备的用户则直接无法观看直播，给直播带来了一定的局限性的技术问题，请参阅图1，本实施例提供以下技术方案：

基于裸眼3D的混合现实直播交互系统，包括：

数据采集单元，用于：

实时拍摄采集直播间所需的现实环境数据，所采集到的现实环境数据包括环境数据和声音数据，将拍摄采集的现实环境数据发送至数据渲染单元，为后续数据渲染单元的渲染融合提供数据支持；

数据渲染单元，用于：

对接收到的现实环境数据进行预处理，将预处理后的现实环境数据接入渲染引擎软件，利用渲染引擎软件对现实环境数据进行渲染，通过渲染引擎软件将现实环境数据渲染生成输出裸眼3D播放画面，为直播间实时构建裸眼3D场景；

人机交互单元，用于：

将渲染引擎软件实时输出的裸眼3D画面传输到用户端，用户端对实时输出的裸眼3D画面播放，用户通过用户端对播放的裸眼3D画面进行观看，并且用户提供切换功能。

上述内容的技术效果:通过数据采集单元可以实时拍摄采集直播间所需的现实环境数据并发送至数据渲染单元，通过数据渲染单元可以对接收到的现实环境数据进行预处理，再利用渲染引擎软件将预处理后的现实环境数据渲染生成输出裸眼3D播放画面，并对输出的裸眼3D播放画面进行融合，从而可以为直播间实时构建裸眼3D场景，而通过人机交互单元可以将渲染引擎软件实时输出的裸眼3D画面传输到用户端进行播放，从而使得用户无需佩戴任何辅助设备对播放的裸眼3D画面进行观看，提高用户观看直播时的沉浸感，并且还为用户提供切换功能，便于用户随时切换直播显示效果。

数据采集单元包含采集设备，通过采集设备对直播现场周围的环境进行录制采集，实时拍摄采集到直播间所需的现实环境数据，采集到的现实环境数据为数据渲染单元的渲染融合提供数据支持。

上述内容的技术效果:数据采集单元是通过采集设备来拍摄采集直播间所需的现实环境数据，采集设备根据实际需求可配置一台或者多台进行录制采集，而采集的现实环境数据包括环境数据和声音数据，环境数据用于渲染构建直播间的场景，而声音数据用于与渲染后的环境数据进行融合，使得渲染出的场景更加仿真立体，进一步提高用户观看直播时的沉浸感。

数据渲染单元，包括

预处理模块，用于：

对接收到的现实环境数据进行预处理，通过预处理增强现实环境数据的效果，为后续画面生成模块的渲染提供支持；

其中，预处理模块，包括：

滤波模块，用于：

对现实环境数据进行滤波处理，滤除现实环境数据图像中的干扰噪声；

增强模块，用于：

对滤波后的现实环境数据进行增强处理，增强现实环境数据图像的视觉效果；

去抖动模块，用于：

对现实环境数据进行去抖动处理，利用去抖动消除工具消除现实环境数据中抖动效果；

滤波模块，具体执行以下操作：

选取现实环境数据，计算现实环境数据内所有像素点的灰度值的平均值；

将现实环境数据的中心像素点的灰度值替换为平均值，完成对现实环境数据的滤波处理；

画面生成模块，用于：

接入渲染引擎软件，通过渲染引擎软件将预处理后的现实环境数据渲染生成输出裸眼3D播放画面，并对裸眼3D播放画面进行融合，为直播间实时构建裸眼3D场景。

其中，画面生成模块，具体执行以下操作：

接入渲染引擎软件，通过渲染引擎软件将预处理后的现实环境数据进行渲染；

通过渲染引擎软件将现实环境数据中的环境数据渲染生成输出裸眼3D播放画面；

再将渲染生成的裸眼3D播放画面与现实环境数据中的声音数据进行融合。

上述内容的技术效果:首先，通过预处理模块可以对接收到的现实环境数据进行预处理，预处理包括对现实环境数据的滤波、增强和去抖动，通过滤波模块可以对现实环境数据进行滤波处理，滤除现实环境数据图像中的干扰噪声，滤波模块是选取现实环境数据，从而计算该现实环境数据内所有像素点的灰度值的平均值，再将现实环境数据的中心像素点的灰度值替换为平均值，完成对现实环境数据的滤波处理，重复上述操作，可对现实环境数据进行滤波处理，从而可去除现实环境数据中的噪声，并保持现实环境数据图像的平滑，然后，通过增强模块可以对滤波后的现实环境数据进行增强处理，从而能够增强现实环境数据图像的视觉效果，最后，去抖动模块可以利用去抖动消除工具消除现实环境数据中抖动效果，通过预处理模块对现实环境数据的预处理，可以改善现实环境数据的显示效果，进而为后续现实环境数据的渲染提供了支持，有效提高现实环境数据的渲染效果和渲染质量，经过预处理后的现实环境数据通过画面生成模块进行渲染和融合，画面生成模块接入渲染引擎软件，通过渲染引擎软件将现实环境数据中的环境数据渲染生成输出裸眼3D播放画面，然后，再将输出的裸眼3D播放画面与现实环境数据中的声音数据进行融合，通过将裸眼3D播放画面与声音数据的融合，可以构建更加真实立体的直播场景，从而有效的提高用户观看直播的沉浸感，而经过融合后的眼3D播放画面会传输到用户端，从而实现直播方与用户之间的混合现实直播交互效果。

具体的，所述增强模块包括：

灰度值提取模块，用于完成对现实环境数据的滤波处理之后，提取除了中心像素点之外的所有像素点的灰度值；

灰度因数获取模块，用于利用所述除了中心像素点之外的所有像素点的灰度值，以及，所述现实环境数据的中心像素点的灰度值分别获取其对应的第一灰度因数和第二灰度因数；

利用所述第一灰度因数和第二灰度因数获取所述现实环境数据中的每个像素点对应的目标灰度值；其中，所述目标灰度值通过如下公式获取：

其中，H

其中，H

灰度值调整模块，用于按照所述每个像素点对应的目标灰度值对所述现实环境数据中的每个像素点进行灰度值调整，获取灰度值调整后的现实环境数据。

上述技术方案的技术效果为：通过灰度值提取模块对现实环境数据进行滤波处理，并提取除了中心像素点之外的所有像素点的灰度值，可以有效地去除图像中的噪声和干扰，提高图像的信噪比。这有助于优化图像质量，使得图像更加清晰、准确。灰度因数获取模块利用中心像素点和除中心像素点之外的所有像素点的灰度值，分别获取其对应的第一灰度因数和第二灰度因数。这种处理方式可以突出中心像素点在图像中的重要性，使得中心像素点周围区域的灰度值分布更加合理，有助于后续图像处理和分析。

通过目标灰度值计算公式，可以根据第一灰度因数和第二灰度因数，以及调节系数，动态地调整现实环境数据中每个像素点的灰度值。这种处理方式可以根据图像的实际情况，自适应地调整灰度值，使得图像的灰度分布更加均匀、合理。灰度值调整模块按照每个像素点对应的目标灰度值对现实环境数据进行灰度值调整，可以使得图像的视觉效果得到改善。调整后的图像在亮度、对比度等方面更加符合人眼的视觉习惯，有助于提升图像的观感和可读性。经过上述处理后的现实环境数据，其灰度值分布更加合理、准确，有助于提高后续图像处理和分析的准确性。例如，在目标检测、图像识别等应用中，可以更加准确地提取出目标物体的特征和轮廓信息，从而提高整个系统的性能。

综上所述，该技术方案通过灰度值提取、灰度因数获取、目标灰度值计算和灰度值调整等步骤，可以有效地优化现实环境数据的灰度值分布，改善图像的视觉效果和提高后续处理的准确性。

具体的，所述灰度因数获取模块，包括：

中心像素点灰度值提取模块，用于提取所述现实环境数据的中心像素点进行平均值替换之前的灰度值；

平均值提取模块，用于现实环境数据内所有像素点的灰度值的平均值；

第一灰度因数获取模块，用于利用所述除了中心像素点之外的所有像素点的灰度值、所述现实环境数据的中心像素点进行平均值替换之前的灰度值以及现实环境数据内所有像素点的灰度值的平均值获取第一灰度因数；其中，所述第一灰度因数通过如下公式获取：

其中，H

第二平均值获取模块，用于利用所述除了中心像素点之外的所有像素点的灰度值，获取除了中心像素点之外的所有像素点对应的平均值；

第二灰度因数获取模块，用于利用所述现实环境数据的中心像素点的灰度值、现实环境数据内所有像素点的灰度值的平均值和除了中心像素点之外的所有像素点对应的平均值获取第二灰度因数，其中，所述第二灰度因数通过如下公式获取：

其中，H

上述技术方案的技术效果为：通过专门设计的灰度因数获取模块，能够精确地计算出第一灰度因数(H01)和第二灰度因数(H02)。这两个因数基于中心像素点原始的灰度值(Hz)、所有像素点灰度值的平均值(Hp)、除了中心像素点之外的所有像素点的个数(n)以及它们的灰度值(H i)和平均值(Hzp)。这种计算方法考虑了图像的整体灰度分布和中心像素点的特殊性，能够更准确地反映图像的特征。中心像素点灰度值提取模块特别提取了中心像素点进行平均值替换之前的灰度值(Hz)，这一操作充分考虑了中心像素点在图像处理中的重要性。中心像素点往往包含图像的关键信息，通过保留其原始灰度值，可以在后续处理中更好地保留这些关键信息。第一灰度因数(H01)和第二灰度因数(H02)的计算公式中，不仅考虑了中心像素点和所有像素点的灰度值，还考虑了它们的平均值。这种设计使得灰度因数的计算更加自适应，能够根据图像的实际情况进行灵活调整。通过第一灰度因数(H01)和第二灰度因数(H02)的引入，可以对现实环境数据中的每个像素点进行更加精细的灰度值调整。这种调整有助于改善图像的对比度，使得图像的明暗差异更加显著，从而提高图像的清晰度和可读性。由于灰度因数的计算考虑了中心像素点和周围像素点的灰度值及其平均值，因此能够在保持图像整体灰度分布的同时，增强图像的局部细节。这有助于在后续图像处理和分析中更好地提取出图像的特征和信息。

综上所述，该技术方案通过精确计算灰度因数，并基于这些因数对现实环境数据进行灰度值调整，能够改善图像的对比度、增强局部细节并保留关键信息，从而提高图像处理的准确性和效率。

人机交互单元，包括：

交互模块，用于：

与用户的用户端相连接，将裸眼3D播放画面实时传输到用户端进行播放，为用户提供混合现实的直播交互现场，并且实时捕捉用户观看时眼球的运动，根据捕捉的眼球运动，实时改变直播画面；

切换模块，用于：

为用户端的用户提供切换功能，通过切换功能，用户对用户端的直播间播放显示效果进行切换。

上述内容的技术效果:通过交互模块可以将实时输出的裸眼3D播放画面传输到用户端进行播放，使得用户通过用户端可以进行观看，从而使用户可以观看到更加立体的直播间，通过裸眼3D播放画面构建的直播间裸眼3D场景，能够在用户端实现逼真的虚实融合特效，相较于2D直播间的平面效果会更加立体真实，并且更能给用户带来极具沉浸感的虚实交互体验，而且，无需佩戴任何辅助设备就可以体验到3D效果，避免了用户没有辅助设备无法观看直播的局限性，还避免了辅助设备给用户带来的束缚感和眩晕感，从而进一步提高用户观看直播时的沉浸感，在用户观看直播的同时，交互模块会实时捕捉用户观看时眼球的运动，根据捕捉的眼球运动来实时改变直播画面，使得直播间构建的裸眼3D场景同步转换方向，从而实现了直播的交互效果，而切换模块则为用户提供了切换功能，使得用户可以根据实际需求对直播间播放显示效果进行切换，可以将直播间的播放显示效果切换为普通的2D画面，也可将直播间的播放显示效果切换为裸眼3D画面，从而增加了直播的灵活性。

具体的，本实施例还提出了基于裸眼3D的混合现实直播交互系统的实施方法，包括以下步骤：

S1：实时拍摄采集直播间所需的现实环境数据，将拍摄采集的现实环境数据发送至数据渲染单元；

S2：对接收到的现实环境数据进行预处理，通过对现实环境数据的滤波、去抖动和增强处理，改善现实环境数据图像的显示效果；

S3：接入渲染引擎软件，利用渲染引擎软件对预处理后的现实环境数据进行渲染，将现实环境数据渲染生成输出裸眼3D播放画面，并对裸眼3D播放画面进行融合；

S4：将经过渲染和融合的裸眼3D画面传输到用户端进行播放，用户通过用户端对播放的裸眼3D画面进行观看，并且用户对用户端的直播间播放显示效果进行切换。

工作原理：数据采集单元利用采集设备可以实时拍摄采集直播间所需的现实环境数据，而拍摄采集到现实环境数据会发送至数据渲染单元，为后续的渲染融合提供数据支持，数据渲染单元先通过预处理模块可以对接收到的现实环境数据进行预处理，先是滤除现实环境数据图像中的干扰噪声，然后是增强现实环境数据图像的视觉效果，最后是利用去抖动消除工具消除现实环境数据中抖动效果，现实环境数据经过上述预处理后，可以改善现实环境数据的显示效果，从而提高现实环境数据的渲染效果和渲染质量，而与经过与处理后的现实环境数据通过画面生成模块进行渲染和融合，通过渲染引擎软件将现实环境数据中的环境数据渲染生成输出裸眼3D播放画面，然后，再将输出的裸眼3D播放画面与现实环境数据中的声音数据进行融合，从而为用户构建出裸眼3D场景，通过交互模块可以将实时输出的裸眼3D播放画面传输到用户端进行播放，使得用户无需佩戴任何辅助设备就可以体验到3D效果，提高用户观看直播时的沉浸感，而且交互模块会实时捕捉用户观看时眼球的运动，使得直播间构建的裸眼3D场景随捕捉同步转换方向，并且还为用户提供了切换功能，使得用户可以根据实际需求对直播间播放显示效果进行切换。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。