基于视觉变动分析的沙盘投影方法、装置、设备及介质

技术领域

本发明涉及全息投影技术领域，尤其涉及一种基于视觉变动分析的沙盘投影方法、装置、电子设备及计算机可读存储介质。

背景技术

随着3D技术的持续发展，全息投影技术（Front-projected HolographicDisplay）得到越来越多的关注和应用。全息投影技术是指利用干涉和衍射原理记录并再现物体真实的三维图像的技术，广泛应用于舞台表演、各类博物馆、主题公园、展览会等展览展示活动中。

在城市规划沙盘展示等展示活动中，通常基于全息投影技术进行3D沙盘展览，配合声音、灯光、烟雾等外部介质，给观众营造一种立体的、真实的沉浸式的感官效果，提升了展览效果。

通常在上述3D沙盘展览活动中，一般观众位置是比较固定的，大多数正对展台，且默认观众是不走动的，在3D沙盘投影过程中，投影的各项参数也是预先设定好的，例如，投影的角度、投影的分辨度等。但是当观众一旦发生移动，从不同的角度再去观看3D沙盘时，会发现明显的破绽，投影中的物体由立体的变成了纸片的。这种3D沙盘投影方式无法实现与观众的互动，不能随着观众视觉的变动进行灵活的调整。

发明内容

本发明提供一种基于视觉变动分析的沙盘投影方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决现有的3D沙盘投影无法根据观众视觉的变动进行调整的问题。

为实现上述目的，本发明提供的一种基于视觉变动分析的沙盘投影方法，包括：

采集3D沙盘投影空间的全景图像，获取当前预设时间段内的人群图像集合；

利用预先训练的人体目标跟踪网络，识别所述人群图像集合中每张人群图像中的人体目标，提取每张所述人群图像的时序特征；

根据所述人体目标标记每张所述人群图像中的人体目标遮蔽区域，将所述人体目标遮蔽区域映射到所述全景图像中，并利用每张所述人群图像的时序特征对映射后的遮蔽区域进行时序标注，得到遮蔽区域轨迹图；

利用预先训练的人体位置预测模型，根据所述遮蔽区域轨迹图，预测预设的下一时间段内的人群移动方向，并根据所述人群移动方向调整预设的3D沙盘投影仪的投影方向；

对每张所述人群图像中的人体目标的人脸区域进行标记，并计算每张所述人群图像中的人脸区域的平均尺寸；

根据每张所述人群图像的人脸区域的平均尺寸，计算所述当前预设时间段内人群人脸尺寸变化幅度，并根据所述人脸尺寸变化幅度调整所述3D沙盘投影仪的投影距离。

可选地，所述利用预先训练的人体目标跟踪网络，识别所述人群图像集合中每张人群图像中的人体目标，包括：

利用所述预先训练的人体目标跟踪网络的编码层对每张所述人群图像进行分窗及向量转换，得到每个分窗对应的分窗向量矩阵；

利用所述预先训练的人体目标跟踪网络的窗口注意机制对每个所述分窗向量矩阵进行特征提取，得到每个所述分窗向量矩阵对应的特征向量矩阵；

利用所述预先训练的人体目标跟踪网络的窗口交互机制，对每个所述分窗向量对应的特征向量矩阵进行融合计算，得到全局特征集合；

计算所述全局特征集合与预设的人体特征标签之间的匹配概率值，提取所述匹配概率值大于预设阈值的全局特征，得到人体特征集合；

利用所述预先训练的人体目标跟踪网络的输出层在每张所述人群图像中对所述人体特征集合进行框选，得到每张所述人群图像中的人体目标。

可选地，所述提取每张所述人群图像的时序特征，包括：

获取每张所述人群图像的生成时间；

对每个所述生成时间进行向量转换，得到对应人群图像的一维时间向量，将所述一维时间向量作为对应人群图像的时序特征。

可选地，所述将所述人体目标遮蔽区域映射到所述全景图像中，包括：

利用预设的全景图模型将所述全景图像转换为全景曲面图；

生成所述全景曲面图的基准坐标系，并根据所述基准坐标系构建每张所述人群图像相对于所述全景曲面图的平移函数；

按照每张所述人群图像的生成时间依次将对应的人群图像的人体目标遮蔽区域，根据所述平移函数平移到所述全景曲面图中的对应的位置；

对所述全景曲面图中每两张相邻的人体目标遮蔽区域进行拼接和边缘融合，得到映射在所述全景曲面图中的遮蔽区域。

可选地，所述利用预先训练的人体位置预测模型，根据所述遮蔽区域轨迹图，预测预设的下一时间段内的人群移动方向，包括：

将所述遮蔽区域轨迹图随机拆分成预设数量的轨迹分图；

利用每个所述轨迹分图对应的时序标注信息对所述轨迹分图进行排序，得到轨迹图序列；

利用预先训练的人体位置预测模型，提取所述轨迹图序列对应的位置特征；

计算所述位置特征与预设的方向标签之间的对应分数，将符合预设条件的分数对应的方向标签作为所述预设的下一时间段内的人群移动方向。

可选地，所述对每张所述人群图像中的人体目标的人脸区域进行标记，包括：

判断是否能够识别所述人体目标的面部特征；

若能够识别所述人体目标的面部特征，则识别所述人体目标的脸部特征，并将所述脸部特征进行追踪标记，得到人脸区域；

若不能识别所述人体目标的面部特征，则识别所述人体目标的肩部特征，并在所述肩部特征的中心线的位置上增加预设高度，得到人脸区域。

可选地，所述获取当前预设时间段内的人群图像集合，包括：

获取所述当前预设时间段内的人群视频文件；

对所述人群视频文件进行分帧，得到视频帧集合；

对所述视频帧集合进行平均分组，从每组对应的视频帧集合中随机获取等量的视频帧作为目标视频帧；

提取所有所述目标视频帧对应的图像，得到所述人群图像集合。

为了解决上述问题，本发明还提供一种基于视觉变动分析的沙盘投影装置，所述装置包括：

人群图像获取模块，用于采集3D沙盘投影空间的全景图像，获取当前预设时间段内的人群图像集合；

人群图像特征提取模块，用于利用预先训练的人体目标跟踪网络，识别所述人群图像集合中每张人群图像中的人体目标，提取每张所述人群图像的时序特征；

人群移动轨迹生成模块，用于根据所述人体目标标记每张所述人群图像中的人体目标遮蔽区域，将所述人体目标遮蔽区域映射到所述全景图像中，并利用每张所述人群图像的时序特征对映射后的遮蔽区域进行时序标注，得到遮蔽区域轨迹图；

投影方向调整模块，用于利用预先训练的人体位置预测模型，根据所述遮蔽区域轨迹图，预测预设的下一时间段内的人群移动方向，并根据所述人群移动方向调整预设的3D沙盘投影仪的投影方向；

投影距离调整模块，用于对每张所述人群图像中的人体目标的人脸区域进行标记，并计算每张所述人群图像中的人脸区域的平均尺寸，根据每张所述人群图像的人脸区域的平均尺寸，计算所述当前预设时间段内人群人脸尺寸变化幅度，并根据所述人脸尺寸变化幅度调整所述3D沙盘投影仪的投影距离。

为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

存储器，存储至少一个计算机程序；及

处理器，执行所述存储器中存储的程序以实现上述所述的基于视觉变动分析的沙盘投影方法。

为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于视觉变动分析的沙盘投影方法。

本发明实施例对当前预设时间段内的人群图像集合进行人体目标、人脸区域的识别以及时序特征的提取，根据人群图像的时序特征将对应的人体目标所遮蔽的区域映射到全景图像中，得到遮蔽区域轨迹图，进而根据所述遮蔽区域轨迹图预测得到预设的下一时间段内人群移动方向，并根据所述人群移动方向调整预设的3D沙盘投影仪的投影方向，同时，根据人群图像对应的人脸区域的平均尺寸，计算所述当前预设时间段内人群人脸尺寸变化幅度，并根据所述人脸尺寸变化幅度调整所述3D沙盘投影仪的投影距离，达到了3D沙盘投影跟随观众的视觉移动发生相应的调整的效果。

附图说明

图1为本发明一实施例提供的基于视觉变动分析的沙盘投影方法的流程示意图；

图2为本发明一实施例提供的基于视觉变动分析的沙盘投影方法中获取人群图像集合步骤的详细实施流程示意图；

图3为本发明一实施例提供的基于视觉变动分析的沙盘投影方法中识别人体目标步骤的详细实施流程示意图；

图4为本发明一实施例提供的基于视觉变动分析的沙盘投影方法中将人体目标遮蔽区域映射到全景图像步骤的详细实施流程示意图；

图5为本发明一实施例提供的基于视觉变动分析的沙盘投影方法中人群移动方向预测步骤的详细实施流程示意图；

图6为本发明一实施例提供的基于视觉变动分析的沙盘投影装置的功能模块图；

图7为本发明一实施例提供的实现所述基于视觉变动分析的沙盘投影方法的电子设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供一种基于视觉变动分析的沙盘投影方法。所述基于视觉变动分析的沙盘投影方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于视觉变动分析的沙盘投影方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参照图1所示，为本发明一实施例提供的基于视觉变动分析的沙盘投影方法的流程示意图。在本实施例中，所述一种基于视觉变动分析的沙盘投影方法包括：

S1、采集3D沙盘投影空间的全景图像，获取当前预设时间段内的人群图像集合；

可以理解的是，通常利用3D沙盘进行商品或产品的展示，依赖一个固定范围的投影区域或投影空间，即所述3D沙盘投影空间。所述3D沙盘投影空间包括3D沙盘投影覆盖区域、3D沙盘对应的舞台区域以及观众群区域。

本发明一实施例中，可以利用专门的全景设备，例如，全景相机或带有鱼眼镜头或广角镜头的相机拍摄所述3D沙盘投影空间对应的全景图像。

本发明另一可选实施例中，可以利用预设的摄像头拍摄所述3D沙盘投影空间的局部图像，再将局部图像进行投影、拼接最终形成所述预设投影空间的全景图像。

本发明实施例中，可以利用预设的摄像头拍摄当前预设时间段内的人群视频，再对人群视频进行分帧处理，通过提取分帧视频中的图像，得到人群图像集合。

本发明实施例中，所述当前预设时间段可以设置为几分钟或几十秒，例如，所述当前预设时间段为15时00分00秒至15是02分59秒，该当前预设时间段的长短决定了后续3D沙盘投影的调整频率的大小，所述当前预设时间段越短，相应的3D沙盘投影的调整频率就越大。

可以理解的是，通常一个短视频的时长在几秒至数分钟不等，包含了几百到数万的视频帧，每张视频帧可以理解为一张图像，这样预设时间段内的人群视频对应的人群图像的数量可能会达到几万张甚至更大的数量。为了提升所述人群图像集合的获取效率，以及控制所述人群图像集合的规模，可以对所述人群视频对应的视频帧进行筛选过滤，减少人群图像的数量，同时又不影响对人群图像的分析。

详细地，参阅图2所示，所述获取当前预设时间段内的人群图像集合，包括：

S11、获取所述当前预设时间段内的人群视频文件；

S12、对所述人群视频文件进行分帧，得到视频帧集合；

S13、对所述视频帧集合进行平均分组，从每组对应的视频帧集合中随机获取等量的视频帧作为目标视频帧；

S14、提取所有所述目标视频帧对应的图像，得到所述人群图像集合。

本发明实施例中，可以根据预设的平均分组规则对所述视频帧集合进行分组，所述预设的平均分组规则可以是基于视频帧集合的数量进行平均分组，也可以按时间对所述视频帧集合进行平均分组。

本发明实施例中，所述等量的视频帧可以是8帧或4帧，在实际应用中，可以结合所述视频帧集合的规模确定目标视频帧的数量。

本发明实施例获取预设投影空间的全景图像及当前预设时间段内的人群图像集合，有利于通过3D沙盘投影周边的图像信息进行相关的人群视觉变动分析，进而根据分析结果调整3D沙盘投影。

S2、利用预先训练的人体目标跟踪网络，识别所述人群图像集合中每张人群图像中的人体目标，提取每张所述人群图像的时序特征；

本发明实施例中，所述预先训练的人体目标跟踪网络可以是基于深度学习的卷积神经网络。较佳地，可以采用双向的循环神经网络构建所述人体目标跟踪网络。当前循环神经网络广泛的应用于图像处理领域，同时循环神经网络还擅长处理时序信息，每张所述人群图像来自于人群视频中的一个个视频帧，而每个视频帧之间本身就存在时间先后的时序关系。利用预先训练好的人体目标跟踪网络的人体目标识别能力和时序特征提取能力，得到每张所述人群图像的人体目标和时序特征。

本发明另一可选实施例中，所述预先训练的人体目标跟踪网络可以是基于SwinTransformer构建的神经网络，相较于卷积神经网络，基于Swin Transformer构建的神经网络可以解决针对视频或图像分辨率较高的情况下，神经网络计算量大的问题，同时SwinTransformer在理解上下文方面的优势也非常突出，适合于提取视频图像的图像特征和时序特征。

本发明实施例中，所述预先训练的人体目标跟踪网络包括编码层、窗口注意机制、窗口交互机制及输出层。其中，所述编码层是输入层，可以实现对输入对象的分区域（分窗）的进行向量转换，将每张人群图像转换为多个以窗口为单位的向量矩阵，所述窗口注意机制类似于卷积神经网络中的多头注意机制，通过对每个窗口对应的分窗向量矩阵进行卷积操作，得到每个所述分窗对应的特征向量矩阵，所述特征向量矩阵可以理解为对应人群图像的局部特征，通过上述的窗口交互机制，可以实现将多个局部特征进行融合，得到人群图像对应的全局特征。

详细地，参阅图3所示，所述利用预先训练的人体目标跟踪网络，识别所述人群图像集合中每张人群图像中的人体目标，包括：

S21、利用所述预先训练的人体目标跟踪网络的编码层对每张所述人群图像进行分窗及向量转换，得到每个分窗对应的分窗向量矩阵；

S22、利用所述预先训练的人体目标跟踪网络的窗口注意机制对每个所述分窗向量矩阵进行特征提取，得到每个所述分窗向量矩阵对应的特征向量矩阵；

S23、利用所述预先训练的人体目标跟踪网络的窗口交互机制，对每个所述分窗向量对应的特征向量矩阵进行融合计算，得到全局特征集合；

S24、计算所述全局特征集合与预设的人体特征标签之间的匹配概率值，提取所述匹配概率值大于预设阈值的全局特征，得到人体特征集合；

S25、利用所述预先训练的人体目标跟踪网络的输出层在每张所述人群图像中对所述人体特征集合进行框选，得到每张所述人群图像中的人体目标。

本发明一可选实施例中，可以利用预设的激活函数计算所述全局特征集合与预设的人体特征标签之间的匹配概率值，所述预设的人体特征标签是预先构建的符合人体图像特征的向量标签。

本发明一可选实施例中，可以根据每张所述人群图像的生成时间，计算每张所述人群图像对应的时序特征。

详细地，所述提取每张所述人群图像的时序特征，包括：获取每张所述人群图像的生成时间；对每个所述生成时间进行向量转换，得到对应人群图像的一维时间向量，将所述一维时间向量作为对应人群图像的时序特征。

本发明实施例中，所述人群图像的生成时间可以是人群图像对应的视频帧的生成时间。较佳地，可以对该生成时间进行数字归一化处理，例如，人群图像对应的视频帧的生成时间范围从00分00秒到02分59秒，每个所述生成时间可以用4位数字字符串表示，再对相应的数字字符串进行向量转换。例如，01分04秒用0104表示。

本发明实施例中，可以基于依据文本向量转换原理，利用具有向量转换功能的工具对每个所述生成时间进行向量转换，例如，Word2vec。

本发明实施例通过识别人群图像中的人体目标和时序特征，方便后续进一步的跟踪每个时刻人群的视觉变动情况，进而根据人群视觉变动情况进行3D沙盘投影的调整。

S3、根据所述人体目标标记每张所述人群图像中的人体目标遮蔽区域，将所述人体目标遮蔽区域映射到所述全景图像中，并利用每张所述人群图像的时序特征对映射后的遮蔽区域进行时序标注，得到遮蔽区域轨迹图；

本发明实施例中，每张所述人群图像相对于所述全景图像而言，均是所述全景图像中的一部分，通过将每张所述人群图像中的人体目标遮蔽区域映射到所述全景图像中，可以得到所述全景图像中人群覆盖的范围，同时，利用每张所述人群图像的时序特征，可以得到所述预设的时间段内人群覆盖区域的变化趋势。

详细地，参阅图4所示，所述将所述人体目标遮蔽区域映射到所述全景图像中，包括：

S31、利用预设的全景图模型将所述全景图像转换为全景曲面图；

S32、生成所述全景曲面图的基准坐标系，并根据所述基准坐标系构建每张所述人群图像相对于所述全景曲面图的平移函数；

S33、按照每张所述人群图像的生成时间依次将对应的人群图像的人体目标遮蔽区域，根据所述平移函数平移到所述全景曲面图中的对应的位置；

S34、对所述全景曲面图中每两张相邻的人体目标遮蔽区域进行拼接和边缘融合，得到映射在所述全景曲面图中的遮蔽区域。

可以理解的是，相邻的人群图像对应的拍摄视角不同，将相应的人群图像映射到同一平面，对应的人群图像之间存在一定的夹角，无法直接进行无缝拼接。为了维持实际场景中的空间约束关系，需要将所述全景图像投影到同一曲面上。利用所述预设的全景模型可以将所述全景图像转化为曲面图像。所述预设的全景图模型可以是球面模型、圆柱面模型或者是立方体模型。

本发明实施例中，生成基准坐标系的目的是统一所述全景图像及每张所述人群图像的坐标。

本发明实施例中，可以基于开源的OpenCV库中的图像平移函数，结合所述基准坐标系的具体取值情况，对图像平移函数进行相应的改造，得到所述平移函数。

本发明实施例中，图像如果存在旋转、缩放、透视形变、色差、扭曲等差别，这些差别会增加图像拼接的难度和复杂度，因此，在对每张所述人群图像进行映射前，较佳地，需要对每张所述人群图像进行预处理，使得每张所述人群图像之间的位置转换关系唯一、缩放比例相同、形变或色差比较小。

本发明实施例中，图像拼接的关键是精准找出相邻两张图像中重叠部分的位置，然后根据重叠部分的位置确定两张图像之间的位置变换关系。

本发明实施例可以利用图像标注工具，根据每张所述人群图像的时序特征对映射后的遮蔽区域进行时序标注，得到所述遮蔽区域轨迹图。

本发明实施例中，所述遮蔽区域轨迹图一方面反应了人群覆盖的空间范围，另一方面反应了人群在时间维度上对空间区域的覆盖趋势，进一步地，可以利用所述遮蔽区域轨迹图对人群视觉变动进行跟踪分析。

S4、利用预先训练的人体位置预测模型，根据所述遮蔽区域轨迹图，预测预设的下一时间段内的人群移动方向，并根据所述人群移动方向调整预设的3D沙盘投影仪的投影方向；

本发明实施例中，所述预先训练的人体位置预测模型是一种基于神经网络的人体位置回归识别模型，其中，所述人体位置预测模型可以包括输入层、卷积层、池化层、全连接层和输出层，通常所述输入层可以对输入的所述遮蔽区域轨迹图进行向量转换，利用所述卷积层、池化层及全连接层可以实现对所述遮蔽区域轨迹图进行相关特征提取，通常在所述输出层设置激活函数，利用所述激活函数可以对所述相关特征进行识别、判断与输出。

本发明实施例中，所述预设的下一时间段是相对于当前预设时间段而言，是指所述当前预设时间段之后个一个时间段，例如，所述当前预设时间段为15时00分00秒至15是03分59秒，相应的预设的下一时间段可以是15时04分00秒至15时06分59秒。

详细地，参阅图5所示，所述利用预先训练的人体位置预测模型，根据所述遮蔽区域轨迹图，预测预设的下一时间段内的人群移动方向，包括：

S41、将所述遮蔽区域轨迹图随机拆分成预设数量的轨迹分图；

S42、利用每个所述轨迹分图对应的时序标注信息对所述轨迹分图进行排序，得到轨迹图序列；

S43、利用预先训练的人体位置预测模型，提取所述轨迹图序列对应的位置特征；

S44、计算所述位置特征与预设的方向标签之间的对应分数，将符合预设条件的分数对应的方向标签作为所述预设的下一时间段内的人群移动方向。

本发明实施例中，所述遮蔽区域轨迹图本身具有时序特征，利用每个所述轨迹分图对应的时序标注信息对所述轨迹分图进行排序可以保留所述遮蔽区域轨迹图的时序特征。

本发明实施例中，所述预设的激活函数包括但不限于softmax激活函数、sigmoid激活函数、relu激活函数，所述预设的方向标签可以是基于时钟的方向标签，例如，10点钟方向、2点钟方向。

本发明实施例中，所述预设条件可以是最高分数符合合格条件，即最高分数对应的方向标签作为所述预设的下一时间段内的人群移动方向。

本发明实施例中，所述人体位置预测模型可以通过大量的具有时序特征的同一人体目标的图像样本进行位置预测训练得到，较佳地，可以对所述图像样本进行随机遮蔽，使得所述人体位置预测模型能够更好的学习所述图像样本之间的上下文信息，当所述人体位置模型预测的人体目标位置与实际的人体目标位置之间的损失值满足模型训练条件时，即完成了所述人体位置预测模型的训练。

本发明实施例通过预设的下一时间段内的人群移动方向，可以及时把握人群的视觉变动趋向，适时地调整预设的3D沙盘投影仪的投影方向与所述人群移动方向保持一致。

S5、对每张所述人群图像中的人体目标的人脸区域进行标记，并计算每张所述人群图像中的人脸区域的平均尺寸；

本发明实施例中，所述人脸定位方法为不同情景下的两种脸部位置定位方法。例如，可直接观测到人脸位置的情景及无法直接观测到人脸位置的情景。

详细的，所述对每张所述人群图像中的人体目标的人脸区域进行标记，包括：判断是否能够识别所述人体目标的面部特征；若能够识别所述人体目标的面部特征，则识别所述人体目标的脸部特征，并将所述脸部特征进行追踪标记，得到人脸区域；若不能识别所述人体目标的面部特征，则识别所述人体目标的肩部特征，并在所述肩部特征的中心线的位置上增加预设高度，得到人脸区域。

本发明实施例中，若能够检测到人体目标的面部特征，则直接对面部特征进行识别，得到人脸区域，若检测不到面部特征，例如，人物背身、低头等情况，可以识别人物肩部，在肩部往上增加一个小臂的长度，可以作为人体目标的面部区域。

可以理解的是，每张所述人群图像中包含的人脸数量不等，人脸区域的大小不一，因此需要计算每张所述人群图像中的人脸区域的平均尺寸。

本发明实施例中，可以通过计算每张所述人群图像中所有人脸区域的面积之和与对应的人群图像的面积的比例，作为每张所述人群图像中的人脸区域的平均尺寸。

本发明另一可选实施例中，可以通过统计每张所述人群图像中的人体目标数量，再将对应人群图像中的所有人脸区域的面积之和除以所述人体目标数量，得到每张所述人群图像中的人脸区域的平均尺寸。

S6、根据每张所述人群图像的人脸区域的平均尺寸，计算所述当前预设时间段内人群人脸尺寸变化幅度，并根据所述人脸尺寸变化幅度调整所述3D沙盘投影仪的投影距离。

可以理解的是，当人群距离预设的摄像头较远时，相应的人群图像中人脸区域的平均尺寸比较小，当人群靠近预设的摄像头时，相应的人群图像中人脸区域的平均尺寸会变得越来越大。因此，将所述预设的摄像头正悬于3D沙盘投影位置的中心之上，可以通过观察人群图像中的人脸区域的平均尺寸的大小变化程度，推演出人群距离3D沙盘投影位置的距离远近，进而据此调整所述3D沙盘投影仪的投影距离，以适应人群的移动变化，保持人群及时与3D沙盘投影仪的距离发生了变化，但是整体观感体验不变。

本发明一可选实施例中，可以利用如下距离调整公式，根据根据所述人脸尺寸变化幅度调整所述3D沙盘投影仪的投影距离：

其中，

本发明实施例中，通过计算每两个相邻的人群图像中人脸区域的平均尺寸的变化幅度，得到n-1个变化幅度，最后对该n-1个变化幅度求平均，得到当前预设时间段内人群人脸尺寸的变化幅度。

本发明实施例对当前预设时间段内的人群图像集合进行人体目标、人脸区域的识别以及时序特征的提取，根据人群图像的时序特征将对应的人体目标所遮蔽的区域映射到全景图像中，得到遮蔽区域轨迹图，进而根据所述遮蔽区域轨迹图预测得到预设的下一时间段内人群移动方向，并根据所述人群移动方向调整预设的3D沙盘投影仪的投影方向，同时，根据人群图像对应的人脸区域的平均尺寸，计算所述当前预设时间段内人群人脸尺寸变化幅度，并根据所述人脸尺寸变化幅度调整所述3D沙盘投影仪的投影距离，达到了3D沙盘投影跟随观众的视觉移动发生相应的调整的效果。

如图6所示，是本发明一实施例提供的基于视觉变动分析的沙盘投影装置的功能模块图。

本发明所述基于视觉变动分析的沙盘投影装置100可以安装于电子设备中。根据实现的功能，所述基于视觉变动分析的沙盘投影装置100可以包括人群图像获取模块101、人群图像特征提取模块102、人群移动轨迹生成模块103、投影方向调整模块104及投影距离调整模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述人群图像获取模块101，用于采集3D沙盘投影空间的全景图像，获取当前预设时间段内的人群图像集合；

所述人群图像特征提取模块102，用于利用预先训练的人体目标跟踪网络，识别所述人群图像集合中每张人群图像中的人体目标，提取每张所述人群图像的时序特征；

所述人群移动轨迹生成模块103，用于根据所述人体目标标记每张所述人群图像中的人体目标遮蔽区域，将所述人体目标遮蔽区域映射到所述全景图像中，并利用每张所述人群图像的时序特征对映射后的遮蔽区域进行时序标注，得到遮蔽区域轨迹图；

所述投影方向调整模块104，用于利用预先训练的人体位置预测模型，根据所述遮蔽区域轨迹图，预测预设的下一时间段内的人群移动方向，并根据所述人群移动方向调整预设的3D沙盘投影仪的投影方向；

所述投影距离调整模块105，用于对每张所述人群图像中的人体目标的人脸区域进行标记，并计算每张所述人群图像中的人脸区域的平均尺寸，根据每张所述人群图像的人脸区域的平均尺寸，计算所述当前预设时间段内人群人脸尺寸变化幅度，并根据所述人脸尺寸变化幅度调整所述3D沙盘投影仪的投影距离。

详细地，本发明实施例中所述基于视觉变动分析的沙盘投影装置100中的各个模块在使用时采用与上述的图1至图5中所述的基于视觉变动分析的沙盘投影方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。

如图7所示，是本发明一实施例提供的实现基于视觉变动分析的沙盘投影方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于视觉变动分析的沙盘投影程序。

其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于视觉变动分析的沙盘投影程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如基于视觉变动分析的沙盘投影程序等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图7仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图7示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的基于视觉变动分析的沙盘投影程序是多个指令的组合，在所述处理器10中运行时，可以实现：

采集3D沙盘投影空间的全景图像，获取当前预设时间段内的人群图像集合；

利用预先训练的人体目标跟踪网络，识别所述人群图像集合中每张人群图像中的人体目标，提取每张所述人群图像的时序特征；

根据所述人体目标标记每张所述人群图像中的人体目标遮蔽区域，将所述人体目标遮蔽区域映射到所述全景图像中，并利用每张所述人群图像的时序特征对映射后的遮蔽区域进行时序标注，得到遮蔽区域轨迹图；

利用预先训练的人体位置预测模型，根据所述遮蔽区域轨迹图，预测预设的下一时间段内的人群移动方向，并根据所述人群移动方向调整预设的3D沙盘投影仪的投影方向；

对每张所述人群图像中的人体目标的人脸区域进行标记，并计算每张所述人群图像中的人脸区域的平均尺寸；

根据每张所述人群图像的人脸区域的平均尺寸，计算所述当前预设时间段内人群人脸尺寸变化幅度，并根据所述人脸尺寸变化幅度调整所述3D沙盘投影仪的投影距离。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。

本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：

采集3D沙盘投影空间的全景图像，获取当前预设时间段内的人群图像集合；

利用预先训练的人体目标跟踪网络，识别所述人群图像集合中每张人群图像中的人体目标，提取每张所述人群图像的时序特征；

根据所述人体目标标记每张所述人群图像中的人体目标遮蔽区域，将所述人体目标遮蔽区域映射到所述全景图像中，并利用每张所述人群图像的时序特征对映射后的遮蔽区域进行时序标注，得到遮蔽区域轨迹图；

利用预先训练的人体位置预测模型，根据所述遮蔽区域轨迹图，预测预设的下一时间段内的人群移动方向，并根据所述人群移动方向调整预设的3D沙盘投影仪的投影方向；

对每张所述人群图像中的人体目标的人脸区域进行标记，并计算每张所述人群图像中的人脸区域的平均尺寸；

根据每张所述人群图像的人脸区域的平均尺寸，计算所述当前预设时间段内人群人脸尺寸变化幅度，并根据所述人脸尺寸变化幅度调整所述3D沙盘投影仪的投影距离。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本申请实施例可以基于全息投影技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。