一种基于图像识别的元宇宙VR的实时处理方法及系统

技术领域

本申请涉及云计算技术领域，尤其涉及一种基于图像识别的元宇宙VR的实时处理方法及系统。

背景技术

元宇宙VR是以云计算为基础的游戏方式，本质上为交互性的在线视频流，元宇宙VR运营在云端，其本身跨端，也因为游戏厂商游戏的不开放性，游戏客户端无法直接获取到游戏中的状态，客户端与元宇宙VR平台在运行时无法获取元宇宙VR内的状态，无法对元宇宙VR产品进行精准化运营与二次平台能力互动；在省内IPTV使用时，多为专网，并且在游戏需要更新维护时，需要人工识别，非常不方便，并且影响用户体验。

发明内容

本申请提供了一种基于图像识别的元宇宙VR的实时处理方法及系统，其技术目的是使元宇宙VR在运行时能够知晓并了解用户的状态，能够二次运营触发平台成就与任务从而增加用户黏性，并使元宇宙VR对于游戏更新的识别与游戏故障时能够对游戏内容进行实时检测。

本申请的上述技术目的是通过以下技术方案得以实现的：

一种基于图像识别的元宇宙VR的实时处理方法，包括：

S1：对元宇宙VR的参考帧进行定义，从游戏中获取元宇宙VR的参考帧，将所述参考帧投入至训练模型进行训练得到识别模型；

S2：根据游戏类型对视频流中的关键帧进行抽取，所述识别模型根据关键帧对元宇宙VR的状态进行识别，得到元宇宙VR的状态信息；

S3：将状态信息与用户数据进行融合以获取用户当前状态，根据用户当前状态进行实时处理或更新。

进一步地，所述根据游戏类型对视频流中的关键帧进行抽取时，包括：对视频流中的每一帧都进行抽取，或从30帧的游戏中至多抽取一半帧。

进一步地，所述关键帧将游戏状态拆分为游戏进度和游戏运行状态。

一种基于图像识别的元宇宙VR的实时处理系统，包括：

模型训练模块，从游戏中获取元宇宙VR的参考帧，将所述参考帧投入至训练模型进行训练得到识别模型；

识别模块，用于接收导入的识别模型，所述识别模型根据关键帧对元宇宙VR的状态进行识别，得到元宇宙VR的状态信息，将状态信息发送至交互模块；

交互模块，将状态信息与用户数据进行融合以获取用户当前状态，根据用户当前状态进行实时处理或更新。

进一步地，所述模型训练模块包括：

定义单元，对元宇宙VR的参考帧进行定义；

学习单元，从游戏中获取元宇宙VR的参考帧，将所述参考帧投入至训练模型进行训练得到识别模型。

进一步地，所述识别模块包括：

抽帧单元，根据游戏类型对视频流中的关键帧进行抽取；

识别单元，根据关键帧对元宇宙VR的状态进行识别，得到元宇宙VR的状态信息。

进一步地，所述交互模块包括：

交互单元，将状态信息与用户数据进行融合，获取用户当前状态从而进行实时处理；

更新单元，根据状态信息对游戏执行更新操作，完成对游戏的维护。

一种电子设备，包括存储器和处理器，所述存储器上储存有在所述处理器上运行的程序，所述处理器运行所述程序时执行如上述任一所述的方法。

9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行如上述任一所述的方法。

本申请的有益效果在于：

(1)通过视频流识别得到的结果可以实时的对元宇宙VR内容进行交互，具有较高的实时性，可以实时给予玩家信息反馈。

(2)本申请可以使得客户端程序对服务端信息进行响应，解决了客户端对元宇宙VR内容不易控制与识别的问题。

(3)创新的使用视频识别技术，给平台提供一个实时获取元宇宙VR内状态的方法，解决了元宇宙VR在运行时无法知晓并了解用户的状态的问题，可以二次运营触发平台成就与任务增加用户黏性，解决了元宇宙VR对于游戏更新的识别与游戏故障时对游戏内容的实时检测，尤其对于中国电信IPTV环境中的元宇宙VR，提供了高效实时的自动化解决方案。

附图说明

图1为为本申请的基于图像识别的元宇宙VR的实时处理方法的流程图；

图2为本申请的基于图像识别的元宇宙VR的实时处理系统模块示意图；

图3为根据本申请的实施例一基于图像识别的元宇宙VR的实时处理流程示意图；

图4为根据本申请的实施例一基于图像识别的元宇宙VR的实时处理整体示意图。

具体实施方式

下面将结合附图对本申请技术方案进行详细说明。

实施例1

图1为为本申请的基于图像识别的元宇宙VR的实时处理方法的流程图，以下将结合图1对本申请所述的基于图像识别的元宇宙VR的实时处理方法进行详细描述。

步骤S1：对元宇宙VR的参考帧进行定义，从游戏中获取元宇宙VR的参考帧，将所述参考帧投入至训练模型进行训练得到识别模型。

具体地，先通过人工游玩游戏，获得游戏中的参考帧，倒入训练模型即机器学习系统来学习视频流的状态。

本申请实施例中，平台游戏运营人员根据不同的游戏选择关键帧，比如游戏成就完成、游戏任务或者游戏通关，对关键帧进行截图获得参考帧，训练模型时使用参考帧进行图像识别对比以完成训练。

通过上述方法获得需要识别的参考帧后，拿参考帧去人工游玩的记录中进行多次学习，当识别准确度达到95％即为识别成功状态。识别出来的结果可以用于生产环境的识别程序。

本申请实施例中，从不同的游戏中获得这个游戏适应的参考帧，然后由平台的运营人员来对游戏的参考帧进行定义。

步骤S2：根据游戏类型对视频流中的关键帧进行抽取，所述识别模型根据关键帧对元宇宙VR的状态进行识别，得到元宇宙VR的状态信息。

具体地，抽取的关键帧可以将游戏的状态拆分成两种类型，包括游戏进度和游戏运行状态。

本申请实施例中，利用元宇宙VR内的状态，分析用户的游玩进度(例如到哪一个关卡)，和平台的任务与成就系统进行整合，可以实时的给用户任务与成就的触发，丰富用户元宇宙VR内数据。

本申请实施例中，利用游戏运行状态，可以知晓游戏是否需要更新，并处罚游戏自动维护，降低维护成本。例如判断游戏是否处在黑屏状态，根据游戏有多长时间的黑屏状态，可以触发实时的用户体验响应，弹出层提示，并记录数据来给后续的产品优化提供依据。

本申请实施例中，抽帧获取关键帧并非随机抽帧，帧帧必取或者从30帧的游戏中取一半帧都可以，可以根据游戏的类型进行关键帧设置。

本申请实施例中，采用30帧抽10帧以降低平台消耗。对元宇宙VR视屏流进行实时抽帧识别，如果识别到了信息，就开始执行步骤S3产生交互部分。

S3：将状态信息与用户数据进行融合以获取用户当前状态，根据用户当前状态进行实时处理或更新。

具体地，将识别出的交互信息(即状态信息)导入服务端平台进行数据记录，并将数据整理后与用户数据进行整合，提供二次数据交互服务。

本申请实施例中，相对于现有只能获得打开游戏的信息，无法获得游戏内的游玩的数据的状态，通过本申请可获得游戏内的数据，将两种数据整合后，获得较为全面的用户游玩信息，对二次运营有着很大的益处。

优选地，在游戏需要更新的环节，对游戏执行更新操作，来完成对游戏的维护工作。

本申请实施例中，识别到游戏需要升级，可以触发服务器升级程序对游戏进行自动升级，而不需要一个个手动操作更新。

本申请实施例中，元宇宙VR系统包括元宇宙VR平台、元宇宙VR客户端和元宇宙VRGPU模块。如图3和图4所示，从元宇宙VRGPU模块抽帧建立训练模型，将训练模型导入元宇宙VR平台的识别系统，识别系统在游戏启动时对游戏进行抽帧识别，将识别出的状态信息与用户数据进行整合。创新的使用视频识别技术，来给平台提供一个实时获取元宇宙VR内状态的方法，解决了元宇宙VR在运行时无法知晓并了解用户的状态的问题，可以二次运营触发平台成就与任务增加用户黏性，解决了元宇宙VR对于游戏更新的识别与游戏故障时对游戏内容的实时检测，尤其对于中国电信IPTV环境中的元宇宙VR，提供了高效实时的自动化解决方案。

本申请实施例中，元宇宙VR的用户服务提升，提供任务与成就等增加用户黏性的系统，使用本申请的方法创新实时识别用户完成了特定的任务与关卡，给用户服务提升提供有效的数据支撑。元宇宙VR用户使用质量实时监控与提升，在运行时，使用本申请的方法，可以实时监控用户是否出现了黑屏或花屏等严重印象用户体验的情况，为实时的提供助手解决用户问题和未来用户体验分析提供确切的数据。中国电信IPTV元宇宙VR内网服务自动监控，可以自动化监测，自动化升级元宇宙VR云端服务包，可以与IPTV用户体验体验助手结合，给用户提供更好的IPTV服务能力提升。

本申请实施例中，在多种元宇宙VR场景中实时提供用户状态分析，如智能汽车元宇宙VR、TV元宇宙VR及移动端元宇宙VR等实时的状态与服务提升，也可以衍射到云VR领域。可以给元宇宙VR与云VR提供一种获取云端游戏或者VR的解决方案，对于用户体验提升提供可能，并对IPTV下的产品服务提升也可提供有效的数据依据。

实施例2

图2为根据本申请的基于图像识别的元宇宙VR的实时处理系统整体示意图，如图2所示，该系统包括模型训练模块10、识别模块20和交互模块30，其中：

模型训练模块10，其用于内容识别学习，先通过人工游玩游戏，获得游戏中元宇宙VR的参考帧，将所述参考帧倒入至机器学习系统来学习视频流的状态，从而获得识别模型。

识别模块20，其用于接收导入的训练模型，根据视频流抽取的关键帧来识别元宇宙VR的状态，将识别到的状态信息发送到交互模块30。

交互模块30，其用于接收到识别的信息后，导入服务端平台进行数据记录，并将数据整理后与用户数据进行整合，提供二次数据交互服务。

模型训练模块，从游戏中获取元宇宙VR的参考帧，将所述参考帧投入至训练模型进行训练得到识别模型；

识别模块，用于接收导入的识别模型，所述识别模型根据关键帧对元宇宙VR的状态进行识别，得到元宇宙VR的状态信息，将状态信息发送至交互模块；

交互模块，将状态信息与用户数据进行融合以获取用户当前状态，根据用户当前状态进行实时处理或更新，并提供二次数据交互服务。

作为具体实施例地，所述模型训练模块包括：

定义单元，对元宇宙VR的参考帧进行定义；

学习单元，从游戏中获取元宇宙VR的参考帧，将所述参考帧投入至训练模型进行训练得到识别模型。

所述识别模块包括：

抽帧单元，根据游戏类型对视频流中的关键帧进行抽取；

识别单元，根据关键帧对元宇宙VR的状态进行识别，得到元宇宙VR的状态信息。

所述交互模块包括：

交互单元，将状态信息与用户数据进行融合，获取用户当前状态从而进行实时处理；

更新单元，根据状态信息对游戏执行更新操作，完成对游戏的维护。

本发明提供的一种基于图像识别的元宇宙VR的实时处理方法及系统，通过视频流识别得到的结果可以实时的对元宇宙VR内容进行交互，具有较高的实时性，可以实时给予玩家信息反馈。本申请可以使得客户端程序对服务端信息进行响应，解决了客户端对元宇宙VR内容不易控制与识别的问题。

本发明还提供一种电子设备，包括存储器和处理器，所述存储器上储存有在所述处理器上运行的程序，所述处理器运行所述程序时执行上述的基于图像识别的元宇宙VR的实时处理方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述的基于图像识别的元宇宙VR平台实时处理方法的步骤，所述基于图像识别的元宇宙VR平台实时处理方法参见前述部分的介绍，不再赘述。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。