一种基于物联网互动娱乐模式的机器人学习系统

技术领域

本发明属于人工智能技术领域，具体地涉及一种基于物联网互动娱乐模式的机器人学习系统。

背景技术

近年来，机器人学习技术随着深度学习的发展取得了不少的突破，在众多学习方法中，有监督学习是目前技术流中极其重要的一种学习方法，效果也比较好，但是该学习方法依赖大量有标签的数据来训练。对于很多实用场景为了获得带标签数据，目前的方法是需要在实际场景中布置采集设备，采集数据，然后采取众包模式进行人工标注，所消耗的人力，财力、时间成本极其高昂。因此数据缺乏成为了阻碍该领域进一步取得进展的瓶颈。

现有技术获取数据的方法需要花费大量的人力、物力、财力和时间去采集、标注数据，导致各种实用场景下的数据一直处于缺乏状态。

发明内容

针对现有技术中存在的问题，本发明提供了一种基于物联网互动娱乐模式的机器人学习系统。本发明的机器人学习系统解决了因数据获取成本高昂导致数据缺乏，从而阻碍机器人学习取得进展的问题。

本发明的目的是通过以下技术方案实现的：一种基于物联网互动娱乐模式的机器人学习系统，包括：人机交互模块、机器人与环境交互模块、机器人学习系统模块；所述人机交互模块、机器人与环境交互模块、机器人学习系统模块相互间建立数据通信连接；

所述人机交互模块包括第一账户操作单元、交互控制单元、数据同步融合单元和可视化单元，所述第一账户操作单元用于用户注册账户，并将注册账户的信息提交给机器人学习系统模块；所述交互控制单元通过P2P通信通道发送控制命令给机器人与环境交互模块，控制场景中的机器人和场景里的其他设备；所述数据同步融合单元用于发送在时间轴上同步融合后的数据流给机器人学习系统模块；所述可视化单元用于接收机器人学习系统模块分发过来的直播视频流或者机器人与环境交互模块发过来的数据流，并进行可视化处理；

所述机器人与环境交互模块包括第二账户操作单元、部署反馈验证单元、数据采集单元和设备控制单元；所述第二账户操作单元用于场景注册账户，并将场景注册账户的信息提交给机器人学习系统模块；所述部署反馈验证单元根据指定任务将训练好的或者训练过程中保存的机器人模型部署到实用场景中的机器人上，测试机器人模型的训练效果，获取反馈结果，并把反馈结果发送至机器人学习系统模块；所述数据采集单元用于采集相机以及环境中的传感器获取到的数据流，并发送至机器人学习系统模块和人机交互模块；所述设备控制单元用于接收来自人机交互模块中对机器人或者其他设备的控制指令，控制场景中的机器人或者其他设备完成任务；

所述机器人学习系统模块包括账户管理单元、数据处理单元、学习训练单元和内容分发单元，所述账户管理单元用于接收来自人机交互模块中提交的注册账户的信息和机器人与环境交互模块中提交的场景注册账户的信息、管理账户登入以及处理支付和交易信息；所述数据处理单元用于接收来自人机交互模块发来的时间轴上同步融合后的数据流，进行过滤和批次组合处理；所述学习训练单元用于训练机器人模型以及把训练好的或者训练过程中保存的机器人模型发送给机器人与环境交互模块，进行部署测试；所述内容分发单元用于接收来自机器人与环境交互模块的数据流，并分发到人机交互模块中。

进一步地，所述人机交互模块分为遥控模式和观赏模式。

进一步地，所述人机交互模块还包括外设对接单元，用于连接的交互硬件设备；所述可视化单元还用于接收机器人与环境交互模块、机器人学习系统模块的数据流，进行解码处理，然后直接显示在屏幕上或者经由外设对接单元显示在外接显示设备上，将接收到的数据流传送给数据同步融合单元；所述交互控制单元还用于接收外设对接单元的控制命令数据，将所述控制命令数据发送给设备控制单元，同时传送给数据同步融合单元进行同步融合处理，接收第一账户操作单元发送过来的权限控制命令；所述数据同步融合单元用于接收可视化单元和交互控制单元的数据流和控制命令数据，在时间轴上进行同步融合处理，再发送给数据处理单元；所述第一账户操作单元接收外设对接单元传来的设备信息，进行设备注册以及和账户绑定以及基于账户权限控制交互控制单元对外发送数据的发送权限。

进一步地，所述交互硬件设备包括投影仪、显示器、XR设备、游戏外设。

进一步地，所述机器人学习系统模块还包括中央信息分析决策控制单元，所述中央信息分析决策控制单元用于接收来自机器人学习系统模块各单元发过来的待分析决策的数据，进行分析和决策处理，并把分析决策结果返回给机器人学习系统模块中的对应的单元；所述数据处理单元将用于训练的数据，传给学习训练单元进行训练。

进一步地，所述机器人与环境交互模块还包括设备对接单元，所述设备对接单元用于连接外部设备，获取外部设备信息，接收设备控制单元的设备控制命令，并发送控制命令控制目标外部设备，接收来自部署验证反馈单元发过来的机器人模型更新命令和数据，接收连接的外部设备采集的数据，并将采集的数据发送到数据采集单元；所述第二账户操作单元还用于机器人试验环境账户注册，提交注册信息，接收来自设备对接单元获取的设备信息，接收来自机器人学习系统模块的参与娱乐活动的普通账户信息，并发送参与娱乐活动的普通账户信息给设备控制单元进行权限控制；所述数据采集单元用于接收设备对接单元采集的数据，进行滤波，编码，加密处理，再发送给机器人学习系统模块和人机交互模块。

进一步地，所述外部设备包括机器人、相机、传感器、执行器。

与现有技术相比，本发明具有如下有益效果：本发明通过在现实场景中构建互动娱乐活动并接通互联网，吸引人们自发参与遥控机器人完成任务，参与期间采集的传感器数据和对机器人的控制命令流作为标签数据，可以当做训练数据用于机器人学习，解决了当前机器人学习面临数据缺乏而难以取得进展的问题；本发明的机器人学习系统在训练过程中可以直接部署到现实环境中进行测试验证并返回反馈结果用于调整训练参数和流程，提高了现有技术验证学习效果的真实性和有效性,通过本系统可以直接采集到针对机器人应用领域的数据以及用户控制机器人参与娱乐活动的控制命令数据流作为标签，相较于现有技术的做法免去了高成本的数据采集和标注流程。

附图说明

图1为本发明机器人学习系统的结构图；

图2为本发明人机交互模块结构流程图；

图3为本发明机器人学习系统模块结构流程图；

图4为本发明机器人与环境交互模块结构流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步解释说明。

如图1，本发明提供了一种基于物联网互动娱乐模式的机器人学习系统，所述系统包括：人机交互模块，机器人与环境交互模块，机器人学习系统模块；所述人机交互模块、机器人与环境交互模块、机器人学习系统模块相互间建立数据通信连接。

所述人机交互模块包括第一账户操作单元、交互控制单元、数据同步融合单元和可视化单元，所述第一账户操作单元用于用户注册账户，并将注册账户的信息提交给机器人学习系统模块；所述交互控制单元用于通过P2P通信通道发送控制命令给机器人与环境交互模块，控制场景中的机器人和场景里的其他设备；所述数据同步融合单元用于发送在时间轴上同步融合后的数据流给机器人学习系统模块，用于机器人模型的学习和训练；所述可视化单元用于接收机器人学习系统模块分发过来的直播视频流或者机器人与环境交互模块发过来的数据流，并进行可视化处理，可视化过程中支持多设备同步显示不同内容可以方便分离不同信息来源，便于用户快速依据不同信息做决策控制机器人。所述人机交互模块分为遥控模式和观赏模式，遥控模式的数据通过P2P通信通道接收来自机器人与环境交互模块发过来的数据；观赏模式的数据通过人机交互模块与机器人学习系统模块连接的通信通道接收来自机器人学习系统模块发过来的数据。

所述机器人与环境交互模块包括第二账户操作单元、部署反馈验证单元、数据采集单元和设备控制单元；所述第二账户操作单元用于场景注册账户，并将场景注册账户的信息提交给机器人学习系统模块；所述部署反馈验证单元根据指定任务将将训练好的或者训练过程中保存的机器人模型部署到实用场景中的机器人上，测试机器人模型的训练效果，获取反馈结果，并把反馈结果发送至机器人学习系统模块；所述数据采集单元用于采集相机以及环境中的传感器获取到的数据流，并发送至机器人学习系统模块，通过P2P通信通道发送到处于遥控状态下的人机交互模块；所述设备控制单元用于接收来自对人机交互模块中机器人或者其他设备的控制指令，通过规则处理，来实现单人或多人协同控制场景中的机器人或者其他设备完成任务。

所述机器人学习系统模块包括账户管理单元、数据处理单元、学习训练单元和内容分发单元，所述账户管理单元用于接收来自人机交互模块中提交的注册账户的信息和机器人与环境交互模块中提交的场景注册账户的信息，管理账户以及处理支付和交易信息；所述数据处理单元用于接收来自人机交互模块发来的时间轴上同步融合后的数据，将数据进行过滤，并进行批次组合处理，使其不大于计算资源的大小，随后用于机器人模型的训练；所述学习训练单元用于训练机器人模型以及把训练好的或者训练过程中保存的机器人模型发送给机器人与环境交互模块，进行部署测试；所述内容分发单元用于接收来自机器人与环境交互模块的数据流，并分发到各个处于观赏模式的人机交互程序模块中。

在本发明的一个技术方案中，所述人机交互模块不但包括第一账户操作单元、交互控制单元、数据同步融合单元、可视化单元还包括外设对接单元，如图2所示；所述外设对接单元用于连接交互硬件设备，所述可视化单元还用于接收机器人与环境交互模块、机器人学习系统模块的数据流，将数据流进行解码处理，然后直接显示在屏幕上或者经由外设对接单元显示在外接显示设备上，将接收到的数据流传送给数据同步融合单元；所述交互控制单元还用于接收外设对接单元的控制命令数据，将所述控制命令数据发送给设备控制单元，同时传送给数据同步融合单元进行同步融合处理；接收第一账户操作单元发送过来的权限控制命令；所述数据同步融合单元用于接收可视化单元和交互控制单元的数据流和控制命令数据，在时间轴上进行同步融合处理，让数据流和控制命令数据保持同步，然后再发送给数据处理单元；所述第一账户操作单元用于账户注册，接收外设对接单元传来的设备信息，进行设备注册以及和账户绑定；以及基于账户权限控制交互控制单元对外发送数据的发送权限。

在本发明的一个技术方案中，所述机器人与环境交互模块不但包括第二账户操作单元、部署反馈验证单元、数据采集单元、设备控制单元还包括设备对接单元，如图4所示，所述设备对接单元用于连接外部设备，获取外部设备信息，所述交互硬件设备包括投影仪、显示器、XR设备、游戏外设。所述设备对接单元接收设备控制单元的设备控制命令，并发送控制命令控制目标外部设备，接收来自部署验证反馈单元发过来的机器人模型更新命令和数据，对机器人模型进行更新；接收连接的外部设备采集的数据，并将采集的数据发送给数据采集单元；所述第二账户操作单元还用于机器人试验环境账户注册，提交注册信息，接收来自设备对接单元获取的设备信息，提交信息给机器人学习系统模块进行审核，审核后通过与账户进行绑定，接收机器人学习系统模块的参与娱乐活动的普通账户信息，并发送参与娱乐活动的普通账户信息给设备控制单元进行权限控制；所述数据采集单元用于接收设备对接单元发采集的数据，进行滤波，编码，加密处理，再发送给机器人学习系统模块和人机交互模块。

在本发明的一个技术方案中，所述机器人学习系统模块不但包括账户管理单元、数据处理单元、学习训练单元和内容分发单元，还具有中央信息分析决策控制单元，如图3所示，所述中央信息分析决策控制单元机器人学习系统模块各单元发过来的待分析决策的数据，进行分析和决策处理，并把分析决策结果返回给机器人学习系统模块中的对应的单元。具体地：所述账户管理单元用于接收外部账户注册，登入和交易信息，以及对这些存在的账户进行管理，还用于将人机交互模块中提交的注册账户的信息和机器人与环境交互模块中提交的场景注册账户的信息账户信息传送给中央信息分析决策控制单元进行分析，并返分析结果，辅助账户管理，比如筛查异常账户，保障账户质量。所述数据处理单元接收人机交互模块、以及设备对接单元发过来的准备用于训练的数据，将数据传送至中央信息分析决策控制单元进行分析，返回决策结果，然后再依据决策结果进行过滤和批次组合，最终组合成符合要求的批次数据，再传给学习训练单元进行训练；所述学习训练单元接收数据处理单元的数据，输入机器人模型进行训练，将训练过程中产生参数及参数更新发送到实际任务下的机器人上进行部署测试，并返回反馈结果，然后再把反馈结果和其他训练相关信息发送给中央信息决策控制单元进行分析，返回决策结果，然后依据决策结果自动调整训练参数和流程，训练后的结果再进行测试验证再反馈，重复迭代直至机器人模型满足任务需求，完成训练过程；所述内容分发单元还用于接收外部视频流数据，采样送给中央信息决策控制单元进行分析和内容审核，返回审核结果，将通过审核的外部视频流数据分发到各个处于观赏模式的人机交互模块中。

本发明提供的方案具体实施过程为：机器人学习系统模块部署在云端服务器中，人机交互模块部署到PC或者移动设备的应用程序中，并把应用程序的安装包上传至互联网中，让普通用户可以轻松获取到应用。该应用可以在接入互联网后连上部署好机器人学习系统模块的云端服务器，进行账户注册，登入，浏览分发过来的内容资源等操作。把机器人与环境交互模块集成PC或者嵌入式盒子设备的应用程序中，可以利用现有通信技术对接各种硬件设备，包括机器人、相机、传感器、执行器等等，进行娱乐场景搭建。该应用程序接入互联网后可以连上部署好机器人学习系统模块的云端服务器，搭建娱乐场景的用户可以进行账户注册，登入，以及以内容资源的形式发布娱乐场景到云端服务器机器人学习系统模块中，再通过内容分发单元分发给感兴趣的普通用户使用的应用程序中的人机交互模块中的可视化单元，供普通用户浏览和选择参与。

普通用户通过账户操作单元付费购买投标权限，经过规则投标中标后获得控制权，获得控制权的用户可以是一个也可以是多个，获得控制权的用户可以通过用户使用的应用程序中的人机交互模块中的交互控制单元发送控制指令给机器人与环境交互模块中的设备控制单元，进而控制娱乐场景中的机器人或者设备，进而参与互动娱乐活动。

娱乐活动过程内容经过数据采集单元采集后，发送给服务端的机器人学习系统模块的内容分发单元，经过采样发送给中央信息分析决策控制单元分析审核通过后，以视频流方式分享到现有直播平台或者N个处于观赏模式的普通用户，吸引众多用户观赏或者参与。当机器人学习系统具有能够完成所需任务内容的数据量时，娱乐活动中设定以操控机器人完成任务的模式进行。

利用本技术方案提供的系统，在娱乐过程中机器人和传感器在娱乐场景中采集到的环境数据，游戏规则驱动下产生的额外标签数据，以及用户发送的控制命令数据经过人机交互模块的数据同步融合单元同步融合后发送至服务端的机器人学习系统模块的数据处理单元，经过过滤，预处理后，组合成批次数据，再发送给学习训练单元用于机器人模型的学习和训练。学习训练单元发送机器人模型数据给机器人与环境交互模块中的部署验证反馈单元直接部署智能模型到娱乐场景中的机器人本体上，进行自动化应用测试，获得数据采集单元返回的现场传感器数据或者观众反馈数据。中央信息决策单元基于反馈数据进行分析和训练方案决策，再发送给学习训练单元，调整训练参数和流程，该过程不断迭代进行，直到满足任务要求为止。

采用本发明的机器人学习系统，对救援机器人的训练，具体为：该场景设置为地震救灾场景，房间内各种桌椅柜子和杂物散乱倒地，部分桌椅接触地面的地方安装有可以远程控制的轮子，可以通过互联网被某个用户付费投标中标后获得控制权进行控制，从而改变地面部分倒地桌椅的位置，以加大或者降低机器人跨越障碍物的难度；设置挑战任务是让一个四足机器人以最短时间穿过这个房间，到达另一房间。愿意参加挑战的用户付费投标中标后即可获得机器人的控制权参与挑战，在规定时间内远程控制机器人跨越障碍完成任务才可以晋级下一轮挑战。在一定时间内，经过多轮挑战后，这一期比赛产生多档胜利者，获得丰厚奖励，丰厚奖励的经费来源可以是赞助商赞助的，场景内也布置了部分各赞助商的广告，或者直接是众多用户参与投标但是没有中标，事先约定不退投标费而积累的经费。比赛活动可以持续举行，让众多用户参与。比赛活动产生的环境感知数据和控制命令数据便可用于救援机器人的训练，让机器人获得在救灾场景下跨越复杂障碍物的能力。随着机器人学习到的跨越复杂障碍的能力越来越强，挑战场景也跟进设计得更复杂，通过半自动加远程人工辅助模式不断挑战复杂场景，让机器人不断学习和训练，越来越接近人类水平，直到满足救灾任务要求，即可停止该种场景挑战的比赛。

基于本方案的实施，可以以低成本获得带标签的机器人训练数据，用于机器人模型的学习和训练，从而推动机器智能进一步取得突破以期实现更多的落地应用。