基于增强现实的机器人操作方法、装置、设备和存储介质

技术领域

本申请属于智能机器人技术领域，尤其涉及一种基于增强现实的机器人操作方法、装置、设备和存储介质。

背景技术

随着机器人技术的发展，无论是在工业应用中还是日常生活中，智能机器人的应用日益增多。机器人在设计、制造以及应用的过程中，都会涉及测试、验证的环节。受限于机器人体积、重量以及场地等的限制，多数机器人的测试、验证环节会通过机器人仿真来实现。机器人仿真是指通过计算机对实际的机器人进行模拟的技术，通过仿真，可以在制造单机与生产线之前模拟出机器人实物，亦可以模拟出机器人实物在真实环境中的实际行为，例如抓取、运送物体等，从而缩短生产工期，避免不必要的返工。

然而，传统的机器人仿真在完全虚拟的环境下进行仿真作业，而虚拟环境无法很好地还原真实的环境，而且仿真的数据也无法充分地体现真实数据，在验证的真实性和准确性上存在较大的不足。

发明内容

本申请提供一种基于增强现实的机器人操作方法、装置、控制终端和计算机可读存储介质，提高了验证的效率，而且虚拟物体设置可以更加灵活，可以打破实体物体选择或者设置的局限性，大大提高了验证的灵活性和效率。

本申请第一方面提供了一种基于增强现实的机器人操作方法，应用于移动终端中，所述方法包括：

采集当前环境的真实环境数据，所述当前环境中包括实体机器人，根据所述真实环境数据生成增强现实场景；

加载所述增强现实场景并在显示界面上进行场景显示；

响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置生成虚拟物体，所述第一位置和由操作者对显示界面的第一操作行为确定；

与所述实体机器人建立数据连接；

响应操作者的第二操作行为，发送对应的第一操作指令至所述实体机器人，以指示所述实体机器人根据所述第一操作指令以及所述虚拟物体和实体机器人之间的相对位置信息执行对应的操作，其中，所述虚拟物体和实体机器人之间的相对位置信息为通过所述第一位置的位置信息以及实体机器人和移动终端之间的相对位置信息确定。

本申请第二方面提供了一种基于增强现实的机器人操作装置，所述装置包括：

数据采集模块，用于采集当前环境的真实环境数据，所述当前环境中包括实体机器人，根据所述真实环境数据生成增强现实场景；

数据加载模块，用于加载所述增强现实场景并在显示界面上进行场景显示；

虚拟物体生成模块，用于响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置生成虚拟物体，所述第一位置和由操作者对显示界面的第一操作行为确定；

数据连接模块，用于与所述实体机器人建立数据连接；

指令发送模块，用于响应操作者的第二操作行为，发送对应的第一操作指令至所述实体机器人，以指示所述实体机器人根据所述第一操作指令以及所述虚拟物体和实体机器人之间的相对位置信息执行对应的操作，其中，所述虚拟物体和实体机器人之间的相对位置信息为通过所述第一位置的位置信息以及实体机器人和移动终端之间的相对位置信息确定。

本申请第三方面提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行计算机程序时实现以下方法：

采集当前环境的真实环境数据，所述当前环境中包括实体机器人，根据所述真实环境数据生成增强现实场景；

加载所述增强现实场景并在显示界面上进行场景显示；

响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置生成虚拟物体，所述第一位置和由操作者对显示界面的第一操作行为确定；

与所述实体机器人建立数据连接；

响应操作者的第二操作行为，发送对应的第一操作指令至所述实体机器人，以指示所述实体机器人根据所述第一操作指令以及所述虚拟物体和实体机器人之间的相对位置信息执行对应的操作，其中，所述虚拟物体和实体机器人之间的相对位置信息为通过所述第一位置的位置信息以及实体机器人和移动终端之间的相对位置信息确定。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下方法的步骤：

采集当前环境的真实环境数据，所述当前环境中包括实体机器人，根据所述真实环境数据生成增强现实场景；

加载所述增强现实场景并在显示界面上进行场景显示；

响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置生成虚拟物体，所述第一位置和由操作者对显示界面的第一操作行为确定；

与所述实体机器人建立数据连接；

响应操作者的第二操作行为，发送对应的第一操作指令至所述实体机器人，以指示所述实体机器人根据所述第一操作指令以及所述虚拟物体和实体机器人之间的相对位置信息执行对应的操作，其中，所述虚拟物体和实体机器人之间的相对位置信息为通过所述第一位置的位置信息以及实体机器人和移动终端之间的相对位置信息确定。

上述基于增强现实的机器人操作方法、装置、计算机设备及存储介质，移动终端先采集当前环境的真实环境数据，所述当前环境中包括实体机器人，根据所述真实环境数据生成增强现实场景；并加载所述增强现实场景并在显示界面上进行场景显示；进一步地，响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置生成虚拟物体，所述第一位置和由操作者对显示界面的第一操作行为确定；与所述实体机器人建立数据连接；响应操作者的第二操作行为，发送对应的操作指令至所述实体机器人，以指示所述实体机器人根据所述操作指令以及所述虚拟物体和实体机器人之间的相对位置信息执行对应的操作。通过上述操作方法，就可以对实体机器人的功能、内置算法、运行轨迹是否合理等进行验证，不需要设置实际的物体配合实体机器人进行验证，提高了验证的效率，而且虚拟物体设置可以更加灵活，可以打破实体物体选择或者设置的局限性(不易搬动、位置的局限等)，大大提高了验证的灵活性和效率。而且，由于本实施例的技术方案的虚拟物体处在真实环境中，实体机器人的操控也是在真实环境下进行，因此，该可以保证验证过程更加直观、逼真；另一方面，本实施例的技术方案通过移动终端就可以实现，由于移动终端(例如，智能手机等)已经普及，可以随时随地实现本技术方案，因此，本申请技术方案的即时性或实时性得以增强。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中基于增强现实的机器人操作方法的一应用环境示意图；

图2是本发明一实施例中基于增强现实的机器人操作方法的一示例图；

图3是本发明一实施例中基于增强现实的机器人操作方法的另一示例图；

图4是本发明一实施例中基于增强现实的机器人操作方法的另一示例图；

图5是本发明一实施例中基于增强现实的机器人操作方法的另一示例图；

图6是本发明一实施例中基于增强现实的机器人操作方法的另一示例图；

图7是本发明一实施例中基于增强现实的机器人操作方法的另一示例图；

图8是本发明一实施例中基于增强现实的机器人操作方法的另一示例图；

图9是本发明一实施例中基于增强现实的机器人操作装置的一示意图；

图10是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

为了说明本申请的技术方案，下面通过具体实施例来进行说明。

本发明实施例提供的基于增强现实的机器人操作方法，可应用在如图1的应用环境中，包括移动终端和实体机器人。其中，该移动终端可以但不限于为各种智能手机、平板电脑和其他便携式可穿戴设备等。

在一实施例中，如图2所示，提供一种基于增强现实的机器人操作方法，以该方法应用在图1中的移动终端为例进行说明，包括如下步骤：

S201：采集当前环境的真实环境数据，所述当前环境中包括实体机器人，根据所述真实环境数据生成增强现实场景。

当前环境中包括实体机器人，该实体机器人可以为各种机械臂、智能机器人等。在该步骤中，在当前环境中包括了实体机器人，操作者可以通过移动终端进行对当前环境的真实环境数据的采集，具体地，可以通过移动终端中的摄像头进行该真实环境数据的采集。可以理解地，操作者可以对当前环境的具体的采集范围进行自定义，只要采集的范围内包括该实体机器人即可。

移动终端进行真实环境数据的采集。可选地，该移动终端可以通过采集视频数据或者图像数据的方式实现对真实环境数据的采集。并且根据该真实环境数据生成增强现实场景。根据真实环境数据生成增强现实场景的过程可以通过移动终端自身实现，或者移动终端将采集的真实环境数据发送至特定的终端或者服务器之后，通过该特定的终端或者服务器生成增强现实场景，移动终端再接收该增强现实场景的相关数据，以供后续在显示界面进行显示。在一个具体实施方式中，所述根据所述真实环境数据生成增强现实场景包括：发送所述真实环境数据至第三终端或者服务器，接收所述第三终端或者服务器返回的增强现实场景，所述增强现实场景为第三终端或者服务器根据所述真实环境数据生成。该第三终端可以为个人计算机、其他移动终端或者其他可以具备实现对应功能的终端。

其中，根据该真实环境数据生成增强现实场景可以包括采用跟踪注册技术将测帧数环境中物体的特征点以及轮廓信息，跟踪物体特征点自动生成三维坐标信息。可选地，跟踪注册方法可以为基于跟踪器的注册方法、基于机器视觉跟踪注册方法、基于无线网络的混合跟踪注册技术等。

可以理解地，在生成该增强现实场景中，可以构建第一坐标系，第一坐标系可以为三维坐标系，示例性地，可以以移动终端采集摄像头位置作为坐标原点，建立该第一坐标系，真实映射出采集的真实环境(当前环境)中每一物体和该坐标原点的相对位置。

S202：加载所述增强现实场景并在显示界面上进行场景显示。

通过移动终端的显示界面的场景显示还原采集到的真实环境，以供后续的交互。可选地，还可以在第三方的显示界面上进行场景显示，该移动终端和一第三方显示设备建立连接，即可以在该第三方显示设备进行场景显示。可以理解地，可以在移动终端的显示界面以及该第三方显示设备的显示界面上同时进行场景显示。即在显示界面上进行场景显示包括：在所述移动终端的显示界面上进行场景显示，或者，在第三方显示设备的显示界面上进行场景显示，或者，在所述移动终端的显示界面以及在第三方显示设备的显示界面上进行场景显示。

在一个具体实施方式中，若在第三方显示设备的显示界面上进行场景显示，则该方法还包括：在移动终端的显示界面上展示操作界面，以供操作者进行交互。如此，操作者可以通过移动终端的操作界面进行操控，并且通过第三方显示设备的显示界面进行场景显示。

在一个具体实施方式中，若在在所述移动终端的显示界面上进行场景显示，则该方法还包括：在移动终端的显示界面上展示操作界面或者操作按键。其中，该操作界面或者操作按键可以和显示的场景分布在显示界面上的不同区域，或者，该操作界面或者操作按键可以和显示的场景在显示界面上有部分交叠，或者，该操作界面或者操作按键可以内嵌或者浮置在显示的场景的上方。

S203：响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置生成虚拟物体，所述第一位置和由操作者对显示界面的第一操作行为确定。

操作者可以和移动终端进行交互。其中，第一操作行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第一操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地，第一操作行为也可以为上述不同操作方式的组合。例如，第一操作行为可以包括多个动作，可以包括对显示界面的点击操作以及语音操作等。

移动终端可以预先生成或者内置一些虚拟物体模型，然后通过对移动终端的显示界面的操作选定其中一个虚拟物体。操作者可以从一个物体列表中选择一个或者多个虚拟物体，或者通过输入对应的名称、指令、编号等确定一个或者多个虚拟物体。进一步地，该虚拟物体也可以从显示的场景中存在的物体的指定来确定，还可以从显示的场景中指定了虚拟物体之后，再确定该虚拟物体的位置，从而将该显示的场景中被指定的物体移动到第一位置处。因此，该虚拟物体可以为从预设的虚拟物体列表/清单中选取，也可以为从当前显示的场景中指定。

该步骤还包括确定该选定的虚拟物体在显示界面上显示的场景中的具体位置，即第一位置，该第一位置指示该虚拟物体在显示的场景中的具体位置。示例性地，操作者可以点击显示界面上的一个具体位置，确定虚拟物体的放置位置，或者，操作者可以通过参数输入的方式确定该具体位置，例如，输入一个坐标点来确定该具体位置。或者，在显示界面上的显示场景中预先划分为多个不同区域/位置，操作者从中选取一个区域/位置作为第一位置。

可以理解地，该第一操作行为可以包括多个操作动作，即操作者可以通过一个或者多个操作动作确定待显示的虚拟物体，再通过一个或者多个操作动作确定第一位置。其中，可以先确定虚拟物体再确定第一位置，也可以先确定第一位置再确定虚拟物体，在此不做具体限制。

S204：与所述实体机器人建立数据连接。

该移动终端和实体机器人建立数据连接可以在步骤S201-S203之前，也可以在步骤S201-S203之后，也可以在步骤S201-S203执行的过程中完成。移动终端可以通过无线网络连接的方式和实体机器人建立连接，具体地，可以通过蓝牙连接、局域网或者其他无线连接的方式。移动终端也可以通过扫描设置在实体机器人上的二维码建立和实体机器人的连接。如此，该移动终端即可以实现和该实体机器人之间的交互。

S205：响应操作者的第二操作行为，发送对应的第一操作指令至所述实体机器人，以指示所述实体机器人根据所述第一操作指令以及所述虚拟物体和实体机器人之间的相对位置信息执行对应的操作，其中，所述虚拟物体和实体机器人之间的相对位置信息为通过所述第一位置的位置信息以及实体机器人和移动终端之间的相对位置信息确定。

其中，第二操作行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第二操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地，第二操作行为也可以为上述不同操作方式的组合。例如，第二操作行为可以包括多个动作，可以包括对显示界面的点击操作以及语音操作等。

该对应的第一操作指令为与操作者的第二操作行为对应的指令，该第一操作指令指示实体机器人的移动。示例性地，该第一操作指令可以指示该实体机器人移动至虚拟物体处，指示该实体机器人抓取该虚拟物体，指示该实体机器人抓取该虚拟物体移动至其他位置等。可以理解地，若第二操作行为包括多个动作，则可以对应生成多个操作指令，以指示实体机器人完成多个对应的操作。

所述虚拟物体和实体机器人之间的相对位置信息为通过所述第一位置的位置信息以及实体机器人和移动终端之间的相对位置信息确定。其中，实体机器人和移动终端之间的相对位置信息可以在移动终端采集当前环境的真实环境数据的时候确定，或者，在与所述实体机器人建立数据连接之后确定。

示例性地，操作者通过点击预先生成在显示界面上的几个可选项实现对实体机器人的远程操作，移动终端响应操作者的选择操作来生成对应的第一操作指令发送至实体机器人。实体机器人中预先内置了操作算法，通过所述操作指令以及所述虚拟物体和实体机器人之间的相对位置信息，实体机器人就可以根据预设的操作算法来进行对应的操作。例如，实体机器人获悉虚拟物体的位置之后，若接收到的操作指令是移动到虚拟物体处，即可以根据预设的操作算法来进行移动，以移动至虚拟物体对应的位置处。

在本实施例中，移动终端先采集当前环境的真实环境数据，所述当前环境中包括实体机器人，根据所述真实环境数据生成增强现实场景；并加载所述增强现实场景并在显示界面上进行场景显示；进一步地，响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置生成虚拟物体，所述第一位置和由操作者对显示界面的第一操作行为确定；与所述实体机器人建立数据连接；响应操作者的第二操作行为，发送对应的操作指令至所述实体机器人，以指示所述实体机器人根据所述操作指令以及所述虚拟物体和实体机器人之间的相对位置信息执行对应的操作。通过上述操作方法，就可以对实体机器人的功能、内置算法、运行轨迹是否合理等进行验证，不需要设置实际的物体配合实体机器人进行验证，提高了验证的效率，而且虚拟物体设置可以更加灵活，可以打破实体物体选择或者设置的局限性(不易搬动、位置的局限等)，大大提高了验证的灵活性和效率。而且，由于本实施例的技术方案的虚拟物体处在真实环境中，实体机器人的操控也是在真实环境下进行，因此，该可以保证验证过程更加直观、逼真；另一方面，本实施例的技术方案通过移动终端就可以实现，由于移动终端(例如，智能手机等)已经普及，可以随时随地实现本技术方案，因此，本申请技术方案的即时性或实时性得以增强。

在一个实施例中，如图3所示，在所述发送对应的操作指令至所述实体机器人之前，该基于增强现实的机器人操作方法还包括：

S301：获取所述实体机器人和移动终端之间的相对位置信息。

其中，所述实体机器人和移动终端之间的相对位置信息可以在移动终端采集当前环境的真实环境数据的时候确定，或者，在与所述实体机器人建立数据连接之后确定。示例性地，若在生成该增强现实场景中，构建了第一坐标系，则可以通过标示该实体机器人在第一坐标系中的位置来确定实体机器人和移动终端之间的相对位置信息。或者，移动终端在和实体机器人建立数据连接之后通过数据交互获取该相对位置信息。

S302：通过所述第一位置的位置信息以及实体机器人和移动终端之间的相对位置信息确定所述虚拟物体和实体机器人之间的相对位置信息。

在该步骤中，通过第一位置的位置信息以及机器人和移动终端之间的相对位置信息即可以确定虚拟物体和实体机器人之间的相对位置信息。

示例性地，以预先建立了第一坐标系为例，第一位置的位置信息为P

具体地，将实体机器人和移动终端之间的相对位置信息P

在本实施例中，移动终端通过获取所述实体机器人和移动终端之间的相对位置信息之后，与第一位置的位置信息共同确定虚拟物体和实体机器人之间的相对位置信息，更好地保证了后续操作的准确性。

在一个实施例中，如图4所示，所述响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置生成虚拟物体，包括：

S401：响应操作者的第一触发行为，确定待显示的虚拟物体信息。

其中，该第一触发行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第一操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。示例性地，该第一触发行为可以为对显示界面上显示的虚拟物体列表中的选取，例如，通过点击、长按或者双击等方式从该虚拟物体列表中确定待显示的虚拟物体信息。或者，操作者通过预先设定的手势或者语音确定一个具体的虚拟物体，可以预先将一个特定的手势或者语音绑定对应的虚拟物体，如此，即可以通过手势或者语音确定待显示的虚拟物体信息。该待显示的虚拟物体信息可以为指示该虚拟物体的名称、编号或者其他指示信息。

S402：响应操作者的第二触发行为，确定虚拟物体在显示的场景中的位置信息。

其中，该第一触发行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第一操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。示例性地，操作者可以点击显示界面上的一个具体位置，确定虚拟物体的放置位置，或者，操作者可以通过参数输入的方式确定该具体位置，例如，输入一个坐标点来确定该具体位置。或者，在显示界面上的显示场景中预先划分为多个不同区域/位置，操作者从中选取一个区域/位置，以此确定虚拟物体在显示的场景中的位置信息。可选地，该位置信息可以通过坐标的形式体现。

S403：根据所述待显示的虚拟物体信息和待显示的虚拟物体在所述显示的场景中的位置信息，在显示界面上的第一位置加载所述虚拟物体信息对应的虚拟物体，所述第一位置由所述待显示的虚拟物体在所述显示的场景中的位置信息确定。

具体地，根据待显示的虚拟物体信息确定对应的虚拟物体，加载该虚拟物体模型，并且在显示界面上的第一位置加载该虚拟物体。该第一位置由所述待显示的虚拟物体在所述显示的场景中的位置信息确定。

在本实施例中，通过分别响应操作者的第一触发行为和第二触发行为从而分别确定虚拟物体以及对应的第一位置，以更好地在显示界面上显示的场景中加载该虚拟物体。

在一个实施例中，如图5所示，所述响应操作者对显示界面的第一触发行为，确定待显示的虚拟物体信息，包括：

S501：响应操作者对显示界面的第一触发行为，确定所述第一触发行为指示的位置信息，将所述显示的场景中和所述第一触发行为指示的位置信息对应的物体确定为目标物体。

S502：将所述目标物体对应的物体信息确定为待显示的虚拟物体信息。

在显示界面上显示的场景中，包括了若干物体，该实施例中通过操作者对显示界面的第一触发行为，从而指定显示的场景中的一个物体作为虚拟物体。具体地，通过该第一触发行为指示的位置信息来确定目标物体，将显示的场景中和所述第一触发行为指示的位置信息对应的物体确定为目标物体。和第一触发行为指示的位置信息对应的物体可以为和第一触发行为指示的位置信息最接近的物体。

在本实施例中，通过将显示的场景中的物体确定为虚拟物体，提高了虚拟物体确定的便利，不需要提前或者预先建立虚拟物体模型，进一步提高了该方法的验证效率。

在一个实施例中，所述实体机器人上设置有二维码标签。该二维码标签可以设置在实体机器人上，具体地，该二维码标签可以内嵌在该实体机器人上，也可以贴附在该实体机器人上。进一步地，若该实体机器人包括一显示界面，则该二维码标签可以显示在该显示界面上。

在该实施例中，如图6所示，所述与所述实体机器人建立数据连接，包括：

S601：从真实环境数据中获取包括有设置在实体机器人上的二维码标签图像的目标图像帧。

在移动终端采集当前的真实环境数据中，进行目标图像帧的获取。可选地，可以按照预设帧率进行图像分帧，然后从分帧后的图像中识别出包含有该二维码标签图像的图像，作为目标图像帧。识别二维码标签可以通过图像识别技术实现，在此不再赘述。

S602：解析所述二维码标签的信息，与所述实体机器人建立数据连接。

在获取到包括有设置在实体机器人上的二维码标签图像的目标图像帧之后，就可以解析该二维码标签的信息，以和所述实体机器人建立数据连接。

在本实施例中，通过从真实环境数据中获取包括有设置在实体机器人上的二维码标签图像的目标图像帧，并且解析所述二维码标签的信息，和所述实体机器人建立数据连接。可以便捷地实现和实体机器人建立数据连接，不需要额外地操作即可方便地和实体机器人建立数据连接，提高了操作的便捷性。

在一个实施例中，如图7所示，在所述发送对应的第一操作指令至所述实体机器人之后，该基于增强现实的机器人操作方法还包括：

S701：监测所述实体机器人的运行轨迹，根据所述运行轨迹来生成第二操作指令。

在发送了操作指令至所述实体机器人之后，该实体机器人会做出对应的行为，例如移动，或者该实体机器人中的部分部件的移动，例如，机械臂的移动。

该实体机器人的运行轨迹可以通过移动终端的摄像头进行采集得到，或者，通过实体机器人和移动终端之间的数据交互获取，即实体机器人发送指示其运行轨迹的数据至移动终端，移动终端即可以确定该实体机器人的运行轨迹。

其中，该监测时机可以为定时检测、实时监测或者在特定的指令下触发的监测。该特定的指令可以为操作者主动触发，或者操作者间接触发，例如，操作者可以通过预定的操作直接触发对该第一相对位置关系的监测，或者操作者指示实体机器人在进行特定的动作时，移动终端自动监测该第一相对位置关系。例如，操作者的第二操作行为指示实体机器人移动至虚拟物体的左侧，则此时移动终端可以在实体机器人移动过程中定时或者实时监测所述实体机器人的运行轨迹。

移动终端根据运行轨迹生成第二操作指令，其中，第二操作指令指示显示的场景中虚拟机器人的运动。

在一个实施方式中，可以预先建立一第二坐标系，该第二坐标系的坐标原点可以为该实体机器人中的一固定位置，如此，该实体机器人的运行轨迹可以通过该实体机器人中不同节点(例如：关节)在该第二坐标系中的位置确定。该实体机器人定时或者该有具体的变更时发送各个节点的位置信息至移动终端，移动终端在接收到实体机器人各个节点的位置信息之后，进行两个坐标系之间的坐标转换，即可以确定虚拟机器人最新的位置。在该实施方式中，实时监测所述实体机器人的运行轨迹可以包括：接收所述实体机器人发送的关节点坐标数据，所述关节点坐标数据指示所述实体机器人各个关节点在第二坐标系中的位置，所述第二坐标系为根据实体机器人中一固定位置为原点建立；将所述关节点坐标数据进行从第二坐标系到第一坐标系的坐标变换，根据坐标变换后的关节带你坐标数据生成对应的第二操作指令。

S702：根据所述第二操作指令操作显示界面中的虚拟机器人进行对应的运动，实现对实体机器人的动作跟踪。

移动终端根据第二操作指令操作显示界面中的虚拟机器人运动，实现对实体机器人的动作跟踪。

在该实施例中，通过实施监测实体机器人的运行轨迹，以操作显示界面中的虚拟机器人跟踪实体机器人的运行。如此，即可以通过观察显示界面来验证实体机器人的功能、内置算法、运行轨迹等，进一步实现了验证的便捷、高效。

在一个实施例中，如图8所示，在所述根据所述第二操作指令操作显示界面中的虚拟机器人进行对应的运动之后，该基于增强现实的机器人操作方法还包括：

S801：监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系，和/或，监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息，所述目标部位根据所述第一操作指令确定。

其中，目标部位可以为虚拟机器人中的任一部位，该目标部位根据所述第一操作指令确定，通过第一操作指令确定要监测的目标部位，例如，若第一操作指令为操作机器人的机械臂位于所述虚拟物体的上方，则该目标部位为机械臂中的一个或者多个预设位置。若第一操作指令为移动所述机器人至所述虚拟物体左侧，则该目标部位可以为指示该机器人底座(足部)的一个或者多个预设位置。

其中，该监测时机可以为定时检测、实时监测或者在特定的指令下触发的监测。该特定的指令可以为操作者主动触发，或者操作者间接触发，例如，操作者可以通过预定的操作直接触发对该第一相对位置关系的监测，或者操作者指示虚拟机器人在进行特定的动作时，移动终端自动监测该第一相对位置关系。例如，操作者的第二操作指令指示虚拟机器人移动至虚拟物体的左侧，则此时移动终端可以在虚拟机器人移动过程中定时或者实时监测所述第一相对位置关系和/或第二实时位置信息。

可选地，第一相对位置关系可以为虚拟机器人的目标部位和所述虚拟物体之间的距离。第二实时位置信息为指示虚拟机器人的目标部位在显示的场景中的位置的信息，示例性地，可以为虚拟机器人的目标部位在第一坐标系中的坐标信息。

S802：若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系，则触发报警事件。

该标准位置关系为预先设置或者定义的位置衡量标准。该标准位置关系具体指示了在不同第一操作指令下虚拟机器人和虚拟物体的合理位置关系，和/或，在不同第一操作指令下虚拟机器人在显示的场景中的合理位置关系。

示例性地，若第一操作指令为移动虚拟机器人至虚拟物体的左侧，则该标准位置关系可以为：虚拟机器人执行对应的指令之后，其目标部位位于虚拟物体左侧的预设范围内。若该虚拟机器人的目标部位不位于虚拟物体左侧的预设范围内，则可以认定该第一相对位置关系不符合预设的标准位置关系。

示例性地，若第一操作指令为移动虚拟机器人至虚拟物体的左侧，该标准位置关系还可以包括：该虚拟机器人的目标部位的第二实时位置不和显示的场景中任一物体的位置存在交叠。若虚拟机器人的目标部位的第二实时位置和显示的场景中任一物体的位置存在交叠。则可以认定该第二实时位置信息不符合预设的标准位置关系。

该报警事件可以为不同的触发提示方式，可以通过声音、文字、振动的方式体现。或者该报警事件可以为发送提示信息至对应的一终端。

在本实施例中，通过监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系，和/或，监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息，所述目标部位根据所述操作指令确定；若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系，则触发报警事件。通过本实施例实现了对机器人的自动监控，当显示界面中虚拟机器人的运行出现异常(运行轨迹异常，碰撞到显示场景中的其他物体，或者没有准确运行到虚拟物体所在位置、不恰当的抓取等)，即可以触发报警，实现了智能监控。

在一个实施例中，提供一种基于增强现实的机器人操作方法，包括：

移动终端采集当前环境的真实环境数据，所述当前环境中包括实体机器人，根据所述真实环境数据生成增强现实场景。

移动终端加载所述增强现实场景并在显示界面上进行场景显示。

响应操作者的第一操作行为，移动终端在显示界面上显示的场景中的第一位置生成虚拟物体，所述第一位置和由操作者对显示界面的第一操作行为确定。

移动终端与所述实体机器人建立数据连接。

响应操作者的第二操作行为，移动终端发送对应的第一操作指令至所述实体机器人。

实体机器人根据所述第一操作指令以及所述虚拟物体和实体机器人之间的相对位置信息执行对应的操作，其中，所述虚拟物体和实体机器人之间的相对位置信息为通过所述第一位置的位置信息以及实体机器人和移动终端之间的相对位置信息确定。

具体地，上述各个步骤的具体内容可以参见上述实施例中的具体实现方式，在此不再赘述。

在一实施例中，提供一种基于增强现实的机器人操作装置，该基于增强现实的机器人操作装置与上述实施例中基于增强现实的机器人操作方法一一对应。如图9所示，该基于增强现实的机器人操作装置包括数据采集模块901、数据加载模块902、虚拟物体生成模块903、数据连接模块904和指令发送模块905。各功能模块详细说明如下：

数据采集模块901，用于采集当前环境的真实环境数据，所述当前环境中包括实体机器人，根据所述真实环境数据生成增强现实场景。

数据加载模块902，用于加载所述增强现实场景并在显示界面上进行场景显示。

虚拟物体生成模块903，用于响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置生成虚拟物体，所述第一位置和由操作者对显示界面的第一操作行为确定。

数据连接模块904，用于与所述实体机器人建立数据连接。

指令发送模块905，用于响应操作者的第二操作行为，发送对应的第一操作指令至所述实体机器人，以指示所述实体机器人根据所述第一操作指令以及所述虚拟物体和实体机器人之间的相对位置信息执行对应的操作，其中，所述虚拟物体和实体机器人之间的相对位置信息为通过所述第一位置的位置信息以及实体机器人和移动终端之间的相对位置信息确定。

优选地，该基于增强现实的机器人操作装置还包括位置信息获取模块和位置信息确定模块：

位置信息获取模块，用于获取所述实体机器人和移动终端之间的相对位置信息。

位置信息确定模块，用于通过所述第一位置的位置信息以及实体机器人和移动终端之间的相对位置信息确定所述虚拟物体和实体机器人之间的相对位置信息。

优选地，虚拟物体生成模块903包括物体信息确定单元、位置信息确定单元和虚拟物体加载单元。

物体信息确定单元，用于响应操作者的第一触发行为，确定待显示的虚拟物体信息。

位置信息确定单元，用于响应操作者的第二触发行为，确定虚拟物体在显示的场景中的位置信息。

虚拟物体加载单元，用于根据所述待显示的虚拟物体信息和待显示的虚拟物体在所述显示的场景中的位置信息，在显示界面上的第一位置加载所述虚拟物体信息对应的虚拟物体，所述第一位置由所述待显示的虚拟物体在所述显示的场景中的位置信息确定。

优选地，物体信息确定单元包括位置信息确定子单元和物体信息确定子单元：

位置信息确定子单元，用于响应操作者对显示界面的第一触发行为，确定所述第一触发行为指示的位置信息，将所述显示的场景中和所述第一触发行为指示的位置信息对应的物体确定为目标物体；

物体信息确定子单元，用于将所述目标物体对应的物体信息确定为待显示的虚拟物体信息。

优选地，所述实体机器人上设置有二维码标签。数据连接模块904包括图像帧获取单元和数据连接单元：

图像帧获取单元，用于从真实环境数据中获取包括有设置在实体机器人上的二维码标签图像的目标图像帧；

数据连接单元，用于解析所述二维码标签的信息，与所述实体机器人建立数据连接。

优选地，该基于增强现实的机器人操作装置还包括实时监测模块和指示模块：

监测模块，用于监测所述实体机器人的运行轨迹，根据所述运行轨迹来生成第二操作指令；

指示模块，用于根据所述第二操作指令操作显示界面中的虚拟机器人进行对应的运动，实现对实体机器人的动作跟踪。

优选地，该基于增强现实的机器人操作装置还包括位置监测模块和报警触发模块：

位置监测模块，用于监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系，和/或，监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息，所述目标部位根据所述操作指令确定；

报警触发模块，用于若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系，则触发报警事件。

关于基于增强现实的机器人操作装置的具体限定可以参见上文中对于基于增强现实的机器人操作方法的限定，在此不再赘述。上述基于增强现实的机器人操作装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是移动终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现上述实施例中的一种基于增强现实的机器人操作方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的一种基于增强现实的机器人操作方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的一种基于增强现实的机器人操作方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/控制终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/控制终端实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，机器人仿真方法的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。