用于协同控制多台机器人的控制模式动态调整方法和装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种用于协同控制多台机器人的控制模式动态调整方法和装置。

背景技术

市面现有的机器人远程人工控制系统可以允许客服人员通过语音或文字等形式对机器人进行声音和动作指令控制。但大部分系统仅支持一名客服人员控制一台机器人，人力成本和资源利用率无法大幅降低，系统效率有待提高。若采用多台设备并发控制的话，存在如下问题：

当多台设备同时被客户问答呼叫时，现有系统设计无法为客服人员提供智能辅助手段，导致客服人员不能兼顾并行控制多台设备。

发明内容

针对现有技术中的问题，本发明提供一种用于协同控制多台机器人的控制模式动态调整方法和装置、电子设备以及计算机可读存储介质，能够至少部分地解决现有技术中存在的问题。

为了实现上述目的，本发明采用如下技术方案：

第一方面，提供一种用于协同控制多台机器人的控制模式动态调整方法，包括：

获取多台机器人上传的实时交互数据；

根据所述实时交互数据以及历史交互数据分析当前处于服务状态的机器人数量以及各机器人的业务特征参数；

根据各机器人的业务特征参数判断对应的响应级别；

根据当前处于服务状态的机器人数量以及各机器人的响应级别调整控制中心的客服人员操作界面上各机器人对应的控制界面。

进一步地，所述根据当前处于服务状态的机器人数量以及各机器人的响应级别调整控制中心的客服人员操作界面上各机器人对应的控制界面，包括：

根据当前处于服务状态的机器人数量以及各机器人的响应级别获取各机器人的显示操作级别；

根据所述显示操作界别调整控制中心的客服人员操作界面上各机器人对应的控制界面。

进一步地，所述显示操作级别包括：自动模式以及大杯模式、中杯模式、小杯模式；

其中，自动模式无人工控制权限；大杯模式、中杯模式、小杯模式对应控制界面大小不同、功能权限不同。

进一步地，所述业务特征参数包括：业务紧急程度、业务复杂度、业务优先级、问答置信度、问答交互频次以及客户业务量。

进一步地，所述根据各机器人的业务特征参数判断对应的响应级别，包括：

按照预设系数对所述业务紧急程度、所述业务复杂度、所述业务优先级、所述问答置信度、所述问答交互频次以及所述客户业务量进行加权计算得到对应的响应级别。

进一步地，用于协同控制多台机器人的控制模式动态调整方法还包括：

对各机器人上传的实时交互数据进行语义分析；

根据语义分析结果向对应机器人发送反馈信息。

进一步地，所述根据各机器人的业务特征参数判断对应的响应级别之后，还包括：

判断各机器人的响应级别是否发生变化；

若是，将变化信息通过文字或振动形式反馈给客服人员。

第二方面，提供一种用于协同控制多台机器人的控制模式动态调整装置，包括：

实时数据获取模块，获取多台机器人上传的实时交互数据；

数据解析模块，根据所述实时交互数据以及历史交互数据分析当前处于服务状态的机器人数量以及各机器人的业务特征参数；

响应级别判断模块，根据各机器人的业务特征参数判断对应的响应级别；

控制界面调整模块，根据当前处于服务状态的机器人数量以及各机器人的响应级别调整控制中心的客服人员操作界面上各机器人对应的控制界面。

第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的用于协同控制多台机器人的控制模式动态调整方法的步骤。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的用于协同控制多台机器人的控制模式动态调整方法的步骤。

本发明提供的用于协同控制多台机器人的控制模式动态调整方法和装置，适于人工智能领域，该方法包括：获取多台机器人上传的实时交互数据；根据所述实时交互数据以及历史交互数据分析当前处于服务状态的机器人数量以及各机器人的业务特征参数；根据各机器人的业务特征参数判断对应的响应级别；根据当前处于服务状态的机器人数量以及各机器人的响应级别调整控制中心的客服人员操作界面上各机器人对应的控制界面，通过采用上述技术方案，基于当前处于服务状态的机器人数量以及根据各机器人的业务特征参数得到的响应级别自动调整控制中心的客服人员操作界面上各机器人对应的控制界面，为客服人员提供智能辅助手段，帮助客服人员兼顾并行控制多台设备。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中的应用场景架构示意图；

图2是本发明实施例中的用于协同控制多台机器人的控制模式动态调整方法的流程示意图一；

图3示出了本发明实施例中的步骤S400的具体步骤；

图4是本发明实施例中的用于协同控制多台机器人的控制模式动态调整方法的流程示意图二；

图5是本发明实施例中的用于协同控制多台机器人的控制模式动态调整方法的流程示意图三；

图6举例说明了本发明实施例中的一种一对多远控模式智能动态调整技术逻辑图；

图7示出了本发明实施例中一种大中小杯界面在人工干预模式下的系统智能建议切换逻辑图；

图8示出了本发明实施例中一种“大杯”界面原型设计线框图；

图9示出了本发明实施例中一种“中杯、小杯”原型线框图；

图10示出了本发明实施例中一种线框图的触摸区域以及视频通信界面设计图；

图11示出了本发明实施例中一种“远程人机协同控制系统”解决方案流程图；

图12示出了本发明实施例中一种“大杯”系统demo界面图；

图13示出了本发明实施例中一种“中杯、小杯”系统demo界面图；

图14示出了本发明实施例中一种“两个中杯”系统demo界面图；

图15示出了本发明实施例中一种“一个中杯”系统demo界面图；

图16示出了本发明实施例中一种左侧划出添加控制多台机器人的demo界面图；

图17是本发明实施例中的用于协同控制多台机器人的控制模式动态调整装置的结构框图；

图18为本发明实施例电子设备的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

现有技术中，当多台设备同时被客户问答呼叫时，现有系统设计无法为客服人员提供智能辅助手段，导致客服人员不能兼顾并行控制多台设备。

为至少部分解决上述技术问题，本发明实施例提供了一种同时控制多台远程机器人的系统，使之成为智能网点中机器人设备高效远程控制平台。该系统允许客服人员控制多台机器人智能机器人为客户提供业务问答对话、多机器人协同服务、轻业务调度、智能机具调度等工行智能机器人全功能服务。并为远程客服人员的无感参与提供了多设备独立AI自动辅助功能。

图1为本发明实施例中的应用场景架构示意图；如图1所示，多个机器人 B1～B4，甚至更多，用于为客户提供服务。客户1与机器人B1交互，通过机器人 B1实现业务处理，比如咨询业务、办理业务等，客户2与机器人B2交互，客户3 与机器人B3交互，机器人B4当前处于空闲状态，服务器S1与各个机器人通过无线方式交互，比如蓝牙、WIFI、移动无线通信等，服务器接收到各个机器人的数据后，执行本发明实施例提供的用于协同控制多台机器人的控制模式动态调整方法，以便基于当前处于服务状态的机器人数量以及根据各机器人的业务特征参数得到的响应级别自动调整控制中心的客服人员操作界面上各机器人对应的控制界面，控制界面由控制中心显示器M1显示，M1可以是触摸屏显示器，客服人员通过该显示器监控并控制各个机器人。比如业务简单，机器人能够根据客户的输入高精度匹配对应的回答时，不需要客服人员人工参与，则无需在控制中心的操作界面上显示该机器人的控制画面，当客户当前通过机器人办理的业务的业务复杂度高时，需要客服人员参与，此时，可以将控制中心的操作界面上该机器人的控制画面放大显示，当客户当前通过机器人办理的业务的业务优先级较高时，需要客服人员重点关注，控制中心的操作界面上该机器人的控制画面适中显示，以此为客服人员提供智能辅助手段，帮助客服人员兼顾并行控制多台设备。

图2是本发明实施例中的用于协同控制多台机器人的控制模式动态调整方法的流程示意图一；如图2所示。该用于协同控制多台机器人的控制模式动态调整方法可以包括以下内容：

步骤S100：获取多台机器人上传的实时交互数据；

具体地，当前处于服务状态的机器人上传的是与客户的业务交互数据，而处于空闲状态的机器人未上传数据或者上传的是表征其处于在线状态的应答数据。

步骤S200：根据所述实时交互数据以及历史交互数据分析当前处于服务状态的机器人数量以及各机器人的业务特征参数；

具体地，根据实时交互数据就可以判断出当前处于服务状态的机器人的数量；而根据实时交互数据以及历史交互数据可以分析出当前客户办理业务的特征参数，比如：业务紧急程度、业务复杂度、业务优先级、问答置信度、问答交互频次以及客户业务量等。

步骤S300：根据各机器人的业务特征参数判断对应的响应级别；

具体地，通过将多个参数综合，判断各个机器人的响应级别，能够兼顾考虑多种因素，实现统筹规划。响应级别用于表征各机器人当前处理的业务需要客服人员人工参与的程度，比如：业务优先级高且业务复杂、问答置信度低时，急需客服人员参与，则响应级别较高。

步骤S400：根据当前处于服务状态的机器人数量以及各机器人的响应级别调整控制中心的客服人员操作界面上各机器人对应的控制界面。

具体地，在调整各个机器人对应的控制界面时，不仅要考虑响应级别，还要考虑处于服务状态的机器人数量，比如，只有一个机器人处于服务状态时，虽然响应级别较低，也可以将其控制界面放大到中等或偏大，当较多机器人处于服务状态时，响应级别高的机器人有2个，此时，也需要在显示两个机器人的界面的同时，留有一定的预留显示区域，应对突发状况。

其中，操作界面上可同时显示多台机器人控制画面，并根据客户业务紧急程度、业务复杂度、AI判断置信度(即问答置信度)、图像实时分析结果、音频监测结果、问答交互频次和客户业务量等综合判断响应级别，自动为不同设备调整不同的显示操作级别，比如“大杯、中杯、小杯”界面。系统可根据AI判断，智能动态地为客服人员调整远控设备的操作界面和操作模式，实现AI操控为主，少量复杂操作交由人工协同的目的，即一对多远控模式智能动态调整。

比如，可同时控制四台远端机器人，即四个远控界面同时展示。这样的设计可以保证客服在并行控制多台设备时的最高操作效率。

通过采用上述技术方案，可同时控制多台不同型号远程机器人(或智能终端设备)，降低了远程协同的人力成本，简化了远程控制服务操作复杂度，为远程操作人员一个人控制多台设备提供了全新操作方法，实现一对多远控模式智能动态调整技术，极大提升客户操作体验。

在一个可选的实施例中，参见图3，该步骤S400可以包括以下内容：

步骤S410：根据当前处于服务状态的机器人数量以及各机器人的响应级别获取各机器人的显示操作级别；

步骤S420：根据所述显示操作界别调整控制中心的客服人员操作界面上各机器人对应的控制界面。

具体地，显示操作级别包括：自动模式以及大杯模式、中杯模式、小杯模式；

其中，自动模式无人工控制权限；大杯模式、中杯模式、小杯模式对应控制界面大小不同、功能权限不同。

将机器人设备控制界面分为“大、中、小”三个级别(以下简称“大杯、中杯、小杯”，界面原型线框设计图见图8、图9，系统demo示意图见图12、图 13、图14)，用以区分任务处理的优先级别。三个级别对应的是不同的界面设计，大中小杯每种界面的功能权限也不同，大杯的界面可操作面积最大，可操作功能最多。中杯不具备行进动作操作能力。小杯仅用于快速问答对话。

值得说明的是，本发明实施例提供的一对多机器人控制技术帮助远程客服人员高效同时操作多台机器人，支持对多台不同厂商不同型号的机器人甚至是不同型号的智能设备并发控制，对第三方智能设备提供统一的API接口和SDK，兼顾 Android和windows系统，对设备型号、配置、厂商不做区分。多台机器人可以在不同网点分别部署，同时接收来自同一个客服端系统的调度。

一对多机器人控制技术配有统一的设备接入管理系统，可以支持符合本平台规范的任何厂商的智能设备快速接入，实现统一管理、调度，统一为客户提供服务。且具备相应的数据统计采集与分析系统，可实时展示各设备运行状态。

在一个可选的实施例中，可以按照预设系数对所述业务紧急程度、所述业务复杂度、所述业务优先级、所述问答置信度、所述问答交互频次以及所述客户业务量进行加权计算得到对应的响应级别。

具体地，预设系数根据不同银行对不同业务的关注程度以及银行网点的情况设置，本发明实施例对此不作限制。

参见图6，本发明实施例提供的控制模式动态调整技术，可以根据客户业务紧急程度、业务复杂度、AI判断置信度、图像实时分析结果、音频监测结果、问答交互频次和客户业务量等综合判断响应级别，智能判断并动态调整对应级别的界面，并最大程度采用智能模式自主处理客户业务交互，仅在必要时主动提醒客服人工接管干预。具体而言：

1、可实时采集多台远程机器人的声音、视频及图像数据，系统会分析声音中的人声说话的语速和音量，从而辅助判断客户焦虑与急切程度，如语速过快、音量过高均会增加该客户的焦虑判断分值。和/或，分析图像中客户面部表情，进行情绪识别，判断客户的焦虑程度，如客户情绪判断为焦虑或生气，且出现次数较高，会增加该客户的焦虑判断分值。另外，还可以分析视频影像中客户的脸部位置短距位移频度，判断客户的业务办理急切度，如客户脸部位置在3cm以上的短距离位移频次较高，则表明该客户较为急切；基于客户的焦虑程度等，判断业务紧急程度，当然，也可以根据业务种类或业务类型，比如挂失业务，则业务紧急程度较高。

2、通过后台智能大脑的NLP语义分析能力，自动为客户的问题匹配对应的答案和处理方法，同时智能大脑会提供AI处理的置信度，即表明系统对于该AI处理结果的信心。当连续两次智能问答置信度低于30％时，系统会认为该AI处理结果正确率较低、业务复杂度较高。

比如说，针对一个问题，如果能够找到直接对应的回答，则置信度高，如果没有找到对应的回答，只给出了关联的回答，则置信度会偏低。

3、根据后台设计的各类金融业务优先级，自动给客户的业务办理优先度打分。

比如，对于收益较高或银行比较重视的业务，比如信用卡办理、理财产品购买等，则业务优先级相对较高，对于咨询业务、民生业务(比如燃气充值、电卡充值等)，则业务优先级可能相对较低。

4、实时统计每台机器人每天的业务量和业务频次，自动计算出每台设备的每日工作高峰时段，从而推断当前时间段的业务频次和处理优先级；

以上举例说明了四点，当然，还可以有其他参数，比如业务复杂度，业务复杂度可以基于机器人上传的数据分析出业务类型，比如余额查询、挂失业务，则相比较而言，挂失业务的业务复杂度比余额查询业务的复杂度高，业务越复杂，需要客服人员人工参与的可能性越大。问答交互频次表征与客户的交互轮次，比如，一问一答算一轮，交互频次为1，若一台机器人与用户的交互频次过高，比如多大20多次，则可能该机器人需要客服人员辅助的概率高，客户业务量可以表征客户级别，对于业务量多的客户，需要重点关注。

智能数据计算时可根据各项参数的权值进行计算，得出远端机器人的综合处理优先级分数(也可称为响应级别)。根据这个优先级分数及当前并行控制的设备数量，进行智能动态调整，自动控制每个远控设备的操作画面UI级别显示(“大杯、中杯、小杯”自动切换)，并通过文字和震动提示客服人员界面和操作模式的变化。仅当判断用户综合处理优先级分数超过高阈值时，才会启动大杯模式，并主动提醒客服人工接管干预。当监测到有两台以上机器人综合处理优先级分数超过高阈值时，会将两台设备远控界面均切换成中杯模式，并通过界面及震动提示用户监控其智能回复，或人工并行干预。其余情况均采用智能模式并行处理多台远端机器人业务。

以上内容具体事例，如：当判断当前客户综合处理优先级分数较高，达到高级别阈值时，会把该客户的远控界面调整为大杯模式，并震动提示客服接管，与此同时其余远控界面会自动隐藏进行全智能自动控制。当客户综合处理优先级分数降低到中等阈值时或业务结束时，系统会再将此大杯界面调整为中杯界面，并进行对该远端机器人进行全智能应答控制，客服人员此时仅需观察该设备自动应答结果即可，不需要额外操作。当综合处理优先级分数降低到低阈值以下时，系统会自动将该界面调整为小杯模式，系统同一时间仅允许存在一个小杯模式，如多台机器人综合优先级分数均低于低阈值，则分数最低的为小杯模式，其余为中杯模式，这有利于多台机器人的并行观察。整个界面和操作模式的调整均为自动动态调整。被动人工接管操作仅存在于大杯界面，即系统仅在当某台机器人综合处理优先级为大杯模式时，才会主动提醒客服人工接管控制，其余状态下，客服人员仅需在后台监控观察即可，无需人工操作。

在一个可选的实施例中，参见图4，该用于协同控制多台机器人的控制模式动态调整方法还可以包括：

步骤S500：对各机器人上传的实时交互数据进行语义分析；

步骤S600：根据语义分析结果向对应机器人发送反馈信息。

具体地，收到各个机器人上传的实时交互数据后，可以先对交互数据进行解析，比如对用户输入的语音进行识别，而后利用语音分析模型对识别的语音进行分析，而后根据分析结果，基于预加载的应答模型，获取对应的回答，并反馈给机器人。

通过采用上述技术方案，能够实现机器人的自动应答，降低用户的等待时间，辅助人工进行自动化回复，提高客户满意度。

在一个可选的实施例中，参见图5，该用于协同控制多台机器人的控制模式动态调整方法还可以包括：

步骤S700：判断各机器人的响应级别是否发生变化；

若是，执行步骤S800；若否，执行步骤S400。

步骤S800：将变化信息通过文字或振动形式反馈给客服人员。

需要说明的是，本发明实施例提供的技术，除了智能动态调整操作模式，也支持人工手动调整操作模式和界面显示，智能动态调整服务与人工手动操作可以同时存在，客服人员也可以手动关闭“一对多远控模式智能动态调整”功能，采用纯手工进行控制。需要注意的是，即使客服关闭了“一对多远控模式智能动态调整”功能，系统也会提示“智能模式切换建议”，主动提示并建议用户将对应远控设备界面切换到某种形态。三种界面之间可以通过界面标题栏上方的“-”“+”两个按钮快速切换，且不会影响其他机器人的控制界面，当有某台机器人的远控界面被遮挡或隐藏时，会自动使用全智能模式控制该机器人。客服人员在观察自动处理所有应答时，可以主动进行人工接管控制，干预智能操作结果，并借助“大面积触摸操作区设计”进行快速操作。

为了使本领域技术人员更好地理解本申请，下面对具体实现过程进行详细说明：

关于三种界面的功能区分方面，“大杯”界面拥有全部控制功能，即具备音视频与文字通信、机器人动作指令、机器人状态实时反馈、机器人协同、智能机具调度、轻业务办理、知识库搜索、AI辅助、图片音频位置库支持等全部控制功能。“中杯”界面功能相比“大杯”有所减少，相比“大杯”去除了动作指令、机器人协同机具调度功能，保留了音视频与文字通信、机器人状态实时反馈、知识库搜索、AI辅助等功能。“小杯”界面仅保留文字通信、机器人状态实时反馈、 AI辅助功能，相比“中杯”去除了知识库搜索和视频通信功能。

一对多机器人控制技术的“大杯”界面具备全面的功能。“中杯、小杯”界面支持并发控制，客服可以通过双击某个界面的标题栏，选择收听某一个“中杯”或“小杯”(机器人)的实时音频。所有“中杯、小杯”界面均可并发收发AI 问答消息，均可并发获取实时视频传输。每个界面具备独立的知识库搜索服务。大中小杯界面相互切换时，相关数据、视频信号会跟随传输。其中，“中杯”界面切换为“大杯”界面时，其余机器人设备会自动切换为智能模式对客自动服务。

现有技术在人工接管干预时，客服很难同时对多台设备进行对话操作，也很难快速切换不同的对话窗口实现快速与多个不同用户对话的目的。因此，本发明实施例设计了一种通过大面积触摸区开启音频流实时交互的模式，即在每个窗口的AI文字问答区设置大面积触摸板，支持两个以上的手指触摸响应，客服在匆忙的工作场景中不需要仔细的寻找触摸按钮，仅需要在习惯区域大胆按下，即可开启音视频通话。允许客服人员通过大面积触摸操作，快速切换与多台设备音频直播交互。这种大面积触摸操作的设计灵感来自艺术家敲打架子鼓和媒体导播切换镜头的现实场景。快速的大面积触摸就好似快速的手掌击鼓，多界面切换触摸好似电视台导播快速地控制切换不同的摄像机位，整个控制过程是带有节奏感的。这样的设计考虑了用户的细节操作体验，有助于减少操作员的操作精力，减少误操作，并通过轻松触摸实现了“带节奏感”触摸操作的设计。

参见图10，示出了可触摸响应区。AI文字问答区即支持单指上下滑动操作，也支持多指触摸快速响应操作，同时也支持单指触摸操作。

现有技术中，在人工接管干预时，客服很难同时理解多个客户的问题，并迅速做出正确回应。为此本发明实施例设计了“AI辅助区”功能(见图12界面左上方区域的对话框界面)。“AI辅助区”会将远程客户的问题实时显示出来，并通过AI智慧大脑(工行小融大脑)自动生成对应的回答文本，相当于系统会自动推送给客户最优回答内容，且系统会根据回答内容的置信度(回答成功的几率)进行颜色标识，深红色的回答文本代表准确率极高，建议直接采纳。这种AI问答自动生成的逻辑采用多线程并发设计，可以同时对客户问的多个问题进行并发分析，同时生成回答文本。用户可以直接点击AI回答文本右侧的“发送”按钮，远程机器人就可以通过TTS语音合成技术将答案读出来，而用户在这个过程中可以不说话少思考，快速回应远程客户。“AI辅助区”的设计，允许用户在音频与文本交互中快速选择，即用户既可以快速语音直接回答客户问题，也可以直接点选AI答案用于回答客户，从而大幅提高并发交互能力。在智能动态处理模式，客服无需在“AI辅助区”进行点选操作，系统会自动采纳AI结果进行应答，当自动应答困难时，会自动调整界面操作模式，并提示客服人工干预。

现有技术中，用户在同时听多人通话时，很难清晰判断说话内容来自哪个人。为此本发明实施例还设计了通话检测提示功能，通过声波变化判断当前控制的机器人是否正在接收到客户的说话声音。即，当用户同时控制多台机器人与客户对话时，系统会自动检测哪位客户在说话，并在该设备对应的中杯(或大杯、或小杯)界面的顶部标题栏下方通过绿色光带进行提示(见图14)。该设计属于视觉方面的提示，结合音视频通信的声音提示和客户影像提示，可以为远程操作的用户提供最佳交互感知能力，使用户可以轻松并行控制多台机器人与客户交互。

关于上述的大面积触摸区域实现快速并行控制多台设备的设计，其设计理由如下：1、用户已经习惯了在单一的界面处理完一个任务后，再到另一个界面处理另一个事情；2、用户已经习惯手机操作时，传统的“小按钮按住说话”，如微信。而在多个任务同时到来时，用户很难快速找到触发按钮一一回应；3、多个任务同时到来时，用户往往手忙脚乱，单一的看多个信息，或同时听多个音频消息，都十分困难。因此，本发明实施例提供的人机协同系统界面设计，采用了并行排布的中杯、小杯界面，多个任务在同一个大界面中分区显示。并且将每个区域内最大的对话显示界面当作触摸界面来使用，方便用户迅速找到位置。客服人员只需要双指或两个以上手指触摸到对应界面的大面积触摸区，就能立刻开始启动音频直播对话，操作简便易于掌控。多个中杯、小杯界面中，文字对话信息会实时更新，且用户可双击其中一个界面标题栏，进行实时监听音频。既可同时观看所有设备文本信息，还可同时监听任意一台设备音频，并支持随时大面积快速触摸操作进行音频直播对话操作。

参见图7，三个级别的转换是系统自动切换的，但同时也支持人工干预模式。控制系统会使用“一对多远控模式智慧动态调整”功能对系统界面和各远控模式进行自动控制。但当客服关闭了“一对多远控模式智慧动态调整”功能，采用人工干预模式后，系统也会启动“智能模式切换建议”功能，主动提示并建议用户将对应远控设备界面切换到某种形态。

关于“大中小杯”三种模式在人工干预模式下，系统“智能模式切换建议”使用分配和切换逻辑如图7所示。系统在人工干预模式下，会自动建议用户根据需要进行自主选择，即通过系统建议和人工手动确认操作进行三种模式的切换。

具体的切换方式和系统切换逻辑举例如下：

1、当用户仅控制一台机器人时，系统会默认启动一个中杯(如图15所示)，此时系统后台会将用户和机器人端纳入到一个“音视频通信房间”内，并将AI文本信息、各语料库、网址库等功能通道打开，客服人员可以操作机器人进行全知识范围的AI混合语音对客交互服务，但不能控制机器人移动；

2、用户如果需要控制机器人移动或协同其他机器人联合工作等更多复杂功能时，或者当该机器人服务的用户综合处理优先级分数超过高阈值时，系统会弹出提示，建议客服启动大杯界面。建议用户点击中杯界面右上角的“+”(如图15 所示)，系统就会从中杯扩展成一个大杯界面(如图12所示)。当一个用户需要同时控制多台机器人时，可以从界面左侧划出多机器人选择界面(如图16所示)，选择要添加控制的机器人，系统会自动增加一个新的“中杯”控制界面。基于市面常用的安卓平板设备性能、常见环境的网络性能和用户操作体验的考虑，系统最多能支持同时控制四台设备，即3个“大杯”和一个“小杯”。

当用户控制多台设备后，系统也会自动建议用户使用多个中杯或外加小杯的界面模式。当用户控制的多台设备中，仅有一台设备发生主要业务交互时，系统也会自动建议用户切换为大杯界面，其余设备界面自动隐藏最小化。

后端系统各功能接口是同时支持多杯界面的，即多个控制界面同时呈现时(如 3个中杯和一个小杯)，每个界面对应的后台功能都是实时开通的，只是前端显示上有区别，隐藏了部分功能。例如，RTC音视频平台设计有一个视频房间的概念，即同一房间的人可以进行音视频实时通信。小杯界面无音视频通讯，仅显示AI辅助的实时对话文本列表。此时小杯界面的音视频功能为隐藏状态，即已将小杯界面注册到视频房间中，但不开启视频流通讯。小杯、中杯等多个界面在一个视频通讯房间内，随时可以快速开启通信。当小杯界面切换成中杯界面时，系统会立刻开启小杯界面的视频流通讯。因为小杯界面早已在后台的视频房间内，因此系统可以瞬间启动视频流，实现界面切换后，音视频展示立刻呈现。

关于后端服务器逻辑。后端系统的核心是音视频实时通信平台和IM通信平台及数据管理系统。(如图11所示)从系统信息流程角度进行阐述，客服端系统可运行在androidpad和phone上。客服端系统，通过音视频实时传输平台(RTC) 和实时消息通讯平台(ICBCOPEN IM)可以与多台机器人设备建立音视频和实时消息连接,进行远程一对多控制。RTC平台负责音视频通讯，而主要的信息交互逻辑由实时消息通讯平台(ICBC OPEN IM)处理，该平台采用非阻塞多线程架构，在用户进行一对多控制时，会生成多个线程，并行支持多台设备协同，具有低延迟、高稳定性的特点。

关于系统自动建议功能。音视频实时交互中，在正常自动模式下，系统会全智能自动应答，并将应答结果显示在AI辅助区界面上，并自动切换界面及控制模式。

在人工干预模式下，系统会通过AI辅助功能自动为操作人员推送建议回答答案及相关语料数据，也会根据该操作人员现有控制机器人的数量和使用状况，建议切换中杯还是大杯或是小杯。无论处于哪种模式的界面，每个界面都会有独立的自动建议功能。例如：当操作人员同时控制3台机器人时，系统不仅会同时显示针对三个机器人的自动问答建议内容，还会判断当前三台机器人是否都处于对客服务中，如果是，会建议系统切换为3个中杯界面，方便操作人员同时控制。如果系统监测到其中2台机器人长时间(20分钟以上)处于空闲状态，则系统会建议操作人员将工作繁忙的那台机器人控制界面切换为大杯，其余两个中杯界面隐藏并切换为智能监控模式。当其余2台机器人有客户提问时，系统会提示操作人员，并判断智能监控模式下，2台机器人的回答置信度是否连续两次低于30％，如果是则提示操作人员从1个大杯切换到3个中杯界面，并提示操作人员主动介入对话。当有3位客户同时对3台机器人提问时，后台系统会独立处理这3个对话，自动提示各自的回答建议，及时3个问题类似，系统也不需要做合并处理，操作人员可以根据系统建议，快速独立选择答案进行回答。

本发明实施例提供的用于协同控制多台机器人的控制模式动态调整方法，适于远程多智能端协作的系统，集成了AI人工智能、5G、音视频实时传输、IM实时消息非阻塞传输等，使用了创新的多端并发控制的UI交互设计，并融入一对多远控模式智能动态调整技术，将AI技术同时赋能与终端及远程控制端，打造了易用型一对多智能人机控制平台。业务方面，一对多人机控制平台允许后台操作人员一个人在AI辅助下高效控制多台设备，在满足更多服务需求的情况下，有效降低人力成本。

通过以上方案，可以允许客服人员通过pad上的客服系统同时控制多台机器人(或智能设备)与客户进行远程交互。通过“大、中、小杯”的界面设计，区分不同设备的事务处理优先级和控制功能。通过“一对多远控模式智慧动态调整技术”实现“大、中、小杯”的界面及操作模式的动态自动切换，自动使用全智能模式处理多台机器人与用户的业务交互，无需客服人员实时操作，系统仅在在必要时刻主动提醒客服人工介入干预。在人工干预模式下，可以通过大面积多指触摸与AI文字问答设计，实现快速控制多台设备交互，提高操作效率，降低操作复杂度的效果。整个系统设计，操作简便，对客服人员来说，学习门槛较低。

通过对Demo系统的测试，三台设备同时处于“中杯”界面模式，进行快速音频控制，各界面切换控制的延迟在0.1秒以内。以上数据结果可以满足需求标准，构建可高效并发控制多台机器人的远程控制系统。

以上内容说明，本发明相比市面上的现有技术，可有效降低远程人家协同与控制的人力成本，一名操作人员就可以快速处理多台设备对客交互。利用先进的 IM非阻塞通信技术框架，本系统实现了大并发和低延时的消息传输能力，有效提高了人机协同的稳定性和实效性；充分利用触屏操作的创新UI交互体验有效提升用户操作体验；灵活的系统架构，提供了跨平台兼容多种智能终端设备的连接能力，具备较强的系统兼容能力和可扩展能力。

综上所述，本发明提供的技术方案，考虑并行控制多台设备，音视频信道、控制消息指令均为统一通道传输，实现多台设备在同一系统内的独立与控制能力，可在通信过程中针对多台不同设备进行逻辑区分控制，系统操作设计不依赖传统按钮点击、键盘等操作方式，有效提高多台设备并发控制的操作效率，当多台设备同时被客户问答呼叫时，能为客服人员提供智能辅助手段，客服人员能同时使用多台远程控制设备对多台机器人进行控制，提高并发交互效率。不同厂商不同型号的机器人虽然缺少统一技术标准，多台不同型号设备能实现统一远程协同接管，实现一对多接管。

基于同一发明构思，本申请实施例还提供了一种用于协同控制多台机器人的控制模式动态调整装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于用于协同控制多台机器人的控制模式动态调整装置解决问题的原理与上述方法相似，因此用于协同控制多台机器人的控制模式动态调整装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图17是本发明实施例中的用于协同控制多台机器人的控制模式动态调整装置的结构框图。如图17所示，该用于协同控制多台机器人的控制模式动态调整装置具体包括：实时数据获取模块10、数据解析模块20、响应级别判断模块30以及控制界面调整模块40。

实时数据获取模块10获取多台机器人上传的实时交互数据；

数据解析模块20根据所述实时交互数据以及历史交互数据分析当前处于服务状态的机器人数量以及各机器人的业务特征参数；

响应级别判断模块30根据各机器人的业务特征参数判断对应的响应级别；

控制界面调整模块40根据当前处于服务状态的机器人数量以及各机器人的响应级别调整控制中心的客服人员操作界面上各机器人对应的控制界面。

通过采用上述技术方案，基于当前处于服务状态的机器人数量以及根据各机器人的业务特征参数得到的响应级别自动调整控制中心的客服人员操作界面上各机器人对应的控制界面，为客服人员提供智能辅助手段，帮助客服人员兼顾并行控制多台设备。

上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为电子设备，具体的，电子设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

在一个典型的实例中电子设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的用于协同控制多台机器人的控制模式动态调整方法的步骤。

下面参考图18，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。

如图18所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的用于协同控制多台机器人的控制模式动态调整方法的步骤。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。