可视化的远程控制方法和装置

技术领域

本发明涉及远程控制技术领域，尤其是涉及可视化的远程控制方法和装置。

背景技术

目前，在部分场景或环境内，当电脑或其他设备无法接入网络时，需要安排工作人员前往所需操作的电脑或被控设备所在地手动操作；当电脑或其他设备可以接入网络时，需要安装相应的远程控制工具或软件进行远程控制。

上述场景中，当电脑或其他设备无法接入网络时，需要人员手动操作；当电脑或其他设备可以接入网络时，无法远程控制未包括操作系统的设备；并且也无法控制操作系统之外的设备的相关功能。

发明内容

有鉴于此，本发明的目的在于提供可视化的远程控制方法和装置，不受场景限制，在被控端中安装APP后，控制端就可以实现对被控端的远程控制，从而提高用户体验。

第一方面，本发明实施例提供了可视化的远程控制方法，应用于被控端，所述被控端中安装有APP，所述方法包括：

通过信令服务器接收控制端发送的控制申请消息，根据所述控制申请消息生成第一SDP信息；

将所述第一SDP信息发送给流媒体服务器，以使所述流媒体服务器根据所述第一SDP信息创建音视频通道，并返回第二SDP信息；

通过采集卡采集被控设备输出的音视频数据，将所述音视频数据进行编码，得到编码后的音视频数据；

将音视频数据推送成功消息发送给所述信令服务器，以使所述信令服务器将所述音视频数据推送成功消息发送给所述控制端；

将所述编码后的音视频数据发送给流媒体服务器，以使所述流媒体服务器在接收到所述控制端发送的播放请求后，将所述编码后的音视频数据发送给所述控制端。

进一步的，所述方法还包括：

通过所述信令服务器接收所述控制端发送的操作控制指令；

将所述操作控制指令转换为外设指令；

将所述外设指令发送给所述被控设备，以使所述被控设备根据所述外设指令进行实时响应。

进一步的，所述方法还包括：

从配对用户列表中选取解除绑定的用户后，生成解除被控消息；

将所述解除被控消息发送给所述信令服务器，以使所述信令服务器将所述解除被控消息发送给所述控制端；

其中，所述配对用户列表包括所述控制端的手机号和用户名。

进一步的，接收信令服务器发送的控制申请消息之前，所述方法还包括：

将第一登录/注册请求信息发送给所述信令服务器，以使所述信令服务器对所述第一登录/注册请求信息进行验证，如果验证成功，则生成第一登录成功响应信息；

接收所述信令服务器发送的所述第一登录成功响应信息；

其中，所述第一登录/注册请求信息包括第一手机号和第一验证码。

进一步的，所述方法还包括：

通过所述信令服务器接收所述控制端发送的配对申请信息，所述配对申请信息包括所述被控端的第一手机号；

根据所述配对申请信息进行确认，得到同意配对消息；

将所述同意配对消息发送给所述信令服务器，以使所述信令服务器将所述同意配对消息发送给所述控制端。

第二方面，本发明实施例提供了可视化的远程控制装置，应用于被控端，所述被控端中安装有APP，所述装置包括：

控制申请信息接收模块，用于通过信令服务器接收控制端发送的控制申请消息，根据所述控制申请消息生成第一SDP信息；

第一SDP信息发送模块，用于将所述第一SDP信息发送给流媒体服务器，以使所述流媒体服务器根据所述第一SDP信息创建音视频通道，并返回第二SDP信息；

采集模块，用于通过采集卡采集被控设备输出的音视频数据，将所述音视频数据进行编码，得到编码后的音视频数据；

成功消息发送模块，用于将音视频数据推送成功消息发送给所述信令服务器，以使所述信令服务器将所述音视频数据推送成功消息发送给所述控制端；

音视频数据发送模块，用于将所述编码后的音视频数据发送给流媒体服务器，以使所述流媒体服务器在接收到所述控制端发送的播放请求后，将所述编码后的音视频数据发送给所述控制端。

进一步的，所述装置还包括：

操作控制指令接收模块，用于通过所述信令服务器接收所述控制端发送的操作控制指令；

转换模块，用于将所述操作控制指令转换为外设指令；

外设指令发送模块，用于将所述外设指令发送给所述被控设备，以使所述被控设备根据所述外设指令进行实时响应。

进一步的，所述装置还包括：

解除模块，用于从配对用户列表中选取解除绑定的用户后，生成解除被控消息；

解除被控消息发送模块，用于将所述解除被控消息发送给所述信令服务器，以使所述信令服务器将所述解除被控消息发送给所述控制端；

其中，所述配对用户列表包括所述控制端的手机号和用户名。

第三方面，本发明实施例提供了电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。

第四方面，本发明实施例提供了具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行如上所述的方法。

本发明实施例提供了可视化的远程控制方法和装置，应用于被控端，被控端中安装有APP，包括：通过信令服务器接收控制端发送的控制申请消息，根据控制申请消息生成第一SDP信息；将第一SDP信息发送给流媒体服务器，以使流媒体服务器根据第一SDP信息创建音视频通道，并返回第二SDP信息；通过采集卡采集被控设备输出的音视频数据，将音视频数据进行编码，得到编码后的音视频数据；将音视频数据推送成功消息发送给所述信令服务器，以使信令服务器将音视频数据推送成功消息发送给控制端；将编码后的音视频数据发送给流媒体服务器，以使流媒体服务器在接收到控制端发送的播放请求后，将编码后的音视频数据发送给控制端；不受场景限制，在被控端中安装APP后，控制端就可以实现对被控端的远程控制，从而提高用户体验。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的可视化的远程控制方法流程图；

图2为本发明实施例一提供的登录/注册、配对过程示意图；

图3为本发明实施例一提供的发起控制申请消息过程示意图；

图4为本发明实施例一提供的可视化远程控制过程示意图；

图5为本发明实施例一提供的解除被控过程示意图；

图6为本发明实施例一提供的可视化的远程控制过程应用场景示意图；

图7为本发明实施例二提供的可视化的远程控制装置示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本实施例进行理解，下面对本发明实施例进行详细介绍。

实施例一：

图1为本发明实施例一提供的可视化的远程控制方法流程图。

参照图1，应用于被控端，被控端中安装有APP，该方法包括以下步骤：

步骤S101，通过信令服务器接收控制端发送的控制申请消息，根据控制申请消息生成第一SDP信息；

步骤S102，将第一SDP信息发送给流媒体服务器，以使流媒体服务器根据第一SDP信息创建音视频通道，并返回第二SDP信息；

步骤S103，通过采集卡采集被控设备输出的音视频数据，将音视频数据进行编码，得到编码后的音视频数据；

步骤S104，将音视频数据推送成功消息发送给信令服务器，以使信令服务器将音视频数据推送成功消息发送给控制端；

步骤S105，将编码后的音视频数据发送给流媒体服务器，以使流媒体服务器在接收到控制端发送的播放请求后，将编码后的音视频数据发送给控制端。

进一步的，接收信令服务器发送的控制申请消息之前，该方法还包括以下步骤：

步骤S201，将第一登录/注册请求信息发送给信令服务器，以使信令服务器对第一登录/注册请求信息进行验证，如果验证成功，则生成第一登录成功响应信息；

步骤S202，接收信令服务器发送的第一登录成功响应信息；

其中，第一登录/注册请求信息包括第一手机号和第一验证码。

进一步的，该方法还包括以下步骤：

步骤S301，通过信令服务器接收控制端发送的配对申请信息，配对申请信息包括被控端的第一手机号；

步骤S302，根据配对申请信息进行确认，得到同意配对消息；

步骤S303，将同意配对消息发送给信令服务器，以使信令服务器将同意配对消息发送给控制端。

这里，为了保证控制端和被控端的操作安全可靠，两端的交互需要被控端进行确认，由被控端进行人工确认之后，双方才可以正常建立连接进行控制交互。

具体地，参照图2，控制端的APP和被控端的APP在应用启动后，要进行自动的注册登录。被控端将第一登录/注册请求信息发送给信令服务器，以使信令服务器对第一登录/注册请求信息进行验证，如果验证成功，则生成第一登录成功响应信息；被控端接收信令服务器发送的第一登录成功响应信息。在验证过程中，如果第一手机号不存在，则自动注册后自动登录，登录后信令服务器向被控端返回第一登录成功响应信息。

控制端将第二登录/注册请求信息发送给信令服务器，以使信令服务器对第二登录/注册请求信息进行验证，如果验证成功，则生成第二登录成功响应信息；控制端接收信令服务器发送的第二登录成功响应信息。

控制端输入被控端注册的第一手机号，向被控端发起配对申请信息；配对申请信息由信令服务器进行转发，被控端收到配对申请信息后，弹出配对确认框，由用户进行选择是否同意添加配对；被控端同意配对后，控制端显示配对成功。

参照图3，控制端在自己的配对成功的设备列表(设备名称用户可自行修改)中选择要控制设备，向被控端发起控制申请消息；信令服务器将控制申请消息转发给被控端，被控端回复同意控制消息，并将同意控制消息发送给信令服务器，信令服务器将同意控制消息发送给控制端。

参照图4，被控端收到控制申请消息后，生成第一SDP信息，并发送至流媒体服务器，请求推送音视频数据，SDP(Session Description Protocol)是一种通用的会话描述协议，主要用来描述多媒体会话，包括音视频编解码、主机地址、网络传输协议等，SDP信息是由被控APP生成；

流媒体服务器根据收到的第一SDP信息创建音视频通道准备接收数据，同时返回准备好接收的流媒体信息的第二SDP信息；

被控端通过采集卡采集被控设备输出的音视频数据，将音视频数据进行编码，得到编码后的音视频数据；

将音视频数据推送成功消息发送给信令服务器，以使信令服务器将音视频数据推送成功消息发送给控制端；控制端向流媒体服务器请求播放被控端APP推送的音视频数据；

控制端对收到的编码后的音视频数据(经采集卡输出的被控设备实时桌面音视频数据)进行实时解码，得到音视频数据，然后显示音视频数据。

控制端根据操作需要，通过控制APP中的操作指令按钮，向被控端发起操作控制指令；被控端收到操作控制指令，转换并模拟成鼠标和键盘等被控设备支持的可交互的外设指令，被控设备的操作系统根据外设指令进行实时响应。

进一步的，该方法还包括以下步骤：

步骤S401，通过信令服务器接收控制端发送的操作控制指令；

步骤S402，将操作控制指令转换为外设指令；

步骤S403，将外设指令发送给被控设备，以使被控设备根据外设指令进行实时响应。

进一步的，该方法还包括以下步骤：

步骤S501，从配对用户列表中选取解除绑定的用户后，生成解除被控消息；

步骤S502，将解除被控消息发送给信令服务器，以使信令服务器将解除被控消息发送给控制端；其中，配对用户列表包括控制端的手机号和用户名。

参照图5，被控端有主动取消控制的权利，通过被控端，打开已配对用户列表，用户列表信息包括控制端的手机号和用户名，用户名可自行修改。

选择要解除绑定的用户，发起取消绑定；信令服务器也可以对被控端和控制端用户解除绑定关系；解除绑定后通知被控端和控制端更新状态。

本申请对被控端的控制操作，不受地域、空间和网络等限制，通过可接入网络的智能手机(安装被控端APP)即可；本申请的被控端无特定操作系统限制，甚至可控制无操作系统设备或任意支持视频输出与USB或其他外设控制的设备；并且对被控端无任何侵入或运行权限要求。

图6为本发明实施例一提供的可视化的远程控制过程应用场景示意图。

参照图6，控制装置包括控制端、交互能力装置、被控端和采集卡，其中，控制端中安装有APP，被控端中也安装有APP。

控制端的APP主要安装在智能手机中或电脑中，实现对被控电脑或设备的预览和控制；

交互能力装置包括信令服务器和流媒体服务器，实现控制端和被控端的消息传递以及音视频数据传输；

被控端的APP，主要安装在智能手机中，实现对采集卡输出数据的采集、转换、传输、USB键盘与USB鼠标的模拟等；

采集卡，用于采集被控设备的视频信号并输出至被控端APP。

本发明实施例提供了可视化的远程控制方法，应用于被控端，被控端中安装有APP，包括：通过信令服务器接收控制端发送的控制申请消息，根据控制申请消息生成第一SDP信息；将第一SDP信息发送给流媒体服务器，以使流媒体服务器根据第一SDP信息创建音视频通道，并返回第二SDP信息；通过采集卡采集被控设备输出的音视频数据，将音视频数据进行编码，得到编码后的音视频数据；将音视频数据推送成功消息发送给所述信令服务器，以使信令服务器将音视频数据推送成功消息发送给控制端；将编码后的音视频数据发送给流媒体服务器，以使流媒体服务器在接收到控制端发送的播放请求后，将编码后的音视频数据发送给控制端；不受场景限制，在被控端中安装APP后，控制端就可以实现对被控端的远程控制，从而提高用户体验。

实施例二：

图7为本发明实施例二提供的可视化的远程控制装置示意图。

参照图7，应用于被控端，被控端中安装有APP，该装置包括：

控制申请信息接收模块，用于通过信令服务器接收控制端发送的控制申请消息，根据控制申请消息生成第一SDP信息；

第一SDP信息发送模块，用于将第一SDP信息发送给流媒体服务器，以使流媒体服务器根据第一SDP信息创建音视频通道，并返回第二SDP信息；

采集模块，用于通过采集卡采集被控设备输出的音视频数据，将音视频数据进行编码，得到编码后的音视频数据；

成功消息发送模块，用于将音视频数据推送成功消息发送给信令服务器，以使信令服务器将音视频数据推送成功消息发送给控制端；

音视频数据发送模块，用于将编码后的音视频数据发送给流媒体服务器，以使流媒体服务器在接收到控制端发送的播放请求后，将编码后的音视频数据发送给控制端。

进一步的，该装置还包括：

操作控制指令接收模块(未示出)，用于通过信令服务器接收控制端发送的操作控制指令；

转换模块(未示出)，用于将操作控制指令转换为外设指令；

外设指令发送模块(未示出)，用于将外设指令发送给被控设备，以使被控设备根据外设指令进行实时响应。

进一步的，该装置还包括：

解除模块(未示出)，用于从配对用户列表中选取解除绑定的用户后，生成解除被控消息；

解除被控消息发送模块(未示出)，用于将解除被控消息发送给信令服务器，以使信令服务器将解除被控消息发送给控制端；

其中，配对用户列表包括控制端的手机号和用户名。

本发明实施例提供了可视化的远程控制装置，应用于被控端，被控端中安装有APP，包括：通过信令服务器接收控制端发送的控制申请消息，根据控制申请消息生成第一SDP信息；将第一SDP信息发送给流媒体服务器，以使流媒体服务器根据第一SDP信息创建音视频通道，并返回第二SDP信息；通过采集卡采集被控设备输出的音视频数据，将音视频数据进行编码，得到编码后的音视频数据；将音视频数据推送成功消息发送给所述信令服务器，以使信令服务器将音视频数据推送成功消息发送给控制端；将编码后的音视频数据发送给流媒体服务器，以使流媒体服务器在接收到控制端发送的播放请求后，将编码后的音视频数据发送给控制端；不受场景限制，在被控端中安装APP后，控制端就可以实现对被控端的远程控制，从而提高用户体验。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的可视化的远程控制方法的步骤。

本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，计算机可读介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的可视化的远程控制方法的步骤。

本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。