工业边缘服务器应用的分布式交互协同方法

技术领域

本发明涉及一种协同方法，具体涉及一种工业边缘服务器应用的分布式交互协同方法，属于物联网设备技术领域。

背景技术

目前工业边缘服务器充当终端和云之间的中转服务，负责向下终端，物联网传感器对接，向上和云服务对接；在常用的工业互联场景，边缘服务器是采用工控级设备部署在生产场所的带防护的机柜；本身一般不会直接提供配置显示器，键盘，鼠标等常用物理交互设备；日常工作或者需要打开设备箱临时接入外设十分不方便；如改造机柜，增加工业级显示和输入设备，增加了额外成本。现有方案对边缘服务器应用的使用都是通过SSH等字符终端或者远程桌面接入方式，体验感较差；另外需要在边缘服务器部署额外的服务程序并开放网络端口，扩大了安全攻击面。

目前由于边缘服务器不配置显示设备，仅通过面板灯表示状态；如边缘服务器负责和云以及其他设备通讯交互，一般通过网络交互。

目前主流的技术方式由以下几类：

1.用户和边缘服务器交互采用Telnet，SSH等字符终端协议进行命令操作，这种方式只能显示和接受字符，无法提供富媒体交互体验。

2.远程桌面方式，通过使用RDP，SPIC等进行远程控制，将媒体显示，音频输出，键盘或者输入控制通过网络编码传递，由于所有媒体等处理都是在服务端处理，需要占用服务器处理资源，终端侧作为虚拟屏幕和虚拟设备，另外经过处理后的富媒体通过特别是屏幕显示部分需要通过网络传输，导致大量网络数据流量，占用网络带宽，如果边缘服务通过4G/5G等付费网络还会需要产生流量费用。另外由于显示全部通过图像帧传递，低带宽网络会产生延迟，导致体验感较差。

3.边缘服务器提供WEBAPP，通过网页界面和终端交互；同样网页在富媒体交互时需要占用大量带宽，现有网页应用针对输入交互基本只能提供字符，和少量的感知信息(如位置)。上述方式都需要边缘服务器开放相应的网络端口，终端接入网络，增加的安全攻击面，另外如果需要接入的终端之间交互，需要边缘服务器进行中心式的中转和调度处理，占用边缘服务的额外的带宽和算力。因此，迫切的需要一种新的方案解决上述技术问题。

发明内容

本发明正是针对现有技术中存在的问题，提供一种工业边缘服务器应用的分布式交互协同方法，该技术方案在解决本方案提供一种分离式模块的应用，用于边缘服务器和接入终端的协同交互，应用的不同子模块可以在不同终端，边缘服务器分离安装，分离执行。分离模块可以独立执行，使用所在设备/服务器本地资源和外部设备连接，需要其他系统相应时通过总线式通讯机制相互交付。

为了实现上述目的，本发明的技术方案如下，工业边缘服务器应用的分布式交互协同方法，所述方法包括以下步骤：步骤1：系统运算时会有多个设备协同完成功能，各个设备系统安装基础运行时底座,应用发布时会将涉及的所有模块打包成为一个全量的安装包，包括应用所需的所有模块，以及这些模块依赖的能力的描述信息，供设备安装应用时使用,

步骤2：本系统的应用安装时，系统会根据设备将应用的模块描述分发到合适的设备上,

步骤3：设备和功能模块需要的能力进行匹配，设备只安装本设备支持的一个或多种模块，例如有屏幕的设备才安装显示模块，有键盘的设备安装输入模块。业务处理时，不同设备承担不同的角色，装载运行本设备已经安装的模块,

步骤4：模块运行时，遇到本设备不提供需要的能力，会在协同的设备中寻找相应能力的模块，在合适的设备上执行发送相关指令或者数据，完成整个应用的交互和协同过程。

一种分离式应用交互模块系统平台，所述系统包括显示输出模块、交互输入模块、媒体处理模块、指令管理模块、数据管理模块、业务处理模块以及基础运行时底座，其中显示输出模块，提供界面定义DSL语言解析子系统，显示数据通讯子系统，显示指令通讯子系统，显示媒体服务子系统，显示输出子系统，DSL语言解释器将显示指令和界面定义文件解析成2维或者3维渲染指令，输出给显示输出子系统，如果指令时多媒体播放，将多媒体源直接通过显示子系统的解码器输出布局定义文件指定的屏幕位置。显示输出不仅式屏幕输出，还包括音频输出，3D输出，VR/AR输出；

交互输入模块,提供接受人键盘，指点设备的输入，或者采集终端连接的传感器的数据，数据不直接传递给其他分离式模块，而是本地处理后，在延时许可范围内将处理后的结果数据发送给边缘服务器的数据处理，数据分析或者业务处理模块；

媒体处理模块，负责提供管理媒体内容，管理媒体源和媒体目的的使用，根据提供媒体的编码，解码，本地化使用或者远程服务发布；

指令管理模块，将模块间的交互编码成为场景化的应用间协同指令，通过精简后的指令代替交互输入输出，从而减少指令交互的数据量，例如图像交互式的双指旋转，不是传递终端指点设备的手指的轨迹，而是发送旋转+角度指令。

数据管理模块，提供需要数据的快速访问方式，其中静态数据，比如应用图标等资源，通过应用安装时能够进行压缩同步，尽可能将资源本地化使用；对于远程数据，通过预存取以及缩略先传，相邻终端快速共享等方式提供快速的数据访问；

业务处理模块，业务处理模块负责执行业务逻辑，在某些情况下业务处理模块由多个子模块构成，这些子模块也可以分离安装运行。

基础运行时底座，模块运行时底座提供模块运行的通用能力，运行时底座提供数据总线，运行时底座负责分离访问应用设备间数据；提供底层缓存管理机制，将大量产生中间处理数据在模块所在终端内部使用；运行时底座提供系统基础库，包括压缩和精简算法；数据编解码，安全加解密等基础功能；运行时底座负责访问基础的系统底层和硬件设备访问，管理通讯接入，设备激活和关闭；运行时底座构建的多种通讯总线进行设备模块间通讯，通讯内容包括消息，指令，数据。模块间数据包括：业务数据，包括媒体数据，文件数据等连续或者批量的传递；指令数据，提供一个分离应用模块向另外一个应用模块发送控制命令；消息数据，提供分离应用模块间简短信息的传递。

通过本发明提供的基于分离式应用，将应用的显示模块，应用的交互模块，应用的多媒体输入输出模块，和核心的数据处理模块，业务处理模块分离，将交互部分安装在一个/多个移动终端上，而核心处理部分运行在边缘服务器，利用终端丰富的媒体能力和自带传感能力，和边缘服务器核心技术能力，AI处理能力分离协同，提供既有富媒体交互体验，同时兼顾服务高效使用的方法。

作为本发明的一种改进，具体实施方法如下：

1)根据场景将应用模块分解成为用户接受信息的显示模块，输入模块，业务处理模块，和数据管理模块，

2)根据模块所属的终端硬件分布，将上述模块再按照功能分类和物理位置进行2次分离，

2.1将显示模块分离成为操作界面显示模块，IOT数据显示模块，媒体显示模块

2.2将输入模块分离成为人机交互输入模块，设备传感器输入模块，

2.3将媒体处理模块分离成为媒体源(生产者)，媒体汇聚(消费者)

3)分析上述模块的数据处理进行分析：

3.1处理数据根据动态数据，静态数据进行分类，

3.2处理数据的属性进行分类，如本地来源，其他终端P2P来源，服务来源，

4)根据上述数据设计模块接口和选择通讯方式，

5)针对显示模块，

5.1如模块只使用本地数据，则分离应用交互的通讯使用通过指令方式，发起方向接受方发送相应指令即可，如用户界面显示模块打开相应的界面页面，发起方只要发送显示页面和页面ID即可，即通过指令总线交互，

5.2如果数据变化需要显示部分动态更新，不需要实时显示更新步，可选择用数据总线构建数据通道，通过指令总线发送更新指令给显示模块,显示模块对接数据总线数据通道来获取显示更新，

5.3如果简单少量数据更新，数据处理模块发送数据更新通知给显示模块，显示模块获取通知后，如果需要才更新通知，

6)针对输入模块同样根据数据类型选择不同的总线将输入信息发送给需要的目标模块，

6.1针对连续输入数据，构建输入模块和其他模块的数据总线通道，一方发送一方接受，

6.2针对输入是UI类操作，输入模块可不直接发送原始数据，而是对数据处理后发送对应交互指令，

7)应用打包时，按照模块为单位打包，每个模块的配置文件说明该模块的元描述信息，

(MetaInfo)，包括依赖的基础运行时底座的版本，所依赖运行时底座提供的硬件或者服务接口的描述信息。在安装时，运行时底座检查模块的MetaInfo，如果运行时底座提供接口能力不能匹配应用模块描述信息,该设备忽略不安装相应的模块，

8)“基础运行时底座”装载应用模块，根据接口描述信息，将接口注册到相应的总线上，模块可以发送信息到各个总线，接受注册接口的回调通知，

8.1总线通讯时，根据通讯的要求，优先寻找本地登记的目标模块，发送信息到本地相应的目标模块。

8.2如果本地没找到目标模块，通过通讯网络将查询相邻的设备(边缘服务器或者其他终端)的“基础运行时底座”目标模块，查询到将相应信息发送给优先级高的相邻设备。

相对于现有技术，本发明具有如下优点，该技术方案通过分离式模块应用，模块间只发送必要的指令，消息和数据，避免将如图像绘制等中间数据或者原始数据在终端间传递，从而在物联场景下，即使低数据带宽也可以下提供优质的交互体验。并且边缘服务器负责核心业务逻辑处理，充分利用边缘服务器在数据算力和云端互联的优势，让分离应用提供整体体验的提升。在工业生产场景下，终端和边缘服务器采用蓝牙，LoRA等P2P或自组网通讯，可以操作在独立网络上不影响原有网络使用。由于终端和边缘服务器交互，可以不需要接入原有网络，不使用原有服务协议；由于可限制只使用分布应用业务接口指令，从而减少终端本身接入带来的安全风险。在多个终端对接边缘服务器，通过分布式应用终端和终端间可以不通过边缘服务器直接通讯，从而提升的传输效率，减少中转带来的额外网络带宽。

附图说明

图1为本发明整体框架示意图；

图2工业监控场景；

图3现场作业协同场景。

具体实施方式

为了加深对本发明的理解，下面结合附图对本实施例做详细的说明。

实施例1：参见图1-图3，工业边缘服务器应用的分布式交互协同方法，所述方法包括以下步骤：步骤1：系统运算时会有多个设备协同完成功能，各个设备安装基础运行时,应用打包会将涉及的所有模块打包成为一个全量的安装包，包括这些模块需要的能力的描述信息，供平台安装时使用,

步骤2：本系统的应用安装时，系统会根据设备将应用的模块描述分发到合适的设备上,

步骤3：设备和功能模块需要的能力进行匹配，设备只安装可以支持的一个或多种模块，例如有屏幕的设备才安装显示模块，有键盘的设备安装输入模块。业务处理时，不同设备承担不同的角色，装载运行自己已经安装的模块,

步骤4：模块运行时，遇到本设备不提供需要的能力，会在协同的设备中寻找相应能力的模块，在合适的设备上执行发送相关指令或者数据，完成整个应用的交互和协同过程。

一种分离式应用交互模块系统平台，所述系统包括显示输出模块、交互输入模块、媒体处理模块、指令管理模块、数据管理模块、业务处理模块以及基础运行时底座，

其中显示输出模块，提供界面定义DSL语言解析子系统，显示数据通讯子系统，显示指令通讯子系统，显示媒体服务子系统，显示输出子系统，DSL语言解释器将显示指令和界面定义文件解析成2维或者3维渲染指令，输出给显示输出子系统，如果指令时多媒体播放，将多媒体源直接通过显示子系统的解码器输出布局定义文件指定的屏幕位置。显示输出不仅式屏幕输出，还包括音频输出，3D输出，VR/AR输出；

交互输入模块,提供接受人键盘，指点设备的输入，或者采集终端连接的传感器的数据，数据不直接传递给其他分离式模块，而是本地处理后，在延时许可范围内将处理后的结果数据发送给边缘服务器的数据处理，数据分析或者业务处理模块；

媒体处理模块，负责提供管理媒体内容，管理媒体源和媒体目的的使用，根据提供媒体的编码，解码，本地化使用或者远程服务发布；

指令管理模块，将模块间的交互编码成为场景化的应用间协同指令，通过精简后的指令代替交互输入输出，从而减少指令交互的数据量，例如图像交互式的双指旋转，不是传递终端指点设备的手指的轨迹，而是发送旋转+角度指令。

数据管理模块，提供需要数据的快速访问方式，其中静态数据，比如应用图标等资源，通过应用安装时能够进行压缩同步，尽可能将资源本地化使用；对于远程数据，通过预存取以及缩略先传，相邻终端快速共享等方式提供快速的数据访问；

业务处理模块，业务处理模块负责执行业务逻辑，在某些情况下业务处理模块也可以分离，基础运行时底座，模块运行时提供模块运行的通用能力，运行时提供通讯总线，运行时负责分离应用设备间通讯数据，提供底层缓存管理机制，将大量产生中间处理数据在模块所在终端内部使用；运行时提供系统基础库，包括压缩和精简算法；数据编解码，安全加解密等基础功能，运行时负责访问基础的系统底层和硬件设备访问，管理通讯接入，设备激活和关闭，分离应用间通过运行时构建的通讯总线进行通讯，通讯内容包括消息，指令，数据，

数据负责模块间数据等传递，包括媒体数据，文件数据等连续或者批量的传递，指令提供一个分离应用模块向另外一个应用模块发送控制命令，消息提供分离应用模块间简短信息的传递。通过本发明提供的基于分离式应用，将应用的显示模块，应用的交互模块，应用的多媒体输入输出模块，和核心的数据处理模块，业务处理模块分离，将交互部分安装在一个/多个移动终端上，而核心处理部分运行在边缘服务器，利用终端丰富的媒体能力和自带传感能力，和边缘服务器核心技术能力，AI处理能力分离协同，提供既由富媒体体验，兼顾服务高效使用的方法。

实施例2：参见图2，分离式应用以工业互联(以设备数据监控场景为例)的具体实施方法如下：

1)根据场景将应用模块分解成为用户接受信息的显示模块，输入模块，业务处理模块，和数据管理模块，

2)根据模块所属的终端硬件分布，将上述模块再按照功能分类和物理位置进行2次分离，

2.1将显示模块分离成为操作界面显示模块，IOT数据显示模块，媒体显示模块

2.2将输入模块分离成为人机交互输入模块，设备传感器输入模块，

2.3将媒体处理模块分离成为媒体源(生产者)，媒体汇聚(消费者)

3)分析上述模块的数据处理进行分析：

3.1处理数据根据动态数据，静态数据进行分类，

3.2处理数据的属性进行分类，如本地来源，其他终端P2P来源，服务来源，

4)根据上述数据设计模块接口和选择通讯方式，

5)针对显示模块，

5.1如模块只使用本地数据，则分离应用交互的通讯使用通过指令方式，发起方向接受方发送相应指令即可，如用户界面显示模块打开相应的界面页面，发起方只要发送显示页面和页面ID即可，即通过指令总线交互，

5.2如果数据变化需要显示部分动态更新，不需要实时显示更新步，可选择用数据总线构建数据通道，通过指令总线发送更新指令给显示模块,显示模块对接数据总线数据通道来获取显示更新，

5.3如果简单少量数据更新，数据处理模块发送数据更新通知给显示模块，显示模块获取通知后，如果需要才更新通知，

6)针对输入模块同样根据数据类型选择不同的总线将输入信息发送给需要的目标模块，

6.1针对连续输入数据，构建输入模块和其他模块的数据总线通道，一方发送一方接受，

6.2针对输入是UI类操作，输入模块可不直接发送原始数据，而是对数据处理后发送对应交互指令，例如图像交互式的双指旋转，原始输入是指点设备的2个手指的多点输入位置的轨迹数据，经过输入模块内部处理，而是发送旋转+角度指令，

7)应用打包时，按照模块为单位打包，每个模块的配置文件说明该模块的元描述信息，

(MetaInfo)，包括依赖的基础运行时底座的版本，说依赖“基础运行时底座”提供的硬件或者服务接口描述信息，在安装时，运行时检查模块的MetaInfo，如果运行时提供接口能力不能匹配应用模块描述信息,不安装相应的模块，

8.)“基础运行时底座”装载应用模块，根据接口描述信息，将通讯接口注册到相应的总线上，模块可以发送信息到各个总线，或者注册的接口的回调通知，

8.1总线通讯时，根据通讯的要求，优先寻找本地登记的目标模块，发送信息到相应的目标模块，

8.2如果本地没找到目标模块，通过通讯网络将查询相邻的设备(边缘服务器或者其他终端)的“基础运行时底座”目标模块，查询到将相应信息发送给优先级高的相邻设备。实施例3：参见图2，分离式应用以工业高处设备维修作业为例)的具体实施方法如下：

根据场景将系统设备有操作工使用的智能头盔设备，支持工程师的平板设备以及作业车上采集分析工作站。

1.根据场景应用分离模块包括录制设备现场状况的摄像设备的视频媒体处理模块，采集现场设备声音和传输语音指令的音频媒体处理模块，将指令或消息数据转换的文本语音播报业务处理模块；查看维护现场视频和指导说明的显示模块，对采集设备进行操纵控制输入模块，设备功能菜单指令模块；对设备采集到的音视频进行处理分析的业务处理处理模块2.根据模块所属的终端硬件分布，将上述模块功能分类，根据设备能力安装在不同设备终端上。

2.1将显示设备视频，显示操作说明的显示模块，用于操作采集设备控制模块安装在有显示屏幕，操纵杆和触摸屏，由支持工程师的使用平板设备。

2.2将设备检测的视频采集模块，音频采集模块，音频播放模块安装在作业操作工的智能头盔上。智能头盔有摄像头，耳麦等音视频装置。这些媒体模块对采集的数据进行预处理，包括压缩编码减少网络处理数据量。同时指令管理模块也安装在智能头盔，用于控制摄像头的焦距或方位，音频的采样率；通过数据处理模块将文本转换成语音播放。

2.3对采集设备的音频和视频数据需要较高的计算性能，这些模块安装在现场的采集分析工作站。

3.模块间的协同，各个设备运行本地的模块，负责本地处理，通过设备间通讯完成协同4.操作工接近现场设备，通过智能头盔摄像头和麦克风进行数据收集，通过预处理后，通过设备间通讯传递给采集分析工作站；

5.如果现场支持工程师参与维修支持，视频也会传输给支持工程师的平板设备，在平板设备上播放。如需要查询细节，支持工程师通过输入模块发送指令到智能头盔的指令管理模块，控制摄像头(如焦距，光圈，补光灯)；

6.同时发送指令到采集分析工作站，指定特定的分析分析算法进行分析，重放历史视频，查询采集分析工作站的知识库，获取推荐的处理方法说明。可将处理方法说明发送智能头盔，智能头盔语音播放相关

7.采集分析工作站接受智能头盔的采集的音视频数据，通过数据管理模块进行本地存储；通过分析工作站的业务处理模块对音频进行频谱分析，对视频进行AI识别处理。采集分析工作站接受智能头盔语音输入，将其转化处理成为业务指令或者操作智能，业务指令可以调用知识库等业务系统提供操作工辅助说明，操作指令可以操纵其他装置。

需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。