协同工作系统、方法及电子设备

技术领域

本申请涉及智能终端技术领域，尤其涉及一种协同工作系统、方法及电子设备。

背景技术

随着互联网的发展，在线教育受到越来越多人的欢迎。在线教育不限时间和地点，且在画面、音频方面更具视觉化和更具吸引力。如何基于智能设备为用户提供较好的在线教育体验，是需要解决的问题。

发明内容

为了解决上述技术问题，本申请实施例提供一种协同工作系统、方法及电子设备。在该协同工作系统中，在该协同工作系统中，电子设备和物联网设备协同工作。其中，拍摄场景中物联网摄像头采集图像的分辨率较高，预览场景中物联网摄像头采集图像的分辨率较低，在满足用户需求的前提下，能够降低物联网设备对硬件芯片的要求，进而降低了物联网设备成本。

第一方面，本申请实施例提供一种协同工作系统，其特征在于，包括：电子设备和物联网设备，物联网设备上设置有摄像头，电子设备中目标应用与物联网设备绑定；

电子设备用于：在系统中注册与摄像头对应的虚拟相机，并通过调用虚拟相机向物联网设备发送图像预览请求；其中，图像预览请求中携带第一图像分辨率；

物联网设备用于：根据电子设备的图像预览请求，调用摄像头根据第一图像分辨率采集预览图像数据，并将预览图像数据发送至电子设备目标应用中进行预览显示；

电子设备还用于：调用虚拟相机时生成拍照请求，并将拍照请求发送至物联网设备；其中，拍照请求中携带第二图像分辨率；第二图像分辨率大于第一图像分辨率；

物联网设备还用于：根据电子设备的拍照请求，调用摄像头按照第二图像分辨率拍摄图像，并将拍摄图像数据发送至电子设备目标应用中进行显示。

其中，目标应用可以是任意需要调用相机的应用程序，例如下文提及的教育应用。

这样，相比于拍摄图像场景，图像预览场景中物联网摄像头采集图像的分辨率较低，传输预览图像流所需的带宽较少，只有传输拍摄图像才需要更多的带宽，能够降低物联网设备对硬件芯片的要求，进而降低了物联网设备成本。由于拍摄图像场景中物联网摄像头采集图像的分辨率较高，也能够满足用户的使用需求。

电子设备和物联网设备协同工作，能够给用户带来较好的使用体验。而且，物联网设备无需具备显示功能，也降低了物联网设备的成本。

根据第一方面，物联网设备为台灯，摄像头用于向下采集图像数据。

这样，相对于用户手持电子设备进行拍摄，物联网设备采集画面更加稳定，且不会影响用户使用电子设备中目标应用时的相关操作。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备用于：响应于第一操作，在系统中注册与摄像头对应的虚拟相机，第一操作用于开启应用中查词功能；目标应用通过电子设备的鉴权；

电子设备还用于：对预览图像进行图像识别，确定手指或指词工具在预览图像中的位置信息，并根据位置信息确定预览图像的ROI信息；

电子设备还用于：调用虚拟相机时生成第一拍照请求，并将第一拍照请求发送至物联网设备；其中，第一拍照请求中携带第二图像分辨率和ROI信息；

物联网设备还用于：根据电子设备的第一拍照请求，调用摄像头按照第二图像分辨率拍摄图像，并根据ROI信息和拍摄图像生成ROI图像，将ROI图像数据发送至电子设备中。

电子设备还用于：对ROI图像进行图像识别，确定待解释文字或待解释图片，并显示与待解释文字或待解释图片对应的释义。

示例性的，第一操作可以是点击目标应用中查询功能选项的操作。

示例性的，指词工具可以时点读笔、各种笔(铅笔、碳素笔等)等类似圆柱形工具。

示例性的，ROI信息可以包括但不限于中心点坐标和区域范围信息。

这样，在电子设备和台灯协同工作给用户提供查词功能时，电子设备利用分辨率较低的预览图像即可识别出用户是否具有指词行为，以及手指或指词工具在预览图像中的位置信息，电子设备利用分辨率较高的拍摄图像能够精准地识别出用户所指的文字或图片。

而且，电子设备将ROI信息发送至IOT设备，以使IOT设备可以根据高分辨率的拍摄图像和IOT信息生成高分辨率的ROI图像，传输ROI图像比传输整张拍摄图像所占用的带宽更少。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备用于：响应于第一操作，在系统中注册与摄像头对应的虚拟相机，第一操作用于开启应用中查词功能；目标应用通过电子设备的鉴权；

电子设备还用于：对预览图像进行图像识别，确定手指或指词工具在预览图像中的位置信息，并根据位置信息确定预览图像的ROI信息；

电子设备还用于：调用虚拟相机时生成第二拍照请求，并将第二拍照请求发送至物联网设备；其中，第二拍照请求中携带第二图像分辨率；

物联网设备还用于：根据电子设备的第二拍照请求，调用摄像头按照第二图像分辨率拍摄图像，并将拍摄图像数据发送至电子设备中；

电子设备还用于：根据ROI信息和拍摄图像生成ROI图像，对ROI图像进行图像识别，确定待解释文字或待解释图片，并显示与待解释文字或待解释图片对应的释义。

示例性的，第一操作可以是点击目标应用中查询功能选项的操作。

示例性的，指词工具可以时点读笔、各种笔(铅笔、碳素笔等)等类似圆柱形工具。

示例性的，ROI信息可以包括但不限于中心点坐标和区域范围信息。

这样，电子设备在本地根据ROI信息和接收到的高分辨率的拍摄图像，得到高分辨率的ROI图像用于精准识别，无需将ROI信息传递IOT设备，减少了信息传输量，无需在相应报文中设置与ROI信息的字段，减少了报文格式的修改量。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备用于：响应于第二操作，在系统中注册与摄像头对应的虚拟相机，第二操作用于开启目标应用中提交作业功能；目标应用通过电子设备的鉴权；

电子设备还用于：响应于第三操作，调用虚拟相机时生成第三拍照请求，将第三拍照请求发送至物联网设备；其中，第三拍照请求中携带第二图像分辨率；

物联网设备还用于：根据电子设备的第三拍照请求，调用摄像头按照第二图像分辨率拍摄图像，并将拍摄图像数据发送至电子设备中。

电子设备还用于：接收并显示物联网设备返回的拍摄图像；响应于第四操作，将拍摄图像上传至数据库。

示例性的，第二操作可以是点击目标应用中作业功能选项的操作，第三操作可以是点击拍照选项的操作，第四操作可以时点击提交选项的操作。

这样，在电子设备和台灯协同工作给用户提供作业提交功能时，预览图像分辨率较低，减少了带宽占用，而拍摄得到用于提交的作业图像的分辨率较高，能够保证用户提交的作业图像质量。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备还用于：在系统中注册与摄像头对应的虚拟相机之前，对物联网设备进行校验，连接物联网设备，并获取物联网设备是否具有支持虚拟化相机的能力；

电子设备还用于：在确定物联网设备具有支持虚拟化相机的能力时，在系统中注册与摄像头对应的虚拟相机。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备包括相机服务、虚拟相机HAL，硬件虚拟化服务、传输管理服务；物联网设备包括设备互联服务；传输管理服务和设备互联服务用于提供对电子设备和物联网设备互联的能力；

电子设备用于：将图像预览请求依次通过相机服务、虚拟相机HAL、硬件虚拟化服务、传输管理服务传输至物联网设备的设备互联服务，并将接收到的预览图像数据依次通过传输管理服务、硬件虚拟化服务、虚拟相机HAL、相机服务发送至目标应用进行显示；其中，目标应用适配硬件虚拟化服务和传输管理服务。

这样，目标应用的图像预览功能基于设备系统原生的相机服务实现，能够减少目标应用的程序改动量。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备用于：将拍照请求依次通过硬件虚拟化服务、传输管理服务传输至物联网设备的设备互联服务，并将接收到的拍摄图像数据依次通过传输管理服务、硬件虚拟化服务发送至目标应用进行显示。

这样，目标应用的拍摄功能基于私有协议实现，拍摄请求及拍摄图像的传输路径更短，降低了时延。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备包括手机、平板电脑。

根据第一方面，或者以上第一方面的任意一种实现方式，第一图像分辨率为480P，第二图像分辨率为1080P。

第二方面，本申请实施例提供了一种协同工作方法，包括：

电子设备在系统中注册与摄像头对应的虚拟相机，并通过调用虚拟相机向物联网设备发送图像预览请求；电子设备中目标应用与物联网设备绑定；其中，图像预览请求中携带第一图像分辨率；

物联网设备根据电子设备的图像预览请求，调用摄像头采集预览图像数据，并将预览图像数据发送至电子设备目标应用中进行预览显示；

响应于用户操作，电子设备调用虚拟相机生成拍照请求，并将拍照请求发送至物联网设备；其中，拍照请求中携带第二图像分辨率；第二图像分辨率大于第一图像分辨率；

物联网设备根据电子设备的拍照请求，调用摄像头按照第二图像分辨率拍摄图像，并将拍摄图像数据发送至电子设备目标应用中进行显示。

根据第二方面，物联网设备为台灯，摄像头用于向下采集图像数据。

根据第二方面，或者以上第二方面的任意一种实现方式，该方法还包括：

电子设备响应于第一操作，在系统中注册与摄像头对应的虚拟相机，第一操作用于开启应用中查词功能；目标应用通过电子设备的鉴权；

电子设备对预览图像进行图像识别，确定手指或指词工具在预览图像中的位置信息，并根据位置信息确定预览图像的ROI信息；

电子设备调用虚拟相机时生成第一拍照请求，并将第一拍照请求发送至物联网设备；其中，第一拍照请求中携带第二图像分辨率和ROI信息；

物联网设备根据电子设备的第一拍照请求，调用摄像头按照第二图像分辨率拍摄图像，并根据ROI信息和拍摄图像生成ROI图像，将ROI图像数据发送至电子设备中。

电子设备对ROI图像进行图像识别，确定待解释文字或待解释图片，并显示与待解释文字或待解释图片对应的释义。

根据第二方面，或者以上第二方面的任意一种实现方式，该方法还包括：

电子设备响应于第一操作，在系统中注册与摄像头对应的虚拟相机，第一操作用于开启应用中查词功能；目标应用通过电子设备的鉴权；

电子设备对预览图像进行图像识别，确定手指或指词工具在预览图像中的位置信息，并根据位置信息确定预览图像的ROI信息；

电子设备调用虚拟相机时生成第二拍照请求，并将第二拍照请求发送至物联网设备；其中，第二拍照请求中携带第二图像分辨率；

物联网设备根据电子设备的第二拍照请求，调用摄像头按照第二图像分辨率拍摄图像，并将拍摄图像数据发送至电子设备中；

电子设备根据ROI信息和拍摄图像生成ROI图像，对ROI图像进行图像识别，确定待解释文字或待解释图片，并显示与待解释文字或待解释图片对应的释义。

根据第二方面，或者以上第二方面的任意一种实现方式，该方法还包括：

电子设备响应于第二操作，在系统中注册与摄像头对应的虚拟相机，第二操作用于开启目标应用中提交作业功能；目标应用通过电子设备的鉴权；

电子设备响应于第三操作，调用虚拟相机时生成第三拍照请求，将第三拍照请求发送至物联网设备；其中，第三拍照请求中携带第二图像分辨率；

物联网设备根据电子设备的第三拍照请求，调用摄像头按照第二图像分辨率拍摄图像，并将拍摄图像数据发送至电子设备中。

电子设备接收并显示物联网设备返回的拍摄图像；

电子设备响应于第四操作，将拍摄图像上传至数据库。

根据第二方面，或者以上第二方面的任意一种实现方式，在电子设备在系统中注册与摄像头对应的虚拟相机之前，该方法还包括：电子设备对物联网设备进行校验，连接物联网设备，并获取物联网设备是否具有支持虚拟化相机的能力；

电子设备在系统中注册与摄像头对应的虚拟相机，可以包括：电子设备在确定物联网设备具有支持虚拟化相机的能力时，在系统中注册与摄像头对应的虚拟相机。

根据第二方面，或者以上第二方面的任意一种实现方式，电子设备包括相机服务、虚拟相机HAL，硬件虚拟化服务、传输管理服务；物联网设备包括设备互联服务；传输管理服务和设备互联服务用于提供对电子设备和物联网设备互联的能力；

电子设备向物联网设备向发送图像预览请求，可以包括：电子设备将图像预览请求依次通过相机服务、虚拟相机HAL、硬件虚拟化服务、传输管理服务传输至物联网设备的设备互联服务；

电子设备接收物联网设备返回的预览图像数据并显示，可以包括：

将接收到的预览图像数据依次通过传输管理服务、硬件虚拟化服务、虚拟相机HAL、相机服务发送至目标应用进行显示。

根据第二方面，或者以上第二方面的任意一种实现方式，电子设备向物联网设备向发送拍照请求，可以包括：电子设备将拍照请求依次通过硬件虚拟化服务、传输管理服务传输至物联网设备的设备互联服务；

电子设备接收物联网设备返回的拍摄图像数据并显示，可以包括：电子设备将接收到的拍摄图像数据依次通过传输管理服务、硬件虚拟化服务发送至目标应用进行显示。

根据第二方面，或者以上第二方面的任意一种实现方式，电子设备包括手机、平板电脑。

根据第二方面，或者以上第二方面的任意一种实现方式，第一图像分辨率为480P，第二图像分辨率为1080P。

第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第三方面，本申请实施例提供一种电子设备。该电子设备包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行第二方面以及第二方面的任意一种实现方式中由电子设备执行的方法步骤所构成的协同工作方法。

第三方面以及第三方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第四方面，本申请实施例提供一种物联网设备。该物联网设备包括：一个或多个处理器；存储器；摄像头；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得物联网设备执行第二方面以及第二方面的任意一种实现方式中由物联网设备执行的方法步骤所构成的协同工作方法。

第四方面以及第四方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第五方面，本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行第二方面以及第二方面的任意一种实现方式中由电子设备执行的方法步骤所构成的协同工作方法，或者使得电子设备执行第二方面以及第二方面的任意一种实现方式中由物联网设备执行的方法步骤所构成的协同工作方法。

第五方面以及第五方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第六方面，本申请实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行第二方面以及第二方面的任意一种实现方式中由电子设备执行的方法步骤所构成的协同工作方法，或者执行第二方面以及第二方面的任意一种实现方式中由物联网设备执行的方法步骤所构成的协同工作方法。

第六方面以及第六方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第七方面，本申请提供了一种芯片，该芯片包括处理电路、收发管脚。其中，该收发管脚和该处理电路通过内部连接通路互相通信，该处理电路执行第二方面以及第二方面的任意一种实现方式中由电子设备执行的方法步骤所构成的协同工作方法，或者执行第二方面以及第二方面的任意一种实现方式中由物联网设备执行的方法步骤所构成的协同工作方法，以控制接收管脚接收信号，以控制发送管脚发送信号。

第七方面以及第七方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。

附图说明

图1a-图1b为示例性示出的一种应用场景；

图2a为示例性示出的电子设备的硬件结构示意图；

图2b为示例性示出的电子设备的软件结构示意图；

图3a为示例性示出的物联网终端的硬件结构示意图；

图3b为示例性示出的物联网终端的软件结构示意图；

图4a为本申请实施例提供的一种模块交互示意图；

图4b为本申请实施例提供的一种模块交互示意图；

图5a-图5b为示例性示出的一种应用场景；

图6a为本申请实施例提供的一种模块交互示意图；

图6b为本申请实施例提供的一种模块交互示意图；

图7a-图7b为示例性示出的一种应用场景；

图8为本申请实施例提供的一种模块交互示意图；

图9a-图9c为示例性示出的一种应用场景；

图10为本申请实施例提供的一种模块交互示意图

图11a-图11b为示例性示出的一种应用场景。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。

随着互联网的发展，在线教育受到越来越多人的欢迎，用户(如学生)对在线教育的需求也越来越大。在一些应用场景中，当遇到生词时，学生可以进行在线查词以获取相关解释；在一些应用场景中，对书本内容的在线朗读更便于学生学习知识和发音；在一些应用场景中，学生需要将其作业进行在线提交。因此，如何基于智能设备满足用户的在线教育需求，是需要解决的问题。

目前，针对在线教育场景用户通常使用兼备拍摄功能和显示功能的智能学习机，此种设备需要在特殊位置摄像头或者反光镜，以实现对书本的拍摄，通用性和易用性不强。另外，兼具拍摄功能和显示功能的设备需要较强的硬件和系统支持，设备成本较高。进而，如何基于智能设备为用户提供较好的在线教育体验，提升通用性和易用性，降低在线教育成本，是需要解决的问题。

本申请实施例提供的一种协同工作系统，可以应用于在线教育场景。该系统工作系统包括建立通信连接的电子设备和台灯，台灯上设置有摄像头，可用于向下拍摄书本。电子设备调用台灯的摄像头采集图像，并结合平台在线教育资源即可满足用户的在线教育需求。其中，电子设备可以是平板电脑或手机等。除了在线教育场景，电子设备和台灯还可以基于各自的基本功能(即通信功能和照明功能)为用户服务。这样，该系统工作系统可以基于用户常用的两个智能设备为用户打造更好的在线教育体验，通用性和易用性都较强。另外，由于平板电脑或手机等早已是家家户户的必备产品，且只有拍摄功能的台灯设备成本显示会低于兼具拍摄功能和显示功能的设备，极大地降低了用户的在线教育成本。

下述以电子设备为平板为例，对本申请提供的技术方案进行解释说明。

图1a示例性的示出了一种应用场景。如图1a所示，协同工作系统包括建立通信连接的平板100和台灯200。其中，台灯200包括摄像头201，用于向下采集图像，例如可以是向下拍摄书本中文字内容或图片内容。平板100中安装教育APP(Application，应用程序)，该教育APP可以调用台灯200的摄像头201采集图像，并根据台灯200的摄像头201采集到的图像为用户提供各种在线教育功能，例如在线查词、在线朗读、在线提交作业等。

虽然平板也具有前置摄像头和后置摄像头，但无论使用哪个摄像头拍摄书本，都需要用户手持平板将摄像头对准书本，不仅拍摄不稳定，还影响用户用手执行的指读、点读操作，无法给用户提供较好的在线教育体验。如图1a所示，平板100和台灯200均可以固定位置放置，平板100使用台灯200的摄像头201拍摄书本，拍摄画面稳定使得内容识别成功率高，用户也可以灵活地在书本中进行指读、点读操作。由此，平板和台灯联动可以给用户提供较好的在线教育体验。

如图1b所示，平板100和台灯200可以进行近场通信或远场通信。其中，近场通信可以通过路由器等设备完成设备间信息交互，远场通信可以通过云服务器完成设备间信息交互。示例性的，平板100和台灯200可以基于Wi-Fi(wireless fidelity，无线保真)网络协议等实现近场通信。

如图2a所示为电子设备100的结构示意图。可选地，电子设备100可以为终端，也可以称为终端设备，终端可以为蜂窝电话(cellular phone)或平板电脑(pad)等设备，本申请不做限定。需要说明的是，电子设备100的结构示意图可以适用于图1a～图1b中的平板。应该理解的是，图2a所示的电子设备100仅是电子设备的一个范例，并且电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图2a中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器，陀螺仪传感器，加速度传感器，温度传感器，运动传感器，气压传感器，磁传感器，距离传感器，接近光传感器，指纹传感器，触摸传感器，环境光传感器，骨传导传感器等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如Wi-Fi网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

在本申请实施例中，显示屏194可以显示拍摄预览界面和拍照图像界面等。需要说明的是，在本申请实施例中，拍摄预览界面是指用户可通过显示屏194观看台灯摄像头实时采集的图像的界面。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理，例如使得电子设备100实现本申请实施例中的协同工作方法。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。在一些实施例中，电子设备100可以设置多个扬声器170A。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器可以设置于显示屏194。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。

触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏194，由触摸传感器与显示屏194组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。

按键190包括开机键(或称电源键)，音量键等。按键190可以是机械按键，也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图2b是本申请实施例的电子设备100的软件结构框图。

电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，系统层，HAL层(Hardware Abstract Layer，硬件抽象层)，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2b所示，应用程序包可以包括通话、视频、蓝牙、相机、WLAN、教育应用、设备管家应用等。应用程序包还可以包括日历、地图、导航、音乐、短信息等应用程序。

其中，教育应用可以用于为用户提供在线教育功能，例如在线识词、在线朗读、在线提交作业等。

在一些示例中，设备管家应用可以用于对台灯等IOT(Internet of Things，物联网)设备进行绑定。在一些示例中，教育应用可以实现对台灯等IOT(Internet of Things，物联网)设备的绑定。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2b所示，应用程序框架层可以包括相机服务、鉴权服务、硬件虚拟化服务、设备管理服务、传输管理服务等。

其中，相机服务(camera service)可以用于响应于应用的请求，调用摄像头(包括前置摄像头和/或后置摄像头)。

在本申请实施例中，相机服务可以用于响应于应用的请求，调用电子设备侧的虚拟摄像头，也即调用IOT设备中的摄像头。

鉴权服务用于提供安全权限管理能力。

硬件虚拟化服务，可以用于在电子设备侧(即中心设备侧)与IOT设备侧之间建立逻辑通道，提供虚拟化相机的能力。

设备管理服务，可以用于IOT设备发现及管理，为教育应用等应用程序提供远场(即云端)IOT设备信息以及近场(即附近可连接)的IOT设备信息。

传输管理服务，可以用于建立物理传输通道，提供数据传输能力。

除此之外，还可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。

系统库与运行时层(即系统层)包括系统库和安卓运行时(Android Runtime)。

Android Runtime(安卓运行时)包括核心库和虚拟机。Android Runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

在本申请实施例中，Android Runtime还包括虚拟相机适配层，提供虚拟相机注册的能力。

系统层中的系统库可以包括多个功能模块。例如：多媒体平台、图形图像处理库、编解码等。

多媒体平台可以用于对多媒体的管理，支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。多媒体平台可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

图形图像处理库可以用于实现图形绘图，图像渲染，合成，和图层处理等。

编解码器可以用于实现对音频数据、视频数据的编解码操作。

HAL层为位于操作系统内核与硬件电路之间的接口层。HAL层包括但不限于：音频HAL、传感器HAL、调制解调HAL、相机HAL、虚拟相机HAL。

其中，音频HAL用于对音频流进行处理，例如，对音频流进行降噪、定向增强等处理。相机HAL用于对与电子设备侧摄像头对应的图像流进行处理，虚拟相机HAL用于对电子设备侧注册的虚拟相机对应的图像流进行处理，也即用于对IOT设备侧摄像头采集的图像流进行处理。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，相机区域，音频驱动，网络驱动(如Wi-Fi驱动)，CPU驱动，USB驱动，存储驱动，打印驱动等。其中，硬件至少包括处理器、显示屏、Wi-Fi模块等。

可以理解的是，图2b示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。

如图3a所示为物联网设备200的硬件结构示意图。需要说明的是，物联网设备200的结构示意图可以适用于图1a～图1b中的台灯。应该理解的是，图3a所示的物联网设备200仅是电子设备的一个范例，并且物联网设备200可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图3a中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

物联网设备200可以包括：处理器210，摄像头201，无线通信模块202，存储器203，音频模块204，USB接口205，充电管理模块206，电源管理模块207，电池208，照明装置209，按键211等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括GPU，ISP，控制器，存储器，视频编解码器等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以是物联网设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

摄像头201用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。以台灯为例，摄像头201可以设置于台灯支架上，用于向下采集图像。

物联网设备200可以通过ISP，摄像头201，视频编解码器，GPU等实现拍摄功能。

ISP用于处理摄像头201反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头201中。

无线通信模块202可以提供应用在物联网设备200上的包括WLAN(如Wi-Fi网络)，蓝牙(bluetooth，BT)等无线通信的解决方案。在一些实施例中，物联网设备200的天线和无线通信模块202耦合，使得物联网设备200可以通过无线通信技术与网络以及其他设备通信。

存储器203可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器210通过运行存储在存储器203的指令，从而执行物联网设备200的各种功能应用以及数据处理，例如使得物联网设备200实现本申请实施例中的协同工作方法。

物联网设备200可以通过音频模块204，扬声器212等实现音频功能，例如音乐播放等。

USB接口205是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口205可以用于连接充电器为物联网设备200充电，也可以用于物联网设备200与外围设备之间传输数据。

充电管理模块206用于从充电器接收充电输入。充电管理模块206为电池208充电的同时，还可以通过电源管理模块207为物联网设备200供电。

电源管理模块207用于连接电池208，充电管理模块206与处理器210。电源管理模块207接收电池208和/或充电管理模块206的输入，为处理器210，存储器203，摄像头201，无线通信模块202，以及照明装置209等供电。

按键211包括开机键(或称电源键)等。

物联网设备200的软件系统可以采用分层架构或者其他架构等。本申请实施例以分层架构为例，示例性说明物联网设备200的软件结构。

图3b是本申请实施例的物联网设备200的软件结构框图。

物联网设备200的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将物联网设备200的系统分为三层，从上至下分别为应用程序层，应用程序框架层，系统层，以及内核层。

如图3b所示，应用程序层可以包括设备应用服务，设备应用服务可以理解为系统级应用，物联网设备200系统启动后设备应用服务启动。

如图3b所示，应用程序框架层可以包括设备互联服务、硬件抽象服务、资源管理器等。

设备互联服务，可以用于建立物理传输通道，提供数据传输能力，同时可以管理硬件抽象服务的启动开关。

硬件抽象服务，可以用于在电子设备侧(即中心设备侧)和IOT设备之间建立逻辑通道，提供虚拟化相机的能力，同时提供IOT设备的相机开放接口。

资源管理器可以为应用程序提供各种资源。

如图3b所示，系统层可以包括多媒体平台、图形图像处理库、编解码器、设备适配模块等。

多媒体平台可以用于对多媒体的管理，支持多种常用的音频，视频，以及静态图像文件等。多媒体平台可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

图形图像处理库可以用于实现图形绘图，图像渲染，合成，和图层处理等。

编解码器可以用于实现对音频数据、视频数据的编解码操作。

设备适配模块可以实现硬件抽象服务的接口，可以提供设备信息和能力查询，还可以提供在IOT设备侧执行相关操作的功能，例如打开摄像头、拍照、预览等功能。

可以理解的是，电子设备100和物联网设备200为了实现本申请实施例中的协同工作方法，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

如图4a所示为各模块的交互示意图。参照图4a，本申请实施例提供平板和台灯协同工作的方法流程，具体包括：

0.设备服务初始化阶段

S0.1，响应于用户操作，台灯的设备应用服务启动，加载设备互联服务。

示例性的，用户操作可以时用户开启台灯电源的操作。响应于用户操作，台灯系统启动，设备应用服务随之启动，并加载设备互联服务。其中，设备互联服务可以用于在平板和台灯之间建立物理传输通道，用于提供数据传输能力。

S0.2，台灯的设备互联服务加载硬件抽象服务。

设备互联服务还可以控制硬件抽象服务的开启。示例性的，在设备互联服务启动后，设备互联服务可以以插件的形式加载硬件抽象服务。其中，硬件抽象服务可以用于在平板和台灯之间建立逻辑通道，提供虚拟化相机的能力，同时还可以提供台灯相机的开放接口。

参照图4b所示的模块交互示意图，硬件抽象服务至少可以包括基础组件和相机组件。其中，在设备服务初始化阶段，设备互联服务加载首先加载基础组件，并对基础组件进行初始化。在基础组件初始化之后，可以与台灯的设备适配模块进行信息交互，获取设备信息和虚拟化能力信息。示例性的，设备信息包括但不限于设备名称、设备标识、设备类型等。示例性的，虚拟化能力信息包括但不限于是否支持虚拟化相机、是否支持虚拟化麦克风等。

其中，台灯具有支持虚拟化相机的能力，可以理解为台灯的摄像头允许其他电子设备(如平板)调用，也即可以理解为台灯的摄像头允许被作为其他电子设备的虚拟相机。

在基础组件获取到台灯的设备信息和能力信息之后，如果台灯具有支持虚拟化相机的能力，则基础组件加载相机组件，以提供虚拟化相机的能力。此时，基础组件即可进行协商通道建立准备，以待与平板建立协商通道协商网络连接相关信息(包括但不限于IP地址和端口等)。其中，在基础组件进行协商通道建立准备时，创建一个会话服务(SessionServer)，并将会话服务的会话名称(Session Name)发送至设备互联服务中，以待平板侧的传输管理服务与台灯侧的设备互联服务建立协商通道。

1.设备发现阶段

S1.1，响应于用户操作，平板的教育APP向设备管理服务发送设备发现指令。

其中，用户操作可以是用户点击教育APP中需要调用虚拟相机的功能选项的操作。示例性的，用户操作可以时用户点击教育APP中点读功能、查词功能、作业功能、拍照功能的操作。

平板的教育APP接收到用户操作，响应于该操作，向平板的设备管理服务发送设备发现指令。其中，设备发现指令，用于指示查找能够与平板建立连接的IOT设备。示例性的，设备发现指令中可以包括但不限于指令类型和待发现的设备类型。在本实施例中，设备发现指令具体用于查找能够与平板建立连接的台灯。

S1.2，平板中设备管理服务调用鉴权服务对教育APP进行鉴权，获取到对教育APP的鉴权结果。

设备管理服务接收到设备发现指令后，可以基于安卓系统已有机制获取到教育APP的名称(或标识)，并根据教育APP的名称对教育APP进行APP鉴权。其中，设备管理服务可以调用鉴权服务对教育APP进行鉴权，以得到对教育APP的鉴权结果。

在本实施例中，平板侧应用程序框架层中还提供有与设备管理服务对应的设备管理API，以及与硬件虚拟化服务对应的硬件虚拟化API。为了实现本实施例提供的技术方案，教育APP需要在相关平台(例如平板厂商提供的平台)上注册，适配设备管理服务、硬件虚拟化服务以及传输管理服务的框架，并申请设备管理API和硬件虚拟化API的权限。

示例性的，鉴权服务访问鉴权服务器，以通过鉴权服务器对教育APP进行鉴权，包括但不限于鉴权是否在相关平台上注册，是否适配了相关框架，是否申请了相关API权限。

又示例性的，鉴权服务可以根据本地白名单对教育APP进行鉴权。

在鉴权服务得到教育APP的鉴权结果(鉴权成功或鉴权失败)，将鉴权结果发送给设备管理服务。

S1.3，平板中设备管理服务在教育APP鉴权成功时向传输管理服务发送设备搜索指令。

如果教育APP鉴权成功，则设备管理服务向传输管理服务发送设备搜索指令。其中，设备搜索指令可以包括但不限于指令类型、待搜索的设备类型以及搜索方式。示例性的，搜索方式包括但不限于近场设备扫描和从云服务器中获取设备信息。在本实施中，待搜索的设备类型为台灯。

S1.4，平板中传输管理服务根据设备搜索指令获取到远近场设备列表，并将远近场设备列表发送给设备管理服务。

远近场设备列表包括远场设备列表和近场设备列表。其中，远场设备列表中包括的远场设备是指从云服务器中获取到的已注册设备，近场设备列表中包括的近场设备是指通过近场通信扫描到的设备。在远场设备列表和近场设备列表中，设备信息包括但不限于设备名称、设备标识、设备类型等。

传输管理服务接收到设备搜索指令时，根据设备搜索指令中携带的待搜索的设备类型以及搜索方式执行相关设备搜索操作，如执行近场设备扫描操作以及在云服务器中获取相关设备信息的操作，得到远场设备列表和近场设备列表，并将远场设备列表和近场设备列表发送给设备管理服务。

S1.5，平板中设备管理服务根据远近场设备列表进行设备过滤，并将过滤后得到的设备信息上报给教育APP。

设备管理服务根据远场设备列表和近场设备列表进行设备过滤，确定能够与平板联动的台灯信息，并发送给教育APP。其中，设备管理服务可以对远场设备列表和近场设备列表执行取交集的操作，过滤掉仅存在于远场设备列表或仅存在于近场设备列表中的台灯，将既存在于远场设备列表又存在于近场设备列表中的台灯，作为能够与平板联动的台灯信息。这样，设备管理服务能够过滤掉未在云服务器中注册的台灯，也能过滤掉无法与平板进行近场通信的台灯。

在另一种可选的实施方式中，若平板和台灯无论是否处于同一个局域网下，平板的传输管理服务可以根据设备搜索指令获取通信设备列表和注册设备列表。其中，通信设备列表中包括的设备是指通过近场通信或远场通信扫描到的设备，注册设备列表中包括的设备是指从云服务器中获取到的已注册设备。近场设备列表中包括的近场设备是指通过近场通信扫描到的设备。在通信设备列表和注册设备列表中，设备信息包括但不限于设备名称、设备标识、设备类型等。

平板中传输管理服务将通信设备列表和注册设备列表发送至设备管理服务，设备管理服务根据通信设备列表和注册设备列表进行设备过滤，并将过滤后得到的设备信息上报给教育APP。其中，设备管理服务可以对通信设备列表和注册设备列表执行取交集的操作，过滤掉仅存在于通信设备列表或仅存在于注册设备列表中的台灯，将既存在于通信设备列表又存在于注册设备列表中的台灯，作为能够与平板联动的台灯信息。这样，设备管理服务能够过滤掉未在云服务器中注册的台灯，也能过滤掉无法与平板进行近场通信的台灯。

2.虚拟相机使能阶段

S2.1，平板的教育APP确定待联动的台灯。

设备管理服务过滤得到的能够与平板联动的台灯数量可以为一个或多个。当台灯数量为一个时，教育APP将其默认作为待联动的台灯；当台灯数量为多个时，教育APP可以为用户展示待联动的台灯列表，以供用户在其中选择，响应于用户的选择操作，教育APP将用户选择的台灯作为待联动的台灯。

需要指出的是，教育APP确定待联动台灯的步骤也可以划分至设备发现阶段，本实施例对此不做限定。

S2.2，平板的教育APP对台灯进行设备校验、设备连接，并获取到台灯具有支持虚拟化相机的能力。

S2.3，平板的教育APP向硬件虚拟化服务发送虚拟相机使能请求。

平板的教育APP在获取到台灯具有支持虚拟化相机的能力之后，向硬件虚拟化服务发送虚拟相机使能请求。其中，虚拟相机使能请求用于指示在虚拟相机HAL中注册虚拟相机。虚拟相机使能请求中可以包括但不限于请求类型、设备名称、设备标识、设备类型以及虚拟相机的标识。

S2.4，平板的硬件虚拟化服务向虚拟相机HAL注册虚拟相机。

硬件虚拟化服务接收到虚拟相机使能请求之后，根据虚拟相机使能请求中向虚拟相机HAL注册相应的虚拟相机。

S2.5，平板的虚拟相机HAL在虚拟相机注册完成之后，向教育APP发送虚拟相机使能成功指示。

下面结合图4b所示的模块交互示意图，对虚拟相机使能阶段的流程进行详细解释说明。参照图4b，虚拟相机使能阶段的流程，主要包括设备校验子阶段(S301-S309)、设备连接子阶段(S310-S321)、设备服务能力请求子阶段(S322-S325)和虚拟相机使能子阶段(S326-S331)。

参照图4b，虚拟相机使能阶段的流程，具体包括如下步骤：

S301，平板中教育APP向硬件虚拟化API发送虚拟相机使能指令。

其中，虚拟相机使能指令用于指示使能虚拟相机，虚拟相机使能指令中可以包括但不限于指令类型、设备名称、设备标识、设备类型。

S302，平板中硬件虚拟化API在接收到虚拟相机使能指令之后，向硬件虚拟化服务的接口调度模块发送设备校验指令。

设备校验指令，用于指示对虚拟相机使能指令中携带的设备信息进行校验。其中，设备校验指令中可以包括但不限于指令类型、设备名称、设备标识、设备类型。

S303，平板中硬件虚拟化服务的接口调度模块向硬件虚拟化服务的权限管理模块发送APP鉴权指令。

硬件虚拟化服务的接口调度模块接收到设备校验指令之后，首先向硬件虚拟化服务的权限管理模块发送APP鉴权指令，以对发起虚拟相机使能指令的APP进行鉴权。其中，APP鉴权指令中可以包括但不限于APP的名称。

S304，平板中硬件虚拟化服务的权限管理模块对教育APP进行APP鉴权。

示例性的，权限管理模块可以访问鉴权服务器，以通过鉴权服务器对教育APP进行鉴权，包括但不限于鉴权是否在相关平台上注册，是否适配了相关框架，是否申请了相关API权限。其中，权限管理模块可以通过鉴权服务来访问鉴权服务器，本实施例对此不做限定。

S305，平板中硬件虚拟化服务的权限管理模块在对教育APP鉴权成功时，向接口调度模块发送鉴权成功指示。

权限管理模块得到教育APP的鉴权结果之后，如果教育APP鉴权成功，则向接口调度模块发送鉴权成功指示，如果教育APP鉴权失败，则向硬件虚拟化API发送鉴权失败指示，以使硬件虚拟化API根据鉴权失败指示向教育APP返回APP无权限的指示信息。

S306，平板中硬件虚拟化服务的接口调度模块在确定教育APP鉴权成功时，向设备管理模块发送设备校验指令。

硬件虚拟化服务的接口调度模块接收到鉴权成功指示，确定教育APP鉴权成功之后，向设备管理模块发送设备校验指令。其中，设备校验指令用于对待联动的设备进行状态校验，在本实施例中具体用于对待联动的台灯进行状态校验。示例性的，设备校验指令中可以包括但不限于指令类型、设备名称、设备标识、设备类型。

S307，平板中硬件虚拟化服务的设备管理模块向设备管理服务的设备简介模块发送设备信息查询指令。

其中，设备管理服务的设备简介模块中存储有当前在线的设备信息。

硬件虚拟化服务的设备管理模块接收到设备校验指令之后，向设备管理服务的设备简介模块发送设备信息查询指令，设备信息查询指令中可以包括但不限于设备名称、设备标识、设备类型。

S308，平板中设备管理服务的设备简介模块向硬件虚拟化服务的设备管理模块返回设备信息。

设备管理服务的设备简介模块根据设备信息查询指令如果查询到相应的设备，则将设备信息返回给硬件虚拟化服务的设备管理模块。其中，返回的设备信息中可以包括但不限于设备名称、设备标识、设备类型和在线状态。

设备管理服务的设备简介模块根据设备信息查询指令如果未查询到相应的设备，则向硬件虚拟化服务的设备管理模块返回空值，以指示未查询到相应的设备。此时，硬件虚拟化服务的设备管理模块可以向硬件虚拟化API发送设备校验失败指示，以使硬件虚拟化API根据设备校验失败指示向教育APP返回设备校验失败的指示信息。

S309，平板中硬件虚拟化服务的设备管理模块接收到设备信息后，向硬件虚拟化API发送设备校验成功指示。

硬件虚拟化服务的设备管理模块如何接收到设备管理服务的设备简介模块返回的设备信息，则向硬件虚拟化API发送设备校验成功指示，以指示待联动的台灯校验成功。

S310，平板中硬件虚拟化API向硬件虚拟化服务的设备管理模块发送设备连接请求。

硬件虚拟化API在确认待联动的台灯校验成功之后，向硬件虚拟化服务的设备管理模块发送设备连接请求。其中，设备连接请求用于指示与待联动的设备建立网络连接，在本实施例具体用于指示与待联动的台灯建立网络连接。设备连接请求中可以包括但不限于请求类型、设备名称、设备标识、设备类型。

S311，硬件虚拟化服务的设备管理模块接收到设备连接请求后，执行协商通道建立准备操作，并向传输管理服务发送协商通道打开请求。

硬件虚拟化服务的设备管理模块接收到设备连接请求后，准备协商通道。其中，设备管理模块准备协商通道时，创建一个Session Server，并将会话服务的Session Name发送至传输管理服务中。在准备好协商通道之后，向传输管理服务发送协商通道打开请求。其中，协商通道打开请求用于指示建立协商通道，协商通道打开请求中可以包括但不限于对端设备标识(即台灯标识)以及的Session Name。

在本实施例中，协商通道打开请求是平板侧主动发起的，也即是平板需要与台灯建立连接。此时，台灯可以理解为服务端，平板可以理解为需要访问服务端的客户端。

S312，平板中传输管理服务与台灯中设备互联服务建立协商通道。

传输管理服务接收到协商通道打开请求之后，根据Session Name与台灯中设备互联服务交互以建立协商通道。其中，建立协商通道可以具体为创建会话，确定会话标识。

S313，台灯中设备互联服务向硬件抽象服务中的相机组件发送协商通道成功建立指示。

在协商通道建立完成之后，台灯中设备互联服务向硬件抽象服务中的相机组件发送协商通道成功建立指示，以指示协商通道建立完成以及当前存在需要建立连接的设备。其中，该协商通道成功建立指示中可以包括但不限于需要建立连接的设备信息(即平板设备信息)以及会话标识。

S314，平板中传输管理服务向硬件虚拟化服务的设备管理模块发送协商通道成功建立指示。

在协商通道建立完成之后，平板中传输管理服务向硬件虚拟化服务的设备管理模块发送协商通道成功建立指示，以指示协商通道建立完成以及当前存在需要建立连接的设备。其中，该协商通道成功建立指示中可以包括但不限于需要建立连接的设备信息(即台灯设备信息)以及会话标识。

本实施例对S313和S314的执行顺序不做限定。

S315，平板中硬件虚拟化服务的设备管理模块基于协商通道向台灯中硬件抽象服务的相机组件发送设备信息协商请求。

其中，设备协商请求中可以包括但不限于设备信息(如设备名称、设备标识、设备类型等)以及控制通道连接请求。

S316，台灯中硬件抽象服务的相机组件接收到设备协商请求之后，准备控制通道，并向平板中硬件虚拟化服务的设备管理模块返回设备协商信息。

台灯中硬件抽象服务的相机组件接收到设备协商请求之后，解析设备协商请求获取到对端的设备信息进行记录，并根据控制通道连接请求确定一个待监听的IP地址及端口，将IP地址及端口添加至设备协商信息中返回给平板中硬件虚拟化服务的设备管理模块。

需要指出的是，设备协商请求以及设备协商信息是基于建立的协商通道传输的。

S317，平板中硬件虚拟化服务的设备管理模块接收到返回的设备协商信息之后，关闭协商通道。

其中，关闭协商通道可以具体为关闭会话。当平板中硬件虚拟化服务的设备管理模块接收到返回的设备协商信息之后，此次会话结束，硬件虚拟化服务的设备管理模块可以根据会话标识关闭相应的会话。

S318，平板中硬件虚拟化服务的设备管理模块向传输管理服务发送控制通道打开请求。

控制通道打开请求，用于指示与台灯建立网络通信连接。其中，控制通道打开请求中可以包括但不限于通信协议、源IP、源端口、目的IP和目的端口，该目标IP和目的端口即为台灯中硬件抽象服务的相机组件监听的IP和端口。

S319，平板中传输管理服务连接台灯中硬件抽象服务的相机组件的控制通道，并向平板中硬件虚拟化服务的设备管理模块发送控制通道成功连接指示。

平板中传输管理服务接收到控制通道打开请求，根据控制通道打开请求携带的信息与台灯建立控制通道连接，也即建立平板和台灯的网络通信连接。进而，平板中硬件虚拟化服务的设备管理模块与台灯中硬件抽象服务的相机组件，可以基于该控制通道进行网络通信。

在控制通道建立成功之后，平板中传输管理服务向平板中硬件虚拟化服务的设备管理模块发送控制通道成功连接指示。其中，控制通道成功连接指示中可以包括但不限于连接成功标识以及控制通道相关信息。

S321，平板中硬件虚拟化服务的设备管理模块向硬件虚拟化API发送设备连接成功指示。

其中，设备连接成功指示中可以包括但不限于连接成功标识以及连接的设备信息。

S322，平板中硬件虚拟化API向硬件虚拟化服务的设备管理模块发送设备能力请求。

在接收到设备连接成功指示之后，硬件虚拟化API向硬件虚拟化服务的设备管理模块发送设备能力请求。其中，设备能力请求可以用于请求获取对端设备(即台灯)的虚拟化能力信息。示例性的，虚拟化设备能力信息包括但不限于是否支持虚拟化相机、是否支持虚拟化麦克风等。

S323，平板中硬件虚拟化服务的设备管理模块在控制通道中向台灯中硬件抽象服务的相机组件发送设备能力请求。

S324，台灯中硬件抽象服务的相机组件在控制通道中向平板中硬件虚拟化服务的设备管理模块返回设备能力信息。

在本实施例中，返回的台灯的设备能力信息至少可以包括支持虚拟化相机的能力以及台灯的摄像头标识。

S325，平板中硬件虚拟化服务的设备管理模块向硬件虚拟化API发送设备能力信息。

平板中硬件虚拟化服务的设备管理模块将接收到的设备能力信息发送至硬件虚拟化API，以使硬件虚拟化API获知台灯是否具有支持虚拟化相机的能力。

S326，平板中硬件虚拟化API向硬件虚拟化服务的设备管理模块发送虚拟相机使能请求。

平板中硬件虚拟化API获知到台灯具有支持虚拟化相机的能力，向硬件虚拟化服务的设备管理模块发送虚拟相机使能请求。其中，虚拟相机使能请求中可以包括但不限于请求类型和台灯的摄像头标识。

S327，平板中硬件虚拟化服务的设备管理模块在虚拟相机HAL中注册虚拟相机。

其中，硬件虚拟化服务的设备管理模块接收到虚拟相机使能请求后，向虚拟相机HAL发送虚拟相机注册请求。虚拟相机注册请求中可以包括但不限于请求类型和台灯的摄像头标识。虚拟相机HAL接收到虚拟相机注册请求之后，在虚拟相机HAL中给台灯的摄像头注册一个虚拟相机驱动，并给台灯的摄像头分配一个摄像头ID(即虚拟相机ID)，将该摄像头ID注册到系统中。由此，在虚拟相机HAL中建立了台灯摄像头与虚拟相机的映射关系。

S328，平板中硬件虚拟化服务的设备管理模块向台灯中硬件抽象服务的相机组件发送服务状态更新指示。

服务状态更新指示，用于指示台灯中硬件抽象服务的相机组件对其虚拟化服务状态进行更新。其中，虚拟化服务状态可以包括占用状态、未占用状态，或者称可以包括注册状态、未注册状态。示例性的，服务状态更新指示中可以包括但不限于对端设备(即台灯)的设备信息，硬件标识(如台灯摄像头标识)，以及与硬件标识对应的虚拟化服务状态。

S329，台灯中硬件抽象服务的相机组件根据服务状态更新指示进行服务状态更新。

当服务状态更新指示中指示与台灯摄像头对应的虚拟化服务状态为占用状态(或称注册状态)时，相机组件将与其灯摄像头对应的虚拟化服务状态更新为占用状态(或称注册状态)。

S330，平板中硬件虚拟化服务的设备管理模块向硬件虚拟化API发送虚拟相机使能成功指示。

其中，虚拟相机使能成功指示中可以包括但不限于使能成功标识(或称虚拟化成功标识)、台灯的摄像头标识以及与虚拟相机对应的摄像头ID(或称与台灯摄像头对应的摄像头ID)。

本实施例对S328和S330的执行顺序不做限定。

S331，平板中硬件虚拟化API向教育APP发送虚拟相机使能成功指示。

3.虚拟相机预览访问阶段

S3.1，平板中硬件虚拟化API向相机服务发送虚拟相机访问指令。

虚拟相机访问指令，指的是用于调用虚拟相机的指令。其中，虚拟相机访问指令中可以包括但不限于指令类型、虚拟相机ID和摄像头配置参数，配置参数包括但不限于摄像头分辨率和采集帧率。

S3.2，平板中相机服务根据虚拟相机访问指令向虚拟相机HAL发送图像预览请求。

相机服务接收到虚拟相机访问指令后，根据虚拟相机ID生成相应的图像预览请求发送至虚拟相机HAL。其中，该图像预览请求用于请求预览图像数据流。示例性的，该图像预览请求中可以包括但不限于请求标识、虚拟相机ID和摄像头配置参数等。

S3.3，平板中虚拟相机HAL向硬件虚拟化服务发送图像预览请求。

虚拟相机HAL接收到图像预览请求后，根据图像请求中携带的虚拟相机ID，确定匹配的虚拟化硬件标识。在本实施例中，虚拟相机HAL根据虚拟相机ID，以及虚拟相机ID与台灯摄像头的映射关系，确定联动的台灯摄像头，并根据确定的虚拟化硬件标识生成相应的图像请求发送至硬件虚拟化服务。示例性的，该图像预览请求中可以包括但不限于请求标识、设备信息(即台灯信息)、虚拟化硬件标识(即台灯摄像头标识)和摄像头配置参数等。

S3.4，平板中硬件虚拟化服务向传输管理服务发送图像预览请求。

硬件虚拟化服务将图像预览请求发送至传输管理服务。其中，图像预览请求中可以包括但不限于请求标识、设备信息(即台灯信息)、虚拟化硬件标识(即台灯摄像头标识)和摄像头配置参数等。

在平板中硬件虚拟化服务向传输管理服务发送图像预览请求时，如果发现未与台灯建立数据通道，则生成数据通道建立请求，发送至传输管理服务中。数据通道建立请求，用于指示与台灯之间传输数据。其中，数据通道建立请求中可以包括但不限于会话标识、连接信息、数据编解码模式等。

平板中传输管理服务接收到数据通道建立请求，根据数据通道建立请求携带的信息与台灯建立数据通道连接，也即在平板和台灯之间建立数据通道。进而，平板中传输管理服务和台灯中设备互联服务可以基于该数据通道传输各种数据，包括但不限于图像数据。

在数据通道建立成功之后，平板中传输管理服务向平板中硬件虚拟化服务发送数据通道成功连接指示，台灯中设备互联服务向硬件抽象服务中相机组件发送数据通道成功连接指示。其中，数据通道成功连接指示中可以包括但不限于连接成功标识以及数据通道相关信息。

S3.5，平板中传输管理服务向台灯的设备互联服务传输图像预览请求。

平板中传输管理服务根据图像预览请求中携带的设备信息确定相应的控制通道，并在该控制通道中向台灯的设备互联服务传输图像预览请求。

S3.6，台灯中设备互联服务向相机驱动下发图像预览请求。

台灯中设备互联服务接收到图像预览请求之后，根据虚拟化硬件标识确定响应的硬件驱动(在本实施例中为确定相机驱动)，并将相应的图像预览请求发送至相机驱动。

S3.7，台灯中相机驱动驱动摄像头采集图像，并将预览图像数据通过数据通道传输至平板的硬件虚拟化服务。

相机驱动驱动摄像头开启，并驱动摄像头以图像预览请求中携带的摄像头配置参数采集图像，得到预览图像数据流，并将预览图像数据流通过硬件抽象服务发送至设备互联服务，以使设备互联服务在数据通道中向平板的硬件虚拟化服务中持续传输预览图像数据流。其中，关于预览图像数据流的分包组包及编解码流程，此处不再赘述。

S3.8，平板中硬件虚拟化服务将预览图像数据发送至虚拟相机HAL。

硬件虚拟化服务持续接收到预览图像数据流，将预览图像数据流发送至虚拟相机HAL。

S3.9，平板中虚拟相机HAL将预览图像数据发送至相机服务。

此时，虚拟相机HAL持续获取到台灯摄像头采集的预览图像数据，并将预览图像数据持续发送至相机服务。

S3.10，平板中相机服务将预览图像数据发送至教育APP。

S3.11，平板中教育APP显示预览图像。

教育APP通过相机服务接收到预览图像数据流之后，即可在相应的界面中显示预览图像。

4.虚拟相机拍照阶段

S4.1，响应于接收到的用户操作，平板中教育APP向硬件虚拟化服务发送拍照请求。

用户操作例如可以是点击拍照选项的操作。响应于接收到的用户操作，平板中教育APP向硬件虚拟化服务发送拍照请求。其中，拍照请求中可以包括但不限于拍摄图像序号、设备信息(即台灯信息)、虚拟化硬件标识(即台灯摄像头标识)和摄像头配置参数等。摄像头配置参数包括但不限于图像分辨率。

其中，拍照请求还可以携带任务标识，以保证多拍照任务的有序管理。

S4.2，平板中硬件虚拟化服务向传输管理服务发送拍照请求。

S4.3，平板中传输管理服务将向台灯的设备互联服务传输拍照请求。

平板中传输管理服务根据图像预览请求中携带的设备信息确定相应的控制通道，并在该控制通道中向台灯的设备互联服务传输图像预览请求。

S4.4，台灯中设备互联服务向相机驱动下发拍照请求。

台灯中设备互联服务接收到图像预览请求之后，根据虚拟化硬件标识确定响应的硬件驱动(在本实施例中为确定相机驱动)，并将相应的拍照请求发送至相机驱动。

S4.5，台灯中相机驱动驱动摄像头拍摄图像，并将拍摄图像数据通过数据通道传输至平板的硬件虚拟化服务。

相机驱动驱动摄像头以拍照请求中携带的摄像头配置参数采集图像，得到拍摄图像数据，并将拍摄图像数据通过硬件抽象服务发送至设备互联服务，以使设备互联服务在数据通道中向平板的硬件虚拟化服务中持续传输拍摄图像数据。其中，关于拍摄图像数据的分包组包及编解码流程，此处不再赘述。

S4.6，平板中硬件虚拟化服务将拍摄图像数据发送至教育APP。

S4.7，平板中教育APP显示拍摄图像。

教育APP通过硬件虚拟化服务接收到拍摄图像图像之后，即可在相应的界面中显示拍摄图像。

在本实施例中，虚拟相机预览访问阶段基于安卓原生的相机框架实现，虚拟相机拍照阶段基于私有的虚拟化相机框架实现，使得虚拟相机拍照阶段涉及的处理路径更短，拍摄的时延更小。同时，由于图像预览还是基于安卓原生的相机框架实现，使得教育APP为了适配本实施例提供技术方案的改动更少。

需要注意的是，上述流程中的阶段划分仅为示例性的表达，本申请实施例对此不做限定。而且，执行虚拟相机预览访问阶段流程平板上显示预览图像之后，实时显示预览图像的流程与虚拟相机拍照阶段的流程作可以同时执行。在上述流程中未尽详细解释之处可以参照已有技术，在此不再赘述。

图4a中给出了协同工作系统的通信架构，该通信架构用于完成平板对虚拟相机(即台灯摄像头)的管理，平板与台灯之间的控制命令交互，以及图像数据的回传及处理等。

需要指出的是，跨设备传输(即在平板和台灯之间传输)的指令、请求等，需要基于通信协议及参数序列等进行封装，本实施例对此不再赘述。平板中硬件虚拟化服务还可以对通过动态分配内存和动态销毁内存对预览图像流和拍摄图像的生命周期进行管理。

另外，需要指出的是，在执行本实施例提供的协同工作方法之前，教育APP与台灯进行绑定，并将台灯注册到云服务器中。

本申请实施例提供了一种安卓系统设备使用外部设备的摄像头进行拍照的框架方案，此方案不仅可以应用在教育场景，同时适用于设置有摄像头的其他设备，这些设备可以共享其相机能力给手机、平板等安卓系统设备，以实现安卓系统设备与设这些设备的互联互通。

图5a-图5b示例性的示出了一种应用场景。如图5a中(1)所示，平板显示界面401，界面401上显示有多个应用程序图标，用户点击教育应用图标4011。响应于接收到的用户操作，平板开启教育应用，平板显示教育应用界面，可以参照图5a中(2)所示。如图5a中(2)所示，平板显示教育应用界面402，在界面402上显示有教育应用的各个功能选项，包括但不限于查词功能、点读功能、作业功能、拍照功能等。以用户使用拍照功能能力，用户点击拍照功能选项4021，响应于用户操作，平板执行设备发现阶段和虚拟相机服务使能阶段以及虚拟相机预览访问阶段的流程。

其中，在设备发现阶段，如果平板的设备管理服务过滤得到的能够与平板联动的台灯数量为一个，则平板自动执行虚拟相机服务使能阶段以及虚拟相机预览访问阶段的流程，并显示例如图5b中(1)所示的界面。在设备发现阶段，如果平板的设备管理服务过滤得到的能够与平板联动的台灯数量为多个，则平板显示台灯选择界面。示例性的，在台灯选择界面上显示有待联动的台灯列表，用户可以执行选择操作，响应于用户的选择操作，教育应用确定待联动的一个台灯，并继续执行虚拟相机服务使能阶段以及虚拟相机预览访问阶段的流程，以显示例如图5b中(1)所示的界面。

如图5b中(1)所示，界面403中显示有图像预览窗口4031和拍照选项4032，在图像预览窗口4031中显示有台灯摄像头实时采集到的预览图像。此时，若用户点击拍照选项4032，响应于用户操作，平板执行虚拟相机拍照阶段的流程，显示例如图5b中(2)所示的界面。如图5b(2)所示的界面404，在图像预览窗口4041中显示台灯摄像头拍摄到的图像。此时，用户若点击确认选项4041，则平板响应于用户操作，将拍摄图像进行保存，并继续显示例如图5b中(1)所示的预览界面。用户若点击取消选项4042，则平板响应于用户操作，可以显示例如图5b中(1)所示的预览界面。

需要指出的是，如图5b(2)所示的界面仅仅为示例性的举例，台灯摄像头拍摄到的图像也可以不在图像预览窗口4041中显示，而是显示在界面的其他区域，图像预览窗口4041中继续显示台灯摄像头实时采集到的预览图像，本申请对此不做限定。

本实施例提供的协同工作方法，主要阐述一种基于平板设备和台灯设备组合实现在线教育功能的低成本技术方案。下述分别结合在线教育涉及的几个不同功能对本实施例提供的技术方案进行阐述。

场景一

参照图1a所示的应用场景示意图，本场景以查词功能为例进行技术方案阐述。学生遇到不认识的生词时，可以将手指指向生词下方，利用台灯摄像头拍摄图片，平板识别图像以确定生词内容，并在完成在线查词后通过显示屏向学生反馈生词含义，例如在界面显示并播报生词解释等。

如图6a所示为各模块的交互示意图。参照图6a，本申请实施例提供平板和台灯协同工作的方法流程，具体包括：

S501，响应于用户点击查词功能的操作，平板和台灯执行设备发现阶段、虚拟相机使能阶段以及虚拟相机预览访问阶段的流程，平板显示预览界面。

其中，关于设备发现阶段、虚拟相机使能阶段以及虚拟相机预览访问阶段的流程，可以参见前文，在此不再赘述。

需要指出的是，在虚拟相机预览访问阶段中，平板中硬件虚拟化API向相机服务发送虚拟相机访问指令中会携带摄像头配置参数。其中，摄像头配置参数可以包括但不限于图像分辨率和图像采集帧率。台灯摄像头按照接收到的配置参数进行设置，并案按照相应的图像分辨率和图像采集帧率采集预览图像数据。

在本场景中，平板需要对预览图像进行精准识别，以确定用户指向的文字内容，因此本场景对预览图像的图像质量要求较高，例如可以将图像分辨率设置为1080P。这样，能够保证较高的查词成功率。

S502，平板中教育APP对预览图像进行手指识别。

示例性的，教育APP可以针对接收到的每帧预览图像进行手指识别，也可以定时对最新接收到的预览图像进行手指识别，本实施例对此不做限定。

示例性的，教育APP中可以集成图像识别算法以实现图像识别操作，教育APP也可以调用图像识别服务进行图像识别操作，本实施例对此不做限定。

关于图像识别算法可以参照已有技术，本实施例在此不再赘述。

S503，响应于用户使用手指指词的操作，平板中教育APP在预览图像中识别到用户的手指。

当用户使用手指指向书本中的某个词汇时，台灯摄像头可以采集到手指指词的预览图像，进而平板中教育APP可以在预览图像中识别到用户的手指。

其中，教育APP对预览图像进行手指识别时，如果识别到手指，可以得到手指在预览图中的位置信息，例如坐标信息等。

S504，平板中教育APP根据手指在预览图像中位置确定ROI(region of interest，感兴趣区域)图像。

在教育APP在预览图像中识别到用户的手指之后，可以根据手指在预览图像的位置信息确定ROI图像。其中，教育APP可以根据手指在预览图像的坐标信息，确定ROI信息，ROI信息包括但不限于中心点坐标和区域范围(如宽高信息)。进而，教育APP可以根据ROI信息在预览图像中裁剪出ROI图像。

S505，平板中教育APP对ROI图像进行精准识别，确定待解释生词。

示例性的，教育APP中可以集成图像识别算法对ROI图像进行精准识别，教育APP也可以调用图像识别服务对ROI图像进行精准识别，以确定待解释生词，本实施例对此不做限定。

关于图像识别算法可以参照已有技术，本实施例在此不再赘述。

S506，平板中教育APP对待解释生词进行查词操作，显示待解释生词的释义。

在确定待解释生词之后，教育APP可以进行在线查词操作，或者在数据库中进行查词操作，以得到待解释生词的释义。进而，教育APP可以将待解释生词的释义进行显示，以供用户查看。除此之外，教育APP可以将显示的生词释义进行朗读，本实施例对此不做限定。

类似的，用户也可以使用点读笔等指词工具(或称指示工具)进行指词操作，本实施例对此不做限定。相应的，教育APP对预览图像进行指词工具识别，以确定用户是否有查词意图，并根据指词工具在预览图像的位置信息确定ROI图像。

类似的，用户也可以使用手指或点读笔等指词工具指向书本中的图片。相应的，教育APP根据手指或点读笔等指词工具的位置信息确定ROI图像，并对ROI图像进行图片内容识别，显示与图片对应的释义，同时还可以将显示的图片释义进行朗读。关于此种情形，本实施例不再赘述。

图1a、图7a-图7b示例性的示出一种应用场景。如图7a中(1)所示，平板显示教育APP界面701，在界面701上显示有教育应用的各个功能选项，包括但不限于查词功能、点读功能、作业功能、拍照功能等。用户点击查词功能选项7011，响应于用户操作，平板执行设备发现阶段和虚拟相机服务使能阶段以及虚拟相机预览访问阶段的流程。

其中，在设备发现阶段，如果平板的设备管理服务过滤得到的能够与平板联动的台灯数量为一个，则平板自动执行虚拟相机服务使能阶段以及虚拟相机预览访问阶段的流程，并显示例如图7a中(2)所示的界面。在设备发现阶段，如果平板的设备管理服务过滤得到的能够与平板联动的台灯数量为多个，则平板显示台灯选择界面。示例性的，在台灯选择界面上显示有待联动的台灯列表，用户可以执行选择操作，响应于用户的选择操作，教育应用确定待联动的一个台灯，并继续执行虚拟相机服务使能阶段以及虚拟相机预览访问阶段的流程，以显示例如图7a中(2)所示的界面。

如图7a中(2)所示，界面702中显示有图像预览窗口7021和查词功能操作示意图7022。其中，在图像预览窗口7021中显示有台灯摄像头实时采集到的预览图像。用户可以参照查词功能操作示意图7022执行指词或指图操作，以触发查词功能。教育APP根据预览图像进行指词或指图识别。继续参照图7a中(2)，当用户在书本中使用手指指词时，台灯摄像头采集到手指指词预览图像，该手指指词预览图像显示于图像预览窗口7021。进而，教育APP可以在预览图像中识别到用户的手指，并确定手指在预览图中的位置信息，例如坐标信息等。教育APP根据手指在预览图像中位置确定ROI图像，并对ROI图像进行精准识别，确定待解释生词。待教育APP查询到生词释义后，在界面上显示相应的生词释义，可以参照图7b所示。

然而，在上述流程中，为了保证查词成功率，需要使用台灯摄像头持续返回高分辨率(例如1080p)的预览图像流，对带宽的要求也就比较高，需要4-8Mbps的带宽。这样，台灯对硬件芯片的要求也就更高，使得台灯的成本也会提升。

为了实现平板和台灯协同实现查词功能的方案，且降低台灯的硬件成本，本实施例还提供了一种技术方案。其中，由于在图像中进行手指识别或指词工具识别，以及位置识别对图像分辨率的要求不高，故在虚拟相机预览访问阶段，使用台灯摄像头持续返回低分辨率(例如480p)的预览图像流。如果教育APP基于预览图像识别到用户的指词或指图操作，则触发台灯拍摄一张高分辨率(例如1080p)的图像，以使教育APP根据这张高分辨率的图像进行精准识别确定待解释生词或图片。这样，使用台灯摄像头持续返回低分辨率的预览图像流，对带宽的要求不高，只需0.5-1Mbps的带宽，只有在传输这张高分辨率的图像时才需要更多的带宽。由此，本技术方案不仅降低了台灯对硬件芯片的要求，降低了台灯成本，也能保证查词成功率。

如图6b所示为各模块的交互示意图。参照图6b，本申请实施例提供平板和台灯协同工作的方法流程，具体包括：

S601，响应于用户点击查词功能的操作，平板和台灯执行设备发现阶段、虚拟相机使能阶段以及虚拟相机预览访问阶段的流程，平板显示预览界面。

其中，关于设备发现阶段、虚拟相机使能阶段以及虚拟相机预览访问阶段的流程，可以参见前文，在此不再赘述。

需要指出的是，在虚拟相机预览访问阶段中，平板中硬件虚拟化API向相机服务发送虚拟相机访问指令中会携带摄像头配置参数。其中，摄像头配置参数可以包括但不限于图像分辨率和图像采集帧率。台灯摄像头按照接收到的配置参数进行设置，并案按照相应的图像分辨率和图像采集帧率采集预览图像数据。

在本场景中，为了降低预览图像流占用的带宽，在拟相机预览访问阶段中，台灯摄像头可以按照低分辨率采集预览图像。例如，平板中硬件虚拟化API向相机服务发送虚拟相机访问指令中会携带第一配置参数，其中，第一配置参数中包括第一图像分辨率(如480P)。进而，台灯摄像头按照接收到的配置参数进行设置，并案按照第一图像分辨率以及相应的图像采集帧率采集预览图像数据。

S602，平板中教育APP对预览图像进行手指识别。

S603，响应于用户使用手指指词的操作，平板中教育APP在预览图像中识别到用户的手指。

S604，平板中教育APP根据手指在预览图像中位置确定ROI信息，并根据ROI信息生成拍照请求。

其中，ROI信息指的是用于确定ROI的信息，可以包括但不限于中心点坐标和区域范围(如宽高信息)。

S605，平板将拍照请求传输至台灯侧。

其中，拍照请求可以包括但不限于与台灯摄像头对应的虚拟相机ID、台灯摄像头的第二配置参数以及ROI信息。第二配置参数包括但不限于第二图像分辨率，第二图像分辨率高于第一图像分辨率，如第二图像分辨率设置为1080P。这样，使得教育APP可以根据这张高分辨率的图像进行精准识别确定待解释生词或图片。

S606，台灯的摄像头按照拍照请求中携带的第二配置参数进行设置，按照第二图像分辨率拍摄图像，并将拍摄图像发送至硬件抽象服务。

S607，硬件抽象服务根据ROI信息确定ROI图像。

硬件抽象服务可以根据ROI信息在拍摄图像中裁剪出ROI图像。

在一种可选的实施方式中，拍照请求中包括但不限于第二配置参数，但不包括ROI信息。这样，平板将拍照请求传输至台灯侧，台灯的摄像头按照拍照请求中携带的第二配置参数进行设置，按照第二图像分辨率拍摄图像，并将拍摄图像返回至平板中教育APP。进而，教育APP可以根据ROI信息确定ROI图像，例如根据ROI信息在拍摄图像中裁剪出ROI图像。

S608，台灯将ROI图像传输至平板中教育APP。

相比较于台灯直接将高分辨率的拍摄图像返回至平板中教育APP，将裁剪后的ROI图像返回至平板中教育APP中，也能够减少数据传输量，降低带宽的占用。

S609，平板中教育APP对ROI图像进行精准识别，确定待解释生词。

S610，平板中教育APP对待解释生词进行查词操作，显示待解释生词的释义。

本流程未尽详细解释之处可以参照前文，在此不再赘述。

类似的，用户也可以使用点读笔等指词工具进行指词操作，本实施例对此不做限定。相应的，教育APP对预览图像进行指词工具识别，以确定用户是否有查词意图，并根据指词工具在预览图像的位置信息确定ROI信息。

类似的，用户也可以使用手指或点读笔等指词工具指向书本中的图片。相应的，教育APP根据手指或点读笔等指词工具的位置信息确定ROI信息，并对ROI信息在拍摄图像中确定ROI图像，对ROI进行图片内容识别，显示与图片对应的释义，同时还可以将显示的图片释义进行朗读。关于此种情形，本实施例不再赘述。

关于此流程的应用场景，可以参照图1a、图7a-图7b所示的应用场景。参照图7a中(2)，当用户在书本中使用手指指词时，台灯摄像头采集到手指指词预览图像，该手指指词预览图像显示于图像预览窗口7021。进而，教育APP可以在预览图像中识别到用户的手指，确定ROI信息，并根据ROI信息以及图像高分辨率生成拍照请求，触发台灯摄像头拍摄图像。台灯摄像头根据图像高分辨率拍摄图像，台灯侧并根据ROI信息对高分辨率拍摄图像进行裁剪得到ROI图像，将ROI图像返回至平板中教育APP。教育APP对ROI图像进行精准识别，确定待解释生词。待教育APP查询到生词释义后，在界面上显示相应的生词释义，可以参照图7b所示。

场景二

参照图1a所示的应用场景示意图，本场景以作业功能为例进行技术方案阐述。当学生需要在线提交作业时，可以在教育APP中点击拍照，利用台灯摄像头拍摄作业图像，并通过教育APP将作业图像上传至数据库。

如图8所示为各模块的交互示意图。参照图8，本申请实施例提供平板和台灯协同工作的方法流程，具体包括：

S801，响应于用户点击作业功能的操作，平板中教育APP显示作业提交列表。

需要指出的是，作业提交列表指的是包括多个作业提交选项的列表，一个作业提交选项对应一门作业，可以参照图9a中界面704所示。其中，作业选项可以是按照学科划分的，也可以是按照时间划分的，本实施例对此不做限定。

如果教育APP的作业功能中只需针对一门作业提交作业图像，则教育APP不会显示作业提交列表。此时，响应于用户点击作业功能的操作，平板和台灯执行设备发现阶段、虚拟相机使能阶段以及虚拟相机预览访问阶段的流程，平板显示预览界面。

S802，响应于用户点击提交作业选项，平板和台灯执行设备发现阶段、虚拟相机使能阶段以及虚拟相机预览访问阶段的流程，平板显示预览界面。

其中，关于设备发现阶段、虚拟相机使能阶段以及虚拟相机预览访问阶段的流程，可以参见前文，在此不再赘述。

需要指出的是，在虚拟相机预览访问阶段中，平板中硬件虚拟化API向相机服务发送虚拟相机访问指令中会携带摄像头配置参数。其中，摄像头配置参数可以包括但不限于图像分辨率和图像采集帧率。台灯摄像头按照接收到的配置参数进行设置，并案按照相应的图像分辨率和图像采集帧率采集预览图像数据。

在本场景中，为了降低预览图像流占用的带宽，在拟相机预览访问阶段中，台灯摄像头可以按照低分辨率采集预览图像。例如，平板中硬件虚拟化API向相机服务发送虚拟相机访问指令中会携带第一配置参数，其中，第一配置参数中包括第一图像分辨率(如480P)。进而，台灯摄像头按照接收到的配置参数进行设置，并案按照第一图像分辨率以及相应的图像采集帧率采集预览图像数据。

S803，响应于用户点击拍照选项的操作，平板中教育APP生成拍照请求。

当用户将作业或书本等放置在台灯摄像头采集区域内时，用户则可以点击拍照选项触发台灯摄像头拍摄作业图像。

其中，拍照请求可以包括但不限于与台灯摄像头对应的虚拟相机ID、台灯摄像头的第二配置参数。第二配置参数包括但不限于第二图像分辨率，第二图像分辨率高于第一图像分辨率，如第二图像分辨率设置为1080P。这样，使得教育APP可以上传高分辨率的作业图像。

S804，平板将拍照请求传输至台灯侧。

S805，台灯的摄像头按照拍照请求中携带的第二配置参数进行设置，按照第二图像分辨率拍摄图像。

S806，台灯将拍摄图像传输至平板中教育APP。

S807，平板中教育APP显示拍摄图像。

平板中教育APP接收到台灯摄像头拍摄到的作业图像，将该作业图像进行显示。如果用户对拍摄的作业图像满意，则用户可以点击提交选项以将作业图像上传至数据库。如果用户对拍摄的作业图像不满意，则用户可以重新点击拍照选项以触发台灯摄像头重新拍摄作业图像。

S808，响应于用户点击提交选项的操作，平板中教育APP上传拍摄图像至数据库。

本流程未尽详细解释之处可以参照前文，在此不再赘述。

需要指出的是，上述提及的作业图像仅仅是示例性的举例说明，用户可以点击拍照选项触发台灯摄像头拍摄其他图像。待台灯将拍摄到的图像发送至平板中教育APP中之后，教育APP则可以将接收到的拍摄图像上传至相应的数据库。

图1a、9a-图9c示例性的示出一种应用场景。如图9a中(1)所示，平板显示教育APP界面701，在界面701上显示有教育应用的各个功能选项，包括但不限于查词功能、点读功能、作业功能、拍照功能等。用户点击查词功能选项7012，响应于用户操作，平板中教育APP显示作业提交列表，可以参照图9a中(2)所示。如图9a中(2)所示的作业提交列表界面704中，显示有多个提交作业选项(如提交作业1、提交作业2、提交作业3、提交作业4等)，不同的作业提交选项对应于不同的作业。以用户需要针对提交作业4上传作业图像为例，用户点击提交作业4选项7042。响应于用户操作，平板可以显示如图9b中(1)所示的作业提交界面705。

继续参照9b中(1)，在作业提交界面705中，显示有图像预览窗口7041、拍照选项7051和提交选项7052。其中，在图像预览窗口7041中显示有台灯摄像头实时采集到的预览图像。当用户将作业或书本等放置在台灯摄像头采集区域内时，用户则可以点击拍照选项7051触发台灯摄像头拍摄作业图像。响应于用户操作，教育APP生成拍照请求发送至台灯侧，以调用台灯摄像头拍摄作业图像。其中，台灯摄像头按照拍照请求中携带的图像高分辨率拍摄作业图像，并将拍摄得到作业图像返回至平板中教育APP，以通过教育APP进行显示，可以参照如图9b中(2)所示的界面706。

继续参照9b中(2)，在界面706中显示有图像预览窗口7041、拍照选项7051、提交选项7052，以及台灯摄像头拍摄得到的作业图像7061。其中，在作业图像7061还显示有关闭选项7062。若用户对作业图像7061不满意，则可以点击关闭选项7062，界面上将不再显示作业图像7061。此时用户可以点击拍照选项7051触发台灯摄像头重新拍摄作业图像。若用户对作业图像7061满意，则可以点击提交选项7052。响应于用户操作，平板可以显示如图9c所示的待确认界面701。其中，在待确认界面701中显示有待提交的作业图像7061，以及是否确认提交窗口7071。如果用户点击确认提交窗口7071中的确认选项7072，则教育APP响应于用户操作，将作业图像7061上传至数据库。如果用户点击确认提交窗口7071中的取消选项7071，则教育APP响应于用户操作，可以显示如图9b中(1)所示的界面，以待用户点击拍照选项7051触发台灯摄像头重新拍摄作业图像。

需要指出的是，继续参照9b中(2)，若用户对作业图像7061满意，则可以点击提交选项7052。响应于用户操作，教育APP也可以不再显示如图9c所示的界面，直接将作业图像7061上传至数据库。本实施例对此不做限定。

场景三

参照图1a所示的应用场景示意图，本场景以点读功能(或称指读功能)为例进行技术方案阐述。当学生需要教育APP朗读书本中内容时，可以利用台灯摄像头实时采集书本图像，进而教育APP可以根据书本图像加载相应的书本内容，并根据学生的手指位置或翻页操作确定待朗读的书本内容进行朗读。

如图10所示为各模块的交互示意图。参照图10，本申请实施例提供平板和台灯协同工作的方法流程，具体包括：

S901，响应于用户点击点读功能的操作，平板和台灯执行设备发现阶段、虚拟相机使能阶段以及虚拟相机预览访问阶段的流程，平板显示预览界面。

其中，关于设备发现阶段、虚拟相机使能阶段以及虚拟相机预览访问阶段的流程，可以参见前文，在此不再赘述。

需要指出的是，在虚拟相机预览访问阶段中，平板中硬件虚拟化API向相机服务发送虚拟相机访问指令中会携带摄像头配置参数。其中，摄像头配置参数可以包括但不限于图像分辨率和图像采集帧率。台灯摄像头按照接收到的配置参数进行设置，并案按照相应的图像分辨率和图像采集帧率采集预览图像数据。

在本场景中，为了降低预览图像流占用的带宽，在拟相机预览访问阶段中，台灯摄像头可以按照低分辨率采集预览图像。例如，平板中硬件虚拟化API向相机服务发送虚拟相机访问指令中会携带第一配置参数，其中，第一配置参数中包括第一图像分辨率(如480P)。进而，台灯摄像头按照接收到的配置参数进行设置，并案按照第一图像分辨率以及相应的图像采集帧率采集预览图像数据。

S902，平板中教育APP对预览图像进行识别，确定图书名称。

示例性的，教育APP可以针对接收到的每帧预览图像进行图书信息识别，也可以定时对最新接收到的预览图像进行图书信息识别，本实施例对此不做限定。

示例性的，教育APP中可以集成图像识别算法以实现图像识别操作，教育APP也可以调用图像识别服务进行图像识别操作，本实施例对此不做限定。

关于图像识别算法可以参照已有技术，本实施例在此不再赘述。

S903，平板中教育APP根据图书名称检索数据库，并加载与图书名称对应的图书内容。

平板中教育APP如果根据图书名称检索数据库，确定不同版本的图书，则可以显示相应的图书列表，以供用户选择。进而，响应于用户对某个版本的图书的选择操作，教育APP加载与该版本图书对应的内容

S904，响应于用户翻页或手指点读操作，平板中教育APP对预览图像进行识别，确定待朗读段落，并朗读相应的段落。

在加载完成图书内容之后，教育APP可以针对接收到的每帧预览图像进行手指或点读笔指令的指示工具的识别，也可以定时对最新接收到的预览图像进行手指或点读笔指令的指示工具的识别，本实施例对此不做限定。响应于用户的点读操作，教育APP可以根据预览图像识别到图书页码以及用户的点击位置信息，例如坐标信息等，进而可以根据图书页码以及用户的点击位置信息，在加载的图书内容中确定出待朗读的段落，并朗读相应的段落。

在加载完成图书内容之后，教育APP还可以根据预览图像流进行翻页识别。响应于用户的翻页操作，教育APP可以根据识别到图书页码在加载的图书内容中确定出待朗读的段落，并朗读相应的段落。

本流程未尽详细解释之处可以参照前文，在此不再赘述。

图1a、图11a-图11b示例性的示出一种应用场景。如图11a中(1)所示，平板显示教育APP界面701，在界面701上显示有教育应用的各个功能选项，包括但不限于查词功能、点读功能、作业功能、拍照功能等。用户点击点读功能选项7013，响应于用户操作，平板执行设备发现阶段和虚拟相机服务使能阶段以及虚拟相机预览访问阶段的流程。

其中，在设备发现阶段，如果平板的设备管理服务过滤得到的能够与平板联动的台灯数量为一个，则平板自动执行虚拟相机服务使能阶段以及虚拟相机预览访问阶段的流程，并显示例如图11a中(2)所示的界面。在设备发现阶段，如果平板的设备管理服务过滤得到的能够与平板联动的台灯数量为多个，则平板显示台灯选择界面。示例性的，在台灯选择界面上显示有待联动的台灯列表，用户可以执行选择操作，响应于用户的选择操作，教育应用确定待联动的一个台灯，并继续执行虚拟相机服务使能阶段以及虚拟相机预览访问阶段的流程，以显示例如图11a中(2)所示的界面。

如图11a中(2)所示，界面708中显示有图像预览窗口7081。其中，在图像预览窗口7081中显示有台灯摄像头实时采集到的预览图像。教育APP对预览图像进行识别，以确定图书名称。教育APP在识别到图书名称之后，根据图书名称检索数据库。如果检索到相应的图书，则执行图书内容的加载操作，可以参照图11b中(1)所示。

继续参照图11b中(1)所示，界面709中显示有图像预览窗口7081、识别到的图书名称7091和图书内容加载进度标识7092。在图书内容加载完成之后，教育APP即可根据预览图像识别用户的点读操作或翻页操作。以用户执行翻页操作为例，参照如图11b中(2)所示的界面710，图像预览窗口7081中可以显示用户的翻页动作。响应于用户的操作，教育APP根据预览图像识别到图书页码。进而，教育APP可以根据识别到图书页码在加载的图书内容中确定出待朗读的段落，并朗读相应的段落。

在本申请实施例提供的协同工作方法中，使用家用平板和带摄像头台灯即可组合出的专业在线教育体验。利用台灯设备的摄像头配合平板的教育APP完成学生手指查词、作业提交、图书指读等需要拍照的场景。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的协同工作方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的协同工作方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的协同工作方法。

其中，本实施例提供的电子设备(如平板、手机、IOT设备等)、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。