掌桥专利:专业的专利平台
掌桥专利
首页

投屏方法和电子设备

文献发布时间:2024-04-18 19:57:31


投屏方法和电子设备

技术领域

本申请实施例涉及投屏领域,并且更具体地,涉及一种投屏方法和电子设备。

背景技术

当前,带屏的设备越来越普遍,由于用户的生活和工作需要,用户对设备间的投屏功能也越来越依赖,因此,设备间的投屏显示能力日趋重要。传统的镜像投屏能力,会将投屏源端设备整体的图像信息投射到被投屏端,投屏方式不够灵活。

因此,亟需一种新的投屏方案,以满足用户对投屏的灵活性和安全性的需求。

发明内容

本申请提供一种投屏方法和电子设备,通过该方法,用户能够灵活选取投屏区域,能够增强用户的使用体验。

第一方面,提供一种投屏方法,该方法包括:响应于检测到第一输入,第一设备在该第一设备的显示界面显示投屏窗口,该第一设备为投屏源端;该第一设备根据用户调整的投屏窗口的大小和位置确定投屏区域;第一设备向第二设备发送第一消息,其中,该第一消息包括所述投屏区域对应的视频流,该视频流用于第二设备对投屏区域进行渲染显示,该第二设备为被投屏端。

其中,投屏窗口可以称作动态裁剪投屏窗口,也可以称作动态裁剪镜像投屏窗口,其位于第一设备的显示界面的应用上层。

其中,第一输入是指为拉起投屏窗口而进行的操作。

可选地,第一设备为手机、电脑、平板和电视中的任意一种。

可选地,第二设备为手机、电脑、平板和电视中的任意一种。

本申请实施例中,用户能够根据实际需求在投屏源端的显示界面选择需要投屏的区域,进一步将选择的投屏区域显示至被投屏端,打破了传统的镜像投屏方法(将投屏源端屏幕完整呈现在被投屏端)的固有限制,并且,通过该投屏方法,用户可以在投屏的过程中在投屏源端设备上同时使用其他不想被投屏的应用,该投屏方法相比于现有投屏方法,投屏方式更加灵活和人性化,能够增强用户的使用体验。

结合第一方面,在一种可能的实现方式中,在第一设备向第二设备发送第一消息之前,方法还包括:第一设备向所述第二设备发送请求消息,该请求消息用于请求获取第二设备的能力信息;第一设备接收第二设备发送的第二消息,该第二消息包括第二设备的能力信息;第一设备根据该能力信息生成第一消息。

可选地,第二设备的能力信息包括第二设备的分辨率、第二设备的显示屏的宽和高、第二设备的码率和第二设备的帧率中的一项或者多项。

本申请实施例中,在投屏之前先获取被投屏端的能力信息,使得投屏源端能够输出与被投屏端的能力相匹配的视频流,进一步将确定的投屏区域自适应适配的显示至被投屏端,能够增强投屏的显示效果。

结合第一方面,在一种可能的实现方式中,投屏窗口包括M个应用程序界面中的P个应用程序界面和N个界面元素中的Q个界面元素,该第一消息包括该P个应用程序界面对应的视频流,其中,M为所述第一设备的显示界面包括的应用程序界面的数量,N为所述第一设备的显示界面包括的界面元素的数量,M、N、P、Q为大于或等于1的正整数,M≥P,N≥Q。

可选地,在一种可实现的方式中,P=1。

应理解,该实现方式中所涉及的投屏形式可以称作应用附着投屏模式。

其中,具体地,应用附着投屏模式还可以描述为:以第一设备(投屏源端)为手机,第二设备(被投屏端)为TV大屏为例,TV大屏的显示界面仅显示动态裁剪投屏窗口内的应用窗口,动态裁剪投屏窗口内的其他内容(例如手机桌面上的APP图标、手机背景等)不显示。也就是说,在该模式下,TV大屏的显示界面所显示的投屏区域与手机端通过动态裁剪镜像投屏窗口所选择的投屏区域不一定完全一致,TV大屏的显示界面所显示的投屏区域在手机端所选择的投屏区域的基础上,仅保留了应用窗口,滤除了手机桌面上的APP图标、手机背景等内容。

可选地,应用附着投屏包括单应用附着投屏和多应用附着投屏本申请实施例中,当投屏源端处于动态裁剪镜像投屏模式,并且投屏源端处于多界面显示状态时,投屏源端能够自动或者手动切换到应用附着投屏模式,这样,投屏源端传输给被投屏端的视频流中,滤除了非应用窗口的内容(例如:手机桌面APP、手机桌面背景等画面),能够实现纯应用的投屏,进一步提升了用户的使用体验。

结合第一方面,在一种可能的实现方式中,第一设备根据能力信息生成第一消息,包括:第一设备根据能力信息对投屏区域编码;第一设备根据编码的结果生成第一消息。

本申请实施例中,投屏源端能够根据被投屏端设备的能力信息对用户确定的投屏区域进行编码,进而生成与被投屏端设备的能力适配的视频流,这样,能够使得被投屏端渲染显示出的投屏区域的画面效果更好。

结合第一方面,在一种可能的实现方式中,在第一设备向第二设备发送第一消息之前,方法还包括:第一设备对第一消息加密。

本申请实施例中,投屏源端在向被投屏端发送确定的投屏区域对应的视频流之前,先对其进行加密,被投屏端收到该加密的视频流之后,先对其进行解密,再将其进行渲染显示,这样,能够增强投屏内容的安全性能,使得该投屏内容仅在被信任的被投屏端设备上进行显示,避免投屏源端因错误匹配到其他被投屏设备,而造成投屏内容的泄露。

第二方面,提供一种电子设备,该电子设备包括:第一显示屏,用于响应于检测到第一输入,在该电子设备的显示界面显示投屏窗口,该电子设备为投屏源端;投屏区域选择模块,用于根据用户调整的所述投屏窗口的大小和位置确定投屏区域;第一数据传输模块,用于向第二设备发送第一消息,该第一消息包括投屏区域对应的视频流,该视频流用于第二设备对投屏区域进行渲染显示,该第二设备为被投屏端。

其中,投屏窗口可以称作动态裁剪投屏窗口,也可以称作动态裁剪镜像投屏窗口,其位于第一设备的显示界面的应用上层。

其中,第一输入是指为拉起投屏窗口而进行的操作。

可选地,第一设备为手机、电脑、平板和电视中的任意一种。

可选地,第二设备为手机、电脑、平板和电视中的任意一种。

本申请实施例中,用户能够根据实际需求在投屏源端的显示界面选择需要投屏的区域,进一步将选择的投屏区域显示至被投屏端,打破了传统的镜像投屏方法(将投屏源端屏幕完整呈现在被投屏端)的固有限制,并且,通过该投屏方法,用户可以在投屏的过程中在投屏源端设备上同时使用其他不想被投屏的应用,该投屏方法相比于现有投屏方法,投屏方式更加灵活和人性化,能够增强用户的使用体验。

结合第二方面,在一种可能的实现方式中,第一数据传输模块还用于:向第二设备发送请求消息,该请求消息用于请求获取第二设备的能力信息;接收第二设备发送的第二消息,该第二消息包括第二设备的能力信息;该电子设备还包括:编码模块,用于根据该能力信息生成上述第一消息。

可选地,第二设备的能力信息包括第二设备的分辨率、第二设备的显示屏的宽和高、第二设备的码率和第二设备的帧率中的一项或者多项。

本申请实施例中,在投屏之前先获取被投屏端的能力信息,使得投屏源端能够输出与被投屏端的能力相匹配的视频流,进一步将确定的投屏区域自适应适配的显示至被投屏端,能够增强投屏的显示效果。

结合第二方面,在一种可能的实现方式中,投屏窗口包括M个应用程序界面中的P个应用程序界面和N个界面元素中的Q个界面元素,该第一消息包括该P个应用程序界面对应的视频流,其中,M为所述第一设备的显示界面包括的应用程序界面的数量,N为所述第一设备的显示界面包括的界面元素的数量,M、N、P、Q为大于或等于1的正整数,M≥P,N≥Q。

可选地,在一种可实现的方式中,P=1。

应理解,该实现方式中所涉及的投屏形式可以称作应用附着投屏模式。

可选地,应用附着投屏包括单应用附着投屏和多应用附着投屏。

本申请实施例中,当投屏源端处于动态裁剪镜像投屏模式,并且投屏源端处于多界面显示状态时,投屏源端能够自动或者手动切换到应用附着投屏模式,这样,投屏源端传输给被投屏端的视频流中,滤除了非应用窗口的内容(例如:手机桌面APP、手机桌面背景等画面),能够实现纯应用的投屏,进一步提升了用户的使用体验。

结合第二方面,在一种可能的实现方式中,编码模块具体用于:根据能力信息对投屏区域编码;根据编码的结果生成第一消息。

本申请实施例中,投屏源端能够根据被投屏端设备的能力信息对用户确定的投屏区域进行编码,进而生成与被投屏端设备的能力适配的视频流,这样,能够使得被投屏端渲染显示出的投屏区域的画面效果更好。

结合第二方面,在一种可能的实现方式中,编码模块还用于:在第一数据传输模块向第二设备发送第一消息之前,对第一消息加密。

本申请实施例中,投屏源端在向被投屏端发送确定的投屏区域对应的视频流之前,先对其进行加密,被投屏端收到该加密的视频流之后,先对其进行解密,再将其进行渲染显示,这样,能够增强投屏内容的安全性能,使得该投屏内容仅在被信任的被投屏端设备上进行显示,避免投屏源端因错误匹配到其他被投屏设备,而造成投屏内容的泄露。

第三方面,提供一种电子设备,该电子设备包括存储器和处理器,其中,存储器用于存储计算机程序代码,处理器用于执行存储于存储器中的计算机程序代码,以实现上述第一方面或第一方面中任一种可能实现方式中的方法。

第四方面,提供一种投屏系统,该投屏系统包括上述第二方面或第二方面中任一种可能实现方式中提供的电子设备。

第五方面,提供了一种芯片,其中存储有指令,当其在设备上运行时,使得所述芯片执行上述第一方面或第一方面中任一种可能实现方式中的方法。

第六方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序或指令,当该计算机程序或指令被执行时,实现上述第一方面或第一方面中任一种可能实现方式中的方法。

附图说明

图1是本申请实施例提供的电子设备100的结构示意图;

图2是本申请实施例提供的电子设备100的软件结构框图;

图3是本申请实施例提供的现有投屏技术中的投屏示意图;

图4是本申请实施例提供的一种用户触发进入投屏模式的操作示意图;

图5是本申请实施例提供的动态裁剪镜像投屏窗口的管理栏中的控件示意图;

图6是本申请实施例提供的当用户在手机显示界面选择了部分区域进行投屏的界面显示图;

图7是本申请实施例提供的用户将部分区域投屏切换为整体界面投屏时,手机端和TV大屏端的界面显示图;

图8是本申请实施例提供的动态裁剪镜像投屏窗口通过与单应用窗口交互,实现单应用窗口投屏的界面显示图;

图9是本申请实施例提供的动态裁剪镜像投屏窗口通过与多应用窗口交互,实现多应用窗口投屏的界面显示图;

图10是本申请实施例提供的用户将单应用窗口投屏切换为多应用窗口投屏时的界面显示图;

图11是本申请实施例提供的用户将动态裁剪镜像投屏窗口最小化时,手机端和TV大屏端的界面显示图;

图12是本申请实施例提供的投屏方法1200的示意性流程图;

图13是本申请实施例提供的投屏源端和被投屏端的投屏数据参数协商机制图;

图14是本申请实施例提供的投屏系统1400的硬件结构示意图;

图15是本申请实施例提供的投屏系统1500的硬件结构示意图。

具体实施方式

下面将结合附图,对本申请中的技术方案进行描述。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“复数个”或者“多个”是指两个或多于两个。

以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。

本申请实施例提供的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等电子设备上,本申请实施例对电子设备的具体类型不作任何限制。

示例性的,图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户身份识别(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。

可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。

其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。

处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。

在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户身份识别(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。

I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。

USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。

可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。

在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。

电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。

电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。

数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。

NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。

外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的App(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。

电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。

受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。

麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。

压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。

距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。

触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。

按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用嵌入式SIM(embedded-SIM,eSIM)卡,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。

应理解,本申请实施例中的电话卡包括但不限于SIM卡、eSIM卡、全球用户识别卡(universal subscriber identity module,USIM)、通用集成电话卡(universalintegrated circuit card,UICC)等等。

电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。

图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。

如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。

内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。

视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。

资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。

系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。

表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。

三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。

应理解,本申请实施例中的技术方案可以用于Android、IOS、鸿蒙等系统中。

本申请实施例的技术方案可以应用于电子设备之间的投屏场景。

本申请实施例中的电子设备可以是电视机、台式电脑、笔记本电脑,还可以是便携式电子设备,诸如手机、平板电脑、照相机、摄影机、录像机,还可以是其他具有屏幕显示功能的电子设备、5G网络中的电子设备或者未来演进的公用陆地移动通信网络(public landmobile network,PLMN)中的电子设备等,本申请对此不做限定。

当前,带显示屏的设备越来越普遍,由于用户的生活和工作需要,用户对设备间的投屏功能也越来越依赖,因此,设备间的投屏显示能力日趋重要。

下面,以投屏源端为手机,被投屏端为电视为例,图3示出了现有投屏技术中的投屏示意图。如图3所示,该方案能够实现手机和电视之间的投屏显示,然而,该方案在实现投屏的过程中,会将手机显示界面的整体图像信息都投射到电视屏幕上。

应理解:为了将本申请提供的方案描述得更清楚,本申请中的实施例以投屏源端为手机,被投屏端为电视(television,TV)为例进行说明,其中,投屏源端还可以是以上所述的电子设备中的任意一项,例如,可以是平板电脑、笔记本电脑、台式电脑或者电视;类似的,被投屏端也还可以是以上所述的电子设备中的任意一项,例如,可以是平板电脑、笔记本电脑、台式电脑或者手机;本申请对此不作限定。

现有的投屏方法在投屏过程中,投屏源端设备的显示界面会完整呈现在被投屏端,投屏源端在该过程中无法进行其他不想被投屏的操作;并且,当涉及到安全输入等场景(譬如输入密码)时,被投屏端的整体显示界面会被全部拉黑,极大影响了用户的体验;另外,使用现有的镜像投屏方法播放投屏源端的视频(在线视频或者离线视频)时,投屏源端设备无法再进行其他操作,也进一步影响了用户的体验。

基于此,本申请提供了一种投屏方法和电子设备,该投屏方法能够帮助用户从投屏源端设备的主屏合成图像中动态裁剪选取投屏区域,并根据被投屏端的参数进行自适应适配显示,将所选取的投屏区域显示在被投屏端设备的显示屏,这样,能够使得投屏方式更加灵活和人性化,能够增强用户的体验。

以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“一个实施例”、“一些实施例”、“另一个实施例”、“另外一些实施例”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。

下面,以第一设备(投屏源端设备)为手机,第二设备(被投屏端设备)为TV大屏为例,示例性地,结合图4,对用户如何拉起动态裁剪镜像投屏窗口进行描述。

图4中的(a)示出了本申请实施例提供的一种用户触发进入投屏模式的操作示意图。

如图4中的(a)所示,触发手机投屏功能的图标设置在手机的状态栏中,当用户需要使用手机的投屏功能时,可以通过滑动下拉界面的方式调出手机的状态栏,在手机的状态栏中设置有投屏图标,用户找到并点击该投屏图标,就能够成功触发手机的投屏功能。

可选地,用户还可以通过其他方式触发投屏功能,例如,用户可以通过语音唤醒投屏功能,用户也可以通过快捷键触发投屏功能,本申请对此不作限定。

可选地,当用户成功触发手机的投屏功能时,手机会自动搜索能够与其配对的被投屏设备,获取能够与其配对的被投屏设备的列表,并以弹窗的形式在界面显示,用户可以在被投屏设备列表中手动选择希望作为被投屏设备的设备。

可选地,用户可以预先指定默认的被投屏设备,这样,在手机的投屏功能成功触发时,手机端直接与该默认的投屏设备配对,用户不需要再进行选择。

可选地,手机能够自动搜索到的能够与其配对的被投屏设备,可以是与该手机连接同一个无线网络的所有设备,也可以是与该手机的距离小于某一特定值的所有设备。其中,该特定值是根据手机的搜索能力确定的。

图4中的(b)示出了本申请实施例提供的用户成功触发手机的投屏功能后,用户确定投屏模式的界面显示示意图。

如图4中的(b)所示,当用户成功触发手机的投屏功能后,在手机的显示界面会弹出一个选择框,该选择框用于用户选择是否使用动态裁剪镜像投屏模式。其中,动态裁剪镜像投屏模式是指:在该模式下,用户可以根据自身实际需求在手机界面上选择希望被投屏的区域。

当用户仅希望手机的部分显示界面被投屏,或者用户希望在投屏的过程中同时运行或进行其他不想被投屏的应用或操作时,用户可以点击“是”的按钮,进而进入投屏区域选择界面;当用户选择了“否”的按钮时,会自动进入全投屏模式,此时,作为被投屏端设备的TV大屏的显示界面会显示手机的显示界面的全部内容。

其中,用户希望在投屏的过程中同时进行其他不想被投屏的应用的情况,例如:可以是用户在观看学习视频的同时需要记笔记,仅希望该学习视频能够被投屏,而不希望笔记内容被投屏。

应理解:本申请实施例中,可以将触发进入投屏模式并选择动态裁剪投屏模式的操作称为第一输入。

本申请的所有实施例中,动态裁剪投屏窗口也可以称作投屏窗口,还可以是其他名称,本申请对此不作限定。

图4中的(c)示出了本申请实施例提供的动态裁剪投屏窗口的界面显示图。

如图4中的(c)所示,当用户在图4中的(b)所示的选择框中选择了使用动态裁剪镜像投屏模式时,手机的显示界面上会出现相应的动态裁剪镜像投屏窗口,该动态裁剪镜像投屏窗口显示在手机的所有应用上层,用于用户动态选择投屏区域。

可选地,该窗口整体设置为应用上衬(overlay)、内容透明、边框可见、靠上居中显示,窗口的顶部设置有管理栏。

下面,结合图5,对动态裁剪镜像投屏窗口的管理栏中的控件进行描述。

需要说明的是,图5中以第一设备(投屏源端设备)为手机,第二设备(被投屏端设备)为TV大屏为例进行描述,但其不应对本申请构成限制。

如图5所示,手机处于动态裁剪镜像投屏模式,手机的显示界面显示手机的桌面,手机的桌面上包括多个App的图标,该多个应用程序包括时钟、日历、图库、备忘录、文件管理以及电子邮件等。动态裁剪镜像投屏窗口显示在手机的所有应用上层。动态裁剪镜像投屏窗口的管理栏中设置有控件501至控件509。其中,具体的:

控件501用于用户将动态裁剪镜像投屏窗口扩展至全屏。在一个示例中,用户可以通过点击该控件501将动态裁剪镜像投屏窗口扩展至全屏,也就是将手机的整个显示界面投屏到TV大屏的显示界面。

控件502用于用户将动态裁剪镜像投屏窗口最小化。在一个示例中,用户可以通过点击该控件502将动态裁剪镜像投屏窗口最小化至右上角投屏图标510处,此时,TV大屏的显示界面为黑屏或者屏保状态。

控件503用于用户将动态裁剪镜像投屏窗口切换为横屏模式。在一个示例中,用户可以通过点击该控件503将动态裁剪镜像投屏窗口切换为横屏模式,此时,用户在手机的显示界面选择的投屏区域在TV大屏的显示界面上切换为横屏显示状态。

动态裁剪镜像投屏窗口的管理栏可以视为控件504,用于用户整体移动(拖拽)动态裁剪镜像投屏窗口。在一个示例中,用户可以通过点击该控件504整体移动动态裁剪镜像投屏窗口,此时,移动后的动态裁剪镜像投屏窗口所覆盖的手机界面发生变化(也就是选择的投屏区域发生变化),相应地,TV大屏会刷新显示该移动后的动态裁剪镜像投屏窗口所覆盖的手机界面(也就是显示新选择的投屏区域)。

控件505用于用户关闭动态裁剪镜像投屏窗口。在一个示例中,用户可以通过点击该控件505处直接关闭动态裁剪镜像投屏窗口,进而退出投屏模式。

控件506和控件507用于用户动态调整动态裁剪镜像投屏窗口的上端及两侧。在一个示例中,用户可以通过滑动该控件506或控件507来动态调整动态裁剪镜像投屏窗口的上端及两侧,通过该调整,能够使得新形成的投屏区域相应的缩小或者放大,此时,调整后的动态裁剪镜像投屏窗口所覆盖的手机界面发生变化,相应地,TV大屏会刷新显示该调整后的动态裁剪镜像投屏窗口所覆盖的手机界面。

控件508和控件509用于用户动态调整动态裁剪镜像投屏窗口的下端及两侧。在一个示例中,用户可以通过滑动该控件508或控件509来动态调整动态裁剪镜像投屏窗口的上端及两侧,通过该调整,能够使得新形成的投屏区域相应的缩小或者放大,此时,调整后的动态裁剪镜像投屏窗口所覆盖的手机界面发生变化,相应地,TV大屏会刷新显示该调整后的动态裁剪镜像投屏窗口所覆盖的手机界面。

可选地,当手机处于投屏模式之后,手机的右上角会显示投屏图标510,该投屏图标510用于提醒用户该手机目前处于正在投屏状态。

可选地,当动态裁剪镜像投屏窗口处于最小化或全屏的状态时,用户可以通过该投屏图标510重新拉起该动态裁剪镜像投屏窗口。

本申请实施例中,用户可以通过动态裁剪投屏窗口中的一系列控件来灵活操作投屏过程,能够根据实际需求在投屏源端的显示界面选择投屏区域,进而将所选择的投屏区域显示至被投屏端的显示界面,打破了传统的镜像投屏方法(将投屏源端屏幕完整呈现在被投屏端的显示界面)的固有限制,并且,通过该投屏方法,用户可以在投屏的过程中在投屏源端设备上同步使用其他应用,该投屏方法相比于现有投屏方法,投屏方式更加灵活和人性化,能够增强用户的使用体验。

下面,结合图6至图11,对用户使用动态裁剪镜像投屏窗口中的相应功能时的界面显示进行描述。

需要说明的是,图6至图11中均以第一设备(投屏源端设备)为手机,第二设备(被投屏端设备)为TV大屏为例进行描述,但其不应对本申请构成限制。

图6示出了本申请实施例提供的当用户在手机显示界面选择了部分区域进行投屏的界面显示图。

如图6所示,手机处于动态裁剪镜像投屏模式,动态裁剪镜像投屏窗口浮于手机应用上方,用户在手机的显示界面选择的投屏区域为部分手机桌面显示,其中,所选择的投屏区域中包括多个APP,该多个APP包括文件管理、电子邮件、音乐以及计算机等,由图6可以看到,手机桌面上的部分APP(时钟,日历,图库、备忘录以及短信等)未处于投屏区域,并且手机的状态栏也未处于投屏区域。投屏过程中,作为被投屏端的TV大屏的显示界面上显示了用户选择的投屏区域,未处于投屏区域的手机界面没有在TV大屏的显示界面显示。

图7示出了本申请实施例提供的用户将部分区域投屏切换为整体界面投屏时,手机端和TV大屏端的界面显示图。

如图7所示,当前投屏状态处于部分区域投屏(也就是TV大屏的显示界面显示的是用户动态裁剪镜像投屏窗口所覆盖的区域)状态时,用户通过点击动态裁剪镜像投屏窗口的管理栏中的控件601(与图5所示实施例中的控件501相同),就能够将部分区域投屏切换为整体界面投屏,使得TV大屏的显示界面显示手机的整个显示界面,进而实现与传统镜像投屏相同的效果,此时,手机的显示界面上的动态裁剪镜像投屏窗口收至右上角的投屏图标610(与图5所示实施例中的控件510相同)处。

图8示出了本申请实施例提供的动态裁剪镜像投屏窗口通过与单应用窗口交互,实现单应用窗口投屏(单应用附着投屏)的界面显示图。

应理解:为了简洁,图8至图10中以虚线框表示动态裁剪镜像投屏窗口,但其不应对其构成任何限定。

如图8所示,用户可以通过滑动和/或拖拽动态裁剪镜像投屏窗口,使得动态裁剪镜像投屏窗口覆盖于手机的显示界面的某一个应用窗口上,此时,动态裁剪镜像投屏窗口获取该单应用窗口的位置信息,进而实现单应用的串口镜像投屏。

示例性地,手机界面处于多界面模式,正在同时使用三个不同的应用程序,该三个不同的应用程序分别为聊天应用、计算器和视频应用。此外,手机界面还显示有3个界面元素(本实施例中为手机桌面的应用程序图标)。其中,视频应用窗口和该3个界面元素位于动态裁剪镜像投屏窗口内,聊天应用、计算器位于动态裁剪镜像投屏窗口外,此时,TV大屏端所显示出的投屏内容仅为视频应用窗口的相应内容,该3个界面元素未在TV大屏上显示,其他两个应用(聊天应用和计算器)窗口的内容也未在TV大屏上显示。

应理解:本实施例中的界面元素可以包括手机桌面的应用程序图标、桌面背景、状态栏显示中的一项或者多项,还可以包括其他元素,本申请对此不作限定。

其中,多界面模式可以理解为手机的显示界面包括多个应用程序的界面。

应理解,本申请实施例中,上述单应用为视频应用,但这不应对本申请构成任何限定,该单应用还可以是其他应用(例如:计算器、短信、图库等)。

可选地,在投屏模式下,当手机处于多界面显示状态时,会自动切换为应用附着投屏模式。

可选地,在投屏模式下,当手机处于多界面显示状态时,手机端通过弹窗的形式,询问用户是否切换为应用附着投屏模式,当用户选择是时,切换为应用附着投屏模式;当用户选择否时,保持原来的模式。

其中,应用附着投屏模式具体是指:TV大屏的显示界面仅显示动态裁剪投屏窗口内的应用窗口,动态裁剪投屏窗口内的其他内容(例如手机桌面上的APP图标、手机背景等)不显示。也就是说,在该模式下,TV大屏的显示界面所显示的投屏区域与手机端通过动态裁剪镜像投屏窗口所选择的投屏区域不一定完全一致,TV大屏的显示界面所显示的投屏区域在手机端所选择的投屏区域的基础上,仅保留了应用窗口,滤除了手机桌面上的APP图标、手机背景等内容。

以第一设备为投屏源端,第二设备为被投屏端为例,本申请实施例也可以理解为:当第一设备的显示界面包括M个应用程序界面和N个界面元素,该投屏窗口包括该M个应用程序界面中的1个应用程序界面和该N个界面元素中的Q个界面元素,此时,第二设备的显示界面显示该1个应用程序界面,其中,M、N、Q为大于或等于1的正整数,N≥Q。

本申请实施例中,当投屏源端的设备的显示界面有多个应用同时运行时,用户可以通过滑动和/或拖拽动态裁剪镜像投屏窗口,选择需要投屏的单应用窗口,能够实现单应用窗口的附着投屏,使得被投屏端的设备的显示界面仅显示该单应用窗口,这样,用户可以在投屏过程中同时使用其他不想被投屏的应用,能够使得投屏方式更加灵活和人性化,能够进一步增强用户的使用体验。

另外,当投屏源端处于动态裁剪镜像投屏模式,并且投屏源端处于多界面显示状态时,投屏源端能够自动或者手动切换到应用附着投屏模式,这样,投屏源端传输给被投屏端的视频流中,滤除了非应用窗口的内容(例如:手机桌面APP、手机桌面背景等画面),能够实现纯应用的投屏,进一步提升了用户的使用体验。

图9示出了本申请实施例提供的动态裁剪镜像投屏窗口通过与多应用窗口交互,实现多应用窗口投屏(多应用附着投屏)的界面显示图。

如图9所示,用户可以通过滑动和/或拖拽,使得动态裁剪镜像投屏窗口覆盖于手机的显示界面的多个应用窗口上,此时,动态裁剪镜像投屏窗口获取该多个应用窗口的位置信息,进而实现多个应用的串口镜像投屏。

示例性地,手机界面处于多界面模式,正在同时使用三个不同的应用,该三个不同的应用分别为聊天应用、计算器和视频应用。此外,手机界面还显示有3个界面元素(本实施例中为手机桌面的应用程序图标)。其中,计算器窗口、视频应用窗口和该3个界面元素位于动态裁剪镜像投屏窗口内,聊天应用窗口位于动态裁剪镜像投屏窗口外,此时,TV大屏端所显示出的投屏内容为计算器窗口和视频应用窗口的相应内容,该3个界面元素未在TV大屏上显示,聊天应用窗口的内容也未在TV大屏上显示。

应理解,本申请实施例中,上述多个应用为计算器和视频应用,但这不应对本申请构成任何限定,该多个应用还可以是其他应用(例如:日历、短信、图库等)。

可选地,在投屏模式下,当手机处于多界面显示状态时,会自动切换为应用附着投屏模式。

可选地,在投屏模式下,当手机处于多界面显示状态时,手机端通过弹窗的形式,询问用户是否切换为应用附着投屏模式,当用户选择是时,切换为应用附着投屏模式;当用户选择否时,保持原来的模式。

其中,对于应用附着投屏模式的解释在图8所示的实施例做出了详细说明,为了简洁,在此不再赘述。

以第一设备为投屏源端,第二设备为被投屏端为例,本申请实施例也可以理解为:当第一设备的显示界面包括M个应用程序界面和N个界面元素,该投屏窗口包括该M个应用程序界面中的P个应用程序界面和该N个界面元素中的Q个界面元素,此时,第二设备的显示界面显示该P个应用程序界面,其中,M、P为大于1的正整数,N、Q为大于或等于1的正整数,M≥P,N≥Q。

本申请实施例中,当投屏源端的设备显示界面处于多界面模式时,用户可以通过滑动和/或拖拽动态裁剪镜像投屏窗口,选择需要投屏的多个应用程序窗口,能够实现多个应用程序窗口的附着投屏,使得被投屏端的设备的显示界面显示该多个应用窗口,这样,用户可以在投屏过程中同时使用其他不想被投屏的应用,能够使得投屏方式更加灵活和人性化,能够进一步增强用户的使用体验。

示例性地,图10示出了本申请实施例提供的用户将单应用窗口投屏(单应用附着投屏)切换为多应用窗口投屏(多应用附着投屏)时的界面显示图。

如图10所示,手机界面处于多界面模式,正在同时使用三个不同的应用,该三个不同的应用分别为聊天应用、计算器和视频应用。此外,手机界面还显示有3个界面元素(本实施例中为手机桌面的应用程序图标)。其中,视频应用窗口和该3个界面元素位于动态裁剪镜像投屏窗口内,聊天应用、计算器位于动态裁剪镜像投屏窗口外,此时,TV大屏端所显示出的投屏内容仅为视频应用窗口的相应内容,其他两个应用(聊天应用和计算器)窗口的内容以及该3个界面元素未在TV大屏上显示。

当用户希望在此基础上增加计算器应用窗口的投屏时,可以通过长按并拖拽计算器应用窗口的方式,将计算器应用窗口拖拽至动态裁剪镜像投屏窗口内;拖拽成功后,位于动态裁剪镜像投屏窗口内的计算器应用窗口和视频应用窗口会自适应的进行大小调整,使得计算器应用窗口和视频应用窗口在动态裁剪镜像投屏窗口内完整显示,相对应的,TV大屏的显示界面由仅显示视频应用窗口切换为同时显示计算器应用窗口和视频应用窗口,并且,投屏显示的计算器应用窗口和视频应用窗口会自适应的进行大小调整,使得计算器应用窗口和视频应用窗口在TV大屏上完整显示。

在另一种实现方式中,用户可以通过滑动和/或拖拽动态裁剪镜像投屏窗口的方式,来调整动态裁剪镜像投屏窗口的大小和/或位置(也就是调整投屏区域的大小和/或位置),将多个应用窗口调整至动态裁剪镜像投屏窗口(投屏区域)内,进而实现单应用窗口投屏到多应用窗口投屏的切换。

可选地,用户可以通过长按并拖拽应用窗口的方式实现不同单应用之间的投屏切换。

示例性地,当前手机界面上的短信应用位于投屏区域内,当用户希望将被投屏的应用切换为正以多界面形式播放的视频应用时,可以通过长按并拖拽应用窗口的方式,将短信应用窗口拖拽出投屏窗口,再将视频应用窗口拖拽到投屏窗口内,这样,就能够实现短信应用和视频应用之间的投屏切换。

可选地,用户可以通过滑动和/或拖拽动态裁剪镜像投屏窗口的方式实现不同单应用投屏之间的切换。

示例性地,当前手机界面上的短信应用位于投屏区域内,当用户希望将被投屏的应用切换为正以多界面形式播放的视频应用时,可以通过滑动和/或拖拽动态裁剪镜像投屏窗口的方式,使得短信应用窗口位于投屏窗口外,视频应用窗口位于投屏窗口内,这样,就能够实现短信应用和视频应用之间的投屏切换。

可选地,用户可以通过长按并拖拽应用窗口的方式实现不同组合的多应用投屏之间的切换。

示例性地,手机界面处于多界面模式,正在同时使用三个不同的应用,该三个不同的应用分别为聊天应用、计算器和视频应用。此外,手机界面还显示有3个界面元素(本实施例中为手机桌面的应用程序图标)。其中,计算器窗口、视频应用窗口和该3个界面元素位于动态裁剪镜像投屏窗口内,聊天应用窗口位于动态裁剪镜像投屏窗口外,此时,TV大屏端所显示出的投屏内容为计算器窗口和视频应用窗口的相应内容,聊天应用窗口的内容以及该3个界面元素未在TV大屏上显示。当用户希望将被投屏的应用切换为聊天应用和计算器时,可以通过长按并拖拽应用窗口的方式,将视频应用窗口拖拽出投屏窗口,再将聊天应用窗口拖拽到投屏窗口内,这样,TV大屏端所显示出的投屏内容更新为聊天应用窗口和计算器窗口的相应内容,视频应用窗口的内容未在TV大屏上显示。

可选地,用户可以通过滑动和/或拖拽动态裁剪镜像投屏窗口的方式实现不同组合的多应用投屏之间的切换。

示例性地,手机界面处于多界面模式,正在同时使用三个不同的应用,该三个不同的应用分别为聊天应用、计算器和视频应用。此外,手机界面还显示有3个界面元素(本实施例中为手机桌面的应用程序图标)。其中,计算器窗口、视频应用窗口和该3个界面元素位于动态裁剪镜像投屏窗口内,聊天应用窗口位于动态裁剪镜像投屏窗口外,此时,TV大屏端所显示出的投屏内容为计算器窗口和视频应用窗口的相应内容,聊天应用窗口的内容以及该3个界面元素未在TV大屏上显示。当用户希望将被投屏的应用切换为聊天应用和计算器时,可以通过滑动和/或拖拽动态裁剪镜像投屏窗口的方式,使得视频应用窗口位于投屏窗口外,聊天应用窗口和计算器窗口位于投屏窗口内,这样,TV大屏端所显示出的投屏内容更新为聊天应用窗口和计算器窗口的相应内容,视频应用窗口的内容未在TV大屏上显示。

本申请实施例中,在投屏过程中,用户可以根据自身需求进行投屏应用的灵活选择,能够随时停止投屏正处于投屏状态的一个或者多个应用,也能够随时将未处于投屏状态的一个或多个应用进行投屏,这样,能够进一步增强用户的使用体验。

图11示出了本申请实施例提供的用户将动态裁剪镜像投屏窗口最小化时,手机端和TV大屏端的界面显示图。

如图11所示,当前投屏状态处于部分区域投屏(也就是TV大屏的显示界面显示的是用户动态裁剪镜像投屏窗口所覆盖的区域)状态时,用户通过点击动态裁剪镜像投屏窗口的管理栏中的控件1102(与图5所示实施例中的控件502相同),就能够实现投屏最小化,此时,TV大屏的显示界面切换至屏保界面,不显示手机界面的任何内容。此时,手机的显示界面上的动态裁剪镜像投屏窗口收至右上角的投屏图标1110(与图5所示实施例中的控件510相同)处。

可选地,当用户希望恢复投屏显示时,可以通过点击右上角的投屏图标1110,使得TV大屏的显示界面恢复投屏显示。

本申请实施例中,当用户希望暂时中断投屏显示时,可以将投屏显示最小化,当需要恢复投屏显示时,通过点击投屏图标就能实现,不需要重新触发投屏操作,使得操作更加简便,能够进一步提升用户的使用体验。

以下,示例性的,以第一设备(投屏源端设备)为手机,第二设备(被投屏端设备)为TV大屏为例,结合图12和图13,对本申请实施例提供的投屏方法进行详细介绍。

图12示出了本申请实施例提供的投屏方法1200的示意性流程图。如图12所示,该方法1200包括:

步骤S1201:响应于检测到第一输入,第一设备在该第一设备的显示界面显示投屏窗口。

其中,第一输入是指为拉起投屏窗口而进行的操作。例如:可以是图4所示的实施例中的操作。

可选地,当用户触发投屏功能时,投屏源端的显示界面会弹出选择框,该选择框用于用户选择是否使用动态裁剪镜像投屏模式,当用户选择使用动态裁剪镜像投屏模式时,动态裁剪投屏窗口出现在第一设备的显示界面上。

其中,动态裁剪镜像投屏窗口显示在所有应用上层,用于用户动态选择投屏区域,窗口整体设置为应用上衬(overlay)、内容透明、边框可见、靠上居中显示,窗口的顶部设置有窗口管理栏。

步骤S1202:第一设备确定投屏区域。

其中,投屏区域的确定是通过用户调整的动态裁剪镜像投屏窗口的大小和位置实现的,即:用户通过对动态裁剪镜像投屏窗口执行裁剪操作来选择和确定投屏窗口的大小和位置,从而进一步确定投屏区域。该动态裁剪投屏窗口位于第一设备的显示界面的应用上层。

应理解:本申请实施例中的第一设备为电子设备,其作为投屏源端设备。

可选地,第一设备可以是手机、电脑、平板和电视中的任意一种,还可以是其他具有屏幕显示功能的电子设备,本申请对此不作限定。

可选地,用户可以通过裁剪和/或拖拽动态裁剪镜像投屏窗口的操作使得动态裁剪镜像投屏窗口所覆盖的投屏区域发生变化,进而达到选择和确定需要进行投屏的区域的目的。

步骤S1203:第一设备向第二设备发送请求消息。

其中,该请求消息用于请求获取第二设备的能力信息。

可选地,第二设备的能力信息包括第二设备的分辨率、显示屏的宽和高、码率和帧率中的一项或者多项,还可以包括第二设备的其他信息,本申请对此不作限定。

应理解:本申请实施例中的第二设备为电子设备,其作为被投屏端设备。

可选地,第二设备可以是手机、电脑、平板和电视中的任意一种,还可以是其他具有屏幕显示功能的电子设备,本申请对此不作限定。

步骤S1204:第一设备接收第二设备发送的第二消息。

其中,第二消息包括第二设备的能力信息,关于该能力信息,在步骤S402中作了详细解释,为了简洁,在此不再赘述。

可选地,当第二设备接收到第一设备发送的请求消息后,第二设备根据其自身的设备能力,确定其能力信息,并将该能力信息设置为实时流传输协议(real timestreaming protocol,RTSP)格式。

步骤S1205:第一设备向第二设备发送第一消息。

其中,第一消息是第一设备根据接收到的第二消息生成的,该第一消息包括在步骤S401中确定的投屏区域对应的视频流。

可选地,第一设备根据第二消息生成第一消息,可以是第一设备将第二消息所包括的第二设备的能力信息与确定的投屏区域进行映射,针对该投屏区域进行编码,编码完成后得到第一消息。

可选地,第一设备在向第二设备发送第一消息之前,可以将该第一消息封装成实时传输协议(real-time transport protocol,RTP)包,并进行加密处理。

步骤S1206:第二设备渲染显示投屏区域对应的视频流。

可选地,第二设备接收到第一设备发送的第一消息后,对该第一消息进行解密和解码,获得投屏区域对应的视频流,再将其进行渲染显示。

可选地,本申请实施例中的步骤S1203和步骤S1204为可选步骤,并且,第一设备还可以通过其他方式获取第二设备的能力等信息,本申请对此不作限定。

本申请实施例中,用户能够根据实际需求在投屏源端的显示界面选择需要投屏的区域,并且能够根据被投屏端的参数将确定的投屏区域自适应适配的显示至被投屏端,打破了传统的镜像投屏方法(将投屏源端屏幕完整呈现在被投屏端)的固有限制,并且,通过该投屏方法,用户可以在投屏的过程中在投屏源端设备上同时使用其他不想被投屏的应用,该投屏方法相比于现有投屏方法,投屏方式更加灵活和人性化,能够增强用户的使用体验。

为了更加清楚地理解投屏源端和被投屏端的投屏数据参数协商机制,图13示出了本申请实施例提供的投屏源端和被投屏端的投屏数据参数协商机制图。具体的:

步骤S1301:投屏源端连接设备。

该连接的设备为投屏源端设备,例如可以是手机、电视、平板、电脑中的任意一种。

步骤S1302:启动RTSP服务器。

步骤S1303:加密端口号,该端口号为本端监听端口号。

步骤S1304:将加密之后的端口号通过数据透传的方式发送至被投屏端。

步骤S1305:被投屏端连接设备。

该连接的设备为被投屏端设备,例如可以是手机、电视、平板、电脑中的任意一种。

步骤S1306:启动RTSP客户端。

启动RTSP客户端后,投屏源端和被投屏端通过RTSP服务器和RTSP客户端建立起了套接字连接。

步骤S1307:被投屏端的RTSP客户端向投屏源端的RTSP服务器发送宣告(Announce)请求消息。

步骤S1308:投屏源端的RTSP服务器向被投屏端的RTSP客户端发送Announce响应消息。

步骤S1309:投屏源端的RTSP服务器向被投屏端的RTSP客户端发送第一查询消息,该第一查询消息用于查询被投屏端设备支持的协议字段。

步骤S1310:被投屏端的RTSP客户端向投屏源端的RTSP服务器发送第一查询消息的响应消息,该第一查询消息的响应消息包括被投屏端设备支持的协议字段。

步骤S1311:被投屏端的RTSP客户端向投屏源端的RTSP服务器发送第二查询消息,该第二查询消息用于查询投屏源端设备支持的协议字段。

步骤S1312:投屏源端的RTSP服务器向被投屏端的RTSP客户端发送第二查询消息的响应消息,该第二查询消息的响应消息包括投屏源端设备支持的协议字段。

步骤S1313:投屏源端的RTSP服务器向被投屏端的RTSP客户端发送请求消息,该请求消息用于请求获取被投屏端设备的能力信息。

步骤S1314:被投屏端的RTSP客户端向投屏源端设备转发上述请求消息。

步骤S1315:被投屏端设备通过本端的RTSP客户端向投屏源端的RTSP服务器发送第二消息,该第二消息包括被投屏端设备的能力信息。

步骤S1316:投屏源端的RTSP服务器请求获取投屏源端的能力信息。

步骤S1317:投屏源端的RTSP服务器接收屏源端的能力信息。

步骤S1318:投屏源端的RTSP服务器根据接收到的被投屏端的能力信息和本端的能力信息进行本端能力协商。

步骤S1319:投屏源端的RTSP服务器向投屏源端设备发送本端协商参数。

步骤S1320:投屏源端的RTSP服务器向被投屏端的RTSP客户端发送协商后的能力信息。

步骤S1321:被投屏端的RTSP客户端根据协商后的能力信息设置协商参数。

步骤S1322:被投屏端的RTSP客户端将设置的协商参数发送给被投屏端设备。

步骤S1323:被投屏端的RTSP客户端向投屏源端的RTSP服务器发送协商后的能力信息的响应消息。

本申请实施例中,通过投屏源端的RTSP服务器和被投屏端的RTSP客户端,投屏源端的设备和被投屏端的设备能够进行及时的参数协商,被投屏端能够将本端的投屏信息发送给投屏源端,投屏源端根据该投屏信息输出与其适配的视频流,进一步地,将用户选择的需要投屏的区域自适应适配的显示至被投屏端,提高了投屏的画质,从而提升了用户的使用体验。

示例性地,图14示出了本申请实施例提供的投屏系统1400的硬件结构示意图。

应理解:本申请实施例中所述的第一设备为投屏源端设备,第二设备为被投屏端设备。

如图14所示,本申请实施例提供的投屏系统包括第一设备和第二设备,作为投屏源端的第一设备和作为被投屏端的第二设备各包括3个模块。

其中,第一设备包括投屏区域选择模块1410、编码模块1420和第一数据传输模块1430,第二设备包括第二数据传输模块1440、解码模块1450和显示模块1460。具体的:

投屏区域选择模块1410,用于用户选择和确定投屏区域。

编码模块1420,用于从第一数据传输模块1430获取第二设备的能力信息,还用于将获取的能力信息与用户确定的投屏区域进行映射,针对该投屏区域进行编码,并在编码完成后输出第一消息。

其中,第二设备的能力信息包含于第一设备接收到的第二消息中。

可选地,编码模块1420还用于对第一消息进行加密处理。

第一数据传输模块1430,用于向第二设备发送第一消息。

其中,第一消息是第一设备根据接收到的第二消息生成的,该第二消息包括第二设备的能力信息,该第一消息包括用户确定的投屏区域对应的视频流。

可选地,编码模块1420根据第二消息生成第一消息,再向第一数据传输模块530输出该第一消息。

第一数据传输模块1430还用于向第二设备发送请求消息。

其中,该请求消息用于请求获取第二设备的能力信息。

可选地,第二设备的能力信息包括第二设备的分辨率、显示屏的宽和高、码率和帧率中的一项或者多项,还可以包括第二设备的其他信息,本申请对此不作限定。

第一数据传输模块1430还用于接收第二设备发送的第二消息。

其中,第二消息包括第二设备的能力信息。

可选地,当第二设备接收到第一设备发送的请求消息后,第二设备根据其自身的设备能力,确定其能力信息,并将该能力信息设置为RTSP格式。

第二数据传输模块1440,用于接收第一设备发送的第一消息。

其中,第一消息是第一设备根据接收到的第二消息生成的,该第二消息包括第二设备的能力信息,该第一消息包括用户确定的投屏区域对应的视频流。

第二数据传输模块1440还用于接收第一设备发送的请求消息。

其中,该请求消息用于请求获取第二设备的能力信息。

可选地,第二设备的能力信息包括第二设备的分辨率、显示屏的宽和高、码率和帧率中的一项或者多项,还可以包括第二设备的其他信息,本申请对此不作限定。

第二数据传输模块1440还用于向第一设备发送第二消息。

其中,第二消息包括第二设备的能力信息。

可选地,当第二设备接收到第一设备发送的请求消息后,第二设备根据其自身的设备能力,确定其能力信息,并将该能力信息设置为RTS格式。

可选地,第一数据传输模块1430和第二数据传输模块1440可以通过无线网络(例如:WiFi、蓝牙)连接,也可以通过有线的方式连接(例如:数据线连接),本申请对此不作限定。

解码模块1450,用于从第二数据传输模块1440获取第一消息,还用于将该第一消息进行解密和解码,获得投屏区域对应的视频流,并将该视频流输出到显示模块1460。

显示模块1460,用于从解码模块1450获取经过解密和解码之后的投屏区域对应的视频流,还用于将该视频流渲染显示。

本申请实施例中,通过投屏区域选择模块,用户能够在投屏源端的显示界面上选择需要进行投屏的区域进行投屏,并且能够根据被投屏端的参数将选择的需要投屏的区域自适应适配的显示至被投屏端,打破了传统的镜像投屏方法(将投屏源端屏幕完整呈现在被投屏端)的固有限制,并且,通过该投屏方法,用户可以在不影响投屏进行的基础上,在投屏的过程中在投屏源端设备上进行其他操作,该投屏方法相比于现有的投屏方法,投屏方式更加灵活和人性化,能够增强用户的使用体验。

为了更清楚地理解本申请提供的投屏装置,在图14所示实施例的基础上,图15示出了本申请实施例提供的投屏系统1500的硬件结构示意图。

如图15所示,投屏系统1500包括包括第一设备和第二设备,作为投屏源端的第一设备和作为被投屏端的第二设备各包括3个模块。

其中,第一设备包括投屏区域选择模块1510、编码模块1520和第一数据传输模块1530,第二设备包括第二数据传输模块1540、解码模块1550和显示模块1560。具体的:

投屏区域选择模块1510包括输入单元1511、界面1512、图像合成单元1513和第一显示屏1514。

编码模块1520包括编码器1521、调控单元1522和加密打包单元1523。

第一数据传输模块1530包括第一收发模块1531。

第二数据传输模块1540包括第二收发模块1541。

解码模块1550包括拼包解密单元1551、解码器1552和同步单元1553。

显示模块1560包括送显单元1561、显示系统1562和第二显示屏1563。

其中,

输入单元1511,用于向界面1512输入用户选择的投屏区域的相关信息。

界面1512,用于接收被投屏端的投屏参数,还用于根据被投屏端的投屏参数创建投屏区域与被投射端的映射关系。

图像合成单元1513,用于接收来自界面1512的投屏区域与被投射端的映射关系,并用于根据该映射关系合成图像。

第一显示屏1514,用于投屏源端设备的界面显示。

编码器1521,用于接收第二设备的能力信息,还用于将获取的能力信息与用户确定的投屏区域进行映射,针对该投屏区域进行编码,并在编码完成后输出第一消息。

其中,第一消息包括用户确定的投屏区域对应的视频流。

第二设备的能力信息包含于第一设备接收到的第二消息中。

调控单元1522,用于在编码器编码过程中对编码相关的数据进行调控。其中,编码相关的数据包括网络数据、场景数据、功耗数据中的一项或者多项。具体的,可以是这些数据的帧率调节、码率调节等。

加密打包单元1523,用于将编码器1521编码并输出的第一消息进行加密并打包,生成RTP数据包。

第一收发单元1531,用于向第二设备发送第一消息。

其中,第一消息是第一设备根据接收到的第二消息生成的,该第二消息包括第二设备的能力信息,该第一消息包括用户确定的投屏区域对应的视频流(RTP数据包)。

可选地,编码模块1520根据第二消息生成第一消息,再向第一数据传输模块530输出该第一消息。

第一收发单元1531还用于向第二设备发送请求消息。

其中,该请求消息用于请求获取第二设备的能力信息。

可选地,第二设备的能力信息包括第二设备的分辨率、显示屏的宽和高、码率和帧率中的一项或者多项,还可以包括第二设备的其他信息,本申请对此不作限定。

第一收发单元1531还用于接收第二设备发送的第二消息。

其中,第二消息包括第二设备的能力信息。

可选地,当第二设备接收到第一设备发送的请求消息后,第二设备根据其自身的设备能力,确定其能力信息,并将该能力信息设置为RTSP格式。

第二收发模块1541,用于接收第一设备发送的第一消息。

其中,第一消息是第一设备根据接收到的第二消息生成的,该第二消息包括第二设备的能力信息,该第一消息包括用户确定的投屏区域对应的视频流(RTP数据包)。

第二收发模块1541还用于接收第一设备发送的请求消息。

其中,该请求消息用于请求获取第二设备的能力信息。

可选地,第二设备的能力信息包括第二设备的分辨率、显示屏的宽和高、码率和帧率中的一项或者多项,还可以包括第二设备的其他信息,本申请对此不作限定。

第二收发模块1541还用于向第一设备发送第二消息。

其中,第二消息包括第二设备的能力信息。

可选地,当第二设备接收到第一设备发送的请求消息后,第二设备根据其自身的设备能力,确定其能力信息,并将该能力信息设置为RTS格式。

可选地,第一收发模块1531和第二收发模块1541可以通过无线网络(例如:WiFi、蓝牙)连接,也可以通过有线的方式连接(例如:数据线连接),本申请对此不作限定。

拼包解密单元1551,用于从第二收发单元获取第一消息,还用于对该第一消息进行拼包和解密。

解码器1552,用于将拼包和解密后的第一消息进行解码。

同步单元1553,用于将解密后的第一消息中的视频流和音频进行同步,并输出到送显单元1561。

送显单元1561,用于将接收到的投屏区域对应的视频流送显到显示系统1562。

显示系统1562,用于将投屏区域对应的视频流在第二显示屏1562上进行渲染显示。

第二显示屏1563,用于渲染显示投屏区域对应的视频流。

本申请实施例中,通过投屏区域选择模块,用户能够在投屏源端的显示界面上选择需要进行投屏的区域进行投屏,并且能够根据被投屏端的参数将选择的需要投屏的区域自适应适配的显示至被投屏端,打破了传统的镜像投屏方法(将投屏源端屏幕完整呈现在被投屏端)的固有限制,并且,通过该投屏方法,用户可以在不影响投屏进行的基础上,在投屏的过程中在投屏源端设备上进行其他操作,该投屏方法相比于现有的投屏方法,投屏方式更加灵活和人性化,能够增强用户的使用体验。

在本申请提供的又一个实施例中,投屏区域选择模块还包括触控事件接收器1601,用于监听手指触控事件,当用户在图5所示的投屏区域选择界面通过控件501至控件510对投屏区域进行位置和/或大小调整时,该触控事件接收器1601能够及时识别用户的相应操作,并选择对应操作变化,刷新动态裁剪投屏窗口的实时位置,使得被投屏端刷新显示新选择的投屏区域。

本文中所描述的模块或单元的一个或多个可以软件、硬件或二者结合来实现。当以上任一模块或单元以软件实现的时候,所述软件以计算机程序指令的方式存在,并被存储在存储器中,处理器可以用于执行所述程序指令并实现以上方法流程。所述处理器可以包括但不限于以下至少一种:中央处理单元(central processing unit,CPU)、微处理器、数字信号处理器(DSP)、微控制器(microcontroller unit,MCU)、或人工智能处理器等各类运行软件的计算设备,每种计算设备可包括一个或多个用于执行软件指令以进行运算或处理的核。该处理器可以内置于SoC(片上系统)或专用集成电路(applicationspecificintegrated circuit,ASIC),也可是一个独立的半导体芯片。该处理器内处理用于执行软件指令以进行运算或处理的核外,还可进一步包括必要的硬件加速器,如现场可编程门阵列(field programmable gate array,FPGA)、PLD(可编程逻辑器件)、或者实现专用逻辑运算的逻辑电路。

当本文中所描述的模块或单元以硬件实现的时候,该硬件可以是CPU、微处理器、DSP、MCU、人工智能处理器、ASIC、SoC、FPGA、PLD、专用数字电路、硬件加速器或非集成的分立器件中的任一个或任一组合,其可以运行必要的软件或不依赖于软件以执行以上方法流程。

当本文中所描述的模块或单元使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid statedisk,SSD))等。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

技术分类

06120116458843