图像处理方法及装置

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法及装置。

背景技术

目前，用户使用电子设备进行日常视频通话越来越广泛，包括微信视频通话、高清视频通话(ViLTE，Video over LTE)、会议视频通话等视频通话方式。对于视频通话，用户希望能够看到通话本端以及对端的比较清晰的视频质量。

在实现本申请的过程中，发明人发现现有技术中至少存在如下问题：由于视频通话不仅需要传输语音数据包，同时还需要传输视频数据包，对网络环境条件要求较高，因此当网络环境较差时，视频通话质量也会比较差，比较容易发生卡顿、花屏等现象。一旦出现花屏、卡顿，由于网络环境不能够及时恢复正常，导致卡顿、花屏可能会持续一段时间，影响用户体验。

因此，如何解决视频通话过程中的卡顿、花屏成为亟待解决的问题。

发明内容

本申请实施例的目的是提供一种图像处理方法及装置，能够解决现有技术中视频通话过程中的卡顿、花屏的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：

确定视频通话过程中传输的视频帧图像的分辨率和码率；

获取所述视频帧图像中的背景信息；

对所述视频帧图像进行模糊处理，得到模糊处理后的视频帧图像；

基于所述分辨率和所述码率，传输所述模糊处理后的视频帧图像。

第二方面，本申请实施例提供了一种图像处理装置，包括；

第一确定模块，用于确定视频通话过程中传输的视频帧图像的分辨率和码率；

获取模块，用于获取所述视频帧图像中的背景信息；

处理模块，用于对所述视频帧图像进行模糊处理，得到模糊处理后的视频帧图像；

传输模块，用于基于所述分辨率和所述码率，传输所述模糊处理后的视频帧图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，确定视频通话过程中传输的视频帧图像的分辨率和码率，获取视频帧图像中的背景信息，对视频帧图像进行模糊处理，得到模糊处理后的视频帧图像，基于分辨率和码率，传输模糊处理后的视频帧图像。由于滤除了背景信息中的高频信息，因此在固定的分辨率和码率下，可以传输更多有效的前景信息，避免或减少视频卡顿、花屏问题。

附图说明

图1是本申请实施例中提供的一种图像处理方法的步骤流程图；

图2是本申请实施例中提供的一种图像处理装置的结构示意图；

图3为实现本申请实施例的一种电子设备的硬件结构示意图；

图4为实现本申请实施例的另一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

参照图1，图1是本申请实施例中提供的一种图像处理方法的步骤流程图，该方法可以包括如下步骤：

步骤101、电子设备确定视频通话过程中传输的视频帧图像的分辨率和码率。

用户使用电子设备进行视频通话过程中，电子设备可以和电子设备驻留的基站协商传输的视频帧图像的分辨率和码率，将协商好的分辨率和码率作为确定的视频通话过程中传输的视频帧图像的分辨率和码率。

步骤102、电子设备获取视频帧图像中的背景信息。

可以基于人工智能技术检测视频帧图像中的背景信息，从而获取到视频帧图像中的背景信息。或者，基于人工智能技术识别视频帧图像中的前景信息，将视频帧图像中除前景信息之外的信息作为背景信息，在视频通话过程中，可景信息包括人脸信息，通过人脸检测可以识别出视频帧图像中的人脸信息，进而将视频帧图像中的前景信息去除后，可以得到背景信息。

步骤103、电子设备对视频帧图像进行模糊处理，得到模糊处理后的视频帧图像。

其中，电子设备对视频帧图像进行模糊处理，得到模糊处理后的视频帧图像可以通过如下步骤实现：

电子设备采用目标低通滤波器去除所述背景信息中的高频信息，以对所述视频帧图像进行模糊处理，得到模糊处理后的视频帧图像。

可选的，目标低通滤波器包括均值滤波器、高斯滤波器、双边滤波器和中值滤波器中的任意一种。

视频通话成功建立之后，采用目标低通滤波器过滤掉背景信息中的高频信息，保留低频信息，从而完成对视频帧图像的背景信息进行模糊处理，并不影响重要的前景信息。

可以理解的是，图像中通常包括有高频信息以及低频信息。其中，高频信息对应着图像变化剧烈的部分，也就是图像的边缘轮廓或者噪声，高频信息代表这图像中灰度变化剧烈的点。而低频信息代表着图像中亮度或者灰度值变化缓慢的区域，也就是图像中大片平坦的区域，描述了图像的主要部分。

步骤104、电子设备基于分辨率和码率，传输模糊处理后的视频帧图像。

基于分辨率和码率，传输模糊处理后的视频帧图像，从而实现在固定的分辨率下，可以减少视频帧图像的背景信息的数据量，进而在固定码率下，可以传输更多的前景信息，避免或者减少视频卡顿、花屏现象的发生。

本实施例提供的图像处理方法，通过确定视频通话过程中传输的视频帧图像的分辨率和码率，获取视频帧图像中的背景信息，采用目标低通滤波器滤除背景信息中的高频信息，以对视频帧图像进行模糊处理，得到模糊处理后的视频帧图像，基于分辨率和码率，传输模糊处理后的视频帧图像。由于滤除了背景信息中的高频信息，因此在固定的分辨率和码率下，可以传输更多有效的前景信息，避免或减少视频卡顿、花屏问题。

可选的，在电子设备获取视频帧图像中的背景信息之后，还可以包括如下步骤：

电子设备根据视频帧图像上的每个像素点到频谱图的中心像素点的距离，确定目标低通滤波器，其中，频谱图为视频帧图像的频谱图。

其中，理想低通滤波器为：

其中，(u，v)表示视频帧图像上的像素点的坐标，D

其中，M和N表示频谱图的大小，(M/2，N/2)表示频频图的中心像素点的坐标。

需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理的方法的控制模块。本申请实施例中以图像处理装置执行图像处理的方法为例，说明本申请实施例提供的图像处理的装置。

参照图2，图2是本申请实施例中提供的一种图像处理装置的结构示意图，该图像处理装置200包括：

第一确定模块210，用于确定视频通话过程中传输的视频帧图像的分辨率和码率；

获取模块220，用于获取所述视频帧图像中的背景信息；

处理模块230，用于对所述视频帧图像进行模糊处理，得到模糊处理后的视频帧图像；

传输模块240，用于基于所述分辨率和所述码率，传输所述模糊处理后的视频帧图像。

本实施例提供的图像处理装置，通过确定视频通话过程中传输的视频帧图像的分辨率和码率，获取所述视频帧图像中的背景信息，对所述视频帧图像进行模糊处理，得到模糊处理后的视频帧图像，基于所述分辨率和所述码率，传输所述模糊处理后的视频帧图像。由于滤除了背景信息中的高频信息，因此在固定的分辨率和码率下，可以传输更多有效的前景信息，避免或减少视频卡顿、花屏问题。

可选的，所述处理模块230，具体用于采用目标低通滤波器去除所述背景信息中的高频信息，以对所述视频帧图像进行模糊处理，得到模糊处理后的视频帧图像。

可选的，所述获取模块220，具体用于识别所述视频帧图像中的前景信息，其中，所述前景信息包括人脸信息；

将所述视频帧图像中除所述前景信息之外的信息作为所述背景信息。

可选的，还包括：

第二确定模块，用于根据所述视频帧图像上的每个像素点到频谱图的中心像素点的距离，确定所述目标低通滤波器，其中，所述频谱图为所述视频帧图像的频谱图。

可选的，所述目标低通滤波器包括均值滤波器、高斯滤波器、双边滤波器和中值滤波器中的任意一种。

本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1的方法实施例中图像处理装置实现的各个过程，为避免重复，这里不再赘述。

可选的，本申请实施例还提供一种电子设备，如图3所示，图3为实现本申请实施例的一种电子设备的硬件结构示意图。该电子设备300包括处理器301，存储器302，存储在存储器302上并可在处理器301上运行的程序或指令，该程序或指令被处理器301执行时实现图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图4为实现本申请实施例的另一种电子设备的硬件结构示意图。

该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。

本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器410，用于确定视频通话过程中传输的视频帧图像的分辨率和码率；

获取所述视频帧图像中的背景信息；

对所述视频帧图像进行模糊处理，得到模糊处理后的视频帧图像；

基于所述分辨率和所述码率，传输所述模糊处理后的视频帧图像。

通过确定视频通话过程中传输的视频帧图像的分辨率和码率，获取所述视频帧图像中的背景信息，对所述视频帧图像进行模糊处理，得到模糊处理后的视频帧图像，基于所述分辨率和所述码率，传输所述模糊处理后的视频帧图像。由于滤除了背景信息中的高频信息，因此在固定的分辨率和码率下，可以传输更多有效的前景信息，避免或减少视频卡顿、花屏问题。

处理器410，还用于采用目标低通滤波器去除所述背景信息中的高频信息，以对所述视频帧图像进行模糊处理，得到模糊处理后的视频帧图像。

处理器410，还用于识别所述视频帧图像中的前景信息，其中，所述前景信息包括人脸信息；

将所述视频帧图像中除所述前景信息之外的信息作为所述背景信息。

处理器410，还用于根据所述视频帧图像上的每个像素点到频谱图的中心像素点的距离，确定所述目标低通滤波器，其中，所述频谱图为所述视频帧图像的频谱图。

所述目标低通滤波器包括均值滤波器、高斯滤波器、双边滤波器和中值滤波器中的任意一种。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述降噪功能控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。

应理解的是，本申请实施例中，输入单元404可以包括图形处理器(GraphicsProcessing Unit，GPU)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元406可包括显示面板4061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板4061。用户输入单元407包括触控面板4071以及其他输入设备4072。触控面板4071，也称为触摸屏。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器409可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器410可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。