图像深度信息局部动态生成方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像深度信息局部动态生成方法和装置。

背景技术

目前，图像处理技术日趋成熟，商业化应用愈加广泛，图像处理技术是用计算机对图像信息进行处理的技术，主要包括图像数字化、图像增强和复原、图像数据编码、图像分割和图像识别等。图像处理过程中，通过利用图像深度信息，增加对图像信息的利用维度，能够有效提高图像的处理精度，应用越来越广泛。

当前基于3D相机的算法方案中图像深度信息的获取方式主要包括以下两种：

1)采用外购或者自开发成品3D相机，3D相机持续高帧率的计算产生深度流等待被功能算法模块抽帧使用；

2)设计触发开关控制3D相机对中间某帧或某些帧计算产生深度信息被功能算法模块作为输入使用。

但是，现有深度信息产生方案，存在计算量大、功耗高的问题。

发明内容

针对现有技术中的问题，本发明提供一种图像深度信息局部动态生成方法和装置、电子设备以及计算机可读存储介质，能够至少部分地解决现有技术中存在的问题。

为了实现上述目的，本发明采用如下技术方案：

第一方面，提供一种图像深度信息局部动态生成方法，包括：

获取待处理图像数据，所述待处理图像数据包括：RGB数据；

对所述RGB数据进行目标检测；

根据目标检测结果进行深度信息局部生成控制。

进一步地，所述待处理图像数据还包括：IR灰度数据；

所述根据目标检测结果进行深度信息局部生成控制，包括：

若检测到目标，则根据所述IR灰度数据生成目标ROI区域内各像素的深度信息。

进一步地，所述待处理图像数据还包括：IR灰度数据；

所述根据目标检测结果进行深度信息局部生成控制，包括：

若检测到目标，则根据所述IR灰度数据以及所述RGB数据生成目标ROI区域内各像素的深度信息。

进一步地，图像深度信息局部动态生成方法还包括：

利用所述目标ROI区域内各像素的深度信息进行图像处理。

第二方面，提供一种图像深度信息局部动态生成装置，包括：

图像数据获取模块，获取待处理图像数据，所述待处理图像数据包括：RGB数据；

目标检测模块，对所述RGB数据进行目标检测；

深度信息局部生成模块，根据目标检测结果进行深度信息局部生成控制。

进一步地，所述待处理图像数据还包括：IR灰度数据；

所述深度信息局部生成模块包括：

第一生成单元，若检测到目标，则根据所述IR灰度数据生成目标ROI区域内各像素的深度信息。

进一步地，所述待处理图像数据还包括：IR灰度数据；

所述深度信息局部生成模块包括：

第二生成单元，若检测到目标，则根据所述IR灰度数据以及所述RGB数据生成目标ROI区域内各像素的深度信息。

进一步地，图像深度信息局部动态生成装置还包括：

图像处理模块，利用所述目标ROI区域内各像素的深度信息进行图像处理。

第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的图像深度信息局部动态生成方法的步骤。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述的图像深度信息局部动态生成方法的步骤。

本发明提供的图像深度信息局部动态生成方法和装置，该方法包括：获取待处理图像数据，所述待处理图像数据包括：RGB数据；对所述RGB数据进行目标检测；根据目标检测结果进行深度信息局部生成控制，其中，在检测到目标后，针对目标检测时得到的目标ROI区域生成区域内各像素的深度信息，若未检测到目标则不生成深度信息，由此减少了不必要的计算，降低了产品整体功耗。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中的服务器S1与数据采集设备B1之间的架构示意图；

图2为本发明实施例中的服务器S1、数据采集设备B1及数据库服务器S2之间的架构示意图；

图3是本发明实施例中的图像深度信息局部动态生成方法的流程示意图；

图4示出了本发明实施例中步骤S300的一种具体步骤；

图5示出了本发明实施例中步骤S300的另一种具体步骤；

图6举例说明了本发明实施例中的图像深度信息局部动态生成方法的具体实施；

图7是本发明实施例中的图像深度信息局部动态生成装置的结构框图；

图8为本发明实施例电子设备的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

现有图像处理技术中，深度信息产生方案存在计算量大、功耗高的问题。

为至少部分解决现有技术中的上述技术问题，本发明实施例提供了一种图像深度信息局部动态生成方法和装置，在检测到目标后，针对目标检测时得到的目标ROI区域生成区域内各像素的深度信息，若未检测到目标则不生成深度信息，由此降低了计算量大和功耗。

有鉴于此，本申请提供了一种图像深度信息局部动态生成装置，该装置可以为一种服务器S1，参见图1，该服务器S1可以与至少一个数据采集设备B1通信连接，所述数据采集设备B1可以将待处理图像数据发送至所述服务器S1，所述服务器S1可以在线接收待处理图像数据。所述服务器S1可以在线或者离线对获取的待处理图像数据进行预处理，之后对所述RGB数据进行目标检测；根据目标检测结果进行深度信息局部生成控制。而后，所述服务器S1可以基于生成的深度信息进行后续图像处理，并将图像处理结果发送至所述数据采集设备B1或另外的结果显示终端设备。

举例来说，数据采集设备B1可以是图像数据采集设备，采集监控场景的图像数据，结果显示终端设备可以是监控人员的终端，以显示图像处理结果，比如安防场合应用时，数据采集设备B1可以是相机等，结果显示终端设备可以是安保人员的监控终端。

另外，参见图2，所述服务器S1还可以与至少一个数据库服务器S2通信连接，所述数据库服务器S2用于存储目标检测算法或模型、图像处理模型，又或者是目标检测模型或图像处理模型的训练样本集和/或测试样本集等。

基于上述内容，所述结果显示终端设备B2可以具有显示界面，可以是智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑等。

在实际应用中，进行图像深度信息局部动态生成的部分可以在如上述内容所述的服务器S1侧执行，即，如图1所示的架构，也可以所有的操作都在所述数据采集设备B1中完成。在一些应用场景中，该所述数据采集设备B1可以直接与数据库服务器S2进行通信连接，或者，所有的操作都在所述结果显示终端设备B2中完成，且该结果显示终端设备B2可以直接与数据库服务器S2以及数据采集设备B1进行通信连接，相当于服务器S1和结果显示终端设备B2一体设置。具体可以根据所述数据采集设备B1、结果显示终端设备B2的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。

所述服务器与所述数据采集设备、结果显示终端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。

图3是本发明实施例中的图像深度信息局部动态生成方法的流程示意图；如图3所示，该图像深度信息局部动态生成方法可以包括以下内容：

步骤S100：获取待处理图像数据，所述待处理图像数据包括：RGB数据；

具体地，RGB数据包括各像素的R值、G值、B值；其中，通过3D摄像头采集待检测图像的RGB数据，值得说明的是，3D摄像头产品目前有双目结构光(RGB+IR)方案、TOF(单个IR摄像头)方案，本发明实施例可采用TOF方案外加RGB摄像头的结构形式。

步骤S200：对所述RGB数据进行目标检测；

具体地，采用开源的目标检测算法对RGB数据中是否含有目标进行检测，若检测到RGB数据中含有目标，则输出目标ROI区域，以便锁定目标。

另外，目标检测算法可以是现有的图像处理算法，也可以是人工智能机器学习模型，比如CNN模型等，本发明实施例对此不作限制。

值得说明的是，目标检测可以是人脸检测、人形检测、手部检测等特定目标检测。

步骤S300：根据目标检测结果进行深度信息局部生成控制。

通过采用上述技术方案，将3D深度信息生成和目标检测深度融合，根据目标检测的目标位置对3D深度信息生成做反馈，精准针对目标ROI区域做深度恢复，深度恢复后的目标ROI区域深度信息可直接用于后续的功能算法模块，实现目标检测，3D深度恢复算法，基于深度信息输入的功能算法捆绑融合，最大化降低计算量，最大化保障低功耗。

在一个可选的实施例中，参见图4，待处理图像数据还包括：IR灰度数据，该步骤S300可以包括以下内容：

步骤S310：判断是否检测到目标；

若检测到目标，执行步骤S320；若未检测到目标，则返回步骤S100，继续获取下一待处理图像。

步骤S320：根据所述IR灰度数据生成目标ROI区域内各像素的深度信息。

其中，IR灰度数据包括各像素的Gray值，深度信息指各像素的Depth值；Gray是采用色彩认知的一种称呼，也就是说图像是灰度图，Y是该数据从属的一种格式YUV中的Y部分，属于专业图像格式中的信息，本发明实施例中利用的Gray值也可以称为Y/Gray或Y(Gray)。

值得说明的是，需要先对彩色RGB和红外IR添加帧同步信号，同步采集RGB数据和IR灰度数据，深度数据是3D深度生成算法对该帧数据进行处理生成，比如TOF方案只需要IR灰度数据即可生成Depth数据。

通过采用上述技术方案，在检测到目标后，针对目标检测时得到的目标ROI区域生成区域内各像素的深度信息，若未检测到目标则不生成深度信息，由此减少了不必要的计算，降低了产品整体功耗。

在另一个可选的实施例中，参见图5，该待处理图像数据还包括：IR灰度数据，该步骤S300可以包括以下内容：

步骤S310：判断是否检测到目标；

若检测到目标，执行步骤S320’；若未检测到目标，则返回步骤S100，继续获取下一待处理图像。

步骤S320’：根据所述IR灰度数据以及所述RGB数据生成目标ROI区域内各像素的深度信息。

其中，IR灰度数据包括各像素的Gray值，深度信息指各像素的Depth值；Gray是采用色彩认知的一种称呼，也就是说图像是灰度图，Y是该数据从属的一种格式YUV中的Y部分，属于专业图像格式中的信息，本发明实施例中利用的Gray值也可以称为Y/Gray或Y(Gray)。

值得说明的是，需要先对彩色RGB和红外IR添加帧同步信号，同步采集RGB数据和IR灰度数据，深度数据是3D深度生成算法对该帧数据进行处理生成。

通过采用上述技术方案，在检测到目标后，针对目标检测时得到的目标ROI区域生成区域内各像素的深度信息，若未检测到目标则不生成深度信息，由此减少了不必要的计算，降低了产品整体功耗。

在一个可选的实施例中，该图像深度信息局部动态生成方法还包括：

利用所述目标ROI区域内各像素的深度信息进行图像处理。

具体地，比如在人脸检测技术中，需要用到深度信息，基于本发明提供的图像深度信息局部动态生成方案，可以在待处理图像中无人脸时不生成深度信息，在待处理图像中有人脸时，也是仅生成人脸识别所需目标框中的深度信息，由此，降低了运算量和功耗。

为了使本领域技术人员更好地理解本申请，结合图6对本发明实现过程进行进一步说明：

首先采集3D摄像头中RGB数据输入目标检测算法，进行目标检测，若检测无目标，则返回至采集3D摄像头中RGB数据输入目标检测算法的步骤；若检测有目标，则对目标ROI区域进行深度计算生成，利用生成的深度信息输入给基于3D深度信息的算法模块。

值得说明的是，3D摄像头产品目前有双目技术、双目结构光(RGB+IR)方案、TOF(单个IR摄像头)方案等。本发明实施例提供的图像深度信息局部动态生成方法可以集成在图像采集设备上，以便实时生成目标位置的深度信息用于后续处理。需要说明的是，在图像采集设备和图像处理设备分体设置的场景中，针对于双目技术、双目结构光(RGB+IR)方案，本发明实施例提供的图像深度信息局部动态生成方法既可以在图像采集设备上执行，也可以在图像处理设备上执行，对于TOF方案，本发明实施例提供的图像深度信息局部动态生成方法只能在图像采集设备上执行。

其中，双目技术中，双目深度重建利用的是三角测距法计算被测物体到相机的距离。具体的说，就是从两个相机观察同一物体，被观测物体在两个相机中拍摄到的图像(RGB数据和IR数据)中的位置会有一定位置差。正如将一只手指放在鼻尖前，左右眼看到的手指位置会有一个错位的效果。这个位置差称为视差，被摄物离相机越近，视差就越大；距离越远，视差就越小。在已知两个相机间距等相对位置关系的情况下，即可通过相似三角形的原理计算出被摄物到相机的距离(相当于深度)。其中，基于目标区域的RGB数据和IR数据实现局部深度信息生成。

另外，双目结构光技术是一种主动双目视觉技术。每个结构光相机包括两个基本组件：一个红外激光投射端和一个红外摄像头。其基本思路是将已知的结构化图案投影到被观测物体上，这些结构化图案将根据物体的几何形状和拍摄距离而发生相应的形变。红外摄像头从另一个角度进行观察，通过分析观测图案IR数据与原始图案IR数据之间发生的形变，可以得到图案上各像素的视差，再根据相机的内外参恢复出深度，其中，针对目标区域的IR数据实现局部深度信息生成。

和标准的双目方案相比，结构光方案更为鲁棒，这得益于结构光方案采用的主动光源和投射的结构化图案：1.投射端发出的红外激光照亮了被拍摄物体，这使得拍摄端无需依赖环境光源即可获得亮度稳定的图像(IR数据)输入；2.另一方面，投射的结构化图案为被拍摄物体增加了表面纹理，这使得拍摄表面没有任何图案的物体也能精准地重建出深度。结构光方案可以看成双目方案的一种特例，已知的投射端结构化图案和红外摄像头拍摄到的图案可视为左右双目的观测。其中，根据IR数据和投射端发射红外激光的纹理数据进行解析恢复出深度，另外，针对目标区域的IR数据进行解析恢复，实现局部深度信息生成。

再者，飞时测距(TOF，Time-of-Flight)技术通过测量光飞行的时间来计算距离。ToF传感器给到光源驱动芯片调制信号，调制信号控制激光器发出高频调制的近红外光，遇到物体漫反射后，接收端通过发射光与接收光的相位差或时间差来计算深度信息。本发明实施例中，在基于RGB数据检测到目标后，仅计算目标区域的发射和接收的数据，其他位置没有进行计算，实现局部深度信息生成。

本发明实施例提供了一种基于3D深度数据生成和目标检测等算法深入融合而进行的一种低功耗软件方案设计，具体办法是根据3D相机的RGB摄像头进行实时的目标检测，根据以上目标检测的结果决定是否进行深度信息的计算生成，如果检测到预定目标且根据业务等需求若需要进行深度信息的计算则根据以上目标检测的结果对目标ROI区域进行深度信息的计算生成。

基于同一发明构思，本申请实施例还提供了一种图像深度信息局部动态生成装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于图像深度信息局部动态生成装置解决问题的原理与上述方法相似，因此图像深度信息局部动态生成装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图7是本发明实施例中的图像深度信息局部动态生成装置的结构框图。如图7所示，该图像深度信息局部动态生成装置具体包括：图像数据获取模块10、目标检测模块20以及深度信息局部生成模块30。

图像数据获取模块10获取待处理图像数据，所述待处理图像数据包括：RGB数据；

目标检测模块20对所述RGB数据进行目标检测；

深度信息局部生成模块30根据目标检测结果进行深度信息局部生成控制。

通过采用上述技术方案，将3D深度信息生成和目标检测深度融合，根据目标检测的目标位置对3D深度信息生成做反馈，精准针对目标ROI区域做深度恢复，深度恢复后的目标ROI区域深度信息可直接用于后续的功能算法模块，实现目标检测，3D深度恢复算法，基于深度信息输入的功能算法捆绑融合，最大化降低计算量，最大化保障低功耗。

上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为电子设备，具体的，电子设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

在一个典型的实例中电子设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的图像深度信息局部动态生成方法的步骤。

下面参考图8，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。

如图8所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现下述上述的图像深度信息局部动态生成方法的步骤。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。