信息处理方法、信息处理装置、存储介质与电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种信息处理方法、信息处理装置、计算机可读存储介质与电子设备。

背景技术

为了获取更丰富的图像信息，越来越多的终端设备会同时设置RGB摄像头(彩色摄像头)及深度摄像头。随之而来地，如何对RGB摄像头采集的RGB信息(色彩信息)及深度摄像头得到的深度信息进行对齐成为了一个需要解决的问题。

现有技术对RGB摄像头和深度摄像头进行相机标定，获取摄像头的内参、外参和畸变参数，并通过获取到的参数将两个摄像头的图像转化至一个坐标系下。然而，该方法存在对齐精度不高、过程繁琐、且模组出现安装倾斜等状态时还需重新标定和校验等问题。

发明内容

本公开提供了一种信息处理方法、信息处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上解决现有技术中图像对齐精度不高、过程繁琐、且模组出现安装倾斜等状态时还需重新标定和校验等问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种信息处理方法，所述信息处理方法应用于终端设备，所述终端设备包含有RGB摄像头及深度摄像头，所述RGB摄像头的滤光片为双带通集成式滤光片，且所述RGB摄像头的图像传感器像素对应的滤色片为RGBW排布，包括：通过RGB摄像头采集图像，并输出所述图像对应的RGB图像；通过所述深度摄像头的发射模组发出激光脉冲信号，并计算得到深度图；通过所述RGB摄像头的W滤色片采集所述激光脉冲信号的散斑点灰度图；根据所述散斑点灰度图中的散斑点对齐所述深度图及所述散斑点灰度图，得到RGB格式下的深度信息，并对齐所述RGB图像及所述深度信息。

根据本公开的第二方面，提供一种信息处理装置，所述信息处理装置包含RGB摄像头及深度摄像头，所述RGB摄像头的滤光片为双带通集成式滤光片，且所述RGB摄像头的图像传感器像素对应的滤色片为RGBW排布，包括RGB图像采集模块、深度图计算模块、散斑点灰度图采集模块以及信息处理模块：RGB图像采集模块用于通过RGB摄像头采集图像，并输出所述图像对应的RGB图像；深度图计算模块用于通过所述深度摄像头的发射模组发出激光脉冲信号，并计算得到深度图；散斑点灰度图采集模块用于通过所述RGB摄像头的W滤色片采集所述激光脉冲信号的散斑点灰度图；信息处理模块用于根据所述散斑点灰度图中的散斑点对齐所述深度图及所述散斑点灰度图，得到RGB格式下的深度信息，并对齐所述RGB图像及所述深度信息。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述信息处理方法。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述信息处理方法。

本公开的技术方案具有以下有益效果：

根据上述信息处理方法、信息处理装置、计算机可读存储介质与电子设备，上述信息处理方法应用于具有RGB摄像头和深度摄像头的终端设备，并且，上述RGB摄像头的滤光片为双带通集成式滤光片，且上述RGB摄像头的图像传感器像素对应的滤色片为RGBW排布。通过RGB摄像头采集图像，并输出该图像对应的RGB图像；通过深度摄像头的发射模组发出激光脉冲信号，并计算得到深度图；通过RGB摄像头的W滤色片采集激光脉冲信号的散斑点灰度图；根据散斑点灰度图中的散斑点对齐深度图及散斑点灰度图，得到RGB格式下的深度信息，最后对齐RGB图像及深度信息。一方面，RGB摄像头的滤光片为双带通集成式滤光片，不仅可以透过可见光，还可以透过深度摄像头发射模组发射的激光脉冲信号，因此，在深度摄像头通过激光脉冲信号计算深度图时，RGB摄像头可以获取到激光脉冲信号的散斑点的灰度图，进而可以通过得到的深度图和散斑点灰度图得到RGB格式的深度信息，以实现深度图和RGB图的对齐。另一方面，在获取RGB格式的深度信息时，是利用散斑点灰度图中的散斑点的信息来实现深度图和散斑点灰度图的对齐的，避免了双摄标定流程和设备开发，简化了对齐流程，提高了图像的对齐精度和融合效果。再一方面，由于本示例实施方式是基于图像进行对齐，因此即使在摄像模组出现安装倾斜等状态时，也不必重新标定及校验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出现有技术中对齐RGB信息与深度信息的方法的流程图；

图2示出本示例性实施方式的一种系统架构的示意图；

图3示出本示例性实施方式的电子设备的示意图；

图4示出本示例性实施方式的一种信息处理方法的流程图；

图5示出传统RGB摄像头的结构示意图；

图6示出传统RGB摄像头的滤色片排布(RGB排布)的示意图；

图7示出改进后的RGB摄像头的图像传感器像素对应的滤色片排布(RGBW排布)的示意图；

图8示出改进后的RGB摄像头的光谱透过率曲线的示意图；

图9示出Spot DTOF稀疏散斑点的投影示意图；

图10示出稀疏散斑DTOF和RGB建模的示意图；

图11示出本示例性实施方式的一个具体实施例的信息处理方法的流程图；

图12示出本示例性实施方式的一个具体实施例的信息处理方法中RGB摄像头采集的RGB图像；

图13示出本示例性实施方式的一个具体实施例的信息处理方法中Spot-TOF摄像头获取的深度图；

图14示出本示例性实施方式的一个具体实施例的信息处理方法中RGB摄像头获取的散斑点灰度图；

图15示出本示例性实施方式的一个具体实施例的信息处理方法中RGBD融合数据的示意图；

图16示出本示例性实施方式的一种信息处理装置的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

随着图像传感器的广泛应用及机器视觉等领域的不断发展，RGB摄像头及深度摄像头越来越多地被同时设置于终端设备中，以获取更加丰富的图像信息，这就使得相机标定的工作越发重要，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。相机标定是指通过实验与计算求解相机参数(内参、外参、畸变参数)的过程。其中，相机参数是为了确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系所建立相机成像的几何模型。

上述相机标定主要解决以下两个问题：一是确定世界坐标系下三维空间点与像素平面像素点间的转换关系(内外参)，二是确定相机成像过程中的畸变系，用于图像矫正。

如何将上述RGB摄像头及深度摄像头得到的RGB信息及深度信息进行配准融合是得到信息丰富的图像的关键。相关技术中，主要通过上述相机标定的方式单独获取RGB摄像头及深度摄像头的内参、外参以及畸变参数，后端应用在需要结合RGB信息及深度信息进行应用开发时，会通过获取标定的内外参数据和畸变数据，实现RGB图像和Depth图像(深度图像)的对齐和匹配。其中，上述应用开发过程可以为RGBD对齐、RGBD图像匹配、RGBD SLAM(定位与地图构建)、三维重建、RGBD图像融合等算法开发过程。

下面，以图1为例，对现有技术对齐RGB图像和Depth图像的方法进行说明，如图1所示，包括以下步骤：

步骤S110：RGB摄像头标定。

在该步骤中，用待标定的摄像头拍摄多幅不同视角下的棋盘图片，通过RGB标定软件/算法，计算出RGB摄像头的内参、外参以及畸变参数。

步骤S120：深度摄像头的标定。

在该步骤中，外置红外光源照射棋盘图，同时用黑色吸光材料把深度摄像头发射模组的红外发射器完全挡住，接收端在获取多幅红外图后，使用OpenCV或MATLAB等标定软件/算法计算深度摄像头的内参、外参以及畸变参数。

步骤S130：对图像进行对齐配准。

在该步骤中，对深度图和RGB图进行对其配准，以使得深度图和彩色图重合在一起，也即将深度图像的图像坐标系转换到RGB图像的图像坐标系下。

具体地，上述对齐配准过程可以如下：首先，利用深度摄像头内参矩阵把深度平面坐标(深度图坐标)转换到深度摄像头空间坐标；之后，利用外参计算旋转矩阵和平移矩阵，把深度摄像头空间坐标转换到RGB摄像头空间坐标；最后，利用RGB摄像头内参矩阵把RGB摄像头空间坐标转换到RGB平面坐标(RGB图坐标)，获取三维点云图。

然而，相关技术中，RGB摄像头和深度摄像头在标定和对齐过程中存在以下问题：(1)在对齐标定时，由于深度图像传感器的分辨率低、标定算法和标定模型存在误差、标定用的标定板和机械臂存在误差、深度摄像头的视差等因素，会导致RGB摄像头的标定数据和深度摄像头的标定数据不准确，从而使得RGB图像和Depth图像无法对齐，并进一步影响后端算法的精度和鲁棒性；(2)使用RGB摄像头和深度摄像头做标定对齐，过程繁琐，且模组出现安装倾斜等状态时还需要重新标定和校验。

为了解决现有技术中存在的上述问题，本示例实施方式提供了一种信息处理方法、信息处理装置、计算机可读存储介质与电子设备，可以在一定程度上解决现有技术中图像对齐精度不高、过程繁琐、且模组出现安装倾斜等状态时还需重新标定和校验等问题。以下对上述信息处理方法、信息处理装置、计算机可读存储介质与电子设备进行详细说明：

图2示出了本公开示例性实施方式的一种系统架构的示意图。如图2所示，该系统架构200可以包括：终端210、网络220和服务器230。终端210可以是具有RGB摄像头及深度摄像头的各种电子设备，包括但不限于手机、平板电脑、数码相机、个人电脑等，且上述RGB摄像头的滤光片为双带通集成式滤光片，RGB摄像头的图像传感器像素对应的滤色片为RGBW排布。网络220用以在终端210和服务器230之间提供通信链路的介质，可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等。应该理解，图2中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络和服务器。比如服务器230可以是多个服务器组成的服务器集群等。

本公开实施方式所提供的信息处理方法可以由终端210执行，例如，终端可以通过RGB摄像头采集图像，并输出图像对应的RGB图像；通过深度摄像头的发射模组发出激光脉冲信号，并计算得到深度图；通过RGB摄像头的W滤色片采集激光脉冲信号的散斑点灰度图，并根据散斑点灰度图中的散斑点对齐深度图及散斑点灰度图，得到RGB格式下的深度信息，最后对齐RGB图像及深度信息。

此外，本示例实施方式所提供的信息处理方法也可以由终端210和服务器230共同执行，例如，终端在得到上述RGB图像、深度图、散斑点灰度图后，可以将得到的上述RGB图像、深度图、散斑点灰度图发送至服务器，由服务器执行根据散斑点灰度图中的散斑点对齐深度图及散斑点灰度图，得到RGB格式下的深度信息，并对齐RGB图像及深度信息的过程，本示例实施方式对此不做特殊限定。

本公开的示例性实施方式提供一种用于实现信息处理方法的电子设备，其可以是图2中的终端210或服务器230。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行信息处理方法。

电子设备可以以各种形式来实施，例如可以包括手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、导航装置、可穿戴设备、无人机等移动设备，以及台式电脑、智能电视等固定设备。

下面以图3中的移动终端300为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图3中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端300的结构限定。在另一些实施方式中，移动终端300也可以采用与图3不同的接口连接方式，或多种接口连接方式的组合。

如图3所示，移动终端300具体可以包括：处理器310、内部存储器321、外部存储器接口322、USB接口330、充电管理模块340、电源管理模块341、电池342、天线1、天线2、移动通信模块350、无线通信模块360、音频模块370、扬声器371、受话器372、麦克风373、耳机接口374、传感器模块380、显示屏幕390、摄像模组391、指示器392、马达393、按键394以及用户标识模块(Subscriber Identification Module，SIM)卡接口395等。

处理器310可以包括一个或多个处理单元，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

USB接口330是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口330可以用于连接充电器为移动终端300充电，也可以连接耳机，还可以用于移动终端300连接其他电子设备。

充电管理模块340用于从充电器接收充电输入。充电管理模块340为电池342充电的同时，还可以通过电源管理模块341为设备供电。

电源管理模块341用于连接电池342、充电管理模块340与处理器310。电源管理模块341接收电池342和/或充电管理模块340的输入，为移动终端300的各个部分供电，还可以用于监测电池的状态。

移动终端300的无线通信功能可以通过天线1、天线2、移动通信模块350、无线通信模块360、调制解调处理器以及基带处理器等实现。

移动终端300通过GPU、显示屏幕390及应用处理器等实现显示功能。GPU用于执行数学和几何计算，以实现图形渲染，并连接显示屏幕390和应用处理器。处理器310可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。移动终端300可以包括一个或多个显示屏幕390，用于显示图像，视频等。

移动终端300可以通过ISP、摄像模组391、编码器、解码器、GPU、显示屏幕390及应用处理器等实现拍摄功能。

摄像模组391用于捕获静态图像或视频，通过感光元件采集光信号，转换为电信号。ISP用于处理摄像模组391反馈的数据，将电信号转换成数字图像信号。

外部存储器接口322可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端300的存储能力。

内部存储器321可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器321可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序等。存储数据区可存储移动终端300使用过程中所创建的数据(比如图像，视频)等。处理器310通过运行存储在内部存储器321的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端300的各种功能应用以及数据处理。

传感器模块380可以包括触摸传感器3801、压力传感器3802、陀螺仪传感器3803、图像传感器3804等。触摸传感器3801用于感应外部输入的触摸事件，其可以设置于显示屏幕390的下方，使显示屏幕390成为触控屏，也可以设置于其他位置，例如设置为独立于显示屏幕390的触控板，还可以设置于移动终端300的配套外接设备，例如外接触控板、触摸式遥控器等，使用户通过外接设备实现触控交互。压力传感器3802用于感受压力信号，可以将压力信号转换成电信号，用于实现压力触控等功能。陀螺仪传感器3803可以用于确定移动终端300的运动姿态。图像传感器3804可以为RGB传感器和深度传感器，用于接收采集到的图像。其中，在本示例实施方式中，上述RGB图像传感器像素对应的排布设置为RGBW排布，以便获取散斑点灰度图。此外，根据实际需要，还可以在传感器模块380中设置其他功能的传感器，例如深度传感器、加速度传感器、距离传感器等。

下面对本公开示例性实施方式的信息处理方法和信息处理装置进行具体说明。

图4示出了本示例性实施方式中一种信息处理方法的流程，包括以下步骤S410～S440：

步骤S410，通过RGB摄像头采集图像，并输出该图像对应的RGB图像。

本示例实施方式所提供的信息处理方法可以用于具有摄影功能的终端设备，该终端设备具有RGB摄像头及深度摄像头双摄像头，以便通过融合RGB信息(色彩信息)和深度信息，获取信息更加丰富的图像。

为了解决标定摄像头的繁琐过程，提高对齐配准的精度，本示例实施方式通过图像信息实现RGB信息与深度信息的对齐，传统RGB摄像头，如图5所示，包括镜头510、音圈马达520、红外滤光片530、sensor(感光器件)540、PCB电路板550。其中，红外滤光片用于滤除近红外和其他光谱的信号，只接受可见光光谱范围的信号。因此，为了获取到深度摄像头发出的激光脉冲信号，以实现上述通过图像信息实现RGB信息与深度信息的对齐，本示例实施方式所提供的信息处理方法中，将红外滤光片替换为双带通集成式滤光片(可见光可透过和近红外光信号带通的滤光片)，例如，可将传统RGB摄像头中的红外滤光片改为可见光可透过和940nm带通的双带通集成式滤光片。

此外，在传统RGB摄像头中，拜尔排布滤光片也可用于滤除近红外和其他光谱的信号，其主要原理为通过拜尔排布滤光片(RGB排布)对应的像素只能感应相应波长的信号，如图6所示，来实现上述对近红外和其他光谱的信号的滤除。因此，为了响应深度摄像头的激光脉冲信号，本示例实施方式所提供的信息处理方法将原来的图像传感器像素对应的RGGB滤色片(拜尔排布滤光片)改成如图7所示的RGBW排布。例如，修改后RGBW排布中的W滤色片对应的像素可以响应940nm±15nm的近红外光信号。

通过上述改进后，RGB摄像头的光谱透过率曲线如图8所示，既可以透过可见光光谱范围的信号，也可以透过近红外和其他光谱的信号。本示例实施方式在对RGB摄像改进后，为了获取RGB信息，可以通过改进后的RGB摄像头采集图像，该通过上述改进后的RGB摄像头采集到的图像为RGBW排布，为了防止对后续步骤的干扰，可以通过R、G、B三个通道输出上述图像对应的RGB图像。

本示例实施方式所提供的信息处理方法所采集的图像可以用于后端应用的开发。为了更好地与后端应用结合，本示例实施方式还可以设定多种应用模式，例如，可以包含RGB模式及RGBD模式。举例而言，当后端应用同时用到RGB摄像头和深度摄像头时，可以将应用模式切换至RGBD模式，以便后续通过进行RGB信息和深度信息的融合，来使得后端应用结合RGB信息和深度信息进行开发。需要说明的是，上述场景只是一种示例性的说明，本示例实施方式的保护范畴并不以此为限。

步骤S420，通过深度摄像头的发射模组发出激光脉冲信号，并计算得到深度图。

本示例实施方式所提供的信息处理方法，通过深度摄像头的发射模组发射的激光脉冲信号计算深度图来获取深度信息。其中，上述深度图用于表示深度信息。上述深度摄像头用于获取深度信息，得到环境和拍摄对象的三维立体数据，使得拍摄的图像具有立体感。具体地，深度摄像头可以通过上述激光脉冲信号来获取深度信息。例如，深度摄像头可以通过发射模组发射940±15nm的光源，并通过该光源计算得到深度图。需要说明的是，上述场景只是一种示例性的说明，本示例实施方式的保护范畴并不以此限。

在本示例实施方式中，举例而言，上述深度摄像头可以为Spot-TOF深度摄像头、结构光摄像头或稀疏散斑点DTOF摄像头。下面，以上述三类深度摄像头为例，详细阐述计算深度信息的方式：

当深度摄像头为Spot-TOF深度摄像头时，上述计算深度图的实现可以如下：获取上述激光脉冲信号的飞行时间，并根据获取到的飞行时间计算得到深度信息，得到上述深度图。

具体地，上述Spot-TOF深度摄像头由发射模组向外发射激光脉冲信号，遇到障碍物后发射至摄像头，通过计算激光脉冲信号由发射至反射回摄像头的时间差或相位差，并将数据收集起来，通过收集的数据计算深度信息，得到上述深度图。

当深度摄像头为结构光摄像头时，上述计算深度图的实现可以如下：获取结构光摄像头投影的编码散斑和接收模组成像的散斑数据，并根据三角视差测距计算得到深度图。其中，上述结构光是具有特定模式的光，其具有例如点、线、面等模式图案。

具体地，结构光摄像头可以将结构光(具有特定模式图案的激光脉冲信号)编码投射至场景，并由图像传感器捕获相应的带有结构光的图案，并通过模式图案在采集到的图像中的位置以及形变程度，利用三角测距原理计算得到场景中各点的深度信息，得到上述深度图。此外，结构光模组由于基线视差影像，对近距离的深度计算精度高，故更适用于近距离人像等类似RGBD模型的融合和渲染。

当深度摄像头为稀疏散斑点DTOF摄像头时，上述计算深度图的实现可以如下：获取稀疏散斑点DTOF摄像头投影的稀疏畸变形散斑，并通过具有散斑寻址功能的传感器探测单元获取深度数据，得到深度图。具体地，稀疏散斑点的DTOF模组通过投影的稀疏枕形畸变形散斑和大桶形畸变接收镜头以及具备散斑寻址功能的SPAD Sensor(传感器)实现深度距离的直接测量。

由于SPOT DTOF接收模组的镜头存在很大的桶形畸变，如图9所示，SPAD Sensor成像的散斑点和发射模组投影的散斑点不能对应，现有技术的常规标定算法需要进行畸变矫正。而本示例实施方式由于不利用其空间像素数据，故不需要进行镜头畸变矫正。此外，Spot DTOF模组的作用距离更适用于室内房间中远距离场景，房间级的RGBD建模和图像渲染，如图10所示。

需要说明的是，上述场景只是一种示例性的说明，本示例实施方式的保护范畴并不以此为限。例如，上述深度摄像头也可以为其他类型的深度摄像头。

步骤S430，通过RGB摄像头的W滤色片采集激光脉冲信号的散斑点灰度图。

在本示例实施方式中，在通过深度摄像头的发射模组发出激光脉冲信号并计算得到深度图时，为了对齐RGB信息和深度信息，得到RGB格式下的深度信息，RGB摄像头可以通过上述改进后的RGB摄像头的图像传感器的RGBW排布中的W滤色片采集激光脉冲信号的散斑点灰度图。

其中，上述散斑点灰度图用于表示激光脉冲信号的散斑点的空间信息。举例而言，该散斑点灰度图可以包含散斑点的位置、形状等信息，以便于后续通过散斑点的空间信息来进行深度摄像头及RGB摄像头的深度信息的对齐。通过散斑点的空间分布信息，而非对摄像头标定，可以解决标定过程复杂，误差大精度低的问题，大大提高了RGB信息与深度信息的对齐精度和融合效果。

步骤S440，根据散斑点灰度图中的散斑点对齐深度图及散斑点灰度图，得到RGB格式下的深度信息，并对齐RGB图像及深度信息。

在本示例实施方式中，在获取散斑点灰度图后，通过对齐深度摄像头得到的深度图与RGB摄像头获取的散斑点灰度图，可以得到RGB格式下的深度信息。具体地，可以从散斑点灰度图获取多个散斑点作为特征点，通过对特征点匹配，对齐深度图及散斑点灰度图。

在得到RGB格式下的深度信息后，通过对齐步骤S410通过RGB摄像头获取的RGB信息及上述到RGB格式下的深度信息，便可以得到包含RGB信息和深度信息的RGBD融合数据。

下面，以深度摄像头为Spot-TOF摄像头为例，在一具体实施例中对本示例实施方式提供的信息处理方法进行完整的说明，如图11所示，该具体实施例包括以下步骤：

在步骤S1110中，选定应用模式。

在该步骤中，选定应用模式，当应用需要同时用到RGB摄像头和Spot-TOF摄像头时，切换成RGBD同步模式。其中，上述应用模式的相关内容已经在步骤S410中进行了详细的说明，故在此不再赘述。

在步骤S1120中，获取RGB信息。

在该步骤中，打开RGB摄像头，通过曝光等一系列流程获取第一帧RGB图像，如图12所示。

在步骤S1130中，获取散斑点灰度图。

在该步骤中，在RGB摄像头成功获取第一帧RGB图像后，触发Spot-TOF摄像头和RGB摄像头同时打开，TOF发射模组发射调制的激光脉冲信号，并通过计算激光脉冲信号的飞机时间获取Depth图(深度图)，如图13所示。同时，通过RGB摄像头中的W滤色片对应的像素获取散斑点灰度图，如图14所示。

在步骤S1140中，得到RGB格式下的深度信息。

在该步骤中，将TOF模组获取的深度图和RGB摄像头第二次拍摄的散斑点灰度图对齐配准，在RGB图像的格式上得到深度信息。

在步骤S1150中，进行RGB信息及深度信息的对齐。

在该步骤中，将步骤S1120中RGB摄像头第一次拍摄的RGB图像和步骤S1140获取的RGB格式下的深度信息对齐，得到包含RGB信息和深度信息融合的RGBD融合数据，如图15所示。

综上所述，本示例性实施方式所提供的信息处理方法应用于具有RGB摄像头和深度摄像头的终端设备，并且，上述RGB摄像头的滤光片为双带通集成式滤光片，且上述RGB摄像头的图像传感器像素对应的滤色片为RGBW排布。通过RGB摄像头采集图像，并输出该图像对应的RGB图像；通过深度摄像头的发射模组发出激光脉冲信号，并计算得到深度图；通过RGB摄像头的W滤色片采集激光脉冲信号的散斑点灰度图；根据散斑点灰度图中的散斑点对齐深度图及散斑点灰度图，得到RGB格式下的深度信息，最后对齐RGB图像及深度信息。一方面，RGB摄像头的滤光片为双带通集成式滤光片，不仅可以透过可见光，还可以透过深度摄像头发射模组发射的激光脉冲信号，因此，在深度摄像头通过激光脉冲信号计算深度图时，RGB摄像头可以获取到激光脉冲信号的散斑点的灰度图，进而可以通过得到的深度图和散斑点灰度图得到RGB格式的深度信息，以实现深度图和RGB图的对齐。另一方面，在获取RGB格式的深度信息时，是利用散斑点灰度图中的散斑点的信息来实现深度图和散斑点灰度图的对齐的，避免了双摄标定流程和设备开发，简化了对齐流程，提高了图像的对齐精度和融合效果。再一方面，由于本示例实施方式是基于图像进行对齐，因此即使在摄像模组出现安装倾斜等状态时，也不必重新标定及校验。

本公开的示例性实施方式还提供一种信息处理装置，该信息处理装置包含RGB摄像头及深度摄像头，上述RGB摄像头的滤光片为双带通集成式滤光片，且RGB摄像头的图像传感器像素对应的滤色片为RGBW排布。如图16所示，该信息处理装置1600可以包括RGB图像采集模块1610、深度图计算模块1620、散斑点灰度图采集模块1630以及信息处理模块1640，其中：

RGB图像采集模块1610，用于通过RGB摄像头采集图像，并输出所采集图像对应的RGB图像；

深度图计算模块1620，用于通过深度摄像头的发射模组发出激光脉冲信号，并计算得到深度图；

散斑点灰度图采集模块1630，用于通过RGB摄像头的W滤色片采集激光脉冲信号的散斑点灰度图；

信息处理模块1640，用于根据散斑点灰度图中的散斑点对齐上述深度图及散斑点灰度图，得到RGB格式下的深度信息，并对齐RGB图像及深度信息。

在本示例实施方式中，上述信息处理装置还包括应用选定模块，该应用选定模块用于在通过RGB摄像头采集图像之前，接收选定应用模式的操作，并在应用同时使用RGB摄像头及深度摄像头时，将应用模式切换为RGBD同步模式。需要说明的是，上述场景只是一种示例性的说明，本示例实施方式的保护范畴并不以此为限。

在本示例实施方式中，举例而言，上述深度摄像头可以为Spot-TOF深度摄像头、结构光摄像头或稀疏散斑点DTOF摄像头。具体地：

当深度摄像头为Spot-ITOF摄像头时，上述深度图计算模块通过执行以下步骤计算得到深度图：获取激光脉冲信号的飞行时间，并根据飞行时间计算得到深度图。

当深度摄像头为结构光摄像头时，上述深度图计算模块通过执行以下步骤计算得到深度图：获取结构光摄像头投影的编码散斑和接收模组成像的散斑数据，并根据三角视差测距计算得到深度图。

当深度摄像头为稀疏散斑点DTOF摄像头时，上述深度图计算模块通过执行以下步骤计算得到深度图：获取稀疏散斑点DTOF摄像头投影的稀疏畸变形散斑，并通过具有散斑寻址功能的传感器探测单元获取深度数据，得到深度图。

需要说明的是，上述场景只是一种示例性的说明，本示例实施方式的保护范畴并不以此为限。例如，上述深度摄像头也可以为其他类型的深度摄像头。

在本示例实施方式中，上述散斑点灰度图采集模块通过执行以下步骤执行根据散斑点灰度图中的散斑点对齐深度图及散斑点灰度图，得到RGB格式下的深度信息：从散斑点灰度图获取多个散斑点作为特征点，通过对特征点匹配，对齐深度图及散斑点灰度图。

在本示例实施方式中，上述双带通集成式滤光片为可见光可透过和近红外光信号带通的滤光片。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图1、图4或图11中任意一个或多个步骤。

本公开的示例性实施方式还提供了用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。