深度图像的增强方法、装置、电子设备以及存储介质

技术领域

本申请涉及人工智能技术领域，更具体地，涉及一种深度图像的增强方法、装置、电子设备以及存储介质。

背景技术

深度图像能够为立体场景的构建提供必要的深度信息，被广泛地运用于立体显示、机器视觉、虚拟现实等应用领域。但相比于彩色图像的获取，深度图像的获取需要使用成像密度更高的深度传感器，这种深度传感器通常价格非常昂贵，造成制作成本增加的问题。

发明内容

鉴于上述问题，本申请提出了一种深度图像的增强方法、装置、电子设备以及存储介质，以解决上述问题。

第一方面，本申请实施例提供了一种深度图像的增强方法，应用于电子设备，所述方法包括：获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率；将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同；将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。

第二方面，本申请实施例提供了一种深度图像的增强装置，应用于电子设备，所述装置包括：第一图像获得模块，用于获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率；第二图像获得模块，用于将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同；图像增强模块，用于将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。

第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请实施例提供的深度图像的增强方法、装置、电子设备以及存储介质，获取彩色图像和待增强深度图像，彩色图像和待增强深度图像的图像内容相同，且彩色图像的分辨率大于待增强深度图像的分辨率，将待增强深度图像与彩色图像对齐，获得待增强深度图像对应的待增强平面图像，其中，彩色图像的分辨率与待增强平面图像的分辨率相同，将彩色图像和待增强平面图像输入已训练的神经网络模型，获得已训练的神经网络模型输出的已增强深度图像，已增强深度图像的分辨率大于待增强深度图像的分辨率，从而通过彩色图引导深度图进行增强，提高深度图增强的准确性，节约了成本且丰富了深度图的应用场景，提升了实用性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请一个实施例提供的深度图像的增强方法的流程示意图；

图2示出了本申请又一个实施例提供的深度图像的增强方法的流程示意图；

图3示出了本申请再一个实施例提供的深度图像的增强方法的流程示意图；

图4示出了本申请实施例提供的已训练的神经网络模型的结构示意图；

图5示出了本申请实施例提供的全局特征提取模块的结构示意图；

图6示出了本申请实施例提供的局部特征提取模块的结构示意图；

图7示出了本申请的图3所示的深度图像的增强方法的步骤S350的流程示意图；

图8示出了本申请另一个实施例提供的深度图像的增强方法的流程示意图；

图9示出了本申请的图8所示的深度图像的增强方法的步骤S350的流程示意图；

图10示出了本申请实施例提供的深度图像的增强装置的模块框图；

图11示出了本申请实施例用于执行根据本申请实施例的深度图像的增强方法的电子设备的框图；

图12示出了本申请实施例的用于保存或者携带实现根据本申请实施例的深度图像的增强方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

近年来，既包含图像信息又包含深度信息的传感器的使用已经大大增加，甚至已经部署到了一些较为高端的电子设备上。其中，常见的RGB相机属于被动传感器，通常可以生成密集的彩色图像数据，而像LiDAR这种主动传感器生成的是稀疏的深度图像。然而在很多应用场景中我们需要更加稠密的深度图。发明人经过研究发现，可以采用的方案中，一种方案是使用成像密度更高的深度传感器，但他们通常非常昂贵，造成制作成本的增加，而更经济的方案是对LiDAR生成的稀疏深度图像做深度图增强来获得稠密深度图像。然而，目前的深度图像超分辨率算法多存在着重建图像边缘模糊的问题，且基于彩色引导的深度图像超分辨率算法缺少高效的特征融合机制，难以从彩色图引入有用的辅助信息。

针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例通过的深度图像的增强方法、装置、电子设备以及存储介质，通过彩色图引导深度图进行增强，提高深度图增强的准确性，节约了成本且丰富了深度图的应用场景，提升了实用性。其中，具体的深度图像的增强方法在后续的实施例中进行详细的说明。

请参阅图1，图1示出了本申请一个实施例通过的深度图像的增强方法的流程示意图。所述深度图像的增强方法用于通过彩色图引导深度图进行增强，提高深度图增强的准确性，节约了成本且丰富了深度图的应用场景，提升了实用性。在具体的实施例中，所述深度图像的增强方法应用于如图10所示的深度图像的增强装置200以及配置有深度图像的增强装置200的电子设备100(图11)，下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、穿戴式电子设备等，在此不做具体的限定。下面将针对图1所示的流程进行详细的阐述，所述深度图像的增强方法具体可以包括以下步骤：

步骤S110：获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率。

在本实施例中，电子设备可以同时获取彩色图像和待增强深度图像(稀疏的深度图像)。其中，该彩色图像和待增强深度图像的图像内容相同，且该彩色图像的分辨率大于待增强深度图像的分辨率。

在一些实施方式中，电子设备可以同时拍摄获得彩色图像和待增强深度图像。具体地，电子设备可以包括RGB摄像头和LiDAR摄像头，且RGB摄像头和LiDAR摄像头在电子设备的拍摄视角相同，其中，电子设备可以控制RGB摄像头和LiDAR摄像头同时进行图像采集，则电子设备可以获取RGB摄像头拍摄的彩色图像，并获取LiDAR摄像头拍摄的待增强深度图像(其中，LiDAR摄像头可以拍摄获得3D点云，并给予LiDAR摄像头的摄像头参数转换为待增强深度图像)。作为一种方式，通过RGB摄像头采集的彩色图像的分辨率可以很高，例如，彩色图像的分辨率可以为：1920*1080，通过LiDAR摄像头采集的待增强深度图像的分辨率可以很低，例如，待增强深度图像的分辨率可以为：200*200。

在一些实施方式中，电子设备可以在显示拍摄预览界面时，获取彩色图像和待增强图像，电子设备也可以在接收到拍摄指令时，获取彩色图像和待增强图像等，在此不做限定。

步骤S120：将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同。

在一些实施方式中，在获取待增强图像和彩色图像后，可以将待增强图像与彩色图像对齐，以获得待增强图像对应的待增强平面图像，其中，所获得的待增强图像对应的待增强平面图像的分辨率与彩色图像的分辨率相同。例如，当彩色图像的分辨率为1920*1080时，则待增强平面图像的分辨率也为1920*1080。

在一些实施方式中，当彩色图像通过RGB摄像头采集获得，且待增强深度图像通过LiDAR摄像头采集获得时，则可以获取RGB摄像头的摄像头参数并获取LiDAR摄像头的摄像头参数，以及基于RGB摄像头的摄像头参数和LiDAR摄像头的摄像头参数将由稀疏点云转换而成的低分辨率的待增强深度图像与高分辨率的彩色图像对齐，获得待增强图像对应的待增强平面图像。其中，由于通过LiDAR摄像头获取的待增强深度图像非常稀疏，则待增强图像对应的待增强平面图像也比较稀疏。

步骤S130：将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。

在一些实施方式中，电子设备在获得彩色图像和待增强平面图像后，可以将该彩色图像和待增强平面图像输入已训练的神经网络模型，其中，该已训练的神经网络模型是通过机器学习获得的，具体地，首先采集训练数据集，其中，训练数据集中的一类数据的属性或特征区别于另一类数据，然后通过将采集的训练数据集按照预设的算法对神经网络进行训练建模，从而基于该训练数据集总结出规律，得到已训练的神经网络模型。在本实施例中，训练数据集例如可以是多个彩色图像、多个待增强深度图像对应的多个待增强平面图像以及多个已增强深度图像。

可以理解的，该已训练的神经网络模型可以预先训练完成后存储在电子设备本地。基于此，电子设备在获取彩色图像和待增强平面图像后，可以直接在本地调用该已训练的神经网络模型，例如，可以直接发送指令至神经网络模型，以指示该已训练的神经网络模型在目标存储区域读取该彩色图像和待增强平面图像，或者电子设备可以直接将该彩色图像和待增强平面图像输入存储在本地的已训练的神经网络模型，从而有效避免由于网络因素的影响降低彩色图像和待增强平面图像输入已训练的神经网络模型的速度，以提升已训练的神经网络模型获取彩色图像和待增强平面图像的速度，提升用户体验。

另外，该已训练的神经网络模型也可以预先训练完成后存储在与电子设备通信连接的服务器。基于此，电子设备在获取彩色图像和待增强平面图像后，可以通过网络发送指令至存储在服务器的已训练的神经网络模型，以指示该已训练的神经网络模型通过网络读取电子设备的彩色图像和待增强平面图像，或者电子设备可以通过网络将彩色图像和待增强平面图像发送至存储在服务器的已训练的神经网络模型，从而通过将已训练的神经网络模型存储在服务器的方式，减少对电子设备的存储空间的占用，降低对电子设备正常运行的影响。

在本实施例中，已训练的神经网络模型基于输入的彩色图像和待增强平面图像输出相应的信息，则所述电子设备获取该已训练的神经网络模型输出的信息。可以理解的，若该已训练的神经网络模型存储在电子设备本地，则该电子设备直接获取该已训练的神经网络模型输出的信息；若该已训练的神经网络模型存储在服务器，则该电子设备可以通过网络从服务器获取该已训练的神经网络模型输出的信息。

在一些实施方式中，已训练的神经网络模型基于输入的彩色图像和待增强平面图像，可以输出已增强深度图像，其中，该已增强深度图像的分辨率大于待增强深度图像的分辨率。例如，已增强深度图像的分辨率可以与彩色图像的分辨率相同，即，当彩色图像的分辨率为1920*1080，待增强深度图像的分辨率为200*200时，则已增强深度图像的分辨率可以为1920*1080。

本申请一个实施例提供的深度图像的增强方法，获取彩色图像和待增强深度图像，彩色图像和待增强深度图像的图像内容相同，且彩色图像的分辨率大于待增强深度图像的分辨率，将待增强深度图像与彩色图像对齐，获得待增强深度图像对应的待增强平面图像，其中，彩色图像的分辨率与待增强平面图像的分辨率相同，将彩色图像和待增强平面图像输入已训练的神经网络模型，获得已训练的神经网络模型输出的已增强深度图像，已增强深度图像的分辨率大于待增强深度图像的分辨率，从而通过彩色图引导深度图进行增强，提高深度图增强的准确性，节约了成本且丰富了深度图的应用场景，提升了实用性。

请参阅图2，图2示出了本申请又一个实施例提供深度图像的增强方法的流程示意图。该方法应用于上述电子设备，该电子设备包括RGB摄像头和LiDAR摄像头，下面将针对图2所示的流程进行详细的阐述，所述深度图像的增强方法具体可以包括以下步骤：

步骤S210：获取所述RGB摄像头采集的所述彩色图像，并获取所述LiDAR摄像头采集的所述待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率。

在本实施例中，电子设备包括RGB摄像头和LiDAR摄像头。

其中，在进行图像采集时，可以仅通过RGB摄像头采集彩色图像，可以仅通过LiDAR摄像头采集待增强深度图像，也可以同时通过RGB摄像头采集彩色图像并通过LiDAR摄像头采集待增强深度图像。在一些实施方式中，电子设备可以获取RGB摄像头采集的彩色图像，并获取LiDAR摄像头采集的待增强深度图像。

步骤S220：获取所述RGB摄像头的摄像头参数作为第一摄像头参数，并获取所述LiDAR摄像头的摄像头参数作为第二摄像头参数。

在一些实施方式中，可以获取RGB摄像头的摄像头参数作为第一摄像头参数，并获取LiDAR摄像头的摄像头参数作为第二摄像头参数。作为一种方式，可以获取RGB摄像头的摄像头外参和摄像头内参，并将RGB摄像头的摄像头外参和摄像头内参作为第一摄像头参数，可以获取LiDAR摄像头的摄像头外参和摄像头内参，并将LiDAR摄像头的摄像头外参和摄像头内参作为第二摄像头参数。

步骤S230：基于所述第一摄像头参数和所述第二摄像头参数，将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同。

在一些实施方式中，在获得第一摄像头参数和第二摄像头参数后，可以基于第一摄像头参数和第二摄像头参数，将待增强图像与彩色图像对齐，以获得待增强深度图像对应的待增强平面图像。

步骤S240：将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。

其中，步骤S240的具体描述请参阅步骤S130，在此不再赘述。

本申请又一个实施例提供的深度图像的增强方法，获取RGB摄像头采集的彩色图像，并获取LiDAR摄像头采集的待增强深度图像，彩色图像和待增强深度图像的图像内容相同，且彩色图像的分辨率大于待增强深度图像的分辨率，获取RGB摄像头的摄像头参数作为第一摄像头参数，并获取LiDAR摄像头的摄像头参数作为第二摄像头参数，基于第一摄像头参数和第二摄像头参数，将待增强深度图像与彩色图像对齐，获得待增强深度图像对应的待增强平面图像，其中，彩色图像的分辨率与待增强平面图像的分辨率相同，将彩色图像和待增强平面图像输入已训练的神经网络模型，获得已训练的神经网络模型输出的已增强深度图像，已增强深度图像的分辨率大于待增强深度图像的分辨率。相较于图1所示的深度图像的增强方法，本实施例还通过RGB摄像头和LiDAR摄像头获取图像进行融合，提升电子设备的摄像效果。另外，本实施例还基于RGB摄像头的摄像头参数和LiDAR摄像头的摄像头参数进行图像对齐，以提升后续的图像增强效果。

请参阅图3，图3示出了本申请再一个实施例提供深度图像的增强方法的流程示意图。该方法应用于上述电子设备，其中，在本实施例中，已训练的神经网络模型包括全局特征提取模块、局部特征提取模块以及生成模块，下面将针对图3所示的流程进行详细的阐述，所述深度图像的增强方法具体可以包括以下步骤：

步骤S310：获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率。

步骤S320：将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同。

其中，步骤S310-步骤S320的具体描述请参阅步骤S110-步骤S120，在此不再赘述。

步骤S330：将所述彩色图像和所述待增强平面图像输入所述全局特征提取模块，获得所述全局特征提取模块输出的全局深度预测值和全局置信权重。

请参阅图4、图5以及图6，其中，图4示出了本申请实施例提供的已训练的神经网络模型的结构示意图，图5示出了本申请实施例提供的全局特征提取模块的结构示意图，图6示出了本申请实施例提供的局部特征提取模块的结构示意图。如图4、图5以及图6所示，在本实施例中，该已训练的神经网络模型可以包括全局特征提取模块、局部特征提取模块以及生成模块。

在一些实施方式中，该全局特征提取模块的编解码网络可以基于ERFNet架构构建。其中，ERFNet架构具有较高的运行效率，且在图像语义分割任务上有不错的表现，因此，基于ERFNet架构构建全局特征提取模块的编解码网络可以提升全局特征提取效果。

在一些实施方式中，该局部特征提取模块的编解码网络可以基于堆叠沙漏网络架构(SHN，stacked hourglass network)构建。其中，堆叠沙漏网络使用重复的自底向上和自顶向下过程与中间监督来提升网络特征提取的能力，因此，基于堆叠沙漏网络架构构建布局特征提取模块的编解码网络可以提升局部特征提取效果。

在一些实施方式中，电子设备在获得彩色图像和待增强平面图像后，可以将彩色图像和待增强平面图像输入全局特征提取模块，获得全局特征提取模块输出的全局深度预测值和全局置信权重。其中，全局特征提取模块由编码器和解码器组成，编码器获得彩色图像和待增强平面图像的全局特征后输入解码器，通过解码器得到全局深度预测值和全局置信权重。

步骤S340：将所述彩色图像和所述待增强平面图像输入所述局部特征提取模块，获得所述全局特征提取模块输出的局部深度预测值和局部置信权重。

在一些实施方式中，电子设备在获得彩色图像和待增强平面图像后，可以将彩色图像和待增强平面图像输入局部特征提取模块，获得布局特征提取模块输出的布局深度预测值和布局置信权重。其中，布局特征提取模块由编码器和解码器组成，编码器获得彩色图像和待增强平面图像的布局特征后输入解码器，通过解码器得到布局深度预测值和布局置信权重。

步骤S350：将所述全局深度预测值、所述全局置信权重、所述局部深度预测值以及所述局部置信权重输入所述生成模块，获得所述生成模块输出的所述已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。

在本实施例中，在获得全局深度预测值、全局置信权重、局部深度预测值以及局部置信权重后，可以将全局深度预测值、全局置信权重、局部深度预测值以及局部置信权重输入生成模块，获得生成模块输出的已增强深度图像。在一些实施方式中，在获得全局深度预测值和全局置信权重后，可以基于全局置信全局对全局深度预测值进行调整，获得调整后的全局深度预测值，在获得局部深度预测值和局部置信权重后，可以基于局部置信权重对布局深度预测值进行调整，获得调整后的局部深度预测值，基于调整后的全局深度预测值和调整后的局部深度预测值，对待增强平面图像或待增强深度图像进行增强处理，获得已增强深度图像。

在一些实施方式中，已训练的神经网络模型在获得全局深度预测值、全局置信权重、局部深度预测值以及局部置信权重时，还可以获取表面法向量，将将全局深度预测值、全局置信权重、局部深度预测值、局部置信权重以及表面法向量输入生成模块，获得生成模块输出的已增强深度图像。

请参阅图7，图7示出了本申请的图3所示的深度图像的增强方法的步骤S350的流程示意图。在本实施例中，该已训练的神经网络模型还包括归一化模块，下面将针对图7所示的流程进行详细的阐述，所述深度图像的增强方法具体可以包括以下步骤：

步骤S351：将所述全局置信权重和所述局部置信权重输入所述归一化模块，获得所述归一化模块输出的全局置信权重值和局部置信权重值。

请再参阅图4，如图4所示，该已训练的神经网络模型还包括归一化模块(softmax)。在本实施例中，在获得全局置信权重后，可以将全局置信权重输入归一化模块(softmax)，获得归一化模块输出的全局置信权重值；在获得局部置信权重后，可以将布局置信权重输入归一化模块(softmax)，获得归一化模块输出的布局置信权重值。

步骤S352：将所述全局深度预测值、所述全局置信权重值、所述局部深度预测值以及所述局部置信权重值输入所述生成模块，获得所述生成模块输出的所述已增强深度图像。

在本实施例中，在获得全局深度预测值、全局置信权重值、局部深度预测值以及局部置信权重值后，可以将全局深度预测值、全局置信权重值、局部深度预测值以及局部置信权重值输入生成模块，获得生成模块输出的已增强深度图像。在一些实施方式中，在获得全局深度预测值和全局置信权重值后，可以将全局深度预测值和全局置信权重值相乘，获得第一参数值，在获得局部深度预测值和局部置信权重值后，可以将局部深度预测值和局部置信权重值相乘，获得第二参数值，在获得第一参数值和第二参数值后，将第一参数值和第二求和获得第三参数值，基于第三参数值对待增强平面图像或待增强深度图像进行增强处理，获得已增强深度图像。

本申请再一个实施例提供的深度图像的增强方法，获取彩色图像和待增强深度图像，彩色图像和待增强深度图像的图像内容相同，且彩色图像的分辨率大于待增强深度图像的分辨率，将待增强深度图像与彩色图像对齐，获得待增强深度图像对应的待增强平面图像，其中，彩色图像的分辨率与待增强平面图像的分辨率相同，将彩色图像和待增强平面图像输入全局特征提取模块，获得全局特征提取模块输出的全局深度预测值和全局置信权重，将彩色图像和待增强平面图像输入局部特征提取模块，获得布局特征提取模块输出的布局深度预测值和布局置信权重，将全局深度预测值、全局置信权重、局部深度预测值以及局部置信权重输入生成模块，获得生成模块输出的已增强深度图像，已增强深度图像的分辨率大于待增强深度图像的分辨率。相较于图1所示的深度图像的增强方法，本实施例所应用的已训练的神经网络模型包括全局特征提取模块、局部特征提取模块以及生成模块，以通过上述模块提升图像增强效果。

请参阅图8，图8示出了本申请另一个实施例提供的深度图像的增强方法的流程示意图。该方法应用于上述电子设备，下面将针对图8所示的流程进行详细的阐述，所述深度图像的增强方法具体可以包括以下步骤：

步骤S410：获取训练数据集，其中，所述训练数据集包括多个彩色图像、多个待增强深度图像对应的多个待增强平面图像以及多个已增强深度图像，所述多个彩色图像、所述多个待增强平面图像以及所述多个已增强深度图像一一对应。

在本实施例中，首先获取训练数据集。其中，该训练数据集可以包括多个彩色图像、多个待增强深度图像对应的多个待增强平面图像以及多个已增强深度图像，多个彩色图像、多个待增强平面图像以及多个已增强深度图像一一对应。在一些实施方式中，该训练数据集可以为电子设备的本地存储的，可以为其他设备存储并发送至电子设备的，可以为从服务器存储并发送至电子设备的，还可以为电子设备实时拍摄的等，在此不做限定。

步骤S420：将所述多个彩色图像、多个待增强平面图像作为输入参数，所述多个已增强深度图像作为输出参数对神经网络模型进行训练，获得已训练的神经网络模型。

作为一种方式，在获得多个彩色图像、多个待增强深度图像对应的多个待增强平面图像以及多个已增强深度图像后，将多个彩色图像、多个待增强深度图像对应的多个待增强平面图像以及多个已增强深度图像作为训练数据集对神经网络模型进行训练，以获得已训练的神经网络模型。在一些实施方式中，可以将多个彩色图像、多个待增强深度图像对应的多个待增强平面图像作为输入参数，将多个已增强深度图像作为输出参数对神经网络模型进行训练，获得已训练的神经网络模型。另外，在获得已训练的神经网络模型后，还可以对该已训练的神经网络模型的准确性进行验证，并判断该已训练的神经网络模型基于输入的彩色图像和待增强平面图像输出的已增强深度图像是否满足预设要求，当该已训练的神经网络模型基于输入的彩色图像和待增强平面图像输出的已增强深度图像不满足预设要求时，可以重新采集训练数据集对神经网络模型进行训练，或者再获取多个训练数据集对已训练的神经网络模型进行校正，在此不做限定。

请参阅图9，图9示出了本申请的图8所示的深度图像的增强方法的步骤S420的流程示意图。下面将针对图9所示的流程进行详细的阐述，所述深度图像的增强方法具体可以包括以下步骤：

步骤S421：获取所述多个待增强深度图像和所述多个已增强深度图像中对应的深度图像的分辨率差值，将所述分辨率差值作为损失值。

在一些实施方式中，在进行神经网络模型的训练过程中，可以获取多个待增强深度图像和多个已增强深度图像中对应的深度图像的分辨率差值，将分辨率差值作为损失值。例如，假设多个待增强深度图像包括待增强深度图像1和待增强深度图像2，多个已增强深度图像包括已增强深度图像1和已增强深度图像2，且待增强深度图像1和已增强深度图像1对应，待增强深度图像2和已增强深度图像2对应，则在进行神经网络模型的训练过程中，可以获取待增强深度图像1和已增强深度图像1的分辨率差值作为损失值，可以获取待增强深度图像2和已增强深度图像2的分辨率差值作为损失值。

在一些实施方式中，可以基于

步骤S422：将所述多个彩色图像、多个待增强平面图像作为输入参数，所述多个已增强深度图像作为输出参数，基于所述损失值对神经网络模型进行迭代训练，获得所述已训练的神经网络模型。

在本实施例中，在获得损失值后，可以基于损失值对神经网络模型进行迭代训练，以获得已训练的神经网络模型，其中，该已训练的神经网络模型可以用于基于彩色图像和待增强平面图像获得已增强深度图像。作为一种方式，在获得损失值后，可以基于损失值使用反向传播更新神经网络模型的参数，获得已训练的神经网络模型。

在一些实施方式中，可以根据损失值，使用Adam优化器对神经网络模型进行迭代训练，直至基于神经网络模型输出的已增强深度图像和待增强深度图像确定的损失值收敛，并将此时的神经网络模型进行保存，得到已训练的神经网络模型。其中，Adam优化器，结合了AdaGra(Adaptive Gradient，自适应梯度)和RMSProp两种优化算法的优点，对梯度的一阶矩估计(First Moment Estimation，即梯度的均值)和二阶矩估计(Second MomentEstimation，即梯度的未中心化的方差)进行综合考虑，计算出更新步长。

在一些实施方式中，迭代训练的终止条件可以包括：迭代训练的次数达到目标次数；或者，神经网络模型的损失值满足收敛条件。

步骤S430：获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率。

步骤S440：将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同。

步骤S450：将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。

其中，步骤S430-步骤S450的具体描述请参阅步骤S110-步骤S130，再次不再赘述。

本申请另一个实施例提供的深度图像的增强方法，获取训练数据集，其中，训练数据集包括多个彩色图像、多个待增强深度图像对应的多个待增强平面图像以及多个已增强深度图像，多个彩色图像、多个待增强平面图像以及多个已增强深度图像一一对应，将多个彩色图像、多个待增强平面图像作为输入参数，多个已增强深度图像作为输出参数对神经网络模型进行训练，获得已训练的神经网络模型，获取彩色图像和待增强深度图像，彩色图像和待增强深度图像的图像内容相同，且彩色图像的分辨率大于待增强深度图像的分辨率，将待增强深度图像与彩色图像对齐，获得待增强深度图像对应的待增强平面图像，其中，彩色图像的分辨率与待增强平面图像的分辨率相同，将彩色图像和待增强平面图像输入已训练的神经网络模型，获得已训练的神经网络模型输出的已增强深度图像，已增强深度图像的分辨率大于待增强深度图像的分辨率。相较于图1所示的深度图像的增强方法，本实施例还通过获取训练数据集的方式对神经网络模型进行训练，以获得已训练的神经网络模型，从而提升基于已训练的神经网络模型获得的已增强图像的增强效果。

请参阅图10，图10示出了本申请实施例提供的深度图像的增强装置的模块框图。该深度图像的增强装置200应用于上述电子设备，下面将针对图10所示的框图进行阐述，所述深度图像的增强装置200包括：第一图像获得模块210、第二图像获得模块220以及图像增强模块230，其中：

第一图像获得模块210，用于获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率。

进一步地，所述电子设备包括RGB摄像头和LiDAR摄像头，所述第一图像获得模块210包括：

第一图像获得子模块，用于获取所述RGB摄像头采集的所述彩色图像，并获取所述LiDAR摄像头采集的所述待增强深度图像。

第二图像获得模块220，用于将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同。

进一步地，所述第二图像获得模块包括：摄像头参数获取子模块和第二图像获取子模块，其中：

摄像头参数获取子模块，用于获取所述RGB摄像头的摄像头参数作为第一摄像头参数，并获取所述LiDAR摄像头的摄像头参数作为第二摄像头参数。

第二图像获得子模块，用于基于所述第一摄像头参数和所述第二摄像头参数，将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像。

图像增强模块230，用于将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。

进一步地，所述已训练的神经网络模型包括全局特征提取模块、局部特征提取模块以及生成模块，所述图像增强模块230包括：全局特征获得子模块、局部特征获得子模块以及图像增强子模块，其中：

全局特征获得子模块，用于将所述彩色图像和所述待增强平面图像输入所述全局特征提取模块，获得所述全局特征提取模块输出的全局深度预测值和全局置信权重。

局部特征获得子模块，用于将所述彩色图像和所述待增强平面图像输入所述局部特征提取模块，获得所述全局特征提取模块输出的局部深度预测值和局部置信权重。

图像增强子模块，用于将所述全局深度预测值、所述全局置信权重、所述局部深度预测值以及所述局部置信权重输入所述生成模块，获得所述生成模块输出的所述已增强深度图像。

进一步地，所述已训练的神经网络模型还包括归一化模块，所述图像增强子模块包括：权重值获得单元和图像增强单元，其中：

权重值获得单元，用于将所述全局置信权重和所述局部置信权重输入所述归一化模块，获得所述归一化模块输出的全局置信权重值和局部置信权重值。

图像增强单元，用于将所述全局深度预测值、所述全局置信权重值、所述局部深度预测值以及所述局部置信权重值输入所述生成模块，获得所述生成模块输出的所述已增强深度图像。

进一步地，所述深度图像的增强装置200还包括：训练数据集收集模块和神经网络模型训练模块，其中：

训练数据集收集模块，用于获取训练数据集，其中，所述训练数据集包括多个彩色图像、多个待增强深度图像对应的多个待增强平面图像以及多个已增强深度图像，所述多个彩色图像、所述多个待增强平面图像以及所述多个已增强深度图像一一对应。

神经网络模型训练模块，用于将所述多个彩色图像、多个待增强平面图像作为输入参数，所述多个已增强深度图像作为输出参数对神经网络模型进行训练，获得已训练的神经网络模型。

进一步地，所述神经网络模型训练模块包括：损失值获得子模块和神经网络模型训练子模块，其中：

损失值获得子模块，用于获取所述多个待增强深度图像和所述多个已增强深度图像中对应的深度图像的分辨率差值，将所述分辨率差值作为损失值。

神经网络模型训练子模块，用于将所述多个彩色图像、多个待增强平面图像作为输入参数，所述多个已增强深度图像作为输出参数，基于所述损失值对神经网络模型进行迭代训练，获得所述已训练的神经网络模型。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图11，其示出了本申请实施例提供的一种电子设备100的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责待显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的深度图像的增强方法、装置、电子设备以及存储介质，电子设备在接收到开机指令时，获取电子设备的当前状态，当当前状态表征电子设备发生开机异常时，获取作用于电子设备的触发事件，当触发事件满足指定触发条件时，启动日志抓取功能并抓取日志信息，从而通过获取电子设备的开机过程的当前状态，并在获取到开机异常且作用于电子设备的触发事件满足指定触发事件时启动日志抓取功能并抓取日志信息，从而实现在开机异常时可以抓取第一现场的日志信息，便于进行开机异常的分析和修复，提升用户体验。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。