图像处理方法、装置、电子设备及可读存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及可读存储介质。

背景技术

近年来，随着三维图像扫描技术取得的巨大发展，点云模型的优势也越来越明显。以点云为研究对象的图形学越来越受到关注，它在医学、现代卫星遥感测量、多媒体、机器视觉、智能监控、三维重建、体感交互及3D打印等领域都有非常广泛的应用。

在视觉三维稠密重建中，由于被测对象存在被遮挡以及弱纹理、重复纹理问题，使得被测对象的点云数据中存在点云空洞。针对点云空洞，目前的解决方案是使用线性插值方式去填补空缺处的点云空洞。然而，线性插值方法仅对平面场景有较好的效果，对较多高程起伏的区域没有太大效果，如果树场景、电线杆等都不能得到补全。

因此，提供一种能够灵活适用于不同场景的插值方案来修复点云空洞，是急需要解决的问题。

发明内容

本发明的目的在于提供一种图像处理方法、装置、电子设备及可读存储介质，用于实现能够灵活针对不同场景选择不同插值方式来修复点云空洞的效果。

本发明的实施例可以这样实现：

第一方面，本发明提供一种图像处理方法，包括：确定目标深度图中的待处理空洞区域、和所述待处理空洞区域对应的目标像素点的深度信息；其中，所述待处理空洞区域内的每个像素点没有深度信息；所述目标像素点与所述待处理空洞区域的边缘像素点相邻；根据所述目标像素点之间的深度差异值，确定所述待处理空洞区域对应的目标插值模型是线性插值模型还是非线性插值模型；基于确定的所述目标插值模型，确定所述每个像素点对应的深度信息。

第一方面，本发明提供一种图像处理装置，包括确定模块，用于确定目标深度图中的待处理空洞区域、和所述待处理空洞区域对应的目标像素点的深度信息；其中，所述待处理空洞区域内的像素点没有深度信息；所述目标像素点与所述待处理空洞区域的边缘像素点相邻；确定模块，还用于根据所述目标像素点之间的深度差异值，确定所述待处理空洞区域对应的目标插值模型是线性插值模型，或者是非线性插值模型；插值模块，用于基于确定的所述目标插值模型，确定所述待处理空洞区域内每个像素点对应的深度信息。

第三方面，本发明提供一种电子设备，包括处理器和存储有计算机可读指令的存储器，所述处理器被配置为在执行所述计算机可读指令时，执行如第一方面所述的图像处理方法。

第四方面，本发明提供一种可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如第一方面所述的图像处理方法。

本发明提供的图像处理方法、装置、电子设备及可读可读存储介质，方法包括：首先确定出目标深度图内的待处理空洞区域，进而根据待处理空洞区域对应的目标像素点之间的深度差异值，确定该待处理空洞区域适用于线性插值模型还是非线性插值模型，进而可以根据确定的目标插值模型来确定待处理空洞区域内每个像素点的深度信息，与现有技术的区别在于，现有技术仅仅采用线性插值方式来补全空洞区域的深度信息，忽略了空洞区域表征的场景差异，导致线性插值方式仅仅对平面场景具有较好的插值效果，但却不适用于目标深度图中表征高程起伏较大的场景，而本申请正是考虑到空洞区域表征的场景差异，进而可以根据深度差异值灵活的选择不同的插值方式，从而可以灵活适用于平面场景和高程起伏较大的场景的图像处理方法，可以填补点云空洞,修补遮挡问题导致的点云缺失，补全高程信息，增加地物回复完整度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种图像处理方法的示意性流程图；

图2为本申请实施例提供一种目标深度图的场景示例图；

图3本申请实施例提供的步骤S106的一种实现方式的示意性流程图；

图4为本申请实施例提供的一种坐标系；

图5为本申请实施例提供的步骤S109的一种实现方式的示意性流程图；

图6为本申请实施例提供的步骤S103的一种实现方式的示意性流程图；

图7为本申请实施例提供的另一种图像处理方法的示意性流程图；

图8为本申请实施例提供的一种获取目标深度图的场景示意图；

图9为本申请实施例提供的一种图像处理装置的功能模块图；

图10为本申请实施例提供的一种电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

点云(Point Cloud)，是指目标表面特性的海量点集合，可以通过扫描仪或者三维测量方法获得，近年来，以点云为研究对象的图形学越来越受到关注，它在医学、现代卫星遥感测量、多媒体、机器视觉、自动驾驶、智能监控、三维重建、体感交互及3D打印等领域都有非常广泛的应用。在实际测量和数据采集过程中，所采集的三维点云会存在噪声，或者由于样件局部的遮挡、样件本身的损坏、弱纹理、重复纹理以及测量手段的限制，使获得的点云数据有缺失，且深度信息不完整，存在一些空洞，对后期数据处理、点云建模、结构信息提取等带来较大的困难。

因此，点云空洞修复是点云数据预处理中的一个重要环节，如何提出一种修复表面最接近于实际点云表面的空洞修复方法是目前研究的热点问题。由于点云数据和深度图像之间可以进行转换，因此在修复点云空洞的方案中，相关技术采用了一种针对深度图像进行线性插值方式来调补点云空洞，即通过确定一个线性方程，补全空洞处的深度信息，以此达到填补空洞的目的，线性插值方法简单快速，但是仅对平面场景有较好的效果，对于对较多高程起伏的空洞区域，例如果树场景、电线杆等，填补效果不理想。

因此，本发明实施例提供了一种可以灵活适用于平面场景和高程起伏较大的场景的图像处理方法，可以填补点云空洞,修补遮挡问题导致的点云缺失，补全高程信息，增加地物回复完整度。

请参见图1，图1为本申请实施例提供的一种图像处理方法，该方法包括：

S103，确定目标深度图中的待处理空洞区域、和待处理空洞区域对应的目标像素点的深度信息。

其中，待处理空洞区域内的每个像素点没有深度信息，该目标像素点与待处理空洞区域的边缘像素点相邻。

本实施例中，目标深度图可以是预先存储的深度图像，或者，将任意场景下采集的物体或者区域的图像进行处理获得的深度图，上述场景可以但不限于是自动驾驶、无人机航测、虚拟现实(Virtual Reality)等，目标深度图像还可以是随机生成的深度图像，此处不做限定。

可以理解的是，为了避免过度拟合，造成点云数据的精度缺失，本实施例中的待处理空洞区域是满足处理条件的空洞区域，也就是说，在目标深度图中可能存在很多个空洞区域，但是只有满足本实施例中的处理条件的空洞区域，才会对其进行深度信息补全。

一个实施例中，上述的处理条件可以依据空洞区域对应的目标像素点之间的深度差异来确定，目标像素点是与待处理空洞区域的两个端点相邻的两个像素点，在一种可能的实施方式中，当这两个目标像素点的深度差异值大于3米，则不对该空洞区域进行深度信息补全，若这两个目标像素点的深度差异值小于3米，则对该空洞区域进行深度信息补全。

可以理解的是，上述给出的处理条件的3米仅仅作为示例，用户可以根据自己的需求定义一个阈值，以此来获得要处理的空洞区域。

S106，根据目标像素点之间的深度差异值，确定待处理空洞区域对应的目标插值模型是线性插值模型还是非线性插值模型。

本实施例中，为了可以灵活的根据不同场景，采取不同的方式来补全空洞区域内的深度信息，因此，在获得确定待处理空洞区域的目标像素点的深度信息之后，可以计算出深度差异值，根据深度差异值来确定这个待处理空洞区域采用线性插值方式，还是非线性插值方式。

可以理解的是，线性插值方式适用于平面场景，非线性插值方式适用于高程起伏较大的场景，因此，本实施例中，可以通过上述深度差异值来表征当前待处理空洞区域对应的是平面场景还是高程起伏较大的场景，进而采用其中一个插值方式进行深度信息补全，实现了可以灵活的根据不同场景，采取不同的方式来补全空洞区域内的深度信息的效果。

在一个实施例中，用户可以根据经验值或者需求自行定义深度差异值对应平面场景还是高程起伏较大的场景的条件，此处不做限定。

S109，基于确定的目标插值模型，确定每个像素点对应的深度信息。

本实施例中，若确定的目标插值类型为线性插值模型，则根据线性插值方式，确定待处理空洞区域内每个像素点的深度信息，若确定的目标插值类型为非线性插值模型，则根据非线性插值方式，确定待处理空洞区域内每个像素点的深度信息。也就是说，针对一张目标深度图，可能仅仅采用线性插值模型就能实现空洞修复，或者仅仅采用非线性插值模型就能实现空洞修复，还有可能既需要采用线性插值模型，又需要采用非线性插值模型去实现空洞修复，由此可见，本实施例并不是采用单一的插值方式来补全空洞的深度信息，而是可以灵活的采用不同插值方式补全高程信息，适用场景更加灵活。

为了方便理解上述实现过程，请参见图2，图2为本申请实施例提供一种目标深度图的场景示例图，在图2中，每个格子代表一个像素点，其中灰色格子表征的像素点具有深度信息，白色格子表征的像素点没有深度信息，用(u，v)表征目标深度图内像素点的位置坐标，d为像素对应的深度信息。

假设虚线框内的两个像素点(u2,v2)、(u3,v3)组成的区域为待处理空洞区域，则目标像素点即为像素点(u0,v0)，和像素点(u1,v1)，假设像素点(u0,v0)的深度信息为d0,像素点(u1,v1)的深度信息为d1，则可以根据d0和d1之间的差异，进而根据差异确定待处理空洞区域采用线性插值模型还是非线性插值模型。在一个示例中，假设待处理空洞区域对应平面场景，则待处理空洞区域的目标插值模型为线性插值模型，若待处理空洞区域对应高程起伏较大的场景，则待处理空洞区域的目标插值模型为非线性插值模型。进而，可以根据目标插值模型确定像素点(u2,v2)、(u3,v3)各自的深度信息，从而灵活补全深度信息的效果。

本发明实施例提供的图像处理方法，首先确定出目标深度图内的待处理空洞区域，进而根据待处理空洞区域对应的目标像素点之间的深度差异值，确定该待处理空洞区域适用于线性插值模型还是非线性插值模型，进而可以根据确定的目标插值模型来确定待处理空洞区域内每个像素点的深度信息，与现有技术的区别在于，现有技术仅仅采用线性插值方式来补全空洞区域的深度信息，忽略了空洞区域表征的场景差异，导致线性插值方式仅仅对平面场景具有较好的插值效果，但却不适用于目标深度图中表征高程起伏较大的场景，而本申请正是考虑到空洞区域表征的场景差异，进而可以根据深度差异值灵活的选择不同的插值方式，从而可以灵活适用于平面场景和高程起伏较大的场景的图像处理方法，可以填补点云空洞,修补遮挡问题导致的点云缺失，补全高程信息，增加地物回复完整度。

还需要说明的是，由于目标深度图中的可能存在多个待处理空洞区域，那么本实施例中的图像处理方法，可以采用以下方式执行，第一种方式：即确定出一个待处理空洞区域后，即对所该待处理空洞区域进行深度信息补全，然后继续确定下一个待处理空洞区域，以此类推，直到目标深度图中不存在待处理深度区域，第二种方式：可以先确定出目标深度图中全部的待处理空洞区域，进而对每个待处理空洞区域进行深度信息补全。

可选地，针对步骤S106中的确定待处理空洞区域适用的目标插值类型，本实施例给出了一种可能的实施方式，请参见图3，图3本申请实施例提供的步骤S106的一种实现方式的示意性流程图，步骤S106可以包括以下子步骤：

S106-1，若的深度差异值在第一预设范围内，则确定目标插值模型为线性插值模型。

S106-2，若深度差异值大于第二预设范围的上限值，则确定目标插值模型为非线性插值模型。

其中，第一预设范围的上限值为第二预设范围的下限值。

本实施例中，上述的第一预设范围和第二预设范围均可以根据经验值确定，或者由用户随机定义，在一个实施例中，上述的第一预设范围可以是0米-0.5米，第二预设范围为0.5米-3米，也就是说，当深度差异值在0米-0.5米之间，包括0米和0.5米，则待处理空洞区域对应的场景可以认为是平面场景，适用于线性插值模型，当深度差异值大于0.5米且小于或等于3米，则待处理空洞区域对应的场景可以认为是高程起伏较大的场景，适用于非线性插值模型。

针对步骤S106-1，在确定目标插值模型为线性插值模型之后，即可根据目标像素点的位置信息和深度信息构建线性插值模型。

本实施例中，线性插值模型可以是一阶贝塞尔曲线，上述构建线性插值模型的方式可以是，根据目标像素点的位置信息和深度信息，构建线性插值模型。

继续以图2所示的场景图为例，首先根据像素点的横坐标方向(纵坐标同理)，构建一个二维笛卡尔坐标系，设线性插值模型为一阶贝塞尔曲线，待处理空洞区域内的像素点均分布在该一阶贝塞尔曲线，其中深度信息作为Y轴，像素点的横坐标或者纵坐标作为X轴。

设目标像素带点的位置信息和深度信息分别为(u0,v0)，d0、和(u1,v1)，d1,设待处理空洞区域内像素点为(u,v)，则根据一阶贝尔赛曲线特性可以构建获得关于(u，v)和深度信息变化率t的关系模型为：

其中，u，d分别表征待空洞区域内像素点的横坐标和深度信息，u0、d0为目标像素点(u0，v0)的横坐标和深度信息、u1、d1为目标像素点(u1，v1)的横坐标和深度信息；u0、d0、u1、d1是已知的，当确定出每个像素点对应的深度信息变化率后，将每个像素点的横坐标和深度信息变化率带入上述关系模型，即可获得每个像素点对应的深度信息d。

需要说明的是，上述贝尔赛曲线可以表征：以其中一个像素点为起始点，移动到另一个像素点的过程中所形成的路径，待处理空洞区域内的像素点分布在该路径上，而上述深度信息变化率表征可以表征移动到待处理空洞区域的某个像素点对应的移动步径。

同理，针对步骤S106-2，在确定目标插值模型为线性插值模型之后，即可根据目标像素点的位置信息和深度信息构建线性插值模型。

本实施例中，非线性插值模型可以是二阶贝塞尔曲线，上述构建非线性插值模型的方式可以是，根据其中一个目标像素点的位置信息和深度信息，确定一个参考坐标点的位置信息和深度信息；基于目标像素点和参考坐标点各自的位置信息和深度信息，构建非线性插值模型。

继续以图2所示的场景图为例，首先根据像素点的横坐标方向或者纵坐标方向，构建一个二维笛卡尔坐标系，如图4所示，图4为本申请实施例提供的一种坐标系，其中深度信息作为Y轴，像素的横坐标或者纵坐标作为X轴。

设非线性插值模型为二阶贝塞尔曲线，目标像素带点的位置信息和深度信息在上述坐标系中分别为:目标像素点(u0,V0)对应坐标点P0(u0,d0)，目标像素点(u1,v1)对应坐标点P1(u1,d1)，获得参考坐标点假设为(u3，v3)，深度信息为d3,对应坐标点P3(u3,d3)。其中，待处理空洞区域内的每个像素点分布在P0、P1和P3构成的二阶贝塞尔曲线，例如，待处理空洞区域内的像素点(u2,v2)对应坐标点P2(u2,d2)。

根据二阶贝尔赛曲线特性可以构建获得关于(u，v)和深度信息变化率t的关系模型为：

其中，u，d分别表征待空洞区域内像素点的横坐标和深度信息，u0、d0为目标像素点(u0，v0)的横坐标和深度信息、u1、d1为目标像素点(u1，v1)的横坐标和深度信息；u3、d3为参考坐标点的横坐标和深度信息；u0、d0、u1、d1、u3、d3是已知的，当确定出每个像素点对应的深度信息变化率后，将每个像素点的横坐标和深度信息变化率带入上述关系模型，即可获得每个像素点对应的深度信息d。

在一个实施例中，上述参考坐标点确定可以根据所需要的曲线曲率来进行确定，由于为了更好的适应电线杆，树木等地物的恢复，所以选取目标像素点中深度值更大的点作为参考，来确定参考坐标点的深度信息，例如，假设d0小于d1，根据目标像素点的横坐标u0确定u3＝u0-1，根据目标像素点u1的深度信息d1确定d3＝d1-1,另外，(u3，d3)还可以根据经验值进行调节。

可选地，结合上述构建的线性插值模型获得非线性插值模型，获得待空洞区域内每个像素点的深度信息，可以根据图5所示的步骤执行，请参见图5，图5为本申请实施例提供的步骤S109的一种实现方式的示意性流程图，步骤S109可以包括：

S109-1，确定每个像素点对应的深度信息变化率；全部深度信息变化率分布在预设区间内。

结合上述构建模型的实施例可以看出，深度信息变化率为上述模型中t，t均匀分布在预设区间，即分布在0到1之间，在一种可能的实施方式中，上述确定每个像素点对应的深度信息变化率的方式可以是：先确定待处理空洞区域内的像素点个数，然后根据该确定的像素点个数将0到1之间的数进行按比例划分，使每个像素点对应一个深度信息变化率的取值。

例如，假设待处理空洞区域内的像素点个数为3个，则按照等比例将0到1之间分成3个数值可以是0.25,0.5,0.75。这3个数值依次对应待处理空洞区域内的3个像素点的t的取值。

S109-2，针对每个像素点，将像素点的位置信息和深度信息变化率，输入目标插值模型，获得每个像素点的深度信息。

例如，继续参见图2，假设目标插值模型为线性模型，待处理空洞区域内的像素点(u2,V2)的横坐标为u2(已知)，对应的深度信息变化率t的取值为0.333，则将u2(已知)、0.333带入上述线性插值模型，获得的d即为(u2,V2)的深度信息，进一步，将像素点(u7,V7)的横坐标u7(已知)和对应的t的取值带入线性插值模型，获得像素点(u7,V7)的深度信息。若目标插值模型为非线性模型，则获得像素点(u2,V2)、(u7,V7)的深度信息与上述过程同理，此处不再赘述。

可选地，由上述内容可知，目标深度图中可能存在多个不满足处理条件的空洞区域，因此，下面还给出一种如何筛选出目标深度图内待处理空洞区域的实现方式，请参见图6，图6为本申请实施例提供的步骤S103的一种实现方式的示意性流程图，步骤S103可以包括：

S103-1，遍历目标深度图，确定全部空洞区域、和每个空洞区域对应的目标像素点的深度信息。

S103-2，针对目标空洞区域，若目标空洞区域对应的目标像素点的深度差异值小于或等于第二预设范围的上限值，则将目标空洞区域确定为待处理空洞区域；目标空洞区域为全部空洞区域中的任一个；

S103-3，遍历全部空洞区域，获得全部待处理空洞区域。

本实施例中，针对S103-1，可以通过以下方式来实现：

步骤1，按行遍历目标深度图，将每一行中深度信息空缺的像素点连成的区域，确定为空洞区域，将空洞区域沿行方向上的边缘像素点的相邻像素点确定为目标像素点。

步骤2，按列遍历目标深度图，将每一列中，深度信息空缺的像素点连成的区域确定为所述空洞区域，将空洞区域沿列方向上的边缘像素点的相邻像素点确定为所述目标像素点。

例如，继续以图2所示的场景图为例，目标深度图有4行5列，先按行遍历目标深度图，第一行遍历结果不存在空洞区域，第二行中，像素点(u2,V2)、(u7,V7)组成的区域为空洞区域，对应的目标像素点是与像素点(u2,V2)相邻的像素点(u0,V0)、与像素点(u7,V7)相邻的像素点(u1,V1)；第三行中，像素点(u8,V8)为空洞区域，相邻目标像素点为与像素点(u8,V8)相邻的像素点(u5,V5)、像素点(u6,V6)，其余行同理。然后按列遍历目标深度图，确定空洞区域以及目标像素点的原理与按行遍历的时候同理，此处不再赘述。

需要说明的是，上述步骤1和步骤2并无执行的先后顺序，可以先执行步骤1，再执行步骤2，或者，先执行步骤2，再执行步骤1。

还需要说明的是，假设在按行遍历的过程中，存在不满足上述处理条件的空洞区域，那么在按列遍历的过程中，可能出现该空洞区域又满足上述处理条件的情况，这是因为同一个空洞区域，按行遍历过程中确定的目标像素点，与按列遍历时确定的目标像素点不同，所以会出现上述情况，那么该空洞区域依然可以被确定为待处理空洞区域，需要对其进行深度信息补全。

例如，继续以图2所示的场景为例，空洞区域对应像素点(u8,V8)，在按行遍历的过程中，空洞区域对应的目标像素点为(u5,V5)和(u6,V6)，深度信息分别为d5和d6,如果d5和d6的深度差异值大于3米，则不会对该空缺区域进行深度信息补全，但在按列遍历的过程中，空洞区域对应的目标像素点为(u0,V0)和(u9,V9)，深度信息分别为d0和d9,如果d9和d9的深度差异值小于3米，则仍然会对该空缺区域进行深度信息补全。

通过上述按行和按列遍历的方式来确定目标深度图内的待处理空洞区域，可以防止由于阈值设置不当到造成的区域遗漏现象，保证每个待处理空洞区域都能进行深度信息补全，增加地物回复完整度。

可选地，在执行上述步骤S103至步骤S109之前，本实施例还提供了一种获得目标深度图的实现方式，请参见图7，图7为本申请实施例提供的另一种图像处理方法的示意性流程图，该方法还可以包括：

S100，控制无人机按照飞行航线进行飞行，并在多个航点位置对被测对象执行图像获取操作，获得多张待处理图像，其中，每张待处理图像之间的对象重叠度大于预设阈值。

S102，对多张待处理图像进行深度信息优化处理，获得目标深度图。

上述无人机可以是但不限于是遥感无人机，上述飞行航线可以预先存在无人机的存储器内，也可以是无人机在执行飞行任务之前由其他设备传输给无人机的，还可以是无人机根据被测对象实时生成的航线，此处不做限定。

上述拍摄场景可以如图8所示，请参见图8所示的一种获取目标深度图的场景示意图。无人机按照图8所示的航线，从A点飞往D点的过程中，在每个航点位置处对被测对象进行数据采集，航点位置的设定可以保证无人机拍摄到具有一定重叠度的多张图像，进而使用视觉定位算法和双目立体匹配算法，恢复出每一帧图像的深度图，再对获得的深度图进行去噪声处理，获得最终的目标深度图，往往这些目标深度图会存在空洞。

可选地，在一种可能的实施方式中，对进行插值处理过目标深度图进行三维重建，获得点云数据。

可以理解的是，本发明实施例中，基于插值处理后的目标深度图而获得的点云数据中不再存在空洞区域，降低了后期数据处理、点云建模、结构信息提取等困难，从而有利于点云数据在各个领域的广泛应用。

请参见图9，图9为本申请实施例提供的一种图像处理装置的功能模块图，需要说明的是，本实施例所提供的图像处理装置其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该图像处理装置20包括：

确定模块201，用于确定目标深度图中的待处理空洞区域、和所述待处理空洞区域对应的目标像素点的深度信息；

其中，所述待处理空洞区域内的像素点没有深度信息；所述目标像素点与所述待处理空洞区域的边缘像素点相邻；

确定模块201，还用于根据所述目标像素点之间的深度差异值，确定所述待处理空洞区域对应的目标插值模型是线性插值模型，或者是非线性插值模型；

插值模块202，用于基于确定的所述目标插值模型，确定所述待处理空洞区域内每个像素点对应的深度信息。

可选地，确定模块201，具体用于若所述深度差异值在预设范围内，则确定所述目标插值模型为所述线性插值模型；若所述深度差异值大于所述预设范围的上限值，则确定所述目标插值模型为所述非线性插值模型。

可选地，插值模块202，具体用于确定所述每个像素点对应的深度信息变化率；全部所述深度信息变化率分布在预设区间内；针对每个所述像素点，将所述像素点的位置信息和所述深度信息变化率，输入所述目标插值模型，获得每个所述像素点的所述深度信息。

可选地，该图像处理装置20还包括构建模块，用于根据所述目标像素点的位置信息和深度信息，构建所述线性插值模型。以及，用于根据所述目标像素点的位置信息和深度信息，确定一个参考坐标点的位置信息和深度信息；基于所述目标像素点和所述参考坐标点各自的位置信息和深度信息，构建所述非线性插值模型。

可选地，确定模块201，还具体用于遍历所述目标深度图，确定全部空洞区域、和每个所述空洞区域对应的所述目标像素点的深度信息；针对目标空洞区域，若所述目标空洞区域对应的目标像素点的深度差异值小于预设阈值，则将所述目标空洞区域确定为待处理空洞区域；所述目标空洞区域为所述全部空洞区域中的任一个；遍历所述全部空洞区域，获得全部所述待处理空洞区域。

可选地，确定模块201，还具体用于按行遍历所述目标深度图，将每一行中深度信息空缺的像素点连成的区域，确定为所述空洞区域，将所述空洞区域沿行方向上的边缘像素点的相邻像素点，确定为所述目标像素点；按列遍历所述目标深度图，将每一列中所述深度信息空缺的像素点连成的区域，确定为所述空洞区域，将所述空洞区域沿列方向上的边缘像素点的相邻像素点，确定为所述目标像素点。

可选地，该图像处理装置20还包括获取模块，用于控制无人机按照飞行航线进行飞行，并在多个航点位置对被测对象执行图像获取操作，获得多张待处理图像，其中，每张待处理图像之间的对象重叠度大于预设阈值；对所述多张待处理图像进行深度信息优化处理，获得所述目标深度图。

本发明实施例提供的图像处理装置，包括确定模块和插值模块，首先通过确定模块确定出目标深度图内的待处理空洞区域，进而根据待处理空洞区域对应的目标像素点之间的深度差异值，确定该待处理空洞区域适用于线性插值模型还是非线性插值模型，进而可以通过插值模块根据确定的目标插值模型来确定待处理空洞区域内每个像素点的深度信息，与现有技术的区别在于，现有技术仅仅采用线性插值方式来补全空洞区域的深度信息，忽略了空洞区域表征的场景差异，导致线性插值方式仅仅对平面场景具有较好的插值效果，但却不适用于目标深度图中表征高程起伏较大的场景，而本申请正是考虑到空洞区域表征的场景差异，进而可以根据深度差异值灵活的选择不同的插值方式，从而可以灵活适用于平面场景和高程起伏较大的场景的图像处理方法，可以填补点云空洞,修补遮挡问题导致的点云缺失，补全高程信息，增加地物回复完整度。

本发明实施例还提供一种电子设备，如图10，图10为本发明实施例提供的一种电子设备结构框图。该电子设备可以但不限于是飞行器、无人飞行器、具有数据分析功能的其它电子设备。

该电子设备80包括通信接口81、处理器82和存储器83。该处理器82、存储器83和通信接口81相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器83可用于存储软件程序及模块，如本发明实施例所提供的图像处理方法对应的程序指令/模块，处理器82通过执行存储在存储器83内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口81可用于与其他节点设备进行信令或数据的通信。在本发明中该电子设备80可以具有多个通信接口81。

其中，存储器83可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器82可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

可选地，上述模块可以软件或固件(Firmware)的形式存储于图8所示的存储器中或固化于该电子设备的操作系统(Operating System，OS)中，并可由图8中的处理器执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器中。

本发明实施例提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项图像处理方法。该可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。