融合空洞修复的深度恢复方法、电子设备及存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种融合空洞修复的深度恢复方法、电子设备及存储介质。

背景技术

目前，机器视觉领域中最具活力的技术分支当属深度感知技术，而散斑结构光技术则是深度感知技术中的重要部分。散斑结构光技术作为最常见主动式立体视觉的技术，在人脸识别、自动驾驶、安防监控等领域具有广泛应用。散斑结构光系统，是通过向被拍摄物体投射伪随机散斑，然后根据特定的算法进行散斑的特征匹配得到视差信息，基于视差信息进一步获取场景的深度信息。

在得到深度信息后，一般会使用滤波等操作来去除深度图的噪声，在去除噪声后便会或多或少地出现深度空洞点。这些深度空洞点大多是由于该点区域的散斑不够明显，或因户外太阳光过强淹没散斑，或因人脸黑色眼镜框降低散斑亮度，或因红外传感器的图像噪声过大，最终这些深度空洞点会严重影响到深度图的质量，使其在后续的三维重建或人脸3D防伪等应用上效果不足。现在对深度图中深度空洞点进行修复的方案主要有以下两种：利用红外或彩色等信息引导进行深度图的空洞修复；只使用深度图进行空洞区域的插值和填补。

但是这两种方案都存在一定缺陷：一定程度上利用彩色图或红外图的先验信息，虽然在进行深度修复后修复区域的深度值具有一定的可信度，但是可信度也较低，并且整个过程计算量也偏大，在很多平台无法达到实时效果；按照一定的规则直接用有深度值区域直接插值空洞区域，在进行深度修复后修复区域的深度值可信度很低，后续应用到深度防伪等方面由于其可能填充的是错误的深度值，导致最终呈现的结果还不如不填充修补前得到的结果准确。

发明内容

本发明实施方式的目的在于提供一种融合空洞修复的深度恢复方法、电子设备及存储介质，能够在深度恢复的同时，实现对深度图空洞区域的修复，且空洞修复区域的深度值具有较高的可信度。

为解决上述技术问题，本发明的实施方式提供了一种融合空洞修复的深度恢复方法，包括：

在对物体散斑图执行一次区域增长后，针对未成功生长的像素点再次执行区域增长；其中，所述再次执行区域增长所采用的初始种子点是基于已确定的各种子点的视差值对应的匹配代价值的置信度确定，所采用的生长阈值相较于前一次执行区域增长时变小；

基于所述物体散斑图被执行区域增长后所形成的视差图恢复得到深度图像。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的融合空洞修复的深度恢复方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的融合空洞修复的深度恢复方法。

本发明实施方式相对于现有技术而言，通过在对物体散斑图被执行一次区域增长后，针对未成功生长的像素点再次执行区域增长；其中，再次执行区域增长所采用的初始种子点是基于已确定的各种子点的视差值对应的匹配代价值的置信度确定，所采用的生长阈值相较于前一次执行区域增长时变小；基于对物体散斑图执行区域增长后所形成的视差图恢复得到深度图像。本方案在对物体散斑图执行一次区域增长确定出成功生长的像素点的视差值后，会继续对剩余未成功生长的像素点再次执行区域增长，且在再次区域增长过程中，通过已确定的各种子点的视差值对应的匹配代价值的置信度来确定再次区域增长所采用的初始种子点，并将生长阈值变小次，以降低次再次区域增长生长难度，从而对原本可能出现空洞的区域，通过再次执行区域增长的方式计算出相应的视差值，在完成深度恢复的同时，等效的实现对深度图空洞区域的修复，且空洞修复区域的深度值具有较高的可信度。

附图说明

图1是根据本发明实施方式的融合空洞修复的深度恢复方法的具体流程图一；

图2是根据本发明实施方式的融合空洞修复的深度恢复方法的具体流程图二；

图3是根据本发明实施方式的三角测量原理计算深度的示意图；

图4是根据本发明实施方式的融合空洞修复的深度恢复方法的具体流程图三；

图5是根据本发明实施方式的候选种子点选择方式图；

图6是根据本发明实施方式的融合空洞修复的深度恢复方法的具体流程图四；

图7是根据本发明实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的一实施方式涉及一种融合空洞修复的深度恢复方法，适用于利用目标物体的散斑图对目标物体的深度图像进行恢复的图像处理场景。如图1所示，本实施例提供的融合空洞修复的深度恢复方法，包括如下步骤。

步骤100：在对物体散斑图执行一次区域增长后，针对未成功生长的像素点再次执行区域增长；其中，再次执行区域增长所采用的初始种子点是基于已确定的各种子点的视差值对应的匹配代价值的置信度确定，所采用的生长阈值相较于前一次执行区域增长时变小。

通常，在针对物体散斑图和参考散斑图进行视差搜索确定视差图时，可通过区域增长的方式利用已确定的种子点及其视差值进行种子生长，并将满足生长阈值的像素点（成功生长的像素点）确定为新的种子点，并可确定出该种子点对应的视差值。基于已确定的种子点继续进行种子生长，直到再无新种子点生成即完成一次对物体散斑图的区域增长过程。在执行对物体散斑图的一次区域增长过程中，所采用的生成阈值不变。一次区域增长完成后，剩下的未成功生长的像素点通常被认为是空洞像素点，简称“空洞”。具体地，在对物体散斑图执行一次区域增长后，未成功生长的像素点处会出现空洞。这些空洞是需要修复的。本实施例中，针对未成功生长的像素点（也就是空洞区域）会再次执行一次区域增长。在再次执行区域增长过程中，为了保证所生长种子点的可信度、降低种子生长难度，会对初始种子点和生长阈值进行特殊设置。即再次执行区域增长所采用的初始种子点是基于已确定的各种子点的视差值对应的匹配代价值的置信度确定，所采用的生长阈值相较于前一次执行区域增长时变小。其中，生长阈值为像素点成功生长为种子点所需达到的量化条件，生长阈值越大对应成功生长为种子点的难度也越大。在通过区域增长方法，针对物体散斑图和参考散斑图进行视差搜索确定视差图时，成功确定出视差值的像素点（成功生长的像素点）其视差值对应的匹配代价值需要小于一定阈值，而匹配代价值越小对应的匹配难度就会越大，对应像素点成功生长为种子点的难度也越大；反推之，匹配代价值越大，对应像素点成功生长为种子点的难度就越小。因此本实施例中的生长阈值可与视差的匹配代价值整体成反比关系，这样利用降低生长阈值来提高匹配代价值，更容易在像素点的匹配代价值较高的情况下，将该像素点确定为种子点，从而降低种子点的生长难度。

其中，可以理解的，已确定的各种子点的视差值与对应的匹配代价值之间的关系是，匹配代价值越低、对应的视差值的可信程度越高。而由于视差图像的连续性，存在如果某个点的视差值的可信度越高，那么其周围的像素点同样以该视差值作为自己的视差值，其可信度也会相对较高。因此，本实施例中，在选择再次执行区域增长过程中所采用的初始种子点时，可尽量在已确定的种子点中，选择视差值对应的匹配代价值的置信度高的种子点作为初始种子点。而为了减少计算量，可以尽量选择与未成功生长的像素点相邻的种子点作为初始种子点。

同时，为了降低种子生长难度，再次执行区域增长所采用的生长阈值也要变小，即至少相较于前一次执行区域增长时所采用的生长阈值要明显减小，这样才能确保成功生长。

在具体实施过程中，再次执行区域增长的过程可反复多次，在每次对物体散斑图执行完一次区域增长后，针对剩下的未成功生长的像素点均可以再次执行区域增长，以不断减少空洞像素点的数量，实现在深度恢复过程中的空洞修复。

在一个例子中，如图2所示，步骤100可通过如下步骤103~104实现。

步骤103：以物体散斑图中原始种子点作为首批当前种子点，执行一次区域增长：利用当前种子点及其视差值，对物体散斑图中未成功生长的像素点所形成的连通域基于生长阈值进行区域增长，确定连通域中成功生长为种子点的像素点的视差值，并计算各种子点的视差值对应的匹配代价值的置信度。

其中，该原始种子点可以为针对物体散斑图预先指定的，或者是从多个候选种子点中通过优选判断所确定的首批种子点（可以为多个）。本实施例中是分批对各批次确定的当前种子点执行区域增长，原始种子点即为首批被处理的当前种子点。

例如，若某个候选种子点被成功判断为原始种子点，并获取到原始种子点的视差值时，则进入该原始种子点作为一个当前种子点的生长环节。在该当前种子点四周，且针对物体散斑图中未成功生长的像素点所形成的连通域（该连通域中均是非种子点），基于生长阈值进行区域增长。对于当前种子点周围的所属上述连通域的每一邻域点，在其与当前种子点的视差值相同视差的差值位置处进行[-2,2]的视差搜索匹配，匹配方法及代价值计算方法与原始种子点所使用的相关方法相同。若匹配代价值小于生长阈值，则确定找到匹配的视差值。此时，可直接将该匹配代价值所对应的视差值作为当前邻域点的视差值，或者参照公式（6）计算出该视差值的亚像素级别视差作为最终的视差值。然后将当前邻域点作为新的种子点再于其周围进行区域生长，以进一步得到新邻域点的视差值。若匹配代价值不小于生长阈值，则进行下一个原始种子点的邻域点的计算。

针对每个批次中的各当前种子点，采用区域增长方法迭代进行邻域点的视差搜索，从而确定出截止本批次的当前种子点在执行完区域增长后，物体散斑图与参考散斑图之间的像素点的视差值，形成视差图。需要说明的是，每执行完一次区域增长后，物体散斑图中未成功生长的像素点（这些像素点还没有对应的视差值）的数量会不断减少，由这些像素点所形成的连通域的面积也会越来越小。为了让各批次的当前种子点可以顺利的进行区域增长操作产生新的视差值，本实施例限定，每次区域增长所使用的生长阈值会随着对应的所述当前种子点的批次数增多而降低。换言之，在后一批执行区域增长的当前种子点在进行生长时所使用的生长阈值要小于在前一批执行区域增长操作的当前种子点在进行生长时所使用的生长阈值，这样才可以不断降低生长难度，保证在后一批执行区域增长操作的当前种子点能够成功生长出新的种子点。需要说明的是，生长阈值与匹配代价值成反比，匹配代价值越大对应的生长阈值越小，生长难度也越低。

在每次完成区域增长过程结束后，还可以计算各种子点的视差值对应的匹配代价值的置信度。该匹配代价值的置信度定义为：以该匹配代价值来确定其对应的视差值为种子点的视差值的可信度。因此则有匹配代价值的置信度越高，其对应的视差值为种子点的视差值的可信度越高。

通常情况下，匹配代价值反映了某一视差值下确定的待匹配的两个图像块之间的相似程度，而相似度越大，对应该视差值作为实际视差值的可信度越大、相应的匹配代价值越小。基于此，可以遵循匹配代价值越小，匹配代价值的置信度越大的趋势，定义匹配代价值的置信度的计算公式，本实施例中对计算匹配代价值的置信度的具体公式不做限定。

在一个例子中，计算区域增长过程中各种子点的视差值对应的匹配代价值的置信度，包括：

通过如下公式（1）计算各种子点的视差值对应的匹配代价值的置信度。

其中，

具体地，在确定当前种子点的视差值时，通常是在该种子点的视差搜索范围内进行视差搜索，并基于每个视差值对应的匹配代价值，从视差搜索范围内确定出一个视差值作为该种子点的最终视差值

步骤104：在每次区域增长结束后，根据物体散斑图中未成功生长的像素点所形成的连通域的邻域中，各种子点的视差值对应的匹配代价值的置信度，从邻域中确定下一批当前种子点执行区域增长。

例如，在候选种子点成功判断为原始种子点而作为首批当前种子点进行区域增加时，可在当前种子点的视差值的[-2,2]的范围内对该种子点的相邻像素点进行视差搜索，这么做的原理是连续物体的视差变化不大，并且将视差超过2的相邻像素点，即基于当前种子点未成功生长的像素点标记为一种标志类（或者暂时不标记该相邻像素点的标志类），将视差未超过2的相邻像素点，即基于当前种子点成功生长的像素点（新种子点）标记为另一种标志类。在一次区域增长操作后，根据标志类所有未成功生长的像素点（这其中也包含没有被执行视差搜索的非种子点）会形成至少一个连通域中，而在物体散斑图中除去这些连通域所剩余的区域均为种子点所在的区域。同理，在每执行一次区域增长操作后，在物体散斑图中均会呈现出由未成功生长的像素点所形成的一个或多个连通域。

本实施例中，每执行一次区域增长操作后，会从物体散斑图中未成功生长的像素点所形成的连通域的邻域中，确定出下一批当前种子点来再次执行上述区域增长，从而生成更多的种子点以及对应的视差值。所确定的下一批当前种子点是根据上述邻域中，各种子点的视差值对应的匹配代价值的置信度来确定。可以理解的，根据图像的连贯性该置信度越高的种子点，其周围的像素点成为种子点的可能性也越大。遵循这一原理，本实施例在一个例子中，本步骤104内容可具体包括：从物体散斑图中未成功生长的像素点所形成的连通域的邻域中，选取视差值对应的匹配代价值的置信度大于置信度阈值的种子点，作为下一批当前种子点执行区域增长操作。如果所有上述邻域中均不存在置信度大于置信度阈值的种子点，则区域增长结束，进入步骤105。

此外，为了确保再次执行区域增长的有效性，在执行步骤104时，可先判断物体散斑图中未成功生长的像素点所形成的各连通域的面积是否大于面积阈值；针对面积大于面积阈值的连通域，将该连通域的邻域中视差值对应的匹配代价值的置信度最大的种子点确定为下一批当前种子点中的一个种子点，并基于该种子点对该连通域执行区域增长操作。

具体地，当物体散斑图中未成功生长的像素点所形成的连通域的面积大于面积阈值时，则认为相应连通域存在空洞修复的必要，因此再执行将该连通域的邻域中视差值对应的匹配代价值的置信度最大的种子点确定为下一批当前种子点中的一个种子点，去执行区域增长操作，才具有空洞修复的意义。

步骤105：基于对物体散斑图执行区域增长后所形成的视差图恢复得到深度图像。

具体地，当图像生长完毕后，即从未成功生长的像素点所形成的连通域的邻域中无法再确定下一批的当前种子点，或者不存在未成功生长的像素点时，可将所有具有视差值的像素点的视差值

其中，z

在得到深度图后，还可以对深度图进行后处理，如中值滤波等，以去除多余的噪点后输出高精度的深度图。

与相关技术相比，本实施例在对物体散斑图执行一次区域增长确定出成功生长的像素点的视差值后，会继续对剩余未成功生长的像素点再次执行区域增长，且在再次区域增长过程中，通过已确定的各种子点的视差值对应的匹配代价值的置信度来确定再次区域增长所采用的初始种子点，并将生长阈值变小次，以降低次再次区域增长生长难度，从而对原本可能出现空洞的区域，通过再次执行区域增长的方式计算出相应的视差值，在完成深度恢复的同时，等效的实现对深度图空洞区域的修复，且空洞修复区域的深度值具有较高的可信度。

本发明的另一实施方式涉及一种融合空洞修复的深度恢复方法，如图4所示，该融合空洞修复的深度恢复方法是对图2所示方法步骤的改进，改进之处在于，对采用区域增长方法时所利用的原始种子点及其视差值的确定过程进行细化。如图4所示，在步骤103之前还可包括如下步骤（步骤101~102）。

步骤101：针对预处理后的物体散斑图和参考散斑图，从物体散斑图中选择多个候选种子点，以及每个候选种子点对应的视差搜索范围。

具体地，可通过结构光相机（简称“相机”）拍摄目标物体的散斑图，作为物体散斑图；参考散斑图为已知距离的平面散斑图。对物体散斑图、参考散斑图进行预处理，以提高散斑点的明暗对比度和亮度均衡的效果。

在一个例子中，对物体散斑图和参考散斑图进行预处理，可包括：对物体散斑图和参考散斑图依次进行局部灰度归一化和阴影处理。

具体地，对物体散斑图和参考散斑图进行局部灰度归一化处理，包括：

采用如下公式对物体散斑图和参考散斑图进行处理：

其中，

具体地，采用局部灰度归一化（Local Contrast Normalization，LCN），分别对物体散斑图和参考散斑图上坐标为(

LCN方法，可以解决散斑影像亮度不均衡的问题。

接着，对局部灰度归一化处理后的物体散斑图和参考散斑图进行阴影处理，包括：采用如下公式（4）对局部灰度归一化处理后的物体散斑图和所述参考散斑图进行处理。

其中，m(

具体地，采用如上公式（4）将散斑图像中灰度值

矩阵m(

针对预处理后的物体散斑图和参考散斑图，可以从物体散斑图中选择多个候选种子点，以及每个候选种子点对应的视差搜索范围。

具体地，使用区域生长算法进行深度恢复的原理是认为场景的深度具备一定的连续性，其相当于深度恢复过程中的代价聚合部分。因此，首先按照一定间隔的网格方式从物体散斑图选择多个像素点作为候选种子点（如图5中的实心点），并形成候选种子点的队列。按顺序选择队列中的候选种子点，并为每个候选种子点确定一个视差搜索范围，以便进行视差搜索。这里的视差搜索范围可以为视差搜索的全范围或者部分连续范围。

步骤102：对每个候选种子点，以对应的视差搜索范围在预处理后的参考散斑图中进行视差搜索，并基于视差搜索得到的各视差值对应的匹配代价值，确定该候选种子点是否为种子点，并获取种子点的视差值。

具体地，针对每个候选种子点，以对应的视差搜索范围内的各视差值在预处理后的参考散斑图中找到这些视差值对应的匹配点，将这些匹配点与对应的候选种子点进行局部图像块匹配，得到各视差值对应的匹配代价值。最后根据每个候选种子点的各视差值对应的匹配代价值确定该候选种子点是否为种子点，并当确定该候选种子点是一个种子点时，获取该种子点的视差值。

其中，在根据每个候选种子点的各视差值对应的匹配代价值确定该候选种子点是否为种子点时，各视差值对应的匹配代价值越小，该候选种子点被确定作为种子点的可能性越大。而被确定为种子点后，该种子点所对应的视差值，也可基于上述各视差值对应的匹配代价值，从各视差值中确定，或者基于这些视差值进一步计算生成。

与相关技术相比，本实施例通过针对预处理后的物体散斑图和参考散斑图，从物体散斑图中选择多个候选种子点，以及每个候选种子点对应的视差搜索范围；对每个候选种子点，以对应的视差搜索范围在预处理后的参考散斑图中进行视差搜索，并基于视差搜索得到的各视差值对应的匹配代价值，确定该候选种子点是否为种子点，并获取种子点的视差值，从而得到用于后续种子生长环节时的初始的种子点及其视差值。

本发明的另一实施方式涉及一种融合空洞修复的深度恢复方法，如图6所示，该融合空洞修复的深度恢复方法是对图4所示方法步骤的改进，改进之处在于，对确定种子点，以及获取种子点的视差值的过程进行细化。如图6所示，上述步骤102可包括如下子步骤。

子步骤1021：对当前候选种子点，以对应的视差搜索范围在预处理后的参考散斑图中进行视差搜索，得到当前候选种子点对应的多个匹配代价值。

具体地，针对每个当前候选种子点，可以其对应的视差搜索范围的各视差值在预处理后的参考散斑图中进行视差搜索，确定各视差值对应的匹配代价值。本实施例中对视差搜索时的匹配代价算法不做限定。

例如，可利用邻域窗口，计算各视差值对应的物体图像块与参考图像块之间的汉明距离，并将该汉明距离作为相应视差值对应的匹配代价值；或者利用邻域窗口，计算各视差值对应的物体图像块与参考图像块之间的差的绝对值之和（Sum of absolutedifferences，SAD）作为相应视差值对应的匹配代价值。

例如，SAD的计算方法如下：

以物体散斑图中P点坐标(

其中，邻域大小为（2n+1）*（2m+1），

子步骤1022：如果多个匹配代价值中的最小值小于设定阈值，则将当前候选种子点作为一个种子点，并将多个匹配代价值的最小值对应的视差值作为该种子点的视差值。

具体地，当在候选种子点的视差搜索范围内，在参考散斑图中进行视差搜索所得到的最小的匹配代价值小于设定阈值时，则认为在当前视差搜索范围内搜索到了当前候选种子点对应的较优的视差值。此时，可将当前候选种子点直接确定作为一个种子点，并将该种子点在当前视差搜索范围对应的匹配代价值最小的视差值作为该种子点的视差值。

子步骤1023：如果多个匹配代价值中的最小值不小于设定阈值，则将当前候选种子点丢弃。

具体地，当在候选种子点的视差搜索范围内，在参考散斑图中进行视差搜索所得到的最小的匹配代价值不小于设定阈值时，则认为在视差搜索范围内没有搜索到当前候选种子点对应的较优的视差值。此时，可认为此候选种子点自身匹配度并不高，对当前候选种子点判断为失败，之后可从子步骤1021开始，执行其它候选种子点的判断过程。

在一个例子中，当子步骤1021成立，多个匹配代价值中的最小值小于设定阈值，则还可以通过计算亚像素级别视差来取代原视差，以增加视差的准确性。处理过程包括如下步骤：

针对多个匹配代价值的最小值对应的视差值

其中，Z

具体地，本实施例中确定候选种子点是否为种子点的判断过程与前述实施例中种子生长过程，在确定种子点的匹配代价值Z

针对以亚像素级别视差

与相关技术相比，本实施例通过对当前候选种子点，以对应的视差搜索范围在预处理后的参考散斑图中进行视差搜索，得到当前候选种子点对应的多个匹配代价值；如果多个匹配代价值中的最小值小于设定阈值，则将当前候选种子点作为一个种子点，并将多个匹配代价值的最小值对应的视差值作为该种子点的视差值；如果多个匹配代价值中的最小值不小于设定阈值，则将当前候选种子点丢弃，从而准确地确定出种子点以及种子点的视差值。

本发明的另一实施方式涉及一种电子设备，如图7所示，包括至少一个处理器202；以及，与至少一个处理器202通信连接的存储器201；其中，存储器201存储有可被至少一个处理器202执行的指令，指令被至少一个处理器202执行，以使至少一个处理器202能够执行上述任一方法实施例。

其中，存储器201和处理器202采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器202和存储器201的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器202处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器202。

处理器202负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器201可以被用于存储处理器202在执行操作时所使用的数据。

本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。