一种物体形貌的估计方法及计算机可读存储介质

技术领域

本发明涉及图像处理领域，具体涉及一种物体形貌的估计方法及计算机可读存储介质。

背景技术

在实际应用中，很多时候需要根据所拍摄的图像，对光源相对于相机的姿态进行估计，从而根据估计的光源姿态，获取所拍摄的图像中物体表面的三维信息。当前，为了标定相机和光源的相对位置关系，很多现有的对光源姿态进行估计的方法是通过高光球进行相机与光源相对的关系的标定。该方法需要制作高光球，同时现场使用和实施的过程中还需要使用相关操作人员与相机进行交互操作，进而显著地加大了对上述操作人员的技术要求和操作人员的操作难度。此外，现有技术尚不能根据单张图像获取光源相对于相机的姿态，进而不能根据光源相对于相机的相对位置关系（即姿态）估计物体的三维形貌信息。因此，针对上述现有技术的不足有必要进行改进。

发明内容

本发明主要解决的技术问题是提供一种物体形貌的估计方法，该估计方法不需要标定球，仅通过被检测物体的单张图像就能够实现对上述单张图像中光源相对于相机的姿态的估计，并能够根据上述光源相对于相机的姿态得到被检测物体的三维形貌信息。

根据第一方面，一种实施例中提供物体形貌的估计方法。该估计方法包括：

获取被检测物体的单张图像；

其中，所述单张图像是相机对所述被检测物体进行拍摄而得到的；所述单张图像中各像素的灰度值与所述被检测物体的反射率ρ、所述相机的光电转化系数λ和所述单张图像中与该像素对应的所述被检测物体表面一点的法向量与光源的方向向量进行点乘而得到的结果均成正比；

利用由所述方向向量与球坐标系中

利用所述方向向量在所述球坐标系中

一实施例中，所述对所述单张图像中各像素的灰度值进行转换处理而得到所述方向向量在所述球坐标系中

构建与该像素对应的所述被检测物体表面一点的邻域，在所述邻域中获取

对第一方程组进行求解得到所述方向向量在所述球坐标系中

一实施例中，所述方向向量的表达式为：

，

其中，所述

一实施例中，利用所述方向向量在所述球坐标系中

根据所述单张图像中各像素的灰度值对所述单张图像进行傅里叶变换；

根据所述单张图像的傅里叶变换与所述表面高度函数的傅里叶变换之间的关系式，利用所述单张图像的傅里叶变换解得所述表面高度函数的傅里叶变换；其中，所述单张图像的傅里叶变换与所述表面高度函数的傅里叶变换之间的关系式是对所述灰度值

对所述表面高度函数的傅里叶变换进行逆变换而得到所述表面高度函数。

一实施例中，所述法向量的第二表达式为：

N

其中，所述沿所述

一实施例中，所述法向量的第三表达式：

。

一实施例中，所述灰度值

。

一实施例中，所述灰度值

或者

。

一实施例中，沿所述

，

沿所述

。

其中，所述

一实施例中，所述单张图像的傅里叶变换与所述表面高度函数的傅里叶变换之间的关系式：

，

其中，所述

一实施例中，所述表面高度函数的傅里叶变换的闭式解的表达式为：

。

根据第二方面，一种实施例中提供一种计算机可读存储介质。该计算机可读存储介质包括程序。所述程序能够被处理器执行以实现如本文中任一实施例所述的方法。

本申请的有益效果是：

本申请所提供的估计方法，包括：获取被检测物体的单张图像；利用由所述方向向量与球坐标系中

附图说明

图1为一种实施例的物体形貌的估计方法的流程示意图；

图2为一种实施例的对单张图像中各像素的灰度值进行转换处理而得到方向向量在球坐标系中

图3为另一种实施例的对单张图像中各像素的灰度值进行转换处理而得到方向向量在球坐标系中

图4为又一种实施例的对单张图像中各像素的灰度值进行转换处理而得到方向向量在球坐标系中

图5为一种实施例的对单张图像中各像素的灰度值进行转换处理而得到单张图像中被检测物体的三维形貌信息的流程示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

本申请所提供的光源姿态的估计方法要实现的一个技术目的是根据被检测物体的单张图像，估计出单张图像中被检测物体本身的反射率，以及获取对应的光源相对于相机的姿态（即，相机与光源的相对位置关系）。其中，光源相对于相机的姿态一般仅指代光源相对相机的方向。上述“相对位置关系”一般也仅指代光源相对相机的方向。

本申请所提供的估计方法要实现的另一个技术目的是根据上述光源相对于相机的姿态对单张图像中被检测物体的三维形貌信息进行估计。其中，上述“相对位置关系”一般也仅指代光源相对相机的方向。

本申请所提供的估计方法是假设被检测物体的单张图像的灰度值与以下几个方面的影响因素有关：第一方面，单张图像中与像素对应的被检测物体表面一点的法向量与光源的方向向量进行点乘而得到的结果（这是由于若光源照射的方向和上述法向量相同，则光源射向被检测物体的入射光在被反射之后多数都会返回至上述相机中，而随着上述法向量和光源照射的方向之间的夹角的增大，返回至相机的光线则会越少，因此被检测物体的单张图像的灰度值与单张图像中与像素对应的被检测物体表面一点的法向量与光源的方向向量进行点乘而得到的结果成正比）；第二方面，单张图像中被检测物体的反射率，其中，被检测物体的反射率与被检测物体的材质有关，上述单张图像的灰度值也与被检测物体的反射率成正比；第三方面，上述相机的光电转化系数（这是由于当前述光线入射至前述相机之后，相机需要将光线对应的光信号转化为对应的电信号，而上述转化为对应的电信号的过程与相机的光电转化系数呈正相关，也就是说，单张图像中各像素的灰度值也与相机的光电转化系数成正比。也就是说，被检测物体的单张图像的灰度值的表达式可以为：

下面将结合实施例对本申请的技术方案进行详细说明。

请参考图1，本申请所提供的一种物体形貌的估计方法，包括：

步骤S100：获取被检测物体的单张图像；其中，单张图像是相机对被检测物体进行拍摄而得到的；单张图像中各像素的灰度值与被检测物体的反射率ρ、相机的光电转化系数λ和单张图像中与该像素对应的被检测物体表面一点的法向量与光源的方向向量进行点乘而得到的结果均成正比；

步骤S200：

利用由所述方向向量与球坐标系中

步骤S300：利用所述方向向量在所述球坐标系中

其中，上述步骤S200和步骤S300中球坐标系的中心为光源的中心，

需要说明的是，单张图像中与像素对应的被检测物体表面一点的法向量是基于连续性条件进行重建而得到的。

一些实施例中，步骤S100中的光源可以是阳光，也可以是其他人造光源（如灯光等）。

需要说明的是，本领域技术人员可以根据实际需求而选定被检测物体的种类和数量等，此处不对被检测物体的种类和数量等进行限制。

需要说明的是，本申请是假设上述步骤S100中的被检测物体表面属于朗伯体模型。也就是说，当相机与被检测物体表面垂直，光源所发出的光束平行且均匀，而被检测物体表面的反射率是相同的（即本申请所针对的被检测物体为单一材质的物体），进而基于前述单张图像的灰度值的影响因素而构建得到前述被检测物体的单张图像的灰度值的表达式，即，

一些实施例中，在上述步骤S200中，可以利用由方向向量与球坐标系中轴的正方向的夹角和方向向量在球坐标系中平面的投影与轴的正方向的夹角来共同表征上述方向向量。

其中，上述方向向量的表达式为：

，

其中，

需要说明的是，上述步骤S200中，利用上述球坐标系中相机与光源的相对位置关系来对上述光源的方向向量（即上述光源的姿态）进行描述，即，利用由方向向量与球坐标系中

本申请将对上述方向向量的估计转化为对上述夹角

需要说明的是，要想从被检测物体的单张图像恢复被检测物体的三维形貌信息，需要首先计算得到上述光源的方向（如上述方向向量

请参考图2，一些实施例中，在上述步骤S200中，对单张图像中各像素的灰度值进行转换处理而得到所述方向向量在所述球坐标系中

步骤S210：构建与该像素对应的被检测物体表面一点的邻域，在邻域中获取

步骤S220：对第一方程组进行求解得到方向向量在球坐标系中

其中，第一方程组由各个临近点的第一方程组成。第一方程表征临近点对应的单张图像的像素的差分与临近点的沿

临近点对应的单张图像的像素的差分与临近点的沿

灰度值的表达式由被检测物体的反射率、相机的光电转化系数和与该像素对应的被检测物体表面一点的法向量与光源的方向向量进行点乘而得到的结果来共同表征。

法向量根据临近点的坐标的表达式转换为由临近点的坐标来表征，其中临近点的坐标的表达式由法向量与球坐标系中z轴的正方向的夹角

一些实施例中，上述步骤S210中，可以首先采用以下表达式表示上述法向量

，

其中，

，

其中，

用于表征领域的球体的中心点，球体的半径为

一些实施例中，在上述步骤S210中，本领域技术人员可以根据实际需求而确定

需要说明的是，在上述步骤S210中，“计算

上述步骤S220中，第一方程组为：

dI

其中，

其中，

从上述第一方程组也可以看出第一方程组由各个临近点的第一方程组成。第一方程表征临近点对应的单张图像的像素的差分与临近点的沿

利用由方向向量与球坐标系中

；

采用以下表达式表示单张图像的灰度值

。

将上述表示单张图像的灰度值

。

对于上述单张图像中与像素对应的被检测物体表面的任意一个点（

需要说明的是，此处需要“对于上述单张图像中与像素对应的被检测物体表面的任意一个点（

由于第一方程组涉及

上述步骤S220中，对第一方程组进行求解得到方向向量在球坐标系中

对第一方程组进行求解得到

根据以下关系式，利用

。

上述X由以下表达式解出：

。

需要说明的是，上述表达式

上述

，

其中，

请参考图3，一些实施例中，上述步骤S200中，对单张图像中各像素的灰度值进行转换处理而得到方向向量在球坐标系中

步骤S230：获取单张图像中各像素的灰度值的一阶矩和二阶矩；其中，一阶矩和二阶矩均是基于各像素的灰度值、法向量与球坐标系中

步骤S240：对第二方程进行求解得到方向向量与球坐标系中

其中，上述步骤S240中，第二方程为：

，

其中，

需要说明的是，上述关系式

，

由上述夹角

，

由上述夹角

。

一些实施例中，在连续域中，上述一阶矩的表达式为：

。

而在离散域中，上述一阶矩的表达式为：

。

其中，

一些实施例中，在离散域中，上述二阶矩的表达式为：

。

一些实施例中，在连续域中，上述二阶矩的表达式为：

。

需要说明的是，本申请在对图像的一阶矩或二阶矩进行计算时，只能采用上述在离散域中一阶矩或二阶矩的表达式。

需要说明的是，为了估计上述

。而

上述夹角

。

请参考图4，一些实施例中，在上述步骤S200中，对所述单张图像中各像素的灰度值进行转换处理而得到所述方向向量在所述球坐标系中

步骤S250：根据反射率

上述反射率

。

需要说明的是，在步骤S200中“对单张图像中各像素的灰度值进行转换处理而得到被检测物体的反射率

需要说明的是，计算得到的反射率

上述关于夹角

，

其中，

需要说明的是，上述关于夹角

请参考图5，上述步骤S300中，利用所述方向向量在所述球坐标系中

步骤S310：根据单张图像中各像素的灰度值对单张图像进行傅里叶变换；

步骤S320：根据单张图像的傅里叶变换与表面高度函数的傅里叶变换之间的关系式，利用单张图像的傅里叶变换解得表面高度函数的傅里叶变换；

步骤S330：对表面高度函数的傅里叶变换进行逆变换而得到表面高度函数。

在上述步骤S320中，单张图像的傅里叶变换与表面高度函数的傅里叶变换之间的关系式是对灰度值

需要说明的是，只要计算得到上述表面高度函数

一些实施例中，上述法向量也可以利用被检测物体表面一点的表面高度函数沿

N

其中，上述沿

上述步骤S320中，上述法向量的第三表达式：

。

上述步骤S320中，灰度值

。

上述步骤S320中，灰度值

或者/>

需要说明的是，由于

上述步骤S320中，沿

，

沿

。

其中，

需要说明的是，上述沿

上述步骤S320中，单张图像的傅里叶变换与表面高度函数的傅里叶变换之间的关系式：

，

其中，

。

需要说明的是，上述单张图像的傅里叶变换与表面高度函数的傅里叶变换之间的关系式是对

上述步骤S320中，表面高度函数的傅里叶变换的闭式解的表达式为：

。

其中，上述

可以看出，与现有技术相比，本申请所提供的物体形貌的估计方法具有以下优点：

1）本申请所提供的估计方法可以不需要标定球，在对单张图像中各像素的灰度值进行转换处理而得到方向向量在球坐标系中

2）本申请所提供的估计方法将对上述单张图像中光源相对于相机的位置关系的估计转化为两个角度（即上述夹角

3）在本申请所提供的估计方法计算得到上述单张图像中被检测物体的表面高度函数之后，即可利用上述表面高度函数获得该被检测物体表面的三维形貌信息。

以上就是关于物体形貌的估计方法的一些说明。本申请一些实施例中还公开了一种计算机可读存储介质。该计算机可读存储介质包括程序，该程序能够被处理器执行以实现如本文中任一项实施例的方法。

本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现（例如一个或多个步骤可以被删除、修改或结合到其他步骤中）。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备（硬盘、软盘等）、光学存储设备（CD至ROM、DVD、Blu Ray盘等）、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。

虽然在各种实施例中已经示出了本文的原理，但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。

前述具体说明已参照各种实施例进行了描述。然而，本领域技术人员将认识到，可以在不脱离本披露的范围的情况下进行各种修正和改变。因此，对于本披露的考虑将是说明性的而非限制性的意义上的，并且所有这些修改都将被包含在其范围内。同样，有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而，益处、优点、问题的解决方案以及任何能产生这些的要素，或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体，皆属于非排他性包含，这样包括要素列表的过程、方法、文章或设备不仅包括这些要素，还包括未明确列出的或不属于该过程、方法、系统、文章或设备的其他要素。此外，本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。

具有本领域技术的人将认识到，在不脱离本发明的基本原理的情况下，可以对上述实施例的细节进行许多改变。因此，本发明的范围应仅由权利要求确定。