一种面向表面缺陷检测的视觉信息采集装置及方法

技术领域

本发明涉及表面缺陷检测领域，尤其是涉及一种面向表面缺陷检测的视觉信息采集装置及方法。

背景技术

表面缺陷检测指为保证工业产品的使用性能、工作寿命和外观形貌等评价指标进行的针对加工工件表面形貌状态的质量检测工作，是航空航天、微电子和微系统装备、精密计量与测试等高端制造业领域不可或缺的环节。当前，表面缺陷检测技术可分为接触式和非接触式两种。接触式的代表技术为原子力显微镜，其三维形貌重建能力通常可达到横向0.1nm，纵向0.01nm的精度，但其在扫描范围和扫描精度上受限，并且接触式的测量方式容易造成样品的损伤。非接触式方法通常基于光学原理，主要为干涉式(激光或白光干涉测量等)和散射式(视觉法、共聚焦显微法、结构光条纹反射法等)两类，通常可达到微米级的横向分辨能力。其中，视觉法基于人工肉眼检视或相机摄影后利用机器视觉进行缺陷信息的处理，具有成像信息直观、光路原理及结构简单、成本低廉等优势，是当前工业现场的主要选择。尤其是在数字图像处理技术和计算机视觉技术蓬勃发展的时代背景下，基于图像的自动化、智能化表面缺陷检测任务收获了大量的研究兴趣。

通常，为了观察到精细的表面结构，视觉法采用显微物镜、目镜和工业相机(图像传感器)结合的显微光学系统，其选型需要综合考虑视场、分辨率和景深等多项指标，以符合面向任务的视觉检测需求。显微视觉的分辨率通常在1μm左右，适用的检测对象包含小尺寸光学元件、微机电系统(Micro Electromechanical System，MEMS)制品、印制电路板(Printed Circuit Boards，PCB)和柔性电路板(Flexible Printed Circuit，FPC)、晶圆片等。该分辨率下可实现对所述工件要求的缺陷进行特征获取，并通过后续的图像预处理和目标检测算法对具体的感兴趣区域(Region of Interest，ROI)进行定位和识别。除开因后端信息处理技术引入的检测错误之外，在信息采集部分，显微视觉下的表面缺陷检测仍存在部分物方区域空间信息无法解构的问题以及对部分微细结构不具备适应性、对相似的缺陷结构无法进行有效区分和无法分辨类似正常结构的缺陷等问题。

需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于解决提高待测物体表面缺陷检测的检测精度的问题，提供一种面向表面缺陷检测的视觉信息采集装置及方法。

为实现上述目的，本发明采用以下技术方案：

本发明提供了一种面向表面缺陷检测的视觉信息采集装置，包括：

空间正交化结构光照明单元，所述空间正交化结构光照明单元光路为单像素成像结构，能够将其加载的振幅调制图像通过照明光投影共轭到成像目标的特定对焦面，完成对成像目标的像素级照明；

角度分离光路单元，所述角度分离光路单元用于在角度维度对成像目标的辐射光进行分离；

图像传感器单元，所述图像传感器单元设置有多个光强采集区域以采集多个光强值，用于接收所述空间正交化结构光照明单元照明成像目标后由成像目标发射、并由角度分离光路单元分离的辐射光，以重构成像目标的空间光强分布和多角度的光强分布；所述图像传感器单元上设置有偏振掩膜，以实现对成像目标偏振特性的采集。

在一些实施例中，所述空间正交化结构光照明单元包括：

平行光输出部件、数字微镜器件(4)、投影透镜(7)、分光镜(8)、孔径光阑(9)；

其中，平行光输出部件发出平面光波前，径直入射数字微镜器件(4)，所述数字微镜器件(4)用于调制所述平面光波前的光强，调制后的平面光波前经过投影透镜(7)、分光镜(8)、孔径光阑(9)将所述光强分布等比例压缩并入射到成像目标的特定对焦面，成像目标表面被照明物点处发生漫反射，形成成像目标表面的辐射光。

在一些实施例中，所述角度分离光路单元包括大角度分离光路单元，所述大角度分离光路单元包括曲面反射镜(11)，成像目标处的特定对焦面与曲面反射镜(11)的物方焦面重合，对于成像目标的辐射光，曲面反射镜(11)会将同一方向角的光线汇聚到其像方焦面的相同点，以此在角度维度对辐射光进行分离。

在一些实施例中，所述大角度分离光路单元的辐射光方向角范围由以下公式表示：

其中，θ代表大角度分离光路单元所采集辐射光的方向角，l代表成像目标处的特定对焦面与曲面反射镜(11)的安装基准面的距离，a代表成像目标对应的线视场大小，曲面反射镜(11)为保证平行光的聚焦质量，规定了充分校正入射光平行光聚焦位置对应的像差的立体范围，该范围沿光轴方向的二维视图为圆环，d

在一些实施例中，所述角度分离光路单元还包括小角度分离光路单元，所述图像传感器单元包括小角度图像传感器(16)和大角度图像传感器(18)，所述大角度图像传感器(18)用于接收所述大角度分离光路单元发射的辐射光；所述小角度分离光路单元包括物镜(12)、线性光学信息处理系统，成像目标处的特定对焦面和物镜(12)的物方焦面重合，对于成像目标的辐射光，物镜(12)会将同一方向角的光线汇聚到其像方焦面的相同点，以此在角度维度对辐射光进行分离，所述线性光学信息处理系统能够将分离结果共轭到小角度图像传感器(16)上。

在一些实施例中，所述物镜(12)包括无限远共轭的显微镜组，所述无限远共轭的显微镜组能够实现对成像目标表面辐射光按照不同方向角进行分离并会聚；所述曲面反射镜(11)安装在所述显微镜组的前端面。

在一些实施例中，所述小角度图像传感器(16)和大角度图像传感器(18)均为CMOS图像传感器，所述小角度图像传感器(16)和大角度图像传感器(18)的感光平面刻蚀呈现5层以上的环分布的圆图案的掩膜，其中单个圆为单个光强采集区域。

在一些实施例中，所述5层以上的环分布的圆最外层环的直径不超过CMOS图像传感器感光面边长的85％，各层圆的数量n

在一些实施例中，所述单个圆表面具有偏振滤光片，所述偏振滤光片设置有4～6个滤光区域以分别对应设定的偏振态滤波分量的偏振角度。

本发明还提供一种面向表面缺陷检测的视觉信息采集方法，包括如下步骤：

S1:选择需要在空间正交化结构光照明单元加载的n张振幅调制图像，使用上述的视觉信息采集装置对成像目标进行n次照明，同时记录图像传感器单元记录的图像；

S2:对图像传感器单元记录的图像进行信息处理，得到图像的n组光强值，所述n组光强值中每一组的每个光强值对应不同的角度维度和偏振态维度；

S3:所述n组光强值结合n张振幅调制图像，重建出角度维度和偏振态维度的空间维度排布，进而获得成像目标在特定对焦面下的多视角图像和多偏振态图像。

在一些实施例中，步骤S1中所述振幅调制图像为二维离散余弦基对应的像素矩阵，所述选择需要在空间正交化结构光照明单元加载的n张振幅调制图像包括以下步骤：

S11:按照二维离散余弦基对应的空间频率值划分低频区的组合、中频区的组合和高频区的组合；

S12:基于空间频率值两个维度的数值差，设置各区域的组合被选择到的概率；

S13:以二值抽样的形式选择出二维离散余弦基的频率组合。

在一些实施例中，选择的二维离散余弦基对应的空间频率值同时取值0到0.25N-1的区域为低频区，选择的二维离散余弦基对应的空间频率值取值分别位于0到0.5N-1且取值不同时小于0.25N的区域为中频区；其余部分为高频区；N表示二维离散余弦基对应的像素矩阵的行数和列数。

本发明具有如下有益效果：

本发明的面向表面缺陷检测的视觉信息采集装置通过使用单像素成像光路的空间正交化结构光照明单元，将加载的振幅调制图像通过照明光投影共轭到成像目标的特定对焦面，完成对成像目标的像素级照明，以采集空间维度信息；角度分离光路单元能够在角度维度对成像目标的辐射光进行分离以采集角度维度信息；图像传感器单元上设置有偏振掩膜以采集偏振态维度，本发明能够在反应传统光强分布的空间图像信息的基础上，获取额外的多视角、多偏振态信息，为表面缺陷的进一步细致分析提供信息来源；本发明的方法使用视觉信息采集装置进行多次照明并测量后，再利用相关信息进行重构，以换取角度维度和偏振态维度的新维度采集，一方面实现了多维度信息采集的要求，另一方面，通过面扫描式结构光照明的方法编码成像目标的空间维度以实现基于额外光学参数的维度分离，相对传统光学成像方法具有更好的信息质量和实施效率。

本发明实施例中的其他有益效果将在下文中进一步述及。

附图说明

图1是本发明实施例中面向表面缺陷检测的视觉信息采集装置示意图；

图2是本发明实施例中正交化结构光照明单元振幅调制图像像素矩阵频率组合示意图；

图3是本发明实施例中小角度接收光路的示意图；

图4是本发明实施例中大角度接收光路的示意图；

图5a是本发明实施例中曲面反射镜的正视图；

图5b是本发明实施例中曲面反射镜的侧视图；

图5c是本发明实施例中曲面反射镜的俯视图；

图6是本发明实施例中实现辐射光按照不同角度分离并会聚的器件示意图；

图7a是本发明实施例中传感器感光平面掩膜示意图；

图7b是本发明实施例中传感器感光平面掩膜中单个圆偏振滤光区域划分的示意图；

附图标记如下：

1-激光器，2-准直透镜，3-平面反射镜，4-数字微镜器件，5-偏振片，6-1/4λ波片，7-投影透镜，8-分光镜，9-孔径光阑，10-物镜与曲面反射镜夹持器，11-曲面反射镜，12-物镜，13-4f接收光路前透镜，14-4f接收光路反射镜，15-4f接收光路后透镜，16-小角度图像传感器，17-载物片，18-大角度图像传感器，19-组合1，20-组合2，21-组合3，22-组合4，23-成像目标的特定对焦面，24-等效孔径光阑所在平面，25-曲面反射镜像方焦平面所在平面，26-安装基准面，27-内圆边界基准面，28-外圆边界基准面，29-显微镜组，30-光轴。

具体实施方式

以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于耦合或连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。本发明实施例拟提出一种新的，针对表面缺陷检测的多数据视觉信息采集系统，属于显微场景下的、非接触式的视觉法技术。本发明采用的光路结构为单像素成像的形式，采集的多数据包含被照明的工件表面一定体区域内的物点辐射的总光强、空间角度光强和偏振态光强，旨在反应传统光强分布的空间图像信息的基础上，获取额外的多视角、多偏振态信息，为表面缺陷的进一步细致分析提供信息来源。

对本发明实施例的概述如下：

如图1所示，本发明实施例提供了一种面向表面缺陷检测的视觉信息采集装置，包括：

空间正交化结构光照明单元，空间正交化结构光照明单元光路为单像素成像结构，能够将其加载的振幅调制图像通过照明光投影共轭到成像目标的特定对焦面，完成对成像目标的像素级照明；

角度分离光路单元，角度分离光路单元用于在角度维度对成像目标的辐射光进行分离；

图像传感器单元，图像传感器单元设置有多个光强采集区域以采集多个光强值，用于接收空间正交化结构光照明单元照明成像目标后由成像目标发射、并由角度分离光路单元分离的辐射光，以重构成像目标的空间光强分布和多角度的光强分布；图像传感器单元上设置有偏振掩膜，以实现对成像目标偏振特性的采集。

其中偏振片5和1/4λ波片6用于调制照明光的偏振态，让偏振效果更明显。

具体地，空间正交化结构光照明单元包括：

平行光输出部件、数字微镜器件4、投影透镜7、分光镜8、孔径光阑9；

其中，平行光输出部件包括激光器1和准直透镜2，平行光输出部件发出平面光波前，径直入射数字微镜器件4，数字微镜器件4用于调制平面光波前的光强，调制后的平面光波前经过投影透镜7、分光镜8、孔径光阑9将光强分布等比例压缩并入射到成像目标的特定对焦面，成像目标表面被照明物点处发生漫反射，形成成像目标表面的辐射光。

在另外一些实施例中空间正交化结构光照明单元包括：平行光输出部件、数字微镜器件4、投影透镜7、分光镜8、孔径光阑9，物镜与曲面反射镜夹持器10。

具体地，角度分离光路单元包括大角度分离光路单元，大角度分离光路单元包括曲面反射镜11，成像目标处的特定对焦面与曲面反射镜11的物方焦面重合，对于成像目标的辐射光，曲面反射镜11会将同一方向角的光线汇聚到其像方焦面的相同点，以此在角度维度对辐射光进行分离。

进一步地，大角度分离光路单元的辐射光方向角范围由以下公式表示：

其中，θ代表大角度分离光路单元所采集辐射光的方向角，l代表成像目标处的特定对焦面与曲面反射镜11的安装基准面的距离，a代表成像目标对应的线视场大小，曲面反射镜11为保证平行光的聚焦质量，规定了充分校正入射光平行光聚焦位置对应的像差的立体范围，该范围沿光轴方向的二维视图为圆环，d

进一步地，角度分离光路单元还包括小角度分离光路单元，图像传感器单元包括小角度图像传感器16和大角度图像传感器18，大角度图像传感器18用于接收大角度分离光路单元发射的辐射光；小角度分离光路单元包括物镜12、线性光学信息处理系统，成像目标处的特定对焦面和物镜12的物方焦面重合，对于成像目标的辐射光，物镜12会将同一方向角的光线汇聚到其像方焦面的相同点，以此在角度维度对辐射光进行分离，线性光学信息处理系统能够将分离结果共轭到小角度图像传感器16上。

其中线性光学信息处理系统指4f系统，包括：4f接收光路前透镜13，4f接收光路反射镜14，4f接收光路后透镜15。

其中角度分离光路单元和图像传感器单元组成大/小角度接收光路。

更进一步地，物镜12包括无限远共轭的显微镜组，无限远共轭的显微镜组能够实现对成像目标表面辐射光按照不同方向角进行分离并会聚；曲面反射镜11安装在显微镜组的前端面。

更进一步地，小角度图像传感器16和大角度图像传感器18均为CMOS图像传感器，小角度图像传感器16和大角度图像传感器18的感光平面刻蚀呈现5层以上的环分布的圆图案的掩膜，其中单个圆为单个光强采集区域。

更进一步地，5层以上的环分布的圆中，最外层环的直径不超过CMOS图像传感器感光面边长的85％，各层圆的数量n

更进一步地，单个圆表面具有偏振滤光片，偏振滤光片设置有4～6个滤光区域以分别对应设定的偏振态滤波分量的偏振角度。

本发明还提供一种面向表面缺陷检测的视觉信息采集方法，包括如下步骤：

S1:选择需要在空间正交化结构光照明单元加载的n张振幅调制图像，使用上述的视觉信息采集装置对成像目标进行n次照明，同时记录图像传感器单元记录的图像；

S2:对图像传感器单元记录的图像进行信息处理，得到图像的n组光强值，其中，一组光强值含若干单个光强值，每个光强值对应不同的角度维度和偏振态维度。

S3:n组光强值结合n张振幅调制图像，重建出角度维度和偏振态维度的空间维度排布，进而获得成像目标在特定对焦面下的多视角图像和多偏振态图像。

具体地，步骤S1中振幅调制图像为二维离散余弦基对应的像素矩阵，选择需要在空间正交化结构光照明单元加载的n张振幅调制图像包括以下步骤：

S11:按照二维离散余弦基对应的空间频率值划分低频区的组合、中频区的组合和高频区的组合；

S12:基于空间频率两个维度的数值差，设置各区域的组合被选择到的概率；

S13:以二值抽样的形式选择出二维离散余弦基的频率组合。

进一步地，选择的二维离散余弦基对应的空间频率值同时取值0到0.25N-1的区域为低频区，选择的二维离散余弦基对应的空间频率值取值分别位于0到0.5N-1且取值不同时小于0.25N的区域为中频区；其余部分为高频区；N表示二维离散余弦基对应的像素矩阵的行数和列数。

实施例

如图1所示，本发明实施例提供了面向表面缺陷检测的视觉信息采集装置，对位于载物片17上的、具有一定深度的、具有空间结构的成像目标的空间光强分布、角度光强分布和偏振态光强分布进行采集和处理，最终形成成像目标的、维度为(x,y,u,v,p)的光学数据空间。其中，(x,y)为成像目标在传统摄影时、特定对焦面下离散的具有空间二维坐标的物点，对应的成像目标在传统摄影时、特定对焦面下所拍摄图像的像点的像素坐标，是光学数据空间的空间维度；(u,v)为描述成像目标辐射光的光线在空间中相对光学系统光轴方向的两个坐标，是光学数据空间的角度维度；p为对成像目标辐射光的偏振态进行测量时的某一具体偏振态分量，为光学数据空间的偏振态维度。

空间维度的采集使用单像素成像光路，将数字微镜器件4加载的若干振幅调制图像通过照明光投影共轭到成像目标的特定对焦面，完成对成像目标的像素级照明。被照明到的物点通过漫反射的方式向接收光路辐射光并最终汇聚成一个光强值，该光强值表示所有被照明物点在正常摄影时、特定对焦面下所拍摄图像的对应像素点的像素值积分。根据各次振幅调制图像和光强值可反演出特定对焦面成像目标的空间光强分布，即正常摄影时、特定对焦面下的所拍摄图像。在光路结构中，空间维度采集的实现方法是首先用数字微镜器件4将激光器1发出的、经过准直透镜2准直扩束的平面光波前进行基于振幅调制图像的振幅调制，并通过投影透镜7和物镜12组成的线性光学信息处理系统共轭到载物片17上的成像目标处的特定对焦面。然后，利用物镜12、4f接收光路前透镜13、4f接收光路反射镜14、4f接收光路后透镜15和小角度图像传感器16组成的接收光路，和曲面反射镜11、大角度图像传感器18组成的接收光路，对成像目标的辐射光进行接收，并且在小角度图像传感器16和大角度图像传感器18上设计多个光强采集区域以采集多个光强值。“多个”的目的是在空间维度的基础上对另外两个维度进行分离并采集。

角度维度的采集利用曲面光学元件的聚焦性质。成像目标处的特定对焦面和物镜12及曲面反射镜11的物方焦面重合。对于成像目标的辐射光，物镜12和曲面反射镜11会将同一方向角的光线汇聚到物镜12和曲面反射镜11其中一个的像方焦面的相同点，以此在角度维度对辐射光进行分离。方向角的定义是光线和光轴的夹角，由于物镜12的物方孔径角有限，因此物镜12、4f接收光路前透镜13、4f接收光路反射镜14、4f接收光路后透镜15和小角度图像传感器16组成的光路接收小方向角的小角度辐射光；曲面反射镜11弥补物镜12的缺陷，因此曲面反射镜11、大角度图像传感器18组成的光路接收大方向角的大角度辐射光。对于前面所述的多个光强采集区域而言，不同光强采集区域采集到的光线光强的方向角范围被认为是不一样的。因此在空间维度的基础上额外分离并采集了角度维度。

偏振态维度的采集依托于偏振片5和1/4λ波片6以及小角度图像传感器16和大角度图像传感器18上多个光强采集区域的分偏振态分量的分离式测量。偏振片5和1/4λ波片6可对数字微镜器件4出射的照明光进行偏振调制，调制为设定的偏振态。具有偏振态的照明光投影到成像目标后由被照明物点处的物理结构调制，以实现对成像目标偏振特性的采集。小角度图像传感器16和大角度图像传感器18上多个光强采集区域的感光平面使用了多偏振态的滤光器件对接收到的成像目标辐射光分偏振态地进行了采集。因此在空间维度和角度维度的基础上额外分离并采集了偏振态维度。

在针对某成像目标进行信息采集时，选定需要在数字微镜器件4加载的n张振幅调制图像，设定偏振片5和1/4λ波片6的偏振调制状态，对成像目标进行n次照明，在每次照明中，同时记录小角度图像传感器16和大角度图像传感器18记录的图像，即原始的采集信息为2n张图像。随后，对2n张原始图像进行信息处理。首先，将所述两传感器同次采集的2张图像直接进行对齐式的拼接，得到n张对应到n次照明的图像。其次，设角度维度的采集数量为n

实验例

图1为面向表面缺陷检测的视觉信息采集装置的示意图。如图1所示，本发明实施例旨在对位于载物片17上的、具有一定深度的、具有空间结构的成像目标的空间光强分布、角度光强分布和偏振态光强分布进行采集和处理，最终形成成像目标的、维度为(x,y,u,v,p)的光学数据空间。

光学数据空间具体到详细的维度，(x,y)代表空间维度；(u,v)代表角度维度；p代表偏振态维度。

首先，对于所述的空间维度而言，其本质为成像目标在传统摄影时、特定对焦面下，各具有空间坐标的物点，依据与光轴垂直的二维空间坐标，离散并共轭到在传统摄影时、特定对焦面下所拍摄图像的像点的像素坐标，为光学数据空间的空间维度。

空间维度的采集使用单像素成像方法。

本发明实施例中提出的“空间—角度—偏振态”的光学信息采集方案，通过将空间维度的一次性采集(即一次性摄影成像)转化为空间维度时间序列化的多次采集(即单像素成像中多次照明并测量后，再利用相关信息进行重构)以换取角度维度和偏振态维度的新维度采集。一方面实现了有益效果中，多维度信息采集的要求。

本发明实施例提出了一种新的针对成像目标的“空间—角度—偏振态”三种光学信息的计算成像方法，以应用于横向分辨率要求为毫米级的表面缺陷检测的任务中。

具体的，是基于二维空间维度对成像目标在特定对焦面下进行平面式的物点划分，并对这些物点经过照明光照射后的漫反射辐射光进行基于方向角和偏振态的分离，以达到传统摄影时、特定对焦面下的成像目标图像的多视角图像和多偏振态图像的重建效果，以获取成像目标更加丰富的光学信息。

在采集“空间—角度—偏振态”的三种光学信息时，利用单像素成像的方式将空间维度的测量分配为多次空间物点辐射光组合式采集的模式。

如图1所示。所述应用于空间维度采集的单像素成像的光路结构为：激光器1发出的点光源激光经准直透镜2扩束准直后形成光强均匀的平面光波前，并经平面反射镜3改变方向后径直入射数字微镜器件4；平面光波前的光强被数字微镜器件4调制，调制效果是平面光波前的光强分布等于数字微镜器件4加载的振幅调制图案。之后，平面光波前穿过偏振片5、1/4λ波片6，并经过投影透镜7、分光镜8、孔径光阑9和物镜12将所述光强分布等比例压缩并入射到载物片17上成像目标的特定对焦面。成像目标表面的被照明物点处发生漫反射，形成成像目标表面的辐射光。

成像目标表面的辐射光被物镜12、4f接收光路前透镜13、4f接收光路反射镜14、4f接收光路后透镜15和小角度图像传感器16组成的光路，和曲面反射镜11、大角度图像传感器18组成的光路接收。进行光电转换并完成测量值提取的是在小角度图像传感器16和大角度图像传感器18上设计的多个光强采集区域。

使用单像素成像方法采集的空间维度过程将完成一次针对成像目标的照明，并获取来自小角度图像传感器16和大图像传感器18的基于光强采集区域的图像。针对空间维度的测量过程涵盖n次照明。

用于空间维度的原始信息为所述数字微镜器件4加载的n张振幅调制图案和2n张光强采集区域的图像。通常，为了测量时效，要求尽可能减小n的值，因此，对振幅调制图案的加载进行如下设计。

设置数字微镜器件4的空间光调制模式为二值模式，设计加载图案为二值图像。

加载图案可视为像素矩阵，矩阵选用二维离散余弦基，该余弦基对应的像素矩阵为：

其中，加载的振幅调制图案的尺寸为N×N，x和y是加载的振幅调制图案的像素矩阵的像素坐标，取值范围均为0到N-1。x

F(x,y)(x

c(x

像素矩阵对应的图像为灰度图像，该图像将使用误差扩散抖动算法转化为二值图像。即：

M(x,y)＝EDD[F(x,y)]

其中，EDD(error diffusion dithering)表示误差扩散抖动算法，计算结果为最终所得的振幅调制图案；F(x,y)和F(x,y,x

本发明实施例中提出的“基于概率的二维离散余弦基空间频率值组合的选择”，其目的就是为了实现空间维度的高效重建，保证了有益效果的实施效率。同时，也尽可能保证了成像目标空间信息尽可能精确的采集以及保证重建方法基于空间信息精度的鲁棒性。

加载的振幅调制图案为二维离散余弦基对应的像素矩阵，为减小对成像目标的照明次数(测量次数)，提出按照二维离散余弦基对应的空间频率值划分低频区的组合、中频区的组合和高频区的组合，并且基于空间频率值两个维度的数值差，设置各区域的组合被选择到的概率，以二值抽样的形式选择出二维离散余弦基的频率组合。

基于二维离散余弦基像素矩阵的单像素成像不进行频率范围内的全采样，而是基于概率的方式对空间频率值x

根据测量时效的要求，无法对x

设不同空间频率值组合的x

对于低频区而言，域内组合的选中概率为P

完成一次针对成像目标进行单像素成像的二维离散余弦基像素矩阵对应振幅调制图案的选择，图案组合的维度为n×N×N，n为选择的x

图2中用相应位置的组合进行举例，该例中，N＝20，其中，低频区完全被选中；中频区的组合119和组合220位置分别对应的d取值为0和3，选中概率为0.75和0.67；高频区的组合321和组合422分别对应的d取值为7和6，选中概率为0.35和0.37。是否选择特定组合的概率是二值分布，而对于同一个成像目标，可选择出一组x

x

根据n张振幅调制图案和2n张光强采集区域的图像可解算光学数据空间的空间维度。具体的解算方法是将额外完成81个视角的角度维度的成像目标信息采集，在各个角度维度下又能完成4个光学偏振态的偏振态维度的成像目标信息采集。

在空间维度的基础上，利用现有的二维调制方法及二维传感的光学器件实现对角度维度和偏振态维度的采集。

对于角度维度而言，其本质是对所述成像目标表面的辐射光按照方向角进行分离分析，其意义在于获取成像目标在传统摄影时、特定对焦面下的多视角图像，以实现对深度结构、遮挡结构等额外的信息进行提取。

本发明实施例提出的“大角度接收光路和小角度接收光路的组合”是为了实现有益效果中，对成像目标角度维度范围更大，更适应光路结构的提取。在角度维度对成像目标表面辐射光进行接收时需要考虑方向角值θ。

在更大的理论方向角范围对辐射光进行接收，为了不受接收光路采用单个显微物镜时其数值孔径造成的孔径大小限制，专门设计了小角度和大角度接收光路。利用透镜物像焦平面对同角度平行光的聚焦特性，将角度维度的信息实现分离。

设定被照明物点的辐射光光线与光轴的夹角为方向角θ。本发明实施例中辐射光被分开并由两个接收光路实现接收。其中，偏小方向角的光线被物镜12、4f接收光路前透镜13、4f接收光路反射镜14、4f接收光路后透镜15和小角度图像传感器16组成的光路接收，偏大方向角的光线曲面反射镜11、大角度图像传感器18组成的光路接收，分别命名为小角度接收光路和大角度接收光路。

图3为小角度接收光路的示意图。小角度接收光路接收的方向角范围为

在光路结构上，要求成像目标的特定对焦面23位于等效显微物镜12的物方焦平面，要求等效孔径光阑9位于等效显微物镜12的像方焦平面，即形成关于等效显微物镜12的物方远心光路。

按照小角度接收光路结构，成像目标表面相同方向角的辐射光将在等效孔径光阑所在平面24处会聚于同一点，即所述平面上不同位置的光强等于成像目标的特定对焦面23的被照明物点表面同一方向角的辐射光的光强之和。因此，小角度接收光路完成了对成像目标表面的辐射光按照具体方向角的分离。

由于图3中等效孔径光阑所在平面24位于图2中物镜12的镜筒实体内，因此该处的光强分布无法直接使用图像传感器进行记录。因此如图2所示，将孔径光阑9、4f接收光路前透镜13、4f接收光路反射镜14、4f接收光路后透镜15、小角度图像传感器16的感光平面组成线性光学信息处理系统，将所述光强分布共轭到小角度图像传感器16实现记录。

图4为大角度接收光路的示意图。大角度接收光路的关键器件为曲面反射镜11。图5a、5b、5c为曲面反射镜11的三视图，特别的是，正视图的投影视角与光路的光轴方向相同；图5b中，S是曲面反射镜实体沿光轴方向的厚度；图5c中，h是曲面反射镜整体沿光轴方向的长度。曲面反射镜11是镀层式的反射面，具有物方焦平面和像方焦平面，曲面反射镜像方焦平面所在平面25如图4所示，且反射面的设计能满足在一定孔径和视场内的像差要求。在图4中，曲面反射镜11可将物方入射的平行光会聚到曲面反射镜像方焦平面所在平面25的点。为了充分保证平行光聚焦的质量，在图5a、5b、5c中，特别指出了充分校正入射平行光聚焦位置像差的对应范围为正视图中d

在图5a、5b、5c中确定曲面反射镜在安装调制过程中的关键几何要素，设计俯视图处的安装基准面26，以便于光路装调。沿光轴方向，正视图中d

设图4中成像目标特定对焦面所在平面23的被照明的区域，或对应的线视场大小为a。所述平面23与图5a、5b、5c中安装基准面26的距离为l；则大角度接收光路接收的辐射光方向角范围是：

在图4中，大角度接收光路所需记录的光强分布位于曲面反射镜11的曲面反射镜像方焦平面所在平面25，该处的光强分布可以使用图像传感器直接进行记录。因此如图1所示，该处的光强分布由大角度图像传感器18实现记录。

小角度接收光路和大角度接收光路的本质是对成像目标表面辐射光按照不同方向角进行分离并会聚，其实现的器件如图6所示。小角度接收光路使用无限远共轭的显微镜组29实现，其孔径光阑9位于显微镜组29的像方焦平面处。大角度接收光路使用的曲面反射镜11直接安装至显微镜组29的前端面。显微镜组29和曲面反射镜11由所设计的物镜与曲面反射镜夹持器10实现装卡。

最后，对于所述的偏振态维度而言，其本质是获取成像目标表面对光偏振态的调制属性，以获取更多成像目标的物理信息。在表面缺陷检测中，偏振态维度的信息有利于将具有不同结构特征的成像目标加工缺陷或不同材料的杂质成分进行区分。

在单像素成像的光路中，偏振态的引入是通过在照明成像目标时调制照明光至特定偏振态和在接收成像目标表面辐射光时将偏振态分量进行分离式测量来实现的。

本发明实施例中对成像目标进行照明的照明光本质上具有特定的偏振态，这种偏振态由具体的任务类型进行确定，并且由如图1所示的偏振片5和1/4λ波片6进行调制。

本发明实施例中成像目标表面对入射偏振光进行基于正交复振幅分量的振幅和相位调制，并以辐射光的形式出射。

本发明实施例中提出的“图像传感器单元掩膜方法”是为了实现有益效果中，对成像目标偏振态维度效率更高的提取。

对于“空间—角度—偏振态”三种光学信息的计算成像方法而言，由于单像素成像的引入，空间维度的信息获取通过多次照明和多次照明对应的单像素值实现，则当对成像目标表面辐射光的角度维度和偏振态维度进行分离后获得特定角度维度和偏振态维度的单像素值就需要设计独特的面阵式的、掩膜式的传感器，即本发明中图1小角度图像传感器16和大角度图像传感器18的设计方案。

本发明实施例中辐射光由图1中小角度图像传感器16和大角度图像传感器18接收。所述两传感器均为CMOS图像传感器，并在传感器感光平面刻蚀如图7a、7b所示图案的掩膜。该掩膜的图案呈现“多层环分布的圆”图案，该图案的环分布的圆从内至外共6层，各层圆的数量分别为1、8、12、16、20、24。第一层圆位于图像传感器正中央，设计半径为r

本发明实施例中n次照明的本质是进行空间维度的采样。而多个光强采集区域则是在空间维度的采样基础上进行角度维度的采样。根据光强分布共轭到小角度图像传感器16实现记录和光强分布由大角度图像传感器18实现记录的描述，可知各单个圆对应的角度维度或接收辐射光的方向角的范围不同。根据图7a、7b可知，本发明实施例的角度维度的维数为81，即单个圆的总数。

本发明实施例中成像目标辐射光根据方向角θ的不同被图3中小角度图像传感器16和大角度图像传感器18接收，根据光路适当的调整，在通常情况下，小角度图像传感器16对应到1、2和3层有光强信号，大角度图像传感器18对应到4、5和6层有光强信号。

本发明实施例中单个圆的大小、位置和分布的设置和角度维度的采样紧密相关。由图7a、7b设计的掩膜的图案可看出本方案对成像目标方向角的角度维度进行离散的、区间化的采样。

本发明实施例中掩膜图案的设计源于两个方面的考虑，一是在传统摄影时，多视角图像多对应的是有限的、一定范围的成像目标物点辐射光的方向角(即视角是指有限的、一定范围的方向角的统称)，而并非完全规定一个具体的方向角值，因此采用单个圆区域内的测量值积分的方式作为一个方向角范围或一个角度维度的视觉信息采样；二是对于缺陷检测中多数属于朗伯体表面的被检测工件表面，随着辐射光方向角的增大，相应方向角的光强会降低，对应辐射光在接收的时候需要增大接收的孔径，因此将偏外侧的层的单个圆的半径设计的比偏内侧的层的更大。

在空间维度的基础上，本发明实施例将额外完成81个基于有限方向角范围的角度维度的成像目标的信息采集。

图7a、7b同时画出了单个圆表面通过刻蚀额外加工的偏振滤光片，对应多个光强采集区域的单个圆表面额外刻蚀加工了偏振滤光片，按照圆形区域以90°扇形分割为4个滤光区域，偏振滤光片含4个滤光区域，分别对应的偏振态滤波分量的偏振角度为0°、45°、90°和135°。因此，在角度维度的基础上，额外对成像目标表面辐射光的偏振态维度在4个分量上进行了提取。

单个光强采集区域又划分为4个偏振态分离式测量的区域，因此特定单个圆的特定偏振采集区域涵盖的像素探测值积分后成为一个光强值或一个单像素值。利用该单像素值可重建出特定视角下、特定偏振态下成像目标特定对焦面所对应的图像。

在空间维度的基础上，本发明实施例将额外完成81个视角的角度维度的成像目标信息采集，在各个角度维度下又能完成4个光学偏振态的偏振态维度的成像目标信息采集。

本发明实施例中，若照明光的平面光波前的光强分布的调制分辨率为256×256，则(x,y)对应的空间维度大小为256×256；(u,v)对应的角度维度，u可代表单个圆的层编号，v可代表同一层单个圆的顺时针坐标，u和v组合的总数为81；p对应偏振态维度的大小为4。

获取的光学数据空间可根据维度进行特定对焦面下不同视角、不同偏振态图像的重建。

确定角度维度和偏振态维度为(u,v,p)，该状态下对应了n张振幅调制图像和n个光强值。

n个光强值本质为n张振幅调制图像对应的二维离散余弦基的系数。

因此，(u,v,p)的空间维度的重建通过逆离散余弦变换进行：

I(x,y)＝ACC{S

其中，ACC代表所有选择的x

对于一个成像目标而言，该计算过程用于获取一张角度维度为u和v，偏振态维度为p的图像。用n次M

本发明实施例的优势在于，可完成针对成像目标在特定对焦面下不同视角和偏振态的图像获取。同时又可以不考虑偏振态以获取不同视角的图像，也可以不考虑视角以获取不同偏振态的图像，具有很好的灵活性，完成了成像目标光学信息在额外两个维度，即角度维度和偏振态维度的信息获取。

本发明实施例中及保护权益中涉及的相关参数具体到数值的部分，可由读者根据任务进行自行设计。

对比例1：

现有技术中对野外输电线路绝缘子器件的三种缺陷状态(完整、有破损和完全损坏)进行检测。研究者借助双目相机从多角度对成像目标的位置信息和深度信息进行采集，并融合工业相机拍摄的RGB图像，用于人工模拟制作缺陷检测数据集。实验结果表明，该数据集在各神经网络训练的精度指标(平均精度均值mAP)高于80％，并证明了该制作数据集与无人机航拍数据集具有相同效力。该工作中，多角度信息的测量使系统额外获取了成像目标的三维立体信息和空间位置信息，对提升目标检测精度和检测泛化性具备有益效果。

本发明实施例也构建了类似的多角度信息测量机制，系统将具备成像目标在81个角度维度的图像，以获取成像目标更加精细的立体结构信息。信息的丰富度提高有望用于各类神经网络的目标检测任务，将精度指标普遍提升至90％以上，并保持鲁棒性更强的泛化能力。

对比例2：

现有技术中对金属加工工件的疲劳损伤(量化指标为损伤因子)进行检测。研究者在红外热成像的基础上引入偏振态维度，额外获取成像目标材质、辐射率等信息，增强红外图像的质量并规避复杂环境的干扰。原始的红外偏振信息通过主成成分分析提取特征并输入神经网络预测疲劳损伤程度，最终的与实际结果的相对差值控制在30％以内，证明了其方法的有效性。

本发明实施例也构建了类似的偏振态信息测量机制，系统将具备成像目标在4个偏振态维度的图像，以获取成像目标表面更加完整的物理辐射信息。结合本发明在角度维度和偏振态维度倍增的信息丰富度，针对缺陷检测的具体数值指标引入的预测任务有望将相对误差控制在10％以内。

另一方面，若将空间维度的采集重建过程视为扫描，则本发明实施例实现的是一种高效的面扫描方式，相对传统的点扫描和线扫描具有更好的实施效率。

本发明实施例的有益效果在于本发明实施例中所述装置及方法可对表面目标检测中缺陷检测对象目标的光学信息进行丰富度极高的采集和处理。其丰富度体现在基于常规空间维度(或分辨率)的基础上(或基于传统图像的基础上)，有额外的81个角度维度和4个偏振态维度的图像结果提取(共81×4＝324张的多出的图像)。该丰富度指标的提升意味着缺陷检测任务更精确的分类、定位的检测精度(其精度预计在原有基础上提升50％)和更高的检测可靠性(其结果置信度大于99％)，同时，也可用于重建缺陷目标多维度的空间信息或物理性质信息，实现更深层次的具体应用(即具有研发价值)。

现有技术的问题包括：

一是显微物镜限制了成像的景深，对于深度起伏较大的表面，全视场范围内的清晰成像无法实现，模糊部分对应的物方区域空间信息无法解构。

二是缺乏空间结构的纵深信息，即二维图像缺失立体视觉，对具有遮挡情况的微细结构不具备适应性。

三是其仅通过工件表面的反射光强来采集到反映表面轮廓的形状特征，对相似的缺陷结构、或类似正常结构的缺陷无法进行有效的区分。

此外，在定位和识别的基础上进行更精细化的分析是重要的，缺陷的物理信息在评估工件加工质量的同时，也可反馈至原理设计、原料质量、加工工艺及理化性质可靠性的各个方面。因此，在被测工件表面的一定体区域内实现显微视野下多数据的信息采集具有长足的意义。

本发明实施例提供的创新点包括：

1、针对制造行业加工工件表面质量评估工作中表面缺陷检测高效性、实时性的需求，本发明实施例提出一种面向表面缺陷检测的视觉信息采集装置。

2、本发明实施例所提出的方法属于非接触的在线测量，能脱离桌面实验，应用在生产流水线上实现对量产被检工件更精细化的表面结构的评估分析。

3、本方法实施例在表面缺陷目标检测的各项指标上较传统方法实现可观的提高。

本发明实施例解决的问题包括：

1、生产场景中常用的缺陷检测方法效率低下、漏检率高的问题。

2、高精度缺陷检测方法检测速度慢、检测范围小以及难以应用于工业现场的问题。

3、可实现加工工件表面结构的精细化信息高效地在线获取。

本发明实施例与现有技术相比具有如下优势：

1、精确且高效地对单个加工工件充足的面积区域内存在的表面缺陷进行定位并识别，完成高水平的检测工作。

2、解决视觉法普遍存在的检测原理繁杂、算法鲁棒性偏低、检测精度差的问题；解决高精度的接触式和非接触式方法中存在的检测速度低、检测范围小以及难以应用于工业现场的问题。

本发明实施例提供的装置的框架较为简单，产品化周期较短，可实现轻量化，有望实现科研或生产场景的大规模使用。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。