车身漆面缺陷检测装置及其检测方法

技术领域：

本发明涉及缺陷检测和机器视觉技术领域，尤其涉及一种车身漆面缺陷检测装置及其检测方法。

背景技术：

目前汽车车身的漆面缺陷检测主要是依赖传统的人工目视检查，因检测效率低、检测标准不够客观，并且容易受人工分心、疲劳等主观因素的影响，越来越难以满足工艺过程的测量和检测要求。因此，对自动化缺陷检测装置的需求日益增强，这种自动化缺陷检测装置不仅可以严格地管控产品质量，还能及时对产品缺陷进行工艺溯源，为工艺品质改善提供数据支持。

车身漆面的缺陷种类繁多，不同的生产厂家对缺陷的定义存在差异。从缺陷的光学成像形式可以归类为：色差类缺陷、脏污类缺陷、纹理类缺陷、划伤碰伤类缺陷、凹凸类缺陷。单一的2D成像方式和检测方法难以应对常见的缺陷，对所有缺陷同时的检测，往往需要2D成像方式和3D成像方式相互结合。3D成像方式中激光三角法和条纹投影，是对高度的重建。基于条纹投影原理的三维重建设备，主要应用于漫反射物体。激光三角法可以应用于类镜面物体的高度测量，但是难以检测微米级别的缺陷。3D成像方式中，光度立体法和条纹反射(相位测量偏折术)是对梯度的重建。基于朗伯光照模型的光度立体法对漫反射表面的梯度重建精度较高，但很难直接应用于镜面物体。相位测量偏折术对镜面物体的梯度重建精度很高，在原理上可以到达亚微米级别。

发明内容：

针对上述问题，车身漆面常见的缺陷，在保证微米级的检测精度的前提下，兼顾检测效率、系统成本和结构紧凑等因素，本发明提出了一种采集效率高、成像质量高、系统结构紧凑、成本低的适用于大型复杂曲面的镜面缺陷检测的车身漆面缺陷检测装置及其检测方法。

本发明是通过如下技术方案实现的：一种车身漆面缺陷检测装置，包括伺服控制器、工控机、车身输送机构、若干面阵相机、若干投影仪和若干投影屏幕，上述元器件的坐标系与世界坐标系的姿态关系是通过标定板提前标定的。

所述面阵相机、投影仪和投影屏幕共同构成图像采集系统，用于采集、分析待检测车辆的表面数据，所述工控机与所述投影仪联接，所述投影屏幕设置在所述投影仪外围且与所述投影仪对应，所述投影仪可将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，所述面阵相机分布在待检测车辆四周，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，在车身单个视野内可拍摄横竖各4幅，共8幅正弦相移条纹图像。

为了提高图像采集效率和成像质量，达到最佳的图像采集和数据分析的效果，作为优选，所述投影仪共有8台，其中，2台设置在待检测车辆车头位置，2台设置在待检测车辆车尾位置，4台设置在待检测车辆车身侧面位置和车顶位置，所述投影屏幕包括2个平行于XOZ平面、且平行于待检测车辆车身设置的平行竖直屏幕、4个竖直且与XOZ平面呈40°～50°，设置于待检测车辆车身周围的偏转竖直屏幕、以及2个设置于待检测车辆车身上方且彼此夹角为100°～110°的顶部投影屏幕，所述平行竖直屏幕对应的所述投影仪的投影方向在XOY视角下为面向X轴正方向成角度倾斜投影，投影方向与X轴正方向夹角为40°～50°，所述偏转竖直屏幕对应的所述投影仪的投影方向为垂直于所述偏转竖直屏幕，所述顶部投影屏幕对应的所述投影仪的投影方向在XOZ视角下为面向X轴正方向成角度倾斜投影，投影方向与X轴正方向夹角为40°～50°。

为了在保证使用效果的前提下降低成本，作为优选，所述投影仪为DLP投影仪。

所述相机的分辨率和布置数量，与缺陷最小检出尺寸要求相关，本发明涉及的缺陷最小检出尺寸为1毫米，设置图像的像素分辨率约为0.2mm/pixel，所以，作为优选，所述面阵相机为五百万像素、2/3靶面，所述面阵相机数量为18个，其中，4个对应设置在待检测车辆车头位置，用于检测引擎盖、车头前脸，4个对应设置在待检测车辆车尾位置，用于检测后备箱盖、车尾，10个对应设置在待检测车辆车身侧面位置和车顶位置，用于检测引擎盖、车顶、后备箱盖。

所述伺服控制器、工控机和车身输送机构用于配合图像采集系统工作，驱动待检测车辆移动至图像采集点，所述工控机与所述伺服控制器联接，所述伺服控制器与所述车身输送机构联接，所述车身输送机构可在所述伺服控制器和工控机的作用下驱动待检测车辆在长度方向和高度方向移动。

本发明还包括一种车身漆面缺陷检测方法，采用上述车身漆面缺陷检测装置，包括如下步骤：

1)所述车身输送机构驱动待检测车辆沿X轴方向移动至引擎盖检测工段，然后所述车身输送机构驱动待检测车辆沿Z轴方向向上移动，使得待检测车辆引擎盖到达引擎盖检测高度，8台所述投影仪依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，设置于待检测车辆车头位置和车顶位置的所述面阵相机依次采集图像，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，得到8幅正弦相移条纹图像；

2)所述车身输送机构驱动待检测车辆沿X轴方向移动至下个拼图拍照位置并保持静止，8台所述投影仪依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，设置于待检测车辆车头位置和车顶位置的所述面阵相机依次采集图像，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，得到8幅正弦相移条纹图像；

3)重复步骤2)进行采图，直至引擎盖采图完毕；

4)所述车身输送机构驱动待检测车辆沿X轴方向移动至车顶检测工段，然后所述车身输送机构驱动待检测车辆沿Z轴方向向下移动，使得待检测车辆车顶到达车顶检测高度并保持静止，8台所述投影仪依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，设置于待检测车辆车身侧面位置和车顶位置的所述面阵相机依次采集图像，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，得到8幅正弦相移条纹图像；

5)所述车身输送机构驱动待检测车辆沿X轴方向移动至下个拼图拍照位置并保持静止，8台所述投影仪依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，设置于待检测车辆车身侧面位置和车顶位置的所述面阵相机依次采集图像，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，得到8幅正弦相移条纹图像；

6)重复步骤5)进行采图，直至车顶采图完毕；

7)所述车身输送机构驱动待检测车辆沿X轴方向移动至车头前脸检测工段，8台所述投影仪依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，设置于待检测车辆车头位置的所述面阵相机依次采集图像，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，得到8幅正弦相移条纹图像；

8)所述车身输送机构驱动待检测车辆沿X轴方向移动至下个拼图拍照位置并保持静止，8台所述投影仪依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，设置于待检测车辆车头位置的所述面阵相机依次采集图像，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，得到8幅正弦相移条纹图像；

9)重复步骤8)进行采图，直至车头前脸采图完毕；

10)所述车身输送机构驱动待检测车辆沿X轴方向移动至后备箱盖检测工段，然后所述车身输送机构驱动待检测车辆沿Z轴方向向上移动，使得待检测车辆后备箱盖到达后备箱盖检测高度并保持静止，8台所述投影仪依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，设置于待检测车辆车身侧面位置和车尾位置的所述面阵相机依次采集图像，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，得到8幅正弦相移条纹图像；

11)所述车身输送机构驱动待检测车辆沿X轴方向移动至下个拼图拍照位置并保持静止，8台所述投影仪依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，设置于待检测车辆车身侧面位置和车尾位置的所述面阵相机依次采集图像，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，得到8幅正弦相移条纹图像；

12)重复步骤11)进行采图，直至后备箱盖采图完毕；

13)所述车身输送机构驱动待检测车辆沿X轴方向移动至车尾检测工段，8台所述投影仪依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，设置于待检测车辆车尾位置的所述面阵相机依次采集图像，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，得到8幅正弦相移条纹图像；

14)所述车身输送机构驱动待检测车辆沿X轴方向移动至下个拼图拍照位置并保持静止，8台所述投影仪依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，设置于待检测车辆车尾位置的所述面阵相机依次采集图像，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，得到8幅正弦相移条纹图像；

15)重复步骤14)进行采图，直至车尾采图完毕；

16)使用标定信息，对采集的正弦相移条纹图像进行拼接，运用相位测量偏折术原理，对正弦相移条纹图像进行处理，得到曲率图、漫反射图、镜面反射图、光泽度图，进而通过传统图像处理算法和深度学习算法检测脏污类缺陷、纹理类缺陷、划伤碰伤类缺陷、凹凸类缺陷。

其中，曲率图的计算过程是分别对横向包裹相位和竖向包裹相位计算一阶导数，得到表面横向曲率和竖向曲率，再对二者进行平方和计算得到曲率图；光泽度图的计算过程是对8个条纹图像进行平均，得到光泽度图；漫反射图是通过与光泽度图进行取小比较，提取条纹中暗场成像部分；镜面反射图是通过与光泽度图进行取大比较，提取条纹中明成像部分。

需要说明的是，进行车顶、后备箱盖等位置图像采集的同时，已同时完成了车身侧面的图像采集工作，故无需单独对车身侧面重复采集图像。

本发明的有益效果是：该车身漆面缺陷检测装置及其检测方法，通过设计伺服控制器、工控机和车身输送机构配合图像采集系统使用，可以方便高效地采集车身表面相关的正弦相移条纹图像，从而输出镜面反射图、漫反射图，光泽度图、曲率图等，进而能够通过传统图像处理算法和深度学习算法检测车身漆面的脏污类缺陷、纹理类缺陷、划伤碰伤类缺陷、凹凸类缺陷；采用投影的方式取代了LCD屏幕、LED光源，硬件成本低，规避了大型LCD屏幕和LED光源的定制；检测精度高，且可以通过增减布置面阵相机进行控制，能够实现微米级的缺陷检测精度；自适应强，车身走停式的图像采集和拼接方法能够适应不同车型；同时，也适用于其它行业中大型复杂曲面的镜面物体的缺陷检测。

附图说明：

图1为本发明的总体结构示意图；

图2为本发明中引擎盖检测工段示意图；

图3为本发明中车顶检测工段示意图；

图4为本发明中车头前脸检测工段示意图；

图5为本发明中后备箱盖检测工段示意图；

图6为本发明中车尾检测工段示意图；

图7为本发明中四步相移原理图；

图8为本发明中偏折术成像原理示意图；

图9为本发明中曲率图的计算过程示意图；

图10为本发明中合成图像示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示的一种车身漆面缺陷检测装置，包括伺服控制器1、工控机2、车身输送机构3、五百万像素、2/3靶面的18个面阵相机4、8台投影仪5和8个投影屏幕6，所述投影仪5为DLP投影仪，所述工控机2与所述伺服控制器1联接，所述伺服控制器1与所述车身输送机构3联接，所述车身输送机构3可在所述伺服控制器1和工控机2的作用下驱动待检测车辆9在长度方向和高度方向移动，所述工控机2与所述投影仪5联接，所述投影屏幕6设置在所述投影仪5外围且与所述投影仪5对应，所述面阵相机4分布在待检测车辆9四周。

所述投影仪5共有8台，其中，2台设置在待检测车辆9车头位置，2台设置在待检测车辆9车尾位置，4台设置在待检测车辆9车身侧面位置和车顶位置，所述投影屏幕6包括2个平行于XOZ平面、且平行于待检测车辆9车身设置的平行竖直屏幕61、4个竖直且与XOZ平面呈40°～50°，设置于待检测车辆9车身周围的偏转竖直屏幕62、以及2个设置于待检测车辆9车身上方且彼此夹角为100°～110°的顶部投影屏幕63，所述平行竖直屏幕61对应的所述投影仪5的投影方向在XOY视角下为面向X轴正方向成角度倾斜投影，投影方向与X轴正方向夹角为40°～50°，所述偏转竖直屏幕62对应的所述投影仪5的投影方向为垂直于所述偏转竖直屏幕62，所述顶部投影屏幕63对应的所述投影仪5的投影方向在XOZ视角下为面向X轴正方向成角度倾斜投影，投影方向与X轴正方向夹角为40°～50°。

所述面阵相机4数量为18个，其中，4个对应设置在待检测车辆9车头位置，4个对应设置在待检测车辆9车尾位置，10个对应设置在待检测车辆9车身侧面位置和车顶位置。面阵相机4的具体布局，与投影屏幕6和待检测车辆9车身的检测面相关，是按照镜面物体相位测量偏折术原理布置的，如图1中，在XOY视角下，待检测车辆9车头前脸检测所用的面阵相机4为沿Y向倾斜拍摄车头前脸；与之类似，待检测车辆9车尾检测所用的面阵相机4是沿Y向倾斜拍摄车尾后面；在XOZ视角下，待检测车辆9引擎盖检测、车顶检测和后备箱盖检测所用的面阵相机4，沿X向倾斜拍，它的背景虚像为顶部投影屏幕63；在XOY视角下，待检测车辆9车身两侧面缺陷检测所用的面阵相机4，沿X向倾斜拍，它的背景虚像为平行竖直屏幕61。

如图1中YOZ视角所示，待检测车辆9的每个部位的检测，每次仅仅只能拍摄车身的一段区域，需要车身输送机构3驱动待检测车辆9沿着X轴移动，进行走停式拍照。因为大多数车型中车顶、引擎盖以及后备箱盖存在高度差异，而车顶拍摄的面阵相机4是固定不动的，所以在走停式拍照的过程中，车身输送机构3需要驱动待检测车辆9沿Z轴升降以适应上述高度差异。

采用上述车身漆面缺陷检测装置进行车身图像采集的具体步骤如下：

1)如图2所示，所述车身输送机构3驱动待检测车辆9沿X轴方向移动至引擎盖检测工段，然后所述车身输送机构3驱动待检测车辆9沿Z轴方向向上移动，使得待检测车辆6引擎盖到达引擎盖检测高度，8台所述投影仪5依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕6上，设置于待检测车辆9车头位置和车顶位置的所述面阵相机4依次采集图像，每个面阵相机4通过车身表面反射对所述投影屏幕6上的条纹进行拍照，得到8幅正弦相移条纹图像；

2)所述车身输送机构3驱动待检测车辆9沿X轴方向移动至下个拼图拍照位置并保持静止，8台所述投影仪5依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕6上，设置于待检测车辆9车头位置和车顶位置的所述面阵相机4依次采集图像，每个面阵相机4通过车身表面反射对所述投影屏幕6上的条纹进行拍照，得到8幅正弦相移条纹图像；

3)重复步骤2)进行采图，直至引擎盖采图完毕；

4)如图3所示，所述车身输送机构3驱动待检测车辆9沿X轴方向移动至车顶检测工段，然后所述车身输送机构3驱动待检测车辆9沿Z轴方向向下移动，使得待检测车辆9车顶到达车顶检测高度并保持静止，8台所述投影仪5依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕6上，设置于待检测车辆9车身侧面位置和车顶位置的所述面阵相机4依次采集图像，每个面阵相机4通过车身表面反射对所述投影屏幕6上的条纹进行拍照，得到8幅正弦相移条纹图像；

5)所述车身输送机构3驱动待检测车辆9沿X轴方向移动至下个拼图拍照位置并保持静止，8台所述投影仪5依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕6上，设置于待检测车辆9车身侧面位置和车顶位置的所述面阵相机4依次采集图像，每个面阵相机4通过车身表面反射对所述投影屏幕6上的条纹进行拍照，得到8幅正弦相移条纹图像；

6)重复步骤5)进行采图，直至车顶采图完毕；

7)如图4所示，所述车身输送机构3驱动待检测车辆9沿X轴方向移动至车头前脸检测工段，8台所述投影仪5依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕6上，设置于待检测车辆9车头位置的所述面阵相机4依次采集图像，每个面阵相机4通过车身表面反射对所述投影屏幕6上的条纹进行拍照，得到8幅正弦相移条纹图像；

8)所述车身输送机构3驱动待检测车辆9沿X轴方向移动至下个拼图拍照位置并保持静止，8台所述投影仪5依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕6上，设置于待检测车辆9车头位置的所述面阵相机4依次采集图像，每个面阵相机4通过车身表面反射对所述投影屏幕6上的条纹进行拍照，得到8幅正弦相移条纹图像；

9)重复步骤8)进行采图，直至车头前脸采图完毕；

10)如图5所示，所述车身输送机构3驱动待检测车辆9沿X轴方向移动至后备箱盖检测工段，然后所述车身输送机构3驱动待检测车辆9沿Z轴方向向上移动，使得待检测车辆9后备箱盖到达后备箱盖检测高度并保持静止，8台所述投影仪5依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕6上，设置于待检测车辆9车身侧面位置和车尾位置的所述面阵相机4依次采集图像，每个面阵相机4通过车身表面反射对所述投影屏幕6上的条纹进行拍照，得到8幅正弦相移条纹图像；

11)所述车身输送机构3驱动待检测车辆9沿X轴方向移动至下个拼图拍照位置并保持静止，8台所述投影仪5依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕6上，设置于待检测车辆9车身侧面位置和车尾位置的所述面阵相机4依次采集图像，每个面阵相机4通过车身表面反射对所述投影屏幕6上的条纹进行拍照，得到8幅正弦相移条纹图像；

12)重复步骤11)进行采图，直至后备箱盖采图完毕；

13)如图6所示，所述车身输送机构3驱动待检测车辆9沿X轴方向移动至车尾检测工段，8台所述投影仪5依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕6上，设置于待检测车辆9车尾位置的所述面阵相机4依次采集图像，每个面阵相机4通过车身表面反射对所述投影屏幕6上的条纹进行拍照，得到8幅正弦相移条纹图像；

14)所述车身输送机构3驱动待检测车辆9沿X轴方向移动至下个拼图拍照位置并保持静止，8台所述投影仪5依次将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕6上，设置于待检测车辆9车尾位置的所述面阵相机4依次采集图像，每个面阵相机4通过车身表面反射对所述投影屏幕6上的条纹进行拍照，得到8幅正弦相移条纹图像；

15)重复步骤14)进行采图，直至车尾采图完毕；

16)使用标定信息，对采集的正弦相移条纹图像进行拼接，运用相位测量偏折术原理，对正弦相移条纹图像进行处理，得到曲率图、漫反射图、镜面反射图、光泽度图，进而通过传统图像处理算法和深度学习算法检测脏污类缺陷、纹理类缺陷、划伤碰伤类缺陷、凹凸类缺陷。

具体的图像处理的方法如下：

在图像采集过程中，所述投影屏幕6上频闪横竖各4幅正弦相移条纹图像，它们的正弦相位相差π/2，相机采集图像中的光强为：

I

I

I

I

根据四步相移原理，可计算出图像的包裹相位

通过相移算法计算出的包裹相位

各个面阵相机4与其对应的投影屏幕6之间的坐标系关系是提前标定的，用以进行图像拼接。若车身漆面上某点出现凹凸类的缺陷，必然导致该点法线与邻域内其它点存在微小的差异。将该点法线相对邻域的变化分解到面阵相机4的X方向和Y方向，分别表示梯度变化为tan(θ

如图8所示，对于单个面阵相机4的成像进行分析，梯度变化引起图像中条纹相位变化

相位测量偏折术中对于Lx和Ly的求解，计算量很大，考虑到缺陷与其邻域相比Lx和Ly基本不变，本发明提出的缺陷检测方法，不对Lx和Ly进行求解，直接对包裹相位图像进行邻域比较，寻找疑似缺陷的区域。如图9所示，分别对横向包裹相位和竖向包裹相位计算一阶导数，得到表面横向曲率和竖向曲率，再对二者进行平方和计算得到曲率图。光泽度I

I

漫反射图I

dif

dif

I

镜面反射图I

spe

spe

I

如图10所示，单个面阵相机4可以输出合成图像，包括镜面反射图、漫反射图，光泽度图、曲率图等，将所有面阵相机4和视野进行拼接，得到待检测车辆全车身的合成图像。车身漆面的脏污类缺陷、纹理类缺陷、划伤碰伤类缺陷、凹凸类缺陷，会在合成图像其中的一幅或者多幅里面表现出强烈的异常信号，进而通过例如Blob分析、边缘提取、模板匹配、频域分析等传统图像处理方法，或者深度学习算法进行缺陷检测。

在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“顶”、“底”、“侧”、“端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”、“设有”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。